기사 웹스크래핑(크롤링)해서 이메일 보내기

기사 웹스크래핑(크롤링)하기

크롤링 하고싶은 부분을 우클릭 > 검사 > Copy > Copy selector

웹사이트 마다 HTML 구조가 다르기때문에 원하는 정보를 얻는 방법만 알면 👌

 

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome('chromedriver')

url = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=추석"

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

articles = soup.select('#main_pack > div.news.mynews.section._prs_nws > ul > li')

for article in articles:
    title = article.select_one('dl > dt > a').text
    url = article.select_one('dl > dt > a')['href']
    comp = article.select_one('span._sp_each_source').text.split(" ")[0].replace('언론사','')
    print(title, url, comp)

driver.quit()

네이버에서 '추석'을 검색한 뉴스페이지를 크롤링해왔다.

뉴스 기사 목록은 ul > li로 이루어져 있어서 select를 통해 가져왔다.

대체로 HTML 구조만 잘 파악해서 Selector들을 분석하며 크롤링 해오면 된다.

언론사를 가져올 땐 쓸데 없는 텍스트는 split을 통해 제거하고, '언론사' 텍스트도 제거했다.

 

엑셀 파일로 저장하기

openpyxl은 파이썬으로 엑셀 파일을 읽고 쓸 수 있게 만들어주는 패키지이다.

File > Settings > Python Interpreter > openpyxl > Install Package를 통해 패키지를 다운받아 준다.

from openpyxl import Workbook

wb = Workbook()
ws1 = wb.active
ws1.title = "articles" # 시트 제목
ws1.append(["제목", "링크", "신문사"])

wb.save(filename='articles.xlsx')

articles.xlsx라는 엑셀파일이 생성되고, 첫번째 줄에 제목, 링크, 신문사가 추가되는 것을 볼 수 있다.

⚠ 주의할 점!! 파이썬 프로그램을 다시 실행시킬땐 엑셀 파일을 꼭 닫고 실행하자!!

 

이제, 뉴스 크롤링한 내용을 엑셀파일로 저장하기.

from bs4 import BeautifulSoup
from selenium import webdriver
from openpyxl import Workbook

driver = webdriver.Chrome('chromedriver')

url = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=추석"

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

articles = soup.select('#main_pack > div.news.mynews.section._prs_nws > ul > li')

wb = Workbook()
ws1 = wb.active
ws1.title = "articles" # 시트 제목
ws1.append(["제목", "링크", "신문사"])

for article in articles:
    title = article.select_one('dl > dt > a').text
    url = article.select_one('dl > dt > a')['href']
    comp = article.select_one('span._sp_each_source').text.split(" ")[0].replace('언론사','')

    ws1.append([title, url, comp])

driver.quit()
wb.save(filename='articles.xlsx')

 

파이썬으로 이메일 보내기 (SMTP)

SMTP서버를 사용해 크롤링한 엑셀파일을 이메일로 보낼 것이다.

구글메일(gmail.com)을 사용할 경우, 2가지 설정을 해야한다.

 

1. 보안 수준이 낮은 앱 엑세스 허용

myaccount.google.com/lesssecureapps

로그인 - Google 계정

'사용'으로 바꿔주어야 한다.

 

2. 2단계 인증을 풀어주어야 한다.

(저는 원래 사용하지 않았으므로 PASS)

import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from email.mime.text import MIMEText
from email import encoders

# 보내는 사람 정보
me = "보내는 사람의 이메일"
my_password = "이메일 계정의 비밀번호"

# 로그인하기
s = smtplib.SMTP_SSL('smtp.gmail.com')
s.login(me, my_password)

# 받는 사람 정보
you = "받는 사람 이메일"

# 메일 기본 정보 설정
msg = MIMEMultipart('alternative')
msg['Subject'] = "보낼 메일 제목"
msg['From'] = me
msg['To'] = you

# 메일 내용 쓰기
content = "보낼 메일의 내용"
part2 = MIMEText(content, 'plain')
msg.attach(part2)

part = MIMEBase('application', "octet-stream")
with open("articles.xlsx", 'rb') as file:
    part.set_payload(file.read())
encoders.encode_base64(part)
part.add_header('Content-Disposition', "attachment", filename="추석기사.xlsx") # 첨부파일 이름
msg.attach(part)

# 메일 보내고 서버 끄기
s.sendmail(me, you, msg.as_string())
s.quit()

혹시 여러명에게 매일을 보내고 싶다면,

emails = ["메일1", "메일2"...] 같은 배열을 만들어준 후 for 문을 돌리면 된다!