이미지 웹 스크래핑(웹 크롤링)하기

dload 패키지 설치

dload는 이미지 다운로드를 쉽게 도와주는 패키지이다.

File > Settings > Python Interpreter

오른쪽에 + 버튼 눌러서 dload 검색

import dload

dload.save("이미지 주소")

구글에서 아무 이미지나 검색해서 '이미지 주소 복사'해서 링크를 넣어주면 이미지가 저장된다.

 

셀레니움 설치

셀레니움은 브라우저를 자동으로 제어해주는 패키지이다.

File > Settings > Python Interpreter

seleninum 검색 > Install Package

 

셀레니움 웹드라이버 설치

크롬 브라우저 > 도움말 > Chrome 정보 > 크롬 버전 확인

 

셀레니움 웹드라이버 설치 링크로 고고

chromedriver.storage.googleapis.com/index.html?path=85.0.4183.87/

https://chromedriver.storage.googleapis.com/index.html?path=85.0.4183.87/

자기 크롬 버전에 맞게 설치!

(85버전이 아니라면 Parent Directory들어가서 본인 버전으로 설치)

압축을 풀어서 나온 실행파일은 파이썬 프로젝트 폴더로 옮겨준다.

 

from selenium import webdriver
driver = webdriver.Chrome('chromedriver')

driver.get("http://www.naver.com")

이 코드를 실행시키면, 크롬 브라우저 새 창으로 naver가 뜬다!

 

웹 스크래핑(웹 크롤링)하기

Beautifulsoup는 브라우저의 소스코드 중에서 내가 원하는 것을 솎아내주는 패키지이다.

설치방법은 위와 동일하다.

File > Settings > Python Interpreter > bs4 > Install Package

 

네이버에 원하는 단어를 이미지검색한다.

 

그리고 크롤링할 이미지 중 하나를 오른쪽 클릭 > 검사 > Copy > Copy selector

⚠ 주의할 점은 img src 주소가 있는 태그 부분을 copy해야 한다는 것!

 

from bs4 import BeautifulSoup
from selenium import webdriver
import time

driver = webdriver.Chrome('chromedriver') # 웹드라이버 파일 경로
driver.get("https://search.naver.com/search.naver?where=image&sm=tab_jum&query=%ED%83%9C%EB%AF%BC") # 이미지 검색 URL
time.sleep(5) # 5초 동안 페이지 로딩 기다리며 파이썬은 쉰다.

req = driver.page_source
# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(req, 'html.parser')

# 아까 복사한 Selector를 넣어준다.
thumnails = soup.select_one('#_sau_imageTab > div.photowall._photoGridWrapper > div.photo_grid._box > div:nth-child(2) > a.thumb._thumb > img')
print(thumnails['src'])

driver.quit() # 끝나면 닫아주기

그러면 이미지의 src 주소만 출력이 된다.

 

이제 모든 검색 결과를 크롤링해서 저장해보자💨

이미지들의 selector를 자세히 보다보면, div:nth-child등 일정한 규칙들이 있는 걸 알 수 있다.

이 부분을 지워주거나 정리해서 soup.select에 넣어준다.

soup.select_one를 쓰면 해당 html 태그 중 하나만 선택하고,

soup.select는 해당하는 모든 html 태그를 선택한다.

from bs4 import BeautifulSoup
from selenium import webdriver
import time
import dload

driver = webdriver.Chrome('chromedriver') # 웹드라이버 파일 경로
driver.get("https://search.naver.com/search.naver?where=image&sm=tab_jum&query=%ED%83%9C%EB%AF%BC") # 이미지 검색 URL
time.sleep(5) # 5초 동안 페이지 로딩 기다리며 파이썬은 쉰다.

req = driver.page_source
# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(req, 'html.parser')

thumnails = soup.select('#_sau_imageTab > div.photowall._photoGridWrapper > div > div > a.thumb._thumb > img')

i = 1
for thumnail in thumnails:
    img = thumnail['src']
    print(img)
    dload.save(img, f'img/{i}.jpg')
    i += 1

driver.quit() # 끝나면 닫아주기

네이버는 '#_sau_imageTab > div.photowall._photoGridWrapper > div > div > a.thumb._thumb > img'

다음은 '#imgList > div > a > img'

이런식으로 soup.select에 넣어주면 된다.

⚠ 여기서 주의할 점은 img폴더를 미리 만들어야 한다는 것‼ 안그러면 오류 대참사가 난다.

 

짠! 그럼 이렇게 크롤링이 완료된다💙