모각코 파이썬 크롤링 10일차

#10. 동적 크롤링 ①

📌 라이브러리 'selenium'

selenium

: 동적크롤링을 위한 라이브러리, 웹 드라이버(webdriver)를 사용하여 자동화를 실현하는 라이브러리

 

사람이 데이터를 수집하는 방식 그대로 크롤링하는 기계를 만들어 냄

정적크롤링에 비해 속도는 느리지만,

마우스 클릭, 키보드 입력, 뒤로가그 등의 동작이 가능하기 때문에 크롤링에 한계는 거의 없다.

 

✅ Selenium 설치

 

터미널 혹은 명령프롬프트를 열어 아래 명령어를 입력하여 설치

pip install selenium

 

📌webdriver

selenium의 웹 드라이버는 웹 응용 프로그램들의 테스트를 단순화 및 가혹화해주는 틀

웹 브라우저를 자동으로 조작하기 위해, 프로그래밍 언어와 브라우저를 연결하는 매개체라고 생각해도 무방

 

webdriver-manager라는 라이브러리를 사용해 크롬 드라이버를 코드로 받아 올 수 있음

마찬가지로 터미널 혹은 명령프롬프트를 열어 아래 명령어를 입력하여 설치

pip install webdriver-manager

 

📌 동적크롤링 맛보기

1️⃣ 필요한 라이브러리 import

from selenium import webdriver 
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

라이브러리 전체를 불러오는 [import 라이브러리]가 아닌 

라이브러리에서 원하는 함수나 클래스만 불러옴

from 라이브러리 import [ 원하는 메소드/클래스 ]

 

​2️⃣ 웹 드라이버 받아오기

chrome_driver = ChromeDriverManager().install()

 

3️⃣ 자동화된 크롬 창 실행

받아온 chromedriver.exe를 selenium에 연결해줘야 selenium으로 웹 페이지 조작 가능

service = Service(chrome_driver)
driver = webdriver.Chrome(service = service)

webdriver의 Chrome 함수에서는 sevice 객체가 필요하기 때문에, 

크롬 드라이버를 Service 클래스에 넣어주어 service 객체 생성

 

👉 실행 결과

 

 

위처럼 자동화된 소프트웨어 메세지가 출력 되면 성공

 

4️⃣ 웹 페이지 이동하기

get 함수를 사용해 페이지 이동 가능

URL = "https://www.gmarket.co.kr/"
driver.get(URL)

 

5️⃣ 시간지연, 자동종료

selenium은 페이지를 직접 이동하면서 조작하기 때문에, 

적절한 지연 시간을 주는 것이 중요

 

만약 파이썬에서 데이터를 받아오라고 명령헀는데 크롬 창이 아직 로딩 중이라면, 

정확한 태그를 사용했는데도 오류가 나는 상황이 일어날 수 있음

 

이러한 사태를 방지하기 위해,

time 라이브러리에서 제공하는 sleep함수를 사용

import time

time.sleep( "대기시간(초)" )

실행했던 크롬 창을 종료하여 마무리

driver.close()

⭐정리하기⭐

​✔ 동적 크롤링을 위한 라이브러리: selenium

- webdriver를 사용하여 자동화를 실현

✔ webdriver

- 많은 브라우저, 운영체제 및 프로그래밍 언어를 지원하고

- 웹 응용 프로그램들의 테스트를 단순화 및 가속화 해주는 툴

✔ selenium 내장함수

✔ 시간 지연을 위한 time.sleep()