모각코 파이썬 크롤링 11일차

#11. 동적 크롤링 ②

📌크롤링 대상 사이트 살펴보기

오늘은 파파고를 사용한 번역기를 만들어 봄

 

그러기 위해 파파고에 접속하여 직접 사이트를 살펴봄

https://papago.naver.com/

네이버 파파고

 

1️⃣ 동적크롤링 진행 순서

동적크롤링의 경우, 데이터를 즉시 수집하지 못하기 때문에 

데이터를 얻기 위한 순서를 생각하는 것이 중요

 

파파고에 접속해서 번역을 받기 위해, 아래 작업을 거침

1. 번역할 내용을 왼쪽 창에 입력
2. 번역 버튼을 클릭
3. 번역 결과를 수집

(파파고는 번역 버튼을 누르지 않아도 자동으로 번역 결과가 나오지만

누락 될 경우를 방지하기 위해 번역 버튼을 클릭하는 작업을 포함)

 

2️⃣ 필요한 요소의 태그 및 선택자 확인

파파고의 html 코드를 살펴보고 3개 요소의 태그 및 선택자 확인

✔ 번역 입력

 

# 번역 입력 칸
"textarea#txtSource"

마찬가지로 번역 버튼과 번역 결과도 찾아줌

# 번역 버튼
"button#btnTranslate"

# 번역 결과
"div#tetTarget.edit_box___1KtZ3.active___3VPGL"

 

📌파이썬 코드 작성

1️⃣ 사전작업

from selenium import webdriver 
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time

chrome_driver = ChromeDriverManager().install()
service = Service(chrome_driver)
driver = webdriver.Chrome(service = service)

2️⃣ 파파고 페이지로 이동

from selenium import webdriver 
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time

chrome_driver = ChromeDriverManager().install()
service = Service(chrome_driver)
driver = webdriver.Chrome(service = service)

URL = "https://papago.naver.com/"
driver.get(URL)
time.sleep(3)

3️⃣ 영단어 입력받기

input함수를 사용해 번역하고 싶은 영단어 입력 받음

question = input("번역 할 영단어를 입력하세요. : ")

4️⃣ 태그 선택, find_element 함수와 By

 

1. 입력값을 담당하는 HTML 태그 선택
2. 데이터 전송

find_element

from selenium.webdriver.common.by import By

driver.find_element(By.검색방법, "검색어" )

find_element 함수는 검색 방법과 검색어, 두 가지 인자를 매개변수로 받음

 

검색 방법은 xpath, css_selector, id 등 여러가지 존재 

오늘은 CSS_Selector 사용!

 

driver.find_element(By.CSS_SELECTOR, " 태그와 선택자조합 ")

검색어로 원하는 HTML 요소의 태그와 선택자를 넣어주면 검색된 HTML 요소를 리턴해 줌 

form = driver.find_element(By.CSS_SELECTOR, "textarea#txtSource")

 

5️⃣ 데이터 전송, send_keys

 

send_key

: HTML 요소에 데이터를 전송하는 함수 

"Selenium의 HTML요소".send_keys("전송할 값")

form = driver.find_element(By.CSS_SELECTOR, "textarea#txtSource")
form.send_keys(question)

 

6️⃣ 번역 버튼 클릭

click : HTML 요소를 클릭해주는 함수 

button = driver.find_element(By.CSS_SELECTOR, "button#btnTranslate")
button.click()
time.sleep(2)

번역하기 버튼을 선택하고 클릭

 

7️⃣ 번역 결과 출력

result = driver.find_element(By.CSS_SELECTOR, "div#txtTarget")
print(question, "->", result.text)

번역 결과 받아옴

 

8️⃣ 크롬 창 닫기

driver.close()

 

​⭐정리하기⭐

​✔ 웹 페이지 살펴보기

✔ driver를 활용한 선택자 사용

✔ 입력하기

- 입력을 위한 함수 send_keys( )

- 클릭을 위한 함수 click( )

✔ 결과 가져오기