모각코 파이썬 크롤링 13일차

#13. 동적 크롤링 ③

📌 구현할 소스코드

2개의 소스코드를 구현함

✅ 첫 번째 소스코드

• 영단어 번역 여러 번 실행
• 번역 결과를 모두 'my_papago.csv' 파일에 저장

 

✅ 두 번째 소스코드

• 영단어 번역 여러 번 실행
• 'my_papago.csv' 파일에 있는 영단어일 경우, 저장하지 않음
• 'my_papago.csv' 파일에 없는 영단어는 번역 결과 저장

 

📌 첫번째 파이썬 코드 작성

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import time
import csv

chrome_driver = ChromeDriverManager().install()
service = Service(chrome_driver)
driver = webdriver.Chrome(service=service)

papago_url = "https://papago.naver.com/"
driver.get(papago_url)

time.sleep(3)

f = open("./my_papago.csv", "w", newline="", encoding="utf-8-sig")

wtr = csv.writer(f)
wtr.writerow(["영단어", "번역결과"])

while True:
    keyword = input("번역할 영단어 입력 (0 입력하면 종료) : ")
    if keyword == "0":
        print("번역 종료")
        break

    form = driver.find_element(By.CSS_SELECTOR, "textarea#txtSource")
    form.send_keys(keyword)

    button = driver.find_element(By.CSS_SELECTOR, "button#btnTranslate")
    button.click()
    time.sleep(1)

    output = driver.find_element(By.CSS_SELECTOR, "div#txtTarget").text

    wtr.writerow([keyword, output])

    driver.find_element(By.CSS_SELECTOR, "textarea#txtSource").clear()
    

driver.close()

f.close()

 

👉 실행 결과

 

 

📌 두번째 파이썬 코드 작성

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import time
import csv

chrome_driver = ChromeDriverManager().install()
service = Service(chrome_driver)
driver = webdriver.Chrome(service=service)

papago_url = "https://papago.naver.com/"
driver.get(papago_url)

time.sleep(3)

f = open("./my_papago.csv", "r", encoding="utf-8-sig")
rdr = csv.reader(f)
next(rdr)

my_dict = {}
for row in rdr:
    keyword = row[0]
    korean = row[1]
    my_dict[keyword] = korean

f.close()

f = open("./my_papago.csv", "a", newline="", encoding="utf-8-sig")
wtr = csv.writer(f)

# while문 안에 있는 조건문을 확인해주세요
while True:
    keyword = input("번역할 영단어 입력 (0 입력하면 종료) : ")
    if keyword == "0":
        print("번역 종료")
        break

    # 영단어가 'my_dict'의 키 값 중에 있다면, 이 사실을 알려주고 저장되어있던 번역 결과 출력
    if keyword in my_dict.keys():
        print("이미 번역한 영단어입니다! 뜻은", my_dict[keyword], "입니다.")
    # 위의 경우에 포함되지 않으면, 딕셔너리와 CSV 파일에 추가
    else:
        driver.find_element(By.CSS_SELECTOR, "textarea#txtSource").send_keys(keyword)
        driver.find_element(By.CSS_SELECTOR, "button#btnTranslate").click()
        time.sleep(1)

        output = driver.find_element(By.CSS_SELECTOR, "div#txtTarget").text

        # CSV 파일에 행 추가
        wtr.writerow([keyword, output])

        # 딕셔너리에 추가
        my_dict[keyword] = output

        driver.find_element(By.CSS_SELECTOR, "textarea#txtSource").clear()

driver.close()
f.close()

 

👉 실행 결과

 

 

 

 

 

 

​⭐정리하기⭐

​✔ 라이브러리 준비

• 동적크롤링을 위해 selenium, time
• csv 파일을 다루기 위해 csv

✔ 첫번째 소스코드

• csv 파일생성
• writer 객체 사용
• csv 파일의 열 제목 작성
• 반복문으로 번역 여러번 실행 및 csv 파일에 저장

✔ 두번째 소스코드

• csv 파일에 저장된 값 불러오기
• 불러온 데이터를 딕셔너리로 저장
• 파일닫고 다시 열기
• csv 파일의 열 제목 작성
• 반복문으로 번역 여러번 실행 및 csv 파일에 추가