모각코 파이썬 크롤링 15일차

#15. 동적 크롤링 ⑤

📌 신규 회원 게시판

XPath 사용 이유 

1. id, class에 구애받지 않고 크롤링을 진행할 수 있다. 

2, html 요소들의 패턴을 파악하기 쉽다

 

✅ XPath의 패턴

최상단 글의 XPath

/html/body/div[1]/div/div[4]/table/tbody/tr[1]/td[1]/div[3]/div/a

그 바로 아래 게시글의 XPath

/html/body/div[1]/div/div[4]/table/tbody/tr[2]/td[1]/div[3]/div/a

세번째 게시글의 XPath

/html/body/div[1]/div/div[4]/table/tbody/tr[3]/td[1]/div[3]/div/a

 

중간에 존재하는 tr 태그의 번호가 하나씩 증가하고 있는 것을 확인

-> 이처럼 패턴을 파악하기가 굉장히 쉬움

 

한 페이지의 모든 데이터를 받아오는 코드를 구현하 보았다. 

 

✅ 파이썬 코드 구현

오늘은 게시글의 XPath 패턴을 사용해,

위 과정 사이에 뒤로가기를 삽입해 줄것이다. 

 

결과적으로 로그인 - 게시판 이동 - 게시글 진입 - 내용추출 - 뒤로가기 - 게시글 진입 - ...

순서로 반복된다. 

 

2️⃣ 뒤로 가기

driver.back()

 

3️⃣ XPath 패턴을 사용해 반복문 구현

 

XPath 패턴을 사용해 

15번째 게시글까지 모든 내용을 받아와 보자 

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import time

chrome_driver = ChromeDriverManager().install()
service = Service(chrome_driver)
driver = webdriver.Chrome(service=service)

login_url = "https://nid.naver.com/nidlogin.login"
driver.get(login_url)

time.sleep(2)

my_id = "ID"
my_pw = "PW"

driver.execute_script("document.getElementsByName('id')[0].value = '" + my_id + "'")
driver.execute_script("document.getElementsByName('pw')[0].value = '" + my_pw + "'")

time.sleep(1)

button = driver.find_element(By.ID, "log.login")
button.click()
time.sleep(1)

comu_url = "https://cafe.naver.com/codeuniv"
driver.get(comu_url)
time.sleep(1)

menu = driver.find_element(By.ID, "menuLink90")
menu.click()
time.sleep(1)

for i in range(1, 16):
    xpath = (
        "/html/body/div[1]/div/div[4]/table/tbody/tr[" + str(i) + "]/td[1]/div[3]/div/a"
    )

    driver.switch_to.frame("cafe_main")
    time.sleep(1)

    writing = driver.find_element(By.XPATH, xpath)
    writing.click()
    time.sleep(1)

    content = driver.find_element(By.CSS_SELECTOR, "div.se-component-content").text
    print(content)

    driver.back()
    time.sleep(1)

driver.close()

 

여기서 주의할 점은 

네이버 카페는 프레임으로 구성되어 있어 

기본 크롤링 방식으로는 검색이 되지 않는다 

따라서 반복문 내부에 swith_to.frame 함수를 넣어, 게시판으로 돌아갈 때마다

셀레니움의 탐색 범위를 cafe_main으로 변경해주어야 한다.

 

⭐정리하기⭐

✔ 뒤로가기

✔ XPath의 패턴 파악