모각코 파이썬 크롤링 14일차

#14. 동적 크롤링 ④

📌 크롤링 대상 사이트 살펴보기

코뮤니티 카페에 접속하여 신규 회원 게시판의 내용 수집 

 

1️⃣ 네이버 로그인 페이지

 

👉 [네이버: 로그인]

 

그림에서도 볼 수 있듯, 아이디 입력, 비밀번호 입력, 

로그인 버튼 클릭 순서로 작업을 진행해야 한다.

 

기존에는 자동으로 값을 입력하기 위해, send_keys 함수를 이용했지만

네이버는 자동화 소프트웨어를 막고 있기 때문에,

send_keys 함수를 사용해 로그인을 시도하면

아래와 같이 자동입력방지 이미지가 나온다.

 

 

이런 기능을 피하기 위해서, selenium에선 execute_script라는 함수가 존재한다.

입력받은 JavaScript 코드를 브라우저에서 실행시키는 함수이다.

 

driver.execute_script("JS 스크립트")

 

아이디와 비밀번호는 직접 입력할 수 없으니, 

로그인 버튼의 태그만 알아보았다. 

 

태그는 button, class는 btn_login이지만 id값이 log.login이다.

 

실제 태그와 선택자 조합은 button#log.login.btn_login이지만

selenium에서는 점( . )을 클래스로 여기기 때문에,

선택자와 태그 조합에 log.login이라는 id를 사용할 수는 없다.

 

이 경우 find_element 함수에서 By.CSS_SELECTOR 대신 By.ID를 사용할 수 있다.

 

driver.find_element(By.ID, "id")

 

css selector가 태그와 선택자 조합을 인자로 받았다면,

id는 말 그대로 id를 인자로 받는다.

id는 해당 페이지에서 유일한 요소라는걸 이용하는 것이다.

 

2️⃣ 신규회원 게시판의 id

 

로그인이 완료되면, 코뮤니티에 접속할 수 있다.

https://cafe.naver.com/codeuniv

 

신규 회원 게시판 버튼의 태그와 선택자를 확인해 보면,

 

 

 

신규 회원 게시판 또한 menuLink90이라는 id를 가지는 것을 확인 할 수 있다.

이 친구 역시 find_element 함수에 By.ID를 이용해

요소를 선택하면 될 것 같다.

 

 

3️⃣ 게시글의 XPath

 

이제 첫 번째 게시물을 클릭해서 글의 내용을 확인해 봐야하는데

이번에는 첫 번째 게시물의 태그나 선택자 말고 XPath를 알아보았다.

 

XPath란, 웹 페이지의 구조 최 상단부터 태그를 타고 들어가, 

해당 html 요소가 어디에 존재 하는 지를 나타내는 경로의 일종

 

실제로, 첫 번째 게시글의 XPath는 아래와 같다.

/html/body/div[1]/div/div[4]/table/tbody/tr[1]/td[1]/div[3]/div/a

html 태그부터 시작해서, body, div[1], ...를 타고 가다 보면,

마지막 a태그가 첫 번째 게시글을 의미

 

이 또한 selenium의 find_element함수의 By.XPATH를 통해

HTML 요소를 선택할 수 있다.

 

4️⃣ 게시물의 태그

태그는 div이고, se-module, se-module-text라는 두 클래스를 가진다.

 

📌 파이썬 코드 작성

1️⃣ 라이브러리 import

# 라이브러리 import
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import time

 

2️⃣ 네이버 로그인 페이지 접속

chrome_driver = ChromeDriverManager().install()
service = Service(chrome_driver)
driver = webdriver.Chrome(service=service)

# 네이버 로그인 페이지 접속
login_url = 'https://nid.naver.com/nidlogin.login'
driver.get(login_url)

# 시간적 여유 원하는 만큼
time.sleep(2)

3️⃣ 아이디 & 비밀번호 입력

 

네이버에 로그인할 경우 'send_keys()' 함수가 아니라 

'execute_script()' 함수를 사용

# 본인의 아이디, 비밀번호를 각각 변수에 저장
# ex) 아이디 : comu, 비밀번호 : 12345
my_id = 'comu'
my_pw = '12345'

# 아이디와 비밀번호 입력
driver.execute_script("document.getElementsByName('id')[0].value = \\'" + my_id + "\\'")
driver.execute_script("document.getElementsByName('pw')[0].value = \\'" + my_pw + "\\'")

# 시간적 여유 원하는 만큼
time.sleep(1)

execute_script 함수에 적어둔 document.~~ 는 자바스크립트의 문법

 

파이썬에서 값을 넘겨 주는 것이 아닌,

브라우저에서 JS를 실행시켜 보안을 우회하는 방법

 

4️⃣ '로그인' 버튼 클릭

# '로그인' 버튼 클릭
button = driver.find_element(By.ID, 'log.login')
button.click()
# 시간적 여유 원하는 만큼
time.sleep(1)

 

5️⃣ 코뮤니티 접속

 

로그인을 완료했다면, 이제 코뮤니티로 접속

'get()' 함수를 사용해서 자동화된 크롬 창을 이동 시켜 주었다. 

# 코뮤니티 접속
comu_url = 'https://cafe.naver.com/codeuniv'
driver.get(comu_url)
# 시간적 여유 원하는 만큼
time.sleep(1)

 

6️⃣ '신규회원게시판' 클릭

# '신규회원게시판' 클릭
menu = driver.find_element(By.ID, 'menuLink90')
menu.click()
# 시간적 여유 원하는 만큼
time.sleep(1)

 

7️⃣ 프레임 전환

크롤링을 하다 보면, 분명히 내가 원하는 정보가 모두 화면에 있고..

HTML 코드에서도 원하는 정보가 모두 있는데,

파이썬으로 검색하면 없거나, 크롤링이 되지 않는 경우가 종종 발생한다.

 

네이버 카페가 바로 위의 경우인데요!

이 경우 가장 먼저 프레임으로 구성된 부분이 있는지 확인해야 한다.

 

프레임은 HTML 내부에 또 다른 HTML을 집어넣어 둔 것으로 생각하면 된다.

 

개발자 도구(ctrl F)에서 iframe을 검색하여 네이버 카페가 프레임으로 구성된 웹페이지 였는지 확인

 

프레임으로 구성된 웹 페이지를 크롤링하기 위해선

selenium의 탐색 위치를 프레임 내부로 전환해줘야 한다.

이 때 사용하는 함수가, switch_to.frame 이다.

 

driver.switch_to.frame("프레임의 이름")

 

선택자 중 'name'을 사용하여 selenium의 위치를 옮겨 주었다. 

# 프레임 전환
driver.switch_to.frame('cafe_main')
# 시간적 여유 원하는 만큼
time.sleep(1)

 

8️⃣ 첫번째 게시물 클릭

xpath = "/html/body/div[1]/div/div[4]/table/tbody/tr[1]/td[1]/div[3]/div/a"

# 첫번째 글 클릭
writing = driver.find_element(By.XPATH, xpath)
writing.click()
# 시간적 여유 원하는 만큼
time.sleep(1)

 

9️⃣ 글 내용 출력

# 글 내용 출력
content = driver.find_element(By.CSS_SELECTOR, "div.se-component-content").text
print(content)
# 크롬 창 닫기
driver.close()

 

📌 최종 코드 및 실행결과

 

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import time

chrome_driver = ChromeDriverManager().install()
service = Service(chrome_driver)
driver = webdriver.Chrome(service=service)

login_url = "https://nid.naver.com/nidlogin.login"
driver.get(login_url)

time.sleep(2)

my_id = "comu"
my_pw = "12345"

driver.execute_script("document.getElementsByName('id')[0].value = '" + my_id + "'")
driver.execute_script("document.getElementsByName('pw')[0].value = '" + my_pw + "'")

time.sleep(1)

button = driver.find_element(By.ID, "log.login")
button.click()
time.sleep(1)

comu_url = "https://cafe.naver.com/codeuniv"
driver.get(comu_url)
time.sleep(1)

menu = driver.find_element(By.ID, "menuLink90")
menu.click()
time.sleep(1)

driver.switch_to.frame("cafe_main")
time.sleep(1)

xpath = "/html/body/div[1]/div/div[4]/table/tbody/tr[1]/td[1]/div[3]/div/a"

writing = driver.find_element(By.XPATH, xpath)
writing.click()
time.sleep(1)

content = driver.find_element(By.CSS_SELECTOR, "div.se-component-content").text
print(content)

driver.close()

 

👉 실행 결과

 

 

 

 

 

​⭐정리하기⭐

✔ 'execute_script()' 함수

✔ XPath

✔ 프레임 전환