🌱 → 🌳

#15. 동적 크롤링 ⑤ 📌 신규 회원 게시판 XPath 사용 이유 1. id, class에 구애받지 않고 크롤링을 진행할 수 있다. 2, html 요소들의 패턴을 파악하기 쉽다 ✅ XPath의 패턴 최상단 글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[1]/td[1]/div[3]/div/a 그 바로 아래 게시글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[2]/td[1]/div[3]/div/a 세번째 게시글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[3]/td[1]/div[3]/div/a 중간에 존재하는 tr 태그의 번호가 하나씩 증가하고 있는 것을 확인 -> ..

#14. 동적 크롤링 ④ 📌 크롤링 대상 사이트 살펴보기 코뮤니티 카페에 접속하여 신규 회원 게시판의 내용 수집 1️⃣ 네이버 로그인 페이지 👉 [네이버: 로그인] 그림에서도 볼 수 있듯, 아이디 입력, 비밀번호 입력, 로그인 버튼 클릭 순서로 작업을 진행해야 한다. 기존에는 자동으로 값을 입력하기 위해, send_keys 함수를 이용했지만 네이버는 자동화 소프트웨어를 막고 있기 때문에, send_keys 함수를 사용해 로그인을 시도하면 아래와 같이 자동입력방지 이미지가 나온다. 이런 기능을 피하기 위해서, selenium에선 execute_script라는 함수가 존재한다. 입력받은 JavaScript 코드를 브라우저에서 실행시키는 함수이다. driver.execute_script("JS 스크립트") 아..