🌱 → 🌳

#15. 동적 크롤링 ⑤ 📌 신규 회원 게시판 XPath 사용 이유 1. id, class에 구애받지 않고 크롤링을 진행할 수 있다. 2, html 요소들의 패턴을 파악하기 쉽다 ✅ XPath의 패턴 최상단 글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[1]/td[1]/div[3]/div/a 그 바로 아래 게시글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[2]/td[1]/div[3]/div/a 세번째 게시글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[3]/td[1]/div[3]/div/a 중간에 존재하는 tr 태그의 번호가 하나씩 증가하고 있는 것을 확인 -> ..

#14. 동적 크롤링 ④ 📌 크롤링 대상 사이트 살펴보기 코뮤니티 카페에 접속하여 신규 회원 게시판의 내용 수집 1️⃣ 네이버 로그인 페이지 👉 [네이버: 로그인] 그림에서도 볼 수 있듯, 아이디 입력, 비밀번호 입력, 로그인 버튼 클릭 순서로 작업을 진행해야 한다. 기존에는 자동으로 값을 입력하기 위해, send_keys 함수를 이용했지만 네이버는 자동화 소프트웨어를 막고 있기 때문에, send_keys 함수를 사용해 로그인을 시도하면 아래와 같이 자동입력방지 이미지가 나온다. 이런 기능을 피하기 위해서, selenium에선 execute_script라는 함수가 존재한다. 입력받은 JavaScript 코드를 브라우저에서 실행시키는 함수이다. driver.execute_script("JS 스크립트") 아..

#13. 동적 크롤링 ③ 📌 구현할 소스코드 2개의 소스코드를 구현함 ✅ 첫 번째 소스코드 영단어 번역 여러 번 실행 번역 결과를 모두 'my_papago.csv' 파일에 저장 ✅ 두 번째 소스코드 영단어 번역 여러 번 실행 'my_papago.csv' 파일에 있는 영단어일 경우, 저장하지 않음 'my_papago.csv' 파일에 없는 영단어는 번역 결과 저장 📌 첫번째 파이썬 코드 작성 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.common.by imp..

#11. 동적 크롤링 ② 📌크롤링 대상 사이트 살펴보기 오늘은 파파고를 사용한 번역기를 만들어 봄 그러기 위해 파파고에 접속하여 직접 사이트를 살펴봄 https://papago.naver.com/ 네이버 파파고 번역을 부탁해 파파고 papago.naver.com 1️⃣ 동적크롤링 진행 순서 동적크롤링의 경우, 데이터를 즉시 수집하지 못하기 때문에 데이터를 얻기 위한 순서를 생각하는 것이 중요 파파고에 접속해서 번역을 받기 위해, 아래 작업을 거침 번역할 내용을 왼쪽 창에 입력 번역 버튼을 클릭 번역 결과를 수집 (파파고는 번역 버튼을 누르지 않아도 자동으로 번역 결과가 나오지만 누락 될 경우를 방지하기 위해 번역 버튼을 클릭하는 작업을 포함) 2️⃣ 필요한 요소의 태그 및 선택자 확인 파파고의 html ..

#10. 동적 크롤링 ① 📌 라이브러리 'selenium' selenium : 동적크롤링을 위한 라이브러리, 웹 드라이버(webdriver)를 사용하여 자동화를 실현하는 라이브러리 사람이 데이터를 수집하는 방식 그대로 크롤링하는 기계를 만들어 냄 정적크롤링에 비해 속도는 느리지만, 마우스 클릭, 키보드 입력, 뒤로가그 등의 동작이 가능하기 때문에 크롤링에 한계는 거의 없다. ✅ Selenium 설치 터미널 혹은 명령프롬프트를 열어 아래 명령어를 입력하여 설치 pip install selenium 📌webdriver selenium의 웹 드라이버는 웹 응용 프로그램들의 테스트를 단순화 및 가혹화해주는 틀 웹 브라우저를 자동으로 조작하기 위해, 프로그래밍 언어와 브라우저를 연결하는 매개체라고 생각해도 무방 ..

#9. 정적 크롤링 4 8일차에서 살펴보았던 URL 주소의 패턴을 활용하여 여러 페이지의 아래의 정보를 수집할 것이다. ✔ 각 상품의 이름과 가격 수집 ✔ 원하는 콘텐츠 (키워드) 입력받기 📌 파이썬 코드 작성 import requests import bs4 while True: keyword=input("검색을 원하는 키워드를 입력하세요.(0을 입력하면 종료)") if keyword =="0": break URL = "https://browse.gmarket.co.kr/search?keyword="+keyword raw=requests.get(URL) html=bs4.BeautifulSoup(raw.text,'html.parser') box=html.find('div',{'class':'section_..

정적 크롤링 3 📌 크롤링 대상 사이트 살펴보기 이제까지 requests, BeautifulSoup 라이브러리를 사용하여 한 페이지 내에 존재하던 로또 당첨 번호를 크롤링 하였다. 하지만, 정적 크롤링에서도 페이지 이동과 유사한 기능을 구현해 줄 수 있다! URL 주소값의 패턴을 파악통해서 ✅ 사이트 살펴보기 ​ 1️⃣ 사이트 접속 우선 아래 링크로 접속한다. https://www.gmarket.co.kr/ 2️⃣ 상품 검색 다음으로, 검색창에 마스크를 입력 3️⃣ 검색어의 URL 패턴 확인 검색값을 변경하면서 데이터를 받아오기 위해, 검색했던 화면의 URL을 확인해 보았다. 우리가 검색했던 마스크가 URL 주소에 포함되어 있는것을 확인할 수 있다. 👉 url 주소 주소 값에서 keyword= 이라는 문..

📌 BeautifulSoup의 필요성 6일차 코드를 확인해보면 requests로만 데이터를 추출했을 때 html의 태그와 선택자를 사용해 데이터를 추출한 것이 아닌 html 코드를 단순한 문자열 타입으로 처리해 html을 텍스트로 출력한 것이다. 다시 말해, html에서 class가 nums인 div태그를 받아와라!의 코드가 아닌, 문자열에서 이 포함된 부분을 출력해라! 라고 짠 코드이다. BeautifulSoup 라이브러리는 문자열을 실제 html 코드로 변환해주어 requests의 한계를 극복할 수 있다. 📌 BeautifulSoup 사용하기 raw.text를 실제 html 코드로 변환해주기 bs4.BeautifulSoup(" HTML 데이터 ", "데이터 타입" ) html 데이터로 raw.text..