🌱 → 🌳

#10. 동적 크롤링 ① 📌 라이브러리 'selenium' selenium : 동적크롤링을 위한 라이브러리, 웹 드라이버(webdriver)를 사용하여 자동화를 실현하는 라이브러리 사람이 데이터를 수집하는 방식 그대로 크롤링하는 기계를 만들어 냄 정적크롤링에 비해 속도는 느리지만, 마우스 클릭, 키보드 입력, 뒤로가그 등의 동작이 가능하기 때문에 크롤링에 한계는 거의 없다. ✅ Selenium 설치 터미널 혹은 명령프롬프트를 열어 아래 명령어를 입력하여 설치 pip install selenium 📌webdriver selenium의 웹 드라이버는 웹 응용 프로그램들의 테스트를 단순화 및 가혹화해주는 틀 웹 브라우저를 자동으로 조작하기 위해, 프로그래밍 언어와 브라우저를 연결하는 매개체라고 생각해도 무방 ..

#9. 정적 크롤링 4 8일차에서 살펴보았던 URL 주소의 패턴을 활용하여 여러 페이지의 아래의 정보를 수집할 것이다. ✔ 각 상품의 이름과 가격 수집 ✔ 원하는 콘텐츠 (키워드) 입력받기 📌 파이썬 코드 작성 import requests import bs4 while True: keyword=input("검색을 원하는 키워드를 입력하세요.(0을 입력하면 종료)") if keyword =="0": break URL = "https://browse.gmarket.co.kr/search?keyword="+keyword raw=requests.get(URL) html=bs4.BeautifulSoup(raw.text,'html.parser') box=html.find('div',{'class':'section_..

정적 크롤링 3 📌 크롤링 대상 사이트 살펴보기 이제까지 requests, BeautifulSoup 라이브러리를 사용하여 한 페이지 내에 존재하던 로또 당첨 번호를 크롤링 하였다. 하지만, 정적 크롤링에서도 페이지 이동과 유사한 기능을 구현해 줄 수 있다! URL 주소값의 패턴을 파악통해서 ✅ 사이트 살펴보기 ​ 1️⃣ 사이트 접속 우선 아래 링크로 접속한다. https://www.gmarket.co.kr/ 2️⃣ 상품 검색 다음으로, 검색창에 마스크를 입력 3️⃣ 검색어의 URL 패턴 확인 검색값을 변경하면서 데이터를 받아오기 위해, 검색했던 화면의 URL을 확인해 보았다. 우리가 검색했던 마스크가 URL 주소에 포함되어 있는것을 확인할 수 있다. 👉 url 주소 주소 값에서 keyword= 이라는 문..

📌 BeautifulSoup의 필요성 6일차 코드를 확인해보면 requests로만 데이터를 추출했을 때 html의 태그와 선택자를 사용해 데이터를 추출한 것이 아닌 html 코드를 단순한 문자열 타입으로 처리해 html을 텍스트로 출력한 것이다. 다시 말해, html에서 class가 nums인 div태그를 받아와라!의 코드가 아닌, 문자열에서 이 포함된 부분을 출력해라! 라고 짠 코드이다. BeautifulSoup 라이브러리는 문자열을 실제 html 코드로 변환해주어 requests의 한계를 극복할 수 있다. 📌 BeautifulSoup 사용하기 raw.text를 실제 html 코드로 변환해주기 bs4.BeautifulSoup(" HTML 데이터 ", "데이터 타입" ) html 데이터로 raw.text..

글로만 봤을 땐 되게 쉬워보였는데, 막상 실습 따라할 때 오류가 자꾸나서 답답했던,, ㅜㅜ 아직도 해결책을 찾지 못했다. 찝찝해 그럼 시작해보도록 하겠다. #6일차. 정적 크롤링① 크롤링을 본격적으로 시작하기 전, 두 가지를 먼저 생각해야한다. ✔️ 크롤링을 할 웹 사이트 선정 ✔️ 데이터 선정 📌 크롤링 대상 사이트 살펴보기 크롤링을 할 웹 사이트와 데이터를 선정한 후에는 꼭 해당 사이트를 살펴보아야 한다. 정적/동적 크롤링 중 어떤 것이 적합한지 정해야 하기 때문 로또 당첨 번호 사이트를 크롤링하기로 하였다. https://dhlottery.co.kr/gameResult.do?method=byWin 로또6/45 - 회차별 당첨번호 1007회 당첨결과 (2022년 03월 19일 추첨) 당첨번호 8 11..

📌 선택자 웹 페이지를 표현하는 데이터 모두가 태그로 이루어져 있기떄문에, 그 중 서로 동일한 태그가 존재할 수 있음 이렇게 동일한 태그를 분간해 주기 위해, HTML에서는 선택자라는걸 사용해 각 태그를 구별할 수 있는 일종에 주소를 부여함 📌 선택자의 필요성 아래와 같은 HTML 문서가 있다고 가정해 보면, 파이썬 크롤링 C언어 게임 해당 웹 페이지에서 언어 (language)와 관련된 데이터만 필요하다고 생각해 보자. 만약 태그로만 해당 데이터를 선택한다면, 태그 을 사용할 수 있다. 하지만 태그 에 언어 정보 뿐만 아니라 프로젝트 정보 (크롤링, 게임만들기)도 포함된다. 이러한 경우, 프로젝트 정보를 제외하고 언어 정보만을 특정하기 위해 선택자를 사용 파이썬 크롤링 c언어 게임 이렇게 class =..

이거 시간도 얼마 안걸리도 되게 재밌다 오늘 4일차 하는데 너무 재밌고, 흥미로워서 그냥 한 번에 다 해 버릴까 하다가 참았을 정도,, 오늘은 HTML 구조에 대해 배웠다. 📌 웹페이지와 HTML HTML(HyperText Markup Language)은 '마크로 둘러싸인 언어'라는 뜻으로, 웹 페이지의 구조를 나타내는 언어 다시 말해, 웹 페이지를 만들 때 쓰는 언어라고 이해해도 무방 F12 버튼을 클릭해 개발자 도구 창을 보면 (크롬 브라우저가 아는 사람은 구글에 [브라우저 이름] 페이지 소스라고 검색) 뜨는 코드들이 HTML이다. 📌 HTML 태그 확인 코뮤니티 카페의 '출석체그' 페이지를 활용하여 HTML 태그를 직접 확인하여 보았는데 위 사진의 select 버튼을 사용하여 페이지 구성 요소의 h..

3일차부터 갑자기 어려워진 느낌이다 근데 어려워진만큼 재밌다 ! 어제 생활코딩에서 배웠던 HTML과도 연결이 되는 내용이라 더 흥미있게 공부할 수 있었다. 정적크롤링 정적크롤링 할 때 파이썬의 두 가지 라이브러리: requests, beautifulsoup4(beautifulsoup) requests 기존에 어려운 HTTP 요청을 쉽게 사용하기 위해 만들어진 라이브러리 쉽게 말해, 파이썬과 웹을 연결하기 위해 사용 beautifulsoup4 requests로 받아온 HTML 데이터를 다루기 위해 사용되는 라이브러리 쉽게 말해, 웹에 있는 다양한 데이터 중 필요한 데이터만 뽑아내기 위해 사용