🌱 → 🌳

#12. 라이브러리 'csv' 📌 CSV 파일 "CSV"는 "Comma Separated Values"의 약어로, 의미 그대로 콤마로 구분된 값이라는 뜻 다시 말해, csv 파일은 콤마(',')로 구분한 텍스트 데이터 혹은 텍스트 파일을 뜻함 CSV 파일의 확장자는 '.csv'이고, 보통 엑셀을 통해 CSV 파일을 확인 할 수 있음 한 줄이 하나의 행이 되고, 콤마 (',')를 기준으로 열을 구분 📌 CSV 파일 사용 이유 데이터의 무게를 줄이기 위해 사용 모든 서식 제거 -> 단순 텍스트 형식으로 데이터 저장 📌파이썬의 'csv' 라이브러리 'csv' 라이브러리에는 읽기를 담당하는 reader, 쓰기를 담당하는 writer가 존재 ✅ csv 파일 작성 파이썬으로 csv파일을 작성할 때는 행 단위로 작성..

#11. 동적 크롤링 ② 📌크롤링 대상 사이트 살펴보기 오늘은 파파고를 사용한 번역기를 만들어 봄 그러기 위해 파파고에 접속하여 직접 사이트를 살펴봄 https://papago.naver.com/ 네이버 파파고 번역을 부탁해 파파고 papago.naver.com 1️⃣ 동적크롤링 진행 순서 동적크롤링의 경우, 데이터를 즉시 수집하지 못하기 때문에 데이터를 얻기 위한 순서를 생각하는 것이 중요 파파고에 접속해서 번역을 받기 위해, 아래 작업을 거침 번역할 내용을 왼쪽 창에 입력 번역 버튼을 클릭 번역 결과를 수집 (파파고는 번역 버튼을 누르지 않아도 자동으로 번역 결과가 나오지만 누락 될 경우를 방지하기 위해 번역 버튼을 클릭하는 작업을 포함) 2️⃣ 필요한 요소의 태그 및 선택자 확인 파파고의 html ..

#10. 동적 크롤링 ① 📌 라이브러리 'selenium' selenium : 동적크롤링을 위한 라이브러리, 웹 드라이버(webdriver)를 사용하여 자동화를 실현하는 라이브러리 사람이 데이터를 수집하는 방식 그대로 크롤링하는 기계를 만들어 냄 정적크롤링에 비해 속도는 느리지만, 마우스 클릭, 키보드 입력, 뒤로가그 등의 동작이 가능하기 때문에 크롤링에 한계는 거의 없다. ✅ Selenium 설치 터미널 혹은 명령프롬프트를 열어 아래 명령어를 입력하여 설치 pip install selenium 📌webdriver selenium의 웹 드라이버는 웹 응용 프로그램들의 테스트를 단순화 및 가혹화해주는 틀 웹 브라우저를 자동으로 조작하기 위해, 프로그래밍 언어와 브라우저를 연결하는 매개체라고 생각해도 무방 ..

1. 클론 코딩 강의 듣고 그게 니가 만든거라 생각하기 2. 공식문서 안 읽고 블로그 요약본만 찾아다니기 3. 검색해서 스스로 해결하는 습관 안 갖고 무지성 강의 듣기 4. 공부한 내용 기록 안하기 오픈채팅방에서 퍼온 글인데 웃프다 ㅋㅋ 다 내가 하고 있는 행동,, 자자 블로그에 정리 열심히 해보쟈,, !!!

#9. 정적 크롤링 4 8일차에서 살펴보았던 URL 주소의 패턴을 활용하여 여러 페이지의 아래의 정보를 수집할 것이다. ✔ 각 상품의 이름과 가격 수집 ✔ 원하는 콘텐츠 (키워드) 입력받기 📌 파이썬 코드 작성 import requests import bs4 while True: keyword=input("검색을 원하는 키워드를 입력하세요.(0을 입력하면 종료)") if keyword =="0": break URL = "https://browse.gmarket.co.kr/search?keyword="+keyword raw=requests.get(URL) html=bs4.BeautifulSoup(raw.text,'html.parser') box=html.find('div',{'class':'section_..

정적 크롤링 3 📌 크롤링 대상 사이트 살펴보기 이제까지 requests, BeautifulSoup 라이브러리를 사용하여 한 페이지 내에 존재하던 로또 당첨 번호를 크롤링 하였다. 하지만, 정적 크롤링에서도 페이지 이동과 유사한 기능을 구현해 줄 수 있다! URL 주소값의 패턴을 파악통해서 ✅ 사이트 살펴보기 ​ 1️⃣ 사이트 접속 우선 아래 링크로 접속한다. https://www.gmarket.co.kr/ 2️⃣ 상품 검색 다음으로, 검색창에 마스크를 입력 3️⃣ 검색어의 URL 패턴 확인 검색값을 변경하면서 데이터를 받아오기 위해, 검색했던 화면의 URL을 확인해 보았다. 우리가 검색했던 마스크가 URL 주소에 포함되어 있는것을 확인할 수 있다. 👉 url 주소 주소 값에서 keyword= 이라는 문..

📌 BeautifulSoup의 필요성 6일차 코드를 확인해보면 requests로만 데이터를 추출했을 때 html의 태그와 선택자를 사용해 데이터를 추출한 것이 아닌 html 코드를 단순한 문자열 타입으로 처리해 html을 텍스트로 출력한 것이다. 다시 말해, html에서 class가 nums인 div태그를 받아와라!의 코드가 아닌, 문자열에서 이 포함된 부분을 출력해라! 라고 짠 코드이다. BeautifulSoup 라이브러리는 문자열을 실제 html 코드로 변환해주어 requests의 한계를 극복할 수 있다. 📌 BeautifulSoup 사용하기 raw.text를 실제 html 코드로 변환해주기 bs4.BeautifulSoup(" HTML 데이터 ", "데이터 타입" ) html 데이터로 raw.text..

글로만 봤을 땐 되게 쉬워보였는데, 막상 실습 따라할 때 오류가 자꾸나서 답답했던,, ㅜㅜ 아직도 해결책을 찾지 못했다. 찝찝해 그럼 시작해보도록 하겠다. #6일차. 정적 크롤링① 크롤링을 본격적으로 시작하기 전, 두 가지를 먼저 생각해야한다. ✔️ 크롤링을 할 웹 사이트 선정 ✔️ 데이터 선정 📌 크롤링 대상 사이트 살펴보기 크롤링을 할 웹 사이트와 데이터를 선정한 후에는 꼭 해당 사이트를 살펴보아야 한다. 정적/동적 크롤링 중 어떤 것이 적합한지 정해야 하기 때문 로또 당첨 번호 사이트를 크롤링하기로 하였다. https://dhlottery.co.kr/gameResult.do?method=byWin 로또6/45 - 회차별 당첨번호 1007회 당첨결과 (2022년 03월 19일 추첨) 당첨번호 8 11..