모각코 파이썬 크롤링 6일차

글로만 봤을 땐 되게 쉬워보였는데, 막상 실습 따라할 때 

오류가 자꾸나서 답답했던,, ㅜㅜ 

아직도 해결책을 찾지 못했다. 찝찝해 

그럼 시작해보도록 하겠다. 

 

#6일차. 정적 크롤링①

크롤링을 본격적으로 시작하기 전, 두 가지를 먼저 생각해야한다. 

✔️ 크롤링을 할 웹 사이트 선정

✔️ 데이터 선정

 

📌 크롤링 대상 사이트 살펴보기

크롤링을 할 웹 사이트와 데이터를 선정한 후에는 꼭 해당 사이트를 살펴보아야 한다. 

정적/동적 크롤링 중 어떤 것이 적합한지 정해야 하기 때문

 

로또 당첨 번호 사이트를 크롤링하기로 하였다. 

https://dhlottery.co.kr/gameResult.do?method=byWin

로또6/45 - 회차별 당첨번호

 

하나의 웹 페이지 안에 필요한 당첨 번호가 모두 나타나 있는 것을 알 수 있다. 

F12 키를 눌러 번호를 수집하는 것이 가능한지 확인해 주면 된다. 

 

select 버튼을 클릭하여, 내가 원하는 데이터가 포함된 html 태그를 찾아 본다. 

태그는 'div'이고 class가 'nums'인 HTML 요소 <div class="nums"> 안에

우리가 원하는 당첨 번호가 모두 포함되어 있는 것을 알 수 있다. 

 

왼쪽에 있는 화살표 '▶' 를 클릭하면 태그가 열리면서, 하위 태그를 확인할 수 있다. 

 

<div class="num win">태그에 6개, <div class="num bonus"> 태그에 1개가 저장되어있는 것을 확인 하였다. 

 

로또 사이트의 특징을 정리해보자면

✔️ 웹 사이트의 주소에 접속하면, 한 페이지 내에 원하는 데이터가 모두 등장

✔️ 원하는 데이터의 태그를 살펴본 결과 클릭, 입력, 페이지 이동 등의 변화가 없어도 데이터 수집 가능

​ -> 정적크롤링에 적합

 

📌 라이브러리 'requests'

 

정적크롤링을 위한 첫 번째 라이브러리는 'requests' 이다.

이전에도 말했듯, requests 라이브러리는 파이썬에서 웹에 요청을 편하게 전송 시켜주는 라이브러리이다. 

 

📌 웹사이트의 HTML 불러오기

전체 html 코드를 뽑아 온 후 get 함수를 사용하여 웹 페이지의 내용을 요청할 수 있다. 

 

✅ get() 함수

requests 라이브러리의 get() 함수는 웹 페이지의 내용을 요청하는 함수

requests.get(" 데이터를 받아올 URL " )

 

📌 파이썬 코드 작성

import requests

URL = 'https://dhlottery.co.kr/gameResult.do?method=byWin'
raw = requests.get(URL)
print(raw)

👉 출력결과

<Response [200]>

<Response [200]>은 get 함수를 통해 보낸 요청이 정상적으로 처리되었다는 의미

 

Response 뒤에 나오는 200을 상태응답코드라고 하고,

요청이 어떻게 처리되었는지에 따라 404, 500 등의 값을 가진다.

• 1xx (정보): 요청을 받았으며 프로세스를 계속한다
• 2xx (성공): 요청을 성공적으로 받았으며 인식했고 수용하였다
• 3xx (리다이렉션): 요청 완료를 위해 추가 작업 조치가 필요하다
• 4xx (클라이언트 오류): 요청의 문법이 잘못되었거나 요청을 처리할 수 없다
• 5xx (서버 오류): 서버가 명백히 유효한 요청에 대해 충족을 실패했다

HTML 코드 출력

print(raw.text)

 

실제로 로또 번호 데이터가 존재하는 지 확인 

import requests

URL = 'https://dhlottery.co.kr/gameResult.do?method=byWin'
raw = requests.get(URL)
target = '<div class="nums">'

if target in raw.text:
    idx = raw.text.index(target)
    print(raw.text[idx:idx + 578])

⭐ 실행결과

코드 및 실행결과

로또 번호 데이터가 존재하는 것을 확인 할 수 있다. 

 

⭐정리하기⭐

✔ 크롤링 하기 전 생각할 2가지

- 크롤링을 할 웹 사이트 선정

- 데이터 선정

=> 사이트와 적합한 크롤링 방법 고르기 (정적/동적)

✔ 라이브러리를 사용하는 이유

- 웹사이트의 HTML 코드를 불러오기 위해

✔ requests 라이브러리 (정적 크롤링 라이브러리)

- get() 함수로 웹 페이지의 내용을 요청

 

여기까지가 오늘 배운 내용이고, 내가 난 오류에 대해서 설명해보자면

실행 오류

이론 공부를 하고 나서 추후에 협업 프로젝트 할 때 git이 필요하다는 글을 보고 

친해지려고 노력중이다. 

 

그래서 오늘 배운 코드를 github에 올리고자 git 저장소에 코드를 복사 - 붙여넣기를 했는데도 자꾸 

ModuleNotFoundError: No module named 'requests'

이런 오류가 발생한다. 

 

구글에 검색도 해보고 여러 방법을 써봤는데도 실행이 안되는 중이다. . . 

도대체 뭐가 문제지,, 

 

또 desktop에서 하면 코드가 실행이 된다. 

뭐가 문제징,,