모각코 파이썬 크롤링 7일차

📌 BeautifulSoup의 필요성

6일차 코드를 확인해보면 

requests로만 데이터를 추출했을 때 html의 태그와 선택자를 사용해 데이터를 추출한 것이 아닌

html 코드를 단순한 문자열 타입으로 처리해 html을 텍스트로 출력한 것이다. 

 

다시 말해, html에서 class가 nums인 div태그를 받아와라!의 코드가 아닌,

문자열에서 <div class="nums">이 포함된 부분을 출력해라! 라고 짠 코드이다. 

 

BeautifulSoup 라이브러리는 문자열을 실제 html 코드로 변환해주어 requests의 한계를 극복할 수 있다. 

 

📌 BeautifulSoup 사용하기

raw.text를 실제 html 코드로 변환해주기 

bs4.BeautifulSoup(" HTML 데이터 ", "데이터 타입" )

html 데이터로 raw.text를, 데이터 타입은html이므로 "html.parser"사용

클래스의 객체를 생성하면서, 문자열을 html로 변환해 준다고 생각해도 무방

 

1️⃣ find 함수

find 함수는 인자로 받은 태그, 선택자와 처음 일치하는 데이터를 리턴한다. 

# 1. 태그만 사용 하는 경우
html.find('div')

# 2. 선택자만 사용하는 경우
html.find(id = 'example1')
html.find(attrs = {'id':'example1'})

# 3. 태그 이름과 선택자 정보 모두 사용하는 경우
html.find('div', {'id' : 'example1'})

2️⃣ find_all() 함수

find 함수는 태그와 선택자가 일치하는 가장 첫 태그를 받아왔다면, 

find_all함수는 일치하는 모든 데이터를 리스트 형태로 리턴한다. 

 

📌 최종 코드

import requests
import bs4

URL = 'https://dhlottery.co.kr/gameResult.do?method=byWin'
raw = requests.get(URL)

html = bs4.BeautifulSoup(raw.text, 'html.parser')

target = html.find('div', {'class' : 'nums'})
balls = target.find_all("span", {'class' : 'ball_645'})

print("< 최근 로또 당첨 번호 >")
for ball in balls[:-1]:
    print("당첨번호 : ", ball.text)

print("보너스 번호 : ", balls[-1].text)

 

👉 출력결과

 

⭐정리하기⭐​

 

✔ 정적 크롤링 라이브러리 BeautifulSoup

- HTML 문서를 탐색해서 원하는 부분만 뽑아주는 라이브러리

- 실제 HTML 코드로 변환해준다.

 

✔ BeautifulSoup의 주요 함수

- BeautifulSoup()

- find_all()

- find()