모각코 파이썬 크롤링 8일차

정적 크롤링 3

📌 크롤링 대상 사이트 살펴보기

이제까지 requests, BeautifulSoup 라이브러리를 사용하여

한 페이지 내에 존재하던 로또 당첨 번호를 크롤링 하였다. 

 

하지만, 정적 크롤링에서도 페이지 이동과 유사한 기능을 구현해 줄 수 있다!

URL 주소값의 패턴을 파악통해서

 

✅ 사이트 살펴보기

​

1️⃣ 사이트 접속

 

우선 아래 링크로 접속한다.

https://www.gmarket.co.kr/

 

2️⃣ 상품 검색

 

다음으로, 검색창에 마스크를 입력

 

3️⃣ 검색어의 URL 패턴 확인

 

검색값을 변경하면서 데이터를 받아오기 위해, 검색했던 화면의 URL을 확인해 보았다.

 

 

우리가 검색했던 마스크가 URL 주소에 포함되어 있는것을 확인할 수 있다. 

 

👉 url 주소

 

주소 값에서 keyword= 이라는 문구 뒤에 추가되는 문자열이, 바로 검색어가 되는 구조이다.

 

📌 상품의 태그 및 선택자 확인

 

1️⃣ 모든 데이터를 감싸는 틀

 

내가 원하는 틀만 가져오기 위해선 module-design-id와 class, 둘 다 사용해야한다.

결과적으로, 필요한 태그는 아래와 같다.

 

 

 

2️⃣ 각 상품의 태그

 

​

3️⃣ 각 상품의 제목과 가격

 

각 상품의 제목과 가격도 마찬가지로, select 버튼을 사용해서 찾을 수 있다.

 

 

각 태그를 정리하면, 아래와 같다.

 

 

 

 

4️⃣ 포함관계 정리

 

각 태그들의 포함관계를 정리

 

 

이렇게 보면, 굳이 모든 데이터를 감싸는 틀을 사용할 필요가 있는가!

라는 의구심이 들 수도 있다.

​

사실, 데이터를 추출할 때 정답은 따로 없다.

find를 사용해 데이터를 감싸는 큰 틀을 먼저 추출할 수도 있고,

find_all을 사용해 바로 각 데이터를 추출할 수도 있다.

​

이러한 데이터 추출 방식은 웹 사이트마다, 사람마다 방식이 다르다.

​

이번 강의에서는 먼저 큰 틀을 찾아 데이터의 범위를 제한함으로써,

틀 밖에서 각 상품과 같은 클래스를 사용하는 데이터가 추출되는 것을 막았다. 

즉, 원치 않는 데이터 추출을 막는 최소한의 안전장치를 마련한 것.

 

실제로, 위와 같이 큰 틀을 먼저 찾아내는 방식은

콘솔에서 같은 클래스가 존재하는지 검사하지 않아도 된다.

 

⭐정리하기⭐

✔ 정적 크롤링에서 수많은 데이터를 수집하기 위해 먼저 해야 할 것

- url 주소 패턴 파악하기

- 그 안에서 우리가 원하는 데이터가 갖고 있는 정확한 태그 찾기