모각코 파이썬 크롤링 9일차

#9. 정적 크롤링 4

8일차에서 살펴보았던 URL 주소의 패턴을 활용하여 여러 페이지의 아래의 정보를 수집할 것이다. 

 

✔ 각 상품의 이름과 가격 수집

✔ 원하는 콘텐츠 (키워드) 입력받기

 

📌 파이썬 코드 작성

import requests 
import bs4

while True:
    keyword=input("검색을 원하는 키워드를 입력하세요.(0을 입력하면 종료)")
    if keyword =="0":
        break

    URL = "https://browse.gmarket.co.kr/search?keyword="+keyword 
    raw=requests.get(URL)
    html=bs4.BeautifulSoup(raw.text,'html.parser')
    box=html.find('div',{'class':'section__module-wrap','module-design-id':'15'})
    items=box.find_all('div',{"class":'box__item-container'})

    print("<G마켓의",keyword,"상품 정보>")
    for item in items[:3]:
        title=item.find('span',{'class':'text__item'})
        price=item.find('strong',{'class':'text__value'})
        print("이름:",title.text)
        print("가격:",price.text)
        print()

 

👉 결과 예시

마스크 입력시 코드 결과

input()으로 입력한 키워드와 관련된 상품이 나오는 걸 확인할 수 있다.

 

✅ 오늘의 문제: G마켓 크롤링

정렬 방식에 따라 크롤링해보기

 

⭐ 힌트 ⭐

• 이차원 리스트를 사용하면 각각의 정렬 방식과, 그에 맞는 URL 값을 하나로 묶을 수 있다

import requests
import bs4

list=[['G마켓 랭크 순','판매 인기 순','낮은 가격 순','높은 가격 순'],['&s=7','&s=8','&s=1','&s=2']]
#print(list[0])
#print(len(list[0]))

while True:
    keyword=input("검색 상품:")
    if keyword =="0":
        break

    print("<G마켓의", keyword, "상품 정보>")

    for i in range(len(list[1])):
        URL="https://browse.gmarket.co.kr/search?keyword="+keyword+"&s="+ list[1][i]
        raw=requests.get(URL)
        html=bs4.BeautifulSoup(raw.text,'html.parser')
        box=html.find('div',{'class':'section__module-wrap','module-design-id':'15'})
        items=box.find_all('div',{"class":'box__item-container'})

        print("<",list[0][i],">")

        for item in items[:4]:
            title=item.find('span',{'class':'text__item'})
            price=item.find('strong',{'class':'text__value'})
            print("이름:",title.text)
            print("가격:",price.text)
            print()

👉 결과 예시

검색 상품:마스크
<G마켓의 마스크 상품 정보>
< G마켓 랭크 순 >
이름:  식약처인증 국산 위즈윈 덴탈마스크 50매 일회용 비말 
가격: 7,500

이름:  일회용 마스크 50매 국산 MB필터 검정/블랙마스크3중  
가격: 6,500

이름:  KF94 100%국내 에어블링 황사 마스크(대형) 100매     
가격: 35,000

이름:  KF94 블랙100%국산에어블링 황사방역마스크 대형 100매
가격: 35,000

< 판매 인기 순 >
이름:  비움 KF94 국산 오나미 한예슬 새부리형 마스크 
가격: 19,900

이름:  아르떼 KF94 화이트 블랙 / 국산 컬러마스크 새부리형
가격: 28,900

이름:  아르떼 새부리형 마스크 KF94 100매 화이트 개별포장
가격: 28,900

이름:  새부리형 KF94 100매 국내생산 황사마스크 블랙 10x10
가격: 17,900

< 낮은 가격 순 >
이름:  웰스 LED마스크 렌탈 4년 보상 
가격: 18,900

이름:  LED 마스크 750 렌탈+상품권증정
가격: 19,900

이름:  LED 마스크 750 렌탈 + 상품권 증정
가격: 19,900

이름:  웰스 LED마스크렌탈 750  렌탈료할인 + 7만상품권
가격: 18,900

< 높은 가격 순 >
이름:  구슬 코디 스타일 그림 레이스마스크 레이스마스크 태
가격: 385,992,180

이름:  N95 자동 마스크 제조기 페이스 마스크 포장기
가격: 145,034,400

이름:  3중 일회용 마스크기계 공장 생산 제조 PLC 자동화
가격: 89,900,000

이름:  웰킵스 황사방역마스크 대형 KF94
가격: 61,339,600

 

📌 마무리하며

오악 이제 점점 어려워진다. 

학부 때 파이썬 조금 배웠으니까 크롤링부터 시작하면 되겠지 생각했는데,

파이썬 문법 공부에 대한 필요성도 느껴진다.

그래도 내가 원하는 정보를 웹에서 불러들여와서 내가 원하는 모습으로 보이게 하는게 꽤나 재밌다. 

더 열심히 해야지!