티스토리

🌱 → 🌳

검색하기

블로그 홈

🌱 → 🌳

thals.tistory.com/m

thals0 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

python reduce 함수 reduce 함수 파이썬의 functols 내장 모듈의 reduce() 함수는 여러 개의 데이터를 대상으로 주로 누적 집계를 내기 위해서 사용됨 기본 문법은 아래와 같음 reduce(집계 함수, 순회 가능한 데이터[, 초기값]) 기본적으로 초기값을 기준으로 데이터를 루프 돌면서 집계 함수를 계속해서 적용하면서 데이터를 누적하는 방식으로 작동 집계 함수는 두개의 인자를 받아야 함 첫번째 인자는 누적자(accumulator), 두번째 인자는 현재값(current value)가 넘어오게 됨 누적자는 함수 실행의 시작부터 끝까지 계속해서 재사용되는 값이고, 현재값은 루프 돌면서 계속해서 바뀌는 값 예를 들어 arr의 모든 요소를 곱한다고 가정했을 때 from functools import reduce answe.. 공감수 0 댓글수 0 2023. 8. 13.
[Python] list를 문자열로 ''.join(리스트) 📌 ''.join(리스트) print(list) # ["1", "2", "3"] print(''.join(list)) # 123 공감수 0 댓글수 0 2023. 5. 18.
[Python] 조건문 기초 1. 입력 Point I 변수 = input() : 변수에 입력받은 값을 집어넣겠다는 의미 var = input() Point II 어떤 것을 입력하든 문자열로 입력되기 때문에 형 변환이 필요 int() : 정수형 변환, str() : 문자열 변환 등… var1 = input() #4 입력 var1 = int(var1) var2 = int(input()) #3 입력 print(3+var1+var2) #10 출력 2. 논리 자료형(Boolean Data) Point I 논리 자료형 : 참(True) 혹은 거짓(False)을 나타내는 자료형 True, False Point II 비교 연산자 : 숫자나 문자의 값을 비교하는 연산자 주어진 진술이 참이면 True, 거짓이면 False A == B #A와 B가 같.. 공감수 0 댓글수 0 2022. 5. 23.
[Python] 기초 자료형 1. print() Point I print() : 문자열을 출력하는 명령어 print("Hello Rabbit!") ## 출력결과 ## Hello Rabbit! Point II 콤마(,)를 통해 여러 자료를 출력 print(3, "Hello") ## 출력결과 ## 3 Hello Point III print()를 여러 번 사용하여 여러 줄에 걸쳐 출력 print(3) print(6) print(9) ## 출력결과 ## 3 6 9 2. 기본 자료형 Point I 숫자형 : 숫자로 이루어진 자료형 3 : 정수 3.14 : 실수 Point II 문자열 : 문자, 혹은 문자들의 집합 - 큰따옴표(“)/작은따옴표(‘)로 구분 'Hello' '3.14' "3.14" Point III 리스트 : 여러 자료를 함께 보.. 공감수 0 댓글수 0 2022. 5. 23.
모각코 파이썬 크롤링 15일차 #15. 동적 크롤링 ⑤ 📌 신규 회원 게시판 XPath 사용 이유 1. id, class에 구애받지 않고 크롤링을 진행할 수 있다. 2, html 요소들의 패턴을 파악하기 쉽다 ✅ XPath의 패턴 최상단 글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[1]/td[1]/div[3]/div/a 그 바로 아래 게시글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[2]/td[1]/div[3]/div/a 세번째 게시글의 XPath /html/body/div[1]/div/div[4]/table/tbody/tr[3]/td[1]/div[3]/div/a 중간에 존재하는 tr 태그의 번호가 하나씩 증가하고 있는 것을 확인 -> .. 공감수 0 댓글수 0 2022. 4. 8.
모각코 파이썬 크롤링 14일차 #14. 동적 크롤링 ④ 📌 크롤링 대상 사이트 살펴보기 코뮤니티 카페에 접속하여 신규 회원 게시판의 내용 수집 1️⃣ 네이버 로그인 페이지 👉 [네이버: 로그인] 그림에서도 볼 수 있듯, 아이디 입력, 비밀번호 입력, 로그인 버튼 클릭 순서로 작업을 진행해야 한다. 기존에는 자동으로 값을 입력하기 위해, send_keys 함수를 이용했지만 네이버는 자동화 소프트웨어를 막고 있기 때문에, send_keys 함수를 사용해 로그인을 시도하면 아래와 같이 자동입력방지 이미지가 나온다. 이런 기능을 피하기 위해서, selenium에선 execute_script라는 함수가 존재한다. 입력받은 JavaScript 코드를 브라우저에서 실행시키는 함수이다. driver.execute_script("JS 스크립트") 아.. 공감수 0 댓글수 0 2022. 4. 8.
모각코 파이썬 크롤링 13일차 #13. 동적 크롤링 ③ 📌 구현할 소스코드 2개의 소스코드를 구현함 ✅ 첫 번째 소스코드 영단어 번역 여러 번 실행 번역 결과를 모두 'my_papago.csv' 파일에 저장 ✅ 두 번째 소스코드 영단어 번역 여러 번 실행 'my_papago.csv' 파일에 있는 영단어일 경우, 저장하지 않음 'my_papago.csv' 파일에 없는 영단어는 번역 결과 저장 📌 첫번째 파이썬 코드 작성 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.common.by imp.. 공감수 0 댓글수 0 2022. 4. 8.
모각코 파이썬 크롤링 12일차 #12. 라이브러리 'csv' 📌 CSV 파일 "CSV"는 "Comma Separated Values"의 약어로, 의미 그대로 콤마로 구분된 값이라는 뜻 다시 말해, csv 파일은 콤마(',')로 구분한 텍스트 데이터 혹은 텍스트 파일을 뜻함 CSV 파일의 확장자는 '.csv'이고, 보통 엑셀을 통해 CSV 파일을 확인 할 수 있음 한 줄이 하나의 행이 되고, 콤마 (',')를 기준으로 열을 구분 📌 CSV 파일 사용 이유 데이터의 무게를 줄이기 위해 사용 모든 서식 제거 -> 단순 텍스트 형식으로 데이터 저장 📌파이썬의 'csv' 라이브러리 'csv' 라이브러리에는 읽기를 담당하는 reader, 쓰기를 담당하는 writer가 존재 ✅ csv 파일 작성 파이썬으로 csv파일을 작성할 때는 행 단위로 작성.. 공감수 0 댓글수 0 2022. 4. 8.
모각코 파이썬 크롤링 11일차 #11. 동적 크롤링 ② 📌크롤링 대상 사이트 살펴보기 오늘은 파파고를 사용한 번역기를 만들어 봄 그러기 위해 파파고에 접속하여 직접 사이트를 살펴봄 https://papago.naver.com/ 네이버 파파고 번역을 부탁해 파파고 papago.naver.com 1️⃣ 동적크롤링 진행 순서 동적크롤링의 경우, 데이터를 즉시 수집하지 못하기 때문에 데이터를 얻기 위한 순서를 생각하는 것이 중요 파파고에 접속해서 번역을 받기 위해, 아래 작업을 거침 번역할 내용을 왼쪽 창에 입력 번역 버튼을 클릭 번역 결과를 수집 (파파고는 번역 버튼을 누르지 않아도 자동으로 번역 결과가 나오지만 누락 될 경우를 방지하기 위해 번역 버튼을 클릭하는 작업을 포함) 2️⃣ 필요한 요소의 태그 및 선택자 확인 파파고의 html .. 공감수 0 댓글수 0 2022. 4. 8.
모각코 파이썬 크롤링 10일차 #10. 동적 크롤링 ① 📌 라이브러리 'selenium' selenium : 동적크롤링을 위한 라이브러리, 웹 드라이버(webdriver)를 사용하여 자동화를 실현하는 라이브러리 사람이 데이터를 수집하는 방식 그대로 크롤링하는 기계를 만들어 냄 정적크롤링에 비해 속도는 느리지만, 마우스 클릭, 키보드 입력, 뒤로가그 등의 동작이 가능하기 때문에 크롤링에 한계는 거의 없다. ✅ Selenium 설치 터미널 혹은 명령프롬프트를 열어 아래 명령어를 입력하여 설치 pip install selenium 📌webdriver selenium의 웹 드라이버는 웹 응용 프로그램들의 테스트를 단순화 및 가혹화해주는 틀 웹 브라우저를 자동으로 조작하기 위해, 프로그래밍 언어와 브라우저를 연결하는 매개체라고 생각해도 무방 .. 공감수 0 댓글수 0 2022. 4. 8.
모각코 파이썬 크롤링 9일차 #9. 정적 크롤링 4 8일차에서 살펴보았던 URL 주소의 패턴을 활용하여 여러 페이지의 아래의 정보를 수집할 것이다. ✔ 각 상품의 이름과 가격 수집 ✔ 원하는 콘텐츠 (키워드) 입력받기 📌 파이썬 코드 작성 import requests import bs4 while True: keyword=input("검색을 원하는 키워드를 입력하세요.(0을 입력하면 종료)") if keyword =="0": break URL = "https://browse.gmarket.co.kr/search?keyword="+keyword raw=requests.get(URL) html=bs4.BeautifulSoup(raw.text,'html.parser') box=html.find('div',{'class':'section_.. 공감수 0 댓글수 0 2022. 3. 25.
모각코 파이썬 크롤링 8일차 정적 크롤링 3 📌 크롤링 대상 사이트 살펴보기 이제까지 requests, BeautifulSoup 라이브러리를 사용하여 한 페이지 내에 존재하던 로또 당첨 번호를 크롤링 하였다. 하지만, 정적 크롤링에서도 페이지 이동과 유사한 기능을 구현해 줄 수 있다! URL 주소값의 패턴을 파악통해서 ✅ 사이트 살펴보기 1️⃣ 사이트 접속 우선 아래 링크로 접속한다. https://www.gmarket.co.kr/ 2️⃣ 상품 검색 다음으로, 검색창에 마스크를 입력 3️⃣ 검색어의 URL 패턴 확인 검색값을 변경하면서 데이터를 받아오기 위해, 검색했던 화면의 URL을 확인해 보았다. 우리가 검색했던 마스크가 URL 주소에 포함되어 있는것을 확인할 수 있다. 👉 url 주소 주소 값에서 keyword= 이라는 문.. 공감수 0 댓글수 0 2022. 3. 25.
모각코 파이썬 크롤링 7일차 📌 BeautifulSoup의 필요성 6일차 코드를 확인해보면 requests로만 데이터를 추출했을 때 html의 태그와 선택자를 사용해 데이터를 추출한 것이 아닌 html 코드를 단순한 문자열 타입으로 처리해 html을 텍스트로 출력한 것이다. 다시 말해, html에서 class가 nums인 div태그를 받아와라!의 코드가 아닌, 문자열에서 이 포함된 부분을 출력해라! 라고 짠 코드이다. BeautifulSoup 라이브러리는 문자열을 실제 html 코드로 변환해주어 requests의 한계를 극복할 수 있다. 📌 BeautifulSoup 사용하기 raw.text를 실제 html 코드로 변환해주기 bs4.BeautifulSoup(" HTML 데이터 ", "데이터 타입" ) html 데이터로 raw.text.. 공감수 0 댓글수 0 2022. 3. 25.
모각코 파이썬 크롤링 6일차 글로만 봤을 땐 되게 쉬워보였는데, 막상 실습 따라할 때 오류가 자꾸나서 답답했던,, ㅜㅜ 아직도 해결책을 찾지 못했다. 찝찝해 그럼 시작해보도록 하겠다. #6일차. 정적 크롤링① 크롤링을 본격적으로 시작하기 전, 두 가지를 먼저 생각해야한다. ✔️ 크롤링을 할 웹 사이트 선정 ✔️ 데이터 선정 📌 크롤링 대상 사이트 살펴보기 크롤링을 할 웹 사이트와 데이터를 선정한 후에는 꼭 해당 사이트를 살펴보아야 한다. 정적/동적 크롤링 중 어떤 것이 적합한지 정해야 하기 때문 로또 당첨 번호 사이트를 크롤링하기로 하였다. https://dhlottery.co.kr/gameResult.do?method=byWin 로또6/45 - 회차별 당첨번호 1007회 당첨결과 (2022년 03월 19일 추첨) 당첨번호 8 11.. 공감수 0 댓글수 0 2022. 3. 21.
모각코 파이썬 크롤링 5일차 📌 선택자 웹 페이지를 표현하는 데이터 모두가 태그로 이루어져 있기떄문에, 그 중 서로 동일한 태그가 존재할 수 있음 이렇게 동일한 태그를 분간해 주기 위해, HTML에서는 선택자라는걸 사용해 각 태그를 구별할 수 있는 일종에 주소를 부여함 📌 선택자의 필요성 아래와 같은 HTML 문서가 있다고 가정해 보면, 파이썬 크롤링 C언어 게임 해당 웹 페이지에서 언어 (language)와 관련된 데이터만 필요하다고 생각해 보자. 만약 태그로만 해당 데이터를 선택한다면, 태그 을 사용할 수 있다. 하지만 태그 에 언어 정보 뿐만 아니라 프로젝트 정보 (크롤링, 게임만들기)도 포함된다. 이러한 경우, 프로젝트 정보를 제외하고 언어 정보만을 특정하기 위해 선택자를 사용 파이썬 크롤링 c언어 게임 이렇게 class =.. 공감수 0 댓글수 0 2022. 3. 19.
모각코 파이썬 크롤링 4일차 이거 시간도 얼마 안걸리도 되게 재밌다 오늘 4일차 하는데 너무 재밌고, 흥미로워서 그냥 한 번에 다 해 버릴까 하다가 참았을 정도,, 오늘은 HTML 구조에 대해 배웠다. 📌 웹페이지와 HTML HTML(HyperText Markup Language)은 '마크로 둘러싸인 언어'라는 뜻으로, 웹 페이지의 구조를 나타내는 언어 다시 말해, 웹 페이지를 만들 때 쓰는 언어라고 이해해도 무방 F12 버튼을 클릭해 개발자 도구 창을 보면 (크롬 브라우저가 아는 사람은 구글에 [브라우저 이름] 페이지 소스라고 검색) 뜨는 코드들이 HTML이다. 📌 HTML 태그 확인 코뮤니티 카페의 '출석체그' 페이지를 활용하여 HTML 태그를 직접 확인하여 보았는데 위 사진의 select 버튼을 사용하여 페이지 구성 요소의 h.. 공감수 0 댓글수 0 2022. 3. 18.
모각코 파이썬 크롤링 3일차 3일차부터 갑자기 어려워진 느낌이다 근데 어려워진만큼 재밌다 ! 어제 생활코딩에서 배웠던 HTML과도 연결이 되는 내용이라 더 흥미있게 공부할 수 있었다. 정적크롤링 정적크롤링 할 때 파이썬의 두 가지 라이브러리: requests, beautifulsoup4(beautifulsoup) requests 기존에 어려운 HTTP 요청을 쉽게 사용하기 위해 만들어진 라이브러리 쉽게 말해, 파이썬과 웹을 연결하기 위해 사용 beautifulsoup4 requests로 받아온 HTML 데이터를 다루기 위해 사용되는 라이브러리 쉽게 말해, 웹에 있는 다양한 데이터 중 필요한 데이터만 뽑아내기 위해 사용 공감수 0 댓글수 0 2022. 3. 17.
모각코 파이썬 크롤링 2일차 ✔ 정적 크롤링-정적인 데이터를 수집 장점: 수집속도가 빠르다. 단점: 수집대상에 한계가 있다. ✔ 동적 크롤링-동적인 데이터를 수집 장점: 수집대상에 한계가 없다. 단점: 수집속도가 느리다. 공감수 0 댓글수 0 2022. 3. 16.
모각코 1일차 1. 크롤링 소개 크롤링이란? 크롤링(crawling)이란 인터넷에서 데이터를 검색해 필요한 정보를 색인하는 것을 의미 사용자가 데이터를 하나씩 검색하여 정보를 얻는 것부터 저장, 가공하는 과정을 대신해주는 기술 이러한 크롤링을 해주는 프로그램을 '크롤러'라고 함 크롤링할 수 있는 크롤러를 파이썬으로 구현하는 방법을 배울 예정 ! 업무의 자동화로 인한 업무 효율화 공감수 0 댓글수 0 2022. 2. 4.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.