모각코 파이썬 크롤링 12일차

#12. 라이브러리 'csv'

📌 CSV 파일

"CSV"는 "Comma Separated Values"의 약어로, 의미 그대로 콤마로 구분된 값이라는 뜻

다시 말해, csv 파일은 콤마(',')로 구분한 텍스트 데이터 혹은 텍스트 파일을 뜻함

 

CSV 파일의 확장자는 '.csv'이고, 보통 엑셀을 통해 CSV 파일을 확인 할 수 있음

 

한 줄이 하나의 행이 되고, 콤마 (',')를 기준으로 열을 구분

 

📌 CSV 파일 사용 이유

데이터의 무게를 줄이기 위해 사용 

모든 서식 제거 -> 단순 텍스트 형식으로 데이터 저장

 

📌파이썬의 'csv' 라이브러리

'csv' 라이브러리에는 읽기를 담당하는 reader,

쓰기를 담당하는 writer가 존재

 

✅ csv 파일 작성

파이썬으로 csv파일을 작성할 때는 행 단위로 작성 

 

1️⃣ 라이브러리 import

 

import csv

 

2️⃣ 파일 생성

open 함수를 사용하여 example.csv 파일 생서 ㅇ

파일을 읽고, 쓸 땐 open 함수를 사용 

open("파일 경로" , [ 읽기/쓰기 옵션 ], [ 기타 옵션] )

open 함수는 경로에 해당하는 파일을 열고, 파일 객체를 리턴해 줌

 

파일을 작성하기 위해서는 open 함수를 사용할 때, 쓰기 옵선 'w'를 적용해야 함

또, 한글 데이터를 넣어줄 예정이므로 인코딩을 추가

f = open("./example.csv", 'w', encoding="utf-8-sig")

 

3️⃣ 작성하는 객체 변수 생성

writer 객체를 사용해 csv 파일을 작성할 수 있음

writer 객체를 생성할 때 인자로, open함수에서 받은 파일 객체를 넣어줘야 함 

f = open("./example.csv", 'w', encoding="utf-8-sig")
# CSV 파일을 작성하는 객체 변수 'wtr' 생성
wtr = csv.writer(f)

 

4️⃣ 파일 작성

writerow 함수를 이용하여 csv 파일에 데이처 작성

writerow 함수는 인자로 리스트를 받음

받은 인자들은 csv 파일에서 하나의 행을 이룸

wtr.writerow("열에 넣을 데이터 리스트")

 

✔ 열 제목 작성

# 열 제목 작성
wtr.writerow(['이름', '나이', '언어'])

 

✔ 각 행에 데이터 작성

# 각 행에 데이터 작성
for i in range(3):
    name = name_list[i]
    age = age_list[i]
    language = lan_list[i]
    wtr.writerow([name, age, language])

 

5️⃣ 파일 객체 닫기

파일 객체를 닫지 않으면, 변경 사항이 저장되지 않을 뿐 아니라 

계속 열려있는 상태로 유지되기 때문에, 파일이 손상될 위험이 있음

# 파일 닫기
f.close()

cf) 한 행씩 건너뛰면서 데이터가 작성되는 문제 발생 

파일을 생성하는 'open()' 함수에 새로운 옵션, newline = ''을 추가

# 옵션 <newline = ''> 추가
f = open('./example.csv', 'w', newline = '', encoding="utf-8-sig")

 

📌csv 파일 읽기

1️⃣ 라이브러리 import

 

import csv

 

 

2️⃣ 파일 불러오기

이번에는 파일 속 데이터를 읽어오는 것이기 때문에, open 함수의 읽기 옵션을 'r'로 적용 

import csv

# 읽어올 'example.csv' 파일을 변수 'f'에 저장
f = open('./example.csv', 'r', encoding="utf-8-sig")

 

3️⃣ CSV 파일의 데이터 저장

csv 파일을 읽기 위해서는 'reader'객체 사용 

# CSV 파일의 모든 데이터를 변수 'rdr'에 저장
rdr = csv.reader(f)

잘 출력이 되었는지 확인하기 위해서는 반복문을 사용하여 행별로 데이터를 추출해줘야 함

# 'rdr'에 저장된 데이터를 행별로 출력
for row in rdr:
    print(row)

 

4️⃣ 파일 객체 닫기

f.close()

 

❗ 나는 열의 제목은 필요하지 않다!

'rdr'에 저장된 각 행의 값 중 첫 번째 행을 건너뛰면 됨

next함수를 사용하여 건너뛸 수 있음

# 'rdr'의 첫 번째는 건너뜀
next(rdr)

 

📌저장된 csv 파일에 행 추가

쓰기 모드 옵션 'w'가 아닌, 추가 모드 옵션 'a'를 사용

import csv

# 추가 모드 옵션 'a' 사용
f = open('./example.csv', 'a', newline = '', encoding="utf-8-sig")

wtr = csv.writer(f)

wtr.writerow(['바둑', 40, '파이썬'])
wtr.writerow(['오목', 50, 'C'])

f.close()

 

⭐정리하기⭐

​✔ CSV: 콤마 (',')로 구분한 텍스트 데이터 혹은 텍스트 파일

✔ CSV를 사용하는 이유: 필요한 데이터만 남기기 위해

✔ 파이썬의 csv 라이브러리