[python] 판다스를 활용한 웹크롤링과 데이터 분석 - Excel 파일로 정보 저장하기

 

 

 

목차

 

---

가비아 라이브러리 메인화면 크롤링하기

import requests
from bs4 import BeautifulSoup as bs
import re

gabiapage = requests.get("https://library.gabia.com/")
soup = bs(gabiapage.text, "html.parser")

elements = soup.select('div.esg-entry-content a > span')

#print(elements)

for index, element in enumerate(elements, 1):
    print('{}번째 게시글의 제목 : {}'.format(index, element.text))

 

• BeautifulSoup 라이브러리를 import할때, bs 별칭으로 줄여서 간결하게 사용한다.
• div.esg-entry-content a > span 으로 모든 게시글의 제목이 담긴 <span> 요소들을 선택한다.
• enumerate()함수를 사용하여 선택된 요소에 인덱스를 부여한다. 이때 인덱스는 1부터 시작한다. 반복문을 통해서 선택된 요소들을 순회하면서 각 요소의 텍스트, 즉 게시글의 제목을 출력한다.

 

 

---

🔍 출력한 데이터 확인

위 코드를 수행하면 388개의 데이터가 출력된다.

가비아 라이브러리 메인화면에서 가져온 페이지네이션에 표시되지 않는 전체 데이터를 확인할수 있다.

이 데이터는 파싱하여 가져온 후, 메모리 상에 있는 element 변수에 존재한다.

 

이러한 데이터를 보관하려면 파일에 저장해야한다. 이를 위해 re 모듈은 더 이상 사용하지않고, 대신 pandas 라이브러리를 추가한다. 이 라이브러리는 pd 별칭으로 사용하겠다.

 

print ( '{}번째 게시글의 제목 : {}' . format (index, element.text))

 

 

---

 

데이터 관리/분석을 위한 Pands 활용

 

 

📦 pandas 라이브러리 추가

위에서 크롤링한 데이터를 Excel파일로 저장하기 위해 판다스를 사용하도록한다.

1. cmd 창 실행
2. 패키지 관리자 pip를 사용하여 설치 확인 pip show pands
3. 설치되어 있지 않다면 pip install pands 

   

 

 

---

 

📝 웹크롤링2.py 코드작성

import requests
from bs4 import BeautifulSoup as bs
import pandas as pd

gabiapage = requests.get("https://library.gabia.com/")
soup = bs(gabiapage.text, "html.parser")

elements = soup.select('div.esg-entry-content a.eg-grant-element-0')

titles = []
links = []

for index, element in enumerate(elements, 1):
    titles.append(element.text)
    links.append(element.attrs["href"])

print(titles)
print(links)

• `titles = [], links = []` : 각각 게시글의 제목과 링크를 저장하기 위한 빈 리스트 생성
• `for index, element in enumerate(elements,1)` : elements 에는 게시글의 제목과 링크를 포함하는 HTML요소가 담겨있다. enumerate()함수를 사용하여 각 요소의 인덱스 함께 요소 자체를 반복한다.
• 각 요소의 텍스트와 href 속성을 추출하고 titles, links 리스트에 추가한다.

  

 

 

 

---

 

✨ 웹크롤링2.py 코드추가 - Excel 파일로 변환

이제 수집한 데이터를 보관하기 위해 판다스를 사용할 것이다. 판다스의 별칭으로 pd를 사용한다. 

먼저 데이터프레임을 생성해야한다. 이를 위해서는 pd.DataFrame()을 사용한다. 그리고 데이터를 이용해 데이터 프레임을 만들고 각 열에 있는 key-value형식으로 값을 넣는다. 이때 print(links)로 출력한 내용을 links 키 값에 리스트형태로 넣는다.

 

df.to_excel() 메서드는 데이터 프레임에 있는 데이터를 엑셀 파일의 형식으로 변환하여 저장하는 메서드이다.

데이터 프레임은 메트릭스 형태의 데이터를 가지고 있으며, 이를 엑셀의 형태로 변환하여 파일로 저장한다.

df = pd.DataFrame()
df["titles"] = titles
df["links"] = links

df.to_excel('test.xlsx', sheet_name = "Sheet1")

 

• `df = pd.DataFrame()` :  빈프레임 생성
• `df["titles"] = titles 와 df["links"] = links` : titles열과 links 열을 추가한다. 각 열에는 이전에 수집한 제목과 링크 데이터가 들어간다.
• `df.to_excel('test.xlsx', sheet_name = "Sheet1")` : to_excel() 메서드를 사용하여 데이터프레임을 Excel 파일로 저장한다. 이때 파일 이름은 text.xlsx로 하고, 시트의 이름은 "Sheet1"로 지정한다.

 

 

💥 문제 해결

판다스 라이브러리만 설치하면 되는 줄.. openpyxl 모듈이 없어서 에러가 발생했다. 

openpyxl은 판다스가 Excel 파일을 작성할 때 사용하는 라이브러리이다.

 

 

 

 

---

 

 

🔧 openpyxl 라이브러리 추가

 

1. 다음 명령을 사용하여 openpyx을 설치
2. pip install openpyxl 명령을 실행 한후 다시 코드를 실행하면 정상적으로 Excel 파일이 생성된다.

   pip install openpyxl

 

실행을 하면 데이터 프레임의 내용이 엑셀 파일로 변환되어 출력되고, 지정한 경로에 파일이 생성된다.

생성된 엑셀 파일은 일반적인 엑셀 프로그램으로 열어서 확인할수 있다.

 

 

 

💭 마무리

크롤링을 통해 수집한 데이터를 코드 몇 줄로 쉽게 정리하여 파일로 만들 수 있었다.

엑셀 파일로 저장된 데이터를 활용하여 내용 분석을 할수 있었고, 이를 통해 크롤링한 데이터를 쉽게 시각화하고 인사이트를 도출할수 있었다. 또한 Selenium 라이브러리를 사용하여 크롤링을 수행할수도 있다. 이를 통해 동적 웹페이지에서도 데이터를 수집할 수있다.