[python] 웹크롤링 beautifulsoup 라이브러리 - 설치와 활용법

 

목차

 

---

파이썬의 다양한 활용 기능

파이썬은 웹크롤링, 자동화, 딥러닝, 웹페이지 제작, 데이터분석, GUI 프로그래밍, 게임개발, 이미지 처리 등 다양한 기능을 제공하여 주목을 받고 있다. 각각의 활용 예시를 살펴보자. 그리고 웹 크롤링 BeautifulSoup 라이브러리에 대해 알아보자.

기능	라이브러리/ 프레임워크
웹 크롤링	BeautifulSoup
자동화	Selenium
딥러닝	TensorFlow
웹페이지 제작	Django, Flask
데이터 분석	Pands, Matplotlib
GUI 프로그래밍	Tkinter, PyQt
게임 개발	Pygame
이미지 처리	OpenCV

 

---

 

🔍 웹크롤링이란?

• 인터넷 상의 웹페이지에서 정보를 수집하는 작업으로
• 웹페이지의 HTML 코드를 가져와서 필요한 데이터를 추출하는 기술이다.

 

 

---

 

🔧 필요한 도구

• 'requests' : 웹페이지에서 HTML 정보를 가져오는 모듈
• 'BeautifulSoup' : 가져온 HTML을 분석하여 필요한 정보를 추출하는 모듈

 

 

---

 

⚙ 크롤링, 파싱, 스크래핑의 차이는 무엇일까?

• 크롤링은 웹 인덱싱을 위해 월드와이드웹(WWW)을 체계적으로 탐색해 나가는 작업
• 파싱은 웹상의 문자열을 분석하여 의미 있는 정보로 변환하는 과정
• 스크래핑은 다양한 웹 사이트로부터 데이터를 추출하는 기술을 의미

 

 

---

 

웹크롤링 BeautifulSoup 라이브러리 활용

 

 

📦 BeautifulSoup 라이브러리 설치

웹크롤링 시 필요한 라이브러리를 설치한다. beautifulsoup4, requests

 

1. cmd 창을 실행한다 (Window + R)
2. 파이썬 쉘 모드 실행한다. (✅ 파이썬 설치시 환경변수 패스를 반드시 체크해야 쉘을 사용할수 있다.)
3. 파이썬 쉘 에서 Beautifulsoup 모듈 확인 

   

4. 설치가 안된 경우 ctrl + z로 쉘 화면을 종료하고, 아래 install 명령 실행

   

 

---

 

 

📁 ediya.html 파일 웹크롤링하기 - 로컬

1. 이디야 사이트를 크롤링할 것이기 때문에 ediya.html 파일을 작업공간에 배치한다.
2. File > NewFile > "웹크롤링.py" 로 저장

   

 

📝 웹크롤링.py 코드 작성

from bs4 import BeautifulSoup

homepage = open('ediya.html', 'r', encoding = 'utf-8')
doc = homepage.read()
homepage.close()

#print(doc)

soup = BeautifulSoup(doc,'html.parser')
result = soup.find_all('p', class_='each-menu')
#print(result)


for data in result:
    #print(data)
    print(data.text)

 

• `from bs4 import BeautifulSoup` : 해당 라이브러리는 HTML 및 XML 문서를 파싱하고 분석하는데 사용
• `homepage = open('')` : html 파일을 읽기모드('r')로 열고, 파일을 읽을때 UTF-8 인코딩을 사용한다. 이때 파일이 현재 디렉토리에 있어야 한다. 파일을 열고 해당 내용을 변수 hompage에 저장한다.
• `doc = homepage.read()` : homepage에서 HTML파일의 내용을 읽어와 변수 doc에 저장한다. 이 변수에는 HTML파일의 모든 내용이 문자열 형태로 저장된다.
• `homepage.close()` : ⚠ 파일을 열었으면 항상 파일을 닫아야한다.!! 
• doc에 담긴 HTML 파일을 열어서 해당 내용을 문자열로 읽어온 후에, BeautifulSoup 라이브러리를 사용하여 파싱된 결과를 통해 원하는 정보를 추출할수 있다.
• `soup = BeautifulSoup(doc, 'html.parser') ` : BeautifulSoup 객체를 생성한다. 이때, doc에 저장된 HTML문서를 문자열로 파싱하고 BeautifulSoup객체로 변환한다. HTML 문서를 파싱할때는 'html.parser'를 사용한다.
• `result = soup.find_all('p', class_='each-menu')` : BeautifulSoup 객체 soup 에서 find_all 메서드를 사용하여 HTML문서에서 <p> 태그 중 클래스 속성이 each-menu 인 모든 요소를 찾는다. 결과는 리스트 형태로 반환되고, 이 리스트에는 해당 조건을 만족하는 모든 요소가 포함된다.
• `for data in result` : result 리스트에 저장된 각 요소들을 순회하면서 반복적으로 처리한다. 여기서 data는 result 리스트에 있는 각각의 요소를 의미한다.
• `print(data.text)` :  BeautifulSoup 객체인 data의 텍스트 내용만 출력한다. 태그까지 나오는것을 원하지 않을때는 .text속성을 사용하여 해당 요소의 텍스트 내용만 반환하도록 한다. 

 

print(doc) 및 각각의 출력값

 

 

 

---

 

🥕 당근마켓 사이트 웹크롤링하기 - Colab

이번에는 실제 당근마켓 사이트를 Colab에서 크롤링해보자.

 

📝 코드 설명

 

• `requests` 라이브러리를 사용하여 url 주소에 있는 웹페이지의 내용을 가져온다. `get` 함수를 사용하여 해당 웹페이지에 GET요청을 보내고, 서버로부터 받은 응답을 webpage 변수에 저장한다.

• 파싱된 html 문서에서 특정 태그나 클래스를 찾아내고 정보를 추출할수있다. 여기서 title, title.string, h1.string을 사용하여 각각 요소에서 정보를 추출했다.
• `soup.ul.children` : 을 사용하여 파싱된 HTML문서에서 <ul> 태그의 자식 요소의 문자열을 출력한다.

 

📝 정규 표현식

• `import re` : 해당 모듈은 정규 표현식을 사용하여 문자열을 처리한다. 
• `re.compile("[ou]l")` : 정규 표현식을 사용하여 <ul>, <ol> 태그를 모두 찾아 출력
• `re.compile("h[1-9]")` : <h1> 부터 <h9> 까지의 모든 제목 태그를 찾아 출력

 

📝 Select() 함수를 사용하여 CSS 선택자로 정보 가져오기

 

• BeautifulSoup 의 select() 함수를 활용하여 HTML 클래스가 card-region-name 인 요소들을 선택한다. 그런 다음 각 요소에서 .get_text()메서드를 호출하여 텍스트를 추출하고 출력한다.

 

💭 웹크롤링 : 데이터 추출과 개발자 도구 활용

 

크롤링은 웹 페이지에서 데이터를 추출하는 작업이다. 당근마켓과 같은 사이트에서 원하는 정보를 가져오려면 크롤링이 필요하다. 이처럼 원하는 데이터의 API를 제공하지 않는다면 웹 크롤링을 통해 데이터를 수집하면 된다.

 

크롤링을 통해 서울에 있는 인기있는 상품을 보고싶다면 해당 웹페이지의 HTML을 가져와서 BeautifulSoup와 같은 도구를 사용하여 원하는 정보를 추출할수 있다.

 

크롤링을 진행할 때는 개발자 도구(F12)를 활용하는 것이 유용하다. 브라우저의 개발자 도구를 열고 요소를 검색하면 태그의 구조와 클래스를 확인할수 있다. 이를 통해 어떤 태그를 찾아내야 하는지 파악할수 있다.

 

요약하자면, 크롤링은 웹 페이지에서 원하는 데이터를 추출하는 방법으로 개발자도구를 이용해서 웹페이지의 구조를 파악하고 BeautifulSoup와 같은 라이브러리를 사용하여 데이터를 추출할수 있다.