[python] 판다스(Pandas)에 대한 기본적인 이해

 

 

 판다스는 데이터를 관리하는 것을 간편하게 만들어주는 라이브러리이다. 데이터를 표 형태로 다루기 때문에 사용자는 데이터를 쉽게 이해하고 조작할 수 있다. 데이터를 표로 정리하고 관리하는 것은 변수를 배열로 다루는 것과 유사한데, 이를 보다 편리하게 만들기 위해 구조체와 클래스와 같은 개념이 사용됩니다. 판다스는 이러한 개념들을 활용하여 데이터를 관리하고 분석하는 과정을 단순화시켜준다. 빅데이터 분석에서 판다스는 필수적인 도구로 자리매김하고 있으며, 이를 통해 사용자는 데이터를 2차원 표로 간단하게 이해하고 분석할 수 있다.

 

 

 

 

---

판다스(Pandas)란 무엇일까?

판다스(Pandas)는 파이썬으로 만들어진 데이터 분석을 쉽게 해주는 라이브러리이다.

이를 통해 데이터를 불러오고, 정리하며, 분석하는 작업을 간편하게 할 수 있다.

 

판다스의 핵심 데이터 구조는 DataFrame이다. 엑셀 스프레드시트와 유사한 표 형태로 데이터를 저장하고 다룰 수 있다. 이를 통해 데이터를 쉽게 필터링하고, 조작하며, 분석할 수 있다.

 

캐글 사용 - 분석할 만한 데이터

데이터를 다운로드할 수 있는 사이트 중 하나는 Kaggle이 있다. Kaggle은 데이터 사이언스 및 머신러닝 경연 대회와 함께 다양한 데이터셋을 제공한다. 대표적인 데이터 셋 중 타이타닉이 있다.

 https://www.kaggle.com/datasets 

---

Pandas 라이브러리 설치

1. cmd 창 열기
   • 시작 메뉴에서 cmd를 검색하여 명령 프롬프트를 연다.
2. 파이썬 실행 가능 여부 확인
   • 명령 프롬프트에서 "python"을 입력하여 파이썬이 실행되는지 확인한다. 실행되지 않으면 파이썬이 설치되어 있지 않을 수 있다. 파이썬이 실행되면 취소(Ctrl + C)를 눌러 종료한다.
3. Pandas 설치
   • 명령 프롬프트에 pip install pandas를 입력하고 엔터 키를 눌러 Pandas를 설치한다.

     pip install pandas

 

 

---

 

왜 판다스를 사용해야 할까?

1. 고급 기능 제공: Numpy는 주로 저수준 작업에 사용되지만, Pandas는 데이터 관리 및 분석을 위한 다양한 고급 기능을 제공한다. 이는 데이터를 더 쉽게 다룰 수 있도록 도와준다.
2. 다양한 데이터 유형 지원: Pandas는 리스트나 Numpy와 같은 내부 데이터 뿐만 아니라, csv와 같은 외부 데이터도 쉽게 Pandas 객체로 변환할 수 있다. 이는 데이터 소스의 다양성에 관계없이 일관된 방식으로 데이터를 다룰 수 있게 해준다.
3. 편리한 수학적 연산: Numpy는 수학적인 연산을 효율적으로 수행할 수 있는 도구이지만, Pandas는 이러한 연산을 더욱 편리하게 사용할 수 있도록 한다. 이는 데이터 분석 작업에서 필요한 다양한 연산을 간단하게 수행할 수 있게 해준다.

따라서 Pandas는 데이터를 관리하고 분석하는 작업을 더욱 편리하게 만들어주는 도구로서 널리 사용된다.

 

 

---

 

Pandas의 데이터 처리 - 다양한 종류의 테이블 데이터

Pandas는 다양한 종류의 테이블 데이터를 처리할 수 있다. 주요한 특징은 다음과 같다.

1. 2차원 배열
   • 데이터를 행과 열로 구성된 2차원 배열 형태로 처리한다. 이는 테이블 형태의 데이터를 효율적으로 다룰 수 있도록 한다.
2. 특정 값 가져오기
   • 원하는 작업에 따라 특정 컬럼이나 레코드의 값을 가져와 변수에 저장할 수 있다. 이는 데이터를 유연하게 처리할 수 있는데 도움이 된다.
3. 행과 열 단위 접근
   • 데이터를 행이나 열 단위로 접근할 수 있다. 이는 데이터를 원하는 방식으로 조작하고 분석하는 데 유용하다.
4. 빠른 처리 속도
   • 데이터 처리 속도가 매우 빠르다. 따라서 대용량의 데이터를 효율적으로 처리할 수 있다.
   • 이러한 기능들은 데이터를 효율적으로 다루고 원하는 형태로 가공할 수 있도록 도와준다.

 

 

---

 

 

 

데이터 읽기와 쓰기 : 간편한 파일 처리

판다스는 다양한 파일 형식이나 데이터 소스(csv, 엑셀, SQL, JSON 등)를 읽고 쓰는 데에 사용된다.

주요한 내용은 아래와 같다.

read_* -> table -> to_*

1. 다양한 형식 지원: 판다스는 다양한 파일 형식이나 데이터 소스를 읽고 쓸 수 있다. 이는 csv, 엑셀, SQL 데이터베이스, JSON 파일 등을 포함한다.
2. 데이터 읽기: 판다스는 지정된 파일 경로나 데이터 소스로부터 데이터를 읽어와서 테이블 형태의 판다스 객체로 변환한다. 이렇게 읽은 데이터는 DataFrame이라는 판다스 객체로 만들어진다.
3. 데이터 쓰기: 판다스 객체로 처리한 데이터를 원하는 파일 형식이나 데이터 소스에 다시 쓸 수 있다. 이를 통해 데이터를 원하는 형태로 저장할 수 있다.

판다스의 이러한 기능은 데이터를 편리하게 읽고 쓰며, 다양한 형식 간에 데이터를 변환할 수 있도록 도와준다.

 

 

---

 

판다스 10분 완성 참고

이러한 기능들은 데이터를 효율적으로 다루고 원하는 형태로 가공할 수 있도록 도와준다.

추가적으로 pandas 10분 완성에서 판다스에서 대해 잘 설명하고 있다.

https://pandas.pydata.org/ 

https://dataitgirls2.github.io/10minutes2pandas/

판다스 10분 완성 / 10 Minutes to Pandas

 

 

 

---

 

 

판다스의 기본적인 사용

1. 라이브러리 import: 코드의 시작 부분에 import pandas as pd를 선언한다. 여기서 as pd는 판다스의 명령을 사용할 때마다 pandas.를 반복하지 않고 pd로 간략하게 사용하기 위한 것이다.

   import pandas as pd

2. 데이터 구조: 판다스는 주로 두 가지 데이터 구조를 제공한다.
   • Vector 형태의 Series(시리즈): 1차원 배열 형태(Vector)로, 한 가지 유형의 데이터를 담고 있다. 인덱스와 값으로 구성된다.
   • DataFrame(데이터프레임): 2차원 테이블 형태(Matrix)로, 행과 열로 이루어진 데이터를 담고 있다. 여러 개의 시리즈를 모아서 구성된다.

 

 

 

 

시리즈(Series)와 데이터프레임(DataFrame)개념과 차이점

 

Series 객체 생성

• pd.Series() 함수를 사용하여 1차원 배열을 생성한다. 이 배열은 [1, 2, 3, 4, 5]의 값으로 구성되고,  print() 함수를 사용하여 생성한 시리즈를 출력한다.
• 이 시리즈는 여러 숫자들을 포함하고 있다. 이때 각 숫자들은 해당 숫자의 인덱스와 쌍을 이룬다. 예를 들어, 1은 인덱스 0에, 2는 인덱스 1에 위치한다. 이러한 인덱스는 시리즈의 왼쪽에 표시되며, 시리즈의 각 요소들과 연결된다.
• 그리고 출력 결과에는 각 숫자 뒤에 'dtype: int64'라는 표기가 있다. 이는 시리즈에 있는 데이터 타입이 정수(int)임을 나타낸다. 데이터 타입은 해당 값의 형태나 종류를 나타내며, 여기서는 정수로 표현되었다.

  

DataFrame 객체 생성

결과로 보면 Series()함수와 DataFrame()함수의 차이점 뭘까?

1차원 배열의 구조와 메트릭스 형태의 구조이다.

 

 

 

 

데이터 인덱스 추가하기

 

특정 인덱스로 바꾸고 싶다면 index를 인위적으로 넣어줄수있다.

사람 이름으로 각 인덱스를 바꿀수 있다. 

 

 

 

pd.date_range() 함수를 사용한 날짜 생성

pd.date_range() 함수를 사용하여 현재 날짜('20240512')를 시작으로 하여 5일간의 날짜를 생성한다. 이때 'periods' 매개변수를 이용하여 기간을 설정한다.

그 다음에는 pd.Series() 함수를 사용하여 1차원 배열을 생성한다. 배열의 값으로는 [1, 2, 3, 4, 5]를 입력하고, 인덱스로 앞서 생성한 날짜들을 설정한다. 이때 각 값들은 각 날짜의 인덱스에 매핑된다. 마지막으로 print() 함수를 사용하여 생성한 시리즈를 출력한다.

 

요약하면, 이 코드는 현재 날짜를 기준으로 5일간의 날짜를 생성하고, 해당 날짜에 각각 1부터 5까지의 값을 매핑하여 시리즈로 만들어 출력한다.

 

 

일자별 데이터의 분포 - 1차원

import pandas as pd
import matplotlib.pyplot as plt

dates = pd.date_range('20240512', periods = 5)
num_series = pd.Series([1,2,3,4,5], index=dates)
#print(num_series)

#num_series.plot()
num_series.plot(kind='bar', stacked=True)
plt.show()

 

 

 

 

일자별 데이터의 분포 - 2차원

이번에는 DateFrame 형태의 기반으로 그래프를 생성한다. key-value 형태로 데이터를 넣어줄수 있다.

 여기서 'col1'과 'col2'라는 두 개의 열을 가진 데이터프레임을 생성한다.

import pandas as pd
import matplotlib.pyplot as plt

num_df = pd.DataFrame({'col1': [1,2,3,4,5], 'col2': [6,7,8,9,10]})
print(num_df)

#num_df.plot()
num_df.plot(kind='bar', stacked=True)
plt.show()

 

판다스를 사용하는 목적은 원하는 데이터를 입력하면 데이터를 자동으로 구조화하고 시각화하는 것이다. 데이터프레임은 이러한 목적을 위해 사용되는 주요한 데이터 구조 중 하나로, 데이터를 표 형태로 관리하고 분석할 수 있도록 도와준다.