---

F37.101 컴퓨팅 기초: 처음 만나는 컴퓨팅(First Adventures in Computing)

---

Chapter 12. Pandas II

학습목표와 기대효과

• 학습목표

  • 파일 입출력 방법을 익혀보자.

  • 데이터 처리에 관련된 함수를 익혀보자.

  • ChatGPT를 활용하여 파이썬 코드를 작성해보자.

• 기대효과

  • ChatGPT와 pandas를 활용하여 다양한 데이터 연산 및 분석에 필요한 기능을 쉽고 빠르게 코딩할 수 있다.

파일 입출력

파일 형식	읽기	쓰기
MS Excel	read_excel	to_excel
CSV	read_csv	to_csv
JSON	read_json	to_json
HTML	read_html	to_html
Local clipboard	read_clipboard	to_clipboard
HDF5 format	read_hdf	to_hdf
SQL	read_sql	to_sql

• csv 파일을 불러올 때

  • pd.read_csv(‘파일명’, index_col=칼럼번호, encoding=’인코딩방법’)

    • index_col:칼럼번호를 설정인덱스로 지정한다.

    • usecols: 사용할 칼럼번호를 지정한다.

    • header: 헤더(칼럼)으로 선택할 헤더를 지정한다.

    • encoding: 한글이 깨질때에는 encoding 옵션에 ‘euc-kr’을 넣어준다.

    • 이 외에도 많은 옵션이 있다.

• excel파일을 불러올 때

  • pd.read_excel(‘파일명’, encoding=’인코딩방법’)

인코딩 & 디코딩

• 인코딩(encoding)는 코드화 또는 암호화로 불리우며, 문자열을 바이트코드로 변환하는 것을 의미한다.

• 인코딩을 하는 이유는 언어마다 표준화된 규격으로 문자집합을 만들고, 이러한 문자집합을 가지고 정보의 형태 표준화, 보안, 저장 공간 절약 등의 다양한 목적으로 부호화하여 사용하기 위한 것이다.

• 파이썬에서는 문자열을 유니코드로 처리하는데 유니코드를 utf-8, euc-kr, ascii 형식의 인코딩방식을 사용하여 바이트코드로 변환한다. 예를 들어,

x='한글'
encoded = x.encode('utf-8')
print(f'Output: {encoded}')

Output: b’\xed\x95\x9c\xea\xb8\x80’

• 여기서 결과로 나온 b’\xed\x95\x9c\xea\xb8\x80’가 바이트 코드이다.

• 디코딩(decoding)은 역코드화 또는 복호화로 불리우며, 바이트코드를 문자열로 변환하는 것을 의미한다.

• 이때 디코딩에서도 인코딩 시 사용했던 것과 동일한 인코딩 방식(utf-8, euc-kr, ascii 등)이 사용되어야 한다.

decoded = encoded.decode('utf-8')
print(f'Output: {decoded}')

Output: 한글

• 서울인구데이터 다운로드하여 활용해보기

  • 데이터 다운로드 사이트 : https://data.seoul.go.kr/

  • 검색어: 서울시 자치구별 인구수

• 필요한 칼럼만 불러와서 데이타프레임 생성하기

  • 다운로드한 파일을 열어서 아래의 옵션에 사용할 칼럼을 살펴본다.

  • header: 칼럼 이름 지정

  • index_col: index로 지정할 칼럼 지정

  • usecols: 사용할 칼럼 지정

• header옵션으로 칼럼을 지정할 수 있다.

• index_col 옵션은 파일을 읽어올때 인덱스를 지정하여 읽어올 수 있게 해준다.

• 데이터프레임에서 set_index()로 열을 인덱스로 변경할 수도 있다.

• usecols 옵션은 사용할 칼럼을 지정하여 읽어온다.

• 칼럼의 이름 한꺼번에 변경하기

• 불필요한 행 삭제하기

• to_csv()로 전처리 된 데이터프레임을 파일로 저장하기

자료형 다루기

• .astype(자료형)

import pandas as pd
scores = [[84,87,78], [21,15,84], [87,84,76], [100,87,99],[59,99,59],[46,77,56]]
names=['철수','영이','길동','미영','순이','철이']
lectures=['국어','수학','영어']
d1 = pd.DataFrame(scores, index=names, columns=lectures)
d1

	국어	수학	영어
철수	84	87	78
영이	21	15	84
길동	87	84	76
미영	100	87	99
순이	59	99	59
철이	46	77	56

d2 = d1.astype('str')
d2

	국어	수학	영어
철수	84	87	78
영이	21	15	84
길동	87	84	76
미영	100	87	99
순이	59	99	59
철이	46	77	56

d2.sum()

국어    8421871005946
수학     871584879977
영어     788476995956
dtype: object

누락값 처리하기

• 누락 데이터 확인

  • isnull(): 누락 데이터이면 True, 유효한 데이터이면 False를 반환

  • notnull():유효한 데이터이면 True, 누락데이터이면 False를 반환

scores = [[84,87,78], [21,15,84], [87,84,76], [100,87,99],[59,99,59],[46,77,56]]
names=['철수','영이','길동','슬기','순이','철이']
lectures=['국어','수학','영어']
d2 = pd.DataFrame(scores, index=names, columns=lectures)
d2

	국어	수학	영어
철수	84	87	78
영이	21	15	84
길동	87	84	76
슬기	100	87	99
순이	59	99	59
철이	46	77	56

• d1과 d2를 더해서 일부러 누락값을 만들어서 테스트해보자.

d3=d1+d2
d3

	국어	수학	영어
길동	174.0	168.0	152.0
미영	NaN	NaN	NaN
순이	118.0	198.0	118.0
슬기	NaN	NaN	NaN
영이	42.0	30.0	168.0
철수	168.0	174.0	156.0
철이	92.0	154.0	112.0

d3.isnull()
#d3.notnull()

	국어	수학	영어
길동	False	False	False
미영	True	True	True
순이	False	False	False
슬기	True	True	True
영이	False	False	False
철수	False	False	False
철이	False	False	False

• 누락데이터의 개수를 확인하려면 .isnull().sum()으로 null인 데이터의 개수를 합한다.

d3.isnull().sum()

국어    2
수학    2
영어    2
dtype: int64

• 누락 데이터 제거

  • 행제거: .dropna(subset=[‘열1’,’열2’] axis=0)

    • ‘열1’ 또는 ‘열2’ 중 하나라도 NaN이면 해당 행(row)을 제거

    • subset 옵션을 생략하면 모든 열을 기준으로 NaN이 있는 행을 제거

  • 열제거: .dropna(axis=1)

    • NaN이 하나라도 있는 열 전체를 제거

d4=d3.dropna(axis=0)
d4

	국어	수학	영어
길동	174.0	168.0	152.0
순이	118.0	198.0	118.0
영이	42.0	30.0	168.0
철수	168.0	174.0	156.0
철이	92.0	154.0	112.0

• 누락 데이터 치환

  • .fillna(값)

min_kor = d3['국어'].min()
d3['국어'].fillna(min_kor, inplace=True)
d3

	국어	수학	영어
길동	174.0	168.0	152.0
미영	42.0	NaN	NaN
순이	118.0	198.0	118.0
슬기	42.0	NaN	NaN
영이	42.0	30.0	168.0
철수	168.0	174.0	156.0
철이	92.0	154.0	112.0

중복데이터 처리

• .duplicated(): 중복된 행이면 True, 아니면 False이다.

d3.duplicated()

길동    False
미영    False
순이    False
슬기     True
영이    False
철수    False
철이    False
dtype: bool

d3['국어'].duplicated()

길동    False
미영    False
순이    False
슬기     True
영이     True
철수    False
철이    False
Name: 국어, dtype: bool

• 중복행 제거: .drop_duplicates(subset=컬럼명리스트)

d3.drop_duplicates(subset=['국어', '영어'])

	국어	수학	영어
길동	174.0	168.0	152.0
미영	42.0	NaN	NaN
순이	118.0	198.0	118.0
영이	42.0	30.0	168.0
철수	168.0	174.0	156.0
철이	92.0	154.0	112.0

시계열 데이터

• 다른 자료형을 시계열 객체로 변환

• to_datetime(): 문자열을 timestamp로 변환

import pandas as pd
data = [['1990-03-02', 90], ['1991-08-08', 95], ['1990-11-22',90], ['1991-01-05', 88]]
names=['철수','영이','길동','미영']
column=['생년월일','점수']
d1 = pd.DataFrame(data, index=names, columns=column)
d1

	생년월일	점수
철수	1990-03-02	90
영이	1991-08-08	95
길동	1990-11-22	90
미영	1991-01-05	88

• 생년월일을 확인해보면 object 타입이다.

d1.info()

<class 'pandas.core.frame.DataFrame'>
Index: 4 entries, 철수 to 미영
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   생년월일    4 non-null      object
 1   점수      4 non-null      int64 
dtypes: int64(1), object(1)
memory usage: 96.0+ bytes

• object 타입의 생년월일을 시계열 데이터타입인 datetime형으로 바꿔보자.

d1['생년월일'] = pd.to_datetime(d1['생년월일'])
d1

	생년월일	점수
철수	1990-03-02	90
영이	1991-08-08	95
길동	1990-11-22	90
미영	1991-01-05	88

• datetime으로 변환후 확인해보면 타입이 변경된 것을 알 수 있다.

d1.info()

<class 'pandas.core.frame.DataFrame'>
Index: 4 entries, 철수 to 미영
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype         
---  ------  --------------  -----         
 0   생년월일    4 non-null      datetime64[ns]
 1   점수      4 non-null      int64         
dtypes: datetime64[ns](1), int64(1)
memory usage: 96.0+ bytes

• 시계열 데이터 활용

  • 날짜 데이터를 분리할 수 있다.

  • 연-월-일 정보에서 연,월,일 추출: dt.year, dt.month, dt.day를 사용

d1['년'] = d1['생년월일'].dt.year
d1['월'] = d1['생년월일'].dt.month
d1['일'] = d1['생년월일'].dt.day
d1

	생년월일	점수	년	월	일
철수	1990-03-02	90	1990	3	2
영이	1991-08-08	95	1991	8	8
길동	1990-11-22	90	1990	11	22
미영	1991-01-05	88	1991	1	5

• df.to_period(freq=None, axis=0)

  • freq : 원하는 시간 단위로 변환(‘Y’,’M’,’D’, ‘W’)

  • axis : 변환할 기준 축

d1['년월'] = d1['생년월일'].dt.to_period(freq='M')
d1

	생년월일	점수	년	월	일	년월
철수	1990-03-02	90	1990	3	2	1990-03
영이	1991-08-08	95	1991	8	8	1991-08
길동	1990-11-22	90	1990	11	22	1990-11
미영	1991-01-05	88	1991	1	5	1991-01

• 날짜 인덱스를 활용해보자.

d2 = d1.set_index('생년월일')
d2

	점수	년	월	일	년월
생년월일
1990-03-02	90	1990	3	2	1990-03
1991-08-08	95	1991	8	8	1991-08
1990-11-22	90	1990	11	22	1990-11
1991-01-05	88	1991	1	5	1991-01

d2[d2.index.year == 1990]

	점수	년	월	일	년월
생년월일
1990-03-02	90	1990	3	2	1990-03
1990-11-22	90	1990	11	22	1990-11

d2.loc['1990']

	점수	년	월	일	년월
생년월일
1990-03-02	90	1990	3	2	1990-03
1990-11-22	90	1990	11	22	1990-11

today = pd.to_datetime('2025-11-18')
today

Timestamp('2025-11-18 00:00:00')

d2['날짜_차이'] = today-d2.index
d2

	점수	년	월	일	년월	날짜_차이
생년월일
1990-03-02	90	1990	3	2	1990-03	13045 days
1991-08-08	95	1991	8	8	1991-08	12521 days
1990-11-22	90	1990	11	22	1990-11	12780 days
1991-01-05	88	1991	1	5	1991-01	12736 days

chatGPT로 서울인구데이터 활용해보기

• 목표:

  • 각 구별 한국인의 비율 구하기

  • 각 구별 외국인의 비율 구하기

  • 각 구별 고령자의 비율 구하기

  • 인구수가 적은 순서대로 5개 구 출력하기

  • 외국인 수 내림차순 정렬하기

  • 고령자 비율 오름차순 정렬하기

  • 인구수가 가장 많은 자치구와 인구수 최대값 구하기

  • 인구수가 가장 적은 자치구와 인구수 최소값 구하기

  • 인구수와 고령자수 간의 상관 관계 구하기

😄 값 구하기

각 구별 한국인의 비율 구하기
각 구별 외국인의 비율 구하기
각 구별 고령자의 비율 구하기

😄 값에 따라 정렬하기

- 인구수가 적은 순서대로 5개 구 출력하기
- 외국인 수 내림차순 정렬하기
- 고령자 비율 오름차순 정렬하기

😄 데이타프레임 필요한 통계내기

- 인구수가 가장 많은 자치구와 인구수 최대값 구하기
- 인구수가 가장 적은 자치구와 인구수 최소값 구하기
- 인구수와 고령자수 간의 상관 관계 구하기

---

F37.101 컴퓨팅 기초: 처음 만나는 컴퓨팅(First Adventures in Computing) 서울대학교 학부대학 변해선

---