• 파이썬은 데이터 분석 작업에 많이 사용되는 프로그래밍 언어이다. 파이썬을 익히려면 파이썬 설치뿐 아니라 파이썬을 활용한 분석 작업을 쉽게 만들어주는 통합 개발 환경(IDE, Integrated Development Environment)을 갖추는 것이 좋다.
• IDE 소프트웨어에는 여러 가지가 있지만 여기서는 주피터랩(JupyterLab)을 사용한다. 파이썬과 주피터랩 모두 아나콘다(Anaconda)라는 소프트웨어를 통해 설치할 수 있다.
• 이와 함께 텍스트 분석 작업에 유용한 간단한 소프트웨어도 함께 설치한다.
  [교재: 02. 파이썬 데이터 분석 환경 만들기, pp.31-50 참조]

2. 텍스트 편집기와 파일찾기 툴 설치

2.1. 텍스트 편집기 설치

• 먼저, 텍스트 편집기를 설치한다. 텍스트 편집기는 확장자가 txt나 csv인 자료를 다룰 때 많이 사용한다. 엠에디터(Emeditor, 윈도우 기반)를 사용한다. 이 편집기는 옛한글과 한자를 잘 표현하므로 역사학 자료를 다룰 때 편리하다. OS가 윈도우가 아닌 경우 다른 편집기를 사용해도 파이썬 공부 단계에서는 큰 문제 없다.
• 실행파일인 “emed32_13.0.6.exe”을 hursoo 깃허브 주소에서 다운로드하고 이 파일을 실행하여 엠에디터를 설치한다.
  
• 설치 완료된 엠에디터를 실행한다. 팝업 메뉴 맨 마지막에 있는 “도움말”의 “Emeditor 소개”에 들어가서 “등록키 입력”을 클릭하고 등록키를 입력한다. 등록키는 전술한 깃허브 주소에 있는 “emed32_13.0.6_등록키.txt”의 여러 키들 중 하나를 선택하면 된다.
  
• 엠에디터로 할 수 있는 작업 중 정규표현식을 이용한 간단한 실습을 해 보면 다음과 같다.
• 실습 1_여러 줄의 데이터를 한 줄로 일괄 변환: 동일한 깃허브 주소의 실습자료 이용.

  "실습자료_이메일주소.txt"의 내용을 복사해서 엠에디터의 새 창(ctrl-N)에 붙여 넣는다.  
  -> '찾기'(ctrl-F) 검색창에 '\n'을 입력   
  -> 우측 메뉴에서 '바꾸기'를 클릭   
  -> 바꾸기 창에 ,  (컴머와 공백 한 칸)를 입력   
  -> 검색창 하단의 둘째 줄 "정규식 사용"을 선택   
  -> 우측 메뉴의 "모두 바꾸기" 클릭   
  -> (결과) 한 줄씩 구분된 여러 줄 자료가 컴머와 빈칸을 경계로 한 줄로 변경되었다.  
  

• 실습 2_한 줄의 데이터를 문장 혹은 단어 단위의 여러 줄로 일괄 변환:

  "실습자료_기상청은_슈퍼컴퓨터도.txt"의 내용을 복사하여 엠에디터의 새 창에 붙여 넣는다.  
  -> (실습 1과 마찬가지 방식으로) '찾기' 창엔 "\."를, 
   '바꾸기' 창엔 ".\n"을 입력하고 "모두 바꾸기"를 클릭   
  -> (결과) 문장 단위로 구분되었다.  
  -> 다시 '찾기' 창엔 "\s"를, '바꾸기' 창엔 ".\n"을 입력하고 "모두 바꾸기"를 클릭   
  -> (결과) 각 단어가 한 줄씩 된 형태로 바뀌었다.
  

2.2. 파일찾기 툴 설치

• 리스터리(Listary)라는 파일찾기 툴은 간편하게 필요한 파일을 찾을 때 유용하다. https://www.listary.com/에서 다운로드 받아서 설치한다. .
• 사용법은 간단하다. 특별히 이 툴의 아이콘 등을 클릭할 필요없이 ctrl키를 두번 누르면 검색 창이 뜬다. 여기에 찾고싶은 파일 이름의 일부를 입력하면 해당 파일이 나타난다.

3. 파이썬 및 주피터랩 설치

• 선택: 아나콘다 다운로드 페이지로 들어가서 아나콘다 설치 파일을 다운로드 받는다. 이 때 설치 파일은 pc의 운영 체제(예: 윈도우 64비트)에 맞는 것을 선택한다.
• 설치: 설치 파일을 클릭하여 아나콘다를 설치한다. 설치 후에는 자기 pc에 있는 Anaconda3 폴더의 Anaconda Navigator를 클릭해서 아나콘다를 실행한다. cf) 윈도우 사용자 계정이 한글로 되어 있으면 설치 중에 오류가 발생한다. 이 경우에는 사용자 계정을 영문으로 새로 만들어 로그인한 다음 아나콘다를 다시 설치한다. (→ 교재 34쪽 참고)
• 확인: 실행 후 열린 화면에는 주피터랩 아이콘을 볼 수 있다. 파이썬은 따로 아이콘으로 보이지 않으나 사용할 수 있는 상태이다. (현재 파이썬 버전은 3.11이다)

4. 주피터랩 실행

4.1. 프롬프트로 실행

• 아나콘다 프롬프트 실행: 아나콘다 프롬프트(Ananconda Prompt) 아이콘을 마우스로 더블클릭해 연다. 이 프롬프트 아이콘은 윈도우 시작 메뉴를 누르면 나타나는 Anaconda3 폴더 안에 있다.
• 주피터랩 실행: 아나콘다 프롬프트에 jupyter lab이라고 입력하고 엔터를 누른다. 그러면 웹 브라우저에 주피터랩이 실행된다.
• 아나콘다 프롬프트 창은 주피터랩을 사용하는 동안 열려 있어야 하니, 종료하지 않고 그냥 둔다.
• 주피터랩의 화면 구성과 기본 기능은 교재 02-2(pp.37-47) 참조

4.2. 바로가기로 실행

• 아나콘타 프롬프트에서 명령어를 입력하는 대신, 원하는 폴더로 바로가기를 할 수 있는 아이콘을 만들고 이를 더블클릭해서 실행하면 편리하다.
• 워킹 디렉터리(working directory) 복사: (1) 워킹 디렉터리는 주피터랩에서 파일을 불러오거나 저장할 때 사용하는 폴더를 말한다. 기본값은 C:/Users/<사용자 이름>으로 지정되어 있다. 이 기본값을 실제 자신의 작업 디렉터리 경로로 바꾼다. (2) 경로 주소는 모두 영어로 되어 있는 것이 좋다. 경로 일부에 한글이 있을 경우 오류가 생길 수 있기 때문이다. (3) 경로 주소는 다음 절차로 간단히 복사할 수 있다. 윈도우탐색기에서 해당 디렉터리로 들어간 뒤, 탐색기 상단의 해당 디렉터리 이름에 마우스 우클릭해서 “주소를 텍스트로 복사”를 클릭한다. 해당 주소를 텍스트 편집기 등에 붙여 놓는다.
• 워킹 디렉터리 변경: (1) activate.bat 파일(C://Users/<사용자 이름>/anaconda3/Scripts 소재)을 동일한 폴더 내에 복사하고, 이 복사본 파일의 이름을 JupyterLab.bat으로 변경한다. (2) 변경된 파일을 열어서 맨 아래에 다음 두 줄을 입력한 뒤 저장한다. 첫째 줄에는 위킹 디렉터리로 이동하라는 명령어가, 둘째 줄에는 주피터랩을 실행하는 명령어가 들어간다. <워킹 디렉터리로 사용할 폴더 경로> 부분에 조금 전 복사해 둔 워킹 디렉터리 경로를 붙인다.

  cd <워킹 디렉터리로 사용할 폴더 경로>
  jupyter lab
  

• 주피터랩 바로가기 만들기: (1) JupyterLab.bat 파일을 마우스로 우클릭해서 바로 가기를 만들고, 이것을 바탕화면에 복사한다. (2) 바로가기를 ‘주피터 노트북’ 로고로 바꾼다. 첫째, 주피터랩 바로가기를 마우스 우클릭한 뒤, ‘속성 → 아이콘 변경 → 찾아보기’를 클릭한다. 노트북 로고는 C://Users/<사용자 이름>/anaconda3/Menu에 있다. (→ 교재, 50쪽)

5. 기타

• 교재 : 김영우(2022), 『쉽게 배우는 파이썬 데이터 분석』. 이지스퍼블리싱
• 책 소개, 실습 데이터와 파이썬 코드

0. 연구 목표의 설정

• “개벽” 논조의 사회주의화 양상 고찰 (양상, 시점 등)

1. 방법: 텍스트 연결망 분석

• 선택: “개벽” 논조의 사회주의화를 어떻게 살펴볼 것인가
• 양적 분석 vs 질적 분석 ?
• 양적 분석 선택: 텍스트 연결망 분석(TNA: Text Network Analysis)
• “개벽”의 주요 논설을 수집, 정제 → 주요 논설 코퍼스 생성
  • 단어를 세분: 사회주의 → 사회, 主義
  • 명사 중심, 10회 이상만 남김
  • 문장, 논설, 호수(+시간) 정보를 별개로 관리하는 DB 형태

2. 특성 벡터(feature vector) 설정: 문서-단어 행렬(dtm: document-term-matrix)을 동반

• 곽기영 / 텍스트마이닝 - 문서-용어 행렬 / 25:36의 앞부분 5:23

2.1. 논조를 드러내는 특성

• 선택: “개벽” 논조를 무엇으로 수량화할까?
• 고빈도 단어 vs 필자 성향 ?
• 고빈도 단어 선택: 고빈도 단어 50개를 특성으로 설정

2.2. 특성을 어떻게 숫자로 표현할 것인가

• 단순 빈도 vs 통계적 가중치
• 통계적 가중치(tfidf값): 단어빈도-역문서 빈도(tfidf: term frequency-inverse document frequency)
  • tfidf는 문서 내에서 자주 등장하지만, 다른 문서들에서는 드물게 나타나는 단어들을 강조 → 이는 해당 문서의 주제나 내용을 특정 단어들로 효과적으로 대표할 수 있게 함.
• 곽기영 / 텍스트마이닝 - 빈도문석, 용어빈도-역문서빈도 (tfidf) / 1:34:40의 앞부분 7:18

2.3. 문서-단어 행렬

• 이 과정은 텍스트라는 비정형(unstructured) 데이터를 정형(structured) 데이터로 변환하는 과정과 맞물려 있다.
• 문서(document)는 문장(sent) 단위, 단어(term)는 특성(feature) 50개, 값(value)은 tfidf값

3. 시기 구분: 논조 변화의 마디를 파악하기

3.1. 구간 설정

• 변화의 마디를 좀 더 세밀하게 파악할 필요: 3개월 단위(分期 = quarter)의 구간(grid)
• dtm에서 document 단위를 34,030개 문장(sent) → 24개 구간
• 그러면 각 구간은 50개의 특성 벡터로 구성되는 시간 단위가 된다. (gtm = grid-term-matrix)

3.2. 구간과 구간 간의 유사도

• 서로 인접한 구간들은 특성 벡터가 유사하기 마련
• 이런 유사성이 상대적으로 달라지는 지점이 존재할 수 있음
• 24개 구간들의 상호 관계를 산출해서 군집화하면 시기구분의 단서를 얻을 수 있음
• 구간별 상호관계는 텍스트마이닝에서 통상 코사인유사도(cossin similarity)를 사용함
• 허민석 / 자연어처리의 유사도 측정 방법(거리측정, 코사인 유사도) / 3:37
• 군집화는 계층적 군집화(Hierarchical Clustering)가 효과적

3.3. 시기구분

• 고빈도 단어 50개로 구간별 군집화 → 대체로 잘 구분되지만, 경계선은 좀 모호(8q, 9q, 10q)
• 시기구분 판단 보완 위해 2-gram 단어로 gtm 및 구간 유사도 산출 (1-11q / 12-24q)
• 종합: 1기(period)는 1-10q, 2기는 11-24q로 결정
• 시기구분 정보를 df에 반영 → 시기별 코퍼스 분리

4. 연결망 시각화

4.1. 연결망 단순화 방법

• 특성 간 연결관계는 분석을 위해 단순화할 필요가 있다.
• 가중치가 있는 관계를 표현하는 연결망의 경우, 특정 링크값 이하를 일률적으로 절단하기보다, 상대적으로 중요한 관계를 남기는 절단 방식이 유용 = 패스파인더 연결망(pFnet) 방식이 효과적

4.2. 연결망이 핵심 구성 요소: 노드(점)와 링크(선)

• 가중 네트워크의 연결망 표시가 패스파인더 방식이므로, 군집화와 노드 중심성 산출도 패스파인더 방식에 걸맞는 방식을 따라야 함 –> wnet.exe nc.exe 툴 이용
• 링크 값(코사인 유사도): 패스파인더 방식.
• 노드 값(군집정보, 중심성 정보): wnet, nc 결과값
• 연결망 표현 툴: nodexl 템플릿 활용.
• 이상의 링크 값, 노드 값을, 파이썬 코딩으로 nodeXL 입력에 적합한 형태로 변형하면 편리

5. 문맥 통한 논조 분석

5.1. 노드의 중심성

• 시기별 연결망 그래프에서 단어의 군집, 중심성(全域 중심성, 地域 중심성) 파악
• 이러한 연결망 그래프의 중심성은 중심성 산점도를 통하여 효과적으로 파악 가능
• 그런데 특성 단어 50개의 연결망 그래프 만으로는 시기별 차이보다는 유사성이 더 잘 드러나는 경향도 있다.
• 이 경우 n-gram 단어, 특히 2-gram 단어들의 연결망을 살펴보면 시기별 차이가 좀 더 잘 드러난다.

5.2. 문맥 검색

• 노드 중심성 산점도에서 포착한 관찰 지점을 문맥 속에서 좀 더 구체적으로 살펴볼 수 있다.
• 사용자 함수를 활용하면 검색 과정을 좀 더 간단하게 진행할 수 있다.

• 『개벽』(1920-26) 잡지의 시대적 역할: 『개벽』은 『동아일보』와 함께 1920년대 초 한국인의 문화운동을 주도했다.
• 한국근대사상사 연구에서 『개벽』이 가진 사료적 가치: 『개벽』은 사회주의 사상의 영향을 살펴보는 데 유용하다.
• 『개벽』의 자료적 현황과 적극적 활용 방안: 『개벽』 전산 자료를 활용한 정량적 분석이 필요하다.

1.2. 텍스트연결망 분석

• ‘텍스트연결망 분석’(Text Network Analysis)의 특징: 텍스트마이닝과 의미 연결망 분석을 결합하여 대규모 텍스트의 의미적 특성을 파악.
• 한국학 분야에서 TNA를 활용한 연구들: 대중문화 연구, 계량서지학, 개념사 연구 등
• ‘『개벽』의 사회주의 양상’을 파악하는 데 TNA가 가진 유용성: 사회주의 이전과 이후 양상을 연결망 그래프로 시각화하여 비교.

1.3. TNA 도구 소개

• TNA에 필요한 프로그래밍 언어와 개발 환경: 주피터 랩(JupyterLab)에서 파이썬(Python) 3.0을 사용
• 데이터(data)를 입출력할 때 사용하는 도구: 데이터 입출력은 윈도우 기반의 엑셀(Excel), 엠에디터(Emeditor)를 사용
• 연결망 그래프 작성에 필요한 도구: 연결망 그래프 작성에는 WNET와 노드엑셀(NodeXL) 사용

• 『개벽』의 논조 및 그 중요성: ‘논조’는 『개벽』 주도층의 주장을 살펴보기 위해 설정한 추상적 범주이다.
• 선행연구에서 주목한 ‘주요논설’의 성격: ‘주요논설’은 목차 공간에서 확인할 수 있는 구체적 기사 분류로서, 권두언, 사설, 대표적 논설 등을 포함한다.
• 『개벽』의 논조와 ‘주요논설’의 관계: 『개벽』의 논조는 ‘주요논설’에 집약되어 있다고 말할 수 있다.

2.2. 개벽 말뭉치 생성

• ‘개벽 주요논설 말뭉치’(‘개벽 말뭉치’)의 필요성: TNA를 실행하려면, 주요논설 전산 자료를 전처리한 ‘개벽 말뭉치’가 필요
• ‘개벽 말뭉치’의 생성 과정: 『개벽』 전산 자료를 수집 → ‘주요논설’을 선별 → 본문 기사를 ‘문장’ 단위로 구분 → 전처리 → 개벽 말뭉치
• ‘개벽 말뭉치’의 특징: 10회 이상 사용된 명사가 중심이며, DB형태로 이루어져 있다.

2.2.1. 개벽 논설 데이터 수집

• “개벽” 웹사이트 우측 위의 화살표 아이콘 눌러 기사정보 다운로드: 한국근현대잡지자료.txt → 워킹디렉토리에 저장
• 한국사데이터베이스/한국근현대잡지/개벽: url부분 마우스 우클릭 → “항상 전체 선택 url 표시”
• https://db.history.go.kr/item/level.do?sort=levelId&dir=ASC&start=1&limit=20&page=1&pre_page=1&setId=-1&prevPage=0&prevLimit=&itemId=ma&types=&synonym=off&chinessChar=on&brokerPagingInfo=&levelId=ma_013_0010_0001&position=-1
• 가변부분(기사 id에 해당): ma_013_0010_0001
• url의 불변 부분과 가변 부분을 분리, 조합하는 방식으로 반복문 작성 → 2,549건

2.2.2. 전처리

• Kiwi 사용

2.3. 문서-단어 행렬과 특성

• TNA에서 ‘문서-단어 행렬’ (Document Term Matrix)의 중요성: DTM은 TNA 입력값으로 사용되는 기본 데이터 형식으로, 문서, 특성, 특성 벡터로 구성되어 있다.
• ‘특성’ 및 ‘특성벡터’ 개념: 단어빈도-역문서 빈도(TF-IDF) 합계 상위 50개 단어를 특성으로 삼으며, 이 단어의 문서별 TF-IDF들이 곧 특성벡터이다.
• ‘특성 간의 관계’ 이해와 필요성: 특성 간의 관계를 코사인 유사도로 숫자화하면, 그 관계를 연결망으로 시각화할 수 있다.

2.3.1. 동영상으로 보는 주요 개념

• 곽기영 / 텍스트마이닝 - 문서-용어 행렬 / 25:36의 앞부분 5:23
• 곽기영 / 텍스트마이닝 - 빈도문석, 용어빈도-역문서빈도 (tfidf) / 1:34:40의 앞부분 7:18
• 허민석 / 자연어처리의 유사도 측정 방법(거리측정, 코사인 유사도) / 3:37

• 5강 ~ 8강에서는 본래 계획을 수정해서 교재 9장 이후는 일부만 살펴보고 역사 데이터를 분석하는 실제 사례를 중심으로 하고자 한다.
• 5강에서는 교재 9장~11장의 일부 내용을 살펴본 후, 실제 사료 분석을 위해 필요한 파이썬 문법 및 판다스 문자열 처리를 집중적으로 익힌다.
• 교재 9장: ‘한국복지패널 데이터’ 분석에서는 샘플 데이터가 아닌 실제 데이터를 가지고 데이터 분석 절차를 진행해 보는 의의가 있다. 교재의 09-1은 기본 분석 절차를 다룬 것이고 09-2 ~ 09-9는 분석 패턴이 비슷하기 때문에 09-1과 09-2만 살펴볼 것이다.
• 교재 10장: 이 교재의 텍스트 마이닝은 간략 검토. 형태소 분석기는 KoNLPy 대신 Kiwi(Korean Intelligent Word Identifier)를 사용한다. 시각화로는 막대그래프만 살펴보고 워드 클라우드는 생략한다.

• 교재 11장: 지도 시각화는 11-1만 살펴볼 것이다.

• 실습 코드
  • 2023win_python_lec_05_basic.ipynb
• 실습 데이터

  • Koweps_hpwc14_2019_beta2.sav → Koweps_hpwc14_2019_beta2.md을 클릭하면 접속 링크가 나옴

  • speech_moon.txt
  • news_comment_BTS.csv
  • SIG.geojson
  • Population_SIG.csv

2. ‘한국복지패널 데이터’ 분석: 성별에 따라 월급이 다를까?

2.1. 데이터 준비하기

• 전술한 실습 데이터 다운로드 → 워킹 디렉터리: 실습 데이터는 통계 분석 소프트웨어인 SPSS 전용 파일
• 데이터: 2020년 발간. 6,331가구, 14,418명의 정보 수록. 14,418 * 830

  2.2. 패키지 설치 및 로드

• pyreadstat: 다양한 통계 분석 소프트웨어의 데이터 파일 불러올 수 있는 패키지
• 이외에 pandas, numpy, seaborn 등

  2.3. 데이터 불러오기

• pd.read_spss()
• 복사본 만들기: df1 = df.copy()

  2.4. 데이터 검토하기

  welfare               # 앞부분, 뒷부분 출력
  welfare.shape         # 행, 열 개수 출력
  welfare.info()        # 변수 속성 출력
  welfare.describe()    # 요약 통계량
  

  2.5. 변수명 바꾸기

• 분석에 사용할 변수를 이해하기 쉬운 변수명으로 변경
• 코드북(codebook) 활용

  2.6. 데이터 분석 절차

• 1단계: 변수 검토 및 전처리: 변수 특징 파악 → 이상치, 결측치 정제 → 변수 값을 다루기 편하게 변환. * 분석에 활용할 변수 각각 진행
• 2단계: 변수 간 관계 분석: 데이터를 요약한 표와, 데이터의 특징을 쉽게 이해할 수 있는 그래프 등을 작성 → 분석 결과를 해석

3. 유튜브 동영상을 통한 파이썬 문법 익히기

리스트와 딕셔너리

• [1분 파이썬 - (16) 리스트 1 / 00:01:25](나도코딩, 2022-05-02)
• [1분 파이썬 - (17) 리스트 2 / 00:01:23](나도코딩, 2022-05-03)
• [1분 파이썬 - (22) 딕셔너리 1 / 00:01:29](나도코딩, 2022-05-11)
• [1분 파이썬 - (23) 딕셔너리 2 / 00:01:28](나도코딩, 2022-05-12)

제어문: 조건문과 반복문

• [1분 파이썬 - (26) if 조건문 1 / 00:02:15](나도코딩, 2022-05-17)
• [1분 파이썬 - (27) if 조건문 2 / 00:01:49](나도코딩, 2022-05-18)
• [1분 파이썬 - (29) for 반복문 / 00:01:44](나도코딩, 2022-05-20)
• [1분 파이썬 - (31) for 활용 / 00:01:27](나도코딩, 2022-05-24)
• [1분 파이썬 - (36) 리스트 컴프리헨션 / 00:02:46](나도코딩, 2022-05-31)

문자열 분리와 합치기: split, join

• [PYTHON-150 : 문자열(str)의 method-02, 문자열 분리, str.split / 00:05:48](EduAtoZ, 2020-05-10)
• [PYTHON-151 : 문자열(str)의 method-03, 문자열 합치기, str.join / 00:03:15](EduAtoZ, 2020-05-10)
• [PYTHON-152 : 문자열(str) - split, join 실습 / 2020:05:10](EduAtoZ, 2020-05-10)

함수

• [10강. 파이썬(Python) 기본 내장 함수의 이해 및 사용자 정의 함수 만들기 - 파이썬(Python) 입문자용 초급 / 00:06:12](동빈나, 2018-05-31)
• [파이썬 기초: 10-05-05 함수의 종류 : 람다 함수 / 00:15:02](박진수 SNU IDSLab, 2022-05-05)
• [파이썬 기초: 10-05-06 실습 : 일반 함수를 람다 함수로 변환 / 00:02:35](박진수 SNU IDSLab, 2022-05-05)
• [파이썬 기초: 10-05-07 실습 : 람다 함수 (1) / 00:02:29](박진수 SNU IDSLab, 2022-05-05)

판다스 문자열 처리: 정규표현식, apply 함수, 중복데이터 삭제 등

• [PYTHON-re_11 : 정규식을 사용하여 문자열 대체 및 분리, sub, split / 00:03:19](EduAtoZ, 2021-01-10)
• [1.2, 4/6 판다스로 텍스트 다루기, 파이썬 판다스 문자열 바꾸기 replace 와 str replace는 다른가? / 00:08:36](오늘코드, 2022-03-24)
• [1.2, 5/6 판다스로 텍스트 다루기, 문자열 정규표현식으로 전처리하기, 문자길이와 단어개수, map apply / 00:14:36](오늘코드 , 2022-03-25)
• [Pandas 강의: apply 함수, 다양한 예제로 활용해보기 / 00:07:37](허민석, 2018-03-11)
• [Pandas 강의: 중복 데이터 삭제하기 (drop duplicates) / 00:03:15](허민석, 2018-02-18)

머신러닝: 사이킷런으로 단어벡터 만들기

• [단어빈도와 Tf idf의 차이점은? / 00:04:27](해피AI, 2023-04-17)
• [2.2, 1/4, 단어 벡터 만들기: 사이킷런 문서의 단어 가방 만들기와 tfidf 가중치 적용하기 / 00:08:44](오늘코드, 2022-03-31)
• [2.2, 4/4, 단어 벡터 만들기: 예제 코퍼스에 TF IDF 가중치 적용하기 / 00:14:32](오늘코드, 2022-04-03)

4강. 데이터 정제와 그래프 시각화

• 둘째마당 (07-08장)

• pp.177-221

# 그래프 해상도 설정
import matplotlib.pyplot as plt
plt.rcParams.update({'figure.dpi' : '100'})
%config InlineBackend.figure_format = 'retina'

07. 데이터 정제 - 빠진 데이터, 이상한 데이터 제거하기

07-1. 빠진 데이터를 찾아라! - 결측치 정제하기 (178-185쪽)

[Do it! 실습] 결측치 찾기(178쪽)

• 결측치 : 누락된 값, 비어 있는 값

• 결측치 있는 경우 : 함수가 적용되지 않거나, 분석 결과가 왜곡되는 문제 발생

• 실제 데이터 분석시, 결측치 여부 확인해서 제거하는 정제 과정을 거친 다음에 분석해야 함

결측치 만들기

• Numpy 패키지의 np.nan을 입력 -> NaN으로 표시

import pandas as pd
import numpy as np

df = pd.DataFrame({'sex'   : ['M', 'F', np.nan, 'M', 'F'],
                   'score' : [5, 4, 3, 4, np.nan]})
df

# NaN이 있는 상태로 연산하면 출력 결과도 NaN이 된다

df['score'] + 1

0    6.0
1    5.0
2    4.0
3    5.0
4    NaN
Name: score, dtype: float64

결측치 확인하기

• pd.isna()를 이용하면 결측치 포함 여부를 알 수 있다.

• pd.isna().sum()으로 결측치 총 개수를 알 수 있다.

# df의 결측치 포함 여부 파악
pd.isna(df)

# df의 결측치 총 개수 파악
pd.isna(df).sum()

sex      1
score    1
dtype: int64

[Do it! 실습] 결측치 제거하기(180쪽)

• df.dropna() 이용하면 결측치가 있는 “행”을 제거할 수 있다.

• 이 때 결측치의 위치는 subset에 []를 이용해서 변수명을 입력하면 된다.

• subset: ‘부분집합’이라는 의미

결측치 있는 행 제거하기

# score의 결측치 제거해서 df_nomiss에 저장하라
df_nomiss = df.dropna(subset = ['score'])
df_nomiss

여러 번수에 결측치 없는 데이터 추출하기

• df.dropna()의 subset에 변수를 나열하면, 여러 변수에 결측치가 없는 행을 추출할 수 있다.

# score와 sex의 두 변수에 있는 결측치를 제거해서 변수 df_nomiss에 저장하라
df_nomiss = df.dropna(subset = ['score', 'sex'])
df_nomiss

결측치가 하나라도 있으면 제거하기

• df.dropna()에 아무 변수도 지정하지 않으면 모든 변수에 결측치가 없는 행만 남긴다.

• 단, 이 경우 분석에 필요한 행까지 손실되는 단점이 있음 -> 변수를 직접 지정해 결측치 제거하는 것을 권장 (-> 181~182쪽 설명)

df_nomiss2 = df.dropna()
df_nomiss2

[Do it! 실습] 결측치 대체하기(182쪽)

• 데이터가 작고 결측치가 많을 때, 결측치를 제거하면 너무 많은 데이터가 손실되어 분석 결과가 왜곡되는 문제 발생

• 이 때, 결측치를 제거하는 대신, 다른 값으로 채워 넣기도 함 = 결측치 대체법

• 대표값(평균값이나 최빈값 등)으로 대체하거나, 통계 분석 기법으로 결측치의 예측값을 추정해 대체함

평균값으로 결측치 대체하기

# exam.csv 파일을 불러와 일부 값을 결측지로 바꿈
exam = pd.read_csv('exam.csv')           # 데이터 불러오기
exam.loc[[2, 7, 14], ['math']] = np.nan  # 2, 7, 14행의 math에 NaN 할당  
                                         # df.loc[]는 데이터 위치 지정하는 역할 [ , ]에서 쉼표 왼쪽은 행 위치, 오른쪽은 열 위치를 의미
exam

# math의 평균값 : mean()의 경우 자동으로 결측치 제외하고 평균 구함 (182쪽 참조)
# math의 평균값을 구하라
exam['math'].mean()

55.2

# 결측치를 평균값으로 정한 55로 대체하라
exam['math'] = exam['math'].fillna(55)
exam

[개인 실습] 혼자서 해보기(185쪽)

• 결측치가 들어 있는 mpg 데이터를 이용해 분석 문제를 해결해 보세요

# 일부러 몇 개의 결측치를 입력하기

# mpg 데이터 불러오기
mpg = pd.read_csv('mpg.csv')

# NaN 할당하기
mpg.loc[[64, 123, 130, 152, 211], 'hwy'] = np.nan

mpg

Q1. drv(구동 방식)별로 hwy(고속도로 연비) 평균이 어떻게 다른지 알아보려 합니다. 분석 전에 우선 두 변수에 결측치가 있는지 확인해야 합니다. drv 변수와 hwy 변수에 결측치가 몇 개 있는지 알아보세요

• 힌트 : 결측치 확인하는 df.isna()와 합계를 구하는 sum()를 조합해 보세요

mpg.head()

# drv 변수와 hwy 변수에 있는 결측치 개수를 확인하라
mpg[['drv', 'hwy']].isna().sum()

drv    0
hwy    5
dtype: int64

Q2. df.dropna()를 이용해 hwy변수의 결측치를 제거하고, 어떤 구동방식의 hwy 평균이 높은지 알아보세요. 하나의 pandas 구문으로 만들어야 합니다.

mpg.dropna(subset = ['hwy']) \
   .groupby('drv') \
   .agg(mean_hwy = ('hwy', 'mean'))

07-2. 이상한 데이터를 찾아라! - 이상치 정제하기 (186-195쪽)

• 이상치 : 정상 범위에서 크게 벗어난 값

• 이상치가 들어 있으면 분석 결과가 왜곡되므로 분석에 앞서 이상치를 제거하는 작업을 해야 함

[Do it! 실습] 이상치 제거하기 - 존재할 수 없는 값(186쪽)

• 논리적으로 존재할 수 없는 값이 들어 있을 때가 있다.

  • 예 : 남자는 1, 여자는 2로 되어 있는 성별 변수에 3이라는 값이 들어있는 경우

# 이상치 들어 있는 데이터 생성 (1, 2로 분류되는 'sex' 변수, 1~5점으로 된 score 변수)

df = pd.DataFrame({'sex'   : [1, 2, 1, 3, 2, 1],
                   'score' : [5, 4, 3, 4, 2, 6]})
df

이상치 확인하기

• df.value_counts() 이용해 빈도표를 만들면 됨

# df 중 sex 변수에 들어 있는 값의 빈도표 만들기
df['sex'].value_counts().sort_index()
# df.value_counts()에 sort_index()를 적용하면 빈도 기준으로 내림차순 정렬하지 않고, 변수의 값 순서로 정렬

sex
1    3
2    2
3    1
Name: count, dtype: int64

# df 중 score 변수에 들어 있는 값의 빈도표 만들기
df['score'].value_counts().sort_index()

score
2.0    1
3.0    1
4.0    2
5.0    1
Name: count, dtype: int64

결측 처리하기

• 확인한 이상치를 결측치로 변환

• np.where()를 이용해 이상치에 NaN을 부여

# sex가 3이면 NaN 부여
df['sex'] = np.where(df['sex'] == 3, np.nan, df['sex'])
df

# score가 5보다 크면 NaN 부여
df['score'] = np.where(df['score'] > 5, np.nan, df['score'])
df

# df.dropna() 이용해 결측치 제거한 다음 성별에 따른 score 평균을 구한다.

df.dropna(subset = ['sex', 'score']) \
  .groupby('sex') \
  .agg(score_mean = ('score', 'mean'))

# np.where()는 반환 값 중 문자가 있으면, np.nan을 지정해도 결측치 NaN이 아니라 문자 'nan'을 반환
# 이 경우엔 먼저 np.where() 이용해 결측치로 만들 값에 특정 문자(예: 'etc')를 부여 -> df.replace() 이용해 그 문자를 np.nan으로 변환
# (189쪽 참조)

[Do it! 실습] 이상치 제거하기 - 극단적인 값(190쪽)

• 논리적으로 존재할 수 있지만 극단적으로 크거나 작은 값 = 극단치

  • 예 : 몸무게 변수에 200kg 이상의 값이 있는 경우

• 극단치 제거 위해서는 먼저 어디까지를 정상 범위로 볼 것인가를 정해야 함

  • 논리적 판단에 의한 방법 : 성인 몸무게의 정상 범위를 40~150kg로 설정

  • 통계적 기준 이용 : 상하위 0.3% 또는 +-3 표준편차에 해당하는 값을 극단치로 간주

• 상자 그림으로 극단치 기준 정하기

  • 상자 그림 : 데이터의 분포를 직사각형의 상자 모양으로 표현한 그래프 -> 데이터의 분포를 한눈에 알 수 있음

상자 그림 살펴보기

• mpg 데이터의 hwy 변수로 상자 그림 작성. seaborn 패키지의 boxplot() 이용

import pandas as pd
mpg = pd.read_csv('mpg.csv')

import seaborn as sns
sns.boxplot(data = mpg, y = 'hwy')

<Axes: ylabel='hwy'>

• 상자 그림 : 값을 크기 순으로 나열해 4등분 했을 때 위치하는 값인 ‘사분위수’를 이용해 만듦

• 상자 그림의 요소가 나타내는 값 -> 교재 191쪽

극단치 기준값 구하기

# 1사분위수, 3사분위수 구하기 : df.quantile() 이용, 변수는 각각 pct25, pct75
pct25 = mpg['hwy'].quantile(.25) # 하위 25%에 해당하는 1사분위수
pct25

18.0

pct75 = mpg['hwy'].quantile(.75) # 하위 75%에 해당하는 3사분위수
pct75

27.0

# IQR 구하기 : IQR(inter quartile range, 사분위 범위) <- 1사분위수와 3사분위수 간의 거리
iqr = pct75 - pct25
iqr

9.0

# 하한, 상한 구하기 : 극단치의 경계값 (하한 - 1사분위수보다 'IQR의 1.5배'만큼 더 작은 값, 상한 - 3사분위수보다 더 큰 값)
pct25 - 1.5 * iqr # 하한

4.5

pct75 + 1.5 * iqr # 상한

40.5

# 극단치를 결측 처리하기 : np.where() 이용하라. 
# 여러 조건 입력시 각 조건을 괄호로 감싸도록 주의
import numpy as np
mpg['hwy'] = np.where((mpg['hwy'] < 4.5) | (mpg['hwy'] > 40.5), 
                      np.nan, mpg['hwy'])

# 결측치 빈도 확인
mpg['hwy'].isna().sum()

3

# 해당 값 확인
mpg[mpg['hwy'].isna()]

# 결측치 제거하고 분석하기 : 제거 -> drv(구동방식)에 따라 hwy 평균이 어떻게 다른지 알아보기

mpg.dropna(subset = ['hwy']) \
   .groupby('drv') \
   .agg(mean_hwy = ('hwy', 'mean'))

[개인 실습] 혼자서 해보기(194쪽)

• 이상치가 들어 있는 mpg 데이터를 이용해 분석 문제를 해결해 보세요

# mpg 데이터불러와  일부러 이상치 작성: drv(구동 방식) 변수의 값은 4(사륜구동), f(전륜구동), r(후륜구동) 세 종류. 몇 개의 행에 존재할 수 없는 값 k를 할당
# cty(도시 연비) 변수도 몇 개의 행에 극단적으로 크거나 작은 값을 할당

# mpg 데이터 불러오기
mpg = pd.read_csv('mpg.csv')

# drv 이상치 할당
mpg.loc[[9, 13, 57, 92], 'drv'] = 'k'

# cty 이상치 할당
mpg.loc[[28, 42, 128, 202], 'cty'] = [3, 4, 39, 42]
mpg

# 구동방식(drv)별로 도시 연비가 어떻게 다른지 알아보려 한다. 분석 하기 전에 우선 두 변수에 이상치가 있는지 확인하려 한다.

Q1: drv에 이상치 있는지 확인. 이상치를 결측 처리한 다음 이상치가 사라졌는지 확인. 결측 처리할 때는 df.isin()을 활용하라

# 이상치 확인
mpg['drv'].value_counts().sort_index()

drv
4    100
f    106
k      4
r     24
Name: count, dtype: int64

# 결측치 처리
import numpy as np
mpg['drv'] = np.where(mpg['drv'].isin(['4', 'f', 'r']), mpg['drv'], np.nan)
mpg = mpg.dropna(subset = ['drv'])
mpg

# 이상치 여부 확인
mpg['drv'].value_counts().sort_index()

drv
4    100
f    106
r     24
Name: count, dtype: int64

Q2: 상자 그림 이용해 cty에 이상치 있는지 확인하라.

• 상자 그림 기준으로 정상 범위를 벗어난 값을 결측 처리한 다음 다시 상자 그림을 만들어 이상치가 사라졌는지 확인하라

# 상자 그림을 이용해 cty에 이상치가 있는지 확인하라
import seaborn as sns
sns.boxplot(data = mpg, y = 'cty')

<Axes: ylabel='cty'>

# 상자 그림 기준으로 정상 범위 벗어난 값을 결측 처리하라

pct25 = mpg['cty'].quantile(.25)
pct75 = mpg['cty'].quantile(.75)
iqr = pct75 - pct25
lowest = pct25 - iqr * 1.5
highest = pct75 + iqr * 1.5

print(lowest)
print(highest)

6.5
26.5

mpg = mpg.copy()
mpg['cty'] = np.where((mpg['cty'] < 6.5)|(mpg['cty'] > 26.5), np.nan, mpg['cty'])
mpg

mpg = mpg.dropna(subset = ['cty'])

# 상자 그림에서 이상치가 사라졌는지 확인하라
sns.boxplot(data = mpg, y = 'cty')

<Axes: ylabel='cty'>

# 이상치 제거 후 drv별로 cty 평균이 어떻게 다른지 알아보라. 하나의 pandas 구문으로 만들어라
mpg.dropna(subset = ['drv', 'cty']) \
   .groupby('drv') \
   .agg(mean_cty = ('cty', 'mean'))

08. 그래프 만들기

• 데이터를 그래프로 표현하면 특징을 쉽게 이해할 수 있다.

08-1. 파이썬으로 만들 수 있는 그래프 살펴보기(197-198쪽)

• 그래프 : 데이터를 보기 쉽게 그림으로 표현한 것

• 데이터를 그래프로 표현하면 추세와 경향성이 드러나기 때문에 특징을 쉽게 이해할 수 있고, 그래프를 만드는 과정에서 새로운 패턴을 발견하기도 한다.

• 분석 결과를 발표할 때, 그래프를 활용하면 데이터의 특징을 잘 전달할 수 있다.

• seaborn은 그래프를 만들 때 많이 사용하는 패키지

08-2. 산점도 - 변수 간 관계 표현하기(199-204쪽)

• 산점도(scatter plot) : 데이터를 x축과 y축에 점으로 표현한 그래프

• 나이와 소득처럼 연속값으로 된 두 변수의 관계를 표현할 때 사용

[Do it! 실습] 산점도 만들기(199쪽)

• sns.scatterplot() 이용

• data에 그래프를 그리는 데 사용할 데이터 프레임을 입력,

• x축과 y축에 사용할 변수를 ‘‘를 이용해 문자 형태로 입력

# mpg 데이터 불러옴

import pandas as pd
mpg = pd.read_csv('mpg.csv')
mpg.head()

# x축은 displ, y축은 hwy를 나타낸 산점도 만들기

import seaborn as sns
sns.scatterplot(data = mpg, x = 'displ', y = 'hwy')

<Axes: xlabel='displ', ylabel='hwy'>

축 범위 설정하기

• 필요성 : 데이터 전체가 아니라 일부만 표현하고 싶을 때 사용

• sns.set()의 xlim과 ylim 이용해 설정

# x축 범위를 3-6으로 제한
sns.scatterplot(data = mpg, x = 'displ', y = 'hwy') \
   .set(xlim = [3, 6])

[(3.0, 6.0)]

# 같은 방식으로 ylim을 이용하면 y축 범위를 제한할 수 있다.
sns.scatterplot(data = mpg, x = 'displ', y = 'hwy') \
   .set(xlim = [3, 6], ylim = [10, 30])

[(3.0, 6.0), (10.0, 30.0)]

종류별로 표식 색깔 바꾸기

• hue 이용

# drv(구동 방식)별로 표식 색깔 다르게 표현
sns.scatterplot(data = mpg, x = 'displ', y = 'hwy', hue = 'drv')

<Axes: xlabel='displ', ylabel='hwy'>

# 그래프 활용하기(202쪽)

import pandas as pd

import matplotlib.pyplot as plt
import seaborn as sns

# 그래프 설정 변경 (기본값 : dpi = 72, figsize = [6, 4], size = 10, font = sans-serif)
'''
plt.rcParams.update({'figure.dpi'     : '100',
                     'figure.figsize' : [6, 4],
                     'font.size'      : '10',
                     'font.family'    : 'Malgun Gothic'})
'''

plt.rcParams.update({'font.family'    : 'Malgun Gothic'})

[개인 실습] 혼자서 해보기(204쪽)

• mpg 데이터와 midwest 데이터를 이용해 분석 문제를 해결해 보세요

Q1: mpg 데이터의 cty와 hwy 간 관계 - 산점도

# x축은 cty, y축은 hwy로 된 산점도
mpg = pd.read_csv('mpg.csv')
sns.scatterplot(data = mpg, x = 'cty', y = 'hwy')

<Axes: xlabel='cty', ylabel='hwy'>

Q2: midwest에서 전체 인구와 아시아인 인구 간의 관계 - 산점도

• x축은 poptotal(전체 인구), y축은 popasian(아시아인 인구)

• 단, 전체 인구는 50만 명 이하, 아시아인 인구는 1만 명 이하인 지역만 산점도에 표시되게 설정하라

midwest = pd.read_csv('midwest.csv')
midwest.head(3)

sns.scatterplot(data = midwest, x = 'poptotal', y = 'popasian') \
   .set(xlim = [0, 500000], ylim = [0, 10000])

[(0.0, 500000.0), (0.0, 10000.0)]

08-3. 막대 그래프 - 집단 간 차이 표현하기(205-211쪽)

• 막대그래프(bar chart) : 데이터의 크기를 막대의 길이로 표현한 그래프

• 성별 소득 차이처럼 집단 간 차이를 표현할 때 자주 사용

[Do it! 실습] 평균 막대 그래프 만들기(205쪽)

• 평균 막대 그래프 : 평균값의 크기를 막대 길이로 표현한 그래프

집단별 평균표 만들기

# drv(구동 방식)별 hwy(고속도로 연비) 평균
df_mpg = mpg.groupby('drv') \
            .agg(mean_hwy = ('hwy', 'mean'))
df_mpg

# drv(구동 방식)별 hwy(고속도로 연비) 평균 
# seaborn 그래프 위해서는, 위 결과에서 drv가 인덱스 아닌 변수 값으로 나오게 해야 함
# df.groupby()에 as_index = False 입력하면 됨

df_mpg = mpg.groupby('drv', as_index = False) \
            .agg(mean_hwy = ('hwy', 'mean'))
df_mpg

그래프 만들기

• sns.barplot() 이용

• data에 데이터 프레임을 지정, x축에 범주를 나타낸 변수, y축에 평균값을 나타낸 변수를 지정

# drv별 hwy 평균을 나타낸 막대 그래프

sns.barplot(data = df_mpg, x = 'drv', y = 'mean_hwy');

크기순으로 정렬하기

• 막대 정렬 순서 : 그래프 만드는데 사용한 데이터 프레임의 행 순서에 따름. ex) 4, f, r

• 막대 크기 순서로 정렬 : df.sort_values() 이용

# 데이터 프레임 정렬하기
df_mpg = df_mpg.sort_values('mean_hwy', ascending = False)

# 막대 그래프 만들기
sns.barplot(data = df_mpg, x = 'drv', y = 'mean_hwy');

[Do it! 실습] 빈도 막대 그래프 만들기(208쪽)

• 빈도 막대 그래프 : 값의 빈도(개수)를 막대 길이로 표현한 그래프

• 여러 집단의 빈도를 비교할 때 자주 사용

집단별 빈도표 만들기

• 빈도 막대 그래프에 사용될 데이터 : 집단별 빈도를 담은 데이터 프레임.

• df.agg()에 빈도를 구하는 함수 count()를 적용 -> ‘구동 방식 별 빈도’ 담은 데이터 프레임

# 집단별 빈도표 만들기
df_mpg = mpg.groupby('drv', as_index = False) \
            .agg(n = ('drv', 'count'))
df_mpg

그래프 만들기

• sns.barplot()

sns.barplot(data = df_mpg, x = 'drv', y = 'n');

sns.countplot()으로 빈도 막대 그래프 만들기

• df.groupby()와 df.agg() 이용하는 작업 생략하고,

• sns.countplot()로 곧바로 빈도 막대 그래프 만들 수 있다.

# 빈도 막대 그래프 만들기
sns.countplot(data = mpg, x = 'drv');

막대 정렬하기

• order에 원하는 순서로 값을 입력해서 sns.countplot()으로 만든 그래프의 막대 정렬

# 4, f, r 순으로 막대 정렬
sns.countplot(data = mpg, x = 'drv', order = ['4', 'f', 'r']);

# drv 빈도가 높은 순으로 막대 정렬할 때
## order에 mpg['drv'].value_counts().index 입력 -> 빈도 내림차순 정렬

# drv의 값을 빈도가 높은 값에서 낮은 값으로 내림차순 정렬
mpg['drv'].value_counts().index

Index(['f', '4', 'r'], dtype='object', name='drv')

# drv 빈도를 내림차순으로 막대 정렬
sns.countplot(data = mpg, x = 'drv',
              order = mpg['drv'].value_counts().index);

[개인 실습] 혼자서 해보기(211쪽)

• mpg 데이터를 이용해 분석 문제를 해결해 보세요

Q1: ‘suv’ 차종의 cty 평균이 가장 높은 회사 다섯 곳을 그래프로 표현

• 연비가 높은 순으로 정렬

mpg.head(3)

m_cty = mpg.query('category == "suv"') \
           .groupby('manufacturer', as_index = False) \
           .agg(mean_cty = ('cty', 'mean')) \
           .sort_values(by = 'mean_cty', ascending = False) \
           .head()
m_cty

# 막대그래프
sns.barplot(data = m_cty, x = 'manufacturer', y = 'mean_cty')

<Axes: xlabel='manufacturer', ylabel='mean_cty'>

Q2: 자동차 중에 어떤 category(자동차 종류)가 많은가?

• 막대그래프 이용해 자동차 종류별 빈도 표현하라 (빈도 높은 것부터 정렬)

df = mpg.groupby('category', as_index = False) \
        .agg(freq_cgy = ('category', 'count')) \
        .sort_values(by = 'freq_cgy', ascending = False)
df

sns.barplot(data = df, x = 'category', y = 'freq_cgy')

<Axes: xlabel='category', ylabel='freq_cgy'>

08-4. 선 그래프 - 시간에 따라 달라지는 데이터 표현하기(212-217쪽)

• 선 그래프 : 데이터를 선으로 표현한 그래프. 시간에 따라 달라지는 데이터를 표현할 때 자주 사용.

  • 예) 환율, 주가지수 등 경제지표가 시간에 따라 변하는 양상

  • 시계열 데이터 : 일별 환율처럼, 일정 시간 간격을 두고 나열된 데이터

  • 시계열 그래프 : 시계열 데이터를 선으로 표현한 그래프

[Do it! 실습] 시계열 그래프 만들기(212쪽)

• economics 데이터 : 미국의 여러 경제 지표를 월별로 나타낸 데이터

• economics 데이터 이용해서 시간에 따라 실업자 수가 변하는 시계열 그래프 작성

• economics 데이터 출처 : bit.ly/easypy_85

# economics 데이터 불러오기
import pandas as pd

economics = pd.read_csv('economics.csv')
print(economics.shape)
economics.head()

(574, 6)

# sns.lineplot() 이용하여 x축에는 시간을 나타낸 data, y축에는 실업자 수 나타낸 unemploy를 지정
import seaborn as sns
sns.lineplot(data = economics, x = 'date', y = 'unemploy');

x축에 연도 표시하기

• 먼저 변수 타입을 날짜 시간 타입(datetime64)으로 변경해야 함

• 현재 상태 : date가 문자(object) 타입으로 되어 있다

날짜 시간 타입 변수 만들기

• pd.to_datetime() 이용하면 변수 타입을 날짜 시간 타입으로 변경 가능

# 날짜 시간 타입 변수 만들기
economics['date2'] = pd.to_datetime(economics['date'])

# 변수 타입 확인
economics.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 574 entries, 0 to 573
Data columns (total 7 columns):
 #   Column    Non-Null Count  Dtype         
---  ------    --------------  -----         
 0   date      574 non-null    object        
 1   pce       574 non-null    float64       
 2   pop       574 non-null    float64       
 3   psavert   574 non-null    float64       
 4   uempmed   574 non-null    float64       
 5   unemploy  574 non-null    int64         
 6   date2     574 non-null    datetime64[ns]
dtypes: datetime64[ns](1), float64(4), int64(1), object(1)
memory usage: 31.5+ KB

# 서로 다른 두 타입의 날짜 비교 : 값이 달라지진 않음
economics[['date', 'date2']]

# 변수가 날짜 시간 타입으로 되어 있으면 df.dt를 이용해 연, 월, 일을 추출할 수 있다

# 연 추출
economics['date2'].dt.year

0      1967
1      1967
2      1967
3      1967
4      1967
       ... 
569    2014
570    2015
571    2015
572    2015
573    2015
Name: date2, Length: 574, dtype: int32

# 월 추출
economics['date2'].dt.month

0       7
1       8
2       9
3      10
4      11
       ..
569    12
570     1
571     2
572     3
573     4
Name: date2, Length: 574, dtype: int32

# 일 추출
economics['date2'].dt.day

0      1
1      1
2      1
3      1
4      1
      ..
569    1
570    1
571    1
572    1
573    1
Name: date2, Length: 574, dtype: int32

연도 변수 만들기

# 연도 변수 추가
economics['year'] = economics['date2'].dt.year
economics.head()

x축에 연도 표시하기

# x축에 연도 표시
sns.lineplot(data = economics, x = 'year', y = 'unemploy');

# 신뢰구간을 표시하지 않으려면 ci = None를 입력
sns.lineplot(data = economics, x = 'year', y = 'unemploy', ci = None);

C:\Users\Public\Documents\ESTsoft\CreatorTemp\ipykernel_564812\2298223364.py:2: FutureWarning: 

The `ci` parameter is deprecated. Use `errorbar=None` for the same effect.

  sns.lineplot(data = economics, x = 'year', y = 'unemploy', ci = None);

sns.lineplot(data = economics, x = 'year', y = 'unemploy', errorbar = None);

[개인 실습] 혼자서 해보기(217쪽)

• economics.csv 데이터를 이용해 분석 문제를 해결해 보세요

Q1: psvert(개인 저축률)의 연도별 변화

• psvert가 시간에 따라 어떻게 변화했나. 연도별 개인 저출률 변화를 나타내는 시계열 그래프를 그려라

# 데이터 첫 부분 3행 파악
economics.head(3)

# 선 그래프 그리기
sns.lineplot(data = economics, x = 'year', y = 'psavert', errorbar = None);

Q2: psavert의 2014년 월별 변화 그래프

# 변수 타입 확인
economics.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 574 entries, 0 to 573
Data columns (total 8 columns):
 #   Column    Non-Null Count  Dtype         
---  ------    --------------  -----         
 0   date      574 non-null    object        
 1   pce       574 non-null    float64       
 2   pop       574 non-null    float64       
 3   psavert   574 non-null    float64       
 4   uempmed   574 non-null    float64       
 5   unemploy  574 non-null    int64         
 6   date2     574 non-null    datetime64[ns]
 7   year      574 non-null    int32         
dtypes: datetime64[ns](1), float64(4), int32(1), int64(1), object(1)
memory usage: 33.8+ KB

# 월 정보를 산출하여 파생변수 df_2014에 저장하라
df_2014 = economics.assign(month = lambda x: x['date2'].dt.month) \
                   .query('year == 2014')
df_2014

# 2014년 월별 변화 그래프를 그려라
sns.lineplot(data = df_2014, x = 'month', y = 'psavert', errorbar = None);

08-5. 상자 그림 - 집단 간 분포 차이 표현하기(218-220쪽)

• 상자 그림(box plot): 데이터의 분포 또는 퍼져 있는 형태를 직사각형 상자 모양으로 표현한 그래프.

• 평균값을 볼 때보다 데이터의 특징을 더 자세히 이해할 수 있다.

[Do it! 실습] 상자 그림 만들기(218쪽)

# mpg로 구동 방식별 고속도로 연비를 상자 그림으로 표현: 값 "자체" > 값의 개수
mpg = pd. read_csv('mpg.csv')
sns.boxplot(data = mpg, x = 'drv', y = 'hwy');

# 상자 그림 이해하기

# f 방식 자동차의 hwy 연비"값" 분포도
mpg.query('drv == "f"') \
   .groupby('hwy') \
   .agg(n = ('hwy', 'count')) \
   .sort_index(ascending = False)

# 정상 범위 벗어난 값

mpg_1 = mpg[['drv', 'hwy']] \
        .query('drv == "f"')
pct25 = mpg_1['hwy'].quantile(.25)
pct75 = mpg_1['hwy'].quantile(.75)
iqr = pct75 - pct25
lowest = pct25 - iqr * 1.5  # 하한
highest = pct75 + iqr * 1.5 # 상한
print(lowest)
print(highest)

21.5
33.5

[개인 실습] 혼자서 해보기(220쪽)

• mpg 데이터를 이용해 분석 문제를 해결해 보세요

Q1: 자동차 종류별 도시 연비 비교

• category(자동차 종류)가 compact, subcompact, suv인 자동차의 cty(도시 연비)가 어떻게 다른지 비교해 보려 한다. 세 차종의 cty를 나타낸 상자 그림을 만들어라

# 세 차종만으로 된 데이터 프레임을 변수 result에 저장하라
result = mpg.query('category.isin(["compact", "subcompact", "suv"])')
result

# 위 세 자동차의 도시 연비를 상자 그림으로 나타내어라
sns.boxplot(data = result, x = 'category', y = 'cty');

The End of Notebook

1. 전체: 데이터 및 실행 코드

[과제]

다음 데이터는 실습을 위해 임의로 A고등학교 학생들의 2023년 모의고사 성적을 상정한 것이다. 과목은 영어, 수학, 역사이다. 2023년 1학기의 세 과목 총점 평균 1~3위의 학생 이름과 총점을 출력하라

import pandas as pd
import numpy as np

# 지정된 데이터셋 생성
df = pd.DataFrame({
    'student': ['철수', '영희', '철수', '영희', '철수', '영희', np.nan, '민수', '민수', '민수', '민지', '민지', '준호', '준호', '민지', '민수', '영희'],
    'english': [82.0, 90.0, 78.0, 92.0, 85.0, np.nan, 85.0, 88.0, 79.0, 81.0, np.nan, 91.0, 75.0, 90.0, 100.0, 99.0, 80.0],
    'math': [90.0, np.nan, 88.0, 92.0, np.nan, np.nan, 84.0, 82.0, 80.0, 78.0, 77.0, 79.0, 83.0, 85.0, 95.0, 95.0, 70.0],
    'history': [80.0, 85.0, 87.0, 89.0, 91.0, 93.0, 76.0, 78.0, 80.0, np.nan, 75.0, 77.0, 72.0, 74.0, 60.0, 90.0, 100.0],
    'term': ['2023-1', '2023-1', '2023-1', '2023-1', '2023-2', '2023-2', '2023-1', '2023-1', '2023-2', '2023-2', '2023-1', '2023-1', '2023-1', '2023-1', '2023-1', '2023-1', '2023-1']
})


# 판다스 메서드 체인을 사용한 데이터 처리
result = df.dropna(subset=['student', 'english', 'math', 'history']) \
           .query("term == '2023-1'") \
           .assign(total_score = lambda x: x['english'] + x['math'] + x['history']) \
           .groupby('student') \
           .agg(mean_score = ('total_score', 'mean')) \
           .sort_values(by='mean_score', ascending=False) \
           .head(3)
         
result

2. 메서드체이닝 실습 데이터

# 지정된 데이터셋 생성
df = pd.DataFrame({
    'student': ['철수', '영희', '철수', '영희', '철수', '영희', np.nan, '민수', '민수', '민수', '민지', '민지', '준호', '준호', '민지', '민수', '영희'],
    'english': [82.0, 90.0, 78.0, 92.0, 85.0, np.nan, 85.0, 88.0, 79.0, 81.0, np.nan, 91.0, 75.0, 90.0, 100.0, 99.0, 80.0],
    'math': [90.0, np.nan, 88.0, 92.0, np.nan, np.nan, 84.0, 82.0, 80.0, 78.0, 77.0, 79.0, 83.0, 85.0, 95.0, 95.0, 70.0],
    'history': [80.0, 85.0, 87.0, 89.0, 91.0, 93.0, 76.0, 78.0, 80.0, np.nan, 75.0, 77.0, 72.0, 74.0, 60.0, 90.0, 100.0],
    'term': ['2023-1', '2023-1', '2023-1', '2023-1', '2023-2', '2023-2', '2023-1', '2023-1', '2023-2', '2023-2', '2023-1', '2023-1', '2023-1', '2023-1', '2023-1', '2023-1', '2023-1']
})
df

3. 메서드 체이닝 코드

# 판다스 메서드 체인을 사용한 데이터 처리
result = df.dropna(subset=['student', 'english', 'math', 'history']) \
           .query("term == '2023-1'") \
           .assign(total_score = lambda x: x['english'] + x['math'] + x['history']) \
           .groupby('student') \
           .agg(mean_score = ('total_score', 'mean')) \
           .sort_values(by='mean_score', ascending=False) \
           .head(3)
         
result

4. 코드 세부 검토

4.1. 결측치 제거

result = df.dropna(subset=['student', 'english', 'math', 'history'])
result

4.2. 2023-1 추출

result = df.dropna(subset=['student', 'english', 'math', 'history']) \
           .query("term == '2023-1'")
result

4.3. 파생변수로 성적 합계(= 총점) 변수를 추가

result = df.dropna(subset=['student', 'english', 'math', 'history']) \
           .query("term == '2023-1'") \
           .assign(total_score = lambda x: x['english'] + x['math'] + x['history'])
result

4.4. 학생별 그룹화

result = df.dropna(subset=['student', 'english', 'math', 'history']) \
           .query("term == '2023-1'") \
           .assign(total_score = lambda x: x['english'] + x['math'] + x['history']) \
           .groupby('student')
result.groups

{'민수': [7, 15], '민지': [11, 14], '영희': [3, 16], '준호': [12, 13], '철수': [0, 2]}

4.5. 학생별 총점 평균

result = df.dropna(subset=['student', 'english', 'math', 'history']) \
           .query("term == '2023-1'") \
           .assign(total_score = lambda x: x['english'] + x['math'] + x['history']) \
           .groupby('student') \
           .agg(mean_score = ('total_score', 'mean'))
result

4.6. 총점 평균을 정렬

result = df.dropna(subset=['student', 'english', 'math', 'history']) \
           .query("term == '2023-1'") \
           .assign(total_score = lambda x: x['english'] + x['math'] + x['history']) \
           .groupby('student') \
           .agg(mean_score = ('total_score', 'mean')) \
           .sort_values(by='mean_score', ascending=False)
result

4.7. 상위점수 학생 3명 출력

result = df.dropna(subset=['student', 'english', 'math', 'history']) \
           .query("term == '2023-1'") \
           .assign(total_score = lambda x: x['english'] + x['math'] + x['history']) \
           .groupby('student') \
           .agg(mean_score = ('total_score', 'mean')) \
           .sort_values(by='mean_score', ascending=False) \
           .head(3)
         
result

• 이곳 4강에서는 3강의 ‘데이터 가공’을 실전에서 활용하기 전에 익혀야 하는 두 가지 과정, 즉 데이터 정제와 그래프 시각화를 다룬다.
• 데이터 정제에는 빠진 데이터를 대상으로 하는 결측치 정제와, 이상한 데이터를 대상으로 하는 이상치 정제가 있다. 이상치에는 극단치도 포함되는데, 여기서는 ‘그래프 시각화’에도 나오는 상자 그림으로 극단치를 파악하는 방법을 알아 본다.
• 그래프 시각화는 데이터를 그림으로 표현하는 작업으로, 이를 통해 데이터의 특징을 쉽게 이해할 수 있다. 대표적인 그래프로는 산점도, 막대 그래프, 선 그래프, 상자 그림 등이 있다. seaborn 패키지로 그래프를 그리는 데 필요한 명령어는 각 그래프별로 대체로 비슷하다. 중요한 것은 첫째, 각 그래프는 무엇을 표시할 때 유용한가를 파악하는 일이며, 둘째, 해당 함수의 파라미터에 넣은 데이터가 원자료 형태인지 요약 형태인지를 구분하는 일이다.
• 실습 코드
  • 2023win_python_lec_04_basic.ipynb
  • 2023win_python_lec_04_full.ipynb
• 실습 데이터
  • economic.csv

2. 데이터 정제

2.1. 결측치 정제하기

• 결측치 : 누락된 값, 비어 있는 값
• 결측치 있는 경우, 함수가 적용되지 않거나, 분석 결과가 왜곡되는 문제가 발생한다.
• 실제 데이터 분석시, 결측치 여부 확인해서 제거하는 정제 과정을 거친 다음에 분석해야 함

2.1.1. 결측치 만들기

• Numpy 패키지의 np.nan을 입력 → NaN으로 표시

2.1.2. 결측치 확인하기

• pd.isna()를 이용하면 결측치 포함 여부를 알 수 있다.
• pd.isna().sum()으로 결측치 총 개수를 알 수 있다.

pd.isna(df)
df.isna() # 이것도 바로 위 코드와 동일한 결과 산출

pd.isna(df).sum() 
df.isna().sum() # 이것도 바로 위 코드와 동일한 결과 산출

# 특정 열의 결측치 개수 파악할 경우
mpg[['drv', 'hwy']].isna().sum() # mpg[['drv', 'hwy']] 이것이 df에 해당한다고 생각하면 됨. 

2.1.3. 결측치 제거하기

• df.dropna() 이용하면 결측치가 있는 “행”을 제거할 수 있다.
• 이 때 subset=[]의 대괄호 속에 결측치가 위치한 변수명을 입력한다.

df_nomiss = df.dropna(subset = ['score']) # 변수가 하나일 때 subset = 'score' 도 동일한 결과 나옴
df_nomiss = df.dropna(subset = ['score', 'sex']) # 변수가 여러 개일 때

2.2. 이상치 정제하기

• 이상치 : 정상 범위에서 크게 벗어난 값
• 이상치가 들어 있으면 분석 결과가 왜곡되므로 분석에 앞서 제거해야 함

2.2.1. 이상치 확인하기

• df.value_counts() 이용해 빈도표를 만들면 됨

df['sex'].value_counts().sort_index()
# df.value_counts()에 sort_index()를 적용하면 빈도 기준으로 내림차순 정렬하지 않고, 변수의 값 순서로 정렬

2.2.2. 이상치를 결측 처리하기

• 확인한 이상치를 결측치로 변환
• np.where()를 이용해 이상치에 NaN을 부여

# sex가 3일때, score가 5초과일 때 NaN 부여
import numpy as np
df = df.assign(sex = lambda x: np.where(x['sex'] == 3, np.nan, x['sex']), 
             score = lambda x: np.where(x['score'] > 5, np.nan, x['score']))
df

2.3. 상자 그림으로 극단치 제거하기

• 극단치: 논리적으로 존재할 수 있지만 극단적으로 크거나 작은 값
  • 예) 몸무게 변수에 200kg 이상의 값이 있는 경우
• 극단치 제거 위해서는 먼저 어디까지를 정상 범위로 볼 것인가를 정해야 함
  • 논리적 판단에 의한 방법 : 성인 몸무게의 정상 범위를 40~150kg로 설정
  • 통계적 기준 이용 : 상하위 0.3% 또는 +-3 표준편차에 해당하는 값을 극단치로 간주
• 상자 그림으로 극단치 기준 정하기
  • 상자 그림 : 데이터의 분포를 직사각형의 상자 모양으로 표현한 그래프 -> 데이터의 분포를 한눈에 알 수 있음

2.3.1. 상자 그림 이해

• 상자 그림: 값을 크기 순으로 나열해 4등분 했을 때 위치하는 값인 ‘사분위수’를 이용해 만듦
• 상자 그림의 요소가 나타내는 값 → 교재 191쪽
• quantile, quartile, percentile 개념 정리 [중앙값(Median)과 상자그림(Box Plot) / 00:10:44](통계의 재발견, 2020-02-10)

2.3.2. 극단치 기준값 구하기

# 1사분위수, 3사분위수 구하기 : df.quantile() 이용
pct25 = mpg['hwy'].quantile(.25) # 하위 25%에 해당하는 1사분위수
pct75 = mpg['hwy'].quantile(.75) # 하위 75%에 해당하는 3사분위수

# IQR 구하기: IQR(inter quartile range, 사분위 범위) <- 1사분위수와 3사분위수 간의 거리
iqr = pct75 - pct25
iqr

# 하한, 상한 구하기: 극단치의 경계값 (하한 - 1사분위수보다 'IQR의 1.5배'만큼 더 작은 값, 상한 - 3사분위수보다 더 큰 값)
print(pct25 - 1.5 * iqr) # 하한
print(pct75 + 1.5 * iqr) # 상한

4.5
40.5

2.3.3. 극단치 제거

# 극단치를 결측 처리하기 : np.where() 이용. 여러 조건 입력시 각 조건을 괄호로 감싸도록 주의
import numpy as np

# 변수를 특정해서(mpg['hwy']) 결측값으로 전환하는 방법
## df['var']를 대상으로 해서 조건문 변환 결과를 이곳에 반영하는 방식 
mpg['hwy'] = np.where((mpg['hwy'] < 4.5) | (mpg['hwy'] > 40.5), np.nan, mpg['hwy'])

# df 단위로 assign, lambda를 활용해서 결측값으로 전환하는 방법: 
## df라는 데이터프레임을 대상으로, 그 속의 특정 var을 바꾸고 변환 결과를 df차원에 반영하는 방식 (여기에 lambda x: 방식도 추가)
### or 조건문은 다음과 같은 구조 속에 넣는다. np.where(()|(), , )
mpg = mpg.assign(hwy = lambda x: np.where((x['hwy'] < 4.5)|(x['hwy'] > 40.5), np.nan, x['hwy']))

# 결측치 빈도 확인
mpg['hwy'].isna().sum() # isna()는 그 앞에 df뿐 아니라 df['var']도 올 수 있다.

# 결측치 제거하고 분석하기 : 제거 -> drv(구동방식)에 따라 hwy 평균이 어떻게 다른지 알아보기
mpg.dropna(subset = ['hwy']) \
   .groupby('drv') \
   .agg(mean_hwy = ('hwy', 'mean'))

3. 그래프 시각화

• 그래프 : 데이터를 보기 쉽게 그림으로 표현한 것
• 데이터를 그래프로 표현하면 추세와 경향성이 드러나기 때문에 특징을 쉽게 이해할 수 있고, 그래프를 만드는 과정에서 새로운 패턴을 발견하기도 한다.
• 분석 결과를 발표할 때, 그래프를 활용하면 데이터의 특징을 잘 전달할 수 있다.
• seaborn은 그래프를 만들 때 많이 사용하는 패키지

3.1. 산점도 - 변수 간 관계 표현하기

• 산점도(scatter plot) : 데이터를 x축과 y축에 점으로 표현한 그래프
• 나이와 소득처럼 연속값으로 된 두 변수의 관계를 표현할 때 사용
• sns.scatterplot() 이용
• data에 그래프를 그리는 데 사용할 데이터 프레임을 입력,
• x축과 y축에 사용할 변수를 따옴표(‘ ‘)를 이용해 문자 형태로 입력

# x축은 displ, y축은 hwy를 나타낸 산점도 만들기
import seaborn as sns
sns.scatterplot(data = mpg, x = 'displ', y = 'hwy')

• 종류별로 표식 색깔 바꾸기: hue 이용

# drv(구동 방식)별로 표식 색깔 다르게 표현
sns.scatterplot(data = mpg, x = 'displ', y = 'hwy', hue = 'drv')

3.2. 막대 그래프 - 집단 간 차이 표현하기

• 막대그래프(bar chart) : 데이터의 크기를 막대의 길이로 표현한 그래프
• 성별 소득 차이처럼 집단 간 차이를 표현할 때 자주 사용
• 평균 막대 그래프 : 평균값의 크기를 막대 길이로 표현한 그래프
• seaborn 그래프를 그리기 위해서는, drv별 그룹화 결과가 인덱스 아닌 변수 값으로 나오게 해야 함: 다음과 같이 df.groupby()에 as_index = False 입력하면 됨

# drv(구동 방식)별 hwy(고속도로 연비) 평균 
df_mpg = mpg.groupby('drv', as_index = False) \
            .agg(mean_hwy = ('hwy', 'mean'))

3.2.1. 빈도 막대 그래프 만들기 1)

• sns.barplot() 이용
• data에 데이터 프레임을 지정, x축에 범주를 나타낸 변수, y축에 평균값을 나타낸 변수를 지정

# drv별 hwy 평균을 나타낸 막대 그래프
sns.barplot(data = df_mpg, x = 'drv', y = 'mean_hwy');

3.2.2. 빈도 막대 그래프 만들기 2)

• sns.countplot() 이용하면, df.groupby()와 df.agg() 이용하는 작업을 생략하고 곧바로 빈도 막대 그래프 만들 수 있다.

# 빈도 막대 그래프 만들기
sns.countplot(data = mpg, x = 'drv');

3.3. 선 그래프 - 시간에 따라 달라지는 데이터 표현하기

• 선 그래프 : 데이터를 선으로 표현한 그래프. 시간에 따라 달라지는 데이터를 표현할 때 자주 사용. 예) 환율, 주가지수 등 경제지표가 시간에 따라 변하는 양상
• 시계열 데이터 : 일별 환율처럼, 일정 시간 간격을 두고 나열된 데이터
• 시계열 그래프 : 시계열 데이터를 선으로 표현한 그래프

3.3.1. 연도 변수 생성

• 먼저 변수 타입을 날짜 시간 타입(datetime64)으로 변경해야 함
• pd.to_datetime() 이용하면 변수 타입을 날짜 시간 타입으로 변경 가능

# 날짜 시간 타입 변수 만들기
economics['date2'] = pd.to_datetime(economics['date'])

• 변수가 날짜 시간 타입이면 df.dt를 이용해 연, 월, 일을 추출 가능

economics['date2'].dt.year   # 연 추출
economics['date2'].dt.month  # 월 추출
economics['date2'].dt.day    # 일 추출

• 연도 변수 추가

economics['year'] = economics['date2'].dt.year
economics.head()

3.3.2. x축에 연도 표시하기

sns.lineplot(data = economics, x = 'year', y = 'unemploy', errorbar = None);

4. 상자 그림 - 집단 간 분포 차이 표현하기

• 상자 그림(box plot): 데이터의 분포 또는 퍼져 있는 형태를 직사각형 상자 모양으로 표현한 그래프.
• 평균값을 볼 때보다 데이터의 특징을 더 자세히 이해할 수 있다.

4.1. 상자 그림 만들기

# mpg로 구동 방식별 고속도로 연비를 상자 그림으로 표현: 값 "자체" > 값 개수
mpg = pd. read_csv('mpg.csv')
sns.boxplot(data = mpg, x = 'drv', y = 'hwy');

4.2. 상자 그림 이해 위한 작업

• 목표: 구동 방식별 고속도로 연비 구하기

4.2.1. 먼저 ‘구동 방식’ 값의 종류 파악

mpg.groupby('drv') \
   .agg(n = ('hwy', 'count')) \
   .sort_values(by = 'n', ascending = False)

4.2.2. 이상치 있는 ‘f’ 구동 방식의 분포 파악

# f 방식 자동차의 hwy 연비"값" 분포도
mpg.query('drv == "f"') \
   .groupby('hwy') \
   .agg(n = ('hwy', 'count')) \
   .sort_index(ascending = False)

4.2.3. 극단치 값 계산

# 정상 범위 벗어난 값
pct25 = mpg_f['hwy'].quantile(.25)
pct75 = mpg_f['hwy'].quantile(.75)

iqr = pct75 - pct25

lowest = pct25 - iqr * 1.5  # 하한
highest = pct75 + iqr * 1.5 # 상한

print(lowest)
print(highest)

21.5
33.5

4.2.4. 극단치 추출: 각 극단치의 개수 합계가 아니라 극단치 값 종류의 개수가 중요

mpg_f.query('hwy > 33.5 | hwy < 21.5') \
     .groupby('hwy') \
     .agg(n = ('hwy', 'count')) \
     .sort_index(ascending = False)