통계와 머신러닝

Contents

1 개념

2 자료 수집과 준비(Data Collection & Preparation)

3 기술통계(Descriptive Statistics)

4 탐색적 데이터 분석(Exploratory Data Analysis)

5 추정(Estimation)

6 가설 검정(Hypothesis Testing)

7 회귀(Regression)

8 분류(Classification)

9 군집(Clustering)

10 시각화

11 서비스

12 참고자료

작성중...
Python으로 해보려고는 하고 있는데.. 아직까지 R이 훨씬 편한다.. 아.. 하기 싫다..

다음 그림은 개략적인 데이터 분석의 흐름을 보여준다. 통계와 머신 러닝의 경계가 모호하고 분명히 교집합[1]이 있지만,

• 통계(Statistics): 추정(Estimation), 가설 검증(Hypothesis Testing)
  
• 머신 러닝(Machine Learning): 분류(Classification), 군집(Clustering), 회귀(Regression)
  

과 같이 분류하면 조금은 편할 것 같다.

import pandas as pd
import numpy as np

[edit]

1 개념 #

• 베이지안 세계관
  
  

[edit]

2 자료 수집과 준비(Data Collection & Preparation) #

데이터 읽기[2]

• DB에서 데이터 읽기
  
• File에서 데이터 읽기
  
• 문자열로 DataFrame 만들기
  
• JSON 파싱하기
  
• Hive에서 데이터 읽기
  
  

데이터 준비[3]

• DataFrame을 SQL로 다루기[4]
  
• DataFrame - iris
  
• DataFrame - 훈련 세트와 테스트 세트로 나누기
  
• Hash Table 흉내내기
  
• 한글 자연어 처리를 할 때 필수 모듈 - KoNLPy 소개
  
  

[edit]

3 기술통계(Descriptive Statistics) #

아.. python으로 해야 하나? 난 SQL과 Excel이 훨씬 편하단 말이야..

목적

• 데이터의 이해를 위해 시각화하고 요약
  
• 데이터의 특성 및 분포 파악
  
  

데이터 살펴보기

• Python - Scatter Plot
  
• Python - Histogram
  
• Python - Arrow
  

[edit]

4 탐색적 데이터 분석(Exploratory Data Analysis) #

[edit]

5 추정(Estimation) #

• 베이지안 - 동전 던지기
  

[edit]

6 가설 검정(Hypothesis Testing) #

• Python - t-test
  
• Python - 비율 검정
  

[edit]

7 회귀(Regression) #

• Python - Linear Regression
  
• Python - Non-Linear Regression
  

[edit]

8 분류(Classification) #

분류기

• Python - kNN k-Nearest Neighbors
  
• Python - Logistic Classification
  
• Python - Support Vector Machine
  
• Python - Neural network
  
• Python - Extremely Randomized Trees
  
  

성능평가

• Python - Confusion Matrix
  

[edit]

9 군집(Clustering) #

• DBSCAN
  
• Word2Vec
  

[edit]

10 시각화 #

• https://matplotlib.org/api/_as_gen/matplotlib.pyplot.plot.html
  
  

[edit]

11 서비스 #

• 모델 저장 및 불러오기
  
  

[edit]

12 참고자료 #

• Python-Tip
  
• 수학 기호와 의미
  
• Python Flask 로 간단한 REST API 작성하기
  
• Pyspark Start
  
• Big Data: On RDDs, Dataframes,Hive QL with Pyspark and SparkR-Part 3
  
• 병렬처리 예제
  
• Novelty and Outlier Detection
  
• 파이썬 Numpy 선형대수 이해하기
  
• JDBC 사용 예제
  
• SciPy Cookbook
  
• 파이썬 라이브러리를 활용한 머신러닝/안드레아스 뮐러 , 세라 가이도 지음/한빛미디어/9788968483394(8968483396)
  
• 파이썬 라이브러리를 활용한 데이터 분석/웨스 캑키니 지음/한빛미디어/9788968480478(8968480478)
  
• Think Stats/앨런 B. 다우니 지음/한빛미디어/9788968486340
  
• 그외의 기타 검색..
  
• 기계학습개론 (출처)
  
• Python Tip & Tech
  
• 모든 파이썬 프로그래머를 위한 20가지 실용적인 파이썬 라이브러리
  

---

CategoryMachineLearning

---

저도 파이선을 배워볼려고 내가 알고 있는 기술통계부터 시작하려다가 턱 막혀 버렸네요. R에선 한줄이면 되는 것이 파이선에서는...ㅠㅠ
결국 데이터 전처리나 기술통계, 일반 통계 등은 R을 사용하고 머신러닝이나 딥러닝 고급은 파이선을 사용하는 것이 맞지 않을까 싶은 생각이 듭니다. 요즘... -- 김종헌 2021-07-23 21:41:47