ML의 간단한 종류 정리

본 포스팅은 유튜브 이수안컴퓨터연구소의 강의를 정리하여 만들었습니다.

https://www.youtube.com/watch?v=fVUinLbWBeQ&list=PL7ZVZgsnLwEF6iyCXbinHLm9nhokrPjdy&index=11

1. 회귀 알고리즘(Regression Algorithms)

Wikipedia

• 모델에 의한 예측을 위해 오차 측정을 사용하여 반복적으로 구체화된 변수 간의 관계를 모델링
• 통계의 핵심이며 통계 기반 기계학습에서 채택
• 알고리즘
  • Ordinary Least Squared Regression(OLSR)
  • Linear Regression
  • Logistic Regression
  • Stepwise Regression
  • Multivariate Adaptive Regression Splines(MARS)
  • Locally Estimated Scatterplot Smoothing(LOESS)

2. 인스턴스 기반 알고리즘(Instance-based Algorithms)

Wikipedia

• 모델에 중요하거나 필요하다고 여기는 학습 데이터의 인스턴스 또는 예제에 대한 의사결정
• 예측을 위해 유사성 측정 등을 사용해 비교
• 알고리즘
  • k-Nearest Neighbor(KNN)
  • Learning Vector Quantization(LVQ)
  • Self-Organizing Map (SOM)
  • Locally Weighted Learning (LWL)
  • Support Vector Machines(SVM)

3. 정규화 알고리즘 (Regularization Algorithms)

• 복잡성에 따라 모델에 불이익을 주는 방법으로 일반화
• 일반적으로 회귀 방법 등에 확장되어 사용
• 알고리즘
  • Ridge Regression
  • Least Absolute Shrinkage and Selection Operator(LASSO)
  • Elastic Net
  • Least-Angle Regression(LARS)

3. 의사 결정 트리 알고리즘(Decision Tree Algorithms)

Wikipedia

• 데이터 속성의 실제 값을 기반으로 의사 결정 모델 구성
• 주어진 레코드에 대한 예측을 트리 구조에서 결정
• 분류 및 회귀 문제에 대한 데이터를 학습
• 알고리즘
  • Classification and Regression Tree(CART)
  • Iterative Dichotomies3(ID3)
  • C4.5 and C5.0 (different versions of a powerful approach)
  • Chi-squared Automatic Interaction Detection (CHAID)
  • Decision Stump
  • M5
  • Conditional Decision Trees

4. 베이지안 알고리즘(Bayesian Algorithms)

• 베이지안 확률 기반으로 불확실성에 대해 새로운 사건을 추정
• 분류 및 회귀와 같은 문제에 자주 사용
• 알고리즘
  • Naive Bayes
  • Gaussian Naive Bayes
  • Multinomial Naive Bayes
  • Averaged One-Dependence Estimators(AODE)
  • Bayesian Belief Netword (BBN)
  • Bayesian Netword(BN)

5. 클러스터링 알고리즘(Clustering Algorithms)

• Centroid 기반 및 계층 기반의 모델 방법으로 구성
• 데이터를 최대 공통 그룹으로 잘 구성되도록 동작
• 알고리즘
  • k-Means
  • k-Medians
  • Expectation Maximization(EM)
  • Hierarchical Clustering

6. 연관 규칙 알고리즘(Association Rule Learning Algorithms)

• 변수 간 관찰된 관계를 가장 잘 설명하는 규칙을 추출
• 어떤 항목이 어떤 항목을 동반하여 등장하는 지를 파악
• 중요하고 유용한 연관성을 발견
• 알고리즘
  • Apriori algorithm
  • Eclat algorithm

7. 신경망 알고리즘(Artificial Neural Netword Algorithms)

• 생물학적 신경망의 구조 또는 기능에서 영감을 받은 모델
• 회귀와 분류 문제에 일반적으로 사용되는 패턴 매칭의 한 종류
• 실제로는 모든 유형의 문제에 대한 다양한 알고리즘과 변화로 구성된 영역
• 알고리즘
  • Perceptron
  • Multilayer Perceptrons(MLP)
  • Back-Propagation
  • Stochastic Gradient Descent
  • Hopfield Network
  • Radial Basis Function Network(RBFN)

8. 딥러닝 알고리즘(Deep Learning Algorithms)

• 인공신경망의 발전된 형태로 값싼 대규모 연산을 이용하는 방법
• 훨씬 크고 더 복잡한 신경망 구조를 가지고 이미지, 텍스트, 오디오, 비디오와 같은 매우 큰 데이터와 관련
• 알고리즘
  • Convolutional Neural Network(CNN)
  • Recurrent Neural Networks(RNN)
  • Long Short-Term Memory Networks(LSTM)
  • Stacked Auto-Encoders
  • Deep Boltzmann Machine(DBM)
  • Deep Belief Networks(DBN)

9. 차원 감소 알고리즘(Dimensional Reduction Algorithms)

• 데이터의 고유한 구조를 이용하여 데이터를 요약하거나 기술하는 방법
• 고차원의 데이터를 중요한 요소를 포함한 저차원으로 변환
• 알고리즘
  • Principal Component Analysis(PCA)
  • Principal Component Regression(PCR)
  • Partial Least Squares Regression(PLSR)
  • Multidimensional Scaling(MDS)
  • Linear Discriminant Analysis(LDA)
  • Mixture Discriminant Analysis(MDA)
  • Quadratic Discriminant Analysis(QDA)
  • Flexible Discriminant Analysis(FDA)

10. 앙상블 알고리즘(Ensemble Algorithms)

• 독립적으로 훈련되고 전체적인 예측을 위해 어떤 식으로든 예측이 결합되는 복수의 약한 모델로 구성된 모델
• 어떤 유형의 약한 학습 모델을 결합시키고 어떤 방식으로 결합할지가 중요
• 매우 강력하고 인기있는 기술
• 알고리즘
  • Bootstrapped Aggregation(Bagging)
  • AdaBoost
  • Weighted Average(Blending)
  • Stacked Generalization(Stacking)
  • Gradient Boosting Machines(GBM)
  • Gradient Boosted Regression Trees(GBRT)
  • Random Forest