Just Do IT

들어가며 딥러닝을 공부하며 Optimizer에 대해 알아갈 때 쯤 위에 보이는 그림을 보게됩니다. 저 또한 SGD를 배우기 시작하며 위 그림을 봤고, Adam을 이용하면서 한번 더 보게 됐던 것 같습니다. 당시에는 Optimizer를 제외 하고도 배울게 너무 많았기 때문에 SGD와 Adam 사이의 여러 방법론들은 무시한 채 넘어갔었는데 이번 기회에 전체적인 흐름을 공부하면서 최근에 많이 쓰이는 AdamW까지 정리해보려고 합니다. 본 포스팅은 AdamW까지 가는 흐름을 설명하기 위해 작성하기 때문에 AdaDelta와 Nadam은 포스팅에서 제외하도록 하겠습니다. Normal equation Normal equation이란 regression을 진행할 때 오차를 최소화하는 파라미터 $\theta$를 찾아내는..

본 포스팅은 유튜브 이수안컴퓨터연구소의 강의를 정리하여 만들었습니다. https://www.youtube.com/watch?v=fVUinLbWBeQ&list=PL7ZVZgsnLwEF6iyCXbinHLm9nhokrPjdy&index=11 과소적합, 일반화, 과대적합 일반화(Generalization) 일반적으로 지도 학습 모델은 train data로 훈련 시킨 뒤 test data에서도 예측이 정확하기를 기대한다. 훈련된 모델이 처음보는 데이터에 대해 정확하게 예측한다면 이 상태를 모델이 일반화 되었다고 한다. 모델이 항상 일반화 되는 것은 아니다 과대적합(Overfitting) 주어진 훈련 데이터에 비해 복잡한 모델을 사용하면, 모델은 train data에서만 정확한 성능을 내고, test data에서는..

본 포스팅은 유튜브 이수안컴퓨터연구소의 강의를 정리하여 만들었습니다. https://www.youtube.com/watch?v=fVUinLbWBeQ&list=PL7ZVZgsnLwEF6iyCXbinHLm9nhokrPjdy&index=11 1. Confusion Matrix 이진분류기(binary classifier)란 두개의 분류만을 갖는 데이터에 대한 분류기를 말한다. True Positive(TP): 실제 True인 답을 True라고 예측 False Positive(FP): 실제 False인 답을 True라고 예측 True Negative(TN): 실제 False인 답을 False라고 예측 False Negative(FN): 실제 True인 답을 False라고 예측 2. 민감도(Sensitivity),..

본 포스팅은 유튜브 이수안컴퓨터연구소의 강의를 정리하여 만들었습니다. https://www.youtube.com/watch?v=fVUinLbWBeQ&list=PL7ZVZgsnLwEF6iyCXbinHLm9nhokrPjdy&index=11 1. 회귀 알고리즘(Regression Algorithms) 모델에 의한 예측을 위해 오차 측정을 사용하여 반복적으로 구체화된 변수 간의 관계를 모델링 통계의 핵심이며 통계 기반 기계학습에서 채택 알고리즘 Ordinary Least Squared Regression(OLSR) Linear Regression Logistic Regression Stepwise Regression Multivariate Adaptive Regression Splines(MARS) Locall..

본 포스팅은 유튜브 이수안컴퓨터연구소의 강의를 정리하여 만들었습니다. https://www.youtube.com/watch?v=fVUinLbWBeQ&list=PL7ZVZgsnLwEF6iyCXbinHLm9nhokrPjdy&index=11 Machine Learning의 Learning은 Adaptation이나 Update라고 불리기도 한다. 머신러닝 학습 분류 지도학습(Supervised Learning) 입력과 결과가 레이블로 표시 입력과 출력에 매핑되는 일반적인 규칙을 학습 비지도학습(Unsupervised Learning) 원하는 출력 없이 입력데이터 사용 입력 데이터의 구조나 패턴을 찾는것이 목표 준지도학습(Semi-supervised Learning) 레이블이 있는것과 없는 것이 혼합된 경우 사용..