Just Do IT

공돌이의 수학정리노트 님의 포스팅을 보고 나름대로 정리한 글 입니다. MLE란? MLE는 Maximum Likelihood estimation이라고 하고 한국말로는 최대 우도 추정 혹은 최대 가능도 추정이라고 한다.(개인적으로 우도라는 말보다는 가능도라는 말이 훨씬 기억하기도 쉽고 직관적인 것 같다.) 데이터 셋 $X$가 존재할 때 파라미터 $ \theta $로 구성된 확률 밀도 함수(pdf)에서 최적의 $\theta$를 찾는 방법이다. MLE는 ML/DL을 공부하면 항상 나오는 개념이다. 당연하게도 우리는 데이터셋 $X$에 대하여 처음부터 $X$의 분포를 알 수 없기 때문에 이를 추정하기 위해 MLE의 개념을 대입한다. 처음 들으면 Likelihood가 뭔지도 모르고 어떻게 추정하는지도 모른다. 하나하..

1. 균등분포 생성기 가장 먼저 직관적으로 쉽게 생각할 수 있는 확률분포는 균등분포입니다. 파이썬의 균등분포 생성기는 메르센 트위스터 알고리즘을 통해 만들어집니다. 메르센 트위스터 알고리즘은 주기가 $ 2^{19937} - 1 $로 반복되기 때문에 정확히는 유사 난수 생성기에 속합니다. 나온 값을 주기로 나누어 0부터 1까지의 float을 출력할 수 있습니다. https://datascienceschool.net/03%20machine%20learning/19.01%20%EB%AA%AC%ED%85%8C%EC%B9%B4%EB%A5%BC%EB%A1%9C%20%EB%B2%A0%EC%9D%B4%EC%A7%80%EC%95%88%20%EB%B6%84%EC%84%9D.html 몬테카를로 베이지안 분석 — 데이터 사이..