rrojin

목차 1. Latent Variable Model 2. PCA 3. FA & MFA Latent Variable Model 이번 포스팅에서는 Expectation maximization, EM알고리즘을 자세히 알아보도록 합시다. 1. Latent Variable Model ff 2. Principal Component Analysis (PCA) PCA는 데이터의 dimension을 줄이기 위한 대표적인 방법입니다. 원래의 데이터셋의 특징은 잘 살리면서도, 차원을 줄이기 위해선 어떻게 해야할까요? 원래의 데이터를 새로운, 더 작은 차원의 projected space에 투영 시켰을 때, 데이터셋의 분산을 가장 크게 하는 orthogonal projection을 찾는 것이 핵심 아이디어입니다. '분산을 크게 ..

목차 1. Mathematical preliminaries 2. EM Algorithm EM Algorithm 이번 포스팅에서는 Expectation maximization, EM알고리즘을 자세히 알아보도록 합시다. 이전 포스팅에서 latent variable이 있는 MoG를 EM알고리즘으로 풀었고, 2개의 의문을 남겼습니다. (1) 왜 complete data log likelihood를 사용하는지. (2) E-step에서 왜 posterior distribution을 사용하는지. 이번 포스팅에서 샅샅이 밝혀보도록 하겠습니다!! 1. Mathematical preliminaries 우선, EM 알고리즘을 이해하기 위해 필요한 선수 지식을 소개합니다. (1) Jensen's Inequality, (2) ..

목차 1. k-Means 2. Mixture of Gaussians 3. k-Means & MoG Clustering Clustering이란 라벨이 없는 데이터들을 미리 지정해둔 k개 그룹에 분리하는 작업입니다. 각 그룹으로 묶인 데이터는 유사한 성질을 가져야 합니다. 이때, 유사함을 측정하는 지표로 사용되는 distance measure에 따라 clustering 결과가 달라질 수 있습니다. 이번 포스팅에서는 k-Means와 Mixture of Gaussians Clustering(MoG) Clustering에 다룹니다. 각각의 방법을 이해한 뒤, k-Means가 MoG를 간략히 한 버전임을 이해해봅시다!! 1. k-Means Clustering의 가장 기본적인 알고리즘은 k-Means입니다. 말 그대..

목차 1. MLE 2. MAP 3. Bayesian Inference Density Estimation이란,, $\;\;$Density Estimation 이란, observation 데이터셋 $x_1, \cdots, x_N$가 주어졌을 때, random variable $x$의 probability distribution $p(x)$를 찾는 것(modeling) 입니다. 이때, 각각의 데이터는 I.I.D(independent and identically distributed)를 가정하고 있습니다. Parametric estimation vs Nonparametric estimation $\;\;$Density Estimation에는 크게 2가지 접근이 가능합니다. $\rightarrow$ Paramet..