본문 바로가기

Infinite Mixture of Gaussian process experts + Hybrid MCMC Mixture model은 크게 Bayesian과 Non-Bayesian으로 나뉠 수 있다. 이때 Non-Bayesian mixture model이 일반적인 Gaussian mixture model (GMM)이고 EM 등을 이용해서 문제를 푼다. 이번 포스팅은 Bayesian Mixture Model에 대한 것이다. 즉 모든 것을 확률적으로 나타내고, Gibbs sampling이나 Variational Inference 등을 이용해서 풀게된다. Non-Bayesian Mixture Model Bayesian Mixture Model 이것이 중요한 이유는 Bayesian model에 대한 이해를 높이기 좋기 때문이다. 구체적으로는 Conjugate prior를 이용하는 것이 어떤 것인지를 알 수 있다. 동.. 더보기
PAC-Bayes bound 발표자료 이름도 거창한 ASRI 세미나에서 PAC-Bayes bound를 발표한 자료. bound의 증명을 못 설명하고 넘어간게 조금 아쉽다. 더보기
Some properties in Regression using Conditional Independency 이번 포스팅은 Gaussian process regression under Localization uncertainty에 나오는 식을 유도하는 것이지만, 사실 일반적인 regression model에 적용될 수 있다. Conditional independence를 자주 사용하니, 이에 대해서 먼저 집고 넘어가자. Directed graph 1Directed graph 2 만약 위와 같은 두 graphical model (Directed graph)이 있다면, '$X$'와 '$Z$'는 '$Y$'가 주어졌을 때 conditional independent하다. 즉 다음과 같이 쓸 수 있다. $$X \perp Z || Y$$ 그리고 다음의 두 관계식을 유도할 수 있다. $$P(X, Z|Y) = P(X|Y)P(Z.. 더보기
Latex에서 subfigure 사용하기 다음과 같이 하면 위의 그림과 같이 그림 두 개가 붙어서 하나의 그림으로 표현된다. \begin{figure*}[!t] \centering \subfigure[]{ \includegraphics[width=.9\columnwidth]{figure/predErrorWithDifferentGroups_2} \label{fig:nrGroup} } \subfigure[]{ \includegraphics[width=.9\columnwidth]{figure/figOverall_2} \label{fig:overallResult} } \caption{ (a) Average reconstruction error as a function of the number of groups. (b) Average reconstruc.. 더보기