본문 바로가기

Enginius/Machine Learning

Generative vs. Discriminative model


Generative Model 

 - Generative Model은 latent variable (parameter)가 주어졌을 때 해당하는 observation model을 만들어 낼 수 있는 모델을 의미한다. 즉 Generative Model은 모든 변수에 대한 full probabilistic model을 가지고 있다. 

 예: Mixture Model / Latent Dirichlet Allocation / Restricted Boltzmann Machine 


Discriminative Model

 - Discriminative Model은 observed variable에 대한 distribution을 정의할 필요가 없다. 

 - Conditional Model이라고도 불린다. 즉 x를 observation이라고 하고, z를 latent variable이라고 한다면, p(z|x)가 정의된 모델을 의미한다. 즉 Posterior가 정의되어서 observation이 주어졌을 때, latent variable을  MAP으로 풀 수 있다.  

 - Unsupervised Learning이 어렵다. 

 예: SVM, ANN, CRF 


'Enginius > Machine Learning' 카테고리의 다른 글

PAC Bayes Analysis of Classification  (1) 2014.04.11
Sparse Distributed Memory Framework  (0) 2014.04.09
Gaussian process related papers (Songhwai Oh)  (0) 2014.02.27
Gaussian process survey  (0) 2014.02.26
Gaussian Process Bayes Filter  (0) 2014.02.17