Generative vs. Discriminative model

Generative Model 

 - Generative Model은 latent variable (parameter)가 주어졌을 때 해당하는 observation model을 만들어 낼 수 있는 모델을 의미한다. 즉 Generative Model은 모든 변수에 대한 full probabilistic model을 가지고 있다. 

 예: Mixture Model / Latent Dirichlet Allocation / Restricted Boltzmann Machine 

Discriminative Model

 - Discriminative Model은 observed variable에 대한 distribution을 정의할 필요가 없다. 

 - Conditional Model이라고도 불린다. 즉 x를 observation이라고 하고, z를 latent variable이라고 한다면, p(z|x)가 정의된 모델을 의미한다. 즉 Posterior가 정의되어서 observation이 주어졌을 때, latent variable을  MAP으로 풀 수 있다.  

 - Unsupervised Learning이 어렵다. 

 예: SVM, ANN, CRF