Generative Model
- Generative Model은 latent variable (parameter)가 주어졌을 때 해당하는 observation model을 만들어 낼 수 있는 모델을 의미한다. 즉 Generative Model은 모든 변수에 대한 full probabilistic model을 가지고 있다.
예: Mixture Model / Latent Dirichlet Allocation / Restricted Boltzmann Machine
Discriminative Model
- Discriminative Model은 observed variable에 대한 distribution을 정의할 필요가 없다.
- Conditional Model이라고도 불린다. 즉 x를 observation이라고 하고, z를 latent variable이라고 한다면, p(z|x)가 정의된 모델을 의미한다. 즉 Posterior가 정의되어서 observation이 주어졌을 때, latent variable을 MAP으로 풀 수 있다.
- Unsupervised Learning이 어렵다.
예: SVM, ANN, CRF
'Enginius > Machine Learning' 카테고리의 다른 글
PAC Bayes Analysis of Classification (1) | 2014.04.11 |
---|---|
Sparse Distributed Memory Framework (0) | 2014.04.09 |
Gaussian process related papers (Songhwai Oh) (0) | 2014.02.27 |
Gaussian process survey (0) | 2014.02.26 |
Gaussian Process Bayes Filter (0) | 2014.02.17 |