Dirichlet Processes and Hierarchical Dirichlet Processes Dirichlet Process는 생각보다 재밌는 개념이다. 확률 분포의 이름에 process가 붙었으니 random process라는 것은 다들 알 것이다. Random process는 random vector의 확장이라는 것 역시 다들 알 테니 임의의 함수에 대한 random process라는 것을 쉽게 유추할 수 있을 것이다. 여기까지는 random process에 익숙한 사람이라면 당연하다고 생각할 것이다. 여기서부터가 재밌다. [디리클레 프로세스의 속성 1] : Dirichlet process는 disrcrete probability measure의 distribution이다. Graphical model에 익숙하다면 한번쯤은 multinomial distribution의 conjugate pr.. 더보기 Scaling Up Deep Learning - Yoshua Bengio 딥러닝에 대한 강의 at KDD 14 http://videolectures.net/kdd2014_salakhutdinov_deep_learning/http://videolectures.net/kdd2014_bengio_deep_learning/ 여러 개의 level을 통해서 abstraction을 이루는 representation learning을 deep learning이라고 한다. 위의 그림은 딥 러닝이 어디에 속하는지 알려준다. 생각보다 상당히 좁다. 세상에 모든 것을 할 수 있는 기계 학습 알고리즘은 없다. 우리는 어떠한 형태로든 prior를 가져야한다. Prior - 좁은 의미로는 사전 분포, 즉 파라미터가 살고있는 분포를 의미한다. - 넓게는 우리가 갖고있는 domain knowledge를 의.. 더보기 Dirichlet Mixture Model 이 프로젝트는 Dirichlet mixture model의 시초라 할 수 있는 Escobar and West (95) 논문을 구현한 것입니다. (http://www.cs.berkeley.edu/~jordan/courses/281B-spring04/readings/escobar-west.pdf) 프로그램 수행 화면 1. 프로그램 실행을 설명해놓은 ppt 파일 2. exe 파일과 테스트해볼 수 있는 txt 파일 3. 구현에 사용된 cpp와 h 파일들 64비트용 라이브러리를 사용해서 윈도우 32비트에선 안돌아갈 수 있습니다. 더보기 About Deep Learning by Michael Jordan Deep Learning에 대한 Michael Jordan 교수님의 생각 참고로 이 교수님은 Latent Dirichlet Allocation (LDA), Hierarchical Dirichlet Processes (HDP)로 대표되는 Graphical model의 대가이시다. 개인적으로 Graphical Model (GM)과 Deep Learning (DL)의 차이점은 다음과 같다. GM은 노드들이 우리의 관심사이다. 각 노드는 확률 변수를 뜻하며 노드와 노드를 잇는 엣지는 conditional distribution을 의미한다. DL은 노드보다는 엣지에 관심이 많다. 엣지에 모든 정보가 담겨있기 때문이다. 다시 말해서 GM은 Gibbs sampling이나 Variational Inference를 통해.. 더보기 이전 1 ··· 51 52 53 54 55 56 57 ··· 161 다음
