Scaling Up Deep Learning - Yoshua Bengio

딥러닝에 대한 강의 at KDD 14

http://videolectures.net/kdd2014_salakhutdinov_deep_learning/

http://videolectures.net/kdd2014_bengio_deep_learning/

여러 개의 level을 통해서 abstraction을 이루는 representation learning을 deep learning이라고 한다. 

   

위의 그림은 딥 러닝이 어디에 속하는지 알려준다. 생각보다 상당히 좁다. 

세상에 모든 것을 할 수 있는 기계 학습 알고리즘은 없다. 우리는 어떠한 형태로든 prior를 가져야한다. 

Prior

 - 좁은 의미로는 사전 분포, 즉 파라미터가 살고있는 분포를 의미한다. 

 - 넓게는 우리가 갖고있는 domain knowledge를 의미하기도 한다. 

Generalization은 기계 학습에서 매우 중요하다. 그리고 벤지오는 이를 geometrical하게 바라본다. 즉 parameter space의 probability mass를 어디에 집중시킬지가 중요하다. 하지만 이 경우에 parameter의 dimension이 커질 수록 이 것이 매우 어려워진다. 이를 좀 더 쉽게 해결하기 위해선 우리의 학습 시스템이 underlying causes를 학습할 수 있는 능력이 필수적이다. 

    

위의 그림을 보자. 아래와 같은 모델은 학습이 매우 잘 된다. 그 이유는 데이터가 좋은 곳에서 모여졌기 때문이다. 여러 kernel method를 쓸 수 있다. 여기서 prior는 무엇일까? 바로 smoothness prior이다. 함수가 급격히 변하지 않는다는 가정이다. 하지만 데이터의 차원이 높아지면 이러한 smoothness prior에 대한 가정이 깨지게 된다. 오른쪽의 그림을 보자. 사진의 경우 데이터들이 매우 "모여"있다. 픽셀 값을 랜덤하게 정했을 때 그럴싸한 그림을 얻을 확률은 거의 0이다. 즉 여기서의 prior는 특정 low dimension manifold위에 데이터가 있다는 것이다.

 이러한 관점에서 다음과 같은 그림을 그려볼 수 있다. 

     

즉 이는 일종의 representation learning이라고 볼 수 있다. 그리고 위의 그림과 같은 manifold 혹은 structure가 존재한다고 가정하는 것이다.

아래는 여러 다른 RBM 확률이다.