KCC Machine Learning Workshop

기계학습 연구센터 워크숍

베이지언 

최승진 교수님 (포공) 

김기응 교수님 (카이스트) 

오혜연 교수님 (카이스트) 

딥러닝 

한보형 교수님 (포공) 

유창동 교수님 (카이스트) 

유한조 교수님 (포공) 

윤성로 교수님 (서울대)

Deconvolutional Network - 한보형 교수님

 - Sementic segmentation

  - Pixel-wise ?!?! 

 - Deconv Net

 - Decorr Net

 - 오토인코더와 concept은 같다. 다만 CNN이니까 max-pooling이 들어간다. Un-pooling을 할 땐 max에 해당하는 부분만 채워넣고, 나머지는 0으로 채운다. Information loss가 일어난다. 

 - "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift" -- ICML15 (http://arxiv.org/pdf/1502.03167v3.pdf)

 

 - Decoupled Net (Semi-supervised)

 -- 논문: Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation  (http://arxiv.org/pdf/1506.04924v2.pdf)

 -- 문제 세팅: 이미지당 어떤 object class label을 준다. 이를 weak annotation이라 한다. strong annotation은 어느 위치에 어떤 물체가 있는지를 모두 알려주는 것이다. 이를 합쳐서 semi-supervised라고 한다. 

 -- Inference: 이미지가 들어오면, 먼저 어떤 물체가 들어있는지 찾는다. (위치는 모르고) 이 정보를 이용해서 대충 물체가 어디에 있는지 알게되고, 이 정보를 이용해서 실제로 물체가 어디에 있는지를 맞추게 된다. 

 -- Segmentation network는 binary이다. 즉 label specific이다! 

 -- Classification network와 Segmentation network를 분리시킨 것이 가장 큰 contribution이다. 

 -- 정확히는 Semi-supervised는 아니다. 

 

 - Tracking Problem

 -- CNN을 이용..

 -- Online Tracking by Learning Discriminative Saliency Map - ICML15 (http://arxiv.org/pdf/1502.06796v1.pdf)

Apache Spark 기반 Deep Learning Framework - 윤성로 교수님

 - DeepSpark

 - 잘 모르겠다. 

 - Map-reduce의 가속화된 버젼인 spark를 써서 deep learning (CNN)을 구현하는 것을 목표로 하고 있다. 

 - Scale out / Scale up

 - 몬가 대단하다. 

 - Not decorated yet, needs MSG! (regularization, learning rates, etc)

 - No GPU, yet 

Fast and Robust Parallel SGM Matrix Factorization for Recommendation - 유환조 교수님

 - Single mahcine에서 recomendataion system. 

 - SSD를 사용한다. 

 - Matrix factorization

Sequential Data Modeling using RNN - 유창동 교수님

 - 음성 인식

 - DNN - HMM이 현재 state-of-art라고 한다. 

 - Semi-Markov Model을 새롭게 제안한듯. 

 - RNN은 딱히.. 한게 없다. 

 

Bayesian Hierarchical Clustering with Exponential Family  - 최승진 교수님

 - Probabilistic model: 특정 확률 분포를 가정하고 MLE로 문제를 푼다. 

 - DP mixture model의 non-parobabilitic formulation 

 - DP-means (2012)

 - Relaxed BHC ~= Agglomerative Bregman Clsutering 

 - 큰 연구의 방향은 scalable하게 바꾸는 것이다. 

 - Bregman divergence? Exponential familiy에서 Euclidean distance를 .. ? 

 - Reducible ??? 

 - Nearest Neighbor chain

 - Distance measure.... 

Online Learning and Anchor Words for Topic Models - 오혜연 교수님    

 - 토픽 모델링 

 - Spectral Learning (http://www.cs.berkeley.edu/~klein/papers/spectral-learning.pdf)

 - Anchor word라는 개념을 새롭게 제안한다. 

 -- 어떤 단어 (Anchor word)는 단 하나의 topic에서만 probability 1을 갖고, 나머진 0을 갖는다. 

 - 아이패드란 단어가 있으면, 기존에 토픽 모델에선 모든 토픽에서 이 단어가 나올 수 있는데, 이 새로운 개념은 먼저 anchor word를 구하고 나면 나머지 inference가 polynomial time에 돌아가도록 할 수 있게 한다. 

 - 다른 단어는 anchor word의 linear combination으로 표현이 되어야 한다. 

 - 토픽을 찾을 때, 토픽 + Anchor word를 같이 찾는다. (하나의 토픽에 하나의 anchor word가 있다.)

 - 스파크에서 돌아가도록 ... ??