본문 바로가기

Enginius/Paper STudy

논문들 정리

-Contents-

1. Sparse Representation via unsupervised learning

2. Deep Learning (RBM,, DBN, ...)

3. Sparse Representation (mathematical)

4. Dimension Reduction (mathematical)

5. Action Recognition



1. Sparse Representation via unsupervised learning



1. Building High-Level Features Using Large Scale Unsupervised Learning

 - 구글에서 또 대단한 짓을 했다. 1000개의 machine(16,000 cores)를 이용해서 Learning을 하였다. 9 Layer의 구조를 갖고, youtube 에서 얻은 10million개의 200x200 image들로 train시켰다. 엄청난 parallelism을 이용했다. 구글의 힘이라고 생각한다. 

 - 그 결과 unsupervised learning만을 통해서 사람의 얼굴, 고양이 모습을 구별해 낼 수 있었다. (Best neuron은 81.7%확률로 얼굴을 분류해낼 수 있었다.) 

 - 이러한 결과가 의미하는 바는크다. 기존의 많은 접근은 Labeled Data를 통해서 supervised learning이 필요했었다. 하지만 만약 이러한 Unsupervised Learning만으로도 clustering이 잘 된다면, 점점 발달하는 IT 기술을 이용해서 점점 지능이 뛰어난 기계를 만들 수 있다. 



2. Self-taught Learning: Transfer Learning from Unlabeled Data

 - 이름은 거창하지만 사실 내용은 간단하다. 

 - Unlabeled Data를 이용해서 Sparse coding을 통해서 Dictionary를 구하고, 약간의 Labeled Data를 이용해서 나머지 Learning을 한다. 

'$minimize_{b,a}\quad\sum_{i}\parallel\!x_{u}^{(i)}-\sum_{j}a_{j}^{(i)}b_{j}\!\parallel_{2}^{2}\,+\,\,\beta\parallel \!a^{(i)}\!\parallel_{1}$'

'$ s.t.\qquad\parallel \!b_{j}\!\parallel_2\,\le\,1, \quad\forall j \in 1, ..., s   $'

 여기서 '$\mbox{basis vectors b = } \left\{b_1,b_2,...,b_s\right\} \mbox{with each } b_j\in\mathbb{R}^n $'와 '$\mbox{activations a = } \left\{a^{(1)},...,a^{(k)}\right\} \mbox{with each }a^{(i)}\in\mathbb{R}^s$'를 구하면 된다. 여기서 '$a_j^{(i)}$'는 input '$x_u^{(i)}$'에 대한 basis '$b_j$'의 activation이다.  






2. Deep Learning (RBM,, DBN, ...)



1. Unsupervised Feature Learning via sparse hierarchical representations

 - Hongloak Lee의 박사 논문으로 보인다. 

 - 현존하는 Sparse Coding과 DBM, Sparse DBN, Convolutional DBN에 대해서 정리했다. 





3. Sparse Representation (mathematical)



1. Least Squares Optimization with L1-Norm Regularization

 - Optimization approached proposed for parameter estimation in Least Squares linear regression models with an L1 penalty on the regression coefficients.  


2. Sparse Principal Component Analysis

 - PCA는 Data dimension reduction에 널리 사용된다. 하지만 PCA의 Principal Component는 모든 Original Variable들의 Linear Combination이라는 단점이 있다. 그래서 이 논문에서는 LASSO(elastic net)을 이용한 Sparse Principal Component Analysis(SPCA)를 설명한다. 


3. K-SVD An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation

 - Sparse Representation을 위한 over-complete dictionary를 만드는 방법이다. 




4. Dimension Reduction (mathematical)



1. Dimensionality Reduction by Learning an Invariant Mapping 

 - 기존의 dimension reduction technique들은 두 가지 문제가 있다. 

1. 대부분은 depend on a meaningful and computable distance metric in input space. 

2. 이들은 mapping function을 만들지 않는다. 

 - 이 논문에서는 Dimensionality Reduction by Learning an Invariant Mapping(DrLIM)을 소개한다. 

 - 그리고 결과를 LLE와 비교했다. 





5. Action Recognition



1. Robust Mean Shift Tracking with Corrected Backgournd-Weighted Histogram  

 - tracking하고자 하는 것 보다 조금 더 크게 window를 크게 잡은 후에, tracking area의 Hist에서 더 커진 부분에 있는 Hist를 빼서 노이즈나, 주변 사물 색의 영향을 최소화 시키는 알고리즘. 


2. Robust Visual Tracking using l1 Minimization

 - particle filter framework에서 sparse approximation으로 visual tracking. 


3. Learning Shift-Invariant Sparse Representation of Actions

 - Unsupervised learning algorithm for automatically decomposing joint movements in human motion capture sequences into shift-invariant basis functions. 

 - 인간의 동작은 by their nature로 action space domain과 time domain에서 sparse하다. 





6. Robotics


1.  

 - 

'Enginius > Paper STudy' 카테고리의 다른 글

Research ideas (2018)  (0) 2018.02.02
papers in CDC  (0) 2013.12.24