본문 바로가기

Recent deep learning papers in archive 1. Training recurrent networks online without backtrackinghttp://arxiv.org/pdf/1507.07680v1.pdf2. Semi-Supervised Learning with Ladder Networkhttp://arxiv.org/pdf/1507.02672v1.pdf3. Towards Neural Network-based Reasoninghttp://arxiv.org/pdf/1508.05508v1.pdf4. Scheduled Sampling for Sequence Prediction with Recurrent Neural Networkshttp://arxiv.org/pdf/1506.03099v3.pdf5. http://arxiv.org/pdf/1506.. 더보기
Breaking down.. IROS rejectHumanoid rejectTRO reject 슬픈 일이다. 그냥 올해는 닥치고 있짜. ㅎㅎ 더보기
Scalable Kernel Methods via Doubly Stochastic Gradients http://arxiv.org/abs/1407.5599원래 논문이 나온건 NIPS 2014였는데, 그 뒤에 워크샵 내용도 추가된 저널 버젼은 한 이주 전에 나왔다. 이 논문은 올해 본 논문 중에서 가장 수학적으로 아름다운 논문이다. 이 논문을 이해하기 위해선 몇 가지 기본 지식이 필요한데, 이런 내용부터 간단히 설명을 해보겠다. 가장 중요하게 알아야될 것은 커널이다. 커널, 옥수수, 리눅스 등이 생각날 수 있지만, 수학적으로 커널은 데이터 두 개를 받아서 실수로 바꿔주는 함수이다. 기계 학습 수업들에서는 데이터를 임의의 고차원 공간으로 보낸 후에 해당 공간에서 내적을 해주는 것이라고 설명을 하기도 한다. 물론 맞는 말이지만 이것 보다는 좀 더 복잡한 내용들이 존재한다. 예를 들면 과연 고차원 공간으로 보.. 더보기
Learning Wake-Sleep Recurrent Attention Models 따끈따끈한 논문이다. http://arxiv.org/pdf/1509.06812v1.pdf Abstract CNN이 좋긴 하지만 이미지의 전 영역에서 연산을 해야한다는 단점이 있다. 그래서 randomness를 섞은 stochastic attention-based model이 test 단계에서 시간을 줄여준다는 장점이 있다. 하지만 학습이 어렵다는 단점이 있다. 이 논문에서는 training deep generative model에서 제안된 내용들을 이용해서 wake-sleep recurrent attention model을 제안한다. Posterior inference 성능을 향상시켰고, stochastic gradient의 variability를 줄였다. Introduction CNN은 성능이 깡패다... 더보기