Computer science: The learning machines

원본: http://www.nature.com/news/computer-science-the-learning-machines-1.14481?WT.mc_id=TWT_NatureNews

 삼년 전,  California Mountain View에 있는 Google X의 연구자들은 YouTube에서 천만장의 고정 이미지를 추출해서 Google Brain에 학습시켰다. 이 Google Brain은 1000 개의 컴퓨터로 이뤄진 네트워크이며, 사람과 같이 학습을 한다. (지식을 학습) 나타나는 패턴을 삼 일간 학습한 후에, Google Brain 은 반복되는 목록들을 구별할 수 있었다. 그 중에는 사람 얼굴, 몸, 그리고 고양이가 있었다. 

 

 Google Brain이 발견한 인터넷에는 고양이 비디오가 매우 많다는 사실은 기자들의 많은 장난거리가 되었다. 하지만 이는 Deep Leaning에 있어서는 기념비적인 사건이었다. 이 Deep Learning은 30년이 된 기술로, 수많은 데이터와 연산력으로 컴퓨터로 하여금 사람이 직관적으로 푸는 문제들을 다룰 수 있게 해준다. 예를 들면 얼굴 인식과 언어 이해 등을 할 수 있게 해준다. 

 Deep learning 그 자체는 인공 신경망이라는 오래된 방법의 재 발견이라고 할 수 있다. 이러한 시스템들은 뉴론의 연결에 영감을 받아서 인간의 학습을 모방하려고 한다. 특히 뉴론 사이의 연결인 시냅스의 강화 혹은 약화를 통해서 학습을 하게 된다. Google Brain은 100만개의 뉴론과 10억개의 연결 (시냅스)를 같고, 이전에 만들어진 deep neural network에 비해서 최소 10배 이상 그 규모가 크다. 이 프로젝트의 디렉터인 Andrew Ng , 현재는 Stanford 대학의 AI lab의 디렉터, 은 현재 deep learning 시스템을 다시 10배 이상 크게 하려고 하고 있다. 

 이러한 발전들은 인공 지능 (AI) 학계에 새로운 바람을 불러일으키고 있다. 과거 몇 년간, 구글, Apple, IBM과 같은 회사들은 deep learning 경험, 기술이 있는 회사들을 사들였다. 이러한 영향으로, 소비자들은 더 나은 사진 분류, 음성 인식 등의 결과를 누리고 있다. 과학자들과 회사에 있어서, deep learning 컴퓨터들은 potential drug candidates, 뇌의 실제 신경망을 분석하고, 단백질의 역할을 예측할 수 있다. 

 "인공 지능을 약간의 발전만을 이룬체 실패에 실패를 거듭했다. 이 것은 (deep learning) 새로운 도약이 될 수 있다." 라고 Yann LeCun이 말했다. 그는 뉴욕 대학의 Center for Data Science의 디렉터이며 deep-learning의 선구자이다. 

 "앞으로 몇 년 안에 우리는 feeding frenzy (때로 몰려들음;;)를 보게 될 것이다. 많은 사람들이 deep learning으로 뛰어들게 될 것이다." 라고 UC Berkeley 에서 영상 인식을 연구하는 Jitendra Malik 역시 그의 의견에 동의했다. 하지만 길게 봤을 때 deep learning은 그렇게 성공을 하지 못할지도 모른다 라고 우려하는 사람들 역시 있다. 

Inspired by the brain

 1950년대로 돌아가보면, 컴퓨터는 나온지 얼마 안되었었고, 1세대 인공지능 연구자들은 온전한 인공지능을 사용하는 시대가 거의 다 왔다고 생각하면서 열심으로 연구를 했었다. 하지만 실패가 거듭됨에 따라 희망은 사라져갔다. 특히 인간과 같이 영상 인식을 함에 있어서 (현재까지도..) 컴퓨터는 그 역할을 해내지 못했다. 수백명의 연구자들과 대학원생들이수십년을 영상인식에 필요한 특징점들을 연구해왔다. 

특징점 (feature): 영상 인식을 하기 위해선 컴퓨터가 주어진 영상을 숫자로 바꿀 필요가 있다. 특징점들은 이 숫자를 정하는데 사용된다. 예를 들면 Harris Corner Detector 같은 feature는 꺽인 정도를 나타낸다. 

"Feature를 도출하는 것은 어렵고, 많은 시간과 전문적 지식을 필요로 한다." Ng 교수가 말했다. "항상 더 나은 방법이 없나 확인해야 한다."

1980년 대에는, deep learning이라는 방법이 제시되었다. 이러한 시스템들은 데이터에서 자신만의 규칙을 자동으로 뽑아낼 수 있고, 뇌에서 영감을 받은 알고리즘을 사용하였다. 인공 뉴론이 여러 계층 구조를 갖게하는 것이 그 방법이었다. 이러한 시스템에 어떤 사진이 주어졌을 때, 첫 번째 계층은 단순한 어둡고, 밝은 정도를 감지한다. 다음 계층은 모서리 정보를 추출하고, 그 다음은 수평, 수직 등의 좀 더 복잡한 정보를 추출한다. 이런식으로 계층이 올라감에 따라 좀 더 복잡한 정보를 얻을 수 있고, 결과적으로 어떤 계층에선 눈, 사람 얼굴 등을 인식할 수 있게 된다. (위의 사진 참조)

 첫번째 deep learning 시스템은 특출난 결과를 보이지 못했다 라고 Maik이 말했다. 게다가 "신경망은 세심하게 다뤄져야 하는 어려움이 있다. 약간의 흑마법이 포함된다." 라고 덧붙였다. 이러한 네트워크는 아이가 학습을 하듯이 수많은 정보를 필요로 했다. 1980년대와 1990년대에서는 이러한 디지털 정보가 많이 않았고, 컴퓨터의 성능 역시 뛰어나지 않았다. 또한 이러한 기술을 적용할 분야 역시 흔치 않았다. LeCun에 의해 개발된 몇 안되는 기술은 은행에서 글자 인식에 사용된다. 

 그러나 2000년대에 들어서서 LeCun과 그의 지도교수 Geoffrey Hinton과 같은 선구자들은 컴퓨팅 파워와 데이터가 늘어남에 따라 deep learning이 다시 성장할 기회라고 확신했다. "우리는 이러한 deep learning 기술이 정말 쓸모있고 도움이 된다는 것을 세상에 말하고 싶다." Hinton의 현재 학생인 George Dahl이 말했다. 

 처음에, Hinton, Dahl, 그리고 다른 연구자들은 어렵지만 상업적으론 중요한 음성 인식을 연구하였다. 2009년에 연구자들은