ICRA Learning-related paper survery

Autonomous Navigation

- Multi-Scale Perception and Path Planning on Probabilistic Obstacle Maps

  공간에 장애물이 있을 확률을 정의하고, 이 공간 속에서 path planning을 연구를 하였다. 

- Towards Model-predictive Control for Aerial Pick-and-Place

  쿼드롭터에 2자유도를 갖는 손을 붙이고 이를 제어하는 것을 비선형 MPC를 통해서 풀었다. 기존의 ad hoc PID 방법과 비교해서 좋은 성능을 얻을 수 있었다. 

- Biomimetic Algorithms for Coordinated Motion: Theory and Implementation

  생체 모방 (잠자리들의 싸움, 찌르레기의 떼를 지어다니는 모습) 에 영감을 받아서 다개체 로봇의  coverage와flocking 에 대한 연구를 진항하였다. 

- Learning Driving Styles for Autonomous Vehicles from Demonstration

  사실상 진짜 학습에 관한 처음 논문인듯하다. 이 논문에선 inverse reinforcement learning을 통해서 무인 자동차를 위한 각 사람의 운전 스타일을 학습하는 연구를 진행하였다. 고속 도로에서 주행하는 사람의 특성을 잡아내기 위해서 몇 개의 feature들을 제안하였다. (주행하고 있는 차선과 얼마나 떨어져 있는지, 다른 자동차와의 상대적인 거리, 현재 자동차의 속도와 가속도 등) 그리고선 사람이 실제 주행했을 때 모아진 데이터와 현재 학습되고 있는 모델 사이의 value를 최대한 비슷하게 맞추는 방향으로 inverse reinforcement learning을 풀었다. (MaxEnt IRL)

- LexTOR: Lexicographic Teach Optimize and Repeat Based on User Preferences

  Navigation 문제에 teach, optimize, and repeat (TOR)이라는 새로운 파라다임을 적용하였다. 사용자의 preference에 맞는 학습을 할 수 있게 하였다. teach 단계에서 사용자가 특정 행동을 보여주고, 뒤에 단계에선 trajectory optimization문제를 풀었다. 구체적으로는 사람의 행동에 대한 것이 contraint로 들어가있는 contrained trajectory optimization을 풀었다. 

- Learning to Assess Terrain from Human Demonstration Using an Introspective Gaussian-Process Classifier

  거친 환경에서 자동차가 주행을 할 때 어느 길로 가야하는지 정하는 것은 매우 중요한 문제이다. 이 논문에선 사람들이 어느 길로 주행했는지를 학습 데이터로 해서 traversable 여부를 Gaussian process classification을 이용해서 풀었다. GPC를 사용한 결과가 SVM에 비해서 더 좋은 결과를 보였다. GPC를 사용할 경우 현재 예측에 대한 uncertainty를 더 잘 구할 수 있다는 장점이 있다. 

- Inverse Reinforcement Learning of Behavioral Models for Online-Adapting Navigation Strategies

  무인 주행 자동차를 위한 알고리즘을 개발할 땐, 사회적 맥락을 고려하는 것이 매우 중요하다. 이 연구에선 social acceptability 개념을 도입해서 안전하면서도 주어진 목표 (시간간에 goal에 도착) 를 만족하는 주행을 하는 방법을 제안하였다. 즉 주어진 상황에서 social acceptability를 구하고, 이 값을 바탕으로 navigation 전략을 선택하도록 하여서 social acceptability를 높이도록 하였다. 

- HCMDP: a Hierarchical Solution to Constrained Markov Decision Processes

Contrainded MDP를 푸는 방법론에 대한 논문.. 학습과는 딱히 관계가 없을듯 

- Intention-Aware Online POMDP Planning for Autonomous Driving in a Crowd

   사람의 의도를 이용해서 사람이 많은 환경에서 자율 주행 자동차의 주행에 관한 연구를 진행하였다. 구체적으로는 사람이 어디로 움직일지를 예측하고, 이 상황 속에서 POMDP를 풀어서 어느 행동을 고를지를 정했다. 사람의 의도를 표현하기 위해서 사람에게 어떤 임의의 목표 위치 (goal)이 있다고 가정을 하였고, 이를 파악하는 것을 의도를 파악하는 것이라 생각하였다. 

- Leveraged Non-Stationary Gaussian Process Regression for Autonomous Robot Navigation

  로봇이 사람들이 움직이는 상황에서 동작한다고 할 때, 이를 효율적으로 피하는 연구를 진행하였다. 사람의 상황을 입력으로, 피하는 것을 출력으로 하는 데이터를 모은 후에 이 관계를 GPR을 통해서 학습하였다. 이 때 단순히 잘 피하는 행동 뿐 아니라 오히려 충돌을 하는, 즉 해서는 안되는 행동, 데이터 역시 같이 고려를 할 수 있는 leveraged Gaussian Process Regression을 제안하였고, positive 데이터만을 사용할 때 보다 positive와 negative 데이터를 둘 다 사용했을 때 훨씬 효과적인 학습이 가능함을 보였다. 

Service Robotics

- New Brooms Sweep Clean - An Autonomous Robotic Cleaning Assistant for Professional Office Cleaning

  사무실을 청소하는 로봇 - 쓰레기를 치우기와 버리기를 동시에 한다. 이 연구에서 학습은 현재 바닥이 더러운지 여부를 판단하는데 사용되었다. (visual dirt detection) 간단한 비교 알고리즘이 사용되었다. 

- Learning Multiple Collaborative Tasks with a Mixture of Interaction Primitives

  사람과 로봇의 협업을 위한 연구를 진행하였다. 구체적으로는 여러 상황에 대해 사람의 팔의 궤적과 로봇의 팔의 궤적 사이의 상관 관계를 학습 시켰다. 이렇게 학습된 데이터를 이용해서 실제 상황에서 사람의 팔의 이동을 인식하고, 상관 관계를 최대로 하는 로봇의 궤적을 구해서 사람과 로봇 사이의 협업이 가능하도록 하였다. 두 trajectory 사이의 interaction을 mixture of interaction primitive라고 부른다.

- Robot, Organize my Shelves! Tidying up Objects by Predicting User Preferences

  이 논문에선 컨테이너에 물체를 정리하는 연구를 진행하였는데, 특이한 점은 사람의 preference에 따라 정리를 하는 것을 연구하였다. collaborative filtering 알고리즘을 사용해서 사용자 취향을 학습하였다. 구체적으로는 어느 물체가 어느 물체와 연관이 있는지 혹은 같은 위치에 놓여지면 좋을지를 CF를 이용해서 풀었다. 

Motion Control of Manipulators

- Learning Null Space Projections

  uncertain 환경에서 motion constraint를 배우는 연구를 진행하였다. movement observation을 사용하였다. 

Learning and Adaptive Systems

- An Evaluation of Features for Classifier Transfer during Target Handoff Across Aerial and Ground Robots

  이 연구에선 비행 로봇과 지상 로봇 사이의 협업에 대해서 다룬다. 특히 한쪽에서 학습시킨 appearance 분류기를 다른 쪽에서 사용하는 전이 학습에 관한 연구를 진행하였다. 그리고 이를 효과적으로 수행할 수 있는 feature에 대한 연구를 하였다. 

- Online Unsupervised Terrain Classification for a Compliant Tensegrity Robot using a Mixture of Echo State Networks

  mixture of echo state network를 사용해서 로봇의 sensorimotor stream을 학습하였다.

- Leveraging Big Data for Grasp Planning

  빅데이터를 이용. 물체를 잡는데 사용. 크라우드 소싱을 사용. 딥러닝을 사용. 

  시뮬레이션 기반으로 물체를 잡는 데이터를 크라우드 소싱을 이용해서 구하였다. 좋은 grasping motion에 해당하는지 여부를 구하기 위해서 먼저 logistic regression을 적용해 보았고, deep learning도 적용을 하였다. 데이터 베이스의 크기가 클 때는 deep learning이 잘되는 것을 확인하였다. 

- An Incremental Approach to Learning Generalizable Robot Tasks from Human Demonstration

사람의 행동을 통해서 학습. 새로운 환경에서도 잘 적응. 

Observational learning. - sub-optimal demonstration에서도 잘 동작. 

- On Handing Down Our Tools to Robots: Single-Phase Kinesthetic Teaching for Dynamic In-Contact Tasks

 사람의 행동을 보고 로봇이 따라하게. 나무 공작 작업에 적용하였다. 사람과 나무의 표면 사이의 상호 작용을 Dynamic movement primitives를 통해서 구하였다. 

- Sparse Gaussian Process Regression for Compliant, Real-Time Robot Control

  DTC 근사를 사용하는 SGP를 사용해서 로봇의 inverse dynamic model을 근사하는 연구를 하였다. 데이터를 무려 500,000 개를 사용해서 GP 모델을 만들었따. 

- Learning Inverse Dynamics Models with Contacts

  접촉이 있는 상황에서 inverse optimal control을 Gaussian process regression을 통해서 학습시켰다. 

- Optimism-Driven Exploration for Nonlinear Systems

  Dirichlet process mixture of linear model 

  강화 학습 / 베이지안 다이나믹스 / 헬리콥터의 다이나믹스를 학습하는데 사용하였다. 

- Learning Movement Primitives for Force Interaction Tasks

  로봇의 기구학적인 움직임 뿐 아니라 interaction까지도 같이 로봇에게 학습시킬 수 있는 알고리즘에 대해서 제안하였다. 외부 환경과 접촉이 있는 상황에서 로봇에게 demonstration을 보여주고, 이를 통해서 movement primitives를 만들어서 효율적으로 학습이 가능하게 하였다. 구체적으로는 이러한 primitive 사이의 transition을 학습시켜서 로봇이 스스로 동작을 재연할 수 있게 하였다. 

- Deep Learning Helicopter Dynamics Models

  딥러닝을 이용해서 ReLu Network를 사용해서 헬리콥터의 복잡한 dynamics를 학습시켰다. 

- Learning Contact-Rich Manipulation Skills with Guided Policy Search

  뉴럴넷 컨트롤러 (폴리시)

  로봇 메니퓰려이션을 위한 학습 - guided policy search를 사용하였다. 

 

-------------------------------------------------------------------------------------

- Learning Force-Based Manipulation of Deformable Objects from Multiple Demonstrations

  사람의 데몬스트레이션을 통해서 디포머블 물체를 힘-기반 제어를 하는 연구를 진행하였다. 매듭 만들기를 구현하였다. 기존에 있는 데이터를 Thin plate spline이라는 geometric learning 알고리즘을 사용해서 transfer를 할 수 있게 하였다. 

- Pedestrian Detection with a Large-Field-Of-View Deep Network

   보행자 인식 - 무인 자동차 - 딥 러닝 - 여러 위치에서 동시에 분류를 할 수 있게 한다. 속도를 빠르게 

   한 장 이미지에 280ms가 걸렸다. (지피유)

   컨브넷을 이용하였다. 

- PlanIt: A Crowdsourcing Approach for Learning to Plan Paths from Large Scale Preference Feedback

  주어진 환경에서 사람이 어떤 경로를 좋아하는지를 구하기 위해서 크라우드 소싱을 사용하였다. 

- Towards Learning Hierarchical Skills for Multi-Phase Manipulation Tasks

- Learning Non-Holonomic Object Models for Mobile Manipulation

  탁자와 같은 물체에 대한 dynamic을 physics-based method를 통해서 알아낸다. 즉 non-holonomic 물체에 대한 dynamics를 팔과 같은 mobile manipulator를 통해서 알아내는 연구를 하였다. 

- Learning Models for Following Natural Language Directions in Unknown Environments

  사람의 말을 통해 로봇을 제어하려는 연구이다. 이 때 현재 환경에 대한 사전 정보 없이 사람의 말만을 통해서 로봇이 특정 위치에서 다른 위치로 인동하는 연구를 하였다. 

- Conservative to Confident: Treating Uncertainty Robustly Within Learning-Based Control

  Robust Min-Max Learning Based nonlinear MPC 를 제안하였다. worst case 경우에 대해 optimize를 함으로써 robustness를 얻을 수 있었다. 특히 disturbance를 GP를 통해서 학습시켰다. 

- Coactive Learning with a Human Expert for Robotic Information Gathering

  수중 데이터 모으기 작업에 적용하였다. 

- Predicting Human Reaching Motion in Collaborative Tasks Using Inverse Optimal Control and Iterative Re-planning

  사람과 로봇의 협업에 대한 연구. 이를 위해 사람이 어떻게 움직일지를 예측

  가정은 사람의 행동이 어떤 cost function에 비춰봣을 떄 optimal 하다 

  Inverse Optimal Control을 사용했다고 하자. 

- Experience-Based Planning with Sparse Roadmap Spanners

  E graph논문이다. 복잡한 자유도를 갖는 로봇의 행동에 대해 미리 데이터를 모아서 그래프 형태로 만들고, 그래프 위에서 최단거리 문제를 풀어서 path planning을 하였다. 

- Human-in-the-Loop Approach for Teaching Robot Assembly Tasks Using Impedance Control Interface

  사람과의 협업

- Robot Programming by Demonstration with Situated Spatial Language Understanding

  Programming by demonstration을 하였다. 자연어를 기반으로 하였다. 물체를 메니퓰레이트 하는 것은 기존에 알려진 동작들의 조합으로 표현될 수 잇고, 이 기존 동작들을 특정 자연어를 통해서 설명이 될 수 있기 때문에 복잡한 동작의 경우 이 자연어의 조합으로 표현. 

Manipulation Planning

- Learning Predictive State Representation for In-Hand Manipulation

  로봇 손 메니퓰레이션 문제를 풀 때 외부 환경과 interaction에 대한 predictive state representation을 학습하는 연구를 하였다. 특정 상황에서 특정 행동을 했을 때 contact information을 kernel based method를 통해서 학습시켰다. 

- Lazy Validation of Experience Graphs

  이것도 이 그래프 논문이다. 수많은 데이터를 어떻게 현재 플래닝에 적용할지를 연구하였다. E-Graph를 제안하였고, 이를 현재 partial observation이 주어졌을 때 효과적으로 사용할 수 있는 알고리즘을 제인하였다. 속도를 빠르게 하는데 치중. 

Localization

- Know Your Limits: Embedding Localiser Performance Models in Teach and Repeat Maps

  매핑을 할 때 해당 장소의 feature 뿐 아니라 해당 장소에서 얼마나 잘 localization을 할 수 있는지 정보까지 같이 학습을 시키는 연구이다. 가우시안 프로세스가 사용되었다. 즉 장소에 따라 localiser performance를 같이 학습시켰고, 이 정보를 이용해서 planning을 더 잘 할 수 있게 하였다.