강화학습 11 — 실험실 밖 로봇이 풀어야 할 문제들

로봇이 실험실에서 컵을 집었다. 다음 날 조명을 바꾸고, 카메라를 옮기고, 얇은 유리컵을 놓으면 같은 정책은 얼마나 달라질까? 세 변화가 한꺼번에 일어나면 실패의 원인도 구별하기 어렵다. 마지막 장은 멋진 시연 뒤에 남는 이런 질문을 실제 연구 문제로 바꾸는 데 초점을 둔다. 이전 장 · 체화된 추론

ETH 공식 일정의 11주차이자 Oier Mees의 마지막 본강의다. 녹화에서 강사는 12회라고 소개하고, 데모 데이에 쓸 정책 테스트용 PC 안내로 시작한다. 한국어 전사와 영어 자막을 대조했고, 아래 P 번호는 표지를 포함한 슬라이드 사본의 페이지다. ETH 일정 · 공식 PDF · 슬라이드 사본 목록

#멋진 데모에서 일반화 실험으로

Mees가 풍자적으로 소개한 데모 제작법은 목표 로봇에서 시연을 많이 모으고, 동작이 잘 될 때까지 행동 복제를 반복하고, 같은 날 같은 조명과 카메라에서 찍는 것이다. 이러면 실패하던 상황도 학습 데이터에 넣어 보간, 즉 학습에서 본 사례들 사이의 판단 문제로 바꿀 수 있다. 다른 방과 낯선 도구를 한꺼번에 다룰 수 있는지는 별도로 봐야 한다. 사람은 처음 가는 주방에서도 서랍과 조리 도구에 관한 지식을 다시 조합한다. 강의가 지향하는 것은 이런 조합적 일반화다. 원강의 4:06 · 슬라이드 P004 · 슬라이드 P005

실험에서는 같은 카메라와 물체를 쓰는 조건을 기준으로 삼고, 카메라만 바꾼 조건과 물체만 바꾼 조건을 따로 만든다. 마지막에 둘을 함께 바꾼다. 아래 식은 각 시험 조건의 성공률과 기준 조건에서 얼마나 떨어졌는지 표시하는 교육용 예다.

시도 횟수와 성공 조건도 함께 적어야 한다. 컵을 들어 올린 뒤 2초 동안 놓치지 않는 기준과, 컵을 정해진 곳까지 옮기고 세워 놓는 기준은 결과가 달라질 수 있다.

#백본과 데이터 조합을 따로 고르기

백본은 관측이나 언어를 이후 행동 예측에 쓸 표현으로 바꾸는 모델의 중심 부분이다. 강의는 세 방향을 놓고 비교한다. VLM에서 시작하면 물체 이름과 공간 관계를 표현하는 데 유리하다. 비디오 모델에서 시작하면 앞뒤 장면에서 무엇이 움직이는지 배울 수 있다. 실제 로봇 데이터만으로 처음부터 학습하면 배포 장비의 행동과 접촉을 직접 다루지만, 자료 수집 부담이 커진다. VLM이 유리잔을 잘 알아보거나 비디오 모델이 유리잔이 떨어지는 장면을 그럴듯하게 생성해도, 손끝으로 밀었을 때 실제로 어떻게 넘어질지는 별도의 시험이 필요하다. 원강의 6:50 · 슬라이드 P006 · 슬라이드 P008

데이터 순서에도 여러 선택지가 있다. 웹 데이터로 언어와 물체를 배우고 시뮬레이터에서 상호작용을 늘린 다음 실물에서 맞추는 방식이 있다. 시뮬레이션 구축 대신 실제 로봇 수집에 시간을 쓰는 방식도 있다. 비디오 중심 경로는 인터넷 영상과 사람의 1인칭 영상에서 움직임을 먼저 익히고, 마지막에 로봇 행동을 연결한다. 백본 선택의 이득을 비교하려면 최종 로봇 시연 수와 실제 시험 조건을 같이 맞춰야 한다. 원강의 11:18 · 슬라이드 P009 · 슬라이드 P010 · Scott Reed 초청 강연

리더·팔로워 조작에서는 사람이 움직인 리더 팔을 로봇 팔이 따라간다. Mees는 이 방식이 정교한 시연을 얻기 좋지만, 팔과 장비가 늘면 고장과 유지 비용도 함께 늘어난다고 설명한다. 영상은 훨씬 많이 모을 수 있지만 사람 손과 로봇 그리퍼의 차이가 남는다. 슬라이드의 시간 축은 수집 규모를 설명하는 개념 비교다. 원강의 13:50 · 슬라이드 P011 · 슬라이드 P012

#머그잔을 잡는 데 카메라만으로 부족한 이유

Mees는 박사과정에서 사진으로 머그잔의 3D 형상과 자세를 추정해, 일부 가려진 손잡이를 잡게 했다. 로봇은 손잡이를 놓치고 몸통을 집었고, 그 힘이 너무 커 잔이 깨졌다. 영상이 보여 주는 문제는 접촉 이후의 피드백이다. 카메라는 집게와 컵이 닿은 것처럼 보이는 장면을 보여 줄 수 있고, 힘·촉각 센서는 실제 하중이나 미끄러짐에 관한 신호를 줄 수 있다. 고유수용감각은 관절 각도처럼 로봇이 자기 몸의 상태를 읽는 정보다. 원강의 19:24 · 슬라이드 P013 · 슬라이드 P014

모든 센서를 한 모델에 넣으려면 센서별 자료가 충분하고 시각·촉각·소리가 같은 사건에 맞춰 기록돼야 한다. 값비싼 촉각 센서는 데이터가 적고 장비마다 출력 형식도 다르다. FuSe는 자연어를 공통 표현으로 써서 따로 수집한 센서 자료를 연결한다. 예를 들어 ‘갈색이면서 파인애플처럼 만져지는 물체’를 찾으려면 색은 시각에서, 표면 특성은 촉각에서 읽어야 한다. 봉투 안 물체를 만져 묘사하는 시연은 카메라에 정보가 없을 때 촉각이 무엇을 더하는지 보여 준다. 이 연구는 특정 실험에서의 교차 감각 행동을 보여 준다. 원강의 21:21 · 슬라이드 P016 · 슬라이드 P018 · 슬라이드 P019 · FuSe 논문

#계속 움직일지, 더 생각할지, 멈출지

강의는 익숙한 작업에서는 정책을 빠르게 실행하고, 판단이 애매하면 10장의 추가 추론을 사용하고, 해결하기 어려우면 멈추고 사람에게 넘기는 구조를 제안한다. 아래는 이를 숫자로 이해하기 위한 예다. 신뢰도가 0.8이라고 말하는 사례들을 모았을 때 실제로 약 80% 성공해야 그 구간의 점수가 잘 보정됐다고 말할 수 있다. 접촉 위험이나 안전 한계를 넘는 상황은 점수와 별도로 중단 조건에 넣는다. 원강의 24:40 · 슬라이드 P020 · 슬라이드 P021

겉보기에는 익숙한 컵이어도 센서가 바뀌거나 작업대가 움직였을 수 있다. 물체, 장소, 센서, 로봇 몸체와 지시가 각각 다르게 변하는 환경에서는 자신 있게 틀리는 사례도 생긴다. 판단 경로를 정하려면 성공률과 함께 위험한 상황에서 계속 진행한 횟수, 정상 작업인데 멈춘 횟수, 사람이 개입한 뒤 복구한 비율을 기록할 수 있다.

#배포 경험이 다음 정책을 더 낫게 만들려면

시연이 항상 상태 1에서 2를 거쳐 3으로 가면, 행동 복제는 그 순서를 잘 익힌다. 다른 에피소드에 1에서 중간 지점으로 가는 경험과 그 지점에서 목표까지 가는 경험이 따로 있다면, 오프라인 강화학습은 보상을 기준으로 두 조각을 잇는 경로를 평가할 수 있다. 실제로 경험하지 않은 지름길은 가치가 과대평가될 수 있어, 전이 데이터의 범위와 보상의 정의가 중요하다. 원강의 28:49 · 슬라이드 P022 · 슬라이드 P023

데이터 플라이휠은 배포에서 얻은 경험이 다음 정책의 학습에 들어가고, 개선된 정책이 다시 더 다양한 경험을 쌓는 순환이다. 숙련자의 원격조작은 매끄럽고 짧을 수 있지만, 자율 실행 기록에는 망설임과 실패, 복구가 섞인다. 모두를 같은 정답 행동으로 취급하면 실패 직전의 행동도 따라 배울 수 있다. 실패와 개입을 구별해 기록하고, 학습 뒤 예전 작업의 성능도 다시 측정해야 한다. 새 과제를 익히는 동안 이미 익힌 능력이 떨어지는 현상이 치명적 망각이다. 원강의 31:00 · 슬라이드 P024 · 슬라이드 P025 · 슬라이드 P026 · Sutton의 The Bitter Lesson

#자율 수집을 실제 개선으로 연결하기

강의의 자율 개선 사례에서는 파운데이션 모델이 장면의 어포던스를 바탕으로 해 볼 작업을 제안하고, 실행 뒤 성공 여부를 평가한다. 어포던스는 서랍을 당길 수 있거나 버튼을 누를 수 있는 것처럼 장면이 제공하는 행동 가능성이다. 로봇이 매번 같은 쉬운 작업만 골라도 성공 데이터는 쌓이지만 경험의 범위는 크게 늘지 않을 수 있다. 새로운 작업을 고르는 기준과 성공 판정의 품질을 함께 보아야 순환이 실제로 정책을 개선했는지 판단할 수 있다. 원강의 41:44 · 자율 개선 연구

배포 데이터의 품질 차이를 예로 들면, 사람이 3초에 완수한 행동과 로봇이 15초 동안 망설이다 성공한 행동은 끝 상태가 같아도 동작 분포가 다르다. 실제로 실패한 구간과 사람이 복구한 구간까지 구분해 저장하면, 모방할 행동과 결과를 예측할 경험, 보상으로 비교할 경로를 나눠 사용할 수 있다. 데이터가 늘어난 뒤 같은 평가로 개선을 확인하는 단계가 플라이휠의 중요한 부분이다.

#냉장고 하나에 적응하는 데 필요한 기억

로봇이 냉장고에서 콜라를 꺼낼 때 손잡이 위치만 틀렸다면 “조금 더 왼쪽을 잡아”라는 피드백이 충분할 수 있다. 문을 여는 동작 자체를 모르면 한 번 시범을 보여 주는 편이 유용하다. 인컨텍스트 적응은 이런 말이나 시연을 현재 모델의 입력에 넣어 빠르게 행동을 바꾸는 방식이다. 장기간 모델의 가중치를 갱신하는 평생 학습과는 시간이 다르다. PALO는 소수 시연을 이용한 과제 분해·적응의 사례다. 원강의 35:30 · 슬라이드 P027 · 슬라이드 P032 · PALO 프로젝트

이동형 로봇이 여러 방에서 이 일을 반복하려면, 자기 위치를 파악하면서 지도를 만드는 SLAM과 물체를 조작하는 정책이 정보를 주고받아야 한다. 복도에서는 어떤 방들이 연결되는지 나타낸 위상 지도가 도움이 될 수 있고, 문이나 좁은 선반 앞에서는 실제 거리를 담은 지도가 중요해질 수 있다. VLMaps는 시각·언어 특징을 3D 지도에 넣어 자연어로 위치를 찾는다. LeLaN은 사람의 워크스루 영상 등을 활용해, 미리 만든 지도 없이 언어 목표를 따라가는 정책을 학습한다. 어느 방식이 적합한지는 거리, 환경 변화, 원하는 도착 정밀도에 달려 있다. 원강의 37:09 · 슬라이드 P028 · 슬라이드 P030 · VLMaps 논문 · LeLaN 논문

미끄러지는 물체를 잡을 때는 직전 센서 기록이 필요하다. 몇 주 전에 컵을 어디로 옮겼는지 찾으려면 장소와 사건을 묶은 장기 기록이 더 유용할 수 있다. 모든 카메라 영상을 원본으로 남겼을 때 드는 저장량을 계산해 보면, 기억에 무엇을 남기고 어떤 사건을 요약할지 정해야 하는 이유가 드러난다. 원강의 39:36 · 슬라이드 P029

#무엇을 오래 기억해야 할까

짧은 시간에는 손끝과 컵의 상대 움직임을 자세히 남기고, 긴 시간에는 ‘아침에 컵을 오른쪽 선반에 놓았다’처럼 장소·물체·행동을 묶은 사건을 남길 수 있다. 이 사건을 기억하려면 어떤 물체의 기록인지, 언제 관측했는지와 이후 이동했는지도 연결해야 한다. 컵이 옮겨졌다면 오래된 위치 정보를 현재 위치와 구분해야 한다. 이런 갱신이 집 안의 장기 상호작용에서 중요해진다.

강의는 명시적 3D 지도, 조감도 표현, 방 사이 연결을 나타낸 위상 지도, 물체 관계를 담은 장면 그래프와 워크스루 영상을 모두 후보로 든다. 기억의 표현을 비교하려면 검색 정확도뿐 아니라 목표까지 도달한 비율과 환경이 바뀐 뒤의 갱신 비용도 볼 수 있다. 예를 들어 가구가 옮겨진 날 같은 명령을 반복해 보면 이전 기억을 그대로 쓰는지, 새 관측으로 고치는지를 확인할 수 있다.

#실패가 어디서 시작되는지 볼 수 있는 연구

강의 후반에 Mees는 중요한 문제와 실제로 시험할 수 있는 계획을 함께 고르라고 말한다. 새 비디오 모델부터 고른 뒤 활용처를 찾는 방법 중심 연구도 가능하다. 카메라 시점이 바뀌면 정책이 왜 실패하는지부터 묻는 문제 중심 연구에서는 첫 방법이 실패해도 질문을 유지할 수 있다. 몇 달을 쓰기 전에 스스로 비판적인 리뷰어 2가 되어, 주장이 틀렸음을 가장 빨리 보여 줄 실험부터 생각해 보라는 조언이 이어진다. 원강의 44:14 · 슬라이드 P036 · 슬라이드 P037 · 슬라이드 P040

연구 아이디어를 고를 때는 성공했을 때 무엇이 새로 가능해지는지 적어 본다. 카메라를 다시 설치할 때마다 수십 개 시연을 재수집해야 하던 작업이, 작은 보정 자료만으로 복구된다면 연구가 해결하는 비용이 구체적으로 드러난다. 같은 설정에서 개선되는 작은 수치도 측정 오차와 반복 횟수를 확인해야 한다. 문제의 중요성과 접근 계획을 함께 설명할 수 있어야 한다.

Mees는 많은 아이디어가 실험에서 사라지고, 대부분의 연구가 작은 결과들의 축적이라고 말한다. 단순한 설계는 다른 연구자가 재현하고 규모를 늘리기 쉽다. 또 자신이 흥미를 느끼는 문제를 골라야 실패와 긴 반복을 감당할 수 있다고 강조한다. 이 부분은 강사의 연구 경험에서 나온 조언이다.

카메라 시점의 예라면 먼저 시연 몇 개에 의도적으로 과적합시켜 학습 입력과 행동 출력이 제대로 연결되는지 본다. 입력 영상의 크롭과 좌표, 로봇이 실제로 내는 명령을 그려 본다. 그런 다음 카메라만 옮긴 조건에서 기준 정책과 새 방법을 비교한다. 마지막으로 보지 못한 방과 물체로 시험을 넓힌다. 강의는 결과를 공유할 때 코드·자료를 가능한 범위에서 공개하고, 그림만 보아도 비교 조건이 보이게 하며, 시연에 드러난 범위까지만 주장하라고 권한다. 원강의 51:44 · 슬라이드 P041 · 슬라이드 P042 · 슬라이드 P043

Mees가 박사과정 때 쓰던 로봇은 마감 일주일 전 자동 보정에서 멈췄다. 운 좋게 보정이 끝난 마감 직전 밤에 실험을 몰아서 했다. 이후 Franka와 맞춤 작업대, VR 조작기, 손목 카메라를 갖추는 데 약 1년을 썼다. 실물에서 반복하는 속도가 너무 느리자 동일한 조작 흐름을 쓰는 시뮬레이터를 만들었고, 부수적으로 시작한 작업이 언어로 연속 조작을 평가하는 CALVIN으로 이어졌다. 나중에는 단일 정책으로 25개가 넘는 실제 조작 과제를 학습한 연구도 발표했다. 시뮬레이션 벤치마크와 실제 로봇 연구는 각각의 결과다. 원강의 54:54 · 슬라이드 P044 · 슬라이드 P046 · 슬라이드 P047 · CALVIN 논문 · HULC++ 논문

강의는 학생들의 중간 피드백, 팀 사이의 데이터 공유, 조교들이 만든 실습 환경에 감사를 전하며 끝난다. 공식 일정에는 다음 주 초청 강연이 별도로 이어진다. 원강의 60:10 · 슬라이드 P048 · 슬라이드 P049 · Lucas Beyer 초청 강연

#더 읽기

• 어떤 구조가 예측과 계획을 함께 수행하게 하는지 살펴본다. LeCun · A Path Towards Autonomous Machine Intelligence
• 더 많은 계산과 경험을 활용할 수 있는 방법의 장기적 이점을 논한다. Sutton · The Bitter Lesson
• 실제 환경과의 상호작용을 중심에 둔 로봇 설계 관점을 읽는다. Brooks · Intelligence without Representation

시리즈 첫 장 · 로봇은 무엇을 배우는가