본문으로 건너뛰기
Park JiHo Research notes · Seoul
EN
#frontier-one#robotics#tactile-sensing#vision-language-action

느린 시각과 빠른 촉각을 잇는 T-WLA

시각이 만든 동작 묶음을 촉각이 어떻게 고치는지 T-WLA의 갱신 순서와 잔차 수식을 따라가고, 실험 결과와 아직 확인되지 않은 범위를 나눠 살펴본다.

#30초 요약

  • 방법: 시각 분기는 기억과 기본 동작 묶음을 저장하고, 촉각 분기는 그 사이 유효한 미실행 동작에만 보정량(잔차)을 더한다.
  • 근거: 논문은 손 동작 예측과 네 가지 실물 과제를 따로 평가한다. 표 2의 단순 평균은 50.0%와 47.25%지만, 평가 시행 수와 불확실성 절차는 확인한 범위에 없다.
  • 한계: 과제당 30개는 적응 학습용 시범이다. 사람 손 예측 표의 좌표계 적용 범위도 풀리지 않아 그 표의 수치 우열은 다루지 않는다.
  • 자료 상태: arXiv v1 프리프린트이며 동료평가된 학술지 논문으로 확인되지는 않았다.

#접촉 순간에 시각 계획을 다시 계산해야 할까

물체를 집는 로봇은 카메라로 물체와 주변을 보고, 손끝으로는 미끄러짐이나 접촉 변화를 감지한다. 카메라는 넓은 장면과 목표를 파악하는 데 유리하지만, 매 순간 새 영상으로 긴 계획을 다시 계산하면 처리 부담이 커질 수 있다. 촉각은 손 주변의 접촉을 더 직접적으로 알려 주지만, 장면 전체 맥락까지 대신하지는 못한다.

T-WLA는 두 감각을 같은 주기로 다시 계산하는 대신 역할과 갱신 시점을 나눈다. 시각 갱신 시점 tt에서 시각 분기가 장면 기억과 여러 단계짜리 기본 동작 묶음을 만들고 저장한다. 여기서 동작 묶음(action chunk)은 로봇이 다음에 수행할 여러 동작을 순서대로 담은 계획이다. 그 다음 시각 갱신 전까지 촉각 시점 τ\tau가 여러 번 올 수 있다. 촉각 분기는 새 촉각 기록과 현재 동작 묶음의 경과 시간을 이용해 아직 실행되지 않은 부분을 보정한다. tt와 τ\tau는 갱신 순서를 나타내는 인덱스이고, Δt\Delta t는 실제 경과 시간(초)이다.

수평 시간선에서 시각 갱신 t 두 번 사이 촉각 갱신 tau 여러 번이 표시되고, 아래에는 시각 branch, 촉각 editor, 보정 동작 묶음이 세로로 이어진다. 그림의 글자가 작다면 원본 크게 보기 · 새 탭
직접 제작한 설명 도식 시각 갱신 t에서 기본 묶음을 저장하고 다음 시각 갱신까지 유지한다. 그 사이 촉각 갱신 tau에서 최근 촉각과 경과 시간으로 보정한다. 도식은 시점 관계만 보여 주며 실제 갱신 빈도나 성능 결과가 아니다. JJo · 직접 제작 · 출처 · 자체 제작 설명 자료 · 독립적인 설명용 구성

저자들은 손 동작 예측 설정에서 시각 갱신 39.7 Hz(초당 39.7회), 촉각 보정 119.1 Hz(초당 119.1회)를 보고한다. 이는 해당 설정의 갱신 빈도이지, 실제 접촉 뒤 동작이 완료될 때까지의 지연이나 이 방식이 만든 성능 향상을 뜻하지 않는다.

#시각이 만든 기본 동작 묶음을 촉각은 어떻게 고칠까

잔차(residual)는 기존 계획에 더해지는 보정량이다. 마스크(mask)는 특정 위치를 계산에서 제외하거나 허용하는 표시다. 그러므로 실행이 끝난 위치나 채워 넣기용 padding 위치에 새 보정이 들어가면 안 된다.

촉각은 저장된 어느 계획을 기준으로 보정할까? A^t,τ=fact(MVt)+E(MVt,Atbase,Zt,τ,Δtt,τ)\hat{A}_{t,\tau}=f_{\mathrm{act}}(M_V^t)+\mathcal{E}(M_V^t,A_t^{\mathrm{base}},Z_{t,\tau},\Delta t_{t,\tau}) 식이 길면 좌우로 이동해 읽으세요. 키보드는 수식에 초점을 둔 뒤 방향키를 사용합니다. 기호·연산·계산 과정 펼치기

원문 위치: §3.1 식 (1), PDF 4쪽. 학습된 정책의 갱신식을 설명한다.

이 식은 물리 법칙을 직접 계산하는 공식이 아니라, 학습된 정책이 동작 묶음을 내는 방법을 요약한다. fact(MVt)f_{\mathrm{act}}(M_V^t)는 시각 기억 MVtM_V^t를 바탕으로 기본 동작 묶음 AtbaseA_t^{\mathrm{base}}를 만든다. 논문 표기에서 MVtM_V^t의 V는 아래첨자이고 t는 위첨자다. 촉각 편집기 E\mathcal{E}는 같은 시각 기억, 원래 기본 묶음, 촉각 문맥 Zt,τZ_{t,\tau}, 그리고 동작 묶음이 시작된 뒤의 시간 Δtt,τ\Delta t_{t,\tau}를 받는다. E\mathcal{E}는 여기서 기댓값 기호가 아니라 편집기 이름이다. 결과 A^t,τ\widehat{A}_{t,\tau}는 보정된 묶음이다.

기본 묶음은 편집 뒤 결과로 덮어쓰지 않고 캐시에 남는다. 다음 촉각 갱신에서도 이전에 보정한 결과를 다시 기준으로 삼지 않고, 같은 원본 묶음 AtbaseA_t^{\mathrm{base}}를 기준으로 잔차를 새로 계산한다. 마스크는 유효하고 아직 실행되지 않은 동작 위치만 통과시킨다. 누락되거나 유효하지 않은 촉각 기록은 편집 문맥을 0으로 만들며, 실행 완료 위치와 무효 위치는 동작 마스크에서 제외된다.

기호의 단위도 구분해야 한다. Δt\Delta t는 초 단위이며, 구현에서는 시간 투영에 넣기 전 10을 곱한다. MVtM_V^t와 Zt,τZ_{t,\tau}는 학습된 내부 표현이지 거리나 압력의 물리 측정값이 아니다. 부록 D.1은 한 동작 묶음을 16개 위치, 위치마다 192개 채널로 구성하고, 그중 138개는 동작 데이터, 54개는 padding이라고 설명한다. 이 채널은 손목 이동·회전과 관절 표현 등 서로 다른 좌표 성분을 포함하므로 AA 전체에 하나의 물리 단위를 붙일 수 없다. 논문은 모든 동작 채널의 단위를 하나로 정하지 않는다.

가상 순서 예: 한 묶음의 1–6번째 위치가 이미 실행됐다고 생각해 보자. 촉각 편집은 7번째 이후 중에서도 유효한 미실행 위치만 바꿀 수 있다. 무효 위치와 padding은 그대로 제외한다. 이것은 마스크를 설명하기 위한 순서 예이며 실제 실험에서 사용한 동작 크기나 성능 수치가 아니다.

동작 묶음에서 실행 완료 회색, 유효 미실행 황색, 무효 padding 빨강이 구분된다. 아래에는 같은 A_base와 현재 잔차가 표시되고, 잔차 화살표는 황색 구간에만 닿는다. 그림의 글자가 작다면 원본 크게 보기 · 새 탭
직접 제작한 설명 도식 현재 잔차는 캐시된 같은 기본 묶음의 유효한 미실행 위치에만 적용된다. 실행 완료 구간과 무효 padding은 바뀌지 않는다. 설명도식이며 측정 결과가 아니다. JJo · 직접 제작 · 출처 · 자체 제작 설명 자료 · 독립적인 설명용 구성

그림의 회색 구간은 이미 실행된 위치, 황색은 유효한 미실행 위치, 붉은 구간은 padding을 구분한다.

#촉각 신호가 잔차로 바뀌는 과정

촉각 센서의 원시 기록 전체를 그대로 더하는 것이 아니다. 모델은 현재 손별 촉각 기록과 고정된 기준 촉각 기록을 같은 인코더로 바꾼 뒤, 두 내부 표현의 차이를 촉각 문맥으로 사용한다. 다음 식은 그 차이와 두 손의 편집을 만드는 부분을 보여 준다.

현재 촉각은 어떤 기준과 비교되는가? Zt,τr=vt,τr[FT(Ht,τr)−FT(Hrefr)]Z_{t,\tau}^{r}=v_{t,\tau}^{r}\left[F_T(H_{t,\tau}^{r})-F_T(H_{\mathrm{ref}}^{r})\right] 식이 길면 좌우로 이동해 읽으세요. 키보드는 수식에 초점을 둔 뒤 방향키를 사용합니다. 기호·연산·계산 과정 펼치기

원문 위치: 부록 B.2 식 (6), PDF 17쪽. 촉각 문맥의 정의다.

rr은 왼손 또는 오른손을 가리킨다. Ht,τrH_{t,\tau}^r는 현재까지 관측한 손별 촉각 기록이고 HrefrH_{\mathrm{ref}}^r는 고정된 기준 기록이다. FTF_T는 두 기록에 공통으로 쓰는 촉각 인코더다. vt,τrv_{t,\tau}^r는 해당 기록이 유효한지 표시한다. 유효하지 않으면 이 손의 문맥은 0이 된다. 인코더 출력은 차이를 내기 전에 정규화하고, 차이 자체를 다시 정규화하지 않는다. 따라서 ZZ는 압력의 단위로 읽을 수 있는 값이 아니라 학습된 특징 표현이다.

촉각 문맥은 동작 묶음의 어느 성분을 바꾸는가? Ur=Woutr[γr(Zr)⊙Hact+βr(Zr)],ΔAt,τ=∑r∈{L,R}meditr⊙UrU^{r}=W_{\mathrm{out}}^{r}[\gamma^{r}(Z^{r})\odot H^{\mathrm{act}}+\beta^{r}(Z^{r})],\qquad \Delta A_{t,\tau}=\sum_{r\in\{L,R\}}m_{\mathrm{edit}}^{r}\odot U^{r} 식이 길면 좌우로 이동해 읽으세요. 키보드는 수식에 초점을 둔 뒤 방향키를 사용합니다. 기호·연산·계산 과정 펼치기

원문 위치: 부록 B.3 식 (7)–(8), PDF 17–18쪽. 손별 잔차와 편집 마스크를 정의한다.

식 (7)에서 촉각 문맥은 동작 특징을 조절하는 손별 크기 γr\gamma^r와 이동 βr\beta^r로 바뀐다. 조절된 특징은 출력층을 지나 손별 후보 잔차 UrU^r가 된다. 식 (8)은 손별 후보에 편집 마스크를 적용한 뒤 왼손과 오른손의 잔차를 합한다. 이 식은 Eq. (1)의 편집기를 풀어 쓴 구현 설명이다. 같은 촉각 문맥을 다시 더하는 별도 보정 단계는 아니다.

#비슷한 문제를 다룬 선행 연구

느린 계획과 빠른 촉각을 결합하는 발상 자체가 T-WLA에서 처음 등장한 것은 아니다. 선행 연구를 보면 빠른 촉각 신호를 계획에 연결하는 방식이 서로 다르다. Reactive Diffusion Policy는 느린 정책이 잠재 동작 묶음을 만든 뒤, 빠른 촉각 디코더가 그 묶음에서 다음 동작을 순차적으로 출력한다. T-Rex는 동작을 만들기 위해 잡음(noise)을 단계적으로 줄이는 계산을 느린 전문가가 중간까지 수행하고, 빠른 촉각 전문가가 남은 단계를 이어 간다. ViTaR는 효과·선호 증거를 바탕으로 잔차 후보를 고르고 촉각 문맥으로 크기를 조절한다.

T-Rex 구조도. 위쪽은 Latent, Action, Tactile Expert와 shared attention을, 왼쪽 아래는 Action Expert가 step 0에서 6까지 처리하고 intermediate-noise action을 Tactile Expert에 넘겨 step 10까지 다듬는 순서를, 오른쪽은 T-Rex의 약 5 Hz와 약 20 Hz 실행 라벨을 보여준다. 그림의 글자가 작다면 원본 크게 보기 · 새 탭
선행 연구 원본 도판 선행 연구 T-Rex는 느린 동작 계산이 만든 중간 표현을 빠른 촉각 전문가가 이어서 다듬는다. T-WLA의 장비나 실험 결과를 보여 주는 그림은 아니다. Figure 3 from Niu et al., “T-Rex: Tactile-Reactive Dexterous Manipulation,” arXiv:2606.17055v2, https://arxiv.org/abs/2606.17055v2, CC BY 4.0. Used unmodified. · 출처 · CC BY 4.0 · 원본 전체 무수정

이 선행 연구 도판은 왼쪽 아래부터 읽으면 계산 분담이 보인다. 여기서 잡음 제거(denoising)는 센서의 잡음을 지운다는 뜻이 아니라, 잡음이 섞인 동작 표현을 여러 단계의 계산으로 동작으로 바꾸는 생성 과정이다.

  1. 초록색 Action Expert(동작 전문가)가 잡음 제거 계산을 먼저 수행하는 부분을 찾는다.
  2. 보라색 인계선을 따라 중간 동작이 Tactile Expert(촉각 전문가)로 넘어가고, 촉각을 이용해 남은 계산이 이어지는 부분을 본다.
  3. 오른쪽 시간축의 약 5 Hz·20 Hz는 T-Rex 그림의 자체 표시다. T-WLA의 사람 손 예측 설정에서 보고된 39.7 Hz·119.1 Hz와 같은 조건의 속도 비교가 아니다. 작은 글자는 그림을 눌러 원본을 확대해 읽을 수 있다.

T-WLA에서 설명의 중심은 ‘촉각이 들어올 때마다 무엇을 기준으로 고치느냐’다. 이 논문은 새 촉각으로 저장된 기본 동작 묶음의 유효한 미실행 부분에 잔차를 더한다. 따라서 비교의 차이는 각 논문에 기술된 구조 차이다. 같은 조건에서 재현한 일대일 성능 비교를 뜻하지 않는다. RDP 원문, T-Rex 원문, ViTaR 원문

#학습 단계와 실행 때의 차이

논문은 한 번에 모든 분기를 함께 학습한다고 설명하지 않는다. 먼저 시각 분기에서 기본 동작과 미래 영상 예측을 학습한다. 이어 촉각 인코더를 별도로 대조 학습한다. 즉 같은 시점의 촉각 기록과 손 자세 기록을 각각 표현하고, 서로 짝이 맞는 예로 다루도록 학습한다. 마지막 편집기 학습 단계에서는 시각 분기를 고정하고 촉각 편집기와 잔차를 학습한다. 이 단계의 미래 영상·미래 압력 예측기는 추가 학습 신호로 쓰이며 실행 시점에는 제거된다. 따라서 미래 정보를 예측하는 보조 출력이 로봇 실행 때 들어온다고 해석하면 안 된다.

편집기는 무엇을 배우고, 잔차는 왜 벌점을 받을까? eb,j,d=A^b,j,d−Ab,j,d⋆,nb,g=∑j∑d∈Dgmb,j,dELedit=1∣B+∣∑b∈B+1∣Gb∣∑g∈Gb∑j∑d∈Dgmb,j,dEρ(eb,j,d)nb,gρ(e)={12e2,∣e∣<1∣e∣−12,∣e∣≥1R^Δ=∑b,j,dmb,j,dE(ΔAb,j,d)2∑b,j,dmb,j,dE\begin{aligned}e_{b,j,d}&=\widehat{A}_{b,j,d}-A^{\star}_{b,j,d},\qquad n_{b,g}=\sum_j\sum_{d\in\mathcal{D}_g}m^{\mathcal{E}}_{b,j,d}\\\mathcal{L}_{\mathrm{edit}}&=\frac{1}{|\mathcal{B}_{+}|}\sum_{b\in\mathcal{B}_{+}}\frac{1}{|\mathcal{G}_b|}\sum_{g\in\mathcal{G}_b}\frac{\sum_j\sum_{d\in\mathcal{D}_g}m^{\mathcal{E}}_{b,j,d}\rho(e_{b,j,d})}{n_{b,g}}\\\rho(e)&=\begin{cases}\frac{1}{2}e^2,&|e|<1\\|e|-\frac{1}{2},&|e|\geq1\end{cases}\\\widehat{\mathcal{R}}_{\Delta}&=\frac{\sum_{b,j,d}m^{\mathcal{E}}_{b,j,d}(\Delta A_{b,j,d})^2}{\sum_{b,j,d}m^{\mathcal{E}}_{b,j,d}}\end{aligned} 식이 길면 좌우로 이동해 읽으세요. 키보드는 수식에 초점을 둔 뒤 방향키를 사용합니다. 기호·연산·계산 과정 펼치기

원문 위치: 부록 C.1 식 (12), PDF 18쪽, 식 (13), PDF 18–19쪽. 두 식은 편집기 학습 손실이며 실행 때의 잔차 제한식이 아니다.

bb는 미니배치 안의 시범, jj는 동작 위치, dd는 동작 성분이다. Dg\mathcal{D}_g는 성분 그룹 gg에 속한 성분들이다. A^\widehat A는 보정된 동작 묶음, A⋆A^\star는 시범에서 기록한 정답 동작 묶음이고, e=A^−A⋆e=\widehat A-A^\star는 둘의 성분별 오차다. mEm^{\mathcal{E}}는 유효하고 편집·감독할 수 있는 항목만 남기는 마스크다. 따라서 nb,gn_{b,g}는 시범 bb에서 그룹 gg에 남은 감독 가능 항목 수다. Gb={g:nb,g>0}\mathcal{G}_b=\{g:n_{b,g}>0\}는 항목이 하나 이상 남은 그룹의 집합이고, B+={b:∣Gb∣>0}\mathcal{B}_+=\{b:|\mathcal{G}_b|>0\}는 감독할 그룹이 하나 이상 있는 시범의 집합이다.

식 (12)는 보정된 동작을 시범 정답에 가깝게 맞춘다. 먼저 각 그룹 안에서 유효 항목의 ρ(e)\rho(e) 평균을 구하고, 그 시범 안에 비어 있지 않은 그룹을 똑같이 평균한 뒤, 감독 가능한 시범을 평균한다. ρ\rho는 오차 절댓값이 1보다 작을 때 제곱 오차의 절반을 쓰고, 그 이상에서는 선형으로 증가하는 Smooth L1 함수다. 이 식에서는 손·성분 그룹을 합친 뒤 한 번에 평균하는 방식과 달리, 그룹과 시범이 차례로 평균된다.

가상 계산 예(단위 없는 장난감 값): 그룹 A의 오차가 [0, 2]라면 ρ\rho 값은 [0, 1.5]이고 그룹 평균은 0.75다. 그룹 B의 오차 [1]은 0.5다. 식 (12)는 두 그룹을 먼저 평균하므로 (0.75+0.5)/2=0.625가 된다. 세 항목을 한 번에 평균하면 2/3이므로 결과가 다르다. 이 숫자는 집계 순서를 설명하는 가상 예이며 논문 데이터가 아니다.

식 (13)의 ΔA\Delta A는 신경망의 원시 출력이 아니라 해당 위치에서 기본 동작에 실제 더해지는 유효 잔차다. 분모는 마스크가 남긴 모든 동작 성분의 개수다. 그러므로 식 (12)처럼 그룹이나 손마다 다시 균등하게 가중하지 않고, 유효 성분 전체의 잔차 제곱을 한 번 평균한다. 예를 들어 가상의 무단위 잔차 [0.1, 0.2, 0.3]이면 평균 제곱은 약 0.0467이다. 감독 가능한 시범 집합 B+\mathcal{B}_+가 비면 식 (12)는 0이고, 식 (13)의 유효 항목 수(분모)가 0이면 식 (13)은 0으로 정의된다.

동작 채널은 이동·회전·관절 등 서로 다른 좌표 성분을 포함한다. 원문은 이 손실에 추가 채널별 물리 단위 변환을 제시하지 않으므로 ee나 ΔA\Delta A 전체에 하나의 물리 단위를 붙이지 않는다. 이 벌점은 학습 중 잔차를 작게 유도하는 항이지, 실행 중 모든 잔차를 제한하는 안전장치나 로봇 성공 보장이 아니다. 여기서는 원문에 없는 결합 계수나 하나의 가중합 목적함수를 덧붙이지 않는다.

학습 목적도 선행법과 다르다. 확인한 RDP 식 (2)는 촉각 표현을 쓰는 비대칭 토크나이저의 동작 묶음 L1 복원과 KL 항을 다루고, 느린 잠재 확산 정책의 식 (3)은 잡음 예측 목표를 다룬다. T-Rex 부록 B 식 (8)–(9)은 동작·촉각 전문가가 공유 흐름 속도의 제곱 오차를 줄이는 학습을 다룬다. 식 (10)은 이 손실들과 미래 영상 예측 손실을 합친 학습 목표다. 이는 동작 학습이라는 넓은 맥락의 비교이지, T-WLA 식 (12)와 같은 마스크·그룹 평균 손실이라는 뜻은 아니다. 확인한 해당 식 구간에서는 식 (13)처럼 유효 잔차 크기를 직접 평균 제곱으로 벌점화하는 대응 항을 확인하지 못했다. 이것은 검토한 식 구간에 한정한 관찰이며, 두 방법의 전체 손실이나 성능이 같거나 다르다는 결론은 아니다. RDP 원문 §IV-B1 식 (2) · T-Rex 원문 부록 B 식 (8)–(10)

방법 질문에 가까운 보조 관찰도 있다. 논문 §4.4의 Table 3은 EgoTouch와 Tachin 사람 손 예측에서 조건을 맞춘 ablation이라고 설명하며, 촉각을 제거한 경우 손가락 관절 오차가 가장 크게 증가했다고 보고한다. 이는 저자들이 보고한 사람 손 예측 결과다. 좌표계 범위 문제는 이 표에서도 풀리지 않으므로 여기서는 증가율이나 수치 우열을 따로 계산하지 않으며, 실물 로봇 성공률의 증거로 바꾸지 않는다.

실험 결과도 두 종류를 나눠 읽어야 한다. 표 1은 EgoTouch와 Tachin에서 사람 손의 미래 동작을 예측한 평가다. 실물 조작 성공률과 같은 평가가 아니다. 본문 §4.2는 손가락 지표를 손목 기준 MPJPE라고 부른다. 반면 부록 D.1은 관절 채널을 손바닥 로컬 좌표로 기술하고, D.2는 저장된 손바닥 로컬 위치를 직접 비교하며 예측 손목 위치를 다시 빼지 않는다고 설명한다. D.2의 정확한 계산 경로가 표 1에도 적용되는지는 확인되지 않았다. 좌표 변환의 적용 범위가 풀릴 때까지 표 1의 수치별 순위와 개선량은 제시하지 않는다. 이 근거만으로 논문에 오류가 있다고 단정하지도 않는다.

표 2는 네 가지 실물 로봇 과제의 성공률과 과제 간 단순 평균을 보고한다. 논문 표에 적힌 비가중 평균은 촉각을 사용하는 T-WLA 50.0%, 촉각을 제외한 같은 계열 모델 47.25%다. 산술 차이는 2.75%포인트다. 이는 표에 보고된 기술통계 차이로만 읽어야 한다. 논문은 적응 학습에 과제당 원격조작 시범 30개를 사용했다고 밝히지만, 확인한 표·본문·부록에서는 성공률 평가 시행 수와 반복·불확실성 절차를 찾지 못했다. 30개를 평가 표본 수로 바꾸거나, 이 차이를 통계적으로 유의하거나 촉각이 성공률을 높였다는 인과 증거라고 말할 수 없다.

#직접 읽고 계산해 보기

먼저 답을 생각한 뒤 아래 해설을 펼쳐 보자. 숫자를 새로 준 문제는 논문의 측정값이 아닌 가상 학습 예제다.

  1. 원본 도판 읽기. T-Rex 그림 왼쪽 아래에서 초록색 동작 전문가의 계산이 보라색 촉각 전문가에게 넘어갈 때, 완성된 동작을 다시 처음부터 만드는가, 중간 동작 표현에서 남은 계산을 이어 가는가? 그림에서 근거가 되는 화살표와 표기를 찾아 설명해 보자.
  2. 보정할 위치 찾기. 가상으로 동작 묶음에 1번부터 6번까지 여섯 위치가 있다고 하자. 1·2번은 이미 실행됐고, 6번은 무효한 padding이며, 3·4·5번은 유효한 미실행 위치다. 새 촉각 잔차는 어디에 적용될까? 다음 순간 3번도 실행됐다면 대상은 어떻게 달라질까?
  3. 손실 평균 계산하기. 식 (12)의 계산 순서를 확인하는 가상 예제다. 샘플 하나에서 두 그룹의 유효 항 개수가 각각 1개와 3개이고, 이미 계산한 그룹별 평균 손실은 각각 1과 3이다. 이 식의 그룹 간 평균은 얼마인가? 모든 유효 항 네 개를 한꺼번에 평균 낸 값과 왜 다를까? 첫 그룹의 유효 항이 전혀 없다면 어떻게 처리할까?
  4. 결과의 범위 판단하기. 표 2의 50.0%와 47.25% 차이를 %포인트로 계산해 보자. 이 차이와 과제당 시범 30개만으로 실제 성공 횟수나 통계적 유의성을 계산할 수 있을까? 계산하려면 어떤 정보가 더 필요한지 써 보자.
해설과 확인할 근거
  1. 중간 동작 표현에서 이어 간다. 원본 도판의 보라색 인계선과 ‘Intermediate Noise Action’, 두 단계의 step 6 표시가 근거다. 이 그림은 선행 연구 T-Rex의 구조이며 T-WLA의 실험 결과가 아니다.
  2. 처음에는 3·4·5번, 3번 실행 뒤에는 4·5번이다. 실행 완료 위치와 무효 padding은 제외한다. 보정의 기준은 직전 촉각 보정 결과를 계속 누적한 값이 아니라 캐시된 원래 기본 동작 묶음이다. 본문의 잔차·마스크 그림과 식 (1), 부록 B.3의 적용 범위를 함께 확인하자.
  3. 두 그룹 평균 1과 3을 같은 비중으로 평균 내므로 2다. 반대로 유효 항을 모두 모으면 첫 그룹의 합은 1, 둘째 그룹의 합은 9여서 전체 평균은 10을 4로 나눈 2.5가 된다. 식 (12)는 그룹 안에서 평균을 낸 뒤 비어 있지 않은 그룹끼리 평균을 낸다. 첫 그룹에 유효 항이 없다면 그 그룹은 제외되고, 이 샘플에서는 둘째 그룹의 평균 3만 남는다. 샘플 평균까지 포함한 정확한 범위와 유효 항이 전혀 없는 경우는 본문 수식 해설에서 확인할 수 있다.
  4. 차이는 2.75%포인트다. 30개는 적응 학습용 시범이므로 평가 시행 수로 사용할 수 없다. 실제 성공 횟수를 해석하려면 과제·모델별 평가 분모와 집계 방식을 알아야 하고, 불확실성이나 유의성을 판단하려면 반복·표본 구성과 분석 절차도 필요하다. 현재 확인한 표·본문·부록만으로 이를 채워 넣을 수 없다.
확인 범위와 출처

#확인 범위와 출처 메모

확인된 결과는 T-WLA가 캐시된 시각 기억·기본 동작과 촉각 잔차를 결합하는 방법, 손 동작 예측 설정에서 보고한 갱신 빈도, 그리고 표 2의 성공률 기술통계다. 서로 다른 실험 설정의 수치를 하나의 성능 지표처럼 이어 붙이지 않는다. 표 1의 좌표계 적용 범위와 표 2의 평가 분모가 확인되지 않았으므로, 순위·개선률·유의성·정확한 성공 횟수는 아직 말할 수 없다.

2026년 11월 9일 확인한 공식 arXiv 기록은 2026년 10월 20일 제출된 v1이며 출판 학술지 정보는 표시하지 않는다. 초록은 프로젝트 페이지에 코드가 있다고 안내하지만, 연결된 페이지에서 시연 자료는 확인했고 코드 저장소 링크는 확인하지 못했다. 그러므로 코드가 없다고 단정하지 않고, 이 확인 시점에 링크를 검증하지 못했다고 적는다. 이 글은 arXiv 논문에 대한 설명이며 동료평가나 독립 재현 결과를 뜻하지 않는다.

Connect