본문으로 건너뛰기
#self-improvement#self-correction#reinforcement-learning#fine-tuning#ntu

자가개선 AI 03 — 자기수정은 언제 학습이 되는가

NTU 2026 Self-Improving 11–15쪽을 영어 편집 슬라이드와 한국어로 해설합니다. 자기수정·미세조정·지도학습·강화학습의 차이와 보상 학습의 계산 예시를 설명합니다.

Series map

시리즈

NTU Hung-yi Lee, Machine Learning 2026 Spring · Self-Improving 상편 11–15쪽

원본 PPTX · 공식 PDF · 강의 영상

강의일은 2026년 5월 8일, 이번 범위의 원문·자막 대조일은 2026년 11월 16일이다. 표지를 1쪽으로 센다. 중국어 문구를 영어로 옮긴 비공식 영어 편집본을 사용하고, 원래 영어인 부분은 유지한다. 각 이미지 아래에 한국어 해설을 붙인다. 공식 원문은 각 이미지의 PDF 링크에서 확인할 수 있다.

시리즈 시작: 자가개선 AI 01 — AI는 무엇을 바꿀 때 더 좋아지는가.

앞선 자가개선 AI 02 — 학습 목표는 누가 만드는가에서는 모델이 자기 답을 학습 목표로 사용할 때 무엇이 달라져야 하는지 살펴봤다. 이번 다섯 장은 답을 고치는 과정이 어떻게 다음 학습의 재료가 되는지 설명한다.

먼저 구별할 것은 두 가지다. 지금 받은 질문의 답을 개선할 수 있고, 파라미터를 학습하여 이후의 출력 방식도 바꿀 수 있다. 자기수정(Self-correction)은 첫 번째를 수행하는 방법이 될 수 있다. 그 결과를 지도학습에 사용하거나, 수정 행동에 보상을 주며 강화학습할 수도 있다. 따라서 자가개선 전체를 강화학습과 같은 뜻으로 쓰면 서로 다른 과정이 섞인다.

영상 시각은 영상에서 제공하는 중국어 번체 자막의 주제 설명 구간이다. 정확한 슬라이드 전환 프레임을 측정한 값은 아니다. 본문의 수식, 숫자 예시, 비교 실험 설계는 이해를 돕기 위해 추가한 해설이다.

#11쪽 — 같은 AI가 더 좋은 학습 목표를 만들 수 있을까?

NTU Self-Improving 11쪽의 영어 편집본. AI가 스스로 답을 생성한다는 제목 아래 앞선 Self-Correction 강의를 연결한다.
P011 — AI-Generated Answers · 원본 11쪽의 비공식 영어 편집본.Original: Hung-yi Lee, NTU and the respective image owners. Unofficial English adaptation for this commentary. · 원본 자료

원본 11쪽 · 영상 약 08:31–08:43

이 장의 썸네일은 강사의 앞선 Self-Correction 강의를 가리킨다. 공식 수업 일정에서 자기수정 강의는 2026년 4월 24일, 이번 자가개선 상편은 5월 8일에 배치되어 있다. 두 주제가 이어지는 구성이다. 공식 강의 일정

앞선 10쪽의 질문을 다시 가져오자. 모델이 자기 출력을 그대로 베껴서 학습하면, 더 좋은 답의 방향을 어디서 얻을 수 있을까? 11쪽은 첫 답을 만든 뒤 점검하고 수정하는 절차를 연결한다.

#모델이 같아도 답을 만드는 조건은 달라질 수 있다

설명용으로 다음 상황을 생각해 보자. 한 모델이 곱셈 문제를 한 번에 풀어 오답을 냈다. 두 번째 호출에는 원래 문제뿐 아니라 첫 풀이도 함께 넣고, 계산을 항별로 점검하도록 한다. 두 호출은 같은 파라미터를 사용하지만 입력 문맥과 수행하는 작업은 다르다.

첫 호출은 답안을 작성한다. 다음 호출은 이미 존재하는 답안에서 오류를 찾는다. 초안이 있으면 검토할 대상이 생기며, 문제를 처음부터 푸는 방식과 다른 계산 경로를 사용할 수 있다. 이 설명은 왜 같은 모델의 수정 결과가 첫 답과 달라질 수 있는가에 대한 것이다. 수정 결과가 언제나 더 정확하다는 보장은 아니다.

여기서 생성 과정의 역할을 나누면 이후 슬라이드가 읽힌다.

단계하는 일다음 단계에 넘기는 것
첫 생성입력을 보고 최초 답을 만든다초안
검토·수정초안의 문제를 찾고 답을 고친다수정 후보
채택수정 후보가 학습에 쓸 만한지 판단한다학습 목표 후보
학습채택한 목표를 이용해 파라미터를 바꾼다새 모델

이 표의 채택 단계는 원본 11쪽에 그려진 절차가 아니라, 수정 결과를 실제 학습 자료로 사용할 때 추가로 구별해야 하는 단계다. 답을 생성한 주체와 답의 품질을 보증하는 근거는 별개의 문제이기 때문이다.

예를 들어 모델이 “이제 오류가 없다”고 말하는 것은 모델의 출력이다. 실행한 프로그램이 테스트를 통과했다는 기록이나 수학적 검산과는 근거의 성격이 다르다. 외부 검증을 사용했다면, 모델이 모든 판단을 혼자 했다고 설명해서도 안 된다.

#12쪽 — 자기수정에는 서로 다른 경로가 있다

NTU Self-Improving 12쪽의 영어 편집본. 오류 탐지와 수정, reflection을 통한 재생성, reasoning을 통한 수정의 세 경로를 보여준다.
P012 — AI-Generated Answers: Self-Correction · 원본 12쪽의 비공식 영어 편집본.Original: Hung-yi Lee, NTU. Unofficial English adaptation for this commentary. · 원본 자료

원본 12쪽 · 영상 약 08:43–09:31

그림은 같은 목적을 가진 세 경로를 나란히 놓는다. 각 경로의 오른쪽에는 수정된 답(corrected)이 있다. 세 그림을 모두 “다시 생각해 보라고 말하기”로 읽으면 차이가 사라진다.

#첫째 줄: 오류를 탐지하고 수정한다

첫 답 뒤에 Detection + Correction이라는 별도 단계가 있다. 강의는 모델 내부 표현(Representation)의 변화를 이용해 오류 가능성을 탐지하고, 그 결과를 수정에 이용하는 사례를 언급한다.

이 그림의 탐지 상자가 반드시 또 하나의 언어모델이라는 뜻은 아니다. 구체적인 방법에서는 어떤 신호로 오류를 판단하는지 먼저 확인해야 한다. 오류 위치를 아는 것, 답 전체가 틀렸다는 사실만 아는 것, 단지 확신이 낮다는 것을 아는 것은 서로 다른 정보다.

가상 계산 예시를 보자. 첫 답이 “17 × 6 = 112”라면, “틀렸다”는 판정보다 “10 × 6과 7 × 6을 각각 계산해 합계를 확인하라”는 피드백이 수정할 위치를 구체화한다. 후자의 절차를 따르면 60 + 42 = 102를 얻는다. 이 숫자는 강의의 실험 결과가 아니라 설명용 예시다.

#둘째 줄: 초안과 반성 내용을 다음 생성에 제공한다

둘째 줄에서는 첫 출력과 reflection이 다음 LLM 호출로 들어간다. 모델의 비평을 언어로 표현하고, 그 내용을 조건으로 다시 답하는 작업 흐름(Workflow)으로 읽을 수 있다.

Self-Refine은 이 구조와 연결해서 읽기 좋은 보충 연구다. 2023년 논문은 하나의 LLM을 초안 생성, 피드백 생성, 수정에 반복 사용한다. 이 절차를 실행하기 위해 추가 파라미터 학습이나 강화학습을 수행하지 않는다. Self-Refine 원문 §2

여기에서 reflection이라는 단어는 모델이 내면의 심리 상태를 가진다는 뜻으로 사용할 필요가 없다. 후속 생성에 넣는 비평 텍스트라고 이해하면 절차가 구체적이다.

다만 비평도 틀릴 수 있다. 잘못된 비평이 강하게 제시되면 이미 맞았던 답을 바꿀 수 있다. 피드백을 읽는 능력과 피드백의 정확성은 따로 확인해야 한다.

#보충 강의 · Stanford CS329T: 피드백의 출처를 구별하기

Stanford CS329T 원본 영어 슬라이드. 왼쪽 RARR는 검색한 근거로 응답을 수정하고, 오른쪽 Self-Refine은 탁구 대화의 초안·비평·수정 예시를 보여준다.
Stanford CS329T, Grounding, Fall 2023 · PDF 45쪽 전체. RARR와 Self-Refine의 응답 수정 예시를 나란히 읽는다.Anupam Datta, John Mitchell, Ankur Taly / Stanford CS329T. Included examples: Gao et al. and Madaan et al., 2023. · 원본 자료

오른쪽 Self-Refine 예시에서 사용자는 탁구에 관심이 있다고 말한다. 첫 답은 운동과 교류에 좋다는 일반적인 설명에 머문다. 피드백은 탁구에 관한 구체적 정보가 부족하고 사용자의 상황을 충분히 반영하지 않았다고 지적한다. 수정 답은 탁구의 특징을 설명하고, 해 본 적이 있는지 또는 배우려는지 묻는다. 초안의 어느 부분을 어떻게 바꿀지 비평이 구체화된 것이다. 이 비평을 다음 입력에 넣는 과정이 원본 12쪽의 둘째 경로와 연결된다. 보충 슬라이드 45쪽

왼쪽 RARR 예시는 검색한 문서를 근거로 응답을 고친다. 두 그림 모두 답을 다시 쓰지만, 피드백에 들어오는 정보는 다르다. 외부 근거를 조회했는지, 모델의 비평만 사용했는지를 나누어 기록해야 결과를 해석할 수 있다. 또한 오른쪽의 대화 품질 개선 예시가 수학적 정답의 자동 검증까지 보여 주는 것은 아니다. 뒤의 자기수정 평가에서는 과제와 피드백 조건을 함께 확인해야 한다.

#셋째 줄: 추론 과정 안에서 점검하고 되돌아간다

셋째 줄은 reasoning을 길게 표시한다. 강의는 추가 토큰을 사용하며 앞선 판단을 점검하고 수정할 가능성을 설명한다. 도식에 LLM 상자가 두 개 있다고 해서 반드시 서로 다른 두 모델을 사용한다는 의미는 아니다. 순차적인 생성의 역할을 나누어 그린 것이다.

이 경로는 완성된 답변 뒤에 새 비평 호출을 붙이는 경우와 다르다. 추론 도중 계산을 다시 하거나, 조건을 빠뜨렸음을 발견하고 중간 선택을 바꿀 수 있다. 따라서 최종 답의 변경만 세면 추론 내부에서 일어난 수정은 보이지 않을 수 있다.

#무엇을 비교해야 자기수정의 효과를 알 수 있을까?

추가 호출이나 토큰에는 계산 비용이 들어간다. 교육용 비교 실험을 설계한다면 다음 세 조건을 함께 두는 것이 좋다.

비교 조건확인하려는 효과
충분히 명확한 지시로 한 번 생성첫 생성의 기준 성능
초안에 피드백을 주고 수정피드백을 활용한 개선
비슷한 계산 예산으로 독립된 답을 여러 번 생성하고 선택추가 계산과 후보 수 증가의 효과

정답을 아는 평가기가 맞는 답에서만 수정을 멈추게 하면, 그 평가기의 정보도 성능에 기여한다. 실제 배포 환경에서 같은 정보가 있는지 밝혀야 공정하게 해석할 수 있다.

Huang 등의 ICLR 2024 논문은 외부 정답 피드백 없이 수행하는 내재적 자기수정(Intrinsic self-correction)을 평가했고, 조사한 추론 문제와 모델에서 성능 저하를 관찰했다. 초기 프롬프트의 강도, 정답을 이용한 중단 조건, 계산 예산도 분석한다. 이 결과를 모든 모델과 모든 수정 방법에 대한 불가능성 정리로 확대하면 안 된다. 적용 범위가 정해진 경험적 결과다. 원문 §3–5

#13쪽 — 답은 고쳤는데 모델의 파라미터는 그대로다

NTU Self-Improving 13쪽의 영어 편집본. 위에서는 자기수정으로 답을 고치지만 LLM 아래에 Nothing changes라고 표시하며, 아래에서는 같은 모델이 다시 최초 출력을 내는 구조를 보여준다.
P013 — Nothing changes… · 원본 13쪽의 비공식 영어 편집본.Original: Hung-yi Lee, NTU. Unofficial English adaptation for this commentary. · 원본 자료

원본 13쪽 · 영상 약 09:31–10:13

이 장의 핵심 문구는 Nothing changes…다. 아무 일도 일어나지 않았다는 뜻으로 읽으면 안 된다. 위쪽에서는 실제로 출력이 수정되었다. 그대로인 것은 여기서 설명하는 언어모델의 파라미터다.

#문맥이 달라지는 것과 가중치가 달라지는 것

추론 중 자기수정을 설명하기 위해 다음 기호를 추가하자. y0y_0는 첫 답, c0c_0는 피드백, y1y_1은 수정 후보다.

y0∼pθ(⋅∣x),y1∼pθ(⋅∣x,y0,c0).y_0\sim p_\theta(\cdot\mid x),\qquad y_1\sim p_\theta(\cdot\mid x,y_0,c_0).

두 식의 θ\theta가 같다. 달라진 것은 조건으로 넣은 문맥이다. 두 번째 생성은 원래 질문에 더해 초안과 피드백도 본다. 그러므로 같은 모델이어도 출력이 달라질 수 있다.

이제 초안과 피드백이 없는 새 실행에서 원래 질문만 다시 넣으면, 다시 사용하는 분포는 pθ(⋅∣x)p_\theta(\cdot\mid x)다. 앞선 수정 경험이 자동으로 가중치에 기록되지는 않는다.

강의에서는 이를 같은 질문에 같은 오답을 다시 내는 그림으로 설명한다. 확률적으로 샘플링하는 모델에서는 답 문장이 반드시 같다고 표현할 수는 없다. 정확한 해석은 모델, 입력, 추론 설정 등 조건이 같다면 기본 출력 분포가 앞선 수정만으로 바뀌지 않는다는 것이다. 결정적 디코딩을 하는 동일한 실행 조건에서는 같은 출력이 반복될 수 있다.

대화 기록을 계속 붙이거나 외부 메모리에서 수정 내용을 다시 불러오면 다음 답에 영향을 줄 수 있다. 이 경우에는 입력이나 시스템 상태가 바뀐 것이다. 파라미터 학습과 구별해 기록해야 한다.

이후 답이 달라진 이유바뀐 대상파라미터 학습 여부
첫 답과 비평을 프롬프트에 추가했다입력 문맥이 조작 자체로는 학습하지 않음
수정 경험을 저장하고 다음 실행에서 검색했다외부 메모리와 입력 문맥이 조작 자체로는 학습하지 않음
수정 답을 목표로 손실을 계산하고 최적화했다모델 파라미터학습함

이 표는 자기수정이 쓸모없다는 결론을 뜻하지 않는다. 추론 절차가 정확도를 높인다면 그 자체로 유용하다. 다만 요청할 때마다 점검 절차를 실행해야 할 수 있다. 다음 14쪽은 그 수정 결과를 학습 자료에 넣어, 첫 출력부터 더 좋은 답이 나오도록 훈련하는 방향으로 넘어간다.

#결과물 개선과 모델 개선을 따로 측정하자

한 문제에서 수정한 답이 맞았다는 관찰로는 두 가지를 알 수 없다. 다른 문제에서도 수정이 잘 되는지, 수정 과정 없이 새 모델의 첫 답도 나아졌는지다.

첫 번째는 수정 절차의 일반화에 관한 질문이다. 두 번째는 파라미터 학습의 효과에 관한 질문이다. 같은 실험표에 넣더라도 첫 시도 정확도, 수정 후 정확도, 추론 비용을 따로 제시하면 무엇이 나아졌는지 드러난다. 학습과 평가에 같은 문제를 사용했다면 그것 역시 새로운 문제로의 일반화와 구분해야 한다.

#보충 강의 · Aviral Kumar: 병렬 후보 선택과 순차 자기수정

Aviral Kumar의 원본 영어 발표 슬라이드. 왼쪽은 기반 모델의 독립 후보를 검증기로 순위화하고, 오른쪽은 학습된 모델이 이전 응답을 순차적으로 수정하는 구조다.
Aviral Kumar, Simons Institute 발표, 2025-03-31 · PDF 5쪽, 인쇄 번호 5. 병렬 생성과 순차 수정에 추론 계산을 배분하는 두 방식을 보여준다.Aviral Kumar, Carnegie Mellon University / Simons Institute. Included source: Snell et al., 2024. · 원본 자료

왼쪽은 하나의 입력에서 후보를 여러 개 생성하고 검증기(Verifier)로 순위를 매기는 구조다. 오른쪽은 앞서 만든 응답을 바탕으로 다음 응답을 고치는 구조다. 같은 추가 계산도 독립된 후보를 더 뽑는 데 쓸지, 이전 후보를 수정하는 데 쓸지에 따라 절차가 달라진다. 따라서 자기수정의 이득을 보려면 호출 횟수뿐 아니라 사용한 토큰과 후보 선택 절차도 비교해야 한다. 발표 슬라이드 5쪽

여기서 오른쪽의 Trained LLM은 수정 행동을 수행하도록 학습한 모델을 사용한다는 뜻이다. 그림의 응답 간 화살표마다 가중치를 업데이트한다는 뜻은 아니다. 학습 단계에서 수정 능력을 준비하는 것과, 준비된 모델을 추론 단계에서 여러 번 호출하는 것을 구분하면 원본 13쪽의 “파라미터는 그대로”라는 설명과 충돌하지 않는다. 다음 14쪽에서는 수정 결과를 실제 파라미터 학습에 사용하는 별도 단계를 살펴본다.

#14쪽 — 수정된 답을 학습 목표로 삼는다

NTU Self-Improving 14쪽의 PPT 재렌더본. 자기수정으로 만든 답을 목표로 모델 파라미터를 미세조정하고, 새 모델이 입력에서 수정된 답을 직접 생성하도록 학습한다.
P014 — Fine-tune model parameters · 원본 영어 문구를 보존한 PPT 재렌더본.Original: Hung-yi Lee, NTU. English text preserved; re-rendered from the original PPTX with font-fit adjustments. · 원본 자료

원본 14쪽 · 영상 약 10:13–11:17

위쪽에는 기존의 자기수정 과정이 있다. 가운데에서는 현재 모델의 출력과 수정된 답을 비교한다. 아래쪽에는 파라미터를 미세조정(Fine-tuning)한 모델이 있다. 색이 바뀐 LLM 상자는 학습 전후를 구별한다.

가운데의 ?????는 학습 중 모델이 내는 출력 자리다. 오른쪽의 corrected를 목표로 두고 비교한다고 읽으면 앞선 8쪽의 손실 그림과 연결된다. 아래 도식은 학습의 목표를 보여준다. 모든 입력에서 반드시 수정 답을 출력한다는 보장은 아니다. 실제 자막도 새 모델이 수정된 답을 출력할 가능성이 커진다는 취지로 설명한다.

#수정 후보를 목표로 고정하고 학생을 업데이트한다

원본에서 yy는 모델 출력, y^\hat y는 목표다. 여기서는 수정해서 채택한 답을 y~\tilde y로 따로 쓰자. y~\tilde y가 원본의 y^\hat y 자리에 들어간다.

예를 들어 모델로 초안을 만든 뒤 수정하고, 사용할 수 있다고 판단한 입력·수정 답 쌍을 모은다. 채택한 예제의 인덱스 집합을 II라고 하자. II가 비어 있지 않을 때, 언어모델의 지도 미세조정(Supervised fine-tuning, SFT)을 설명하는 한 가지 손실은 다음과 같다.

LSFT(θ)=−1∣I∣∑i∈I∑t=1Tilog⁡pθ ⁣(y~i,t∣xi,y~i,<t).L_{\mathrm{SFT}}(\theta) =-\frac{1}{|I|}\sum_{i\in I}\sum_{t=1}^{T_i} \log p_\theta\!\left(\tilde y_{i,t}\mid x_i,\tilde y_{i,<t}\right).
  • y~i,t\tilde y_{i,t}: 채택한 수정 답의 tt번째 토큰.
  • y~i,<t\tilde y_{i,<t}: 그보다 앞의 목표 토큰들.
  • TiT_i: 해당 답의 토큰 수.
  • 음의 로그확률: 목표 토큰에 부여한 확률이 낮을수록 커지는 손실.

이 식은 예제별 토큰 손실을 합하고 예제 수로 나누는 형태다. 실제 구현에서 각 예제의 토큰 수로 먼저 나눈 뒤 평균하면 긴 답과 짧은 답의 상대적 기여가 달라진다. 전체 토큰 수로 한 번 나누는 방식은 고정된 같은 배치에서 전체 손실의 크기를 바꾸는 것이므로, 두 경우를 구별해야 한다.

여기서는 생성·수정을 마친 답을 고정된 학습 목표로 취급한다. 학생 모델의 확률과 파라미터를 미분한다. “모델이 만든 답”이라는 이유만으로, 이미 샘플링한 답을 생성 과정 전체에 걸쳐 역전파하는 것은 아니다.

#이 과정에서 학습 신호는 어디서 달라졌을까?

앞선 10쪽의 단순 복사와 비교하면, 목표가 검토·수정을 거친 출력으로 바뀌었다. 최초 출력의 분포와 수정 후 채택된 출력의 분포가 달라질 수 있다. 이것이 새 학습 신호를 구성하는 지점이다.

그러나 “수정됨”은 품질 보증 표식이 아니다. 설명용 곱셈 문제에서 112를 102로 바꾸었다면 올바른 목표를 얻었다. 112를 104로 바꾸었다면 새로운 오답을 얻은 것이다. SFT 손실은 목표의 진실성을 자동으로 판별하지 않는다. 설정한 목표의 확률을 높이려 한다.

따라서 수정 답을 학습에 넣기 전에 어떤 기준을 사용했는지 기록해야 한다. 수학의 정답 비교, 코드의 테스트, 명시적 형식 조건, 사람의 검토는 각각 확인하는 범위가 다르다. 한정된 테스트 통과를 모든 입력에 대한 정확성으로 확대해서도 안 된다.

#최종 답을 배우는 것과 수정하는 방법을 배우는 것은 다르다

이 차이는 구현에서 특히 중요하다.

학습 목표모델에 주는 입력학습시키는 출력우선 확인할 평가
좋은 결과를 바로 내기원래 문제채택한 최종 답새 문제의 첫 시도 성능
초안을 보고 고치기문제 + 초안, 필요하면 피드백수정 답 또는 비평과 수정새 초안에 대한 수정 성능

14쪽 아래 그림은 첫 번째 목적을 직접 보여준다. 여러 단계의 수정으로 얻은 결과를 모델에 학습시켜, 배포 시 더 짧은 절차로 재현하려는 해석이 가능하다. 추가 추론에 쓰던 계산의 일부를 학습 비용으로 옮기는 셈이다. 효과는 학습된 모델과 실제 추론 절차를 비교해서 확인해야 한다.

두 번째 목적을 평가할 때는 초안의 출처도 중요하다. 학습 당시 모델이 만들던 실수와 업데이트된 모델이 새로 만드는 실수가 다를 수 있다. 이전 모델의 고정된 오답을 잘 고친다는 사실이 곧 자기 자신의 새 오답도 잘 고친다는 뜻은 아니다.

#강의가 연결하는 실제 사례: Constitutional AI

강사는 이 장의 마지막 부분에서 Constitutional AI를 언급한다. 2022년 12월 15일 공개된 논문의 지도학습 단계는 원칙에 따라 응답을 비평하고 수정한 뒤, 수정 응답으로 원래 모델을 미세조정한다. 바로 이 장과 연결되는 부분이다. 원문 §1.2, §3

논문 전체에는 별도의 강화학습 단계도 있다. AI의 응답 비교로 선호 자료를 만들고, 선호 모델을 학습하여 보상 신호로 사용한다. 따라서 “수정 답으로 SFT한다”는 단계와 “AI 피드백으로 RL한다”는 단계를 나누어 설명해야 한다. 또한 사람이 정한 원칙이 들어가므로, 평가 기준까지 사람 없이 저절로 생겼다고 해석할 수는 없다. 원문 §4

#보충 강의 · Stanford CS224N: 원칙을 비평과 수정으로 바꾸기

Stanford CS224N 원본 영어 슬라이드. 부적절한 요청에 대한 초기 응답을 비평하고, 문제를 제거한 응답으로 수정하는 Constitutional AI 예시다.
Stanford CS224N, Lecture 10, 2024-05-02 · PDF 92쪽, 인쇄 번호 97. Constitutional AI의 비평 요청·비평·수정 요청·수정 응답을 보여준다.Archit Sharma, Stanford CS224N; based on Jesse Mu's slides. Constitutional AI example: Bai et al., 2022. · 원본 자료

오른쪽 예시를 위에서 아래로 읽으면 처음 응답, 문제점을 찾으라는 비평 요청, 실제 비평, 수정 요청, 수정 응답이 차례로 나온다. 모델에 막연히 더 좋은 답을 요구하는 대신, 어떤 문제가 있는지 설명하게 한 뒤 그 문제를 제거하도록 요청한다. 평가 원칙이 비평 문장을 거쳐 수정 행동으로 연결되는 모습이다. 보충 슬라이드 PDF 92쪽

이 그림이 직접 보여 주는 것은 한 응답을 고치는 절차다. 그 수정 응답을 모아 SFT의 목표로 쓰는 단계는 앞서 읽은 Constitutional AI 원문의 지도학습 절차와 연결해서 봐야 한다. 또 슬라이드 왼쪽의 AI 피드백 기반 RL은 그 뒤에 구분되는 학습 단계다. 비평 생성, 수정 답의 지도학습, 선호 기반 강화학습을 각각 표시하면 어느 지점에서 파라미터가 바뀌고 어떤 신호를 사용하는지 분명해진다. Constitutional AI 원문 §3–4

#15쪽 — 정답을 주는 지도학습에서 점수를 주는 강화학습으로

NTU Self-Improving 15쪽의 영어 편집본. 지도학습은 출력 y와 목표 y-hat를 비교하고 강화학습은 출력을 보상 함수로 평가하는 구조를 비교한다.
P015 — How Do Humans Help AI Improve? · 원본 15쪽의 비공식 영어 편집본.Original: Hung-yi Lee, NTU and the respective image owners. Unofficial English adaptation for this commentary. · 원본 자료

원본 15쪽 · 영상 약 11:17–13:01

이 장은 “지도학습에는 목표 답이 필요하지만, 강화학습은 어떤가?”라는 질문에서 시작한다. 아래 왼쪽에서는 모델 출력 yy와 목표 y^\hat y를 비교한다. 오른쪽에서는 출력을 보상 함수(Reward function)에 넣어 평가한다.

#정답의 형태를 알려주는 것과 결과의 점수를 알려주는 것

지도학습의 전형적인 신호는 “이 입력에서는 이 답을 내라”는 목표다. 강화학습에서는 모델이 선택한 행동이나 출력의 결과에 점수를 부여하고, 누적 또는 기대 보상을 높이도록 정책(Policy)을 학습한다.

구분지도학습의 전형적 형태강화학습의 전형적 형태
직접 받는 신호입력과 대응하는 목표 출력선택한 행동·출력에 대한 보상
기본 질문목표를 얼마나 잘 재현하는가?어떤 선택이 더 큰 보상을 주는가?
학습 기준의 예목표 토큰의 음의 로그우도기대 누적 보상
사람의 설계가 들어가는 지점문제·자료·목표·손실문제·환경·보상·제약

“완성된 모범 답안이 반드시 필요하지 않다”는 말이 “아무 평가 기준도 필요 없다”는 뜻은 아니다. 예를 들어 코드를 생성한 뒤 테스트 통과 여부로 보상할 수 있다. 이때 테스트 작성과 실행 조건이 신호의 일부다. 수학 답을 정답과 대조해 보상을 주는 구성이라면 학습 때 정답 정보도 사용한 것이다.

#원본의 보상 부호를 주의하자

보통 강화학습에서 보상 rr은 클수록 좋은 값이다. 그런데 이 슬라이드의 Reward function 오른쪽에는 손실을 뜻하는 ℓ\ell이 나온다.

이는 자막으로 확인할 수 있는 의도적인 표기 선택이다. 강사는 지도학습과 하나의 틀에서 이야기하기 위해 이 강의에서는 보상 함수의 출력을 작을수록 좋은 손실처럼 취급한다고 설명한다. 해당 설명 약 11:47–12:16

두 관례를 연결하는 설명용 변환은 다음과 같다.

maximize J(θ)=Ey∼pθ(⋅∣x)[r(x,y)]⟺minimize L(θ)=−J(θ).\text{maximize }J(\theta) =\mathbb E_{y\sim p_\theta(\cdot\mid x)}[r(x,y)] \quad\Longleftrightarrow\quad \text{minimize }L(\theta)=-J(\theta).

여기서는 하나의 입력에 대한 완성 답을 하나의 선택으로 단순화했다. 보상이 0 또는 1이라면 1−r1-r을 비용으로 사용해도 같은 순서로 출력을 평가한다. 실제 순차적 문제에서는 상태, 행동, 시간에 따른 보상의 합과 할인율 등을 함께 정의해야 한다.

최적화 방향을 맞춘다고 학습 알고리즘까지 같아지는 것은 아니다. 보상은 테스트 통과 여부처럼 미분 불가능할 수 있다. 언어모델이 선택하는 토큰도 이산적이다. 이런 상황에서는 단순히 보상 숫자를 모델 출력과 같은 방식으로 미분하는 대신, 정책이 선택에 부여한 확률을 통해 업데이트를 구성할 수 있다. 기대 보상의 기울기를 이용하는 정책 경사(Policy gradient)가 그 예다. Sutton et al., NIPS 1999

#숫자로 보는 두 선택의 보상 학습

다음은 업데이트 방향을 확인하기 위한 가상 두 선택 예시다. 실제 LLM 학습 실험이나 특정 RL 알고리즘의 재현 결과가 아니다.

답 후보현재 선택 확률보상 rr비용 1−r1-r
A0.410
B0.601

기대 보상은 0.4×1+0.6×0=0.40.4\times1+0.6\times0=0.4, 기대 비용은 0.6이다. A를 선택하는 확률을 p=σ(z)p=\sigma(z)로 표현하자. σ\sigma는 시그모이드 함수다. 이 작은 문제에서는 두 후보의 보상을 모두 알고 있으므로 기대 보상과 기울기를 정확히 계산할 수 있다.

J(z)=σ(z),dJdz=σ(z)(1−σ(z))=0.4×0.6=0.24.J(z)=\sigma(z),\qquad \frac{dJ}{dz}=\sigma(z)(1-\sigma(z))=0.4\times0.6=0.24.

학습률을 0.1로 놓고 기대 보상을 높이는 방향으로 한 번 움직이면 다음과 같다.

z=log⁡0.40.6≈−0.405465,z′=z+0.1×0.24≈−0.381465.z=\log\frac{0.4}{0.6}\approx-0.405465,\qquad z'=z+0.1\times0.24\approx-0.381465.

새 A 선택 확률은 약 0.405774, 기대 비용은 약 0.594226이다. A가 보상이 큰 선택이므로 A의 확률이 올라간다. 여기서는 완성된 목표 문장을 그대로 따라 쓰라는 손실을 주지 않았고, 두 결과의 점수 차이가 업데이트 방향을 결정했다.

만약 보상 설계가 잘못되어 B에 더 큰 점수를 주면 업데이트 방향도 달라진다. 학습이 보상을 잘 최적화하는가와, 그 보상이 우리가 원하는 능력을 잘 측정하는가는 구별해야 한다. 이것이 강사가 보상 함수의 설계에 사람의 개입이 남아 있다고 강조하는 이유다.

#자기수정과 강화학습은 어디에서 만나는가?

지금까지의 구분을 실제 연구와 연결해 보자. SCoRe는 자기수정 행동을 여러 차례의 응답에 걸친 강화학습으로 훈련한다. 이 연구는 2024년에 공개되고 ICLR 2025에 발표되었다. 학습 시 현재 모델이 만든 응답과 수정 시도를 사용하며, 수정 진전을 장려하는 보상 설계와 단계적 학습을 도입한다. SCoRe 원문 §3–5

연구가 지적하는 문제는 “좋은 최종 답을 학습했으니 고치는 능력도 배웠을 것”이라는 가정이다. 조사한 설정에서는 고정된 수정 자료를 이용한 SFT가 학습 시점과 평가 시점의 오류 분포 차이에 취약하거나, 두 번째 답을 거의 바꾸지 않는 행동으로 이어졌다. 단순한 RL 구성에서도 이런 문제가 관찰되어 별도의 설계가 필요했다. 이는 모든 SFT가 실패한다는 결론이 아니라, 최종 답의 품질과 수정 행동의 학습이 서로 다른 목표일 수 있다는 사례다. 원문 §4–5

이 논문에서 추론 시 외부 정답 피드백 없이 수정한다는 설정과, 훈련 시 보상 함수를 사용한다는 설정도 함께 봐야 한다. 학습 때 사용한 감독 신호가 없었다는 뜻은 아니다.

#보충 원문 그림 · SCoRe의 두 단계 학습

SCoRe 원 논문 Figure 7. 첫 단계는 첫 응답을 기반 모델에 가깝게 제약하면서 두 번째 응답 보상을 높이고, 둘째 단계는 두 응답을 함께 학습하되 수정 진전을 보상한다.
Kumar et al., arXiv:2409.12917v2 · PDF 9쪽 Figure 7. 원 논문의 두 단계 학습 도해를 발췌했다.Kumar, Zhuang, Agarwal, Su et al., Google DeepMind, 2024. Original figure; no redrawing. · 원본 자료

왼쪽 Stage I에서는 첫 응답의 분포가 기반 모델에서 크게 벗어나지 않도록 KL 발산(KL divergence)으로 제약하면서, 그 첫 응답을 보고 만드는 두 번째 응답의 보상을 높인다. 첫 응답을 언제나 동일한 문장으로 고정하는 하드 규칙은 아니다. 첫 응답과 수정 응답이 너무 빨리 비슷해져 수정 자체를 하지 않는 행동으로 굳어지는 것을 줄이려는 초기 학습이다. 원문 §5.1, Figure 7

오른쪽 Stage II에서는 두 응답의 보상을 함께 최적화한다. 두 번째 응답에는 첫 응답보다 나아진 정도를 장려하는 보상도 반영한다. 목표는 답을 많이 바꾸는 것이 아니라 필요할 때 유효한 수정을 하는 행동이다. 이 구조를 원본 14쪽과 비교하면 차이가 보인다. 14쪽은 채택한 수정 답을 지도학습의 목표로 사용하는 방법을 보여 주고, SCoRe는 모델이 스스로 생성한 첫 답과 후속 수정의 경로를 보상으로 학습한다. 원문 §5.2

따라서 이번 범위의 관계는 다음처럼 정리할 수 있다.

  1. 추론 중 자기수정: 파라미터를 유지한 채 문맥과 계산 절차로 답을 수정한다.
  2. 수정 결과의 지도학습: 수정 답을 목표로 삼아 파라미터를 학습한다.
  3. 수정 행동의 강화학습: 응답과 수정의 결과에 보상을 주어 정책을 학습한다.

다음 16쪽부터는 희소 보상(Sparse reward)으로 넘어간다. 좋은 결과의 기준을 정했더라도 성공 신호가 너무 드물면 학습이 어려워진다. 이어지는 로봇의 문 열기 예시는 “무엇을 보상할 것인가”를 더 구체적으로 다루기 위한 출발점이다.

다음 편: 자가개선 AI 04 — 정답은 드문데, 무엇을 보상해야 할까.

#함께 읽을 자료

  1. Hung-yi Lee, NTU ML 2026 공식 강의. 2026-05-08 Self-Improving 상편. 이번 범위는 원본 PDF 11–15쪽.

  2. Hung-yi Lee, Self-Correction 강의. 공식 수업 일정상 2026-04-24. 원본 11쪽에서 연결하는 앞선 강의.

  3. Madaan et al., Self-Refine: Iterative Refinement with Self-Feedback. NeurIPS 2023. 추가 파라미터 학습 없이 초안·피드백·수정을 반복하는 구조.

  4. Huang et al., Large Language Models Cannot Self-Correct Reasoning Yet. ICLR 2024. 외부 피드백, 초기 프롬프트, 계산 예산을 구별한 자기수정 평가.

  5. Bai et al., Constitutional AI: Harmlessness from AI Feedback. 2022-12-15. 비평·수정 결과를 이용한 SFT와 별도의 AI 피드백 기반 RL.

  6. Kumar et al., Training Language Models to Self-Correct via Reinforcement Learning. 2024년 공개, ICLR 2025. 사용 판본 2024-10-04. 자기수정 행동을 훈련하는 SCoRe.

  7. Sutton et al., Policy Gradient Methods for Reinforcement Learning with Function Approximation. NIPS 1999. 기대 보상의 기울기로 정책을 학습하는 관점.

  8. Stanford CS329T, Lecture 9: Grounding. Anupam Datta·John Mitchell·Ankur Taly, Fall 2023. PDF 45쪽의 Self-Refine·RARR 비교를 원본 12쪽 해설에 배치했다.

  9. Aviral Kumar, The Key Ingredients of Optimizing Test-Time Compute and What’s Still Missing. Simons Institute, 2025-03-31. 발표 PDF 5쪽을 원본 13쪽 해설에 배치했다.

  10. Stanford CS224N, Lecture 10: Prompting, Instruction Finetuning, and DPO/RLHF. Archit Sharma, 2024-05-02. PDF 92쪽(인쇄 97쪽)의 Constitutional AI 예시를 원본 14쪽 해설에 배치했다.

  11. SCoRe, arXiv v2의 Figure 7. 2024-10-04 제출 판본. PDF 9쪽의 두 단계 학습 도해를 원본 15쪽 해설에 배치했다. 2025년 학회 판본의 그림 번호와 구별한다.

Connect