확산 모델은 그림을 더 정확히 만들 수 있을까

#1. 후보 레이더: ‘더 적은 단계’는 곧바로 ‘더 빠른 이미지 생성’이 아니다

이미지 생성 모델이 그림을 만들 때는 보통 거친 노이즈에서 시작해 여러 번 조금씩 정리한다. 이 반복을 샘플링(sampling)이라고 부른다. 한 번 정리할 때마다 모델을 실행해야 하므로, 반복 횟수는 속도와 비용에 직접 연결된다. 그래서 “같은 품질을 더 적은 단계로 만들 수 있는가”는 확산 모델 연구에서 오래된 질문이다.

2026년 ICML Outstanding Paper로 선정된 High-accuracy sampling for diffusion models and log-concave distributions는 이 질문에 이론적인 답을 제시한다.[1] 논문이 보이는 핵심은, 목표 오차를 아주 작게 만들고 싶을 때 필요한 score 함수 평가 횟수가 기존의 다항식적 증가 대신 오차의 역수에 대한 로그의 다항식 정도로 늘어날 수 있다는 것이다. 이름은 길지만 직관은 간단하다. 정밀도를 열 배, 백 배 더 올리고 싶을 때 계산량이 폭발하는 문제를 수학적으로 다시 설계해 보자는 연구다.

그러나 이 문장을 “이제 어떤 이미지 생성 서비스도 즉시 수백 배 빨라진다”로 바꾸면 틀린다. 이 논문은 특정 Stable Diffusion 버전이나 동영상 생성 제품의 실제 처리 시간을 비교한 벤치마크가 아니다. 이론은 매우 정확한 score 추정치를 쓸 수 있다는 조건에서 단계 수의 상한을 논한다.[2] 실제 서비스에서는 모델이 그만큼 정확한 score를 내는지, 한 단계 자체가 얼마나 비싼지, 메모리·해상도·안전 필터·후처리가 얼마나 걸리는지가 따로 남는다.

그래서 이 글의 한 문장 결론은 다음과 같다. FORS는 확산 모델을 당장 더 빠르게 만든 상용 솔버라기보다, 높은 정확도를 요구할 때 ‘score만 보고도 단계 수를 크게 줄일 수 있는가’라는 이론적 장벽을 낮춘 연구다. 먼저 확산 모델이 무엇을 반복하는지부터 보자.

#2. 확산 모델은 ‘그림을 그리는 순서’를 어떻게 배웠나

사진 한 장을 생각해 보자. 선명한 사진에 작은 잡음을 계속 더하면 결국 형태를 알아보기 어려운 무작위 점무늬가 된다. 확산 모델은 이 과정을 거꾸로 배우려 한다. 처음에는 거의 무작위인 노이즈를 받고, “지금 이 점무늬에서 원래 사진 쪽으로 조금 움직이려면 어느 방향이 자연스러운가”를 예측한다. 그 작은 이동을 여러 번 이어 붙이면 노이즈가 사진·그림·소리 같은 데이터로 바뀐다.

여기서 중요한 단어가 score다. 엄밀하게는 현재 데이터 분포의 로그 밀도를 미분한 벡터를 뜻하지만, 처음에는 “현재 점이 더 그럴듯한 데이터가 있는 쪽을 향하도록 알려 주는 화살표”라고 생각해도 좋다. 노이즈 속의 한 점이 있을 때 score는 다음에 어느 방향으로 아주 조금 옮겨야 하는지 제안한다. 모델은 이 화살표를 직접 알 수 없으므로, 많은 학습 데이터에서 그 화살표를 근사한다.

아주 단순한 설명식은 다음처럼 쓸 수 있다.

여기서 x_t는 아직 노이즈가 남은 상태, x_t-1은 한 번 더 정리한 상태다. 실제 확산 솔버는 시간 간격, 분산, 보정 항을 훨씬 정교하게 다룬다. 이 식은 “score를 여러 번 묻고 조금씩 이동한다”는 감각만 전달하기 위한 것이다. 논문의 알고리즘을 이 한 줄로 구현할 수 있다는 뜻은 아니다.

문제는 반복이다. 한 번의 화살표가 완벽하지 않고 이동을 너무 크게 하면 엉뚱한 곳으로 튈 수 있기 때문에, 보통은 안전하게 작은 걸음을 많이 걷는다. 낮은 품질이면 몇 걸음으로도 그럴듯할 수 있지만, 목표 분포에 아주 가깝게 가고 싶으면 걸음 수가 급격히 늘어날 수 있다. FORS 연구는 바로 이 ‘마지막 정밀도 구간’을 겨냥한다.

#3. 왜 정확도를 높일수록 일이 어려워지나

목표 오차를 δ라고 쓰자. δ가 0.1이면 대략적인 근접을, 0.001이면 훨씬 더 엄격한 근접을 요구하는 상황으로 생각할 수 있다. 값이 작을수록 요구가 높다. 기존의 이산화(discretization) 기반 접근에서는 이 목표를 더 엄격하게 만들 때 필요한 단계 수가 1/δ의 다항식처럼 커질 수 있다. δ를 줄일수록 계산량이 빠르게 불어나는 이유다.[1]

다만 그림의 두 선을 실제 GPU 시간 그래프로 읽으면 안 된다. 왼쪽의 ‘다항식’과 오른쪽의 ‘polylog’는 오차 허용치를 줄일 때의 이론적 성장 양식을 비교한 교육용 도식이다. 상수항, 차원, 모델 한 번 실행하는 시간은 그려져 있지 않다. 어떤 실제 모델에서는 상수항이 너무 커서 이론상 유리한 방법이 더 느릴 수도 있다. 알고리즘 이론에서 흔히 일어나는 일이다.

그렇다고 연구가 말장난인 것은 아니다. 정확도 목표가 매우 높은 과제에서는 성장률 자체가 중요한 제약이 된다. 예를 들어 시뮬레이션, 통계적 샘플링, 물리·과학 계산처럼 분포의 꼬리나 작은 차이까지 보존해야 하는 상황에서는 ‘대충 비슷한 이미지’를 얻는 것보다 엄격한 오차 보장이 중요할 수 있다. 이 논문은 확산 생성만이 아니라 로그 오목(log-concave) 분포의 샘플링에도 결과를 연결한다.[2]

여기서 “지수적 개선”이라는 표현도 조심해서 읽어야 한다. ICML 소개와 논문은 1/δ에 대해 다항식으로 자라던 의존성이 polylog(1/δ)로 바뀐다는 의미에서 exponential improvement라고 설명한다.[1][2] 이것은 같은 데이터·같은 모델·같은 컴퓨터에서 무조건 처리 시간이 몇 배가 된다는 실험 수치가 아니다. 오차 목표를 극단적으로 낮출 때 계산 복잡도가 어떻게 변하는가에 대한 비교다.

#4. FORS: 함수값을 보지 않고도 ‘채택할지 말지’를 결정하는 방법

논문의 중심 도구인 FORS(First-Order Rejection Sampling)를 직역하면 ‘1차 정보만 쓰는 거절 샘플링’이다. 거절 샘플링은 낯선 분포에서 샘플을 얻는 오래된 방식이다. 먼저 비교적 다루기 쉬운 후보를 뽑고, 후보가 목표 분포에 얼마나 어울리는지에 따라 받아들이거나 버린다. 필요한 조건이 맞으면, 받아들인 결과는 목표 분포를 정확하게 따르게 된다.

보통 이 판단에는 분포의 밀도값이 도움이 된다. 그러나 확산 모델에서 쉽게 얻는 것은 밀도 그 자체가 아니라 그 변화 방향인 score인 경우가 많다. 지도에서 고도 숫자는 없고 경사 방향 화살표만 있는 것에 비유할 수 있다. 화살표만으로 “이 지점이 얼마나 높은가”를 정확히 재기는 어렵다. 그래서 기존의 고정확도 rejection sampling 기법을 score 모델에 그대로 가져오기 힘들었다.

FORS는 이 틈을 겨냥한다. score 또는 log-density의 gradient 같은 1차 정보(first-order information)만 질의해서, 밀도값을 직접 평가하는 rejection sampling을 흉내 내는 메타 알고리즘을 만든다.[1] 논문에서 중요한 단어는 ‘흉내’다. 밀도를 갑자기 알아내는 것이 아니라, 여러 번의 1차 질의를 조합해 받아들임 확률을 구현할 수 있음을 보인다.

도식의 ‘oracle’은 초자연적인 장치가 아니다. 알고리즘 이론에서 어떤 정보를 물으면 답을 돌려주는 함수·모델을 가리키는 말이다. 이 논문에서는 score 추정기가 그 역할을 한다. 실제 생성 모델로 옮기면 신경망이 score를 근사해 주는 셈이다. 따라서 FORS가 유용하려면 단지 알고리즘이 존재하는 것뿐 아니라, 그 신경망의 오차가 논문이 요구한 수준에 도달해야 한다.

#5. 논문이 실제로 보장하는 조건과 결과

논문은 δ 오차를 얻기 위해 score 추정치가 대략 $\widetilde O(\delta)$ 수준으로 정확해야 한다는 조건을 둔다.[2] 물결표가 붙은 O 표기는 로그처럼 비교적 천천히 변하는 요인을 감춘다는 뜻이다. 핵심은 목표 오차를 더 작게 정할수록 score 추정 자체도 더 정밀해야 한다는 점이다. 샘플링 단계만 마법처럼 쉬워지고, 모델의 근사 오차가 사라지는 것은 아니다.

그 조건 아래 논문은 최소한의 데이터 가정에서 차원 d에 대해 $\widetilde O(d\,\mathrm{polylog}(1/\delta))$ 형태의 복잡도를 제시한다. 데이터가 사실상 낮은 차원 구조를 갖는다는 조건에서는 내재 차원 d_★가 등장하고, 비균일 Lipschitz 조건에서는 더 정교한 의존성을 논한다.[2] 이 기호는 독자가 외울 대상이 아니다. 높은 차원의 이미지 공간에서도 ‘화소 개수만’ 보는 것이 아니라 데이터의 실제 구조를 반영해 분석하려 했다는 표지로 읽으면 된다.

또 다른 결과는 로그 오목 분포다. 한 봉우리 주변으로 확률이 모이고, 중간에 불규칙한 다중 봉우리가 없는 분포를 생각하면 된다. 이런 분포는 통계·최적화에서 자주 등장한다. 논문은 일반 로그 오목 분포에 대해서도 gradient 평가만으로 polylog(1/δ) 복잡도를 얻는 첫 결과라고 주장한다.[2] 이미지·영상의 실제 데이터 분포가 자동으로 로그 오목이라는 뜻은 아니다. 이 부분은 확산 모델과 별개로, 1차 정보 기반 샘플링 이론의 범위를 넓힌 기여다.

ICML이 이 연구를 Outstanding Paper로 선정한 이유도 제품 데모가 화려해서라기보다, score-based sampling의 장기 질문을 풀었다는 이론적 의미에 있다. 공식 소개는 score 함수 평가만으로 ε-error를 polylog(1/ε) 단계에서 얻을 수 있는지의 문제를 정면으로 다룬다고 설명한다.[1] 이 점 때문에 이 글에서는 ‘후보’로 다루되, 이미지 생성 서비스 비교 기사처럼 포장하지 않는다.

#6. 이 연구가 아직 제품에 답하지 않는 질문

첫째, 실제 score 모델의 정확도다. 논문의 보장은 δ에 비례할 만큼 정확한 L² score 추정치를 전제로 한다. 대형 이미지 모델의 score 네트워크가 특정 해상도·프롬프트·데이터 분포에서 그 조건을 만족하는지, 또 그 정확도를 얻는 학습 비용이 얼마나 되는지는 별도 문제다.[2]

둘째, 한 단계의 비용이다. 단계 수가 적어도 FORS의 한 단계가 여러 score 질의나 추가 계산을 요구한다면 벽시계 시간은 기대만큼 줄지 않을 수 있다. 논문은 목표 오차에 대한 oracle complexity를 다루며, 소비자 GPU에서 20-step sampler보다 빠르다는 end-to-end 실험을 제시하는 글은 아니다. 따라서 ‘NFE가 줄어든다’와 ‘사용자 대기 시간이 줄어든다’를 같은 문장으로 쓰지 않았다.

셋째, 정확도의 의미다. 논문의 δ-error는 분포 거리의 수학적 정의와 연결된다. 사람이 특정 스타일을 더 좋아하는지, 텍스트 프롬프트를 더 잘 따르는지, 손가락이 덜 깨지는지처럼 제품에서 보는 지표는 별도의 평가가 필요하다. 좋은 샘플링 이론은 이 문제들의 필요조건일 수 있지만 충분조건은 아니다.

넷째, 재현의 상태다. arXiv 논문은 공개되어 있지만 이 페이지에서 확인 가능한 공식 코드·체크포인트·대규모 이미지 모델 실험 패키지는 보이지 않는다.[2] 이는 이론 논문에 흠이라는 뜻이 아니라, 독자가 다음 단계를 판단할 때 알아야 할 경계다. 수학 증명 검증, 구현, 실제 확산 모델 통합은 서로 다른 작업이다.

#7. 그렇다면 누가 다음을 확인해야 하나

연구자라면 네 가지를 묻는 편이 좋다. 첫째, 쓸 score 모델의 오차가 요구 조건과 얼마나 가까운가. 둘째, 목표 오차 δ가 실제 응용에서 어떤 품질·안전·통계적 신뢰 요구와 대응하는가. 셋째, 각 FORS 질의까지 포함한 총 벽시계 시간과 메모리는 얼마인가. 넷째, 기존의 ODE/SDE 솔버, 고차 솔버, guidance와 공정한 같은 품질 조건에서 비교했는가.

개발자에게는 조금 다른 질문이 유용하다. ‘단계 수가 몇 단계인가’보다 ‘동일 해상도·동일 모델·동일 프롬프트·동일 품질 지표에서 총 지연 시간과 실패율이 어떻게 바뀌는가’를 봐야 한다. 외부 사용자는 “polylog”라는 단어가 붙었다고 더 정확한 생성 결과를 받는 것이 아니다. 제품이 어떤 알고리즘을 탑재했는지, 어떤 데이터에서 품질을 측정했는지 공개할 때 비로소 비교가 가능해진다.

이 후보의 장점은 화려한 데모보다 강한 질문을 남긴다는 데 있다. 확산 모델의 고정확도 샘플링에서 score만으로 충분할 수 있다는 증명이 맞다면, 미래의 솔버 설계 공간은 넓어진다. 반면 지금 이 순간 확인된 것은 그 가능성을 성립시키는 이론적 경로다. 실제 이미지·영상·과학 모델에서의 속도와 품질은 다음 논문과 구현이 검증해야 할 몫이다.

#8. 출처와 시각 자료

1. ICML 2026 공식 Awards 소개 — FORS의 문제 설정과 Outstanding Paper 선정 맥락.
2. Chen, Chewi, Daskalakis, Rakhlin, High-accuracy sampling for diffusion models and log-concave distributions, arXiv:2602.01338v2, 2026-04-27 — 가정·복잡도·로그 오목 분포 결과.
3. 본문의 두 도식은 JJo가 논문의 문제 설정을 설명하려고 직접 제작했다. 논문의 Figure를 복제하지 않았으며, 수치 축·실측 속도·실제 제품 결과를 주장하지 않는다. arXiv 배포 라이선스는 비독점 배포 허락으로 확인되며, 원문 그림의 별도 자유 이용 허락을 확인하지 못해 재배포하지 않았다.