Skip to main content
#frontier-one#diffusion-language-models#reinforcement-learning#reasoning#open-source

Why Does Flexible Generation Challenge Reasoning in Diffusion LLMs?

JustGRPO, an ICML 2026 Outstanding Paper, connects diffusion language models, left-to-right generation, reward learning, and Pass@k. Original figures and public code show which improvements the experiments measured.

Article text in Korean.

JustGRPO ์ €์ž๋“ค์ด ๊ณต๊ฐœํ•œ ์›๋ณธ ๊ทธ๋ฆผ: ์ž„์˜ ์ˆœ์„œ ์ƒ์„ฑ์ด ๋†’์€ ๋ถˆํ™•์‹ค์„ฑ ํ† ํฐ์„ ๊ฑด๋„ˆ๋›ฐ์–ด Pass at k์˜ ํ•ด๋ฒ• ํญ์„ ์ค„์ผ ์ˆ˜ ์žˆ๋‹ค๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜ ์„ค๋ช… ๊ทธ๋ฆผ์˜ ๊ธ€์ž๊ฐ€ ์ž‘๋‹ค๋ฉด ์›๋ณธ ํฌ๊ฒŒ ๋ณด๊ธฐ ยท ์ƒˆ ํƒญ
์ €์ž ๊ณต์‹ ํ”„๋กœ์ ํŠธ์˜ ์›๋ณธ ๋ฉ”์ปค๋‹ˆ์ฆ˜ ๊ทธ๋ฆผ ์ €์ž๋“ค์ด ์ œ์‹œํ•œ ๊ฐ€์„ค์  ๋ฉ”์ปค๋‹ˆ์ฆ˜์ด๋‹ค. ๊ทธ๋ฆผ์˜ ํ™•๋ฅ ยท๊ทธ๋ž˜ํ”„ ๋ชจ์–‘์€ ์ด ๊ธ€์ด ์ƒˆ๋กœ ๊ณ„์‚ฐํ•œ ๊ฐ’์ด ์•„๋‹ˆ๋ฉฐ, ์ž„์˜ ์ˆœ์„œ ์ƒ์„ฑ์ด ๋ชจ๋“  ๊ณผ์ œ์—์„œ ํ•ญ์ƒ ๋‚˜์˜๋‹ค๋Š” ์‹คํ—˜ ๊ฒฐ๊ณผ๋„ ์•„๋‹ˆ๋‹ค. LeapLab, Tsinghua University ยท JustGRPO ยท mechanism_to_passk.png ยท ์ถœ์ฒ˜ ยท MIT ยท JustGRPO ์ €์žฅ์†Œ ยท ์›๋ณธ PNG๋ฅผ ๋ณ€๊ฒฝยทํฌ๋กญยท๋ฒˆ์—ญํ•˜์ง€ ์•Š๊ณ  ๋กœ์ปฌ ์ œ๊ณต ๊ฒฝ๋กœ์— ๋ณด์กด

#1. ์˜ค๋Š˜์˜ ๋ ˆ์ด๋”: โ€˜๋” ์ž์œ ๋กญ๊ฒŒ ์ฑ„์šฐ๊ธฐโ€™๊ฐ€ ํ•ญ์ƒ ๋” ์ข‹์€ ์ถ”๋ก ์€ ์•„๋‹ˆ๋‹ค

๋ฌธ์žฅ์„ ์™ผ์ชฝ์—์„œ ์˜ค๋ฅธ์ชฝ์œผ๋กœ ํ•œ ๋‹จ์–ด์”ฉ ์“ฐ๋Š” ์–ธ์–ด ๋ชจ๋ธ์€ ์ต์ˆ™ํ•˜๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ํ™•์‚ฐ ์–ธ์–ด ๋ชจ๋ธ(diffusion language model, dLLM)์€ ๋ฌธ์žฅ ๊ณณ๊ณณ์˜ ๋นˆ์นธ์„ ํ•จ๊ป˜ ๋ณด๊ณ , ์ž์‹  ์žˆ๋Š” ๋นˆ์นธ๋ถ€ํ„ฐ ๋ฉ”์šฐ๋Š” ๋ฐฉ์‹๋„ ์“ธ ์ˆ˜ ์žˆ๋‹ค. ๊ฒ‰์œผ๋กœ ๋ณด๋ฉด ๋” ์ž์œ ๋กญ๊ณ  ๋” ๋น ๋ฅผ ๋ฒ•ํ•˜๋‹ค. 2026๋…„ ICML Outstanding Paper๋กœ ์„ ์ •๋œ JustGRPO ์—ฐ๊ตฌ๋Š” ๋ฐ”๋กœ ์ด ์ง๊ด€์„ ์‹œํ—˜ํ–ˆ๋‹ค.[1]

๊ฒฐ๊ณผ๋Š” ์˜์™ธ๋‹ค. ์ˆ˜ํ•™๊ณผ ์ฝ”๋“œ ๋ฌธ์ œ์ฒ˜๋Ÿผ ๋‹ต์•ˆ์˜ ๋…ผ๋ฆฌ ์ „๊ฐœ๊ฐ€ ์ค‘์š”ํ•œ ๊ณผ์ œ์—์„œ๋Š”, ๋นˆ์นธ์„ ์•„๋ฌด ์ˆœ์„œ๋กœ ์ฑ„์šฐ๊ฒŒ ํ•œ ํ•™์Šต๋ณด๋‹ค ์™ผ์ชฝ์—์„œ ์˜ค๋ฅธ์ชฝ์œผ๋กœ ๋‹ต์•ˆ์„ ์™„์„ฑํ•˜๊ฒŒ ํ•œ ํ•™์Šต์ด ๋” ๋‹ค์–‘ํ•œ ํ’€์ด๋ฅผ ๋‚จ๊ธฐ๊ณ  ๋†’์€ ์„ฑ๊ณผ๋ฅผ ๋ƒˆ๋‹ค๊ณ  ์—ฐ๊ตฌ์ง„์€ ๋ณด๊ณ ํ•œ๋‹ค.[2] ๋…ผ๋ฌธ์˜ ์š”์ง€๋Š” โ€œํ™•์‚ฐ LLM์ด ํ‹€๋ ธ๋‹คโ€๊ฐ€ ์•„๋‹ˆ๋‹ค. ๋ชจ๋ธ์ด ๋‹ต์„ ๋งŒ๋“œ๋Š” ์ˆœ์„œ์™€, ๊ทธ ์ˆœ์„œ์—์„œ ๋ณด์ƒ์„ ์ฃผ๋Š” ๋ฐฉ์‹์ด ์ถ”๋ก ์˜ ํญ์„ ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค.

์ด ๊ธ€์€ ์ƒ์„ ๋ฐ›์•˜๋‹ค๋Š” ์‚ฌ์‹ค์„ ์„ฑ๋Šฅ์˜ ๋ณด์ฆ์„œ๋กœ ์ฝ์ง€ ์•Š๋Š”๋‹ค. ICML ๊ณต์‹ ๋ฐœํ‘œ๋Š” ์ด ๋…ผ๋ฌธ์„ Outstanding Paper๋กœ ๋ช…์‹œํ•œ๋‹ค.[1] ํ•˜์ง€๋งŒ ๊ทธ ์ƒ์ด ๋ชจ๋“  ์–ธ์–ด ๊ณผ์ œ์—์„œ ์™ผ์ชฝ๋ถ€ํ„ฐ ์“ฐ๊ธฐ๊ฐ€ ์šฐ์›”ํ•˜๋‹ค๊ณ  ์ฆ๋ช…ํ•˜๋Š” ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ์ €์ž๋“ค์˜ ๊ณต๊ฐœ ์‹คํ—˜์€ ์„ธ dLLM ๊ณ„์—ด๊ณผ ๋„ค ์ˆ˜ํ•™ยท์ฝ”๋“œ ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ค‘์‹ฌ์œผ๋กœ ํ•œ๋‹ค.[2] ์‚ฌ๋žŒ์˜ ์‚ฌ๊ณ  ๊ณผ์ •, ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ, ์‹ค์ œ ์ œํ’ˆ์˜ ๋น„์šฉ๊ณผ ์•ˆ์ „์„ฑ๊นŒ์ง€ ๊ฒ€์ฆํ•œ ๊ฒฐ๊ณผ๋Š” ์•„๋‹ˆ๋‹ค.

๋จผ์ € ๋‚จ๊ฒจ ๋‘˜ ํ•œ ๋ฌธ์žฅ์€ ์ด๋ ‡๋‹ค. JustGRPO๋Š” AI๊ฐ€ ์Šค์Šค๋กœ ์ง„ํ™”ํ–ˆ๋‹ค๋Š” ์ด์•ผ๊ธฐ๊ฐ€ ์•„๋‹ˆ๋ผ, ์ด๋ฏธ ์žˆ๋Š” ํ™•์‚ฐ ์–ธ์–ด ๋ชจ๋ธ์„ ๋ณด์ƒ์œผ๋กœ ํ›ˆ๋ จํ•  ๋•Œ โ€˜์–ด๋–ค ์ˆœ์„œ๋กœ ๋‹ต์•ˆ์„ ๋งŒ๋“ค๊ฒŒ ํ• ์ง€โ€™๋ฅผ ๋‹จ์ˆœํ•˜๊ฒŒ ๋ฐ”๊ฟ” ๋ณธ ์—ฐ๊ตฌ๋‹ค. ๊ทธ ๋‹จ์ˆœํ•œ ๋ณ€๊ฒฝ์ด ์™œ ์ค‘์š”ํ•œ์ง€, ์–ธ์–ด ๋ชจ๋ธ์„ ์ฒ˜์Œ ์ ‘ํ•˜๋Š” ๋…์ž๋„ ๋”ฐ๋ผ๊ฐˆ ์ˆ˜ ์žˆ๊ฒŒ ์ฐจ๋ก€๋กœ ํ’€์–ด ๋ณด์ž.

#2. ์–ธ์–ด ๋ชจ๋ธ์€ ๋ฌธ์žฅ์„ ์–ด๋–ป๊ฒŒ โ€˜๋งŒ๋“œ๋Š”๊ฐ€โ€™

์–ธ์–ด ๋ชจ๋ธ์€ ๋ฌธ์žฅ์„ ํ†ต์งธ๋กœ ๋– ์˜ฌ๋ฆฌ๋Š” ๊ธฐ๊ณ„๋ผ๊ธฐ๋ณด๋‹ค, ๊ธ€์„ ์ž˜๊ฒŒ ๋‚˜๋ˆˆ ์กฐ๊ฐ์ธ ํ† ํฐ(token)์˜ ๋‹ค์Œ ์„ ํƒ์„ ์˜ˆ์ธกํ•˜๋Š” ๋ชจ๋ธ์ด๋‹ค. ํ† ํฐ์€ ๊ผญ ํ•œ ๋‹จ์–ด์™€ ๊ฐ™์ง€ ์•Š๋‹ค. ํ•œ๊ธ€ ์–ด์ ˆ์˜ ์ผ๋ถ€, ์˜์–ด ๋‹จ์–ด์˜ ์ผ๋ถ€, ๊ธฐํ˜ธ๊ฐ€ ๋  ์ˆ˜๋„ ์žˆ๋‹ค. ์—ฌ๊ธฐ์„œ๋Š” ์ดํ•ด๋ฅผ ์œ„ํ•ด ํ† ํฐ์„ ๋‹จ์–ด ์กฐ๊ฐ์ด๋ผ๊ณ  ์ƒ๊ฐํ•ด๋„ ์ถฉ๋ถ„ํ•˜๋‹ค.

๊ฐ€์žฅ ์ต์ˆ™ํ•œ ๋ฐฉ์‹์€ ์ž๊ธฐํšŒ๊ท€(autoregressive, AR)๋‹ค. โ€œ๋น„๊ฐ€ ์˜ค๋ฏ€๋กœ ์šฐ์‚ฐ์„ ___โ€์ด๋ผ๋Š” ๋ฌธ์žฅ์„ ๋งŒ๋“ค ๋•Œ ์•ž์—์„œ ์“ด ๋‚ด์šฉ ๋’ค์— ์˜ฌ ํ† ํฐ ํ•˜๋‚˜๋ฅผ ๊ณ ๋ฅด๊ณ , ๊ทธ ์„ ํƒ์„ ๋ฌธ๋งฅ์œผ๋กœ ์‚ผ์•„ ๋‹ค์Œ ํ† ํฐ์„ ๊ณ ๋ฅธ๋‹ค. ๋งํ•˜์ž๋ฉด ์™ผ์ชฝ ๋์—์„œ ์˜ค๋ฅธ์ชฝ ๋์œผ๋กœ ํ•œ ์นธ์”ฉ ์“ฐ๋Š” ๋ฐฉ์‹์ด๋‹ค. ์•ž๋ถ€๋ถ„์˜ ์„ ํƒ์ด ๋’ค์˜ ์„ ํƒ์„ ์ œํ•œํ•˜๋ฏ€๋กœ, ๊ณผ์ •์ด ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ํ•œ ์ค„๋กœ ์ด์–ด์ง„๋‹ค.

ํ™•์‚ฐ ์–ธ์–ด ๋ชจ๋ธ์€ ์ถœ๋ฐœ์ ์ด ๋‹ค๋ฅด๋‹ค. ๋ฌธ์žฅ์˜ ์—ฌ๋Ÿฌ ์œ„์น˜๋ฅผ ๊ฐ€๋ฆฐ ์ƒํƒœ์—์„œ ์‹œ์ž‘ํ•ด ๊ฐ€๋ ค์ง„ ์œ„์น˜๋ฅผ ๋ฐ˜๋ณตํ•ด์„œ ๋ณต์›ํ•  ์ˆ˜ ์žˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด โ€œ๋น„๊ฐ€ ___ ์šฐ์‚ฐ์„ ์ฑ™๊ฒผ๋‹คโ€์—์„œ ์˜จ๋‹ค๋ฅผ ๋จผ์ € ์ฑ„์šธ ์ˆ˜๋„ ์žˆ๊ณ , ๋’ค์ชฝ ํ‘œํ˜„์„ ๋จผ์ € ํ™•์ •ํ•œ ๋‹ค์Œ ์ค‘๊ฐ„์„ ๋ฉ”์šธ ์ˆ˜๋„ ์žˆ๋‹ค. ์—ฌ๋Ÿฌ ์นธ์„ ๋ณ‘๋ ฌ๋กœ ๋‹ค๋ฃฐ ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ์€ ๊ธด ๋ฌธ์žฅ์„ ๋น ๋ฅด๊ฒŒ ๋ณต์›ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ€๋Šฅ์„ฑ์„ ์ค€๋‹ค. ์ด ๊ธ€์—์„œ ๋งํ•˜๋Š” ์ž„์˜ ์ˆœ์„œ(arbitrary order, AO)๋Š” ์ด๋Ÿฐ ๋ณต์› ์œ„์น˜๋ฅผ ๋งค ๋‹จ๊ณ„ ์ž์œ ๋กญ๊ฒŒ ๊ณ ๋ฅด๋Š” ๊ฒฝ์šฐ๋ฅผ ๊ฐ€๋ฆฌํ‚จ๋‹ค.[2]

์—ฌ๊ธฐ์„œ ํ”ํ•œ ์˜คํ•ด๊ฐ€ ํ•˜๋‚˜ ์žˆ๋‹ค. AR์€ โ€˜์ƒ๊ฐ์„ ์ž˜ํ•˜๋Š” ๋ชจ๋ธโ€™, dLLM์€ โ€˜์ƒ๊ฐ์„ ๋ชปํ•˜๋Š” ๋ชจ๋ธโ€™์ด๋ผ๋Š” ๊ตฌ๋ถ„์ด ์•„๋‹ˆ๋‹ค. ๋‘˜์€ ๋ฌธ์žฅ์„ ์ƒ์„ฑํ•˜๋Š” ๊ฒฝ๋กœ์˜ ์ฐจ์ด๋‹ค. dLLM๋„ ํŠน์ •ํ•œ ์ˆœ์„œ๋ฅผ ๊ฐ•์ œํ•ด AR์ฒ˜๋Ÿผ ํ† ํฐ์„ ํ•˜๋‚˜์”ฉ ๋งŒ๋“ค ์ˆ˜ ์žˆ๊ณ , AR ๋ชจ๋ธ๋„ ์—ฌ๋Ÿฌ ๋‹ต์•ˆ์„ ๋ฝ‘์•„ ๋น„๊ตํ•  ์ˆ˜ ์žˆ๋‹ค. JustGRPO์˜ ์งˆ๋ฌธ๋„ โ€œ์–ด๋А ๋ชจ๋ธ์ด ๋” ๋˜‘๋˜‘ํ•œ๊ฐ€โ€๊ฐ€ ์•„๋‹ˆ๋ผ, ๊ฐ™์€ dLLM์—์„œ ํ›ˆ๋ จ ์ค‘ ์ƒ์„ฑ ์ˆœ์„œ๋ฅผ ๋‹ฌ๋ฆฌํ•˜๋ฉด ๋ฌด์—‡์ด ๋‹ฌ๋ผ์ง€๋Š”๊ฐ€๋‹ค.

์ฒ˜์Œ ๋ณด๋Š” ์šฉ์–ด๋Š” ์—ฌ๊ธฐ์„œ ์ž ๊น
  • ์ƒ์„ฑ(generation): ๋ชจ๋ธ์ด ๋นˆ์นธ์„ ์ฑ„์›Œ ๋‹ต์•ˆ์„ ๋งŒ๋“œ๋Š” ๊ณผ์ •์ด๋‹ค.
  • ์ถ”๋ก (reasoning): ์ด ๊ธ€์—์„œ๋Š” ์ •๋‹ต์œผ๋กœ ๊ฐ€๋Š” ์ค‘๊ฐ„ ์„ ํƒ๊ณผ ๋…ผ๋ฆฌ ์ „๊ฐœ๋ฅผ ๋„“๊ฒŒ ๋œปํ•œ๋‹ค. ์‚ฌ๋žŒ์ด ์‹ค์ œ๋กœ ๋จธ๋ฆฟ์†์—์„œ ํ•˜๋Š” ์‚ฌ๊ณ ๋ฅผ ์™„์ „ํžˆ ์ธก์ •ํ–ˆ๋‹ค๋Š” ๋œป์€ ์•„๋‹ˆ๋‹ค.
  • ํ™•๋ฅ : ๋ชจ๋ธ์€ ๋‹ค์Œ ํ† ํฐ ํ›„๋ณด๋งˆ๋‹ค โ€˜๊ทธ๋Ÿด ๋ฒ•ํ•จโ€™์„ ์ˆ˜์น˜๋กœ ๋‚ธ๋‹ค. ๋†’์€ ํ™•๋ฅ ์€ ์‚ฌ์‹ค ํŒ์ •์ด๋‚˜ ์ง„์‹ค ๋ณด์ฆ์ด ์•„๋‹ˆ๋ผ, ํ•™์Šตํ•œ ๋ฐ์ดํ„ฐ์™€ ๋ฌธ๋งฅ์—์„œ ๋” ์ž์ฃผ ๋งž์•˜๋˜ ์„ ํƒ์ด๋ผ๋Š” ๋œป์ด๋‹ค.
  • ๋งˆ์Šคํฌ(mask): ์•„์ง ์ฑ„์šฐ์ง€ ์•Š์€ ํ† ํฐ ์ž๋ฆฌ๋ฅผ ๊ฐ€๋ฆฌ๋Š” ํ‘œ์‹œ๋‹ค. ํ™•์‚ฐ ๋ชจ๋ธ์€ ๋งˆ์Šคํฌ๋ฅผ ๋ฐ˜๋ณต์ ์œผ๋กœ ์ค„์ด๋ฉฐ ๋ฌธ์žฅ์„ ์™„์„ฑํ•œ๋‹ค.
์™ผ์ชฝ๋ถ€ํ„ฐ ๋‹ต์•ˆ์„ ๋งŒ๋“œ๋Š” AR ๊ฒฝ๋กœ์™€ ํ™•์‹ ์ด ๋†’์€ ๋นˆ์นธ๋ถ€ํ„ฐ ์ฑ„์šฐ๋Š” ์ž„์˜ ์ˆœ์„œ ๊ฒฝ๋กœ๋ฅผ ๋Œ€๋น„ํ•œ ๊ต์œก์šฉ ๋„์‹ ๊ทธ๋ฆผ์˜ ๊ธ€์ž๊ฐ€ ์ž‘๋‹ค๋ฉด ์›๋ณธ ํฌ๊ฒŒ ๋ณด๊ธฐ ยท ์ƒˆ ํƒญ
JJo ์ž์ฒด ์ œ์ž‘ ๊ต์œก์šฉ ๊ฐœ๋…๋„ ยท ์‹คํ—˜ ๋ฐ์ดํ„ฐ ์•„๋‹˜ ์—ฐ๊ฒฐ์–ด๊ฐ€ ๋…ผ๋ฆฌ ์ „๊ฐœ์—์„œ ํ•˜๋Š” ์—ญํ• ์„ ์„ค๋ช…ํ•˜๊ธฐ ์œ„ํ•œ ๊ฐ€์ƒ ๋ฌธ์žฅ์ด๋‹ค. ๋ชจ๋ธ ํ™•๋ฅ , ํ† ํฐ ์ˆ˜, ์‹ค์ œ ์„ฑ๊ณต๋ฅ ์„ ๊ทธ๋ฆฐ ๋„ํ‘œ๊ฐ€ ์•„๋‹ˆ๋ฉฐ JustGRPO ์› Figure๋ฅผ ๋ณต์ œํ•˜์ง€ ์•Š์•˜๋‹ค. JJo ยท ๊ต์œก์šฉ ์ƒ์„ฑ ์ˆœ์„œ ๋„์‹ ยท 2026-09-14 ยท ์ถœ์ฒ˜ ยท ์ž์ฒด ์ œ์ž‘ ยท MIT ยท ์™ธ๋ถ€ ์ด๋ฏธ์ง€ยทํฐํŠธยท๋ฐ์ดํ„ฐ๋ฅผ ํฌํ•จํ•˜์ง€ ์•Š์€ ์ง์ ‘ ์ œ์ž‘ SVG

#3. ์™œ โ€˜์•„๋ฌด ์ˆœ์„œโ€™๊ฐ€ ์˜คํžˆ๋ ค ๊ธธ์„ ์ขํž ์ˆ˜ ์žˆ๋‚˜

์ˆ˜ํ•™ ํ’€์ด๋ฅผ ์ ๋Š” ์ƒํ™ฉ์„ ์ƒ๊ฐํ•ด ๋ณด์ž. โ€œ์‹์— x=3์„ ๋„ฃ์œผ๋ฉด 12๊ฐ€ ๋œ๋‹ค. ___ ๋”ฐ๋ผ์„œ ๋‹ต์€ 12๋‹ค.โ€๋ผ๋Š” ๋ฌธ์žฅ์—์„œ ๋”ฐ๋ผ์„œ, ๊ทธ๋Ÿฌ๋ฏ€๋กœ, ์™œ๋ƒํ•˜๋ฉด ๊ฐ™์€ ์—ฐ๊ฒฐ์–ด๋Š” ์งง์ง€๋งŒ ์ค‘์š”ํ•˜๋‹ค. ์•ž๋’ค์˜ ๋…ผ๋ฆฌ ๊ด€๊ณ„๋ฅผ ์ •ํ•œ๋‹ค. ์ด ์ž๋ฆฌ์— ๋ฌด์—‡์„ ๋†“๋А๋ƒ์— ๋”ฐ๋ผ ์ดํ›„์˜ ์„ค๋ช…์ด ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ์ด์–ด์งˆ ์ˆ˜๋„, ์–ต์ง€๋กœ ์ด์–ด ๋ถ™์ผ ์ˆ˜๋„ ์žˆ๋‹ค.

์ €์ž๋“ค์€ ์ž„์˜ ์ˆœ์„œ ๋ณต์›์ด ์ด๋Ÿฐ ๋ถˆํ™•์‹คํ•˜์ง€๋งŒ ๋…ผ๋ฆฌ์ ์œผ๋กœ ๊ฐˆ๋ผ์ง€๋Š” ํ† ํฐ์„ ๋’ค๋กœ ๋ฏธ๋ฃจ๊ธฐ ์‰ฝ๋‹ค๊ณ  ๋ณธ๋‹ค. ํ™•์‹ ์ด ๋†’์€ ์ˆซ์ž๋‚˜ ์ž์ฃผ ์“ฐ๋Š” ํ‘œํ˜„๋ถ€ํ„ฐ ๋จผ์ € ์ฑ„์šฐ๋ฉด, ๋‚˜์ค‘์— ๋‚จ์€ ์—ฐ๊ฒฐ์–ด๋Š” ์ด๋ฏธ ์ •ํ•ด์ง„ ๋ฌธ์žฅ์˜ ํ‹€์— ๋ผ์›Œ ๋งž์ถฐ์•ผ ํ•œ๋‹ค. ์—ฐ๊ตฌ์ง„์€ Therefore, Thus, Since ๊ฐ™์€ ์˜ˆ๋ฅผ ๋“ค๋ฉฐ, ์ด๋Ÿฐ ์กฐ๊ธฐ ์šฐํšŒ๊ฐ€ ํ•ด๋ฒ•์˜ ๋‹ค์–‘์„ฑ์„ ์ค„์ผ ์ˆ˜ ์žˆ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค.[2][3]

์ค‘์š”ํ•œ ๊ฒƒ์€ โ€œ์—ฐ๊ฒฐ์–ด๊ฐ€ ์–ด๋ ค์šฐ๋‹ˆ ํ•ญ์ƒ ๋จผ์ € ์จ์•ผ ํ•œ๋‹คโ€๊ฐ€ ์•„๋‹ˆ๋‹ค. ์ด ์—ฐ๊ตฌ์˜ ์ฃผ์žฅ๊ณผ ๊ด€์ฐฐ์€ ํ˜„์žฌ์˜ dLLM ์ƒ˜ํ”Œ๋งยท๋ณด์ƒ ํ•™์Šต ์กฐ๊ฑด์—์„œ ๊ทธ๋ ‡๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ๋ฌธ์žฅ ์ค‘๊ฐ„๋ถ€ํ„ฐ ์จ๋„ ๋” ์ž˜ ๋งž๋Š” ์ž‘์—…์€ ์–ผ๋งˆ๋“ ์ง€ ์žˆ์„ ์ˆ˜ ์žˆ๋‹ค. ๋นˆ์นธ ์ฑ„์šฐ๊ธฐ, ํŽธ์ง‘, ๋ณ‘๋ ฌ ์ดˆ์•ˆ ์ƒ์„ฑ์ฒ˜๋Ÿผ ๋’ค์ชฝ ๋ฌธ๋งฅ์ด ์•ž์ชฝ ์„ ํƒ์„ ๋„์™€์ฃผ๋Š” ์ž‘์—…์ด ๊ทธ๋ ‡๋‹ค. ์ด๋ฒˆ ๊ฒฐ๊ณผ๋ฅผ ๋ชจ๋“  ์–ธ์–ด ์ƒ์„ฑ ๋ฐฉ์‹์˜ ๊ทœ์น™์œผ๋กœ ์ผ๋ฐ˜ํ™”ํ•˜๋ฉด ์•ˆ ๋œ๋‹ค.

๊ทธ๋ ‡๋‹ค๋ฉด ์—ฐ๊ตฌ์ง„์€ โ€˜๋‹ค์–‘์„ฑโ€™์„ ์–ด๋–ป๊ฒŒ ๋ณด์•˜์„๊นŒ. ํ•ต์‹ฌ ์ง€ํ‘œ๊ฐ€ Pass@k๋‹ค. ๊ฐ™์€ ๋ฌธ์ œ์— ๋‹ต์•ˆ ํ•˜๋‚˜๋งŒ ๋ฝ‘์•„ ๋งž์œผ๋ฉด Pass@1์ด๋‹ค. ๋‹ต์•ˆ k๊ฐœ๋ฅผ ๋…๋ฆฝ์ ์œผ๋กœ ๋ฝ‘์•˜์„ ๋•Œ ๊ทธ์ค‘ ํ•˜๋‚˜๋ผ๋„ ๋งž์œผ๋ฉด Pass@k๋‹ค. ์ˆ˜ํ•™์ด๋‚˜ ์ฝ”๋“œ์—์„œ๋Š” ํ•˜๋‚˜์˜ ๋‹ต์ด ํ‹€๋ ธ๋”๋ผ๋„ ๋‹ค๋ฅธ ์‹œ๋„๊ฐ€ ๋งž์„ ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, Pass@k๋Š” ๋ชจ๋ธ์ด ์„œ๋กœ ๋‹ค๋ฅธ ์œ ํšจ ๊ฒฝ๋กœ๋ฅผ ์–ผ๋งˆ๋‚˜ ๋‚จ๊ธฐ๋Š”์ง€ ์‚ดํ”ผ๋Š” ํ•œ ๋ฐฉ๋ฒ•์ด ๋œ๋‹ค.

์˜ˆ๋ฅผ ๋“ค์–ด ์ฝ”๋“œ ๋ฌธ์ œ์— ๋Œ€ํ•ด ๋ชจ๋ธ์ด ๋„ค ๊ฐœ์˜ ์„œ๋กœ ๋น„์Šทํ•œ ๋‹ต๋งŒ ๊ณ„์† ๋งŒ๋“ ๋‹ค๋ฉด, ๋„ค ๋ฒˆ์˜ ๊ธฐํšŒ๊ฐ€ ์žˆ์–ด๋„ ๊ฐ™์€ ์‹ค์ˆ˜๋ฅผ ๋ฐ˜๋ณตํ•  ์ˆ˜ ์žˆ๋‹ค. ๋ฐ˜๋Œ€๋กœ ์„œ๋กœ ๋‹ค๋ฅธ ์ ‘๊ทผ์„ ๋„ค ๊ฐœ ๋งŒ๋“ค๋ฉด ํ•œ ์ ‘๊ทผ์ด ํ…Œ์ŠคํŠธ๋ฅผ ํ†ต๊ณผํ•  ๊ฐ€๋Šฅ์„ฑ์ด ์ƒ๊ธด๋‹ค. Pass@k๊ฐ€ ๋†’๋‹ค๊ณ  ๋‹ต์•ˆ ํ•œ ๊ฐœ์˜ ํ’ˆ์งˆ์ด๋‚˜ ์•ˆ์ „์„ฑ์ด ์ž๋™์œผ๋กœ ์ข‹์•„์ง€๋Š” ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์—ฌ๋Ÿฌ ์‹œ๋„๋ฅผ ํ—ˆ์šฉํ•˜๋Š” ์‚ฌ์šฉ ํ™˜๊ฒฝ์—์„œ ํ•ด๋ฒ• ๊ณต๊ฐ„์ด ์–ผ๋งˆ๋‚˜ ๋นจ๋ฆฌ ์ข์•„์ง€๋Š”์ง€๋Š” ๋ณด์—ฌ ์ค„ ์ˆ˜ ์žˆ๋‹ค.

ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€๊ฐ€ ์†Œ๊ฐœํ•œ HumanEval ์‹คํ—˜์—์„œ๋Š” AR ์ˆœ์„œ๋กœ๋งŒ ์ƒ์„ฑํ•œ ๊ฒฝ์šฐ Pass@1024๊ฐ€ 21.3%, AO ์ˆœ์„œ๋กœ๋งŒ ์ƒ์„ฑํ•œ ๊ฒฝ์šฐ 0.6%์˜€๋‹ค.[2] ์ด ์ˆ˜์น˜๋Š” 1,024๋ฒˆ ๋ฝ‘์•„ ํ•˜๋‚˜๋ผ๋„ ํ†ต๊ณผํ•œ ๋ฌธ์ œ์˜ ๋น„์œจ์ด๋ผ๋Š” ํŠน์ • ์กฐ๊ฑด์˜ ๊ฒฐ๊ณผ๋‹ค. ์ผ์ƒ ๋Œ€ํ™”์˜ ์ •๋‹ต๋ฅ ๋„ ์•„๋‹ˆ๊ณ , ํ•œ ๋ฒˆ ์ƒ์„ฑํ•  ๋•Œ์˜ ์„ฑ๊ณต๋ฅ ๋„ ์•„๋‹ˆ๋‹ค. ์ˆซ์ž๋ฅผ ํฌ๊ฒŒ ๋ณด์ด๊ฒŒ ํ•˜๋Š” ์žฅ์‹์œผ๋กœ ์ฝ๊ธฐ๋ณด๋‹ค, ์ƒ์„ฑ ์ˆœ์„œ๊ฐ€ ํ•ด๋ฒ•์˜ ํญ์„ ํฌ๊ฒŒ ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ด€์ฐฐ์œผ๋กœ ์ฝ๋Š” ํŽธ์ด ์ •ํ™•ํ•˜๋‹ค.

#4. ์‹คํ—˜์€ ๋ฌด์—‡์„ ๊ฐ™์€ ์กฐ๊ฑด์—์„œ ๋น„๊ตํ–ˆ๋‚˜

์ด ๋…ผ๋ฌธ์€ LLaDA-Instruct, Dream-Instruct, LLaDA 1.5๋ผ๋Š” ์„ธ dLLM ๊ณ„์—ด์„ ๋Œ€์ƒ์œผ๋กœ, ์ˆ˜ํ•™ ๋‘ ์ข…๋ฅ˜์™€ ์ฝ”๋“œ ๋‘ ์ข…๋ฅ˜์˜ ๊ณผ์ œ๋ฅผ ๋น„๊ตํ–ˆ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค.[2] GSM8K๋Š” ๋ฌธ์žฅ์œผ๋กœ ๋œ ํ•™๊ต ์ˆ˜์ค€ ์ˆ˜ํ•™ ๋ฌธ์ œ, MATH-500์€ ๋” ์–ด๋ ค์šด ์ˆ˜ํ•™ ๋ฌธ์ œ ์ง‘ํ•ฉ์ด๋‹ค. HumanEval๊ณผ MBPP๋Š” ํ”„๋กœ๊ทธ๋žจ์„ ์ž‘์„ฑํ•˜๊ณ  ํ…Œ์ŠคํŠธ๋กœ ๋งž๋Š”์ง€ ํ‰๊ฐ€ํ•˜๋Š” ์ฝ”๋“œ ๋ฒค์น˜๋งˆํฌ๋‹ค. ๋„ค ์ด๋ฆ„์„ ์™ธ์šธ ํ•„์š”๋Š” ์—†๋‹ค. ์•ž์˜ ๋‘˜์€ ๊ณ„์‚ฐ๊ณผ ํ’€์ด ์ „๊ฐœ, ๋’ค์˜ ๋‘˜์€ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ์ฝ”๋“œ๋ผ๋Š” ์ฐจ์ด๋ฅผ ๊ธฐ์–ตํ•˜๋ฉด ๋œ๋‹ค.

์—ฐ๊ตฌ์˜ ์ค‘์‹ฌ ๋น„๊ต๋Š” ๊ฐ„๋‹จํ•˜๋‹ค. ํ•˜๋‚˜์˜ dLLM์„ ๋ณด์ƒ ํ•™์Šตํ•  ๋•Œ, ๋‹ต์•ˆ์˜ ๋งˆ์Šคํฌ๋ฅผ AR ์ˆœ์„œ๋กœ ํ’€๊ฒŒ ํ•˜๋Š”๊ฐ€, ์•„๋‹ˆ๋ฉด AO ์ˆœ์„œ๋กœ ํ’€๊ฒŒ ํ•˜๋Š”๊ฐ€๋‹ค. ์ด๋•Œ AO๊ฐ€ ๊ณ ์ •๋œ ๋ฌด์ž‘์œ„ ์ˆœ์„œ๋งŒ์„ ๋œปํ•˜๋Š” ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ํ™•์‚ฐ ๋ชจ๋ธ์ด ๊ฐ ๋นˆ์นธ์„ ์–ผ๋งˆ๋‚˜ ์ž์‹  ์žˆ๊ฒŒ ์ฑ„์šธ ์ˆ˜ ์žˆ๋Š”์ง€ ๋ณด๊ณ  ๋‹ค์Œ ์œ„์น˜๋ฅผ ํƒํ•˜๋Š” ๋ฐฉ์‹์ด ํฌํ•จ๋  ์ˆ˜ ์žˆ๋‹ค. ๊ทธ๋ž˜์„œ ์ด ๋…ผ๋ฌธ์€ ๋‹จ์ˆœํžˆ โ€˜์™ผ์ชฝ๋ถ€ํ„ฐ ์“ด ๋ฌธ์žฅโ€™๊ณผ โ€˜์ˆœ์„œ๋ฅผ ์„ž์€ ๋ฌธ์žฅโ€™๋งŒ ๋น„๊ตํ•œ ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๋ณด์ƒ ํ•™์Šต ๊ณผ์ •์—์„œ ์–ด๋–ค ๊ฒฝ๋กœ๋ฅผ ๋ชจ๋ธ์ด ๋” ์ž์ฃผ ๊ฒฝํ—˜ํ•˜๋Š”๊ฐ€๋ฅผ ๋น„๊ตํ•œ๋‹ค.

์ด ๊ตฌ๋ถ„์€ ์‹คํ—˜์„ ์ฝ์„ ๋•Œ ํŠนํžˆ ์ค‘์š”ํ•˜๋‹ค. ํ•œ ๋…ผ๋ฌธ์˜ ํ‘œ์—์„œ ์–ด๋–ค ๋ฐฉ๋ฒ•์ด ๋†’๋‹ค๊ณ  ํ•ด์„œ, ๊ทธ ๋ฐฉ๋ฒ•์˜ ์ด๋ฆ„๋งŒ ๋ฐ”๊พธ๋ฉด ๋ชจ๋“  ๋ชจ๋ธ์—์„œ ๊ฐ™์€ ํšจ๊ณผ๊ฐ€ ๋‚œ๋‹ค๋Š” ๋œป์€ ์•„๋‹ˆ๋‹ค. ๊ธฐ๋ฐ˜ ๋ชจ๋ธ, ํ•™์Šต ๋ฐ์ดํ„ฐ, ๋ณด์ƒ ํŒ์ •, ์ƒ์„ฑ ๊ธธ์ด, ์ƒ˜ํ”Œ ์ˆ˜, ๊ณ„์‚ฐ ์˜ˆ์‚ฐ์ด ํ•จ๊ป˜ ๊ฒฐ๊ณผ๋ฅผ ๋งŒ๋“ ๋‹ค. ์ €์ž ์ €์žฅ์†Œ๋„ ๊ฒฐ๊ณผ ํ‘œ์™€ ํ•จ๊ป˜ ํ•™์Šตยทํ‰๊ฐ€ ์ฝ”๋“œ, ๋ชจ๋ธ ์ฒดํฌํฌ์ธํŠธ๋ฅผ ๊ณต๊ฐœํ•œ๋‹ค.[3] ์ด ์ ์€ ๊ฒฐ๊ณผ๋ฅผ ๋…๋ฆฝ์ ์œผ๋กœ ์žฌํ˜„ยท๊ฒ€ํ† ํ•  ์ถœ๋ฐœ์ ์ด ์žˆ๋‹ค๋Š” ์žฅ์ ์ด๋‹ค. ๋ฐ˜๋Œ€๋กœ ๊ณต๊ฐœ ์ฝ”๋“œ๊ฐ€ ์žˆ๋‹ค๋Š” ์‚ฌ์‹ค๋งŒ์œผ๋กœ ๋‹ค๋ฅธ ์žฅ๋น„์™€ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ์—์„œ ์žฌํ˜„๋๋‹ค๊ณ  ๊ฒฐ๋ก  ๋‚ด๋ฆด ์ˆ˜๋Š” ์—†๋‹ค.

#5. JustGRPO๊ฐ€ ๋ฐ”๊พผ ํ•œ ๊ฐ€์ง€: ํ•™์Šต ์ค‘์—๋Š” ํ•œ ์ค„๋กœ ๋‹ต์•ˆ์„ ๋งŒ๋“ ๋‹ค

์งˆ๋ฌธ์—์„œ AR ์ˆœ์„œ ๋‹ต์•ˆ ์—ฌ๋Ÿฌ ๊ฐœ, ๊ฒ€์ฆ ๋ณด์ƒ, ๋ชจ๋ธ ์—…๋ฐ์ดํŠธ๋กœ ์ด์–ด์ง€๋Š” JustGRPO ํ•™์Šต๊ณผ ๋ณ‘๋ ฌ ์ƒ์„ฑ ์„ ํƒ์ง€๊ฐ€ ๋‚จ๋Š” ์ถ”๋ก  ๋‹จ๊ณ„๋ฅผ ๋‚˜๋ˆˆ ๊ต์œก์šฉ ํ๋ฆ„๋„ ๊ทธ๋ฆผ์˜ ๊ธ€์ž๊ฐ€ ์ž‘๋‹ค๋ฉด ์›๋ณธ ํฌ๊ฒŒ ๋ณด๊ธฐ ยท ์ƒˆ ํƒญ
JJo ์ž์ฒด ์ œ์ž‘ ํ•™์Šตยท์ถ”๋ก  ๊ตฌ๋ถ„๋„ ยท ์‹คํ—˜ ๋ฐ์ดํ„ฐ ์•„๋‹˜ ํ•™์Šต๊ณผ ์ถ”๋ก ์—์„œ ์ƒ์„ฑ ์ˆœ์„œ๊ฐ€ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ์„ ์„ค๋ช…ํ•œ๋‹ค. ์ƒ์ž ํฌ๊ธฐ, ํ™”์‚ดํ‘œ ๊ธธ์ด, ์ƒ‰์€ ์‹ค์ œ ๋น„์šฉยท์‹œ๊ฐ„ยท์„ฑ๋Šฅ ๋น„์œจ์„ ๋‚˜ํƒ€๋‚ด์ง€ ์•Š๋Š”๋‹ค. JJo ยท ๊ต์œก์šฉ JustGRPO ํ๋ฆ„๋„ ยท 2026-09-14 ยท ์ถœ์ฒ˜ ยท ์ž์ฒด ์ œ์ž‘ ยท MIT ยท ์™ธ๋ถ€ ์ด๋ฏธ์ง€ยทํฐํŠธยท๋ฐ์ดํ„ฐ๋ฅผ ํฌํ•จํ•˜์ง€ ์•Š์€ ์ง์ ‘ ์ œ์ž‘ SVG

์ด๋ฆ„์ด ์–ด๋ ต์ง€๋งŒ ๋ณ€ํ™”๋Š” ๋น„๊ต์  ์ž‘๋‹ค. GRPO(Group Relative Policy Optimization)๋Š” ๊ฐ™์€ ์งˆ๋ฌธ์— ๋Œ€ํ•ด ์—ฌ๋Ÿฌ ๋‹ต์•ˆ์„ ๋งŒ๋“  ๋’ค, ๊ทธ ๋‹ต์•ˆ๋“ค์„ ์„œ๋กœ ๋น„๊ตํ•ด ์ƒ๋Œ€์ ์œผ๋กœ ์ข‹์€ ๋‹ต์„ ๋” ์ž์ฃผ ๋งŒ๋“ค๋„๋ก ๋ชจ๋ธ์˜ ํ™•๋ฅ ์„ ์กฐ์ •ํ•˜๋Š” ๋ณด์ƒ ํ•™์Šต ๊ณ„์—ด์ด๋‹ค. ์ˆ˜ํ•™ ๋ฌธ์ œ๋ผ๋ฉด ์ตœ์ข… ๋‹ต์ด ๋งž๋Š”์ง€, ์ฝ”๋“œ๋ผ๋ฉด ํ…Œ์ŠคํŠธ๋ฅผ ํ†ต๊ณผํ•˜๋Š”์ง€ ๊ฐ™์€ ํŒ์ •์ด ๋ณด์ƒ์ด ๋  ์ˆ˜ ์žˆ๋‹ค. ๋ˆ„๊ตฐ๊ฐ€ ๋‹ต์•ˆ์„ ์ง์ ‘ ํ•œ ๋ฌธ์žฅ์”ฉ ์ฑ„์ ํ•ด ์ฃผ๋Š” ๋ฐฉ์‹๋งŒ์„ ๋œปํ•˜์ง€๋Š” ์•Š๋Š”๋‹ค.

JustGRPO๋Š” ์ด ํ•™์Šต์—์„œ dLLM์—๊ฒŒ โ€œ๋นˆ์นธ์„ ์•„๋ฌด ์ˆœ์„œ๋กœ ๋ณต์›ํ•˜๋ผโ€๊ณ  ๋งก๊ธฐ์ง€ ์•Š๊ณ , ๋‹ต์•ˆ ํ† ํฐ์„ ์™ผ์ชฝ์—์„œ ์˜ค๋ฅธ์ชฝ์œผ๋กœ ํ•˜๋‚˜์”ฉ ์ƒ์„ฑํ•˜๋ผ๊ณ  ์ •ํ•œ๋‹ค. ๊ทธ๋Ÿฌ๋ฉด ํ‘œ์ค€ AR ๋ชจ๋ธ์— ์“ฐ๋Š” GRPO์˜ ๊ณ„์‚ฐ์„ ๋” ์ง์ ‘์ ์œผ๋กœ ์ ์šฉํ•  ์ˆ˜ ์žˆ๋‹ค. ์ €์ž๋“ค์€ ์ด ์„ ํƒ์ด ์ž„์˜ ์ˆœ์„œ ๊ฒฝ๋กœ์˜ ์กฐํ•ฉ์  ๋ณต์žก๋„, ๊ทผ์‚ฌ ์šฐ๋„ ๊ณ„์‚ฐ, ํ•™์Šตํ•  ๋•Œ์˜ ์ƒ˜ํ”Œ๋Ÿฌ์™€ ํ‰๊ฐ€ํ•  ๋•Œ์˜ ๋ชจ๋ธ ๋ถˆ์ผ์น˜ ๋ฌธ์ œ๋ฅผ ํ”ผํ•œ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค.[3]

์ˆ˜์‹ ์ž์ฒด๋Š” ๊ฒ๋‚ผ ํ•„์š”๊ฐ€ ์—†๋‹ค. ๊ฐ™์€ ์งˆ๋ฌธ x์— ๋Œ€ํ•ด K๊ฐœ์˜ ๋‹ต yโ‚, โ€ฆ, yแด‹๋ฅผ ๋งŒ๋“ค๊ณ  ๊ฐ๊ฐ ๋ณด์ƒ rแตข๋ฅผ ๋ฐ›์•˜๋‹ค๊ณ  ํ•˜์ž. ๋‹ต๋“ค์˜ ํ‰๊ท  ๋ณด์ƒ์—์„œ ์–ผ๋งˆ๋‚˜ ์œ„ยท์•„๋ž˜์ธ์ง€ ๋‚˜ํƒ€๋‚ด๋Š” ์•„์ฃผ ๋‹จ์ˆœํ•œ ํ‘œ์ค€ํ™” ๊ฐ’์€ ๋‹ค์Œ์ฒ˜๋Ÿผ ์“ธ ์ˆ˜ ์žˆ๋‹ค.

Ai=riโˆ’rโ€พsr+ฮต.A_i=\frac{r_i-\overline r}{s_r+\varepsilon}.

Aแตข๋Š” i๋ฒˆ์งธ ๋‹ต์ด ๊ฐ™์€ ์งˆ๋ฌธ์—์„œ ๋ฝ‘ํžŒ ๋‹ต๋“ค๋ณด๋‹ค ์–ผ๋งˆ๋‚˜ ์ข‹์•˜๋Š”์ง€ ๋‚˜ํƒ€๋‚ด๋Š” ์ƒ๋Œ€ ์ ์ˆ˜๋‹ค. rฬ„๋Š” ๊ทธ ๋ฌถ์Œ์˜ ํ‰๊ท  ๋ณด์ƒ, sแตฃ๋Š” ๋ณด์ƒ๋“ค์˜ ํผ์ง, ฮต์€ 0์œผ๋กœ ๋‚˜๋ˆ„๋Š” ์ผ์„ ๋ง‰๋Š” ์•„์ฃผ ์ž‘์€ ์ˆ˜๋‹ค. ์—ฌ๊ธฐ์„œ ๋ชจ๋ธ์€ Aแตข๊ฐ€ ํฐ ๋‹ต์•ˆ์˜ ์„ ํƒ์„ ๋” ์ž์ฃผ ํ•˜๋„๋ก ๋ฐ”๋€๋‹ค. ์ด ์‹์€ GRPO์˜ ์ง๊ด€์„ ์œ„ํ•œ ์„ค๋ช…์‹์ด๋ฉฐ, ์‹ค์ œ ๊ตฌํ˜„์€ ์ด์ „ ์ •์ฑ…๊ณผ์˜ ๋น„์œจยทํด๋ฆฌํ•‘ ๋“ฑ ์ถ”๊ฐ€ ์•ˆ์ „์žฅ์น˜๋ฅผ ๋‘”๋‹ค. ๋…ผ๋ฌธยท์ฝ”๋“œ์˜ ์ •ํ™•ํ•œ ๋ชฉ์ ํ•จ์ˆ˜์™€ ๋™์ผํ•œ ํ•œ ์ค„ ๊ตฌํ˜„์ด๋ผ๊ณ  ์ฃผ์žฅํ•˜๋Š” ์‹์€ ์•„๋‹ˆ๋‹ค.[3]

AR ์ˆœ์„œ์—์„œ๋Š” ๋‹ต ์ „์ฒด์˜ ํ™•๋ฅ ์„ ๊ฐ ์œ„์น˜์˜ ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ ์„ ๊ณฑํ•ด ๋‹ค๋ฃฐ ์ˆ˜ ์žˆ๋‹ค.

pฮธ(yโˆฃx)=โˆt=1Tpฮธ(ytโˆฃx,y1:tโˆ’1).p_\theta(y\mid x)=\prod_{t=1}^{T}p_\theta(y_t\mid x,y_{1:t-1}).

yโ‚œ๋Š” t๋ฒˆ์งธ ํ† ํฐ, T๋Š” ๋‹ต์•ˆ ๊ธธ์ด, ฮธ๋Š” ๋ชจ๋ธ์˜ ์กฐ์ • ๊ฐ€๋Šฅํ•œ ๊ฐ’์ด๋‹ค. ์•ž ํ† ํฐ yโ‚๋ถ€ํ„ฐ yโ‚œโ‚‹โ‚๊นŒ์ง€๊ฐ€ ์ฃผ์–ด์ง„ ๋’ค ๋‹ค์Œ ํ† ํฐ์„ ํ‰๊ฐ€ํ•˜๋ฏ€๋กœ, โ€œ์ด ๋‹ต์•ˆ์„ ์ด ์ˆœ์„œ๋กœ ๋งŒ๋“ค ํ™•๋ฅ โ€์„ ๋ช…ํ™•ํžˆ ๊ณ„์‚ฐํ•  ์ˆ˜ ์žˆ๋‹ค. ๋ฐ˜๋ฉด ์—ฌ๋Ÿฌ ๋นˆ์นธ์„ ์ž„์˜ ์ˆœ์„œ๋กœ ๋ณต์›ํ•˜๋Š” ๊ฒฝ๋กœ๋Š” ๊ฐ€๋Šฅํ•œ ์ˆœ์„œ๊ฐ€ ๋งŽ๋‹ค. ์–ด๋–ค ๊ฒฝ๋กœ๋ฅผ ํ•™์Šต ๋Œ€์ƒ์œผ๋กœ ์‚ผ๊ณ  ๋ฌด์—‡์„ ๊ทผ์‚ฌํ• ์ง€ ๋ณต์žกํ•ด์ง„๋‹ค. JustGRPO๋Š” ์ด ๋ณต์žกํ•œ ๊ฒฝ๋กœ๋ฅผ ์ƒˆ ์ˆ˜ํ•™์œผ๋กœ ๋ชจ๋‘ ํ•ด๊ฒฐํ–ˆ๋‹ค๊ธฐ๋ณด๋‹ค, ํ•™์Šต ๋‹จ๊ณ„์—์„œ๋Š” ๊ทธ ๊ฒฝ๋กœ๋ฅผ ์„ ํƒํ•˜์ง€ ์•Š๋Š” ๋ฐฉ๋ฒ•์„ ํƒํ–ˆ๋‹ค.

์—ฌ๊ธฐ์„œ ๋‹ค์‹œ ํ•œ ๋ฒˆ ๊ตฌ๋ณ„ํ•ด์•ผ ํ•œ๋‹ค. ์ €์ž๋“ค์€ ํ•™์Šต ๋•Œ๋งŒ AR ์ˆœ์„œ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉฐ, ์ถ”๋ก  ๋‹จ๊ณ„์—์„œ๋Š” dLLM์˜ ๋ณ‘๋ ฌ ๋ณต์› ๋ฐฉ์‹์„ ์œ ์ง€ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๋งํ•œ๋‹ค.[2][3] ๋”ฐ๋ผ์„œ โ€œํ™•์‚ฐ LLM์„ ๋ณดํ†ต AR LLM์œผ๋กœ ๊ต์ฒดํ–ˆ๋‹คโ€๋Š” ์„ค๋ช…์€ ๋ถ€์ •ํ™•ํ•˜๋‹ค. ๋” ์ •ํ™•ํ•œ ํ‘œํ˜„์€ โ€œdLLM์„ ๋ณด์ƒ์œผ๋กœ ํ›ˆ๋ จํ•˜๋Š” ๊ฒฝ๋กœ๋ฅผ AR๋กœ ๊ณ ์ •ํ•ด ํ‘œ์ค€ GRPO๋ฅผ ์ ์šฉํ–ˆ๋‹คโ€์ด๋‹ค.

#6. ๊ฒฐ๊ณผ ํ‘œ๋ฅผ ์ฝ๋Š” ๋ฒ•: ์ˆซ์ž๋ณด๋‹ค ๋น„๊ต ์กฐ๊ฑด๋ถ€ํ„ฐ

JustGRPO ์ €์ž๋“ค์ด ๊ณต๊ฐœํ•œ ์›๋ณธ ๊ฒฐ๊ณผ ๋น„๊ต ๊ทธ๋ž˜ํ”„: ๋„ค ์ˆ˜ํ•™ยท์ฝ”๋“œ ๋ฒค์น˜๋งˆํฌ์—์„œ ์—ฌ๋Ÿฌ ๋ณด์ƒ ํ•™์Šต ๋ฐฉ๋ฒ•์˜ ์„ฑ๋Šฅ์„ ๋น„๊ต ๊ทธ๋ฆผ์˜ ๊ธ€์ž๊ฐ€ ์ž‘๋‹ค๋ฉด ์›๋ณธ ํฌ๊ฒŒ ๋ณด๊ธฐ ยท ์ƒˆ ํƒญ
์ €์ž ๊ณต์‹ ํ”„๋กœ์ ํŠธ์˜ ์›๋ณธ ๊ฒฐ๊ณผ ๋น„๊ต ๊ทธ๋ฆผ ๋ฐฉ๋ฒ•๋ณ„ ๋ง‰๋Œ€๋ฅผ ์ฝ์„ ๋•Œ ๊ธฐ๋ฐ˜ ๋ชจ๋ธ, ์ƒ์„ฑ ๊ธธ์ด, ํ•™์Šต ์˜ˆ์‚ฐ๊ณผ ํ‰๊ฐ€ ์„ค์ •์ด ๋ชจ๋‘ ๊ฐ™์€์ง€ ์›๋ฌธ ํ‘œ์—์„œ ๋‹ค์‹œ ํ™•์ธํ•ด์•ผ ํ•œ๋‹ค. ์ด ๊ทธ๋ฆผ ํ•˜๋‚˜๊ฐ€ ๋ชจ๋“  ์–ธ์–ด ๊ณผ์ œ์˜ ์šฐ์—ด์„ ํ™•์ •ํ•˜์ง€๋Š” ์•Š๋Š”๋‹ค. LeapLab, Tsinghua University ยท JustGRPO ยท acc_compare.png ยท ์ถœ์ฒ˜ ยท MIT ยท JustGRPO ์ €์žฅ์†Œ ยท ์›๋ณธ PNG๋ฅผ ๋ณ€๊ฒฝยทํฌ๋กญยท๋ฒˆ์—ญํ•˜์ง€ ์•Š๊ณ  ๋กœ์ปฌ ์ œ๊ณต ๊ฒฝ๋กœ์— ๋ณด์กด

์ €์ž ๊ณต๊ฐœ ์ €์žฅ์†Œ์˜ full fine-tuning ํ‘œ์—์„œ generation length 256 ์กฐ๊ฑด์˜ ์ˆ˜์น˜๋Š” GSM8K 89.1, MATH-500 45.1, HumanEval 49.4, MBPP 52.4๋‹ค.[3] ์•„๋ž˜๋Š” ๊ฐ™์€ ์ €์žฅ์†Œ์— ์‹ค๋ฆฐ generation length๋ณ„ ๊ฒฐ๊ณผ๋ฅผ ๋‹ค์‹œ ์˜ฎ๊ธด ๊ฒƒ์ด๋‹ค. ๊ฐ ํ–‰์€ ์„œ๋กœ ๋‹ค๋ฅธ ๊ณผ์ œ์ด๋ฏ€๋กœ, 89.1์ด 49.4๋ณด๋‹ค โ€˜๋‘ ๋ฐฐ ๋” ์ข‹๋‹คโ€™๋Š” ๋œป์ด ์•„๋‹ˆ๋‹ค. ๊ฐ ๋ฒค์น˜๋งˆํฌ์˜ ์ฑ„์  ๋ฐฉ์‹๊ณผ ๋‚œ๋„๊ฐ€ ๋‹ค๋ฅด๋‹ค.

๊ณผ์ œ๊ธธ์ด 128๊ธธ์ด 256๊ธธ์ด 512๋ฌด์—‡์„ ํ™•์ธํ•˜๋‚˜
GSM8K83.889.189.8๋ฌธ์žฅํ˜• ์ˆ˜ํ•™ ๋ฌธ์ œ
MATH-50039.045.145.2๋” ์–ด๋ ค์šด ์ˆ˜ํ•™ ํ’€์ด
HumanEval37.849.448.7ํ•จ์ˆ˜ ๊ตฌํ˜„๊ณผ ์‹คํ–‰ ํ…Œ์ŠคํŠธ
MBPP50.652.449.0๊ธฐ์ดˆ ํ”„๋กœ๊ทธ๋žจ ์ž‘์„ฑ

๊ธธ์ด๋ฅผ 128์—์„œ 256์œผ๋กœ ๋Š˜๋ ธ์„ ๋•Œ ๋„ค ๊ณผ์ œ ๋ชจ๋‘ ์ด ํ‘œ์—์„œ๋Š” ๋†’์•„์กŒ์ง€๋งŒ, 512์—์„œ ๊ณ„์† ์ฆ๊ฐ€ํ•˜์ง€๋Š” ์•Š๋Š”๋‹ค. ์ด๊ฒƒ๋งŒ์œผ๋กœ โ€œ๋‹ต์„ ๊ธธ๊ฒŒ ์“ฐ๋ฉด ์ถ”๋ก ๋ ฅ์ด ๊ณ„์† ์˜ฌ๋ผ๊ฐ„๋‹คโ€๊ณ  ๋งํ•  ์ˆ˜ ์—†๋‹ค. ํ† ํฐ ์˜ˆ์‚ฐ์ด ๋Š˜๋ฉด ๋” ์ž์„ธํžˆ ํ’€์ดํ•  ๊ธฐํšŒ๊ฐ€ ์ƒ๊ธฐ๋Š” ํ•œํŽธ, ์ž˜๋ชป๋œ ๋ฐฉํ–ฅ์œผ๋กœ ๊ธธ๊ฒŒ ์ „๊ฐœํ•  ๊ธฐํšŒ๋„ ๋Š˜์–ด๋‚œ๋‹ค. ํ‰๊ฐ€ ๋ฐฉ์‹๊ณผ ์ƒ˜ํ”Œ๋ง ์„ค์ •๊นŒ์ง€ ํ•จ๊ป˜ ๋ด์•ผ ํ•œ๋‹ค.

์›๋ณธ ๋น„๊ต ๊ทธ๋ฆผ์—๋Š” JustGRPO ์™ธ์—๋„ ์—ฌ๋Ÿฌ ํ™•์‚ฐ ๋ชจ๋ธ์šฉ ๋ณด์ƒ ํ•™์Šต ๋ฐฉ๋ฒ•์ด ๋“ฑ์žฅํ•œ๋‹ค. ํ‘œ๋ฅผ ๋ณผ ๋•Œ ํŠนํžˆ ์กฐ์‹ฌํ•  ์ ์€ ๋ชจ๋“  ๋ง‰๋Œ€๊ฐ€ ๊ฐ™์€ ๊ธฐ๋ฐ˜ ๋ชจ๋ธยท๊ฐ™์€ ํ•™์Šต ์˜ˆ์‚ฐยท๊ฐ™์€ ์ƒ์„ฑ ๊ธธ์ด๋กœ ํ›ˆ๋ จ๋๋‹ค๊ณ  ์ž๋™ ๊ฐ€์ •ํ•˜๋ฉด ์•ˆ ๋œ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€๋Š” ์ž๊ธฐ๋“ค์˜ ํ‘œ์—์„œ ๋น„๊ต ์กฐ๊ฑด์„ ์„ค๋ช…ํ•˜์ง€๋งŒ, ๋‹ค๋ฅธ ์—ฐ๊ตฌ์˜ ์ˆ˜์น˜๋ฅผ ํ•œ ์žฅ์— ๋†“๋Š” ์ผ์—๋Š” ์–ธ์ œ๋‚˜ ๊ตฌํ˜„ยท์˜ˆ์‚ฐ ์ฐจ์ด๊ฐ€ ์„ž์ผ ์ˆ˜ ์žˆ๋‹ค.[2] ์ด๋ฒˆ ๊ธ€์ด ๊ฐ€์žฅ ๊ฐ•ํ•˜๊ฒŒ ๋งํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€๋ถ„์€ โ€œ์ €์ž๋“ค์˜ ๊ณต๊ฐœ ์„ค์ •์—์„œ AR ํ•™์Šต ๊ฒฝ๋กœ๊ฐ€ ๊ฐ•ํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์˜€๋‹คโ€๊นŒ์ง€๋‹ค.

๊ทธ๋Ÿผ์—๋„ ์ด ๊ฒฐ๊ณผ๊ฐ€ ์—ฐ๊ตฌ์ž์—๊ฒŒ ํฅ๋ฏธ๋กœ์šด ์ด์œ ๋Š” ๋ฐฉ๋ฒ•์ด ํ™”๋ คํ•ด์„œ๊ฐ€ ์•„๋‹ˆ๋ผ ๋ฐ˜๋Œ€๋‹ค. dLLM์˜ ๊ณ ์œ ํ•œ โ€˜์ž„์˜ ์ˆœ์„œโ€™๋ฅผ ์‚ด๋ฆฌ๊ธฐ ์œ„ํ•ด ๋ณ„๋„ ๋ณด์ƒ ๊ณต์‹์ด ํ•„์š”ํ•˜๋‹ค๊ณ  ์—ฌ๊ฒจ์ง„ ๋ฌธ์ œ์—์„œ, ๊ธฐ์กด AR์šฉ GRPO๋กœ ๋Œ์•„๊ฐ€๋Š” ์„ ํƒ์ด ๋‚˜์™”๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ์ข‹์€ ๋ฐฉ๋ฒ•์€ ์–ธ์ œ๋‚˜ ๋” ๋งŽ์€ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ๋”ํ•˜๋Š” ๋ฐฉ์‹์ด ์•„๋‹ˆ๋‹ค. ์–ด๋–ค ์ž์œ ๋„๊ฐ€ ํ•™์Šต ์‹ ํ˜ธ๋ฅผ ํ๋ฆฌ๊ฒŒ ๋งŒ๋“ ๋‹ค๋ฉด, ๊ทธ ์ž์œ ๋„๋ฅผ ์ž ์‹œ ์ œํ•œํ•˜๋Š” ํŽธ์ด ๋‚ซ๋‹ค๋Š” ์‚ฌ๋ก€๊ฐ€ ๋  ์ˆ˜ ์žˆ๋‹ค.

#7. ๊ทธ๋ ‡๋‹ค๋ฉด ์ด AI๋Š” ์Šค์Šค๋กœ ์ข‹์•„์ง€๋Š”๊ฐ€

์–ด๋А ์˜๋ฏธ์—์„œ๋Š” ๊ทธ๋ ‡๋‹ค. ๋ชจ๋ธ์€ ์—ฌ๋Ÿฌ ๋‹ต์„ ๋‚ด๊ณ , ๋ณด์ƒ ํŒ์ •์ด ๋” ์ข‹๋‹ค๊ณ  ํ•œ ๋‹ต์˜ ํŒจํ„ด์„ ๋‹ค์Œ ์—…๋ฐ์ดํŠธ์—์„œ ๋” ์ž์ฃผ ์„ ํƒํ•œ๋‹ค. ์ด ํ๋ฃจํ”„๋Š” ๋‹ต์•ˆ ์ƒ์„ฑ โ†’ ์ฑ„์  ๋˜๋Š” ํ…Œ์ŠคํŠธ โ†’ ์ƒ๋Œ€ ๋ณด์ƒ โ†’ ํ™•๋ฅ  ์—…๋ฐ์ดํŠธ๋กœ ์ด์–ด์ง„๋‹ค. ํ•™์Šต ์ „๊ณผ ํ›„์˜ ๋ชจ๋ธ์ด ๋‹ฌ๋ผ์ง€๋ฏ€๋กœ, ์ข์€ ์˜๋ฏธ์˜ ์„ฑ๋Šฅ ๊ฐœ์„ ์€ ์‹ค์ œ๋กœ ์ผ์–ด๋‚œ๋‹ค.

ํ•˜์ง€๋งŒ ์ด๊ฒƒ์„ โ€˜AI๊ฐ€ ์Šค์Šค๋กœ ์—ฐ๊ตฌ ๋ฐฉํ–ฅ์„ ์ •ํ•˜๊ณ  ์ž๊ธฐ ๋ชฉ์ ํ•จ์ˆ˜๊นŒ์ง€ ๊ณ ์ณ ๊ฐ€๋ฉฐ ์ง„ํ™”ํ•œ๋‹คโ€™๊ณ  ๋ถ€๋ฅด๋ฉด ๊ณผ์žฅ์ด๋‹ค. ๋ˆ„๊ฐ€ ๋ฌธ์ œ ์ง‘ํ•ฉ์„ ๊ณ ๋ฅผ์ง€, ์–ด๋–ค ๋‹ต์„ ๋งž๋‹ค๊ณ  ํŒ์ •ํ• ์ง€, ์–ผ๋งˆ๋‚˜ ๊ธด ๋‹ต์„ ํ—ˆ์šฉํ• ์ง€, ์–ด๋А ์‹œ์ ์— ํ•™์Šต์„ ๋ฉˆ์ถœ์ง€๋Š” ์—ฌ์ „ํžˆ ์‚ฌ๋žŒ์ด ์ •ํ•œ ์‹คํ—˜ ์„ค๊ณ„๋‹ค. ์ˆ˜ํ•™ ๋ฌธ์ œ์˜ ์ตœ์ข… ๋‹ต ๋˜๋Š” ์ฝ”๋“œ ํ…Œ์ŠคํŠธ์ฒ˜๋Ÿผ ๋น„๊ต์  ๋ช…ํ™•ํ•œ ๋ณด์ƒ์ด ์žˆ๋Š” ์˜์—ญ์—์„œ ํŠนํžˆ ์ž˜ ์ž‘๋™ํ•  ์—ฌ์ง€๊ฐ€ ์žˆ๋‹ค. ์ •๋‹ต์ด ํ•˜๋‚˜๋กœ ๊ณ ์ •๋˜์ง€ ์•Š์€ ์ •์ฑ… ๊ฒฐ์ •, ์ฐฝ์ž‘, ์•ˆ์ „์ด ์ค‘์š”ํ•œ ๋Œ€ํ™”์—์„œ๋Š” ๋ณด์ƒ ์ž์ฒด๋ฅผ ์ •์˜ํ•˜๋Š” ์ผ์ด ๋” ์–ด๋ ต๋‹ค.

๋˜ํ•œ ๋ณด์ƒ์€ ์ •๋‹ต์˜ ์ผ๋ถ€๋งŒ ๋ณผ ์ˆ˜ ์žˆ๋‹ค. ์ฝ”๋“œ๊ฐ€ ๊ณต๊ฐœ ํ…Œ์ŠคํŠธ๋ฅผ ํ†ต๊ณผํ•ด๋„ ์ˆจ์€ ์กฐ๊ฑด์„ ๋†“์น  ์ˆ˜ ์žˆ๊ณ , ์ˆ˜ํ•™ ๋‹ต์˜ ๋งˆ์ง€๋ง‰ ์ˆซ์ž๊ฐ€ ๋งž์•„๋„ ํ’€์ด๊ฐ€ ์ผ๋ฐ˜์ ์œผ๋กœ ํƒ€๋‹นํ•œ์ง€๋Š” ๋ณ„๋„ ๊ฒ€์ฆ์ด ํ•„์š”ํ•  ์ˆ˜ ์žˆ๋‹ค. JustGRPO๋Š” ๋ณด์ƒ ํ•™์Šต์„ ์—†์•ค ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๋ณด์ƒ์— ๋„๋‹ฌํ•˜๋Š” ๋‹ต์•ˆ ์ƒ์„ฑ ์ˆœ์„œ๋ฅผ ๋‹จ์ˆœํ™”ํ–ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋ณด์ƒ ํŒ์ •์ด ๋ถˆ์™„์ „ํ•˜๋ฉด ํ•™์Šต ๊ฒฐ๊ณผ๋„ ๊ทธ ํ•œ๊ณ„๋ฅผ ๊ฐ€์ง„๋‹ค.

#8. ์ด ์—ฐ๊ตฌ๊ฐ€ ์•„์ง ๋งํ•˜์ง€ ๋ชปํ•˜๋Š” ๊ฒƒ

์ฒซ์งธ, ๋„ค ๋ฒค์น˜๋งˆํฌ์˜ ๊ฐœ์„ ์ด ๋ชจ๋“  ์ข…๋ฅ˜์˜ ์ถ”๋ก ์œผ๋กœ ์ด์–ด์ง„๋‹ค๊ณ  ๊ฒ€์ฆ๋œ ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ๊ณผํ•™ ์‹คํ—˜ ์„ค๊ณ„, ์žฅ๊ธฐ ๊ณ„ํš, ๋‹ค๊ตญ์–ด ๋Œ€ํ™”, ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ์—์„œ ๊ฐ™์€ ํ˜„์ƒ์ด ๋‚˜ํƒ€๋‚˜๋Š”์ง€๋Š” ๋ณ„๋„ ์‹คํ—˜์ด ํ•„์š”ํ•˜๋‹ค. ๋‘˜์งธ, Pass@k๋Š” ์—ฌ๋Ÿฌ ๋‹ต ์ค‘ ํ•˜๋‚˜๋ฅผ ๊ณ ๋ฅผ ์ˆ˜ ์žˆ์„ ๋•Œ์˜ ๊ฐ€๋Šฅ์„ฑ์„ ๋ณด๋Š” ์ง€ํ‘œ๋‹ค. ์‹ค์ œ ์„œ๋น„์Šค๊ฐ€ ํ•œ ๋ฒˆ๋งŒ ๋‹ตํ•˜๊ณ  ์‚ฌ์šฉ์ž๊ฐ€ ๊ฒ€์ฆํ•  ์—ฌ์œ ๊ฐ€ ์—†๋‹ค๋ฉด Pass@1, ์˜ค๋ฅ˜์˜ ์ข…๋ฅ˜, ๋น„์šฉ๊ณผ ์ง€์—ฐ ์‹œ๊ฐ„์ด ๋” ์ค‘์š”ํ•  ์ˆ˜ ์žˆ๋‹ค.

์…‹์งธ, ์ด ์—ฐ๊ตฌ๋Š” ๋ชจ๋ธ์„ ์ƒˆ๋กœ ์‚ฌ์ „ํ•™์Šตํ•œ ๊ธฐ๋ก์ด ์•„๋‹ˆ๋ผ ๊ณต๊ฐœ๋œ dLLM์„ ๊ณผ์ œ๋ณ„๋กœ ๋ณด์ƒ ํ•™์Šตํ•œ ๋น„๊ต๋‹ค. ๊ทธ๋ž˜์„œ โ€˜ํ™•์‚ฐ ๋ชจ๋ธ ์ „์ฒด์˜ ๊ทผ๋ณธ ํ•œ๊ณ„โ€™๋ณด๋‹ค โ€˜ํ˜„์žฌ์˜ post-training ์„ค๊ณ„์—์„œ ์–ป์€ ๊ฐ•ํ•œ ์‹คํ—˜์  ๊ตํ›ˆโ€™์œผ๋กœ ์ฝ์–ด์•ผ ํ•œ๋‹ค. ๋„ท์งธ, ICML Outstanding Paper๋Š” ์‹ฌ์‚ฌ์œ„์›ํšŒ๊ฐ€ ๊ธฐ์—ฌ๋ฅผ ๋†’๊ฒŒ ํ‰๊ฐ€ํ–ˆ๋‹ค๋Š” ๊ณต์‹ ์‹ ํ˜ธ์ด์ง€๋งŒ, ๋…๋ฆฝ ํŒ€์˜ ์žฌํ˜„๊ณผ ์‹ค์ œ ์ œํ’ˆ ํ™˜๊ฒฝ์˜ ๊ฒ€์ฆ์„ ๋Œ€์‹ ํ•˜์ง€ ์•Š๋Š”๋‹ค.[1]

๋งˆ์ง€๋ง‰์œผ๋กœ ๊ณต๊ฐœ ์ฝ”๋“œ๋Š” ํฐ ์žฅ์ ๊ณผ ๋‚จ์€ ๊ณผ์ œ๋ฅผ ํ•จ๊ป˜ ์ค€๋‹ค. ํ•™์Šต ์Šคํฌ๋ฆฝํŠธ, ํ‰๊ฐ€ ์Šคํฌ๋ฆฝํŠธ, ์ฒดํฌํฌ์ธํŠธ๊ฐ€ ๊ณต๊ฐœ๋˜์–ด ์žˆ์–ด ๋ˆ„๊ตฌ๋‚˜ ์ฃผ์žฅ๊ณผ ๊ฒฐ๊ณผ ์‚ฌ์ด๋ฅผ ์ถ”์ ํ•  ์ถœ๋ฐœ์ ์ด ์žˆ๋‹ค.[3] ๊ทธ๋Ÿฌ๋‚˜ ์‹คํ–‰ ๋ช…๋ น์ด ์žˆ๋‹ค๊ณ  ํ•ด์„œ ๋ˆ„๊ตฌ๋‚˜ ๊ฐ™์€ ๊ณ„์‚ฐ ์ž์›ยท๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌยท๋ฌด์ž‘์œ„์„ฑ ์กฐ๊ฑด์—์„œ ๊ฐ™์€ ์ˆซ์ž๋ฅผ ์–ป๋Š”๋‹ค๋Š” ๋ณด์žฅ์€ ์—†๋‹ค. ์žฌํ˜„์€ ์ €์žฅ์†Œ๋ฅผ ๋‚ด๋ ค๋ฐ›๋Š” ๋ฐ์„œ ๋๋‚˜์ง€ ์•Š๊ณ , ํ™˜๊ฒฝ๊ณผ ํ‰๊ฐ€ ๊ทœ์น™์„ ๋งž์ถ”๊ณ  ๊ฒฐ๊ณผ ์ฐจ์ด๋ฅผ ํ•ด์„ํ•˜๋Š” ๊ณผ์ •๊นŒ์ง€ ํฌํ•จํ•œ๋‹ค.

#9. ๋‹ค์Œ dLLM ๋‰ด์Šค๋ฅผ ์ฝ์„ ๋•Œ ๋ฌผ์–ด๋ณผ ๋„ค ๊ฐ€์ง€

์ƒˆ ๋ชจ๋ธ์ด โ€œ๋ณ‘๋ ฌ ์ƒ์„ฑโ€, โ€œ๋” ๋งŽ์€ ์ถ”๋ก  ๊ฒฝ๋กœโ€, โ€œ๋ณด์ƒ ํ•™์Šต ๊ฐœ์„ โ€์„ ๋งํ•  ๋•Œ๋Š” ์ด๋ฆ„๋ณด๋‹ค ๋‹ค์Œ ์งˆ๋ฌธ์ด ์œ ์šฉํ•˜๋‹ค.

  1. ๋ฌด์—‡์„ ๋ฐ”๊ฟจ๋‚˜? ๋ชจ๋ธ ๊ตฌ์กฐ, ์ƒ์„ฑ ์ˆœ์„œ, ๋ณด์ƒ ํ•จ์ˆ˜, ์ƒ˜ํ”Œ ์ˆ˜, ํ‰๊ฐ€ ์ ˆ์ฐจ ์ค‘ ์–ด๋””๊ฐ€ ๋‹ฌ๋ผ์กŒ๋Š”๊ฐ€?
  2. ๋ฌด์—‡์„ ์žฌ๋Š”๊ฐ€? ํ•œ ๋ฒˆ์˜ ์ •๋‹ต๋ฅ ์ธ์ง€, ์—ฌ๋Ÿฌ ๋ฒˆ ์‹œ๋„ํ•œ Pass@k์ธ์ง€, ์ฝ”๋“œ ํ…Œ์ŠคํŠธ์ธ์ง€, ์‚ฌ๋žŒ์ด ํ‰๊ฐ€ํ•œ ํ’ˆ์งˆ์ธ์ง€ ๊ตฌ๋ถ„ํ•˜๋Š”๊ฐ€?
  3. ๋ฌด์—‡๊ณผ ๊ฐ™์€ ์กฐ๊ฑด์—์„œ ๋น„๊ตํ–ˆ๋‚˜? ๊ธฐ๋ฐ˜ ๋ชจ๋ธ, ํ•™์Šต ๋ฐ์ดํ„ฐ, ์ƒ์„ฑ ๊ธธ์ด, ๊ณ„์‚ฐ ์˜ˆ์‚ฐ์ด ๋งž์ถฐ์กŒ๋Š”๊ฐ€?
  4. ๋ˆ„๊ฐ€ ๋‹ค์‹œ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋‚˜? ๋…ผ๋ฌธ๋ฟ ์•„๋‹ˆ๋ผ ์ฝ”๋“œยท์ฒดํฌํฌ์ธํŠธยทํ‰๊ฐ€ ๊ทœ์น™์ด ๊ณต๊ฐœ๋๋Š”๊ฐ€, ๋‹ค๋ฅธ ํŒ€์˜ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”๋Š”๊ฐ€?

JustGRPO๋Š” ์ด ๋„ค ์งˆ๋ฌธ์„ ์—ฐ์Šตํ•˜๊ธฐ ์ข‹์€ ์‚ฌ๋ก€๋‹ค. โ€˜์ž„์˜ ์ˆœ์„œ ์ƒ์„ฑโ€™์ด๋ผ๋Š” ๋ฉ‹์ง„ ๊ธฐ๋Šฅ์„ ๋ฌด์กฐ๊ฑด ์‚ด๋ฆฌ์ง€ ์•Š๊ณ , ์ˆ˜ํ•™ยท์ฝ”๋“œ ๋ณด์ƒ ํ•™์Šต์—์„œ๋Š” ๊ทธ ๊ธฐ๋Šฅ์„ ํ•™์Šต ์ค‘ ์ž ์‹œ ์ ‘์—ˆ์„ ๋•Œ ์–ด๋–ค ์ผ์ด ์ƒ๊ธฐ๋Š”์ง€ ๋ณด์—ฌ ์คฌ๋‹ค. ์•ž์œผ๋กœ ๋” ๊ฐ•ํ•œ dLLM์ด ๋‚˜์˜จ๋‹ค๋ฉด, ์ž์œ ๋„๊ฐ€ ์–ผ๋งˆ๋‚˜ ๋งŽ์€์ง€๊ฐ€ ์•„๋‹ˆ๋ผ ๊ทธ ์ž์œ ๋„๊ฐ€ ์–ด๋–ค ์ธก์ • ๊ฐ€๋Šฅํ•œ ๋ฌธ์ œ๋ฅผ ์‹ค์ œ๋กœ ํ•ด๊ฒฐํ–ˆ๋Š”์ง€๋ฅผ ๋ฌผ์–ด์•ผ ํ•œ๋‹ค.

#10. ์ถœ์ฒ˜์™€ ์›๋ณธ ๊ทธ๋ฆผ

[1] ICML 2026 Awards โ€” Outstanding Paper ๊ณต์‹ ๋ฐœํ‘œ. ์ˆ˜์ƒ ์‚ฌ์‹ค ํ™•์ธ.

[2] ์ €์ž ๊ณต์‹ ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€ โ€” The Flexibility Trap. ์—ฐ๊ตฌ์˜ ๋ฌธ์ œ ์„ค์ •, ARยทAO ๋น„๊ต, Pass@k ์„ค๋ช…, ๋ฐฉ๋ฒ•๊ณผ ๊ฒฐ๊ณผ ํ‘œ. ์—ด๋žŒ: 2026-09-14.

[3] LeapLabTHU/JustGRPO ๊ณต๊ฐœ ์ €์žฅ์†Œ. ํ•™์Šตยทํ‰๊ฐ€ ์ฝ”๋“œ, ์ฒดํฌํฌ์ธํŠธ, ๊ฒฐ๊ณผ ํ‘œ, ์›๋ณธ ๊ทธ๋ฆผ ๋‘ ์žฅ. ์ €์žฅ์†Œ ๋ผ์ด์„ ์Šค๋Š” MIT์ด๋ฉฐ, ์ด ๊ธ€์˜ ์›๋ณธ ๊ทธ๋ฆผ์€ ํŒŒ์ผ์„ ๋ณ€๊ฒฝํ•˜์ง€ ์•Š๊ณ  ์ €์ž‘์žยท์ถœ์ฒ˜ยท๋ผ์ด์„ ์Šค์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ–ˆ๋‹ค. ์—ด๋žŒ: 2026-09-14.

[4] arXiv:2601.15165 โ€” Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models. ์ €์ž ์›๊ณ ์™€ ๋ฒ„์ „ ์ด๋ ฅ.

์›๋ณธ ๊ทธ๋ฆผ์€ ์œ„ ์ €์ž ์ €์žฅ์†Œ์˜ mechanism_to_passk.png, acc_compare.png๋ฅผ ๊ทธ๋Œ€๋กœ ๋ณด์กดํ•œ ํŒŒ์ผ์ด๋‹ค. ์ด ๊ธ€์˜ ๋‘ ์ดˆ๋ก์ƒ‰ยท๊ฐˆ์ƒ‰ ์„ค๋ช… ๊ทธ๋ฆผ์€ ์ˆ˜์น˜๋‚˜ ์‹ค์ธก ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”๊ฐ€ํ•˜์ง€ ์•Š์€ JJo ์ž์ฒด ์ œ์ž‘ ๊ต์œก์šฉ ๋„์‹์ด๋ฉฐ, ์› ๋…ผ๋ฌธ ๊ทธ๋ฆผ์„ ๋‹ค์‹œ ๊ทธ๋ฆฐ ๊ฒƒ์ด ์•„๋‹ˆ๋‹ค.

Connect