๊ทธ๋ฆผ์ ๊ธ์๊ฐ ์๋ค๋ฉด ์๋ณธ ํฌ๊ฒ ๋ณด๊ธฐ ยท ์ ํญ #1. ์ค๋์ ๋ ์ด๋: โ๋ ์์ ๋กญ๊ฒ ์ฑ์ฐ๊ธฐโ๊ฐ ํญ์ ๋ ์ข์ ์ถ๋ก ์ ์๋๋ค
๋ฌธ์ฅ์ ์ผ์ชฝ์์ ์ค๋ฅธ์ชฝ์ผ๋ก ํ ๋จ์ด์ฉ ์ฐ๋ ์ธ์ด ๋ชจ๋ธ์ ์ต์ํ๋ค. ๊ทธ๋ฐ๋ฐ ํ์ฐ ์ธ์ด ๋ชจ๋ธ(diffusion language model, dLLM)์ ๋ฌธ์ฅ ๊ณณ๊ณณ์ ๋น์นธ์ ํจ๊ป ๋ณด๊ณ , ์์ ์๋ ๋น์นธ๋ถํฐ ๋ฉ์ฐ๋ ๋ฐฉ์๋ ์ธ ์ ์๋ค. ๊ฒ์ผ๋ก ๋ณด๋ฉด ๋ ์์ ๋กญ๊ณ ๋ ๋น ๋ฅผ ๋ฒํ๋ค. 2026๋ ICML Outstanding Paper๋ก ์ ์ ๋ JustGRPO ์ฐ๊ตฌ๋ ๋ฐ๋ก ์ด ์ง๊ด์ ์ํํ๋ค.[1]
๊ฒฐ๊ณผ๋ ์์ธ๋ค. ์ํ๊ณผ ์ฝ๋ ๋ฌธ์ ์ฒ๋ผ ๋ต์์ ๋ ผ๋ฆฌ ์ ๊ฐ๊ฐ ์ค์ํ ๊ณผ์ ์์๋, ๋น์นธ์ ์๋ฌด ์์๋ก ์ฑ์ฐ๊ฒ ํ ํ์ต๋ณด๋ค ์ผ์ชฝ์์ ์ค๋ฅธ์ชฝ์ผ๋ก ๋ต์์ ์์ฑํ๊ฒ ํ ํ์ต์ด ๋ ๋ค์ํ ํ์ด๋ฅผ ๋จ๊ธฐ๊ณ ๋์ ์ฑ๊ณผ๋ฅผ ๋๋ค๊ณ ์ฐ๊ตฌ์ง์ ๋ณด๊ณ ํ๋ค.[2] ๋ ผ๋ฌธ์ ์์ง๋ โํ์ฐ LLM์ด ํ๋ ธ๋คโ๊ฐ ์๋๋ค. ๋ชจ๋ธ์ด ๋ต์ ๋ง๋๋ ์์์, ๊ทธ ์์์์ ๋ณด์์ ์ฃผ๋ ๋ฐฉ์์ด ์ถ๋ก ์ ํญ์ ๋ฐ๊ฟ ์ ์๋ค๋ ๊ฒ์ด๋ค.
์ด ๊ธ์ ์์ ๋ฐ์๋ค๋ ์ฌ์ค์ ์ฑ๋ฅ์ ๋ณด์ฆ์๋ก ์ฝ์ง ์๋๋ค. ICML ๊ณต์ ๋ฐํ๋ ์ด ๋ ผ๋ฌธ์ Outstanding Paper๋ก ๋ช ์ํ๋ค.[1] ํ์ง๋ง ๊ทธ ์์ด ๋ชจ๋ ์ธ์ด ๊ณผ์ ์์ ์ผ์ชฝ๋ถํฐ ์ฐ๊ธฐ๊ฐ ์ฐ์ํ๋ค๊ณ ์ฆ๋ช ํ๋ ๊ฒ์ ์๋๋ค. ์ ์๋ค์ ๊ณต๊ฐ ์คํ์ ์ธ dLLM ๊ณ์ด๊ณผ ๋ค ์ํยท์ฝ๋ ๋ฒค์น๋งํฌ๋ฅผ ์ค์ฌ์ผ๋ก ํ๋ค.[2] ์ฌ๋์ ์ฌ๊ณ ๊ณผ์ , ์ฐฝ์ ๊ธ์ฐ๊ธฐ, ์ค์ ์ ํ์ ๋น์ฉ๊ณผ ์์ ์ฑ๊น์ง ๊ฒ์ฆํ ๊ฒฐ๊ณผ๋ ์๋๋ค.
๋จผ์ ๋จ๊ฒจ ๋ ํ ๋ฌธ์ฅ์ ์ด๋ ๋ค. JustGRPO๋ AI๊ฐ ์ค์ค๋ก ์งํํ๋ค๋ ์ด์ผ๊ธฐ๊ฐ ์๋๋ผ, ์ด๋ฏธ ์๋ ํ์ฐ ์ธ์ด ๋ชจ๋ธ์ ๋ณด์์ผ๋ก ํ๋ จํ ๋ โ์ด๋ค ์์๋ก ๋ต์์ ๋ง๋ค๊ฒ ํ ์งโ๋ฅผ ๋จ์ํ๊ฒ ๋ฐ๊ฟ ๋ณธ ์ฐ๊ตฌ๋ค. ๊ทธ ๋จ์ํ ๋ณ๊ฒฝ์ด ์ ์ค์ํ์ง, ์ธ์ด ๋ชจ๋ธ์ ์ฒ์ ์ ํ๋ ๋ ์๋ ๋ฐ๋ผ๊ฐ ์ ์๊ฒ ์ฐจ๋ก๋ก ํ์ด ๋ณด์.
#2. ์ธ์ด ๋ชจ๋ธ์ ๋ฌธ์ฅ์ ์ด๋ป๊ฒ โ๋ง๋๋๊ฐโ
์ธ์ด ๋ชจ๋ธ์ ๋ฌธ์ฅ์ ํต์งธ๋ก ๋ ์ฌ๋ฆฌ๋ ๊ธฐ๊ณ๋ผ๊ธฐ๋ณด๋ค, ๊ธ์ ์๊ฒ ๋๋ ์กฐ๊ฐ์ธ ํ ํฐ(token)์ ๋ค์ ์ ํ์ ์์ธกํ๋ ๋ชจ๋ธ์ด๋ค. ํ ํฐ์ ๊ผญ ํ ๋จ์ด์ ๊ฐ์ง ์๋ค. ํ๊ธ ์ด์ ์ ์ผ๋ถ, ์์ด ๋จ์ด์ ์ผ๋ถ, ๊ธฐํธ๊ฐ ๋ ์๋ ์๋ค. ์ฌ๊ธฐ์๋ ์ดํด๋ฅผ ์ํด ํ ํฐ์ ๋จ์ด ์กฐ๊ฐ์ด๋ผ๊ณ ์๊ฐํด๋ ์ถฉ๋ถํ๋ค.
๊ฐ์ฅ ์ต์ํ ๋ฐฉ์์ ์๊ธฐํ๊ท(autoregressive, AR)๋ค. โ๋น๊ฐ ์ค๋ฏ๋ก ์ฐ์ฐ์ ___โ์ด๋ผ๋ ๋ฌธ์ฅ์ ๋ง๋ค ๋ ์์์ ์ด ๋ด์ฉ ๋ค์ ์ฌ ํ ํฐ ํ๋๋ฅผ ๊ณ ๋ฅด๊ณ , ๊ทธ ์ ํ์ ๋ฌธ๋งฅ์ผ๋ก ์ผ์ ๋ค์ ํ ํฐ์ ๊ณ ๋ฅธ๋ค. ๋งํ์๋ฉด ์ผ์ชฝ ๋์์ ์ค๋ฅธ์ชฝ ๋์ผ๋ก ํ ์นธ์ฉ ์ฐ๋ ๋ฐฉ์์ด๋ค. ์๋ถ๋ถ์ ์ ํ์ด ๋ค์ ์ ํ์ ์ ํํ๋ฏ๋ก, ๊ณผ์ ์ด ์์ฐ์ค๋ฝ๊ฒ ํ ์ค๋ก ์ด์ด์ง๋ค.
ํ์ฐ ์ธ์ด ๋ชจ๋ธ์ ์ถ๋ฐ์ ์ด ๋ค๋ฅด๋ค. ๋ฌธ์ฅ์ ์ฌ๋ฌ ์์น๋ฅผ ๊ฐ๋ฆฐ ์ํ์์ ์์ํด ๊ฐ๋ ค์ง ์์น๋ฅผ ๋ฐ๋ณตํด์ ๋ณต์ํ ์ ์๋ค. ์๋ฅผ ๋ค์ด โ๋น๊ฐ ___ ์ฐ์ฐ์ ์ฑ๊ฒผ๋คโ์์ ์จ๋ค๋ฅผ ๋จผ์ ์ฑ์ธ ์๋ ์๊ณ , ๋ค์ชฝ ํํ์ ๋จผ์ ํ์ ํ ๋ค์ ์ค๊ฐ์ ๋ฉ์ธ ์๋ ์๋ค. ์ฌ๋ฌ ์นธ์ ๋ณ๋ ฌ๋ก ๋ค๋ฃฐ ์ ์๋ค๋ ์ ์ ๊ธด ๋ฌธ์ฅ์ ๋น ๋ฅด๊ฒ ๋ณต์ํ ์ ์๋ ๊ฐ๋ฅ์ฑ์ ์ค๋ค. ์ด ๊ธ์์ ๋งํ๋ ์์ ์์(arbitrary order, AO)๋ ์ด๋ฐ ๋ณต์ ์์น๋ฅผ ๋งค ๋จ๊ณ ์์ ๋กญ๊ฒ ๊ณ ๋ฅด๋ ๊ฒฝ์ฐ๋ฅผ ๊ฐ๋ฆฌํจ๋ค.[2]
์ฌ๊ธฐ์ ํํ ์คํด๊ฐ ํ๋ ์๋ค. AR์ โ์๊ฐ์ ์ํ๋ ๋ชจ๋ธโ, dLLM์ โ์๊ฐ์ ๋ชปํ๋ ๋ชจ๋ธโ์ด๋ผ๋ ๊ตฌ๋ถ์ด ์๋๋ค. ๋์ ๋ฌธ์ฅ์ ์์ฑํ๋ ๊ฒฝ๋ก์ ์ฐจ์ด๋ค. dLLM๋ ํน์ ํ ์์๋ฅผ ๊ฐ์ ํด AR์ฒ๋ผ ํ ํฐ์ ํ๋์ฉ ๋ง๋ค ์ ์๊ณ , AR ๋ชจ๋ธ๋ ์ฌ๋ฌ ๋ต์์ ๋ฝ์ ๋น๊ตํ ์ ์๋ค. JustGRPO์ ์ง๋ฌธ๋ โ์ด๋ ๋ชจ๋ธ์ด ๋ ๋๋ํ๊ฐโ๊ฐ ์๋๋ผ, ๊ฐ์ dLLM์์ ํ๋ จ ์ค ์์ฑ ์์๋ฅผ ๋ฌ๋ฆฌํ๋ฉด ๋ฌด์์ด ๋ฌ๋ผ์ง๋๊ฐ๋ค.
์ฒ์ ๋ณด๋ ์ฉ์ด๋ ์ฌ๊ธฐ์ ์ ๊น
- ์์ฑ(generation): ๋ชจ๋ธ์ด ๋น์นธ์ ์ฑ์ ๋ต์์ ๋ง๋๋ ๊ณผ์ ์ด๋ค.
- ์ถ๋ก (reasoning): ์ด ๊ธ์์๋ ์ ๋ต์ผ๋ก ๊ฐ๋ ์ค๊ฐ ์ ํ๊ณผ ๋ ผ๋ฆฌ ์ ๊ฐ๋ฅผ ๋๊ฒ ๋ปํ๋ค. ์ฌ๋์ด ์ค์ ๋ก ๋จธ๋ฆฟ์์์ ํ๋ ์ฌ๊ณ ๋ฅผ ์์ ํ ์ธก์ ํ๋ค๋ ๋ป์ ์๋๋ค.
- ํ๋ฅ : ๋ชจ๋ธ์ ๋ค์ ํ ํฐ ํ๋ณด๋ง๋ค โ๊ทธ๋ด ๋ฒํจโ์ ์์น๋ก ๋ธ๋ค. ๋์ ํ๋ฅ ์ ์ฌ์ค ํ์ ์ด๋ ์ง์ค ๋ณด์ฆ์ด ์๋๋ผ, ํ์ตํ ๋ฐ์ดํฐ์ ๋ฌธ๋งฅ์์ ๋ ์์ฃผ ๋ง์๋ ์ ํ์ด๋ผ๋ ๋ป์ด๋ค.
- ๋ง์คํฌ(mask): ์์ง ์ฑ์ฐ์ง ์์ ํ ํฐ ์๋ฆฌ๋ฅผ ๊ฐ๋ฆฌ๋ ํ์๋ค. ํ์ฐ ๋ชจ๋ธ์ ๋ง์คํฌ๋ฅผ ๋ฐ๋ณต์ ์ผ๋ก ์ค์ด๋ฉฐ ๋ฌธ์ฅ์ ์์ฑํ๋ค.
#3. ์ โ์๋ฌด ์์โ๊ฐ ์คํ๋ ค ๊ธธ์ ์ขํ ์ ์๋
์ํ ํ์ด๋ฅผ ์ ๋ ์ํฉ์ ์๊ฐํด ๋ณด์. โ์์ x=3์ ๋ฃ์ผ๋ฉด 12๊ฐ ๋๋ค. ___ ๋ฐ๋ผ์ ๋ต์ 12๋ค.โ๋ผ๋ ๋ฌธ์ฅ์์ ๋ฐ๋ผ์, ๊ทธ๋ฌ๋ฏ๋ก, ์๋ํ๋ฉด ๊ฐ์ ์ฐ๊ฒฐ์ด๋ ์งง์ง๋ง ์ค์ํ๋ค. ์๋ค์ ๋
ผ๋ฆฌ ๊ด๊ณ๋ฅผ ์ ํ๋ค. ์ด ์๋ฆฌ์ ๋ฌด์์ ๋๋๋์ ๋ฐ๋ผ ์ดํ์ ์ค๋ช
์ด ์์ฐ์ค๋ฝ๊ฒ ์ด์ด์ง ์๋, ์ต์ง๋ก ์ด์ด ๋ถ์ผ ์๋ ์๋ค.
์ ์๋ค์ ์์ ์์ ๋ณต์์ด ์ด๋ฐ ๋ถํ์คํ์ง๋ง ๋
ผ๋ฆฌ์ ์ผ๋ก ๊ฐ๋ผ์ง๋ ํ ํฐ์ ๋ค๋ก ๋ฏธ๋ฃจ๊ธฐ ์ฝ๋ค๊ณ ๋ณธ๋ค. ํ์ ์ด ๋์ ์ซ์๋ ์์ฃผ ์ฐ๋ ํํ๋ถํฐ ๋จผ์ ์ฑ์ฐ๋ฉด, ๋์ค์ ๋จ์ ์ฐ๊ฒฐ์ด๋ ์ด๋ฏธ ์ ํด์ง ๋ฌธ์ฅ์ ํ์ ๋ผ์ ๋ง์ถฐ์ผ ํ๋ค. ์ฐ๊ตฌ์ง์ Therefore, Thus, Since ๊ฐ์ ์๋ฅผ ๋ค๋ฉฐ, ์ด๋ฐ ์กฐ๊ธฐ ์ฐํ๊ฐ ํด๋ฒ์ ๋ค์์ฑ์ ์ค์ผ ์ ์๋ค๊ณ ์ค๋ช
ํ๋ค.[2][3]
์ค์ํ ๊ฒ์ โ์ฐ๊ฒฐ์ด๊ฐ ์ด๋ ค์ฐ๋ ํญ์ ๋จผ์ ์จ์ผ ํ๋คโ๊ฐ ์๋๋ค. ์ด ์ฐ๊ตฌ์ ์ฃผ์ฅ๊ณผ ๊ด์ฐฐ์ ํ์ฌ์ dLLM ์ํ๋งยท๋ณด์ ํ์ต ์กฐ๊ฑด์์ ๊ทธ๋ ๋ค๋ ๊ฒ์ด๋ค. ๋ฌธ์ฅ ์ค๊ฐ๋ถํฐ ์จ๋ ๋ ์ ๋ง๋ ์์ ์ ์ผ๋ง๋ ์ง ์์ ์ ์๋ค. ๋น์นธ ์ฑ์ฐ๊ธฐ, ํธ์ง, ๋ณ๋ ฌ ์ด์ ์์ฑ์ฒ๋ผ ๋ค์ชฝ ๋ฌธ๋งฅ์ด ์์ชฝ ์ ํ์ ๋์์ฃผ๋ ์์ ์ด ๊ทธ๋ ๋ค. ์ด๋ฒ ๊ฒฐ๊ณผ๋ฅผ ๋ชจ๋ ์ธ์ด ์์ฑ ๋ฐฉ์์ ๊ท์น์ผ๋ก ์ผ๋ฐํํ๋ฉด ์ ๋๋ค.
๊ทธ๋ ๋ค๋ฉด ์ฐ๊ตฌ์ง์ โ๋ค์์ฑโ์ ์ด๋ป๊ฒ ๋ณด์์๊น. ํต์ฌ ์งํ๊ฐ Pass@k๋ค. ๊ฐ์ ๋ฌธ์ ์ ๋ต์ ํ๋๋ง ๋ฝ์ ๋ง์ผ๋ฉด Pass@1์ด๋ค. ๋ต์ k๊ฐ๋ฅผ ๋ ๋ฆฝ์ ์ผ๋ก ๋ฝ์์ ๋ ๊ทธ์ค ํ๋๋ผ๋ ๋ง์ผ๋ฉด Pass@k๋ค. ์ํ์ด๋ ์ฝ๋์์๋ ํ๋์ ๋ต์ด ํ๋ ธ๋๋ผ๋ ๋ค๋ฅธ ์๋๊ฐ ๋ง์ ์ ์์ผ๋ฏ๋ก, Pass@k๋ ๋ชจ๋ธ์ด ์๋ก ๋ค๋ฅธ ์ ํจ ๊ฒฝ๋ก๋ฅผ ์ผ๋ง๋ ๋จ๊ธฐ๋์ง ์ดํผ๋ ํ ๋ฐฉ๋ฒ์ด ๋๋ค.
์๋ฅผ ๋ค์ด ์ฝ๋ ๋ฌธ์ ์ ๋ํด ๋ชจ๋ธ์ด ๋ค ๊ฐ์ ์๋ก ๋น์ทํ ๋ต๋ง ๊ณ์ ๋ง๋ ๋ค๋ฉด, ๋ค ๋ฒ์ ๊ธฐํ๊ฐ ์์ด๋ ๊ฐ์ ์ค์๋ฅผ ๋ฐ๋ณตํ ์ ์๋ค. ๋ฐ๋๋ก ์๋ก ๋ค๋ฅธ ์ ๊ทผ์ ๋ค ๊ฐ ๋ง๋ค๋ฉด ํ ์ ๊ทผ์ด ํ ์คํธ๋ฅผ ํต๊ณผํ ๊ฐ๋ฅ์ฑ์ด ์๊ธด๋ค. Pass@k๊ฐ ๋๋ค๊ณ ๋ต์ ํ ๊ฐ์ ํ์ง์ด๋ ์์ ์ฑ์ด ์๋์ผ๋ก ์ข์์ง๋ ๊ฒ์ ์๋๋ค. ๊ทธ๋ฌ๋ ์ฌ๋ฌ ์๋๋ฅผ ํ์ฉํ๋ ์ฌ์ฉ ํ๊ฒฝ์์ ํด๋ฒ ๊ณต๊ฐ์ด ์ผ๋ง๋ ๋นจ๋ฆฌ ์ข์์ง๋์ง๋ ๋ณด์ฌ ์ค ์ ์๋ค.
ํ๋ก์ ํธ ํ์ด์ง๊ฐ ์๊ฐํ HumanEval ์คํ์์๋ AR ์์๋ก๋ง ์์ฑํ ๊ฒฝ์ฐ Pass@1024๊ฐ 21.3%, AO ์์๋ก๋ง ์์ฑํ ๊ฒฝ์ฐ 0.6%์๋ค.[2] ์ด ์์น๋ 1,024๋ฒ ๋ฝ์ ํ๋๋ผ๋ ํต๊ณผํ ๋ฌธ์ ์ ๋น์จ์ด๋ผ๋ ํน์ ์กฐ๊ฑด์ ๊ฒฐ๊ณผ๋ค. ์ผ์ ๋ํ์ ์ ๋ต๋ฅ ๋ ์๋๊ณ , ํ ๋ฒ ์์ฑํ ๋์ ์ฑ๊ณต๋ฅ ๋ ์๋๋ค. ์ซ์๋ฅผ ํฌ๊ฒ ๋ณด์ด๊ฒ ํ๋ ์ฅ์์ผ๋ก ์ฝ๊ธฐ๋ณด๋ค, ์์ฑ ์์๊ฐ ํด๋ฒ์ ํญ์ ํฌ๊ฒ ๋ฐ๊ฟ ์ ์๋ค๋ ๊ด์ฐฐ์ผ๋ก ์ฝ๋ ํธ์ด ์ ํํ๋ค.
#4. ์คํ์ ๋ฌด์์ ๊ฐ์ ์กฐ๊ฑด์์ ๋น๊ตํ๋
์ด ๋ ผ๋ฌธ์ LLaDA-Instruct, Dream-Instruct, LLaDA 1.5๋ผ๋ ์ธ dLLM ๊ณ์ด์ ๋์์ผ๋ก, ์ํ ๋ ์ข ๋ฅ์ ์ฝ๋ ๋ ์ข ๋ฅ์ ๊ณผ์ ๋ฅผ ๋น๊ตํ๋ค๊ณ ์ค๋ช ํ๋ค.[2] GSM8K๋ ๋ฌธ์ฅ์ผ๋ก ๋ ํ๊ต ์์ค ์ํ ๋ฌธ์ , MATH-500์ ๋ ์ด๋ ค์ด ์ํ ๋ฌธ์ ์งํฉ์ด๋ค. HumanEval๊ณผ MBPP๋ ํ๋ก๊ทธ๋จ์ ์์ฑํ๊ณ ํ ์คํธ๋ก ๋ง๋์ง ํ๊ฐํ๋ ์ฝ๋ ๋ฒค์น๋งํฌ๋ค. ๋ค ์ด๋ฆ์ ์ธ์ธ ํ์๋ ์๋ค. ์์ ๋์ ๊ณ์ฐ๊ณผ ํ์ด ์ ๊ฐ, ๋ค์ ๋์ ์คํ ๊ฐ๋ฅํ ์ฝ๋๋ผ๋ ์ฐจ์ด๋ฅผ ๊ธฐ์ตํ๋ฉด ๋๋ค.
์ฐ๊ตฌ์ ์ค์ฌ ๋น๊ต๋ ๊ฐ๋จํ๋ค. ํ๋์ dLLM์ ๋ณด์ ํ์ตํ ๋, ๋ต์์ ๋ง์คํฌ๋ฅผ AR ์์๋ก ํ๊ฒ ํ๋๊ฐ, ์๋๋ฉด AO ์์๋ก ํ๊ฒ ํ๋๊ฐ๋ค. ์ด๋ AO๊ฐ ๊ณ ์ ๋ ๋ฌด์์ ์์๋ง์ ๋ปํ๋ ๊ฒ์ ์๋๋ค. ํ์ฐ ๋ชจ๋ธ์ด ๊ฐ ๋น์นธ์ ์ผ๋ง๋ ์์ ์๊ฒ ์ฑ์ธ ์ ์๋์ง ๋ณด๊ณ ๋ค์ ์์น๋ฅผ ํํ๋ ๋ฐฉ์์ด ํฌํจ๋ ์ ์๋ค. ๊ทธ๋์ ์ด ๋ ผ๋ฌธ์ ๋จ์ํ โ์ผ์ชฝ๋ถํฐ ์ด ๋ฌธ์ฅโ๊ณผ โ์์๋ฅผ ์์ ๋ฌธ์ฅโ๋ง ๋น๊ตํ ๊ฒ์ด ์๋๋ผ, ๋ณด์ ํ์ต ๊ณผ์ ์์ ์ด๋ค ๊ฒฝ๋ก๋ฅผ ๋ชจ๋ธ์ด ๋ ์์ฃผ ๊ฒฝํํ๋๊ฐ๋ฅผ ๋น๊ตํ๋ค.
์ด ๊ตฌ๋ถ์ ์คํ์ ์ฝ์ ๋ ํนํ ์ค์ํ๋ค. ํ ๋ ผ๋ฌธ์ ํ์์ ์ด๋ค ๋ฐฉ๋ฒ์ด ๋๋ค๊ณ ํด์, ๊ทธ ๋ฐฉ๋ฒ์ ์ด๋ฆ๋ง ๋ฐ๊พธ๋ฉด ๋ชจ๋ ๋ชจ๋ธ์์ ๊ฐ์ ํจ๊ณผ๊ฐ ๋๋ค๋ ๋ป์ ์๋๋ค. ๊ธฐ๋ฐ ๋ชจ๋ธ, ํ์ต ๋ฐ์ดํฐ, ๋ณด์ ํ์ , ์์ฑ ๊ธธ์ด, ์ํ ์, ๊ณ์ฐ ์์ฐ์ด ํจ๊ป ๊ฒฐ๊ณผ๋ฅผ ๋ง๋ ๋ค. ์ ์ ์ ์ฅ์๋ ๊ฒฐ๊ณผ ํ์ ํจ๊ป ํ์ตยทํ๊ฐ ์ฝ๋, ๋ชจ๋ธ ์ฒดํฌํฌ์ธํธ๋ฅผ ๊ณต๊ฐํ๋ค.[3] ์ด ์ ์ ๊ฒฐ๊ณผ๋ฅผ ๋ ๋ฆฝ์ ์ผ๋ก ์ฌํยท๊ฒํ ํ ์ถ๋ฐ์ ์ด ์๋ค๋ ์ฅ์ ์ด๋ค. ๋ฐ๋๋ก ๊ณต๊ฐ ์ฝ๋๊ฐ ์๋ค๋ ์ฌ์ค๋ง์ผ๋ก ๋ค๋ฅธ ์ฅ๋น์ ๋ค๋ฅธ ๋ฐ์ดํฐ์์ ์ฌํ๋๋ค๊ณ ๊ฒฐ๋ก ๋ด๋ฆด ์๋ ์๋ค.
#5. JustGRPO๊ฐ ๋ฐ๊พผ ํ ๊ฐ์ง: ํ์ต ์ค์๋ ํ ์ค๋ก ๋ต์์ ๋ง๋ ๋ค
์ด๋ฆ์ด ์ด๋ ต์ง๋ง ๋ณํ๋ ๋น๊ต์ ์๋ค. GRPO(Group Relative Policy Optimization)๋ ๊ฐ์ ์ง๋ฌธ์ ๋ํด ์ฌ๋ฌ ๋ต์์ ๋ง๋ ๋ค, ๊ทธ ๋ต์๋ค์ ์๋ก ๋น๊ตํด ์๋์ ์ผ๋ก ์ข์ ๋ต์ ๋ ์์ฃผ ๋ง๋ค๋๋ก ๋ชจ๋ธ์ ํ๋ฅ ์ ์กฐ์ ํ๋ ๋ณด์ ํ์ต ๊ณ์ด์ด๋ค. ์ํ ๋ฌธ์ ๋ผ๋ฉด ์ต์ข ๋ต์ด ๋ง๋์ง, ์ฝ๋๋ผ๋ฉด ํ ์คํธ๋ฅผ ํต๊ณผํ๋์ง ๊ฐ์ ํ์ ์ด ๋ณด์์ด ๋ ์ ์๋ค. ๋๊ตฐ๊ฐ ๋ต์์ ์ง์ ํ ๋ฌธ์ฅ์ฉ ์ฑ์ ํด ์ฃผ๋ ๋ฐฉ์๋ง์ ๋ปํ์ง๋ ์๋๋ค.
JustGRPO๋ ์ด ํ์ต์์ dLLM์๊ฒ โ๋น์นธ์ ์๋ฌด ์์๋ก ๋ณต์ํ๋ผโ๊ณ ๋งก๊ธฐ์ง ์๊ณ , ๋ต์ ํ ํฐ์ ์ผ์ชฝ์์ ์ค๋ฅธ์ชฝ์ผ๋ก ํ๋์ฉ ์์ฑํ๋ผ๊ณ ์ ํ๋ค. ๊ทธ๋ฌ๋ฉด ํ์ค AR ๋ชจ๋ธ์ ์ฐ๋ GRPO์ ๊ณ์ฐ์ ๋ ์ง์ ์ ์ผ๋ก ์ ์ฉํ ์ ์๋ค. ์ ์๋ค์ ์ด ์ ํ์ด ์์ ์์ ๊ฒฝ๋ก์ ์กฐํฉ์ ๋ณต์ก๋, ๊ทผ์ฌ ์ฐ๋ ๊ณ์ฐ, ํ์ตํ ๋์ ์ํ๋ฌ์ ํ๊ฐํ ๋์ ๋ชจ๋ธ ๋ถ์ผ์น ๋ฌธ์ ๋ฅผ ํผํ๋ค๊ณ ์ค๋ช ํ๋ค.[3]
์์ ์์ฒด๋ ๊ฒ๋ผ ํ์๊ฐ ์๋ค. ๊ฐ์ ์ง๋ฌธ x์ ๋ํด K๊ฐ์ ๋ต yโ, โฆ, yแด๋ฅผ ๋ง๋ค๊ณ ๊ฐ๊ฐ ๋ณด์ rแตข๋ฅผ ๋ฐ์๋ค๊ณ ํ์. ๋ต๋ค์ ํ๊ท ๋ณด์์์ ์ผ๋ง๋ ์ยท์๋์ธ์ง ๋ํ๋ด๋ ์์ฃผ ๋จ์ํ ํ์คํ ๊ฐ์ ๋ค์์ฒ๋ผ ์ธ ์ ์๋ค.
Aแตข๋ i๋ฒ์งธ ๋ต์ด ๊ฐ์ ์ง๋ฌธ์์ ๋ฝํ ๋ต๋ค๋ณด๋ค ์ผ๋ง๋ ์ข์๋์ง ๋ํ๋ด๋ ์๋ ์ ์๋ค. rฬ๋ ๊ทธ ๋ฌถ์์ ํ๊ท ๋ณด์, sแตฃ๋ ๋ณด์๋ค์ ํผ์ง, ฮต์ 0์ผ๋ก ๋๋๋ ์ผ์ ๋ง๋ ์์ฃผ ์์ ์๋ค. ์ฌ๊ธฐ์ ๋ชจ๋ธ์ Aแตข๊ฐ ํฐ ๋ต์์ ์ ํ์ ๋ ์์ฃผ ํ๋๋ก ๋ฐ๋๋ค. ์ด ์์ GRPO์ ์ง๊ด์ ์ํ ์ค๋ช ์์ด๋ฉฐ, ์ค์ ๊ตฌํ์ ์ด์ ์ ์ฑ ๊ณผ์ ๋น์จยทํด๋ฆฌํ ๋ฑ ์ถ๊ฐ ์์ ์ฅ์น๋ฅผ ๋๋ค. ๋ ผ๋ฌธยท์ฝ๋์ ์ ํํ ๋ชฉ์ ํจ์์ ๋์ผํ ํ ์ค ๊ตฌํ์ด๋ผ๊ณ ์ฃผ์ฅํ๋ ์์ ์๋๋ค.[3]
AR ์์์์๋ ๋ต ์ ์ฒด์ ํ๋ฅ ์ ๊ฐ ์์น์ ์กฐ๊ฑด๋ถ ํ๋ฅ ์ ๊ณฑํด ๋ค๋ฃฐ ์ ์๋ค.
yโ๋ t๋ฒ์งธ ํ ํฐ, T๋ ๋ต์ ๊ธธ์ด, ฮธ๋ ๋ชจ๋ธ์ ์กฐ์ ๊ฐ๋ฅํ ๊ฐ์ด๋ค. ์ ํ ํฐ yโ๋ถํฐ yโโโ๊น์ง๊ฐ ์ฃผ์ด์ง ๋ค ๋ค์ ํ ํฐ์ ํ๊ฐํ๋ฏ๋ก, โ์ด ๋ต์์ ์ด ์์๋ก ๋ง๋ค ํ๋ฅ โ์ ๋ช ํํ ๊ณ์ฐํ ์ ์๋ค. ๋ฐ๋ฉด ์ฌ๋ฌ ๋น์นธ์ ์์ ์์๋ก ๋ณต์ํ๋ ๊ฒฝ๋ก๋ ๊ฐ๋ฅํ ์์๊ฐ ๋ง๋ค. ์ด๋ค ๊ฒฝ๋ก๋ฅผ ํ์ต ๋์์ผ๋ก ์ผ๊ณ ๋ฌด์์ ๊ทผ์ฌํ ์ง ๋ณต์กํด์ง๋ค. JustGRPO๋ ์ด ๋ณต์กํ ๊ฒฝ๋ก๋ฅผ ์ ์ํ์ผ๋ก ๋ชจ๋ ํด๊ฒฐํ๋ค๊ธฐ๋ณด๋ค, ํ์ต ๋จ๊ณ์์๋ ๊ทธ ๊ฒฝ๋ก๋ฅผ ์ ํํ์ง ์๋ ๋ฐฉ๋ฒ์ ํํ๋ค.
์ฌ๊ธฐ์ ๋ค์ ํ ๋ฒ ๊ตฌ๋ณํด์ผ ํ๋ค. ์ ์๋ค์ ํ์ต ๋๋ง AR ์์๋ฅผ ์ฌ์ฉํ๋ฉฐ, ์ถ๋ก ๋จ๊ณ์์๋ dLLM์ ๋ณ๋ ฌ ๋ณต์ ๋ฐฉ์์ ์ ์งํ ์ ์๋ค๊ณ ๋งํ๋ค.[2][3] ๋ฐ๋ผ์ โํ์ฐ LLM์ ๋ณดํต AR LLM์ผ๋ก ๊ต์ฒดํ๋คโ๋ ์ค๋ช ์ ๋ถ์ ํํ๋ค. ๋ ์ ํํ ํํ์ โdLLM์ ๋ณด์์ผ๋ก ํ๋ จํ๋ ๊ฒฝ๋ก๋ฅผ AR๋ก ๊ณ ์ ํด ํ์ค GRPO๋ฅผ ์ ์ฉํ๋คโ์ด๋ค.
#6. ๊ฒฐ๊ณผ ํ๋ฅผ ์ฝ๋ ๋ฒ: ์ซ์๋ณด๋ค ๋น๊ต ์กฐ๊ฑด๋ถํฐ
๊ทธ๋ฆผ์ ๊ธ์๊ฐ ์๋ค๋ฉด ์๋ณธ ํฌ๊ฒ ๋ณด๊ธฐ ยท ์ ํญ ์ ์ ๊ณต๊ฐ ์ ์ฅ์์ full fine-tuning ํ์์ generation length 256 ์กฐ๊ฑด์ ์์น๋ GSM8K 89.1, MATH-500 45.1, HumanEval 49.4, MBPP 52.4๋ค.[3] ์๋๋ ๊ฐ์ ์ ์ฅ์์ ์ค๋ฆฐ generation length๋ณ ๊ฒฐ๊ณผ๋ฅผ ๋ค์ ์ฎ๊ธด ๊ฒ์ด๋ค. ๊ฐ ํ์ ์๋ก ๋ค๋ฅธ ๊ณผ์ ์ด๋ฏ๋ก, 89.1์ด 49.4๋ณด๋ค โ๋ ๋ฐฐ ๋ ์ข๋คโ๋ ๋ป์ด ์๋๋ค. ๊ฐ ๋ฒค์น๋งํฌ์ ์ฑ์ ๋ฐฉ์๊ณผ ๋๋๊ฐ ๋ค๋ฅด๋ค.
| ๊ณผ์ | ๊ธธ์ด 128 | ๊ธธ์ด 256 | ๊ธธ์ด 512 | ๋ฌด์์ ํ์ธํ๋ |
|---|---|---|---|---|
| GSM8K | 83.8 | 89.1 | 89.8 | ๋ฌธ์ฅํ ์ํ ๋ฌธ์ |
| MATH-500 | 39.0 | 45.1 | 45.2 | ๋ ์ด๋ ค์ด ์ํ ํ์ด |
| HumanEval | 37.8 | 49.4 | 48.7 | ํจ์ ๊ตฌํ๊ณผ ์คํ ํ ์คํธ |
| MBPP | 50.6 | 52.4 | 49.0 | ๊ธฐ์ด ํ๋ก๊ทธ๋จ ์์ฑ |
๊ธธ์ด๋ฅผ 128์์ 256์ผ๋ก ๋๋ ธ์ ๋ ๋ค ๊ณผ์ ๋ชจ๋ ์ด ํ์์๋ ๋์์ก์ง๋ง, 512์์ ๊ณ์ ์ฆ๊ฐํ์ง๋ ์๋๋ค. ์ด๊ฒ๋ง์ผ๋ก โ๋ต์ ๊ธธ๊ฒ ์ฐ๋ฉด ์ถ๋ก ๋ ฅ์ด ๊ณ์ ์ฌ๋ผ๊ฐ๋คโ๊ณ ๋งํ ์ ์๋ค. ํ ํฐ ์์ฐ์ด ๋๋ฉด ๋ ์์ธํ ํ์ดํ ๊ธฐํ๊ฐ ์๊ธฐ๋ ํํธ, ์๋ชป๋ ๋ฐฉํฅ์ผ๋ก ๊ธธ๊ฒ ์ ๊ฐํ ๊ธฐํ๋ ๋์ด๋๋ค. ํ๊ฐ ๋ฐฉ์๊ณผ ์ํ๋ง ์ค์ ๊น์ง ํจ๊ป ๋ด์ผ ํ๋ค.
์๋ณธ ๋น๊ต ๊ทธ๋ฆผ์๋ JustGRPO ์ธ์๋ ์ฌ๋ฌ ํ์ฐ ๋ชจ๋ธ์ฉ ๋ณด์ ํ์ต ๋ฐฉ๋ฒ์ด ๋ฑ์ฅํ๋ค. ํ๋ฅผ ๋ณผ ๋ ํนํ ์กฐ์ฌํ ์ ์ ๋ชจ๋ ๋ง๋๊ฐ ๊ฐ์ ๊ธฐ๋ฐ ๋ชจ๋ธยท๊ฐ์ ํ์ต ์์ฐยท๊ฐ์ ์์ฑ ๊ธธ์ด๋ก ํ๋ จ๋๋ค๊ณ ์๋ ๊ฐ์ ํ๋ฉด ์ ๋๋ค๋ ๊ฒ์ด๋ค. ํ๋ก์ ํธ ํ์ด์ง๋ ์๊ธฐ๋ค์ ํ์์ ๋น๊ต ์กฐ๊ฑด์ ์ค๋ช ํ์ง๋ง, ๋ค๋ฅธ ์ฐ๊ตฌ์ ์์น๋ฅผ ํ ์ฅ์ ๋๋ ์ผ์๋ ์ธ์ ๋ ๊ตฌํยท์์ฐ ์ฐจ์ด๊ฐ ์์ผ ์ ์๋ค.[2] ์ด๋ฒ ๊ธ์ด ๊ฐ์ฅ ๊ฐํ๊ฒ ๋งํ ์ ์๋ ๋ถ๋ถ์ โ์ ์๋ค์ ๊ณต๊ฐ ์ค์ ์์ AR ํ์ต ๊ฒฝ๋ก๊ฐ ๊ฐํ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์๋คโ๊น์ง๋ค.
๊ทธ๋ผ์๋ ์ด ๊ฒฐ๊ณผ๊ฐ ์ฐ๊ตฌ์์๊ฒ ํฅ๋ฏธ๋ก์ด ์ด์ ๋ ๋ฐฉ๋ฒ์ด ํ๋ คํด์๊ฐ ์๋๋ผ ๋ฐ๋๋ค. dLLM์ ๊ณ ์ ํ โ์์ ์์โ๋ฅผ ์ด๋ฆฌ๊ธฐ ์ํด ๋ณ๋ ๋ณด์ ๊ณต์์ด ํ์ํ๋ค๊ณ ์ฌ๊ฒจ์ง ๋ฌธ์ ์์, ๊ธฐ์กด AR์ฉ GRPO๋ก ๋์๊ฐ๋ ์ ํ์ด ๋์๊ธฐ ๋๋ฌธ์ด๋ค. ์ข์ ๋ฐฉ๋ฒ์ ์ธ์ ๋ ๋ ๋ง์ ๊ตฌ์ฑ์์๋ฅผ ๋ํ๋ ๋ฐฉ์์ด ์๋๋ค. ์ด๋ค ์์ ๋๊ฐ ํ์ต ์ ํธ๋ฅผ ํ๋ฆฌ๊ฒ ๋ง๋ ๋ค๋ฉด, ๊ทธ ์์ ๋๋ฅผ ์ ์ ์ ํํ๋ ํธ์ด ๋ซ๋ค๋ ์ฌ๋ก๊ฐ ๋ ์ ์๋ค.
#7. ๊ทธ๋ ๋ค๋ฉด ์ด AI๋ ์ค์ค๋ก ์ข์์ง๋๊ฐ
์ด๋ ์๋ฏธ์์๋ ๊ทธ๋ ๋ค. ๋ชจ๋ธ์ ์ฌ๋ฌ ๋ต์ ๋ด๊ณ , ๋ณด์ ํ์ ์ด ๋ ์ข๋ค๊ณ ํ ๋ต์ ํจํด์ ๋ค์ ์ ๋ฐ์ดํธ์์ ๋ ์์ฃผ ์ ํํ๋ค. ์ด ํ๋ฃจํ๋ ๋ต์ ์์ฑ โ ์ฑ์ ๋๋ ํ ์คํธ โ ์๋ ๋ณด์ โ ํ๋ฅ ์ ๋ฐ์ดํธ๋ก ์ด์ด์ง๋ค. ํ์ต ์ ๊ณผ ํ์ ๋ชจ๋ธ์ด ๋ฌ๋ผ์ง๋ฏ๋ก, ์ข์ ์๋ฏธ์ ์ฑ๋ฅ ๊ฐ์ ์ ์ค์ ๋ก ์ผ์ด๋๋ค.
ํ์ง๋ง ์ด๊ฒ์ โAI๊ฐ ์ค์ค๋ก ์ฐ๊ตฌ ๋ฐฉํฅ์ ์ ํ๊ณ ์๊ธฐ ๋ชฉ์ ํจ์๊น์ง ๊ณ ์ณ ๊ฐ๋ฉฐ ์งํํ๋คโ๊ณ ๋ถ๋ฅด๋ฉด ๊ณผ์ฅ์ด๋ค. ๋๊ฐ ๋ฌธ์ ์งํฉ์ ๊ณ ๋ฅผ์ง, ์ด๋ค ๋ต์ ๋ง๋ค๊ณ ํ์ ํ ์ง, ์ผ๋ง๋ ๊ธด ๋ต์ ํ์ฉํ ์ง, ์ด๋ ์์ ์ ํ์ต์ ๋ฉ์ถ์ง๋ ์ฌ์ ํ ์ฌ๋์ด ์ ํ ์คํ ์ค๊ณ๋ค. ์ํ ๋ฌธ์ ์ ์ต์ข ๋ต ๋๋ ์ฝ๋ ํ ์คํธ์ฒ๋ผ ๋น๊ต์ ๋ช ํํ ๋ณด์์ด ์๋ ์์ญ์์ ํนํ ์ ์๋ํ ์ฌ์ง๊ฐ ์๋ค. ์ ๋ต์ด ํ๋๋ก ๊ณ ์ ๋์ง ์์ ์ ์ฑ ๊ฒฐ์ , ์ฐฝ์, ์์ ์ด ์ค์ํ ๋ํ์์๋ ๋ณด์ ์์ฒด๋ฅผ ์ ์ํ๋ ์ผ์ด ๋ ์ด๋ ต๋ค.
๋ํ ๋ณด์์ ์ ๋ต์ ์ผ๋ถ๋ง ๋ณผ ์ ์๋ค. ์ฝ๋๊ฐ ๊ณต๊ฐ ํ ์คํธ๋ฅผ ํต๊ณผํด๋ ์จ์ ์กฐ๊ฑด์ ๋์น ์ ์๊ณ , ์ํ ๋ต์ ๋ง์ง๋ง ์ซ์๊ฐ ๋ง์๋ ํ์ด๊ฐ ์ผ๋ฐ์ ์ผ๋ก ํ๋นํ์ง๋ ๋ณ๋ ๊ฒ์ฆ์ด ํ์ํ ์ ์๋ค. JustGRPO๋ ๋ณด์ ํ์ต์ ์์ค ๊ฒ์ด ์๋๋ผ, ๋ณด์์ ๋๋ฌํ๋ ๋ต์ ์์ฑ ์์๋ฅผ ๋จ์ํํ๋ค. ๋ฐ๋ผ์ ๋ณด์ ํ์ ์ด ๋ถ์์ ํ๋ฉด ํ์ต ๊ฒฐ๊ณผ๋ ๊ทธ ํ๊ณ๋ฅผ ๊ฐ์ง๋ค.
#8. ์ด ์ฐ๊ตฌ๊ฐ ์์ง ๋งํ์ง ๋ชปํ๋ ๊ฒ
์ฒซ์งธ, ๋ค ๋ฒค์น๋งํฌ์ ๊ฐ์ ์ด ๋ชจ๋ ์ข ๋ฅ์ ์ถ๋ก ์ผ๋ก ์ด์ด์ง๋ค๊ณ ๊ฒ์ฆ๋ ๊ฒ์ ์๋๋ค. ๊ณผํ ์คํ ์ค๊ณ, ์ฅ๊ธฐ ๊ณํ, ๋ค๊ตญ์ด ๋ํ, ์ฐฝ์ ๊ธ์ฐ๊ธฐ์์ ๊ฐ์ ํ์์ด ๋ํ๋๋์ง๋ ๋ณ๋ ์คํ์ด ํ์ํ๋ค. ๋์งธ, Pass@k๋ ์ฌ๋ฌ ๋ต ์ค ํ๋๋ฅผ ๊ณ ๋ฅผ ์ ์์ ๋์ ๊ฐ๋ฅ์ฑ์ ๋ณด๋ ์งํ๋ค. ์ค์ ์๋น์ค๊ฐ ํ ๋ฒ๋ง ๋ตํ๊ณ ์ฌ์ฉ์๊ฐ ๊ฒ์ฆํ ์ฌ์ ๊ฐ ์๋ค๋ฉด Pass@1, ์ค๋ฅ์ ์ข ๋ฅ, ๋น์ฉ๊ณผ ์ง์ฐ ์๊ฐ์ด ๋ ์ค์ํ ์ ์๋ค.
์ ์งธ, ์ด ์ฐ๊ตฌ๋ ๋ชจ๋ธ์ ์๋ก ์ฌ์ ํ์ตํ ๊ธฐ๋ก์ด ์๋๋ผ ๊ณต๊ฐ๋ dLLM์ ๊ณผ์ ๋ณ๋ก ๋ณด์ ํ์ตํ ๋น๊ต๋ค. ๊ทธ๋์ โํ์ฐ ๋ชจ๋ธ ์ ์ฒด์ ๊ทผ๋ณธ ํ๊ณโ๋ณด๋ค โํ์ฌ์ post-training ์ค๊ณ์์ ์ป์ ๊ฐํ ์คํ์ ๊ตํโ์ผ๋ก ์ฝ์ด์ผ ํ๋ค. ๋ท์งธ, ICML Outstanding Paper๋ ์ฌ์ฌ์์ํ๊ฐ ๊ธฐ์ฌ๋ฅผ ๋๊ฒ ํ๊ฐํ๋ค๋ ๊ณต์ ์ ํธ์ด์ง๋ง, ๋ ๋ฆฝ ํ์ ์ฌํ๊ณผ ์ค์ ์ ํ ํ๊ฒฝ์ ๊ฒ์ฆ์ ๋์ ํ์ง ์๋๋ค.[1]
๋ง์ง๋ง์ผ๋ก ๊ณต๊ฐ ์ฝ๋๋ ํฐ ์ฅ์ ๊ณผ ๋จ์ ๊ณผ์ ๋ฅผ ํจ๊ป ์ค๋ค. ํ์ต ์คํฌ๋ฆฝํธ, ํ๊ฐ ์คํฌ๋ฆฝํธ, ์ฒดํฌํฌ์ธํธ๊ฐ ๊ณต๊ฐ๋์ด ์์ด ๋๊ตฌ๋ ์ฃผ์ฅ๊ณผ ๊ฒฐ๊ณผ ์ฌ์ด๋ฅผ ์ถ์ ํ ์ถ๋ฐ์ ์ด ์๋ค.[3] ๊ทธ๋ฌ๋ ์คํ ๋ช ๋ น์ด ์๋ค๊ณ ํด์ ๋๊ตฌ๋ ๊ฐ์ ๊ณ์ฐ ์์ยท๋ฐ์ดํฐ ์ ์ฒ๋ฆฌยท๋ฌด์์์ฑ ์กฐ๊ฑด์์ ๊ฐ์ ์ซ์๋ฅผ ์ป๋๋ค๋ ๋ณด์ฅ์ ์๋ค. ์ฌํ์ ์ ์ฅ์๋ฅผ ๋ด๋ ค๋ฐ๋ ๋ฐ์ ๋๋์ง ์๊ณ , ํ๊ฒฝ๊ณผ ํ๊ฐ ๊ท์น์ ๋ง์ถ๊ณ ๊ฒฐ๊ณผ ์ฐจ์ด๋ฅผ ํด์ํ๋ ๊ณผ์ ๊น์ง ํฌํจํ๋ค.
#9. ๋ค์ dLLM ๋ด์ค๋ฅผ ์ฝ์ ๋ ๋ฌผ์ด๋ณผ ๋ค ๊ฐ์ง
์ ๋ชจ๋ธ์ด โ๋ณ๋ ฌ ์์ฑโ, โ๋ ๋ง์ ์ถ๋ก ๊ฒฝ๋กโ, โ๋ณด์ ํ์ต ๊ฐ์ โ์ ๋งํ ๋๋ ์ด๋ฆ๋ณด๋ค ๋ค์ ์ง๋ฌธ์ด ์ ์ฉํ๋ค.
- ๋ฌด์์ ๋ฐ๊ฟจ๋? ๋ชจ๋ธ ๊ตฌ์กฐ, ์์ฑ ์์, ๋ณด์ ํจ์, ์ํ ์, ํ๊ฐ ์ ์ฐจ ์ค ์ด๋๊ฐ ๋ฌ๋ผ์ก๋๊ฐ?
- ๋ฌด์์ ์ฌ๋๊ฐ? ํ ๋ฒ์ ์ ๋ต๋ฅ ์ธ์ง, ์ฌ๋ฌ ๋ฒ ์๋ํ Pass@k์ธ์ง, ์ฝ๋ ํ ์คํธ์ธ์ง, ์ฌ๋์ด ํ๊ฐํ ํ์ง์ธ์ง ๊ตฌ๋ถํ๋๊ฐ?
- ๋ฌด์๊ณผ ๊ฐ์ ์กฐ๊ฑด์์ ๋น๊ตํ๋? ๊ธฐ๋ฐ ๋ชจ๋ธ, ํ์ต ๋ฐ์ดํฐ, ์์ฑ ๊ธธ์ด, ๊ณ์ฐ ์์ฐ์ด ๋ง์ถฐ์ก๋๊ฐ?
- ๋๊ฐ ๋ค์ ํ์ธํ ์ ์๋? ๋ ผ๋ฌธ๋ฟ ์๋๋ผ ์ฝ๋ยท์ฒดํฌํฌ์ธํธยทํ๊ฐ ๊ท์น์ด ๊ณต๊ฐ๋๋๊ฐ, ๋ค๋ฅธ ํ์ ๊ฒฐ๊ณผ๊ฐ ๋์๋๊ฐ?
JustGRPO๋ ์ด ๋ค ์ง๋ฌธ์ ์ฐ์ตํ๊ธฐ ์ข์ ์ฌ๋ก๋ค. โ์์ ์์ ์์ฑโ์ด๋ผ๋ ๋ฉ์ง ๊ธฐ๋ฅ์ ๋ฌด์กฐ๊ฑด ์ด๋ฆฌ์ง ์๊ณ , ์ํยท์ฝ๋ ๋ณด์ ํ์ต์์๋ ๊ทธ ๊ธฐ๋ฅ์ ํ์ต ์ค ์ ์ ์ ์์ ๋ ์ด๋ค ์ผ์ด ์๊ธฐ๋์ง ๋ณด์ฌ ์คฌ๋ค. ์์ผ๋ก ๋ ๊ฐํ dLLM์ด ๋์จ๋ค๋ฉด, ์์ ๋๊ฐ ์ผ๋ง๋ ๋ง์์ง๊ฐ ์๋๋ผ ๊ทธ ์์ ๋๊ฐ ์ด๋ค ์ธก์ ๊ฐ๋ฅํ ๋ฌธ์ ๋ฅผ ์ค์ ๋ก ํด๊ฒฐํ๋์ง๋ฅผ ๋ฌผ์ด์ผ ํ๋ค.
#10. ์ถ์ฒ์ ์๋ณธ ๊ทธ๋ฆผ
[1] ICML 2026 Awards โ Outstanding Paper ๊ณต์ ๋ฐํ. ์์ ์ฌ์ค ํ์ธ.
[2] ์ ์ ๊ณต์ ํ๋ก์ ํธ ํ์ด์ง โ The Flexibility Trap. ์ฐ๊ตฌ์ ๋ฌธ์ ์ค์ , ARยทAO ๋น๊ต, Pass@k ์ค๋ช , ๋ฐฉ๋ฒ๊ณผ ๊ฒฐ๊ณผ ํ. ์ด๋: 2026-09-14.
[3] LeapLabTHU/JustGRPO ๊ณต๊ฐ ์ ์ฅ์. ํ์ตยทํ๊ฐ ์ฝ๋, ์ฒดํฌํฌ์ธํธ, ๊ฒฐ๊ณผ ํ, ์๋ณธ ๊ทธ๋ฆผ ๋ ์ฅ. ์ ์ฅ์ ๋ผ์ด์ ์ค๋ MIT์ด๋ฉฐ, ์ด ๊ธ์ ์๋ณธ ๊ทธ๋ฆผ์ ํ์ผ์ ๋ณ๊ฒฝํ์ง ์๊ณ ์ ์์ยท์ถ์ฒยท๋ผ์ด์ ์ค์ ํจ๊ป ์ฌ์ฉํ๋ค. ์ด๋: 2026-09-14.
[4] arXiv:2601.15165 โ Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models. ์ ์ ์๊ณ ์ ๋ฒ์ ์ด๋ ฅ.
์๋ณธ ๊ทธ๋ฆผ์ ์ ์ ์ ์ ์ฅ์์ mechanism_to_passk.png, acc_compare.png๋ฅผ ๊ทธ๋๋ก ๋ณด์กดํ ํ์ผ์ด๋ค. ์ด ๊ธ์ ๋ ์ด๋ก์ยท๊ฐ์ ์ค๋ช
๊ทธ๋ฆผ์ ์์น๋ ์ค์ธก ๋ฐ์ดํฐ๋ฅผ ์ถ๊ฐํ์ง ์์ JJo ์์ฒด ์ ์ ๊ต์ก์ฉ ๋์์ด๋ฉฐ, ์ ๋
ผ๋ฌธ ๊ทธ๋ฆผ์ ๋ค์ ๊ทธ๋ฆฐ ๊ฒ์ด ์๋๋ค.