ํํธ 1โ5์ชฝ์ ํ์ต ํ๋ฆ์ ๋ฐ๋ผ ํ๋ จ ์์ค๊ณผ ์ค์ ํ๊ฐ๋ฅผ ๊ตฌ๋ถํ๊ณ , Absolute ZeroยทR-ZeroยทSPICEยทR-Few๊ฐ ์ถ์ ์ยทํ์ด์ยท๊ฒ์ฆ์๋ก ์๊ธฐํ์ต์ ๊ตฌ์ฑํ๋ ์๋ฆฌ์ ํ๊ณ๋ฅผ ์ดํด๋ณธ๋ค.
Topic: #reinforcement-learning
A collection of 20 posts about reinforcement-learning.
๋ฌธ์ ์์ฑ์์ ํ์ด์์ ์๊ธฐ๋๊ฒฐ, R-Zero์ ์ฑ๋ฅ ์ ์ฒด, Absolute Zero์ ์คํ ๊ฒ์ฆ, SPICE์ R-Few์ ์ธ๋ถ ์ ๋ณด ํ์ฉ์ ์ดํด๋ณธ๋ค.
์๊ฐ๊ฐ์ AI์์ ๋ฐ๋๋ ๋์๊ณผ ํผ๋๋ฐฑ์ ์ญํ ์ ์ดํด๋ณด๊ณ , ์ฌ๊ท์ ์๊ธฐ๊ฐ์ ์ ์ ๋ง์ ์ค์ ํ๊ฐยท์ผ๋ฐํ์ ๊ทผ๊ฑฐ์ ๊ตฌ๋ถํฉ๋๋ค.
๋ต์ ๊ณ ์น๋ ์๊ธฐ์์ ๊ณผ ํ๋ผ๋ฏธํฐ๋ฅผ ๋ฐ๊พธ๋ ํ์ต์ ๊ตฌ๋ถํฉ๋๋ค. ์์ ๋ต์ ์ง๋ํ์ต, ์์ ํ๋์ ๊ฐํํ์ต, ๋ณด์์ ๋ฐ๋ฅธ ์ ๋ฐ์ดํธ๋ฅผ ๊ณ์ฐ ์์์ ํจ๊ป ์ดํด๋ด ๋๋ค.
ํฌ์ ๋ณด์์ ์ด๋ ค์๊ณผ ์ค๊ฐ ๋ณด์์ด ๋ชฉํ๋ฅผ ๋ฐ๊พธ๋ ๋ฐ๋ก๋ฅผ ์ดํด๋ด ๋๋ค. ์ ์ฌ ํจ์ ๊ธฐ๋ฐ ๋ณด์์ ์กฐ๊ฑด, LLM ๋ณด์ ์ฝ๋ ์์ฑ๊ณผ ์ ์ฑ ํ๊ฐ๋ฅผ ์ฐ๊ฒฐํฉ๋๋ค.
EurekaยทREvolveยทRF-Agent์ ๋ณด์ ํ์, ๋ํ๋ฏผ์ ๋ณด์ ์์ธก ์ค์ฐจ, ์ ํธ ๊ธฐ๋ฐ ๋ณด์ ๋ชจ๋ธ๊ณผ RLHFยทRLAIF์ ์ฐจ์ด๋ฅผ ์ดํด๋ด ๋๋ค.
ECoT์ ์ถ๋ก ์ ์ฐ์ฐ ํ์ฅ์ ํตํด ๋ก๋ด์ด ํ๋จ์ ์๊ฐ์ ์ฐ๋ ๋ฐฉ๋ฒ์ ์ดํด๋ณธ๋ค.
์ ํ๊ฒฝ์์์ ์ผ๋ฐํ, ์ ์ด ์ผ์ฑ, ๋น ๋ฅธ ์ ์๊ณผ ํ์ ํ์ต์ ์ฐ๊ตฌ ์ง๋ฌธ์ผ๋ก ๋ฐ๊ฟ ๋ณธ๋ค.
์ฌ๋ฌ ๋ก๋ด์ ํ ๋ชจ๋ธ๋ก ์ ์ดํ๋ ๋ฒ.
์๋ ๋ชจ๋ธ๋ก ๋ก๋ด ํ๋์ ๊ฒฐ๊ณผ๋ฅผ ์์ธกํ๋ ๋ฒ.
๋ณด์๊ณผ ๊ฐ์น์ ์ฐจ์ด๋ถํฐ ๋ฒจ๋ง ๋ฐฉ์ ์, ๊ฐ์นยท์ ์ฑ ๋ฐ๋ณต, Q-learning, DQN๊ณผ ์ฐ์ ํ๋ ์ ์ด๊น์ง. ์๋ณธ ๊ทธ๋ฆผ๊ณผ ์๊ฐ ์๋ง์ ๋์กฐํ๊ณ ์์ ๊ฒฉ์ยท์์น ์์ ๋ก ๊ณ์ฐ ๊ณผ์ ์ ํ์ด ๋ด ๋๋ค.
์๋ณธ ์ฌ๋ผ์ด๋์ ๊ณต๊ฐ ์๋ง์ ๋์กฐํด REINFORCE, ๊ธฐ์ค๊ฐ๊ณผ ์ด๋๋ฐดํฐ์ง, ์ค์๋ ํ์ง, TRPOยทPPOยทSAC๋ฅผ ํ์ด ๋ด ๋๋ค. ํ๋ฅ ๋นยท์ํธ๋กํผยท์์ค ๋ถํธ๋ฅผ ์ง์ ๊ณ์ฐํ ์์ ์ ํจ๊ป ์ค๋ช ํฉ๋๋ค.
ํ ์ฅ๋ฉด์ ์ฌ๋ฌ ์ ๋ต ํ๋์ด ์์ ๋ ํ๊ท ์ด ์ ์คํจํ ๊น์? VAE, VQ-VAE, DDPMยทDDIM, Diffusion Policy์ Flow Matching์ ์๋ณธ ๊ทธ๋ฆผยท๊ณต๊ฐ ์๋งยท๋ณด์ถฉ ๊ฐ์์ ํจ๊ป ์ค๋ช ํฉ๋๋ค.
ํ ์ฅ์ ์ฌ์ง์ผ๋ก ์ ์ ์๋ ๋ก๋ด์ ์ํ๋ฅผ ์ด๋ป๊ฒ ๊ธฐ์ตํ ๊น์? attentionยทํ ํฐยท์์น ์ ๋ณด์์ CLIPยทVLMยทACTยทFAST๊น์ง, ์ฌ๋ผ์ด๋์ ๊ณต๊ฐ ์๋ง์ ๋์กฐํ๊ณ ๊ณ์ฐ ์์ ๋ก ํ์ด ๋ด ๋๋ค.
๋ก๋ด ํ์ต์ ๋ฌด์์ ๋ฐฐ์ฐ๊ณ , ์ด๋ป๊ฒ ํ๋ํ๋๊ฐ? ETH 2026 ๊ฐ์ ์ฌ๋ผ์ด๋์ ํจ๊ป ์ ์ฑ ยท๋ชจ๋ฐฉํ์ตยท๊ฐํํ์ตยทVLA๋ฅผ ์ดํดํ๊ณ ์ค์ ์ฝ๋์ ์๋ฎฌ๋ ์ด์ ์์ ๋ก ์ฐ๊ฒฐํฉ๋๋ค.
๋ก๋ด์ ๋ชฉํ๊ฐ ์ค์ ์์ง์์ด ๋๋ ๊ณผ์ ์ ์ขํ๊ณยท์ญ๊ธฐ๊ตฌํยท๊ถค์ ยทPID๋ก ์ดํดํ๊ณ , ์ํยทํ๋ยท์ ์ดยท๋ณด์์ผ๋ก MDP๋ฅผ ๊ตฌ์ฑํฉ๋๋ค. ETH 2๊ฐ ์ฌ๋ผ์ด๋์ ์๋ง, ์คํํ ์๋ฎฌ๋ ์ด์ ์ ํจ๊ป ์ดํด๋ด ๋๋ค.
Stratego์์ ์ธ๊ฐ ๊ฐ์์ 20ํ์ ์น๋ฅธ Ataraxos๋ฅผ ์๋ ผ๋ฌธ ๊ฒ์ํยท๋๊ตญ ๊ทธ๋ํ๋ก ์ฝ๋๋ค. ์จ์ ์ ๋ณดยทbeliefยทself-playยท์น๋ฅ ๊ณ์ฐ์ ์ฝ๊ฒ ํ๊ณ , ๊ฒ์ ์ฑ์ ๊ณผ ํ์ค ์์ฌ๊ฒฐ์ ์ ๊ฒฝ๊ณ๋ฅผ ๊ตฌ๋ถํ๋ค.
ICML 2026 Outstanding Paper๋ก ์ ์ ๋ JustGRPO๋ฅผ ํตํด ํ์ฐ ์ธ์ด ๋ชจ๋ธ, ์ผ์ชฝ๋ถํฐ ์ฐ๊ธฐ, ๋ณด์ ํ์ต, Pass@k๋ฅผ ์ฒ์๋ถํฐ ์ค๋ช ํ๋ค. ๋ฌด์์ด ์ค์ ๋ก ์ข์์ก๊ณ ๋ฌด์์ ์์ง ์ฆ๋ช ๋์ง ์์๋์ง๋ ์๋ณธ ๊ทธ๋ฆผ๊ณผ ๊ณต๊ฐ ์ฝ๋๋ก ๊ตฌ๋ถํ๋ค.
์นฉ์ด ์ค๊ณ์์ ์ค์ ์ ์กฐ ๊ฐ๋ฅํ ๋๋ฉด์ด ๋๊ธฐ๊น์ง์ ๊ณผ์ ๊ณผ, AlphaChipยท์์ฉ EDAยทOpenROAD ๊ฐ์ AI๊ฐ ๊ทธ ๊ณผ์ ์์ ์ค์ ๋ก ๋๋ ์ผ์ ์ฝ๊ฒ ์ค๋ช ํ๋ค.
๋ก๋ด๊ฐํํ์ต ์ฑ๊ณต ์ฌ๋ก Deep Reinforcement Learning for Robotics, A Survey of Real-World Successes