NTU ํํธ 51โ55์ชฝ. ํ ํฐ์ด TTT ์ธต์ ๊ฐ์ค์น๋ฅผ ๋ฐ๊พธ๋ ๊ณผ์ , Titans์ Nested Learning์ ๋ฉ๋ชจ๋ฆฌ, ๋ฌธ๋งฅ ์ ์ง์์๊ฐ ๋ต์ ๋ฐ๊พธ๋ ๊ณผ์ ์ ์ผ๊ณฑ ์์ ๋ก ๊ณ์ฐํ๋ค.
Topic: #self-improvement
A collection of 24 posts about self-improvement.
NTU ํํธ 46โ50์ชฝ์ ๋ฐ๋ผ SEAL์ ์๊ธฐ ํธ์ง ๋ณด์, ๋ ํ์ต ์๊ฐ ์ฒ๋, ํ์ต๋ ์ต์ ํ๊ธฐ์ MAML์ ์ดํด๋ณธ๋ค. ์ ํ์ด ์ผ๊ณฑ ๊ฐ๋ก ๋ชจ๋ธ๊ณผ ํ์ต ๊ท์น์ ๊ฐฑ์ ์ ๊ตฌ๋ถํ๋ค.
NTU ํํธ 41โ45์ชฝ์ ์ ํ์ด 7๊ฐ๋ก ๊ฒฝ์ฌํ๊ฐ๋ฒ, PostTrainBench, autoresearch, AlphaEvolve์ ShinkaEvolve๋ฅผ ์ฝ๋๋ค. ๊ฐ์ค์น ํ ๋ฒ์ ๊ฐฑ์ ์์ ํ์ต ๊ท์น ์์ฒด์ ํ๊ฐ๊น์ง ๊ณ์ฐํ๋ค.
NTU ํํธ 36โ40์ชฝ์ ๋ฐ๋ผ ํ๋ค์ค๊ฐ ๋ค์ ํธ์ง์๊ฐ ๋๋ ๊ณผ์ ์ ์ฝ๋๋ค. ์ ํ์ด ์ผ๊ณฑ ๊ฐ๋ก Hyperagents์ ๋ถ๋ชจ ์ ํ ์คํ๊ณผ Learning to Self-Evolve์ ๋ฌธ๋งฅ ํธ์ง ๋ณด์์ ๊ณ์ฐํ๋ค.
NTU ํํธ 31โ35์ชฝ์ ์ฝ์ผ๋ฉฐ ํ๋ค์ค๋ฅผ ๋ฐ๊ฟ ๋ ์๊ธฐ๋ ๋ง๊ฐ๊ณผ ๊ฐ์ ๊ธฐ์ ์ญํ ์ ์ดํด๋ณธ๋ค. ๊ฐ์ค์น๋ฅผ ๊ณ ์ ํด๋ ์์ ๋ฅ๋ ฅ์ด ๋จ์ด์ง๋ ์ด์ , ์ฑ๊ณต๋ฅ ๊ณผ ์ ์ง์จ์ ๋ถ๋ชจ, DGM์ ํธ์ง์ ๊ณ ์ ์คํ์ ์ฌ์ฏ ๊ณ์ฐ ์์ ๋ก ํผ๋ค.
NTU ํํธ 26โ30์ชฝ์ ์ฝ์ผ๋ฉฐ ์ ๋ ฅ๋ง๋ค ๋ชจ๋ธ์ ์ด๊ธฐํํ๋ ๋ฐฉ๋ฒ๊ณผ ์ ์ ๊ฒฐ๊ณผ๋ฅผ ์ด์ด๋ฐ๋ ๋ฐฉ๋ฒ์ ๋น๊ตํ๋ค. ๋จธ์ ๋น์ ์ ํ์ ์์ธก, ์์ ์ ์์ฑ์ธ์ ์คํ, ๊ฒฝํ ์ฌ์์ผ๋ก ์ ํ๊ฒฝ ์ ์๊ณผ ๊ธฐ์กด ๋ฅ๋ ฅ ๋ณด์กด์ ์ค๋ช ํ๋ค.
NTU 2026 ํํธ 21โ25์ชฝ์ ํ ์ฅ์ฉ ์ฝ๋๋ค. ExpRAG์ ๊ฒฝํ ๊ฒ์๊ณผ Fine-tuning, BetterTogether์ ๊ต๋ ์ต์ ํ, E-SPL์ ํ๋กฌํํธ ์งํ์ ๊ฐํํ์ต, ๋ชฉํ ๋ณํ ์ ์ฌํ๊ฐ๋ฅผ ๊ณต์ ๋ ผ๋ฌธ ๋ฐ Omar Khattab ๊ฐ์๋ก ํด์คํ๋ค.
NTU ์๊ฐ๊ฐ์ AI ํํธ 16โ20์ชฝ์ ์๋ณธ ์ฌ๋ผ์ด๋ ํ ์ฅ์ฉ ์ฝ๋๋ค. DGM ์์นด์ด๋ธ์ ํ์ ๊ณ๋ณด, DSPy์ ์ ์ธํ ํ๋ก๊ทธ๋จ๊ณผ ์๋ ์ต์ ํ, ํ๋ค์คยท๋ชจ๋ธ ํ๋ผ๋ฏธํฐ์ ๊ฒฝ๊ณ, ๊ฒฝํ ๊ฒ์๊ณผ fine-tuning์ ๋ ผ๋ฌธ๊ณผ ์ธ๋ถ ๊ฐ์ ์๋ฃ๋ก ๋ณด๊ฐํ๋ค.
ํํธ 11โ15์ชฝ์ OPROยทGEPAยทALMAยทDarwin Gรถdel Machine์ ํ ์ฅ์ฉ ์ฝ๋๋ค. CMUยทStanford ๋ฐํ ์ฌ๋ผ์ด๋์ GEPA ์ ์์ ์์ ์ค๋ช ์ ์ฐ๊ฒฐํด ํ๋กฌํํธ ํ์, ๋ฌธํญ๋ณ ํ๋ณด ์ ํ, ๋ฉ๋ชจ๋ฆฌ ์ค๊ณ์ ์ฝ๋ ์๊ธฐ์์ ์ ์๋ฆฌยท๊ณ์ฐ ์ยทํ๊ฐ ์กฐ๊ฑด์ ์ค๋ช ํ๋ค.
ํํธ 6โ10์ชฝ์์ ๋ชจ๋ธ ๊ฐ์ค์น์ ํ๋ค์ค๋ฅผ ๊ตฌ๋ถํ๊ณ , ํ๋กฌํํธยท๋๊ตฌยท์คํ ํ๋ฆ์ ์์ ํ๋ ์๋ฆฌ๋ฅผ ์ดํด๋ณธ๋ค. CMUยทNAIRRยทMIT ๊ฐ์์ SWE-agentยทDSPyยทAFlowยทฯ-bench๋ฅผ ์ฐ๊ฒฐํด ๊ธฐ์ต ๊ด๋ฆฌ, ํ๋ณด ์์ฑ, ๊ณต์ ํ ๋น๊ต, ๋น์ฉ๊ณผ ๋ฐ๋ณต ์ ๋ขฐ์ฑ์ ์ค๋ช ํ๋ค.
ํํธ 1โ5์ชฝ์ ํ์ต ํ๋ฆ์ ๋ฐ๋ผ ํ๋ จ ์์ค๊ณผ ์ค์ ํ๊ฐ๋ฅผ ๊ตฌ๋ถํ๊ณ , Absolute ZeroยทR-ZeroยทSPICEยทR-Few๊ฐ ์ถ์ ์ยทํ์ด์ยท๊ฒ์ฆ์๋ก ์๊ธฐํ์ต์ ๊ตฌ์ฑํ๋ ์๋ฆฌ์ ํ๊ณ๋ฅผ ์ดํด๋ณธ๋ค.
AI ์์ด์ ํธ๋ฅผ ๋ชจ๋ธ ๊ฐ์ค์น, ํ๋ค์ค, ์คํ ์ํ๋ก ๋๋๊ณ ReActยทGenerative AgentsยทReflexionยทSWE-agent์ ๊ตฌ์กฐ๋ฅผ ํตํด ๋๊ตฌ์ ๋ฉ๋ชจ๋ฆฌ๊ฐ ํ๋์ ๋ฐ๊พธ๋ ์๋ฆฌ์ ๊ณต์ ํ ๊ฐ์ ํ๊ฐ๋ฅผ ์ดํด๋ณธ๋ค.
Weak-to-Strong Generalization์ ํ์ต ๊ตฌ์กฐ์ ์ฑ๋ฅ ๊ฒฉ์ฐจ ํ๋ณต๋ฅ PGR์ ์ค๋ช ํ๊ณ , OpenAI์ ๋ณด์กฐ ํ์ ์์ค๊ณผ Anthropic ์๋ ์ ๋ ฌ ์ฐ๊ตฌ์์ ์ฑ๊ณผยท์ ์ด ํ๊ณ๋ฅผ ์ดํด๋ณธ๋ค.
PostTrainBench์ FT-Dojo๋ก ํํ์ต ์๋ํ๋ฅผ ์ดํด๋ณธ๋ค. ํ์ต ์์ด์ ํธ์ ๋์ ๋ชจ๋ธ์ ๊ตฌ๋ถํ๊ณ , ์๊ฐ ์์ฐยท๊ฐ์ค ํ๊ฐ ์ ์ยท๋ฐ์ดํฐ ์ค์ผ์ ํจ๊ป ์ฝ๋๋ค.
๋ฌธ์ ์์ฑ์์ ํ์ด์์ ์๊ธฐ๋๊ฒฐ, R-Zero์ ์ฑ๋ฅ ์ ์ฒด, Absolute Zero์ ์คํ ๊ฒ์ฆ, SPICE์ R-Few์ ์ธ๋ถ ์ ๋ณด ํ์ฉ์ ์ดํด๋ณธ๋ค.
์ํธ๋กํผ๊ฐ ๋ฎ์ ๊ฒฝ๋ก๋ฅผ ์ ํํ๋ ์ ์ฑ ๊ฒฝ์ฌ, ์์ฑ์ธ์ WER ๋น๊ต, AI ํ๊ฐ์ ํ์ต ๋ฌธ์ ์์ฑ์ ์ญํ ์ ์ดํด๋ด ๋๋ค.
๋ฌธ์ฅ ์ํธ๋กํผ์ ํ ํฐ๋ณ ์ถ์ ๊ณผ ์ ์ฑ ๊ฒฝ์ฌ๋ฅผ ์ฐ๊ฒฐํ๊ณ , ์ํ์ ๊ณ ์ ํ๋ฉด ๋น ์ง๋ ํญ์ ํ๋ฅ ๋๋ฌด์ ์๋๋ฏธ๋ถ ์ฝ๋๋ก ์ดํด๋ด ๋๋ค.
์๊ธฐํ๊ฐ ์ ์, ๋ค์๊ฒฐ, ์ํธ๋กํผ๋ ๋ฌด์์ด ๋ค๋ฅผ๊น? TentยทSUTAยทLLM ์ํธ๋กํผ ์ต์ํ์ ํ์ต ์ ํธ์ ์ ์ฉ ์กฐ๊ฑด์ ์ดํด๋ด ๋๋ค.
์ ๋ ฅ ํผํ๋ ์ํฐ, ๋น์ง๋ RLVR์ ์ด๊ธฐ ํฅ์๊ณผ ๋ถ๊ดด, ํ ์คํธ ์์ ํ์ต์ ์ดํด๋ณด๊ณ ์ด๊ธฐํํยท๋์ ํ ์ ์์ ์ฐจ์ด๋ฅผ ๊ณ์ฐํฉ๋๋ค.
์๊ฐ๊ฐ์ AI์์ ๋ฐ๋๋ ๋์๊ณผ ํผ๋๋ฐฑ์ ์ญํ ์ ์ดํด๋ณด๊ณ , ์ฌ๊ท์ ์๊ธฐ๊ฐ์ ์ ์ ๋ง์ ์ค์ ํ๊ฐยท์ผ๋ฐํ์ ๊ทผ๊ฑฐ์ ๊ตฌ๋ถํฉ๋๋ค.
ํ์ต ๋ชฉํ์ ์์ค ํจ์์์ ์ถ๋ฐํด ์ง์ ์ฆ๋ฅ์ ์๊ธฐ ์์ฑ ์์ฌ ์ ๋ต์ ์ดํด๋ด ๋๋ค. ๊ฐ์ ๋ชจ๋ธ์ ์ถ๋ ฅ์ด ์ธ์ ์๋ก์ด ํ์ต ์ ํธ๊ฐ ๋๋์ง ๊ณ์ฐ์ผ๋ก ์ค๋ช ํฉ๋๋ค.
๋ต์ ๊ณ ์น๋ ์๊ธฐ์์ ๊ณผ ํ๋ผ๋ฏธํฐ๋ฅผ ๋ฐ๊พธ๋ ํ์ต์ ๊ตฌ๋ถํฉ๋๋ค. ์์ ๋ต์ ์ง๋ํ์ต, ์์ ํ๋์ ๊ฐํํ์ต, ๋ณด์์ ๋ฐ๋ฅธ ์ ๋ฐ์ดํธ๋ฅผ ๊ณ์ฐ ์์์ ํจ๊ป ์ดํด๋ด ๋๋ค.
ํฌ์ ๋ณด์์ ์ด๋ ค์๊ณผ ์ค๊ฐ ๋ณด์์ด ๋ชฉํ๋ฅผ ๋ฐ๊พธ๋ ๋ฐ๋ก๋ฅผ ์ดํด๋ด ๋๋ค. ์ ์ฌ ํจ์ ๊ธฐ๋ฐ ๋ณด์์ ์กฐ๊ฑด, LLM ๋ณด์ ์ฝ๋ ์์ฑ๊ณผ ์ ์ฑ ํ๊ฐ๋ฅผ ์ฐ๊ฒฐํฉ๋๋ค.
EurekaยทREvolveยทRF-Agent์ ๋ณด์ ํ์, ๋ํ๋ฏผ์ ๋ณด์ ์์ธก ์ค์ฐจ, ์ ํธ ๊ธฐ๋ฐ ๋ณด์ ๋ชจ๋ธ๊ณผ RLHFยทRLAIF์ ์ฐจ์ด๋ฅผ ์ดํด๋ด ๋๋ค.