Skip to main content
#ai-agents#uncertainty#computer-use

When should a smaller agent call a stronger model?

LEASH uses uncertainty in hidden states to escalate selected computer-use tasks. The preprint compares cost and success on OSWorld and identifies gaps in validation.

Article text in Korean.

๋™๋ฃŒ์‹ฌ์‚ฌ ์ „ ์‚ฌ์ „๋…ผ๋ฌธ ยท ๋น„๊ณต๊ฐœ ๊ฒ€์ˆ˜๋ณธ. ์ž‘์€ ๋ชจ๋ธ์˜ ๋‚ด๋ถ€ ํ‘œํ˜„์œผ๋กœ ํฐ ๋ชจ๋ธ์— ์ž‘์—…์„ ๋„˜๊ธธ ์‹œ์ ์„ ํŒ๋‹จํ•˜๋Š” ์—ฐ๊ตฌ๋‹ค. ์•„๋ž˜ ์„ฑ๋Šฅยท๋น„์šฉ์€ ๋…ผ๋ฌธ์˜ ํŠน์ • ๋ฒค์น˜๋งˆํฌ ๊ตฌ์„ฑ ๊ฒฐ๊ณผ์ด๋ฉฐ ํ˜„์žฌ ์„œ๋น„์Šค ๊ฐ€๊ฒฉ์ด๋‚˜ ์ด ๋ธ”๋กœ๊ทธ ์šด์˜ ๋น„์šฉ์„ ์ธก์ •ํ•œ ๊ฐ’์ด ์•„๋‹ˆ๋‹ค.

์„ ์ • ๊ธฐ๋ก๊ณผ ์›๋ฌธ ์—ด๋žŒ ๋ฒ”์œ„

๊ธฐ์ค€์ผ 2026-10-19 KST, ์ˆœ์œ„ 3, ์ ์ˆ˜ 86/100, EARLY_SIGNAL. arXiv v1์˜ ๋ฐฉ๋ฒ•ยท๊ด€๋ จ ์‹คํ—˜ยท๋ถ€๋ก ์„ ํƒ ๊ตฌ๊ฐ„๊ณผ ๊ธฐ์กด ๊ฒ€์ˆ˜ ๋ฉ”๋ชจ๋ฅผ ๋Œ€์กฐํ–ˆ๋‹ค. ์ „์ฒด ๋„ํŒยท์ฝ”๋“œ ์‹คํ–‰๊ณผ ๋…๋ฆฝ ์žฌํ˜„์€ ๋ฏธ์™„๋ฃŒ๋‹ค.

#๊ธฐ๋ก ํ•„๋“œ

  • rank: 3
  • contentId: 2026-10-19-leash-agent-escalation
  • status: BACKLOG_CANDIDATE
  • title: LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents
  • normalizedTitle: leash uncertainty aware weak to strong escalation and oversight for computer use agents
  • date: 2026-10-15T17:40:12Z
  • venue: arXiv preprint (cs.AI)
  • DOI: ํ™•์ธ๋˜์ง€ ์•Š์Œ
  • arxivId: 2610.22280
  • officialUrl: https://arxiv.org/abs/2610.22280
  • evidenceGrade: EARLY_SIGNAL
  • score: 86 = 18+14+19+18+8+9, ๊ฐ์  0. ์‚ฌ์ „๋…ผ๋ฌธ์ž„์„ ํ™•์ • ๊ฒฐ๊ณผ๋กœ ํ™•๋Œ€ํ•˜์ง€ ์•Š๋Š”๋‹ค.
  • oneSentenceConclusion: ์•ฝํ•œ ์—์ด์ „ํŠธ์˜ hidden state๋ฅผ ๊ณผ๊ฑฐ ์„ฑ๊ณตยท์‹คํŒจ ๊ถค์ ๊ณผ ๋น„๊ตํ•ด ๊ฐ•ํ•œ ๋ชจ๋ธ ํ˜ธ์ถœ๊ณผ ์‚ฌํ›„ ๊ฐ์‹œ๋ฅผ ๊ฒฐ์ •ํ•˜๋Š” training-free routing ์‹ ํ˜ธ๋ฅผ ์ œ์•ˆํ–ˆ๋‹ค.
  • whyItMatters: ๋งค ๋‹จ๊ณ„ ์ตœ์ƒ์œ„ ๋ชจ๋ธ์„ ์“ฐ๋Š” ๋น„์šฉ๊ณผ ์ž‘์€ ๋ชจ๋ธ ๋‹จ๋… ์šด์šฉ์˜ ์‹คํŒจ ์‚ฌ์ด๋ฅผ ๋‹ค๋ฃฌ๋‹ค.
  • keyDifference: ์ดˆ๊ธฐ routing, ์‹คํ–‰ ์ค‘ escalation, handoff ๋’ค shadow observer๋ฅผ ๊ฐ™์€ latent uncertainty๋กœ ์—ฐ๊ฒฐํ•œ๋‹ค.
  • strongestEvidence: ์ €์ž ์ดˆ๋ก์€ OSWorld ๋„ค backbone์—์„œ ๊ฐ™์€ escalation rate์˜ random routing๋ณด๋‹ค 6.55~11.94 percentage points ๋†’์•˜๋‹ค๊ณ  ๋ณด๊ณ ํ•œ๋‹ค.
  • metrics: Qwen3.5-35B-A3B ์กฐํ•ฉ 73.66% success, $0.4117/task; ํ•ญ์ƒ Claude Opus 5 ์‚ฌ์šฉ 72.90%์™€ ๋น„๊ตํ•ด ๋น„์šฉ 19.2% ๊ฐ์†Œ๋ผ๋Š” ์ €์ž ๋ณด๊ณ .
  • limitations: ๋™๋ฃŒ์‹ฌ์‚ฌ ์ „, OSWorld ์ค‘์‹ฌ, ๋น„์šฉ ์‚ฐ์ •๊ณผ ๋ชจ๋ธ ๋ฒ„์ „ยทtask ๊ตฌ์„ฑ์˜ ์™ธ๋ถ€ ๊ฒ€์ฆ ๋ฏธํ™•์ธ, hidden-state ์ ‘๊ทผ ๊ฐ€๋Šฅํ•œ weak model ํ•„์š”, ๋„๋ฉ”์ธ ์ด๋™ ์‹œ ๋ถˆํ™•์‹ค์„ฑ ์ „์ด ๋ฏธ๊ฒ€์ฆ.
  • conflictsOfInterest: ํ™•์ธ๋˜์ง€ ์•Š์Œ
  • codeAvailable: ์ดˆ๋ก ํŽ˜์ด์ง€์—์„œ ํ™•์ธ๋˜์ง€ ์•Š์Œ
  • dataAvailable: OSWorld ์‚ฌ์šฉ ์™ธ ์‹ ๊ทœ ๋ฐ์ดํ„ฐ ๊ณต๊ฐœ๋Š” ํ™•์ธ๋˜์ง€ ์•Š์Œ
  • sourceLocators: arXiv v1 ยง3 ๋ฐฉ๋ฒ•, ยง4 ์‹คํ—˜๊ณผ ๊ตฌ์„ฑ์š”์†Œ ๋น„๊ต, Appendix Aโ€“B์˜ ์ฐธ์กฐ ์ž๋ฃŒยท๋ณด์ •ยท๋น„์šฉ ์„ค์ •; ์ œ์ถœ ์‹œ๊ฐ์€ ์„œ์ง€์ •๋ณด.
  • revisitTriggers: peer review, ๋…๋ฆฝ ์žฌํ˜„, ์ฝ”๋“œยทtrajectory ๊ณต๊ฐœ, ๋‹ค๋ฅธ ์ปดํ“จํ„ฐ ํ™˜๊ฒฝ ๊ฒ€์ฆ, ๋น„์šฉ ๊ธฐ์ค€ ๊ฐ์‚ฌ.

#ํ•œ ๋ฌธ์žฅ ๊ฒฐ๋ก 

LEASH๋Š” โ€œ์ž‘์€ ๋ชจ๋ธ์ด ๋ง์„ค์ผ ๋•Œ ํฐ ๋ชจ๋ธ์„ ๋ถ€๋ฅธ๋‹คโ€๋ฅผ ๋‚ด๋ถ€ ํ‘œํ˜„ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ตฌํ˜„ํ–ˆ์ง€๋งŒ, ์•„์ง OSWorld์—์„œ ์ €์ž๋“ค์ด ํ‰๊ฐ€ํ•œ ๋™๋ฃŒ์‹ฌ์‚ฌ ์ „ ๊ฒฐ๊ณผ๋‹ค. ๋ณ„๋„ ๊ฐ์‹œ ๋ชจ๋ธ์„ ์ƒˆ๋กœ ํ•™์Šต์‹œํ‚ค์ง€ ์•Š๋Š”๋‹ค๋Š” ๋œป์ด์ง€, ์ค€๋น„ ๋ฐ์ดํ„ฐ๋‚˜ ๋ณด์ • ๊ณผ์ •์ด ์—†๋‹ค๋Š” ๋œป์€ ์•„๋‹ˆ๋‹ค.

#์ค‘์š”์„ฑยท์ฐจ์ด

์ปดํ“จํ„ฐ ์‚ฌ์šฉ ์—์ด์ „ํŠธ๋Š” ์ž‘์—…์ด ๊ธธ์–ด์งˆ์ˆ˜๋ก ์ž‘์€ ์‹ค์ˆ˜๊ฐ€ ๋ˆ„์ ๋œ๋‹ค. ํ•ญ์ƒ ๊ฐ•ํ•œ API ๋ชจ๋ธ์„ ์“ฐ๋ฉด ๋น„์‹ธ๊ณ , ์ž‘์€ ์˜คํ”ˆ ๋ชจ๋ธ๋งŒ ์“ฐ๋ฉด ์‹คํŒจ์œจ์ด ๋†’๋‹ค. ๊ธฐ์กด random escalation๊ณผ ๋‹ฌ๋ฆฌ LEASH๋Š” ์•ฝํ•œ ๋ชจ๋ธ์˜ ํ˜„์žฌ ํ‘œํ˜„์ด ๊ณผ๊ฑฐ ์‹คํŒจ ๊ถค์ ์— ์–ผ๋งˆ๋‚˜ ๊ฐ€๊นŒ์šด์ง€๋ฅผ ๋ณด๊ณ  ์ƒํ–ฅ ์—ฌ๋ถ€๋ฅผ ์ •ํ•œ๋‹ค. ์ธ๊ณ„ ๋’ค์—๋„ ์•ฝํ•œ ๋ชจ๋ธ์„ shadow observer๋กœ ๋‚จ๊ฒจ ๊ฐ•ํ•œ black-box ์—์ด์ „ํŠธ๋ฅผ ๊ฐ์‹œํ•œ๋‹ค.

#์ ์ˆ˜๋Š” โ€˜์‹คํŒจ ํ™•๋ฅ โ€™์ด ์•„๋‹ˆ๋‹ค

์ˆจ์€ ์ƒํƒœ(hidden state)๋Š” ๋ชจ๋ธ์ด ์ž…๋ ฅ๊ณผ ์‹คํ–‰ ์ด๋ ฅ์„ ์ฒ˜๋ฆฌํ•˜๋ฉฐ ๋งŒ๋“  ๋‚ด๋ถ€ ์ˆซ์ž ๋ฒกํ„ฐ๋‹ค. LEASH๋Š” ๊ณผ๊ฑฐ ์„ฑ๊ณตยท์‹คํŒจ ์‹คํ–‰์˜ ๋ฒกํ„ฐ๋ฅผ ๋”ฐ๋กœ ๋ชจ์•„ ๋น„๊ต ๊ธฐ์ค€์„ ๋งŒ๋“ ๋‹ค. ยง3.2 ์‹ 2โ€“3์„ ์•„๋ž˜์ฒ˜๋Ÿผ ๊ธฐํ˜ธ๋ฅผ ์ค„์—ฌ ์ฝ์„ ์ˆ˜ ์žˆ๋‹ค. ์›๋ฌธ์˜ ์ฑ„๋„ ์ฒจ์ž c๋Š” ์ƒ๋žตํ–ˆ์ง€๋งŒ, ์‹ค์ œ๋กœ๋Š” ์ตœ์ดˆ ์งˆ๋ฌธ๊ณผ ์‹คํ–‰ ํ–‰๋™์˜ ๊ธฐ์ค€ ์ž๋ฃŒ๋ฅผ ๋”ฐ๋กœ ์‚ฌ์šฉํ•œ๋‹ค.

dy2=(zโˆ’ฮผy)โŠคฮฃฮปโˆ’1(zโˆ’ฮผy)u=dPass2โˆ’dFail2\begin{aligned}d_y^2&=(z-\mu_y)^\top\Sigma_\lambda^{-1}(z-\mu_y)\\u&=d_{\mathrm{Pass}}^2-d_{\mathrm{Fail}}^2\end{aligned}

z๋Š” ๊ธฐ์ค€ ์ž๋ฃŒ๋กœ ํ‘œ์ค€ํ™”ํ•œ ํ˜„์žฌ ๋ฒกํ„ฐ, ฮผy๋Š” ์„ฑ๊ณต ๋˜๋Š” ์‹คํŒจ ์ง‘๋‹จ์˜ ์ค‘์‹ฌ์ด๋‹ค. ฮฃฮป๋Š” ๋‘ ์ง‘๋‹จ์ด ๊ณต์œ ํ•˜๋Š” ๊ณต๋ถ„์‚ฐ ์ถ”์ •์น˜์— ์–‘์˜ ์ •๊ทœํ™” ํ•ญ์„ ๋”ํ•œ ํ–‰๋ ฌ์ด๋‹ค. ์—ญํ–‰๋ ฌ์€ ๋ฒกํ„ฐ์˜ ๊ฐ ๋ฐฉํ–ฅ์ด ์–ผ๋งˆ๋‚˜ ํ”ํ•˜๊ฒŒ ๋ณ€ํ•˜๋Š”์ง€๋ฅผ ๊ฑฐ๋ฆฌ ๊ณ„์‚ฐ์— ๋ฐ˜์˜ํ•œ๋‹ค. ์ด ํ‘œํ˜„๊ณผ ์ ์ˆ˜๋Š” ๋ฌด์ฐจ์›์ด๋‹ค. ์‹คํŒจ ์ค‘์‹ฌ๊นŒ์ง€ ๋” ๊ฐ€๊น๋‹ค๋ฉด ๋‘ ๋ฒˆ์งธ ๊ฑฐ๋ฆฌ๊ฐ€ ์ž‘์•„์ ธ u๊ฐ€ ์ปค์ง€๋Š” ๋ฐฉํ–ฅ์ด๋‹ค. u๊ฐ€ 0.8์ด๋ผ๊ณ  ํ•ด์„œ ์‹คํŒจ ํ™•๋ฅ  80%๋ผ๋Š” ๋œป์€ ์•„๋‹ˆ๋‹ค. ๋ชจ๋“  ๊ธฐ์ค€์—์„œ ๋ฉ€๋ฆฌ ๋–จ์–ด์ง„ ์ƒˆ ํ™˜๊ฒฝ์„ ์ด ์ƒ๋Œ€ ์ ์ˆ˜ ํ•˜๋‚˜๋กœ ์ถฉ๋ถ„ํžˆ ํŒ๋ณ„ํ•œ๋‹ค๊ณ ๋„ ๋ณด์žฅํ•˜์ง€ ์•Š๋Š”๋‹ค.

๊ณต๋ถ„์‚ฐ์€ ์—ฌ๋Ÿฌ ์ˆซ์ž๊ฐ€ ๊ฐ๊ฐ ์–ผ๋งˆ๋‚˜ ํ”๋“ค๋ฆฌ๊ณ  ํ•จ๊ป˜ ๋ณ€ํ•˜๋Š”์ง€๋ฅผ ๊ธฐ๋กํ•œ ๊ฒƒ์ด๋‹ค. ์ด๋ฅผ ๋ฐ˜์˜ํ•˜๋Š” ์ด์œ ๋Š” โ€œ์ˆซ์ž ์ฐจ์ด๊ฐ€ ํฌ๋‹คโ€์™€ โ€œํ‰์†Œ์™€ ๋น„๊ตํ•ด ์ด๋ก€์ ์ด๋‹คโ€๊ฐ€ ๊ฐ™์ง€ ์•Š๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ๊ฐ€์ƒ ๊ณ„์‚ฐ ์˜ˆ์ œ๋กœ ํ•œ ๋ฐฉํ–ฅ๋งŒ ๋‚จ๊ฒจ ๋ณด์ž. ์ค‘์‹ฌ์—์„œ์˜ ์ฐจ์ด๊ฐ€ 2์ด๊ณ  ๋ถ„์‚ฐ์ด 4๋ผ๋ฉด ์ œ๊ณฑ๊ฑฐ๋ฆฌ๋Š” 2ยฒ/4=1์ด๋‹ค. ๊ฐ™์€ ์ฐจ์ด 2๋ผ๋„ ๋ถ„์‚ฐ์ด 1์ด๋ฉด ์ œ๊ณฑ๊ฑฐ๋ฆฌ๋Š” 4๊ฐ€ ๋œ๋‹ค. ํ‰์†Œ ๋ณ€๋™์ด ์ž‘์€ ๋ฐฉํ–ฅ์˜ ๊ฐ™์€ ์ฐจ์ด๋ฅผ ๋” ์ด๋ก€์ ์œผ๋กœ ์„ธ๋Š” ๊ฒƒ์ด๋‹ค. ์ด๋Š” ์‹์„ ์ฝ๊ธฐ ์œ„ํ•œ ๋‹จ์ˆœํ™”์ด๋ฉฐ ๋…ผ๋ฌธ์˜ ์‹ค์ œ ๋ฒกํ„ฐยท์ธก์ •๊ฐ’์ด ์•„๋‹ˆ๋‹ค. ์‹ค์ œ ๋‹ค์ฐจ์› ๊ณ„์‚ฐ์—์„œ๋Š” ๋ฐฉํ–ฅ ์‚ฌ์ด์˜ ์ƒ๊ด€๋„ ํ•จ๊ป˜ ๋ฐ˜์˜ํ•˜๋ฏ€๋กœ ๊ฐ ์ˆซ์ž๋ฅผ ๋”ฐ๋กœ ๋‚˜๋ˆ„๋Š” ๊ฒƒ๋งŒ์œผ๋กœ ๋๋‚˜์ง€ ์•Š๋Š”๋‹ค.

ยง3.3์€ ๊ธฐ์ค€ ์‹คํ–‰์˜ ์ž‘์—…๋ณ„ ์ตœ๋Œ€ ํ–‰๋™ ์ ์ˆ˜๋กœ ์ž„๊ณ„๊ฐ’์„ ์ •ํ•œ๋‹ค. ์–ด๋А ํ•œ ๋‹จ๊ณ„๋งŒ ๊ธฐ์ค€์„ ๋„˜์–ด๋„ ์ž‘์—…์„ ์ธ๊ณ„ํ•˜๋ฏ€๋กœ, ๋‹จ๊ณ„๋ฅผ ๊ฐ๊ฐ ๋…๋ฆฝ ํ‘œ๋ณธ์ฒ˜๋Ÿผ ์„ธ๋Š” ๊ฒƒ๊ณผ ๋‹ค๋ฅด๋‹ค. ๋ณด์ • ์ž๋ฃŒ์—์„œ ๊ฒจ๋ƒฅํ•œ ์ƒํ–ฅ ๋น„์œจ๊ณผ ์‹ค์ œ ํ‰๊ฐ€์—์„œ ๊ด€์ธกํ•œ ๋น„์œจ๋„ ์ผ์น˜ํ•œ๋‹ค๊ณ  ๋ณด์žฅํ•˜์ง€ ์•Š๋Š”๋‹ค.

ํ™•์ธ ์งˆ๋ฌธ: ๊ธด ์ž‘์—…์—์„œ ๋‹จ๊ณ„๋ณ„ ์ƒ์œ„ 10%๋งŒ ๋„˜๊ธฐ๋ฉด ์ „์ฒด ์ž‘์—…์˜ 10%๋งŒ ์ƒํ–ฅ๋ ๊นŒ? ํ•ด์„ค: ์•„๋‹ˆ๋‹ค. ํ•œ ์ž‘์—… ์•ˆ์—์„œ ๊ธฐ์ค€์„ ๋„˜์„ ๊ธฐํšŒ๊ฐ€ ์—ฌ๋Ÿฌ ๋ฒˆ ์ƒ๊ธด๋‹ค. ๊ทธ๋ž˜์„œ ๋…ผ๋ฌธ์€ ๊ฐœ๋ณ„ ๋‹จ๊ณ„๊ฐ€ ์•„๋‹Œ ์ž‘์—…๋ณ„ ์ตœ๋Œ€๊ฐ’์œผ๋กœ ๊ธฐ์ค€์„ ๋งž์ถ˜๋‹ค. 10%๋Š” ์ด ์งˆ๋ฌธ์„ ์œ„ํ•œ ๊ฐ€์ƒ ๋น„์œจ์ด์ง€ ๋…ผ๋ฌธ ์„ฑ๋Šฅ๊ฐ’์ด ์•„๋‹ˆ๋‹ค.

#์ด๋ก ์€ ์–ด๋””๊นŒ์ง€ ๋ณด์žฅํ• ๊นŒ

ยง5์˜ ๋ช…์ œ๋Š” ์ž‘์—…์„ ์‹œ์ž‘ํ•  ๋•Œ ํ•œ ๋ฒˆ ๋„˜๊ธธ์ง€ ์ •ํ•˜๋Š” ๊ฒฝ์šฐ๋งŒ ๋‹ค๋ฃฌ๋‹ค. ์„ฑ๊ณตยท์‹คํŒจ ์ง‘๋‹จ์˜ ํ‘œํ˜„์ด ๊ณตํ†ต ๊ณต๋ถ„์‚ฐ์„ ๊ฐ€์ง„ ์ •๊ทœ๋ถ„ํฌ๋ฅผ ๋”ฐ๋ฅด๊ณ , ์ •ํ•ด์ง„ ๋น„์œจ๋งŒํผ ์ •ํ™•ํžˆ ์ธ๊ณ„ํ•œ๋‹ค๋Š” ๊ฐ€์ •์ด ์žˆ๋‹ค. ์ „์ฒด ์„ฑ๊ณต๋ฅ ์˜ ์ตœ์ ํ™”์—๋Š” ์ ์ˆ˜๊ฐ€ ๋†’์„์ˆ˜๋ก ์ธ๊ณ„์˜ ์ด๋“๋„ ์ž‘์•„์ง€์ง€ ์•Š๋Š”๋‹ค๋Š” ์กฐ๊ฑด์ด ์ถ”๊ฐ€๋œ๋‹ค. ์ž‘์€ ๋ชจ๋ธ๊ณผ ํฐ ๋ชจ๋ธ์ด ํ•จ๊ป˜ ์–ด๋ ค์›Œํ•˜๋Š” ์ž‘์—…์—์„œ๋Š” ์‹คํŒจ ์œ„ํ—˜์ด ๋†’์•„๋„ ์ธ๊ณ„ ์ด๋“์€ ์ž‘์„ ์ˆ˜ ์žˆ๋‹ค. ์‹คํ–‰ ์ค‘ ์ธ๊ณ„์™€ Shadow ์ „์ฒด๊ฐ€ ์ตœ์ ์ด๋ผ๋Š” ์ฆ๋ช…์€ ์•„๋‹ˆ๋‹ค.

๋ณด์ • ์ž๋ฃŒ๋ฅผ ๋‚˜๋ˆ„๋Š” ๋‹จ์œ„๋„ ์ค‘์š”ํ•˜๋‹ค. ๋ถ€๋ก A.2โ€“A.3์€ ๊ฐ™์€ ์ž‘์—…์˜ ๋ชจ๋“  ๋‹จ๊ณ„๋ฅผ ๊ฐ™์€ ๋ฌถ์Œ์— ๋‘๋Š” ๊ต์ฐจ๊ฒ€์ฆ์„ ์“ด๋‹ค. ํ•œ ์ž‘์—…์˜ ๋‹ฎ์€ ๋‹จ๊ณ„๋“ค์„ ํ•™์Šตยท๊ฒ€์ฆ ์–‘์ชฝ์— ํฉ์œผ๋ฉด ์ƒˆ ์ž‘์—…์„ ๊ตฌ๋ณ„ํ•˜๋Š” ๋Šฅ๋ ฅ์„ ๊ณผ๋Œ€ํ‰๊ฐ€ํ•  ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ์ˆจ์€ ์ƒํƒœ๋ฅผ ์žฌ์‚ฌ์šฉํ•œ๋‹ค๋Š” ๋ง์ด ์ด๋Ÿฐ ์ž๋ฃŒ ๋ถ„๋ฆฌ ๊ฒ€์‚ฌ๋ฅผ ์ƒ๋žตํ•ด๋„ ๋œ๋‹ค๋Š” ๋œป์€ ์•„๋‹ˆ๋‹ค.

#์ˆ˜์น˜์™€ ๋น„๊ต์กฐ๊ฑด

ํ‰๊ฐ€๋Š” OSWorld 262๊ฐœ ์ž‘์—…์„ ์‚ฌ์šฉํ–ˆ๋‹ค. ์„ฑ๊ณตยท์‹คํŒจ ๊ถค์ ์„ ๋‹ด์€ ๋ณ„๋„ ์ฐธ์กฐ ์ž๋ฃŒ์™€ ์ž„๊ณ„๊ฐ’ ๋ณด์ •์ด ํ•„์š”ํ•˜๋ฉฐ, shadow ์ž„๊ณ„๊ฐ’ ์„ค์ •์—๋Š” ํ‰๊ฐ€ ์ž‘์—…๊ณผ ๋ถ„๋ฆฌ๋œ 99๊ฐœ ์ž‘์—…์˜ ์ž๋ฃŒ๊ฐ€ ์“ฐ์˜€๋‹ค. ์•ฝํ•œ ๋ชจ๋ธ์˜ ํ‘œํ˜„์ด ๊ณผ๊ฑฐ ์‹คํŒจ์™€ ๋‹ฎ์•˜๋Š”์ง€ ํŒ๋‹จํ•˜๋ ค๋ฉด ๋น„๊ตํ•  ์ด๋ ฅ์ด ๋จผ์ € ์žˆ์–ด์•ผ ํ•œ๋‹ค.

LEASH์—์„œ๋Š” Claude Opus 5๊ฐ€ ๊ณ„ํšยทํ•˜์œ„๋ชฉํ‘œ ํ™•์ธ์„ ๋งก๋Š” Manager๋กœ๋„ ๋™์ž‘ํ•œ๋‹ค. โ€˜ํ•ญ์ƒ Opusโ€™ ๊ธฐ์ค€์„ ์—๋Š” ์ด Manager ๊ตฌ์„ฑ์ด ์—†์œผ๋ฏ€๋กœ ๋ชจ๋ธ ํ•˜๋‚˜์˜ ์šฐ์—ด์ด ์•„๋‹Œ ์‹œ์Šคํ…œ ๊ตฌ์„ฑ ๋น„๊ต๋‹ค. ๋น„์šฉ์€ OpenRouter ๊ธฐ์ค€ ๋‹จ๊ฐ€๋กœ ํ† ํฐ ์‚ฌ์šฉ๋Ÿ‰์„ ํ™˜์‚ฐํ•œ ์ถ”์ •์น˜์ด๋ฉฐ, LEASH์˜ Managerยท๊ฐ•์•ฝ ๋ชจ๋ธยทshadow ํ˜ธ์ถœ์„ ํฌํ•จํ•œ๋‹ค. ์‹ค์ œ ๊ฒฐ์ œ์•ก์ด๋‚˜ ๋กœ์ปฌ ํ•˜๋“œ์›จ์–ด ์šด์˜๋น„๋ฅผ ์ธก์ •ํ•œ ๊ฐ’์€ ์•„๋‹ˆ๋‹ค.

6.55~11.94 ํฌ์ธํŠธ ํ–ฅ์ƒ์€ ๊ฐ™์€ escalation rate์˜ ๋ฌด์ž‘์œ„ ์ƒํ–ฅ๊ณผ ๋น„๊ตํ•œ ๊ฐ’์ด๋‹ค. 73.66%์™€ 72.90%๋Š” ๊ฐ๊ฐ ํŠน์ • QwenยทClaude ๊ตฌ์„ฑ์˜ OSWorld ์„ฑ๊ณต๋ฅ ์ด๋ฉฐ ์ผ๋ฐ˜์ ์ธ โ€œ๋™๋“ฑ ์„ฑ๋Šฅโ€์œผ๋กœ ํ™•๋Œ€ํ•˜๋ฉด ์•ˆ ๋œ๋‹ค. $0.4117/task์™€ 19.2% ๋น„์šฉ ๊ฐ์†Œ๋„ ๋…ผ๋ฌธ์˜ ๊ฐ€๊ฒฉยทํ˜ธ์ถœยท์ž‘์—… ์ •์˜์— ๋ฌถ์ธ ์ˆ˜์น˜๋‹ค.

#๊ฐ์‹œ ๋ชจ๋ธ์ด ํ–‰๋™์„ ๋Œ€์‹ ํ•˜๋Š” ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค

๋ถ€๋ก A.4ยทB.1์—์„œ ์ž‘์€ ๋ชจ๋ธ์˜ shadow ํ˜ธ์ถœ์€ ํฐ ๋ชจ๋ธ ์‹คํ–‰ ์„ธ ๋‹จ๊ณ„๋งˆ๋‹ค ์ด๋ค„์ง„๋‹ค. ์ด๋•Œ ์ž‘์€ ๋ชจ๋ธ์ด ์ œ์•ˆํ•œ ํ–‰๋™์€ ์‹ค์ œ๋กœ ์‹คํ–‰๋˜์ง€ ์•Š๋Š”๋‹ค. ๋‚ด๋ถ€ ํ‘œํ˜„์œผ๋กœ ์ ์ˆ˜๋ฅผ ์–ป๊ณ , ํ•„์š”ํ•˜๋ฉด ํฐ ๋ชจ๋ธ์—๊ฒŒ ํ˜„์žฌ ์ „๋žต์„ ๋‹ค์‹œ ๊ฒ€ํ† ํ•˜๋ผ๋Š” ์ค‘๋ฆฝ ๋ฉ”์‹œ์ง€๋ฅผ ์ „๋‹ฌํ•œ๋‹ค. ๋”ฐ๋ผ์„œ ๋‘ ๋ชจ๋ธ์˜ ํ–‰๋™์„ ํˆฌํ‘œ๋กœ ๊ณ ๋ฅด๊ฑฐ๋‚˜ ์ž‘์€ ๋ชจ๋ธ์˜ ์ง€์‹œ๋กœ ํฐ ๋ชจ๋ธ์„ ๊ฐ•์ œ ๊ต์ •ํ•˜๋Š” ๋ฐฉ์‹๊ณผ ๋‹ค๋ฅด๋‹ค.

๊ฐœ์ž… ํšŸ์ˆ˜์—๋„ ์ œํ•œ์ด ์žˆ๋‹ค. ํ•œ ์ž‘์—…์—์„œ ์ตœ๋Œ€ ์—ฌ์„ฏ ๋ฒˆ์ด๋ฉฐ, ํฐ ๋ชจ๋ธ์˜ ํ–‰๋™์„ ๋ฐ”๊พผ ๊ฐœ์ž…์ด ๋‘ ๋ฒˆ์ด๋ฉด ์ถ”๊ฐ€ ๊ฐœ์ž…์„ ๋ง‰๋Š”๋‹ค. ๊ฐ์‹œ๋Š” ๋ฌด์ œํ•œ ์žฌ์‹œ๋„๋‚˜ ๋ชจ๋“  ์˜ค๋ฅ˜์˜ ์ฐจ๋‹จ์„ ๋œปํ•˜์ง€ ์•Š๋Š”๋‹ค.

๋˜ runtime AUROC๋Š” Manager๊ฐ€ ๋ถ™์ธ ํ•˜์œ„๋ชฉํ‘œ ๊ตฌ๊ฐ„์˜ ์„ฑ๊ณตยท์‹คํŒจ๋ฅผ ์–ผ๋งˆ๋‚˜ ์ž˜ ๊ฐ€๋ฅด๋Š”์ง€ ํ‰๊ฐ€ํ•œ๋‹ค. ์ด๋ฅผ ๊ฐœ๋ณ„ ๋งˆ์šฐ์Šค ํด๋ฆญ ํ•˜๋‚˜์˜ ์ •๋‹ต ํ™•๋ฅ ๋กœ ์ฝ์„ ์ˆ˜๋Š” ์—†๋‹ค.

ํ™•์ธ ์งˆ๋ฌธ: ์ž‘์€ ๋ชจ๋ธ์ด ์œ„ํ—˜ํ•˜๋‹ค๊ณ  ํŒ๋‹จํ•˜๋ฉด ๊ทธ ๋ชจ๋ธ์˜ ๋Œ€์•ˆ ํ–‰๋™์„ ๋ฐ”๋กœ ์‹คํ–‰ํ• ๊นŒ? ์•„๋‹ˆ๋‹ค. ์ด ์—ฐ๊ตฌ์—์„œ๋Š” ํฐ ๋ชจ๋ธ์ด ์ œ์–ด๊ถŒ์„ ์œ ์ง€ํ•˜๋ฉฐ ๋‹ค์‹œ ํŒ๋‹จํ•œ๋‹ค.

#ํ•œ๊ณ„ยท๋ฐ˜๋Œ€ ์ฆ๊ฑฐ

#โ€˜๊ฐ™์€ ํ˜ธ์ถœ ๋น„์œจโ€™๊ณผ โ€˜๊ฐ™์€ ๋น„์šฉโ€™์€ ๋‹ค๋ฅด๋‹ค

Table 1์˜ Qwen ๊ตฌ์„ฑ์—์„œ ๋ฌด์ž‘์œ„ ์ƒํ–ฅ์€ ์ž‘์—…์˜ 64.4%๋ฅผ ๋„˜๊ฒจ ์„ฑ๊ณต๋ฅ  61.72%, ์ถ”์ • ๋น„์šฉ $0.3768์ด์—ˆ๋‹ค. LEASH๋Š” 64.1%๋ฅผ ๋„˜๊ฒจ 73.66%, $0.4117์ด์—ˆ๋‹ค. ์ƒํ–ฅ ๋น„์œจ์ด ๋น„์Šทํ•œ ๋น„๊ต์—์„œ ์„ฑ๊ณต๋ฅ ์€ ๋†’์ง€๋งŒ ๋น„์šฉ๋„ ๋” ๋“ ๋‹ค. ์ด๋ฅผ โ€˜๋ฌด์ž‘์œ„ ์ƒํ–ฅ๋ณด๋‹ค ๋ชจ๋“  ๋ฉด์—์„œ ์‹ธ๊ณ  ์ข‹๋‹คโ€™๊ณ  ์š”์•ฝํ•˜๋ฉด ํ‹€๋ฆฐ๋‹ค. ์•ž์˜ 19.2% ๋น„์šฉ ์ ˆ๊ฐ์€ ํ•ญ์ƒ ๊ฐ•ํ•œ ๋ชจ๋ธ์„ ์“ฐ๋Š” ๋‹ค๋ฅธ ๊ธฐ์ค€์„ ๊ณผ์˜ ๋น„๊ต๋‹ค.

๋…ผ๋ฌธ์€ ์‹คํ–‰ ์ค‘ ์ ์ˆ˜๋ฅผ ๊ณ„์‚ฐํ•  ๋•Œ ๊ธฐ์กด ํ–‰๋™ ์ƒ์„ฑ์˜ ์ˆจ์€ ์ƒํƒœ๋ฅผ ์žฌ์‚ฌ์šฉํ•œ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค. ๊ทธ๋ ‡๋‹ค๊ณ  ์ „์ฒด ๊ฐ์‹œ๊ฐ€ ๋ฌด๋ฃŒ์ธ ๊ฒƒ์€ ์•„๋‹ˆ๋‹ค. ์ตœ์ดˆ ํŒ๋‹จ๊ณผ ์ธ๊ณ„ ๋’ค ๊ฐ์‹œ๋Š” ์ž‘์€ ๋ชจ๋ธ ํ˜ธ์ถœ์ด ํ•„์š”ํ•˜๊ณ , ๊ฐœ์ž…์€ ๊ฐ•ํ•œ ๋ชจ๋ธ์˜ ์ถ”๊ฐ€ ๊ณ„์‚ฐ์„ ์œ ๋ฐœํ•  ์ˆ˜ ์žˆ๋‹ค(๋ถ€๋ก B.4). ๊ฐ™์€ ์ž‘์—… ์ˆ˜ยท์ƒํ–ฅ ๋น„์œจยท๋ชจ๋ธ ๊ฐ€๊ฒฉ ์ค‘ ๋ฌด์—‡์„ ๊ณ ์ •ํ•œ ๋น„๊ต์ธ์ง€ ํ™•์ธํ•ด์•ผ ๋น„์šฉ ์ฃผ์žฅ์„ ์˜ฎ๊ธธ ์ˆ˜ ์žˆ๋‹ค.

ํ™•์ธ ์งˆ๋ฌธ: ํฐ ๋ชจ๋ธ์„ ๋ถ€๋ฅธ ์ž‘์—… ๋น„์œจ์ด ๊ฐ™๋‹ค๋ฉด ๋น„์šฉ๋„ ๊ฐ™์„๊นŒ? ์•„๋‹ˆ๋‹ค. ํ˜ธ์ถœ ํšŸ์ˆ˜์™€ ์ž…๋ ฅยท์ถœ๋ ฅ ๊ธธ์ด, ๊ด€๋ฆฌ์žยท๊ฐ์‹œยท์žฌ๊ฒ€ํ†  ๊ณ„์‚ฐ์ด ๋‹ค๋ฅผ ์ˆ˜ ์žˆ๋‹ค. ์ด ์—ฐ๊ตฌ์—์„œ โ€˜์ž‘์—…์„ ๋„˜๊ธด ๋น„์œจโ€™๊ณผ โ€˜์ „์ฒด ํ† ํฐ ๋น„์šฉโ€™์€ ๋ณ„๋„ ์ง€ํ‘œ๋‹ค.

๋ณธ๋ฌธ์˜ ๊ตฌ์„ฑ์š”์†Œ ์ œ๊ฑฐ ์‹คํ—˜์—์„œ ํŠน์ • Qwen ๊ตฌ์„ฑ์— shadow ๊ฐ์‹œ๋ฅผ ๋”ํ•˜๋ฉด ์„ฑ๊ณต๋ฅ ์ด 67.94%์—์„œ 73.66%๋กœ ๋ณ€ํ–ˆ๊ณ , ์ถ”์ • ๋น„์šฉ์€ ์ž‘์—…๋‹น $0.4050์—์„œ $0.4117๋กœ ์ฆ๊ฐ€ํ–ˆ๋‹ค. ์ด ๋น„๊ต๋Š” ํ•ด๋‹น ์„ค์ • ์•ˆ์˜ ํšจ๊ณผ์ด์ง€ ๋‹ค๋ฅธ ํ™˜๊ฒฝ์˜ ํšจ๊ณผ๋ฅผ ๋ณด์žฅํ•˜์ง€ ์•Š๋Š”๋‹ค. weak model hidden state๊ฐ€ ํ•„์š”ํ•˜๋ฏ€๋กœ ํ์‡„ํ˜• ๋ชจ๋ธ๋ผ๋ฆฌ์˜ routing์—๋Š” ๋ฐ”๋กœ ์ ์šฉ๋˜์ง€ ์•Š๋Š”๋‹ค. OSWorld์—์„œ ์‹คํŒจ์™€ ๋‹ฎ์€ ํ‘œํ˜„์ด ๋‹ค๋ฅธ UIยท์–ธ์–ดยท๊ถŒํ•œ ํ™˜๊ฒฝ์—์„œ๋„ ๋ถˆํ™•์‹ค์„ฑ์„ ๋œปํ•œ๋‹ค๋Š” ๋ณด์žฅ๋„ ์—†๋‹ค. ์ „์ฒด ์ˆ˜์‹ยท๊ทธ๋ฆผ์˜ ๋Œ€์‘ํ‘œ, ๋…๋ฆฝ ์žฌํ˜„๊ณผ ํ˜„์žฅ ์šด์˜ ๊ฒ€์ฆ์€ ๋‚จ์•„ ์žˆ๋‹ค.

#code/data์™€ ์žฌ๊ฒ€ํ† 

๊ณต๊ฐœ ๋ณธ๋ฌธยท๊ด€๋ จ ๋ถ€๋ก์€ ๋Œ€์กฐํ–ˆ์ง€๋งŒ ๊ณต์‹ ์ฝ”๋“œ ์ €์žฅ์†Œ์˜ ๊ณต๊ฐœ ๋ฒ”์œ„ยท๋ผ์ด์„ ์Šคยท์‹คํ–‰ ํ™˜๊ฒฝ์€ ๋ณ„๋„ ๊ฐ์‚ฌํ•˜์ง€ ์•Š์•˜๋‹ค. ์ €์žฅ์†Œ์™€ ์‹คํ–‰ ๊ทผ๊ฑฐ ํ™•์ธ, ๋…๋ฆฝ๋œ ๋™์ผ ์˜ˆ์‚ฐ ๋น„๊ต, ๋‹ค๋ฅธ ์ปดํ“จํ„ฐ ๋ฒค์น˜๋งˆํฌ ๊ฒฐ๊ณผ, ๋™๋ฃŒ์‹ฌ์‚ฌ ๋˜๋Š” ์ค‘์š”ํ•œ ๋ฐ˜๋ฐ•์ด ๋‚˜์˜ค๋ฉด ์žฌ๊ฒ€ํ† ํ•œ๋‹ค.

#์ถœ์ฒ˜

Connect