Skip to main content
#frontier-one#clinical-ai#diagnostic-reasoning#ai-agents

What should a diagnostic AI ask next?

A Science study asks models to choose questions and tests in sequence. Its reported 83.2% accuracy raises specific questions for clinical validation.

Article text in Korean.

์ž„์ƒ์‹œํ—˜์ด๋‚˜ ์˜๋ฃŒ๊ธฐ๊ธฐ ์Šน์ธ ๊ฒฐ๊ณผ๊ฐ€ ์•„๋‹ˆ๋ผ, ๊ณผ๊ฑฐ ๊ธฐ๋ก์„ ํ…์ŠคํŠธ ๊ธฐ๋ฐ˜ ์ƒํ˜ธ์ž‘์šฉ์œผ๋กœ ์žฌ๊ตฌ์„ฑํ•œ ๋ฒค์น˜๋งˆํฌ ์—ฐ๊ตฌ๋‹ค. Science ์ตœ์ข… ๋…ผ๋ฌธ์˜ ์ดˆ๋กยท์„œ์ง€์™€ ์ €์ž ๊ณต๊ฐœ ์›๊ณ ๋ฅผ ๋Œ€์กฐํ–ˆ์œผ๋ฉฐ, ํ™˜์ž ๊ฒฐ๊ณผ ๊ฐœ์„ ์€ ํ™•์ธ๋˜์ง€ ์•Š์•˜๋‹ค.

#1. ํ•œ ๋ฌธ์žฅ ๊ฒฐ๋ก 

์ด ์—ฐ๊ตฌ์˜ ํ•ต์‹ฌ์€ ์ง„๋‹จ AI๊ฐ€ ์ •๋‹ต์ด ๋‹ด๊ธด ๊ธด ๋ณ‘๋ ฅ์„ ํ•œ ๋ฒˆ์— ์ฝ๊ฒŒ ํ•œ ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ์ œํ•œ๋œ ์ฒซ ์ •๋ณด์—์„œ ๋ฌด์—‡์„ ๋ฌผ์–ด๋ณด๊ณ  ์–ด๋–ค ๊ฒ€์‚ฌ๋ฅผ ์ฃผ๋ฌธํ• ์ง€ ์„ ํƒํ•˜๊ฒŒ ๋งŒ๋“ค๊ณ  ์ •ํ™•๋„์™€ ์˜ˆ์ƒ ์ง„๋‹จ ๊ณผ์ • ๋น„์šฉ์„ ํ•จ๊ป˜ ํ‰๊ฐ€ํ–ˆ๋‹ค๋Š” ๋ฐ ์žˆ๋‹ค.

#2. ์™œ ์–ด๋ ค์šด๊ฐ€

์‹ค์ œ ์ง„๋‹จ์€ ๊ฐ๊ด€์‹ ๋ฌธ์ œ๊ฐ€ ์•„๋‹ˆ๋‹ค. ์˜์‚ฌ๋Š” ํ˜„์žฌ ๊ฐ€์„ค์— ๋”ฐ๋ผ ๋‹ค์Œ ์งˆ๋ฌธ๊ณผ ๊ฒ€์‚ฌ๋ฅผ ๊ณ ๋ฅด๊ณ , ์ƒˆ ๊ทผ๊ฑฐ๊ฐ€ ๋“ค์–ด์˜ค๋ฉด ๊ฐ€์„ค์„ ๋ฒ„๋ฆฌ๊ฑฐ๋‚˜ ์ขํžŒ๋‹ค. ๋ชจ๋“  ์ •๋ณด๋ฅผ ์ฒ˜์Œ๋ถ€ํ„ฐ ์ฃผ๋Š” ์ •์  vignette๋Š” ์ •๋ณด ํƒ์ƒ‰ ๋Šฅ๋ ฅ, ์กฐ๊ธฐ ํ™•์ •(premature closure), ๋ถˆํ•„์š”ํ•œ ๊ฒ€์‚ฌ ์ฃผ๋ฌธ์„ ๊ฐ€๋ฆฐ๋‹ค. ๋ฐ˜๋Œ€๋กœ ์‹ค์ œ ํ™˜์ž์—์„œ ์ด ๊ณผ์ •์„ ์‹œํ—˜ํ•˜๋ฉด ์•ˆ์ „ยท๋™์˜ยท์‹œ๊ฐ„ยท๋น„์šฉ ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธด๋‹ค. ์—ฐ๊ตฌ์ง„์€ ์ด ๊ฐ„๊ทน์„ ๋Œ€ํ™”ํ˜• ์‹œ๋ฎฌ๋ ˆ์ด์…˜์œผ๋กœ ๋‹ค๋ค˜๋‹ค.

#3. ๊ธฐ์ดˆ ๊ฐœ๋…

Sequential Diagnosis Benchmark(SDBench)๋Š” ์งง์€ ์ฃผํ˜ธ์†Œ๋งŒ ๋จผ์ € ์ œ์‹œํ•œ๋‹ค. ์ง„๋‹จ ์—์ด์ „ํŠธ๊ฐ€ ๋ณ‘๋ ฅ ์งˆ๋ฌธ, ์‹ ์ฒด์ง„์ฐฐ ์ •๋ณด ๋˜๋Š” ๊ฒ€์‚ฌ๋ฅผ ์š”์ฒญํ•˜๋ฉด Gatekeeper๊ฐ€ ์› ์‚ฌ๋ก€์—์„œ ํ•ด๋‹น ์ •๋ณด๋ฅผ ์ฐพ์•„ ๋Œ๋ ค์ค€๋‹ค. ๋งˆ์ง€๋ง‰ ์ง„๋‹จ์€ Judge๊ฐ€ ์ฑ„์ ํ•˜๊ณ , ๊ฒ€์‚ฌ ์š”์ฒญ์—๋Š” ๋ฏธ๊ตญ ๊ธฐ์ค€ ์˜ˆ์ƒ ๋น„์šฉ์ด ๋”ํ•ด์ง„๋‹ค. ํ‰๊ฐ€์ถ•์€ ํ•˜๋‚˜๊ฐ€ ์•„๋‹ˆ๋ผ ์ง„๋‹จ ์ •ํ™•๋„์™€ ๋น„์šฉ์˜ Pareto frontier๋‹ค. ํ•œ ์ถ•์„ ๊ฐœ์„ ํ•˜๋ฉด์„œ ๋‹ค๋ฅธ ์ถ•๋„ ๋‚˜๋น ์ง€์ง€ ์•Š๋Š” ์„ค์ •์ด ๋” ํšจ์œจ์ ์ธ ์„ ํƒ์ด ๋œ๋‹ค.

์ˆœ์ฐจ ์ง„๋‹จ ๋ฒค์น˜๋งˆํฌ ํ๋ฆ„๋„. ์งง์€ ํ…์ŠคํŠธ ์‚ฌ๋ก€์—์„œ ์ง„๋‹จ AI๊ฐ€ ์งˆ๋ฌธ์ด๋‚˜ ๊ฒ€์‚ฌ๋ฅผ ์š”์ฒญํ•˜๊ณ  Gatekeeper ์‘๋‹ต์„ ๊ฑฐ์ณ ์ตœ์ข… ์ง„๋‹จ์„ ๋‚ธ ๋’ค, Judge ์ •ํ™•๋„์™€ ์ถ”์‚ฐ ๋น„์šฉ์„ ๋ณ„๋„๋กœ ํ‰๊ฐ€ํ•œ๋‹ค. ๊ทธ๋ฆผ์˜ ๊ธ€์ž๊ฐ€ ์ž‘๋‹ค๋ฉด ์›๋ณธ ํฌ๊ฒŒ ๋ณด๊ธฐ ยท ์ƒˆ ํƒญ
๋…๋ฆฝ ์ œ์ž‘ ๋ฐฉ๋ฒ• ์„ค๋ช…๋„ ์งง์€ ํ…์ŠคํŠธ ์‚ฌ๋ก€์—์„œ AI๊ฐ€ ์ •๋ณด ์š”์ฒญ์„ ๋ฐ˜๋ณตํ•˜๊ณ  ์ตœ์ข… ์ง„๋‹จ์„ ์ œ์ถœํ•œ๋‹ค. Gatekeeper๋Š” ์‚ฌ๋ก€ ์ •๋ณด ๋˜๋Š” ํ—ˆ์šฉ๋œ ํ•ฉ์„ฑ ์‘๋‹ต์„ ๋Œ๋ ค์ฃผ๋ฉฐ, ๋งˆ์ง€๋ง‰์—๋Š” ์ง„๋‹จ ์ •ํ™•๋„์™€ ์ถ”์‚ฐ ๋น„์šฉ์„ ๋”ฐ๋กœ ํ‰๊ฐ€ํ•œ๋‹ค. JJo ํŽธ์ง‘๋ถ€ ์ž์ฒด ์ œ์ž‘ ยท 2026-11-04 ยท ์ถœ์ฒ˜ ยท ์ž์ฒด ์ œ์ž‘ SVG ยท ๋…ผ๋ฌธ ๋„ํŒ ๋ฏธ์‚ฌ์šฉ ยท ์ €์ž ์›๊ณ ์˜ ํ‰๊ฐ€ ์ ˆ์ฐจ๋ฅผ ์„ค๋ช…ํ•˜๋Š” ์ž์ฒด ๋„์‹.

#4. ๊ธฐ์กด ๋ฐฉ์‹์˜ ํ•œ๊ณ„

๊ธฐ์กด ์˜๋ฃŒ LLM ํ‰๊ฐ€๋Š” ์™„์„ฑ๋œ ์‚ฌ๋ก€ ์š”์•ฝ์ด๋‚˜ ๋‹ค์ง€์„ ๋‹ค ๋ฌธ์ œ์— ์น˜์šฐ์ณค๋‹ค. ์ด๋Š” ๊ธฐ์–ต๋œ ์ง€์‹๊ณผ ์ •๋ณด ์ˆ˜์ง‘ ์ „๋žต์„ ๋ถ„๋ฆฌํ•˜๊ธฐ ์–ด๋ ต๋‹ค. AMIE ๊ณ„์—ด์ฒ˜๋Ÿผ ๊ธด ์‚ฌ๋ก€๋ฅผ ์š”์•ฝํ•ด top-k ์ง„๋‹จ์„ ๋‚ด๋Š” ๋ฐฉ์‹๋„ ์–ด๋–ค ๊ฒ€์‚ฌ๋ฅผ ์™œ ๊ณจ๋ž๋Š”์ง€ ์ง์ ‘ ์ธก์ •ํ•˜์ง€ ๋ชปํ•œ๋‹ค. SDBench๋Š” ์ˆœ์„œ๋ฅผ ๋ณต์›ํ–ˆ์ง€๋งŒ, ์‹ค์ œ ํ™˜์ž๊ฐ€ ์•„๋‹ˆ๋ผ ํ…์ŠคํŠธ oracle์„ ์‚ฌ์šฉํ•œ๋‹ค๋Š” ์ƒˆ๋กœ์šด ์ธ๊ณต์„ฑ๋„ ๋งŒ๋“ ๋‹ค.

#5. ์ƒˆ ๋ฐฉ๋ฒ• 3๋‹จ๊ณ„

์ฒซ์งธ, 304๊ฐœ NEJM clinicopathological conference(CPC)์™€ 325๊ฐœ MIMIC-IV-ED ์ž…์› ์‚ฌ๋ก€๋ฅผ ์ตœ์†Œ ์ •๋ณด์—์„œ ์‹œ์ž‘ํ•˜๋Š” ์ƒํ˜ธ์ž‘์šฉ ์‚ฌ๋ก€๋กœ ๋ฐ”๊ฟจ๋‹ค. ๋‘˜์งธ, MAI Diagnostic Orchestrator(MAI-DxO)๋Š” ๊ฐ™์€ ์–ธ์–ด๋ชจ๋ธ์ด Hypothesis, Test-Chooser, Challenger, Stewardship, Checklist์˜ ๋‹ค์„ฏ ์—ญํ• ์„ ๋งก๋Š” ๊ฐ€์ƒ ํŒจ๋„์ด๋‹ค. ์ด ์—ญํ•  ๊ตฌ์„ฑ์—์„œ ๋ชจ๋ธ์€ ๊ฐ€์„ค์„ ๋งŒ๋“ค๊ณ  ๋ฐ˜๋ฐ•ํ•˜๋ฉฐ ๋‹ค์Œ ์งˆ๋ฌธยท๊ฒ€์‚ฌ ๋˜๋Š” ์ตœ์ข… ์ง„๋‹จ์„ ๊ณ ๋ฅธ๋‹ค. ๋‹ค์„ฏ ์—ญํ• ์€ ์„œ๋กœ ๋‹ค๋ฅธ ๋…๋ฆฝ ๋ชจ๋ธ์„ ๋œปํ•˜์ง€ ์•Š๋Š”๋‹ค. ์…‹์งธ, ์˜ˆ์‚ฐ ํ•œ๋„์™€ ensemble ์—ฌ๋ถ€๋ฅผ ๋ฐ”๊ฟ” ์ •ํ™•๋„-๋น„์šฉ ๊ณก์„ ์„ ๋งŒ๋“  ๋’ค ์ผ๋ฐ˜์˜์™€ ๋‹จ์ผ ๋ชจ๋ธ์„ ๋น„๊ตํ–ˆ๋‹ค.

#6. ํ•ต์‹ฌ ์ˆ˜์‹๊ณผ ์‹œ์Šคํ…œ ๊ฒฝ๊ณ„

๋…ผ๋ฌธ์€ ์ƒˆ๋กœ์šด ์ง„๋‹จ ๋ฐฉ์ •์‹์„ ์ œ์•ˆํ•˜์ง€ ์•Š๋Š”๋‹ค. ๋‹ค์Œ์€ Methods์˜ ์šด์˜ ์ •์˜๋ฅผ ์„ค๋ช…์‹์œผ๋กœ ์ ์€ ๊ฒƒ์ด๋‹ค.

์ •ํ™•๋„๋Š” ๋ฌด์—‡์„ ์„ธ์–ด ๊ณ„์‚ฐํ•˜๋‚˜? Accuracy=NcorrectNcases\mathrm{Accuracy}=\frac{N_{\mathrm{correct}}}{N_{\mathrm{cases}}} ์‹์ด ๊ธธ๋ฉด ์ขŒ์šฐ๋กœ ์ด๋™ํ•ด ์ฝ์œผ์„ธ์š”. ํ‚ค๋ณด๋“œ๋Š” ์ˆ˜์‹์— ์ดˆ์ ์„ ๋‘” ๋’ค ๋ฐฉํ–ฅํ‚ค๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๊ธฐํ˜ธยท์—ฐ์‚ฐยท๊ณ„์‚ฐ ๊ณผ์ • ํŽผ์น˜๊ธฐ

N_correct์™€ N_cases๋Š” ๊ฐ๊ฐ Judge ์ ์ˆ˜ 4 ์ด์ƒ์œผ๋กœ ํŒ์ •ํ•œ ์‚ฌ๋ก€ ์ˆ˜์™€ ํ‰๊ฐ€ ์‚ฌ๋ก€ ์ˆ˜๋กœ ๋ฌด์ฐจ์›์ด๋‹ค.

์ง„๋‹จ ๋น„์šฉ์€ ๋ฐฉ๋ฌธ๊ณผ ๊ฒ€์‚ฌ ํ•ญ๋ชฉ์„ ์–ด๋–ป๊ฒŒ ํ•ฉ์‚ฐํ•˜๋‚˜? Ccase=300V+โˆ‘j=1mcjC_{\mathrm{case}}=300V+\sum_{j=1}^{m} c_j ์‹์ด ๊ธธ๋ฉด ์ขŒ์šฐ๋กœ ์ด๋™ํ•ด ์ฝ์œผ์„ธ์š”. ํ‚ค๋ณด๋“œ๋Š” ์ˆ˜์‹์— ์ดˆ์ ์„ ๋‘” ๋’ค ๋ฐฉํ–ฅํ‚ค๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๊ธฐํ˜ธยท์—ฐ์‚ฐยท๊ณ„์‚ฐ ๊ณผ์ • ํŽผ์น˜๊ธฐ

๋น„์šฉ์‹์˜ V๋Š” ํ‰๊ฐ€ ๊ทœ์น™์œผ๋กœ ์„ผ ์ง„๋ฃŒ ๋ฐฉ๋ฌธ ํšŸ์ˆ˜๋‹ค. ์—ฌ๋Ÿฌ ์งˆ๋ฌธ์„ ์—ฐ์†ํ•ด์„œ ํ•˜๋Š” ๋™์•ˆ์€ ํ•œ ๋ฐฉ๋ฌธ์œผ๋กœ ์ทจ๊ธ‰ํ•˜๋ฉฐ, ๊ฒ€์‚ฌ ์š”์ฒญ์ด ๋‚˜์˜ค๋ฉด ๊ทธ ๋ฐฉ๋ฌธ์ด ๋๋‚œ๋‹ค. ์›๋ฌธ์€ ๋ฐฉ๋ฌธ๋‹น 300๋‹ฌ๋Ÿฌ๋ฅผ ๋ถ€๊ณผํ•˜๋ฏ€๋กœ ์‚ฌ๋ก€๋งˆ๋‹ค ํ•œ ๋ฒˆ๋งŒ 300๋‹ฌ๋Ÿฌ๋ฅผ ๋”ํ•˜๋Š” ์‹์ด ์•„๋‹ˆ๋‹ค.

c_j๋Š” ๋น„์šฉ์„ ๋ถ€์—ฌํ•œ j๋ฒˆ์งธ ๊ฒ€์‚ฌยท์ ˆ์ฐจ ํ•ญ๋ชฉ์˜ ๋‹ฌ๋Ÿฌ ๊ธˆ์•ก์ด๊ณ , m์€ ๊ทธ๋Ÿฌํ•œ ํ•ญ๋ชฉ ์ˆ˜๋‹ค. ๋ณต์žกํ•œ ๊ฒ€์‚ฌ ์š”์ฒญ ํ•˜๋‚˜๊ฐ€ ์—ฌ๋Ÿฌ ์ง„๋ฃŒํ–‰์œ„ ์ฝ”๋“œ(CPT)์— ๋Œ€์‘ํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ m์„ ๋‹จ์ˆœํžˆ AI๊ฐ€ ์š”์ฒญํ•œ ๋ฌธ์žฅ ์ˆ˜๋กœ ์„ธ๋ฉด ์•ˆ ๋œ๋‹ค. 300V์™€ ๊ฒ€์‚ฌ๋น„ ํ•ฉ์˜ ๋‹จ์œ„๋Š” ๋ชจ๋‘ ๋‹ฌ๋Ÿฌ์ด๋ฉฐ, C_case๋Š” ํ•ด๋‹น ์‚ฌ๋ก€์˜ ์ด ์ถ”์‚ฐ ๋น„์šฉ์ด๋‹ค. ์ด ์‹์€ ์ €์ž ์›๊ณ  8โ€“9์ชฝ์˜ ํ‰๊ฐ€ ๊ทœ์น™์„ ์„ค๋ช…์šฉ์œผ๋กœ ์žฌํ‘œํ˜„ํ–ˆ์œผ๋ฉฐ, ์›๋ฌธ์— ์ธ์‡„๋œ ๋ณ„๋„ ์ˆ˜์‹ ๋ฒˆํ˜ธ๋Š” ์—†๋‹ค. ๋น„์šฉ ์ •์˜์™€ ๋ฐฉ๋ฌธ ๊ฒฝ๊ณ„๋Š” ์ €์ž ์›๊ณ  ์ธ์‡„ 9์ชฝ, ๋น„์šฉ ์‚ฐ์ • ๋ฐฐ๊ฒฝ์€ 7โ€“8์ชฝ์—์„œ ํ™•์ธํ–ˆ๋‹ค.

์˜ˆ๋ฅผ ๋“ค์–ด ํ‰๊ฐ€ ๊ทœ์น™์ƒ ๋ฐฉ๋ฌธ์ด 2ํšŒ์ด๊ณ  ๊ฒ€์‚ฌ๋น„ ํ•ฉ์ด 100๋‹ฌ๋Ÿฌ๋ผ๊ณ  ๊ฐ€์ •ํ•˜๋ฉด ๋น„์šฉ์€ 300ร—2+100=700๋‹ฌ๋Ÿฌ๋‹ค(๊ฐ€์ƒ ๊ณ„์‚ฐ ์˜ˆ์‹œ). ์ด๋Š” ๋น„์šฉ์‹์„ ์ฝ๋Š” ์—ฐ์Šต์ด๋ฉฐ ์—ฐ๊ตฌ์˜ ์‹ค์ œ ์‚ฌ๋ก€ ๋น„์šฉ์„ ์žฌํ˜„ํ•œ ๊ฐ’์€ ์•„๋‹ˆ๋‹ค. ์ด ๋‘ ๊ฐ’์€ ์ง„๋‹จ ์ดํ›„ ์น˜๋ฃŒ์˜ ์•ˆ์ „์„ฑ, ์นจ์Šต์„ฑ, ๋Œ€๊ธฐ์‹œ๊ฐ„, ๋ณดํ—˜ ์Šน์ธ, ํ™˜์ž ๋ถ€๋‹ด์„ ์ „๋ถ€ ํฌํ•จํ•˜์ง€ ์•Š๋Š”๋‹ค. ๋”ฐ๋ผ์„œ ๋‚ฎ์€ C_case๊ฐ€ ๊ณง ๋” ์ข‹์€ ์˜๋ฃŒ๋ผ๋Š” ๋œป์€ ์•„๋‹ˆ๋‹ค.

#7. ์‹คํ—˜ยท์ˆ˜์น˜

Science ์ตœ์ข… ์ดˆ๋ก๊ณผ ์ €์ž ๊ณต๊ฐœ ์›๊ณ ์—์„œ, GPT-5 ๊ธฐ๋ฐ˜ ๋ฌด์˜ˆ์‚ฐ MAI-DxO๋Š” NEJM-CPC 304๋ก€์—์„œ 83.2%, MIMIC-IV-ED 325๋ก€์—์„œ 80.3% ์ •ํ™•๋„๋ฅผ ๋ณด์˜€๋‹ค. ์ผ๋ฐ˜์˜๋Š” ๊ฐ๊ฐ 36.1%, 46.8%์˜€๋‹ค. NEJM-CPC์—์„œ ๋ฌด์˜ˆ์‚ฐ ์„ค์ •์˜ ํ‰๊ฐ€์ƒ ์ง„๋‹จ ๋น„์šฉ์€ ์‚ฌ๋ก€๋‹น ์•ฝ 5,430๋‹ฌ๋Ÿฌ๋กœ, ์ฐธ๊ณ ์ž๋ฃŒ๋ฅผ ํ—ˆ์šฉํ•œ ์˜์‚ฌ์˜ 4,725๋‹ฌ๋Ÿฌ๋ณด๋‹ค ์˜คํžˆ๋ ค ๋†’๋‹ค. ๊ณต๊ฐœ ์›๊ณ  ๊ทธ๋ฆผ 7์—์„œ โ€œ$4kโ€๋กœ ํ‘œ์‹œํ•œ ์„ค์ •์€ ์ •ํ™•๋„ 80.9%์™€ ์‚ฌ๋ก€๋‹น ํ‰๊ท  2,241๋‹ฌ๋Ÿฌ, โ€œ$1k budgetโ€ ์„ค์ •์€ 79.6%์™€ ํ‰๊ท  1,302๋‹ฌ๋Ÿฌ๋กœ ๋ณด๊ณ ๋๋‹ค. ์—ฌ๊ธฐ์„œ ์„ค์ • ์ด๋ฆ„์˜ ์˜ˆ์‚ฐ๊ณผ ๊ฒฐ๊ณผ๋กœ ์ง‘๊ณ„ํ•œ ํ‰๊ท  ๋น„์šฉ์€ ๊ฐ™์€ ๊ฐ’์ด ์•„๋‹ˆ๋‹ค. โ€œ1,000๋‹ฌ๋Ÿฌ๋กœ ์ œํ•œํ–ˆ์œผ๋‹ˆ ์‹ค์ œ ๋น„์šฉ๋„ ์ •ํ™•ํžˆ 1,000๋‹ฌ๋Ÿฌ์˜€๋‹คโ€๊ณ  ์ฝ์œผ๋ฉด ์•ˆ ๋œ๋‹ค. ์•ž์˜ ๋น„์šฉ ์ •์˜์—๋Š” ๋ฐฉ๋ฌธ๋งˆ๋‹ค ๋ถ€๊ณผํ•œ ์ง„๋ฃŒ๋น„์™€ ์š”์ฒญํ•œ ๊ฒ€์‚ฌยท์ ˆ์ฐจ์˜ ๋น„์šฉ์ด ํฌํ•จ๋œ๋‹ค. ๊ฐ ์ •ํ™•๋„๋Š” ๊ทธ ์„ค์ •์—์„œ ๋ณด๊ณ ํ•œ ํ‰๊ท  ๋น„์šฉ๊ณผ ํ•œ ์Œ์œผ๋กœ ์ฝ์–ด์•ผ ํ•œ๋‹ค. NEJM์˜ AI ๊ฒฐ๊ณผ 83.2%๋Š” 304๋ก€ ์ „์ฒด, ์˜์‚ฌ ๊ฒฐ๊ณผ 36.1%๋Š” ๋ณ„๋„ 56๋ก€ ํ‰๊ฐ€์— ํ•ด๋‹นํ•˜๋ฏ€๋กœ ๊ฐ™์€ ์‚ฌ๋ก€ ์ง‘ํ•ฉ์˜ ์ผ๋Œ€์ผ ์šฐ์—ด๋กœ ํ•ด์„ํ•  ์ˆ˜ ์—†๋‹ค. ์ตœ๊ณ  ์ •ํ™•๋„ ์„ค์ •์€ NEJM 84.5%, MIMIC 80.9%์˜€๋‹ค.

2025๋…„ arXiv v2์˜ 80%ยท85.5%์™€ ์ด๋ฒˆ ์ตœ์ข… ์ˆ˜์น˜๊ฐ€ ๋‹ค๋ฅธ ์ด์œ ๋Š” ๋ชจ๋ธ ์„ธ๋Œ€์™€ MIMIC ๊ฒ€์ฆ์ด ์ถ”๊ฐ€๋œ ๊ฐœ์ • ๋•Œ๋ฌธ์ด๋‹ค. ์˜ค๋ž˜๋œ ์ˆ˜์น˜๋ฅผ ์ตœ์‹  ๊ฒฐ๊ณผ์ฒ˜๋Ÿผ ์„ž์ง€ ์•Š์•˜๋‹ค. ๊ณต๊ฐœ ์›๊ณ  Figure 7์€ NEJM ์ •ํ™•๋„-๋น„์šฉ ๊ณก์„ , Figure 9๋Š” ๋ชจ๋ธ๋ณ„ orchestration ์ƒ์Šนํญ์„ ๋ณด์—ฌ์ค€๋‹ค. ์ƒ์Šนํญ์€ ๋ชจ๋“  ๋ชจ๋ธ์—์„œ ๊ฐ™์ง€ ์•Š์•˜๊ณ , ๊ฐ•ํ•œ ๋ชจ๋ธ์ผ์ˆ˜๋ก ์ •ํ™•๋„ ์ฆ๊ฐ€๋Š” ์ž‘์•˜๋‹ค.

์งˆ๋ฌธ๊ณผ ๊ฒ€์‚ฌ๋ฅผ ๋ฌถ๋Š” ๋ฐฉ์‹๋„ ๊ฐ™์ง€ ์•Š์•˜๋‹ค. ์ฃผ๋œ AIยท๊ธฐ๋ฐ˜ ๋ชจ๋ธ ๊ฒฐ๊ณผ๋Š” ํ•œ ์ฐจ๋ก€์— ์—ฌ๋Ÿฌ ์งˆ๋ฌธ์ด๋‚˜ ๊ฒ€์‚ฌ๋ฅผ ์š”์ฒญํ•˜๋Š” ๋ฐฐ์น˜ ๋ชจ๋“œ์˜€๊ณ , MAI-DxO์—๋Š” ํ•œ ์ฐจ๋ก€ ์ตœ๋Œ€ ์งˆ๋ฌธ 5๊ฐœยท๊ฒ€์‚ฌ 3๊ฐœ๋ฅผ ์š”์ฒญํ•˜๋„๋ก ์ง€์‹œํ–ˆ๋‹ค. ๋ฐ˜๋ฉด ์ž„์ƒ์˜๋Š” ์‚ฌ์šฉ ํŽธ์˜ ๋•Œ๋ฌธ์— ํ•œ ์ฐจ๋ก€์”ฉ ์š”์ฒญํ•˜๋Š” ๋‹จ์ผ ํ„ด ํ˜•์‹์„ ์‚ฌ์šฉํ–ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์‚ฌ๋ก€ ์ง‘ํ•ฉ๋ฟ ์•„๋‹ˆ๋ผ ์ƒํ˜ธ์ž‘์šฉ ์กฐ๊ฑด๋„ ํ•จ๊ป˜ ๋ด์•ผ ํ•œ๋‹ค.

์ €์ž๋“ค์€ ๋ถ€๋ก A์—์„œ MAI-DxO(o3)์˜ ํ…Œ์ŠคํŠธ ๋ถ„ํ• ์— ํ•œํ•ด ๋‘ ํ˜•์‹์„ ๋น„๊ตํ–ˆ๋‹ค. ์ •ํ™•๋„๋Š” ๋‘˜ ๋‹ค 83.9%์˜€์ง€๋งŒ ํ‰๊ท  ๋น„์šฉ์€ ๋‹จ์ผ ํ„ด 3,991๋‹ฌ๋Ÿฌ, ๋ฐฐ์น˜ 5,084๋‹ฌ๋Ÿฌ์˜€๋‹ค. ๋ฐฐ์น˜๊ฐ€ ์–ธ์ œ๋‚˜ ๋” ์‹ธ๊ฑฐ๋‚˜ ์ •ํ™•ํ•˜๋‹ค๊ณ  ๊ฐ€์ •ํ•  ์ˆ˜ ์—†์Œ์„ ๋ณด์—ฌ์ฃผ๋Š” ๊ฒฐ๊ณผ๋‹ค. ๋‹ค๋งŒ ์ด ๋ถ„์„์€ ์•ž์˜ GPT-5 ์ „์ฒด 304๋ก€ ๊ฒฐ๊ณผ์™€ ๋ชจ๋ธยท๋ถ„ํ• ์ด ๋‹ค๋ฅด๋ฏ€๋กœ, ๊ทธ ์ฐจ์ด๋ฅผ ์ง์ ‘ ๋ณด์ •ํ•ด ์ฃผ๋Š” ๊ฐ’์€ ์•„๋‹ˆ๋‹ค. ์ €์ž ์›๊ณ  ๋ถ€๋ก A, ์ธ์‡„ 27์ชฝ

#8. ๋ฐ˜๋Œ€ ์ฆ๊ฑฐ

83.2%๋ฅผ โ€œ๋ณ‘์› ํ™˜์ž 83.2%๋ฅผ ์ •ํ™•ํžˆ ์ง„๋‹จํ–ˆ๋‹คโ€๋กœ ์ฝ์œผ๋ฉด ์•ˆ ๋œ๋‹ค. NEJM-CPC๋Š” ๊ต์œก์ ์œผ๋กœ ์–ด๋ ค์šด ์‚ฌ๋ก€๋งŒ ๊ณจ๋ผ ์ •์ƒยท์–‘์„ฑ ํ™˜์ž๊ฐ€ ์—†๊ณ , MIMIC ์‚ฌ๋ก€๋„ ์‘๊ธ‰์‹ค์—์„œ ์ž…์›ํ•œ ํ™˜์ž๋งŒ ํฌํ•จํ•œ๋‹ค. Gatekeeper๋Š” ์› ๊ธฐ๋ก์— ์—†๋Š” ๊ฒ€์‚ฌ ๊ฒฐ๊ณผ๋ฅผ ์‚ฌ๋ก€์™€ ์ผ๊ด€๋˜๊ฒŒ ํ•ฉ์„ฑํ•  ์ˆ˜ ์žˆ๋‹ค. ๊ทธ ๋‹ต์ด ์ž„์ƒ์ ์œผ๋กœ ๊ทธ๋Ÿด๋“ฏํ•ด๋„ ์‹ค์ œ ๊ฒ€์‚ฌ ๊ฒฐ๊ณผ๋Š” ์•„๋‹ˆ๋‹ค. Judge ์—ญ์‹œ ๋ชจ๋ธ์ด๋ฉฐ, ์น˜๋ฃŒ ์ ์ ˆ์„ฑยท์•ˆ์ „์„ฑยท์žฅ๊ธฐ ๊ฒฐ๊ณผ๋ฅผ ํ‰๊ฐ€ํ•˜์ง€ ์•Š๋Š”๋‹ค.

์˜์‚ฌ ๋น„๊ต๋„ ๋ณ‘์› ํŒ€ ์ „์ฒด๊ฐ€ ์•„๋‹ˆ๋ผ ๊ฐœ๋ณ„ ์ผ๋ฐ˜์˜๋‹ค. ์ „๋ฌธ๊ณผ ํ˜‘์ง„, ์˜์ƒยทํŒŒํ˜•ยท๋ณ‘๋ฆฌ ์Šฌ๋ผ์ด๋“œ, ์‹ ์ฒด ์–ธ์–ด, ์‹œ๊ฐ„ ๊ฒฝ๊ณผ, ํ™˜์ž์˜ ๋ง ๋ฐ”๋€œ์ด ์ œ๊ฑฐ๋œ ํ…์ŠคํŠธ ํ™˜๊ฒฝ์ด๋‹ค. ๊ฐ™์€ ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์ด ์—ฌ๋Ÿฌ ๊ฐ€์ƒ ์—ญํ• ์„ ๋งก์œผ๋ฉด ์˜ค๋ฅ˜ ์ƒ๊ด€์ด ๋‚จ์„ ์ˆ˜ ์žˆ๋‹ค. ๋”ฐ๋ผ์„œ โ€œAI๊ฐ€ ์˜์‚ฌ๋ฅผ ์ด๊ฒผ๋‹คโ€๋ณด๋‹ค โ€œ์ด ํ†ต์ œ๋œ ์ •๋ณด ํƒ์ƒ‰ ๊ณผ์ œ์—์„œ ๋” ๋†’์€ ์ •ํ™•๋„๋ฅผ ๋ƒˆ๋‹คโ€๊ฐ€ ์ •ํ™•ํ•˜๋‹ค.

#9. ํ•œ๊ณ„

ํ›„ํ–ฅ์ ยท์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์—ฐ๊ตฌ์ด๋ฉฐ ์ „ํ–ฅ์  ์ž„์ƒ์‹œํ—˜์ด ์•„๋‹ˆ๋‹ค. ๋น„์šฉ์€ ํ‘œ์ค€ํ™”ํ•œ ๋ฏธ๊ตญ ๊ฐ€๊ฒฉ์˜ 1์ฐจ ๊ทผ์‚ฌ์น˜๋‹ค. NEJM ์ €์ž‘๊ถŒ ๋•Œ๋ฌธ์— ์ „์ฒด ์‚ฌ๋ก€๋Š” ๊ณต๊ฐœ๋˜์ง€ ์•Š๊ณ , MIMIC ํ™•์žฅ ๋ฐ์ดํ„ฐ๋„ ์ž๊ฒฉ์„ ๊ฐ–์ถ˜ ์‚ฌ์šฉ์ž์—๊ฒŒ ์ œํ•œ๋œ๋‹ค. ์ €์ž์˜ ์ง€๋ถ„ ๋ฐ ํŠนํ—ˆ ๊ด€๋ จ ์„ธ๋ถ€ ๊ณต์‹œ๋Š” ์ ‘๊ทผ ๊ฐ€๋Šฅํ•œ ์›๋ฌธ์—์„œ ํ™•์ธํ•˜์ง€ ๋ชปํ–ˆ๋‹ค. ์ตœ์ข… Science ๋ณธ๋ฌธ์€ ์ ‘๊ทผ ์ œํ•œ์ด ์žˆ์–ด, ์ด ๊ธ€์˜ ์ƒ์„ธ ๋ฐฉ๋ฒ•ยท๋„ํŒ ๊ฒ€ํ† ๋Š” ์ €์ž ๊ณต๊ฐœ ์›๊ณ ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ–ˆ๋‹ค.

#10. ์‹ค์ œ ๋ณ€ํ™”

์ •์  ์˜๋ฃŒ QA ์ ์ˆ˜๋งŒ์œผ๋กœ ์ง„๋‹จ ์—์ด์ „ํŠธ๋ฅผ ๋น„๊ตํ•˜๋Š” ์‹œ๋Œ€์—์„œ, ์งˆ๋ฌธ ์„ ํƒยท๊ฒ€์‚ฌ ์„ ํƒยท์ค‘๋‹จ ์‹œ์ ยท๋น„์šฉ์„ ํ•œ ๋ฃจํ”„๋กœ ํ‰๊ฐ€ํ•˜๋Š” ์ชฝ์œผ๋กœ ๊ธฐ์ค€์ด ์ด๋™ํ•œ๋‹ค. ๊ณต๊ฐœ SDBench ์ฝ”๋“œ์™€ ์ƒˆ MIMIC-IV-Ext-SDBench๋Š” ์žฌํ‰๊ฐ€์˜ ์ถœ๋ฐœ์ ์„ ์ œ๊ณตํ•œ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์˜๋ฃŒ๊ธฐ๊ด€์ด ๋ฐ”๋กœ ๋ฐฐํฌํ•  ๊ทผ๊ฑฐ๋Š” ์•„๋‹ˆ๋ฉฐ, ํ˜„์žฌ ๊ฐ€์น˜๋Š” ๋ชจ๋ธ์˜ ์ •๋ณด ํƒ์ƒ‰ ์‹คํŒจ๋ฅผ ์ฐพ๋Š” ์‹œํ—˜๋Œ€์— ๊ฐ€๊น๋‹ค.

#11. ๋‹ค์Œ ํŠธ๋ฆฌ๊ฑฐ

์ผ์ƒ ์งˆํ™˜ ๋ถ„ํฌ๋ฅผ ๋ฐ˜์˜ํ•œ ๋‹ค๊ธฐ๊ด€ ์ „ํ–ฅ ํ‰๊ฐ€, ์‹ค์ œ ์ „๋ฌธ๊ณผ ํŒ€๊ณผ์˜ ๋น„๊ต, ์ด๋ฏธ์ง€ยทํŒŒํ˜•ยท์‹œ๊ฐ„ ๊ฒฝ๊ณผ๋ฅผ ํฌํ•จํ•œ multimodal ๊ฒ€์ฆ, Gatekeeper ํ•ฉ์„ฑ ๋น„์œจ์˜ ๋…๋ฆฝ ๊ฐ์‚ฌ, ํ™˜์ž ์•ˆ์ „ยท์น˜๋ฃŒ ๊ฒฐ๊ณผ ์ธก์ •, ์™ธ๋ถ€ ์—ฐ๊ตฌ์ง„์˜ ์žฌํ˜„์ด ํ•„์š”ํ•˜๋‹ค.

#์ฝ๊ณ  ํ™•์ธํ•˜๊ธฐ

AI์˜ 83.2%์™€ ์˜์‚ฌ์˜ 36.1%๋ฅผ ๊ฐ™์€ ํ™˜์ž ํ•œ ๋ช…์”ฉ ๋งž๋Œ€์–ด ๋น„๊ตํ•œ ๊ฒฐ๊ณผ๋กœ ์ฝ์–ด๋„ ๋ ๊นŒ? ์•„๋‹ˆ๋‹ค. AI์˜ ์ „์ฒด 304๋ก€์™€ ์˜์‚ฌ์˜ 56๋ก€ ํ‰๊ฐ€ ๋ฒ”์œ„๊ฐ€ ๋‹ค๋ฅด๊ณ , ์งˆ๋ฌธยท๊ฒ€์‚ฌ๋ฅผ ๋ฌถ๋Š” ๋ฐฉ์‹๋„ ๋‹ฌ๋ž๋‹ค. ์ด๋ฅผ ์‹ค์ œ ๋ณ‘์›์˜ ํ™˜์ž ๊ฒฐ๊ณผ๋กœ ํ™•๋Œ€ํ•  ์ˆ˜๋„ ์—†๋‹ค.

๊ฒ€์‚ฌ ์ „ ์งˆ๋ฌธ์„ ์„ธ ๋ฌธ์žฅ ๋” ํ–ˆ๋‹ค๋Š” ์ด์œ ๋งŒ์œผ๋กœ ๋ฐฉ๋ฌธ๋ฃŒ๋ฅผ ์„ธ ๋ฒˆ ๋” ๋‚ด์•ผ ํ• ๊นŒ? ์ด ํ‰๊ฐ€์—์„œ๋Š” ์—ฐ์†๋œ ์งˆ๋ฌธ์„ ํ•œ ๋ฐฉ๋ฌธ์œผ๋กœ ๋ฌถ๊ณ  ๊ฒ€์‚ฌ ์š”์ฒญ์„ ๋ฐฉ๋ฌธ์˜ ๊ฒฝ๊ณ„๋กœ ์‚ผ์•˜๋‹ค. ๋ฌธ์žฅ ์ˆ˜์™€ ๋ฐฉ๋ฌธ ํšŸ์ˆ˜๋Š” ๋‹ค๋ฅด๋ฉฐ, ๋น„์šฉ์‹์—๋Š” ํ‰๊ฐ€ ๊ทœ์น™๋Œ€๋กœ ์„ผ ๋ฐฉ๋ฌธ ํšŸ์ˆ˜๋ฅผ ๋„ฃ์–ด์•ผ ํ•œ๋‹ค.

Gatekeeper๊ฐ€ ์› ๊ธฐ๋ก์— ์—†๋Š” ๊ฒ€์‚ฌ ์†Œ๊ฒฌ์„ ๋‹ตํ–ˆ๋‹ค๋ฉด ๊ทธ๊ฒƒ์€ ์‹ค์ œ๋กœ ์ธก์ •๋œ ํ™˜์ž ๊ฒฐ๊ณผ์ผ๊นŒ? ์•„๋‹ˆ๋‹ค. ์‚ฌ๋ก€์™€ ์ผ๊ด€๋˜๋„๋ก ์ƒ์„ฑํ•œ ์†Œ๊ฒฌ์ผ ์ˆ˜ ์žˆ๋‹ค. ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ์œ ์šฉํ•œ ๋‹ต๊ณผ ์‹ค์ œ ํ™˜์ž์—๊ฒŒ์„œ ์–ป์€ ๊ฒ€์‚ฌ ๊ทผ๊ฑฐ๋ฅผ ๊ตฌ๋ถ„ํ•ด์•ผ ํ•œ๋‹ค.

#12. ์ถœ์ฒ˜

์›๋ฌธ ์œ„์น˜์™€ ํ™•์ธ ๋ฒ”์œ„

์ €์ž ๊ณต๊ฐœ ์›๊ณ ์˜ ์ดˆ๋ก์€ ์ธ์‡„ 1์ชฝ, ๋น„์šฉ๊ณผ ๋ฐฉ๋ฌธ ์ •์˜๋Š” 8โ€“9์ชฝ, MAI-DxO ๋„์‹์€ 11์ชฝ, NEJM ๋น„์šฉยท์ •ํ™•๋„ ๊ทธ๋ž˜ํ”„๋Š” 15์ชฝ, ๋ชจ๋ธ๋ณ„ ๊ฒฐ๊ณผ๋Š” 18์ชฝ, ๋ฐฐ์น˜ยท๋‹จ์ผ ํ„ด ๋น„๊ต๋Š” ๋ถ€๋ก A์˜ 27์ชฝ์— ์žˆ๋‹ค. ์ตœ์ข… Science ์ดˆ๋กยท์„œ์ง€์™€ ์ €์ž ๊ณต๊ฐœ ์›๊ณ ๋ฅผ ๊ตฌ๋ถ„ํ•ด ๋Œ€์กฐํ–ˆ์œผ๋ฉฐ, Science ์ถœํŒ๋ณธ์˜ ์ „์ฒด ๋ณธ๋ฌธยท๋ถ€๋ก์ด ๊ฐ™์€ ๋‚ด์šฉ์ธ์ง€๋Š” ํ™•์ธํ•˜์ง€ ๋ชปํ–ˆ๋‹ค. ์ €์ž ์›๊ณ ์˜ ๊ทธ๋ฆผ 9์™€ ๋ณธ๋ฌธ์— ์„œ๋กœ ๋‹ค๋ฅธ ๊ฐœ์„ ํญ ํ‘œ๊ธฐ๊ฐ€ ์žˆ๋Š” ํ•ญ๋ชฉ์€ ํ™•์ •๋œ ์ˆ˜์น˜๋กœ ์‚ฌ์šฉํ•˜์ง€ ์•Š์•˜๋‹ค.

Connect