์์์ํ์ด๋ ์๋ฃ๊ธฐ๊ธฐ ์น์ธ ๊ฒฐ๊ณผ๊ฐ ์๋๋ผ, ๊ณผ๊ฑฐ ๊ธฐ๋ก์ ํ ์คํธ ๊ธฐ๋ฐ ์ํธ์์ฉ์ผ๋ก ์ฌ๊ตฌ์ฑํ ๋ฒค์น๋งํฌ ์ฐ๊ตฌ๋ค. Science ์ต์ข ๋ ผ๋ฌธ์ ์ด๋กยท์์ง์ ์ ์ ๊ณต๊ฐ ์๊ณ ๋ฅผ ๋์กฐํ์ผ๋ฉฐ, ํ์ ๊ฒฐ๊ณผ ๊ฐ์ ์ ํ์ธ๋์ง ์์๋ค.
#1. ํ ๋ฌธ์ฅ ๊ฒฐ๋ก
์ด ์ฐ๊ตฌ์ ํต์ฌ์ ์ง๋จ AI๊ฐ ์ ๋ต์ด ๋ด๊ธด ๊ธด ๋ณ๋ ฅ์ ํ ๋ฒ์ ์ฝ๊ฒ ํ ๊ฒ์ด ์๋๋ผ, ์ ํ๋ ์ฒซ ์ ๋ณด์์ ๋ฌด์์ ๋ฌผ์ด๋ณด๊ณ ์ด๋ค ๊ฒ์ฌ๋ฅผ ์ฃผ๋ฌธํ ์ง ์ ํํ๊ฒ ๋ง๋ค๊ณ ์ ํ๋์ ์์ ์ง๋จ ๊ณผ์ ๋น์ฉ์ ํจ๊ป ํ๊ฐํ๋ค๋ ๋ฐ ์๋ค.
#2. ์ ์ด๋ ค์ด๊ฐ
์ค์ ์ง๋จ์ ๊ฐ๊ด์ ๋ฌธ์ ๊ฐ ์๋๋ค. ์์ฌ๋ ํ์ฌ ๊ฐ์ค์ ๋ฐ๋ผ ๋ค์ ์ง๋ฌธ๊ณผ ๊ฒ์ฌ๋ฅผ ๊ณ ๋ฅด๊ณ , ์ ๊ทผ๊ฑฐ๊ฐ ๋ค์ด์ค๋ฉด ๊ฐ์ค์ ๋ฒ๋ฆฌ๊ฑฐ๋ ์ขํ๋ค. ๋ชจ๋ ์ ๋ณด๋ฅผ ์ฒ์๋ถํฐ ์ฃผ๋ ์ ์ vignette๋ ์ ๋ณด ํ์ ๋ฅ๋ ฅ, ์กฐ๊ธฐ ํ์ (premature closure), ๋ถํ์ํ ๊ฒ์ฌ ์ฃผ๋ฌธ์ ๊ฐ๋ฆฐ๋ค. ๋ฐ๋๋ก ์ค์ ํ์์์ ์ด ๊ณผ์ ์ ์ํํ๋ฉด ์์ ยท๋์ยท์๊ฐยท๋น์ฉ ๋ฌธ์ ๊ฐ ์๊ธด๋ค. ์ฐ๊ตฌ์ง์ ์ด ๊ฐ๊ทน์ ๋ํํ ์๋ฎฌ๋ ์ด์ ์ผ๋ก ๋ค๋ค๋ค.
#3. ๊ธฐ์ด ๊ฐ๋
Sequential Diagnosis Benchmark(SDBench)๋ ์งง์ ์ฃผํธ์๋ง ๋จผ์ ์ ์ํ๋ค. ์ง๋จ ์์ด์ ํธ๊ฐ ๋ณ๋ ฅ ์ง๋ฌธ, ์ ์ฒด์ง์ฐฐ ์ ๋ณด ๋๋ ๊ฒ์ฌ๋ฅผ ์์ฒญํ๋ฉด Gatekeeper๊ฐ ์ ์ฌ๋ก์์ ํด๋น ์ ๋ณด๋ฅผ ์ฐพ์ ๋๋ ค์ค๋ค. ๋ง์ง๋ง ์ง๋จ์ Judge๊ฐ ์ฑ์ ํ๊ณ , ๊ฒ์ฌ ์์ฒญ์๋ ๋ฏธ๊ตญ ๊ธฐ์ค ์์ ๋น์ฉ์ด ๋ํด์ง๋ค. ํ๊ฐ์ถ์ ํ๋๊ฐ ์๋๋ผ ์ง๋จ ์ ํ๋์ ๋น์ฉ์ Pareto frontier๋ค. ํ ์ถ์ ๊ฐ์ ํ๋ฉด์ ๋ค๋ฅธ ์ถ๋ ๋๋น ์ง์ง ์๋ ์ค์ ์ด ๋ ํจ์จ์ ์ธ ์ ํ์ด ๋๋ค.
#4. ๊ธฐ์กด ๋ฐฉ์์ ํ๊ณ
๊ธฐ์กด ์๋ฃ LLM ํ๊ฐ๋ ์์ฑ๋ ์ฌ๋ก ์์ฝ์ด๋ ๋ค์ง์ ๋ค ๋ฌธ์ ์ ์น์ฐ์ณค๋ค. ์ด๋ ๊ธฐ์ต๋ ์ง์๊ณผ ์ ๋ณด ์์ง ์ ๋ต์ ๋ถ๋ฆฌํ๊ธฐ ์ด๋ ต๋ค. AMIE ๊ณ์ด์ฒ๋ผ ๊ธด ์ฌ๋ก๋ฅผ ์์ฝํด top-k ์ง๋จ์ ๋ด๋ ๋ฐฉ์๋ ์ด๋ค ๊ฒ์ฌ๋ฅผ ์ ๊ณจ๋๋์ง ์ง์ ์ธก์ ํ์ง ๋ชปํ๋ค. SDBench๋ ์์๋ฅผ ๋ณต์ํ์ง๋ง, ์ค์ ํ์๊ฐ ์๋๋ผ ํ ์คํธ oracle์ ์ฌ์ฉํ๋ค๋ ์๋ก์ด ์ธ๊ณต์ฑ๋ ๋ง๋ ๋ค.
#5. ์ ๋ฐฉ๋ฒ 3๋จ๊ณ
์ฒซ์งธ, 304๊ฐ NEJM clinicopathological conference(CPC)์ 325๊ฐ MIMIC-IV-ED ์ ์ ์ฌ๋ก๋ฅผ ์ต์ ์ ๋ณด์์ ์์ํ๋ ์ํธ์์ฉ ์ฌ๋ก๋ก ๋ฐ๊ฟจ๋ค. ๋์งธ, MAI Diagnostic Orchestrator(MAI-DxO)๋ ๊ฐ์ ์ธ์ด๋ชจ๋ธ์ด Hypothesis, Test-Chooser, Challenger, Stewardship, Checklist์ ๋ค์ฏ ์ญํ ์ ๋งก๋ ๊ฐ์ ํจ๋์ด๋ค. ์ด ์ญํ ๊ตฌ์ฑ์์ ๋ชจ๋ธ์ ๊ฐ์ค์ ๋ง๋ค๊ณ ๋ฐ๋ฐํ๋ฉฐ ๋ค์ ์ง๋ฌธยท๊ฒ์ฌ ๋๋ ์ต์ข ์ง๋จ์ ๊ณ ๋ฅธ๋ค. ๋ค์ฏ ์ญํ ์ ์๋ก ๋ค๋ฅธ ๋ ๋ฆฝ ๋ชจ๋ธ์ ๋ปํ์ง ์๋๋ค. ์ ์งธ, ์์ฐ ํ๋์ ensemble ์ฌ๋ถ๋ฅผ ๋ฐ๊ฟ ์ ํ๋-๋น์ฉ ๊ณก์ ์ ๋ง๋ ๋ค ์ผ๋ฐ์์ ๋จ์ผ ๋ชจ๋ธ์ ๋น๊ตํ๋ค.
#6. ํต์ฌ ์์๊ณผ ์์คํ ๊ฒฝ๊ณ
๋ ผ๋ฌธ์ ์๋ก์ด ์ง๋จ ๋ฐฉ์ ์์ ์ ์ํ์ง ์๋๋ค. ๋ค์์ Methods์ ์ด์ ์ ์๋ฅผ ์ค๋ช ์์ผ๋ก ์ ์ ๊ฒ์ด๋ค.
์ ํ๋๋ ๋ฌด์์ ์ธ์ด ๊ณ์ฐํ๋? ์์ด ๊ธธ๋ฉด ์ข์ฐ๋ก ์ด๋ํด ์ฝ์ผ์ธ์. ํค๋ณด๋๋ ์์์ ์ด์ ์ ๋ ๋ค ๋ฐฉํฅํค๋ฅผ ์ฌ์ฉํฉ๋๋ค. ๊ธฐํธยท์ฐ์ฐยท๊ณ์ฐ ๊ณผ์ ํผ์น๊ธฐ
N_correct์ N_cases๋ ๊ฐ๊ฐ Judge ์ ์ 4 ์ด์์ผ๋ก ํ์ ํ ์ฌ๋ก ์์ ํ๊ฐ ์ฌ๋ก ์๋ก ๋ฌด์ฐจ์์ด๋ค.
์ง๋จ ๋น์ฉ์ ๋ฐฉ๋ฌธ๊ณผ ๊ฒ์ฌ ํญ๋ชฉ์ ์ด๋ป๊ฒ ํฉ์ฐํ๋? ์์ด ๊ธธ๋ฉด ์ข์ฐ๋ก ์ด๋ํด ์ฝ์ผ์ธ์. ํค๋ณด๋๋ ์์์ ์ด์ ์ ๋ ๋ค ๋ฐฉํฅํค๋ฅผ ์ฌ์ฉํฉ๋๋ค. ๊ธฐํธยท์ฐ์ฐยท๊ณ์ฐ ๊ณผ์ ํผ์น๊ธฐ
๋น์ฉ์์ V๋ ํ๊ฐ ๊ท์น์ผ๋ก ์ผ ์ง๋ฃ ๋ฐฉ๋ฌธ ํ์๋ค. ์ฌ๋ฌ ์ง๋ฌธ์ ์ฐ์ํด์ ํ๋ ๋์์ ํ ๋ฐฉ๋ฌธ์ผ๋ก ์ทจ๊ธํ๋ฉฐ, ๊ฒ์ฌ ์์ฒญ์ด ๋์ค๋ฉด ๊ทธ ๋ฐฉ๋ฌธ์ด ๋๋๋ค. ์๋ฌธ์ ๋ฐฉ๋ฌธ๋น 300๋ฌ๋ฌ๋ฅผ ๋ถ๊ณผํ๋ฏ๋ก ์ฌ๋ก๋ง๋ค ํ ๋ฒ๋ง 300๋ฌ๋ฌ๋ฅผ ๋ํ๋ ์์ด ์๋๋ค.
c_j๋ ๋น์ฉ์ ๋ถ์ฌํ j๋ฒ์งธ ๊ฒ์ฌยท์ ์ฐจ ํญ๋ชฉ์ ๋ฌ๋ฌ ๊ธ์ก์ด๊ณ , m์ ๊ทธ๋ฌํ ํญ๋ชฉ ์๋ค. ๋ณต์กํ ๊ฒ์ฌ ์์ฒญ ํ๋๊ฐ ์ฌ๋ฌ ์ง๋ฃํ์ ์ฝ๋(CPT)์ ๋์ํ ์ ์์ผ๋ฏ๋ก m์ ๋จ์ํ AI๊ฐ ์์ฒญํ ๋ฌธ์ฅ ์๋ก ์ธ๋ฉด ์ ๋๋ค. 300V์ ๊ฒ์ฌ๋น ํฉ์ ๋จ์๋ ๋ชจ๋ ๋ฌ๋ฌ์ด๋ฉฐ, C_case๋ ํด๋น ์ฌ๋ก์ ์ด ์ถ์ฐ ๋น์ฉ์ด๋ค. ์ด ์์ ์ ์ ์๊ณ 8โ9์ชฝ์ ํ๊ฐ ๊ท์น์ ์ค๋ช
์ฉ์ผ๋ก ์ฌํํํ์ผ๋ฉฐ, ์๋ฌธ์ ์ธ์๋ ๋ณ๋ ์์ ๋ฒํธ๋ ์๋ค. ๋น์ฉ ์ ์์ ๋ฐฉ๋ฌธ ๊ฒฝ๊ณ๋ ์ ์ ์๊ณ ์ธ์ 9์ชฝ, ๋น์ฉ ์ฐ์ ๋ฐฐ๊ฒฝ์ 7โ8์ชฝ์์ ํ์ธํ๋ค.
์๋ฅผ ๋ค์ด ํ๊ฐ ๊ท์น์ ๋ฐฉ๋ฌธ์ด 2ํ์ด๊ณ ๊ฒ์ฌ๋น ํฉ์ด 100๋ฌ๋ฌ๋ผ๊ณ ๊ฐ์ ํ๋ฉด ๋น์ฉ์ 300ร2+100=700๋ฌ๋ฌ๋ค(๊ฐ์ ๊ณ์ฐ ์์). ์ด๋ ๋น์ฉ์์ ์ฝ๋ ์ฐ์ต์ด๋ฉฐ ์ฐ๊ตฌ์ ์ค์ ์ฌ๋ก ๋น์ฉ์ ์ฌํํ ๊ฐ์ ์๋๋ค. ์ด ๋ ๊ฐ์ ์ง๋จ ์ดํ ์น๋ฃ์ ์์ ์ฑ, ์นจ์ต์ฑ, ๋๊ธฐ์๊ฐ, ๋ณดํ ์น์ธ, ํ์ ๋ถ๋ด์ ์ ๋ถ ํฌํจํ์ง ์๋๋ค. ๋ฐ๋ผ์ ๋ฎ์ C_case๊ฐ ๊ณง ๋ ์ข์ ์๋ฃ๋ผ๋ ๋ป์ ์๋๋ค.
#7. ์คํยท์์น
Science ์ต์ข ์ด๋ก๊ณผ ์ ์ ๊ณต๊ฐ ์๊ณ ์์, GPT-5 ๊ธฐ๋ฐ ๋ฌด์์ฐ MAI-DxO๋ NEJM-CPC 304๋ก์์ 83.2%, MIMIC-IV-ED 325๋ก์์ 80.3% ์ ํ๋๋ฅผ ๋ณด์๋ค. ์ผ๋ฐ์๋ ๊ฐ๊ฐ 36.1%, 46.8%์๋ค. NEJM-CPC์์ ๋ฌด์์ฐ ์ค์ ์ ํ๊ฐ์ ์ง๋จ ๋น์ฉ์ ์ฌ๋ก๋น ์ฝ 5,430๋ฌ๋ฌ๋ก, ์ฐธ๊ณ ์๋ฃ๋ฅผ ํ์ฉํ ์์ฌ์ 4,725๋ฌ๋ฌ๋ณด๋ค ์คํ๋ ค ๋๋ค. ๊ณต๊ฐ ์๊ณ ๊ทธ๋ฆผ 7์์ โ$4kโ๋ก ํ์ํ ์ค์ ์ ์ ํ๋ 80.9%์ ์ฌ๋ก๋น ํ๊ท 2,241๋ฌ๋ฌ, โ$1k budgetโ ์ค์ ์ 79.6%์ ํ๊ท 1,302๋ฌ๋ฌ๋ก ๋ณด๊ณ ๋๋ค. ์ฌ๊ธฐ์ ์ค์ ์ด๋ฆ์ ์์ฐ๊ณผ ๊ฒฐ๊ณผ๋ก ์ง๊ณํ ํ๊ท ๋น์ฉ์ ๊ฐ์ ๊ฐ์ด ์๋๋ค. โ1,000๋ฌ๋ฌ๋ก ์ ํํ์ผ๋ ์ค์ ๋น์ฉ๋ ์ ํํ 1,000๋ฌ๋ฌ์๋คโ๊ณ ์ฝ์ผ๋ฉด ์ ๋๋ค. ์์ ๋น์ฉ ์ ์์๋ ๋ฐฉ๋ฌธ๋ง๋ค ๋ถ๊ณผํ ์ง๋ฃ๋น์ ์์ฒญํ ๊ฒ์ฌยท์ ์ฐจ์ ๋น์ฉ์ด ํฌํจ๋๋ค. ๊ฐ ์ ํ๋๋ ๊ทธ ์ค์ ์์ ๋ณด๊ณ ํ ํ๊ท ๋น์ฉ๊ณผ ํ ์์ผ๋ก ์ฝ์ด์ผ ํ๋ค. NEJM์ AI ๊ฒฐ๊ณผ 83.2%๋ 304๋ก ์ ์ฒด, ์์ฌ ๊ฒฐ๊ณผ 36.1%๋ ๋ณ๋ 56๋ก ํ๊ฐ์ ํด๋นํ๋ฏ๋ก ๊ฐ์ ์ฌ๋ก ์งํฉ์ ์ผ๋์ผ ์ฐ์ด๋ก ํด์ํ ์ ์๋ค. ์ต๊ณ ์ ํ๋ ์ค์ ์ NEJM 84.5%, MIMIC 80.9%์๋ค.
2025๋ arXiv v2์ 80%ยท85.5%์ ์ด๋ฒ ์ต์ข ์์น๊ฐ ๋ค๋ฅธ ์ด์ ๋ ๋ชจ๋ธ ์ธ๋์ MIMIC ๊ฒ์ฆ์ด ์ถ๊ฐ๋ ๊ฐ์ ๋๋ฌธ์ด๋ค. ์ค๋๋ ์์น๋ฅผ ์ต์ ๊ฒฐ๊ณผ์ฒ๋ผ ์์ง ์์๋ค. ๊ณต๊ฐ ์๊ณ Figure 7์ NEJM ์ ํ๋-๋น์ฉ ๊ณก์ , Figure 9๋ ๋ชจ๋ธ๋ณ orchestration ์์นํญ์ ๋ณด์ฌ์ค๋ค. ์์นํญ์ ๋ชจ๋ ๋ชจ๋ธ์์ ๊ฐ์ง ์์๊ณ , ๊ฐํ ๋ชจ๋ธ์ผ์๋ก ์ ํ๋ ์ฆ๊ฐ๋ ์์๋ค.
์ง๋ฌธ๊ณผ ๊ฒ์ฌ๋ฅผ ๋ฌถ๋ ๋ฐฉ์๋ ๊ฐ์ง ์์๋ค. ์ฃผ๋ AIยท๊ธฐ๋ฐ ๋ชจ๋ธ ๊ฒฐ๊ณผ๋ ํ ์ฐจ๋ก์ ์ฌ๋ฌ ์ง๋ฌธ์ด๋ ๊ฒ์ฌ๋ฅผ ์์ฒญํ๋ ๋ฐฐ์น ๋ชจ๋์๊ณ , MAI-DxO์๋ ํ ์ฐจ๋ก ์ต๋ ์ง๋ฌธ 5๊ฐยท๊ฒ์ฌ 3๊ฐ๋ฅผ ์์ฒญํ๋๋ก ์ง์ํ๋ค. ๋ฐ๋ฉด ์์์๋ ์ฌ์ฉ ํธ์ ๋๋ฌธ์ ํ ์ฐจ๋ก์ฉ ์์ฒญํ๋ ๋จ์ผ ํด ํ์์ ์ฌ์ฉํ๋ค. ๋ฐ๋ผ์ ์ฌ๋ก ์งํฉ๋ฟ ์๋๋ผ ์ํธ์์ฉ ์กฐ๊ฑด๋ ํจ๊ป ๋ด์ผ ํ๋ค.
์ ์๋ค์ ๋ถ๋ก A์์ MAI-DxO(o3)์ ํ ์คํธ ๋ถํ ์ ํํด ๋ ํ์์ ๋น๊ตํ๋ค. ์ ํ๋๋ ๋ ๋ค 83.9%์์ง๋ง ํ๊ท ๋น์ฉ์ ๋จ์ผ ํด 3,991๋ฌ๋ฌ, ๋ฐฐ์น 5,084๋ฌ๋ฌ์๋ค. ๋ฐฐ์น๊ฐ ์ธ์ ๋ ๋ ์ธ๊ฑฐ๋ ์ ํํ๋ค๊ณ ๊ฐ์ ํ ์ ์์์ ๋ณด์ฌ์ฃผ๋ ๊ฒฐ๊ณผ๋ค. ๋ค๋ง ์ด ๋ถ์์ ์์ GPT-5 ์ ์ฒด 304๋ก ๊ฒฐ๊ณผ์ ๋ชจ๋ธยท๋ถํ ์ด ๋ค๋ฅด๋ฏ๋ก, ๊ทธ ์ฐจ์ด๋ฅผ ์ง์ ๋ณด์ ํด ์ฃผ๋ ๊ฐ์ ์๋๋ค. ์ ์ ์๊ณ ๋ถ๋ก A, ์ธ์ 27์ชฝ
#8. ๋ฐ๋ ์ฆ๊ฑฐ
83.2%๋ฅผ โ๋ณ์ ํ์ 83.2%๋ฅผ ์ ํํ ์ง๋จํ๋คโ๋ก ์ฝ์ผ๋ฉด ์ ๋๋ค. NEJM-CPC๋ ๊ต์ก์ ์ผ๋ก ์ด๋ ค์ด ์ฌ๋ก๋ง ๊ณจ๋ผ ์ ์ยท์์ฑ ํ์๊ฐ ์๊ณ , MIMIC ์ฌ๋ก๋ ์๊ธ์ค์์ ์ ์ํ ํ์๋ง ํฌํจํ๋ค. Gatekeeper๋ ์ ๊ธฐ๋ก์ ์๋ ๊ฒ์ฌ ๊ฒฐ๊ณผ๋ฅผ ์ฌ๋ก์ ์ผ๊ด๋๊ฒ ํฉ์ฑํ ์ ์๋ค. ๊ทธ ๋ต์ด ์์์ ์ผ๋ก ๊ทธ๋ด๋ฏํด๋ ์ค์ ๊ฒ์ฌ ๊ฒฐ๊ณผ๋ ์๋๋ค. Judge ์ญ์ ๋ชจ๋ธ์ด๋ฉฐ, ์น๋ฃ ์ ์ ์ฑยท์์ ์ฑยท์ฅ๊ธฐ ๊ฒฐ๊ณผ๋ฅผ ํ๊ฐํ์ง ์๋๋ค.
์์ฌ ๋น๊ต๋ ๋ณ์ ํ ์ ์ฒด๊ฐ ์๋๋ผ ๊ฐ๋ณ ์ผ๋ฐ์๋ค. ์ ๋ฌธ๊ณผ ํ์ง, ์์ยทํํยท๋ณ๋ฆฌ ์ฌ๋ผ์ด๋, ์ ์ฒด ์ธ์ด, ์๊ฐ ๊ฒฝ๊ณผ, ํ์์ ๋ง ๋ฐ๋์ด ์ ๊ฑฐ๋ ํ ์คํธ ํ๊ฒฝ์ด๋ค. ๊ฐ์ ๊ธฐ๋ฐ ๋ชจ๋ธ์ด ์ฌ๋ฌ ๊ฐ์ ์ญํ ์ ๋งก์ผ๋ฉด ์ค๋ฅ ์๊ด์ด ๋จ์ ์ ์๋ค. ๋ฐ๋ผ์ โAI๊ฐ ์์ฌ๋ฅผ ์ด๊ฒผ๋คโ๋ณด๋ค โ์ด ํต์ ๋ ์ ๋ณด ํ์ ๊ณผ์ ์์ ๋ ๋์ ์ ํ๋๋ฅผ ๋๋คโ๊ฐ ์ ํํ๋ค.
#9. ํ๊ณ
ํํฅ์ ยท์๋ฎฌ๋ ์ด์ ์ฐ๊ตฌ์ด๋ฉฐ ์ ํฅ์ ์์์ํ์ด ์๋๋ค. ๋น์ฉ์ ํ์คํํ ๋ฏธ๊ตญ ๊ฐ๊ฒฉ์ 1์ฐจ ๊ทผ์ฌ์น๋ค. NEJM ์ ์๊ถ ๋๋ฌธ์ ์ ์ฒด ์ฌ๋ก๋ ๊ณต๊ฐ๋์ง ์๊ณ , MIMIC ํ์ฅ ๋ฐ์ดํฐ๋ ์๊ฒฉ์ ๊ฐ์ถ ์ฌ์ฉ์์๊ฒ ์ ํ๋๋ค. ์ ์์ ์ง๋ถ ๋ฐ ํนํ ๊ด๋ จ ์ธ๋ถ ๊ณต์๋ ์ ๊ทผ ๊ฐ๋ฅํ ์๋ฌธ์์ ํ์ธํ์ง ๋ชปํ๋ค. ์ต์ข Science ๋ณธ๋ฌธ์ ์ ๊ทผ ์ ํ์ด ์์ด, ์ด ๊ธ์ ์์ธ ๋ฐฉ๋ฒยท๋ํ ๊ฒํ ๋ ์ ์ ๊ณต๊ฐ ์๊ณ ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ค.
#10. ์ค์ ๋ณํ
์ ์ ์๋ฃ QA ์ ์๋ง์ผ๋ก ์ง๋จ ์์ด์ ํธ๋ฅผ ๋น๊ตํ๋ ์๋์์, ์ง๋ฌธ ์ ํยท๊ฒ์ฌ ์ ํยท์ค๋จ ์์ ยท๋น์ฉ์ ํ ๋ฃจํ๋ก ํ๊ฐํ๋ ์ชฝ์ผ๋ก ๊ธฐ์ค์ด ์ด๋ํ๋ค. ๊ณต๊ฐ SDBench ์ฝ๋์ ์ MIMIC-IV-Ext-SDBench๋ ์ฌํ๊ฐ์ ์ถ๋ฐ์ ์ ์ ๊ณตํ๋ค. ๊ทธ๋ฌ๋ ์๋ฃ๊ธฐ๊ด์ด ๋ฐ๋ก ๋ฐฐํฌํ ๊ทผ๊ฑฐ๋ ์๋๋ฉฐ, ํ์ฌ ๊ฐ์น๋ ๋ชจ๋ธ์ ์ ๋ณด ํ์ ์คํจ๋ฅผ ์ฐพ๋ ์ํ๋์ ๊ฐ๊น๋ค.
#11. ๋ค์ ํธ๋ฆฌ๊ฑฐ
์ผ์ ์งํ ๋ถํฌ๋ฅผ ๋ฐ์ํ ๋ค๊ธฐ๊ด ์ ํฅ ํ๊ฐ, ์ค์ ์ ๋ฌธ๊ณผ ํ๊ณผ์ ๋น๊ต, ์ด๋ฏธ์งยทํํยท์๊ฐ ๊ฒฝ๊ณผ๋ฅผ ํฌํจํ multimodal ๊ฒ์ฆ, Gatekeeper ํฉ์ฑ ๋น์จ์ ๋ ๋ฆฝ ๊ฐ์ฌ, ํ์ ์์ ยท์น๋ฃ ๊ฒฐ๊ณผ ์ธก์ , ์ธ๋ถ ์ฐ๊ตฌ์ง์ ์ฌํ์ด ํ์ํ๋ค.
#์ฝ๊ณ ํ์ธํ๊ธฐ
AI์ 83.2%์ ์์ฌ์ 36.1%๋ฅผ ๊ฐ์ ํ์ ํ ๋ช ์ฉ ๋ง๋์ด ๋น๊ตํ ๊ฒฐ๊ณผ๋ก ์ฝ์ด๋ ๋ ๊น? ์๋๋ค. AI์ ์ ์ฒด 304๋ก์ ์์ฌ์ 56๋ก ํ๊ฐ ๋ฒ์๊ฐ ๋ค๋ฅด๊ณ , ์ง๋ฌธยท๊ฒ์ฌ๋ฅผ ๋ฌถ๋ ๋ฐฉ์๋ ๋ฌ๋๋ค. ์ด๋ฅผ ์ค์ ๋ณ์์ ํ์ ๊ฒฐ๊ณผ๋ก ํ๋ํ ์๋ ์๋ค.
๊ฒ์ฌ ์ ์ง๋ฌธ์ ์ธ ๋ฌธ์ฅ ๋ ํ๋ค๋ ์ด์ ๋ง์ผ๋ก ๋ฐฉ๋ฌธ๋ฃ๋ฅผ ์ธ ๋ฒ ๋ ๋ด์ผ ํ ๊น? ์ด ํ๊ฐ์์๋ ์ฐ์๋ ์ง๋ฌธ์ ํ ๋ฐฉ๋ฌธ์ผ๋ก ๋ฌถ๊ณ ๊ฒ์ฌ ์์ฒญ์ ๋ฐฉ๋ฌธ์ ๊ฒฝ๊ณ๋ก ์ผ์๋ค. ๋ฌธ์ฅ ์์ ๋ฐฉ๋ฌธ ํ์๋ ๋ค๋ฅด๋ฉฐ, ๋น์ฉ์์๋ ํ๊ฐ ๊ท์น๋๋ก ์ผ ๋ฐฉ๋ฌธ ํ์๋ฅผ ๋ฃ์ด์ผ ํ๋ค.
Gatekeeper๊ฐ ์ ๊ธฐ๋ก์ ์๋ ๊ฒ์ฌ ์๊ฒฌ์ ๋ตํ๋ค๋ฉด ๊ทธ๊ฒ์ ์ค์ ๋ก ์ธก์ ๋ ํ์ ๊ฒฐ๊ณผ์ผ๊น? ์๋๋ค. ์ฌ๋ก์ ์ผ๊ด๋๋๋ก ์์ฑํ ์๊ฒฌ์ผ ์ ์๋ค. ์๋ฎฌ๋ ์ด์ ์์ ์ ์ฉํ ๋ต๊ณผ ์ค์ ํ์์๊ฒ์ ์ป์ ๊ฒ์ฌ ๊ทผ๊ฑฐ๋ฅผ ๊ตฌ๋ถํด์ผ ํ๋ค.
#12. ์ถ์ฒ
- Nori et al., Science, 2026-10-22, DOI: 10.1126/science.aeh7930
- SDBench ๊ณต์ ํ๋ก์ ํธ์ ์ฝ๋
- MIMIC-IV-Ext-SDBench v1.0.0, 2026-10-22
- ์ ์ ๊ณต๊ฐ ์๊ณ , 2025-11-08 ํ๋ณธ โ ์์ Science ์ถํ๋ณธ๊ณผ ํ๋ณธ์ ๊ตฌ๋ถํด ์ฝ์ด์ผ ํ๋ค.
์๋ฌธ ์์น์ ํ์ธ ๋ฒ์
์ ์ ๊ณต๊ฐ ์๊ณ ์ ์ด๋ก์ ์ธ์ 1์ชฝ, ๋น์ฉ๊ณผ ๋ฐฉ๋ฌธ ์ ์๋ 8โ9์ชฝ, MAI-DxO ๋์์ 11์ชฝ, NEJM ๋น์ฉยท์ ํ๋ ๊ทธ๋ํ๋ 15์ชฝ, ๋ชจ๋ธ๋ณ ๊ฒฐ๊ณผ๋ 18์ชฝ, ๋ฐฐ์นยท๋จ์ผ ํด ๋น๊ต๋ ๋ถ๋ก A์ 27์ชฝ์ ์๋ค. ์ต์ข Science ์ด๋กยท์์ง์ ์ ์ ๊ณต๊ฐ ์๊ณ ๋ฅผ ๊ตฌ๋ถํด ๋์กฐํ์ผ๋ฉฐ, Science ์ถํ๋ณธ์ ์ ์ฒด ๋ณธ๋ฌธยท๋ถ๋ก์ด ๊ฐ์ ๋ด์ฉ์ธ์ง๋ ํ์ธํ์ง ๋ชปํ๋ค. ์ ์ ์๊ณ ์ ๊ทธ๋ฆผ 9์ ๋ณธ๋ฌธ์ ์๋ก ๋ค๋ฅธ ๊ฐ์ ํญ ํ๊ธฐ๊ฐ ์๋ ํญ๋ชฉ์ ํ์ ๋ ์์น๋ก ์ฌ์ฉํ์ง ์์๋ค.