임상시험이나 의료기기 승인 결과가 아니라, 과거 기록을 텍스트 기반 상호작용으로 재구성한 벤치마크 연구다. Science 최종 논문의 초록·서지와 저자 공개 원고를 대조했으며, 환자 결과 개선은 확인되지 않았다.
#1. 한 문장 결론
이 연구의 핵심은 진단 AI가 정답이 담긴 긴 병력을 한 번에 읽게 한 것이 아니라, 제한된 첫 정보에서 무엇을 물어보고 어떤 검사를 주문할지 선택하게 만들고 정확도와 예상 진단 과정 비용을 함께 평가했다는 데 있다.
#2. 왜 어려운가
실제 진단은 객관식 문제가 아니다. 의사는 현재 가설에 따라 다음 질문과 검사를 고르고, 새 근거가 들어오면 가설을 버리거나 좁힌다. 모든 정보를 처음부터 주는 정적 vignette는 정보 탐색 능력, 조기 확정(premature closure), 불필요한 검사 주문을 가린다. 반대로 실제 환자에서 이 과정을 시험하면 안전·동의·시간·비용 문제가 생긴다. 연구진은 이 간극을 대화형 시뮬레이션으로 다뤘다.
#3. 기초 개념
Sequential Diagnosis Benchmark(SDBench)는 짧은 주호소만 먼저 제시한다. 진단 에이전트가 병력 질문, 신체진찰 정보 또는 검사를 요청하면 Gatekeeper가 원 사례에서 해당 정보를 찾아 돌려준다. 마지막 진단은 Judge가 채점하고, 검사 요청에는 미국 기준 예상 비용이 더해진다. 평가축은 하나가 아니라 진단 정확도와 비용의 Pareto frontier다. 한 축을 개선하면서 다른 축도 나빠지지 않는 설정이 더 효율적인 선택이 된다.
그림의 글자가 작다면 원본 크게 보기 · 새 탭 #4. 기존 방식의 한계
기존 의료 LLM 평가는 완성된 사례 요약이나 다지선다 문제에 치우쳤다. 이는 기억된 지식과 정보 수집 전략을 분리하기 어렵다. AMIE 계열처럼 긴 사례를 요약해 top-k 진단을 내는 방식도 어떤 검사를 왜 골랐는지 직접 측정하지 못한다. SDBench는 순서를 복원했지만, 실제 환자가 아니라 텍스트 oracle을 사용한다는 새로운 인공성도 만든다.
#5. 새 방법 3단계
첫째, 304개 NEJM clinicopathological conference(CPC)와 325개 MIMIC-IV-ED 입원 사례를 최소 정보에서 시작하는 상호작용 사례로 바꿨다. 둘째, MAI Diagnostic Orchestrator(MAI-DxO)는 같은 언어모델이 Hypothesis, Test-Chooser, Challenger, Stewardship, Checklist의 다섯 역할을 맡는 가상 패널이다. 이 역할 구성에서 모델은 가설을 만들고 반박하며 다음 질문·검사 또는 최종 진단을 고른다. 다섯 역할은 서로 다른 독립 모델을 뜻하지 않는다. 셋째, 예산 한도와 ensemble 여부를 바꿔 정확도-비용 곡선을 만든 뒤 일반의와 단일 모델을 비교했다.
#6. 핵심 수식과 시스템 경계
논문은 새로운 진단 방정식을 제안하지 않는다. 다음은 Methods의 운영 정의를 설명식으로 적은 것이다.
정확도는 무엇을 세어 계산하나? 식이 길면 좌우로 이동해 읽으세요. 키보드는 수식에 초점을 둔 뒤 방향키를 사용합니다. 기호·연산·계산 과정 펼치기
N_correct와 N_cases는 각각 Judge 점수 4 이상으로 판정한 사례 수와 평가 사례 수로 무차원이다.
진단 비용은 방문과 검사 항목을 어떻게 합산하나? 식이 길면 좌우로 이동해 읽으세요. 키보드는 수식에 초점을 둔 뒤 방향키를 사용합니다. 기호·연산·계산 과정 펼치기
비용식의 V는 평가 규칙으로 센 진료 방문 횟수다. 여러 질문을 연속해서 하는 동안은 한 방문으로 취급하며, 검사 요청이 나오면 그 방문이 끝난다. 원문은 방문당 300달러를 부과하므로 사례마다 한 번만 300달러를 더하는 식이 아니다.
c_j는 비용을 부여한 j번째 검사·절차 항목의 달러 금액이고, m은 그러한 항목 수다. 복잡한 검사 요청 하나가 여러 진료행위 코드(CPT)에 대응할 수 있으므로 m을 단순히 AI가 요청한 문장 수로 세면 안 된다. 300V와 검사비 합의 단위는 모두 달러이며, C_case는 해당 사례의 총 추산 비용이다. 이 식은 저자 원고 8–9쪽의 평가 규칙을 설명용으로 재표현했으며, 원문에 인쇄된 별도 수식 번호는 없다. 비용 정의와 방문 경계는 저자 원고 인쇄 9쪽, 비용 산정 배경은 7–8쪽에서 확인했다.
예를 들어 평가 규칙상 방문이 2회이고 검사비 합이 100달러라고 가정하면 비용은 300×2+100=700달러다(가상 계산 예시). 이는 비용식을 읽는 연습이며 연구의 실제 사례 비용을 재현한 값은 아니다. 이 두 값은 진단 이후 치료의 안전성, 침습성, 대기시간, 보험 승인, 환자 부담을 전부 포함하지 않는다. 따라서 낮은 C_case가 곧 더 좋은 의료라는 뜻은 아니다.
#7. 실험·수치
Science 최종 초록과 저자 공개 원고에서, GPT-5 기반 무예산 MAI-DxO는 NEJM-CPC 304례에서 83.2%, MIMIC-IV-ED 325례에서 80.3% 정확도를 보였다. 일반의는 각각 36.1%, 46.8%였다. NEJM-CPC에서 무예산 설정의 평가상 진단 비용은 사례당 약 5,430달러로, 참고자료를 허용한 의사의 4,725달러보다 오히려 높다. 공개 원고 그림 7에서 “$4k”로 표시한 설정은 정확도 80.9%와 사례당 평균 2,241달러, “$1k budget” 설정은 79.6%와 평균 1,302달러로 보고됐다. 여기서 설정 이름의 예산과 결과로 집계한 평균 비용은 같은 값이 아니다. “1,000달러로 제한했으니 실제 비용도 정확히 1,000달러였다”고 읽으면 안 된다. 앞의 비용 정의에는 방문마다 부과한 진료비와 요청한 검사·절차의 비용이 포함된다. 각 정확도는 그 설정에서 보고한 평균 비용과 한 쌍으로 읽어야 한다. NEJM의 AI 결과 83.2%는 304례 전체, 의사 결과 36.1%는 별도 56례 평가에 해당하므로 같은 사례 집합의 일대일 우열로 해석할 수 없다. 최고 정확도 설정은 NEJM 84.5%, MIMIC 80.9%였다.
2025년 arXiv v2의 80%·85.5%와 이번 최종 수치가 다른 이유는 모델 세대와 MIMIC 검증이 추가된 개정 때문이다. 오래된 수치를 최신 결과처럼 섞지 않았다. 공개 원고 Figure 7은 NEJM 정확도-비용 곡선, Figure 9는 모델별 orchestration 상승폭을 보여준다. 상승폭은 모든 모델에서 같지 않았고, 강한 모델일수록 정확도 증가는 작았다.
질문과 검사를 묶는 방식도 같지 않았다. 주된 AI·기반 모델 결과는 한 차례에 여러 질문이나 검사를 요청하는 배치 모드였고, MAI-DxO에는 한 차례 최대 질문 5개·검사 3개를 요청하도록 지시했다. 반면 임상의는 사용 편의 때문에 한 차례씩 요청하는 단일 턴 형식을 사용했다. 따라서 사례 집합뿐 아니라 상호작용 조건도 함께 봐야 한다.
저자들은 부록 A에서 MAI-DxO(o3)의 테스트 분할에 한해 두 형식을 비교했다. 정확도는 둘 다 83.9%였지만 평균 비용은 단일 턴 3,991달러, 배치 5,084달러였다. 배치가 언제나 더 싸거나 정확하다고 가정할 수 없음을 보여주는 결과다. 다만 이 분석은 앞의 GPT-5 전체 304례 결과와 모델·분할이 다르므로, 그 차이를 직접 보정해 주는 값은 아니다. 저자 원고 부록 A, 인쇄 27쪽
#8. 반대 증거
83.2%를 “병원 환자 83.2%를 정확히 진단했다”로 읽으면 안 된다. NEJM-CPC는 교육적으로 어려운 사례만 골라 정상·양성 환자가 없고, MIMIC 사례도 응급실에서 입원한 환자만 포함한다. Gatekeeper는 원 기록에 없는 검사 결과를 사례와 일관되게 합성할 수 있다. 그 답이 임상적으로 그럴듯해도 실제 검사 결과는 아니다. Judge 역시 모델이며, 치료 적절성·안전성·장기 결과를 평가하지 않는다.
의사 비교도 병원 팀 전체가 아니라 개별 일반의다. 전문과 협진, 영상·파형·병리 슬라이드, 신체 언어, 시간 경과, 환자의 말 바뀜이 제거된 텍스트 환경이다. 같은 기반 모델이 여러 가상 역할을 맡으면 오류 상관이 남을 수 있다. 따라서 “AI가 의사를 이겼다”보다 “이 통제된 정보 탐색 과제에서 더 높은 정확도를 냈다”가 정확하다.
#9. 한계
후향적·시뮬레이션 연구이며 전향적 임상시험이 아니다. 비용은 표준화한 미국 가격의 1차 근사치다. NEJM 저작권 때문에 전체 사례는 공개되지 않고, MIMIC 확장 데이터도 자격을 갖춘 사용자에게 제한된다. 저자의 지분 및 특허 관련 세부 공시는 접근 가능한 원문에서 확인하지 못했다. 최종 Science 본문은 접근 제한이 있어, 이 글의 상세 방법·도판 검토는 저자 공개 원고를 기반으로 했다.
#10. 실제 변화
정적 의료 QA 점수만으로 진단 에이전트를 비교하는 시대에서, 질문 선택·검사 선택·중단 시점·비용을 한 루프로 평가하는 쪽으로 기준이 이동한다. 공개 SDBench 코드와 새 MIMIC-IV-Ext-SDBench는 재평가의 출발점을 제공한다. 그러나 의료기관이 바로 배포할 근거는 아니며, 현재 가치는 모델의 정보 탐색 실패를 찾는 시험대에 가깝다.
#11. 다음 트리거
일상 질환 분포를 반영한 다기관 전향 평가, 실제 전문과 팀과의 비교, 이미지·파형·시간 경과를 포함한 multimodal 검증, Gatekeeper 합성 비율의 독립 감사, 환자 안전·치료 결과 측정, 외부 연구진의 재현이 필요하다.
#읽고 확인하기
AI의 83.2%와 의사의 36.1%를 같은 환자 한 명씩 맞대어 비교한 결과로 읽어도 될까? 아니다. AI의 전체 304례와 의사의 56례 평가 범위가 다르고, 질문·검사를 묶는 방식도 달랐다. 이를 실제 병원의 환자 결과로 확대할 수도 없다.
검사 전 질문을 세 문장 더 했다는 이유만으로 방문료를 세 번 더 내야 할까? 이 평가에서는 연속된 질문을 한 방문으로 묶고 검사 요청을 방문의 경계로 삼았다. 문장 수와 방문 횟수는 다르며, 비용식에는 평가 규칙대로 센 방문 횟수를 넣어야 한다.
Gatekeeper가 원 기록에 없는 검사 소견을 답했다면 그것은 실제로 측정된 환자 결과일까? 아니다. 사례와 일관되도록 생성한 소견일 수 있다. 시뮬레이션에서 유용한 답과 실제 환자에게서 얻은 검사 근거를 구분해야 한다.
#12. 출처
- Nori et al., Science, 2026-10-22, DOI: 10.1126/science.aeh7930
- SDBench 공식 프로젝트와 코드
- MIMIC-IV-Ext-SDBench v1.0.0, 2026-10-22
- 저자 공개 원고, 2025-11-08 판본 — 위의 Science 출판본과 판본을 구분해 읽어야 한다.
원문 위치와 확인 범위
저자 공개 원고의 초록은 인쇄 1쪽, 비용과 방문 정의는 8–9쪽, MAI-DxO 도식은 11쪽, NEJM 비용·정확도 그래프는 15쪽, 모델별 결과는 18쪽, 배치·단일 턴 비교는 부록 A의 27쪽에 있다. 최종 Science 초록·서지와 저자 공개 원고를 구분해 대조했으며, Science 출판본의 전체 본문·부록이 같은 내용인지는 확인하지 못했다. 저자 원고의 그림 9와 본문에 서로 다른 개선폭 표기가 있는 항목은 확정된 수치로 사용하지 않았다.