SELECTED · 연구 초안 — 기준일 2026-10-19 KST · 점수 91/100 · PEER_REVIEWED_FRONTIER. 임상 치료 효과 시험이 아니라 미국 재향군인 의료체계(VA)의 후향적 품질개선 분석이다. 논문은 동료심사·영구 DOI를 갖춘 조기 공개본이며 최종 Version of Record 전이다.
#1. 한 문장 결론
임상 LLM의 중요한 진전은 모델 하나가 더 정확해진 데 있지 않다. 정답표를 92만 건 전부 만들 수 없는 환경에서, 값싼 필터부터 전문가 표본과 실제 후속 진료까지 서로 다른 검증 신호를 계단식으로 겹친 것이 핵심이다.
#2. 왜 어려운가
진료 기록은 ICD-10 코드보다 풍부하지만, 과거력·복사된 문장·환자 진술·잠정 진단이 뒤섞인다. LLM이 “알코올 사용장애”라는 구절을 찾았다고 해서 담당자가 현재 진단한 것은 아니다. 반대로 코드가 없다고 LLM이 틀렸다고도 할 수 없다. 모든 노트를 임상의가 다시 읽는 방식은 모델·병원·추출 항목이 바뀔 때마다 비용이 반복된다.
#3. 기초 개념
정보 추출 평가는 보통 precision, recall, F1을 쓴다. 거짓 양성이 특히 위험한 임상 문맥에서는 precision을 지키되 누락도 함께 추적해야 한다.
여기서 P는 정밀도, R은 재현율이다. 이 연구의 relaxed 평가에서는 TP가 정답과 겹치는 토큰, FP가 생성문에만 있는 토큰, FN이 정답에만 있는 토큰을 뜻한다. 환자 진단의 참·거짓 인원 수와 혼동하면 안 된다. P·R·F1은 무차원이며, 분모가 0인 경우의 처리까지 재현하려면 구현 확인이 필요하다. 논문은 macro 평균을 보고하므로 모든 토큰을 한꺼번에 합산한 비율과 구분한다. 다만 accepted 본문만으로 토큰화·정규화와 세부 집계 구현을 모두 확정할 수는 없다. 위 식은 표준 지표 정의를 풀어 쓴 설명이며, 논문에 인쇄된 새 수식이 아니다.
가상 계산 예제: 겹치는 토큰 8개, 생성문에만 있는 토큰 2개, 정답에만 있는 토큰 2개라면 P와 R은 각각 8/10, F1은 0.8이다. 이는 연구의 실측 사례도, 환자 80%를 정확히 진단했다는 뜻도 아니다.
이 연구는 정확한 문자열 일치인 strict F1과 토큰 겹침을 허용한 relaxed F1을 분리했다. 또 판정자 간 불균형이 큰 이진 라벨에는 Cohen의 kappa 대신 Gwet’s AC1을 썼다.
#4. 기존 방식의 한계
기존의 작은 전문가 라벨셋은 깔끔하지만 운영 규모를 대표하지 못한다. ICD 코드만 정답으로 삼으면 실제 서술에만 남은 진단을 오답 처리할 수 있다. 반대로 LLM-as-a-judge 하나만 두면 추출 모델과 비슷한 오류를 공유하거나, 애매한 임상 표현을 지나치게 보수적으로 읽을 수 있다. 이 논문은 어느 한 신호도 완전한 ground truth라고 부르지 않는다.
#5. 새 방법 3단계
첫째, 923개 전문가 주석 노트로 zero/one/two-shot과 direct/chain-of-thought 프롬프트를 비교해 대규모 실행 전 동작을 고정했다. Llama-3.1-8B-Instruct가 추출을 맡았고 zero-shot chain-of-thought가 선택됐다.
둘째, 추출 뒤 포함·제외 문구 규칙과 semantic grounding을 적용했다. 각 추출문 임베딩을 원문 안의 같은 길이 슬라이딩 창들과 비교해 가장 가까운 근거를 찾는다.
여기서 e는 추출문, n은 원문 노트, w_i는 추출문의 공백 기준 단어 수와 같은 길이로, 한 단어씩 이동하는 창, z는 SentenceTransformer 임베딩이다. 임계값 0.65 아래는 근거 부족으로 표시했다. 이 최대 코사인 유사도는 무차원 문장 유사도이며 진단이 맞을 확률이 아니다. 임계값도 이 과제에 맞춘 중간 필터 설정이지 모든 병원에 그대로 적용할 기준은 아니다. 위 식은 accepted 본문 ‘Post-extraction semantic grounding assessment’의 절차를 식으로 재표현한 것이며, 원문에 번호가 붙은 새 연구식으로 소개하는 것은 아니다.
셋째, LLM 양성인데 ICD 코드가 없는 고불확실성 사례만 gpt-oss-20b judge에 넘겼다. 그중 무작위 100개 노트를 임상심리 전문가가 독립 검토했고, 마지막에는 추출 정보가 이후 물질사용장애 전문진료 참여를 예측하는지 로지스틱 회귀와 AUC로 점검했다.
#6. 시스템 경계와 trade-off
코호트 선정에는 2023년 1월 기록된 물질사용장애 관련 ICD-10 진료 코드를 사용했다. 선정된 자료에는 환자 178,467명과 임상 노트 919,783건이 포함됐고, 11개 범주를 추출했다. 모든 노트가 1월에 작성됐다는 뜻은 아니다. 가능한 추출 시도는 10,117,613회였고 622,551건이 비어 있지 않은 LLM 양성이었다. 추출과 판정은 81.92GB A100 8개가 있는 보안 환경에서 실행됐다. 값싼 단계가 넓게 거르고 비싼 judge·전문가는 좁게 본다는 구조이지만, 지역 문서 관행에 맞춘 규칙과 프롬프트 유지비가 생긴다.
ICD와 비교할 때에는 같은 encounter(한 진료 접점)에 속한 여러 노트의 LLM 결과를 먼저 합쳤다. judge 검토 조건에 해당한 것은 80,006개 노트, 76,549개 encounter였다. 환자·노트·추출문·encounter는 서로 다른 집계 단위다. 노트 수를 곧바로 독립 환자 표본수로 읽어서는 안 된다.
#7. 실험·수치
프롬프트 보정에서 zero-shot direct의 relaxed F1은 0.8647, zero-shot chain-of-thought는 0.9004였다. 규칙과 grounding은 비어 있지 않은 LLM 양성 추출 622,551건의 14.59%를 제거했다. 노트나 환자의 14.59%를 제외했다는 뜻이 아니다. 0.7962라는 relaxed F1은 LLM 양성·ICD 음성의 고불확실성 부분에서 양성 추출을 judge가 구성한 참조문과 비교한 값이다. judge가 맞다고 한 추출은 기존 출력을 참조로 유지하고, 틀리다고 한 것은 judge의 교정문을 참조로 삼았으므로 완전히 독립적인 정답표는 아니다. 전체 92만 노트의 F1로 확대하면 안 된다. 이 범위에서 물질별 strict F1은 0.5761~0.8446으로 편차가 컸다.
전문가 100건 표본에서 judge와의 전체 일치율은 92%, AC1은 0.91이었다. 더 어려운 LLM 양성·ICD 음성 부분만 보면 일치율 87.67%, AC1 0.80이었다. 전체 환자군에서 전문진료 참여 예측 AUC는 ICD만 0.76, LLM 추출만 0.80, 둘을 합치면 0.84였다. 이는 진단 정확도나 치료 효과가 아니라 순위 판별력이다.
#8. 반대 증거
#필터를 더 엄격하게 하면 얼마나 달라졌나
원문 Results의 내부 필터링 절은 유사도 임계값 0.50·0.55·0.60·0.65·0.70을 비교한다. 규칙 필터를 통과한 양성 추출 중 근거성 필터가 표시한 비율은 시험 범위에서 약 1.41~2.08%였다. 두 끝의 차이는 0.67%포인트지만, 처음 값 1.41%를 기준으로 나누면 상대 증가가 약 47.5%다. 작은 비율의 변화를 상대값으로만 말하면 큰 개선처럼 보일 수 있다.
중요한 것은 이 수치가 필터에 걸린 비율이지, 전문가가 확인한 실제 오류의 감소율은 아니라는 점이다. 더 많은 추출을 표시했다고 그만큼 정답에 가까워졌다고 결론 내릴 수 없다. 드문 범주에서는 내용이 거의 없는 짧은 노트 몇 건의 잘못된 추출이 비율에 크게 영향을 줬다고 연구진은 설명한다. 전체 평균과 범주별 결과를 함께 봐야 한다.
확인 질문: 상대 증가가 47.5%라면 환자 절반 가까이의 오류를 고친 것일까? 아니다. 분모는 환자 수가 아니라 이전의 작은 필터 표시 비율이다. 임계값을 고르려면 무엇을 얼마나 버렸는지와 그중 실제 오류가 얼마나 있었는지를 따로 검토해야 한다.
같은 고불확실성 100개 노트 표본에서 추출 모델을 전문가와 비교한 relaxed F1은 0.7825로, judge와 비교한 0.8192보다 낮았다. 이는 전체 코호트의 두 F1을 비교한 것이 아니다. 자극제·다중물질 기록에서 judge가 문서의 다른 위치에 있는 단서를 놓치거나 범주를 혼동했다. “heavy drinker” 같은 사용 패턴을 정식 진단으로 과대해석하는 오류도 남았다. 즉 judge는 전문가를 대체한 완전한 정답표가 아니라 집중 검토용 대리 신호다.
#환자 단위로 나눴다는 것은 무엇을 막나
Methods의 Datasets 절은 예측 모형의 개발·평가 자료를 환자 단위로 70%·10%·20%로 나눴다고 설명한다. 같은 환자의 여러 노트가 학습용과 시험용에 동시에 들어가 성능을 부풀리는 일을 피하려는 설계다. 이 비율은 추출 LLM의 가중치를 그렇게 훈련했다는 뜻이 아니다.
입력은 2023년 1월 기록이고, 후속 전문진료 참여는 2–4월의 결과다. 그러나 이후 결과를 사용했다는 이유만으로 다른 병원이나 다른 시대의 환자에게도 같은 성능을 보장하지는 않는다. 시험 집합의 bootstrap 신뢰구간 역시 그 집합 안의 불확실성을 다루며 병원 간 차이까지 자동으로 포함하지 않는다.
전문가 표본의 단위도 구분해야 한다. 논문은 100개 노트 각각에서 11개 물질 범주를 평가해 1,100개 범주별 판단을 얻었다고 설명한다. 이를 1,100명의 서로 다른 환자를 감사한 결과로 읽으면 안 된다.
신뢰구간을 계산할 때 무엇을 다시 뽑았는지도 별도다. Methods의 프롬프트 보정 평가는 노트를 복원추출해 5,000번 반복하고, 매번 노트별 지표의 평균을 다시 계산했다고 설명한다. 복원추출은 한 번 뽑은 항목도 다음 추출에서 다시 뽑힐 수 있게 하는 절차다. 이 설명은 노트 단위 bootstrap이며 환자를 묶음째 다시 뽑는 방식과 같지 않다. 같은 환자의 노트가 반복되는 구조를 어느 단계에서 다뤘는지는 별도 확인 대상이다. 환자 단위 학습·평가 분할과 노트 단위 신뢰구간은 서로 다른 설계 선택이므로, 하나를 확인했다고 다른 하나까지 검증됐다고 보지 않는다.
확인 질문: 같은 환자의 노트를 겹치지 않게 나눴다면 외부 검증도 끝났을까? 아니다. 자료 누출을 줄이는 내부 설계와 다른 의료체계에서의 검증은 별개다.
#9. 한계
논문의 후속 진료 참여 예측은 같은 VA 환자군 안에서 나중 시점의 결과를 평가한 것이다. 외부 병원 검증이라는 뜻이 아니며, 환자의 건강 개선을 측정한 임상시험도 아니다.
한 VA 체계의 170개 센터 자료이며 외부 병원 재현은 없다. 후속 전문진료 참여는 접근성·의뢰 관행의 영향을 받아 인과적 임상효과로 읽을 수 없다. ICD는 불완전한데 코호트 정의와 비교 기준에 동시에 쓰였다. 전문가가 본 것은 고불확실성 100건뿐이라 다른 오류가 숨어 있을 수 있다. 원자료는 보호건강정보라 공개 데이터로 확인되지 않았고, 실행 코드 저장소도 논문·출판 페이지에서 확인하지 못했다.
#10. 실제로 바뀌는 것
배포 판단의 단위가 “모델 F1 하나”에서 “위험에 따라 깊이가 달라지는 검증 파이프라인”으로 이동한다. 병원은 쉬운 사례를 자동 필터로 처리하고, 구조화 데이터와 충돌하는 사례에만 더 강한 모델과 전문가 시간을 배분할 수 있다. 다만 이 연구 자체가 임상 현장 배포의 안전성이나 환자 이득을 입증한 것은 아니다.
#11. 다음 트리거
다기관 외부 검증, 다른 추출 과제·모델에서의 사전등록 재현, 전체 무작위 표본에 대한 전문가 감사, 공개 가능한 합성 데이터와 코드, 그리고 최종 Version of Record의 변경 여부가 재검토 조건이다.
#12. 출처
- Mahbub et al., npj Digital Medicine, 2026-10-16, DOI: 10.1038/s41746-026-03341-7
- 공개 원고와 그림·표: arXiv:2604.06028
- 이전 arXiv 판의 쪽 번호를 accepted 판에 그대로 적용하지 않는다. 이번 추가 확인 위치는 accepted PDF의 Methods ‘Pre-extraction prompt calibration’, ‘Post-extraction semantic grounding assessment’, Results ‘Post-extraction internal validation’과 Table 3이다. 전체 판본·수식·도판 대응은 미완료다.