눈의 혈관으로 자간전증 위험을 먼저 본다

연구 단계: 전향적 관찰형 예측 연구와 독립 기관 외부 검증. Visionary AI로 진료 결정을 바꾼 임상시험이나 승인된 선별검사 검증은 아니다.

한 문장 결론. 망막 혈관을 수치로 바꾼 Visionary AI는 이후 자간전증(preeclampsia)이 발생할 위험을 예측했다. 다른 병원에서도 예측 신호를 확인했지만, 외부 검증의 자간전증 사건은 13건이었다. 이 결과가 진료 성과를 개선한다는 증거는 아직 없다.

#왜 눈의 혈관을 보는가

자간전증은 임신 중 나타나는 고혈압과 장기 이상 등을 기준으로 진단하는 질환이다. 이번 연구는 눈 사진으로 현재 질환을 확진한 것이 아니라, 영상 촬영 뒤 임신 20주 이후 진단되는 자간전증을 예측할 수 있는지 물었다. 촬영 당시의 확진검사를 대신한 연구는 아니다.

망막은 눈 안쪽의 빛을 감지하는 조직이다. 그 혈관의 갈라짐·굵기·굴곡 같은 성질을 전신 혈관 상태와 관련된 간접 신호로 검토했다. 혈관 모양이 질환의 원인이라는 뜻은 아니다.

사진은 스마트폰으로 찍은 것이 아니다. 두 기관은 Optos 초광각 안저 영상 장비를 사용했다. Columbia University(CU)는 임신 1분기 영상을 우선 사용하고, 없으면 20주 전 2분기 영상을 사용했다. NYU 외부 검증은 임신 6–13주, 1분기 영상에 한정됐다. 따라서 모든 참여자의 촬영을 같은 ‘임신 초기’ 조건으로 묶으면 안 된다.

#사진을 어떻게 예측값으로 바꾸나

첫 단계는 혈관 분할 영상(vessel segmentation image, VSI)을 만드는 것이다. 사진의 모든 색과 질감을 그대로 질병 점수로 바꾸기보다 혈관이 있는 부분을 분리한다.

다음으로 혈관을 그래프(graph), 즉 연결점과 연결선으로 표현한다. 갈라지는 지점이나 끝점을 노드로, 혈관 구간을 간선으로 다룬다. 위상적 길이(topological length)는 실제 혈관의 물리적 길이가 아니라, 그래프에서 뿌리 쪽 혈관에서 끝가지로 이어지는 분지 확장 또는 계층 깊이를 나타내는 특징이다. 논문의 Methods는 이를 그래프의 계층 깊이로 설명하고, 보충자료(SI)는 끝가지까지 이어지는 아래쪽 분지 수와 각 분지의 혈관 단면 폭을 반영한 가중 방식을 제시한다. 따라서 이 지표는 전체 분지점을 단순히 더한 수도 아니다.

길이·굵기·굴곡도(tortuosity), 공간을 채우는 정도, 여러 스케일에서의 연결 성질과 루프 구조도 특징으로 만든다. 이 중 어떤 특징이 예측에 기여했는지 보는 것이 연구의 해석 가능성이다. 원인을 증명하는 분석과는 다르다.

#혈관마다 다른 값을 어떻게 한 사람의 특징으로 바꾸나

한 사람의 사진에도 혈관 구간은 여러 개다. 평균 굵기가 같아도, 대부분 비슷한 굵기인지 가는 혈관과 굵은 혈관이 섞였는지는 다를 수 있다. 그래서 연구는 일부 특징에 평균·중앙값뿐 아니라 값이 퍼져 있는 분포의 차이도 사용했다. 보충자료 Note 1은 참여자의 혈관별 측정값 분포를 건강 대조군의 분포와 각각 비교해 Kolmogorov–Smirnov(KS) 통계량을 만들었다고 설명한다. 이는 두 누적분포가 가장 크게 벌어진 정도를 요약하는 값이다. 질병이 있을 확률이나 유의확률 p값 자체가 아니다.

대조군별 비교로 여러 값이 생기면, 주성분분석(principal component analysis, PCA)으로 함께 변하는 방향을 요약하고 앞의 열 개 성분을 예측 특징으로 사용했다. 모든 특징에 이 변환을 동일하게 적용했다는 뜻은 아니다. 보충자료는 KS 기반 비교와 박스 계수·위상 자료 등의 처리 경로를 구분한다. 또 한 대조 참여자를 검증용으로 빼는 교차검증에서는 그 사람과의 분포 비교를 제외했다고 적었다. 이는 설명된 한 정보 누출 방지 조치이지, 전체 학습 구현에 누출이 없음을 이 글이 독립 검증했다는 뜻은 아니다. [공식 보충자료 Note 1, 분포 차이 포착 및 특징군 4–8·15–22]

확인 질문: 평균 굵기가 같은 두 사진의 모델 입력도 반드시 같을까? 아니다. 혈관별 값의 분포, 연결 구조, 여러 공간 스케일의 특징이 다를 수 있다. 반대로 이런 차이를 찾았다는 사실만으로 그 차이가 자간전증의 원인이라고 말할 수도 없다.

32개 특징 집합에 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost 세 종류를 적용해 96개 기초 학습기(base learner) 후보를 구성했다. 최종 예측기는 이 96개를 모두 그대로 쓰는 단일 모델이 아니다. 학습에서 제외한 참여자에 대한 예측값, 즉 out-of-fold 예측을 상위 XGBoost 학습기(metalearner)에 연결하는 스태킹(stacking)을 사용했다. 첫 임신 여부와 과거 자간전증 여부는 사진에서 추출한 혈관 특징이 아니라, Columbia University(CU) 개발 코호트에서 정한 가중치를 모델 예측값에 더하는 별도의 산과 병력 조정(post-model adjustment)에 쓰였다. 첫 임신 가중치는 CU에서 정한 나이 기준을 넘는 경우에만 적용했다. 그러므로 이 결과를 순수한 사진만의 예측이라고 설명해서는 안 된다.

#결과를 읽기 전에 분모부터 구분하기

17.7%와 19.7%는 서로 모순되는 숫자가 아니다. 분모와 분석 대상이 다르다. 이를 구분해야 아래의 양성예측도도 제대로 읽을 수 있다.

#CU의 0.91과 NYU의 0.81은 같은 모델의 전후 성능인가

아니다. 연구진은 두 가지 모델 선택 목표를 구분했다.

성능 최적화(performance-optimized) 모델은 CU 내부 설정의 예측 성능을 높이는 데 초점을 맞췄다. 해당 population-wide 분석의 명단은 1,137명으로, 자간전증 54명·선택된 건강 대조군 82명·population-wide 대조군 1,001명이었다. 이 명단 전체를 한 번에 같은 비율로 평가한 것이 아니라, 10개의 표본화된 대조 설정을 사용했다. 그 설정들에 걸친 평균±표준편차는 AUC 0.91±0.05, AP 0.81±0.11이었다. 표본화된 집단의 AP를 실제 CU 전체 인구의 선별검사 성능으로 옮기면 안 된다.

안정성 최적화(stability-optimized) 모델은 서로 겹치지 않는 다섯 CU 대조 집단에서 AP 변동을 줄이고 최소 AUC를 높이는 설정을 선택했다. 중복 특징을 제거하는 등 후보를 줄여 자간전증 모델에서는 각 설정에 최종 기초 학습기 8개를 남겼다. NYU로 옮긴 것은 이 모델이다.

NYU 분석 집단 66명·13건에서 AUC 0.81, AP 0.68이었다. 따라서 ‘동일 모델의 AUC가 0.91에서 0.81로 떨어졌다’고 단순 비교할 수 없다. 모델 선택 목적과 평가 집단이 함께 달라졌다.

같은 NYU 집단에서 비교한 Fetal Medicine Foundation(FMF) 계산기는 AUC 0.73, AP 0.50이었다. 이 비교는 논문에서 사용한 모체 인구학·임상·산과 병력 변수의 계산기 설정이다. 혈액 바이오마커와 모든 도플러 측정을 포함한 완전한 FMF 선별 프로그램 전체보다 우수하다고 확대하지 않는다.

#‘재학습하지 않았다’는 말의 정확한 경계

저자들은 NYU 개인별 결과 라벨로 모델을 재학습하거나 특징·초매개변수를 다시 선택하지 않았다고 보고한다. 하지만 NYU의 원시 특징을 아무 처리 없이 넣은 것은 아니다.

각 특징에서 NYU 중앙값을 빼고 사분위범위(interquartile range, IQR)로 나눈 뒤 CU 기준 IQR과 중앙값으로 스케일을 맞추는 사전 지정 전처리를 했다. CU 기준 집단 구성은 NYU 분석 집단의 전체 사건 비율에 맞추어 표본화했다. 그러므로 개인별 라벨을 이용한 모델 재학습과는 구분하되, ‘NYU 정보가 전혀 필요 없는 그대로의 전이’라고도 설명하지 않는다. 실제 신규 환자 한 명을 받을 때 이 전처리를 어떻게 운용할지는 추가로 확인할 문제다.

공개된 Fig. 4 분석 노트북은 다섯 CU 대조 설정의 저장된 예측을 평균내어 지표를 계산한다. 이 코드를 읽은 것만으로 실제 학습·전처리 전체가 재현됐다고 할 수는 없다.

#AUC 0.81은 정확도 81%가 아니다

AUC는 위험 점수의 순위 구분 능력을 요약한다. 모든 사람 중 81%를 맞혔다는 뜻이 아니다. AP는 정밀도–재현율(precision–recall) 성능 요약이며 평가 집단의 사건 비율에도 영향을 받는다.

실제 선별 상황의 질문은 조금 다르다. ‘양성으로 분류된 사람 중 정말 자간전증이 발생한 사람은 얼마나 되는가?‘가 양성예측도(positive predictive value, PPV)다. ‘음성으로 분류된 사람 중 발생하지 않은 사람은 얼마나 되는가?‘가 음성예측도(negative predictive value, NPV)다.

아래 네 관계는 원 논문의 Methods, Prevalence-adjusted PPV and NPV에 직접 명시되어 있다. 논문에는 별도의 식 번호가 없다. 임의의 새 모델 식을 덧붙인 것이 아니다.

#관측한 예측값과 유병률을 바꿔 계산한 예측값

NYU 분석 집단 66명에서는 양성예측도(PPV) 0.56, 음성예측도(NPV) 0.92가 관측됐다. 여기서 사건은 13명, 비사건은 53명이었다. 아래의 0.31과 0.97은 이 집단에서 직접 관측한 값이 아니라, 기관의 연간 사건 비율 추정치 8%를 넣어 표준화한 계산값이다. 같은 모델이라도 검사받는 집단의 사건 비율이 달라지면 양성 판정의 의미가 달라질 수 있다.

NYU 검증 전에 정한 운용 목표는 거짓 양성률(FPR) 0.10 이하였다. 실제 NYU 집단에서 관측된 FPR은 0.13, 민감도(TPR)는 0.69였다. 사전에 세운 목표와 다른 집단에서 실제 얻은 결과는 구분해야 한다.

#작은 계산 예제 — 측정된 새 코호트가 아니다

논문이 보고한 한 운용점은 FPR 0.13, TPR 0.69다. 기관의 연간 자간전증 비율 추정치 8%에 맞추어 계산한 보고값은 PPV 0.31, NPV 0.97이었다. 8%는 NYU의 등록 집단 17.7%나 분석 집단 19.7%가 아니라 별도의 표준화 기준이다.

교육용 가상 집단 1,000명 중 8%, 즉 80명에게 사건이 발생한다고 놓자. 위의 반올림된 민감도·거짓 양성률을 그대로 적용한 기대값은 다음과 같다. 소수 인원은 기대값이기 때문이며 실제 연구 참여자 수가 아니다.

처음에는 행을 따라 읽자. 사건이 발생한 80명 중 얼마를 잡았는지가 민감도다. 다음에는 열로 바꾸어 읽자. 양성 판정 174.8명 중 실제 사건 55.2명의 몫이 양성예측도다. 같은 표라도 분모를 행으로 잡는지 열로 잡는지에 따라 답하는 질문이 달라진다.

양성 174.8명 중 참 양성 55.2명의 비율은 약 0.316이고, 음성 825.2명 중 참 음성 800.4명의 비율은 약 0.970이다. 보고된 반올림 운용점으로 다시 계산한 값과 논문의 PPV 0.31은 세부 반올림 때문에 정확히 같은 마지막 자리까지 일치하지 않는다. 이 예시는 유병률의 영향을 설명할 뿐, 1,000명을 검사했다거나 임상 성과를 재현했다는 뜻이 아니다.

표에서 확인하기: 거짓 양성 119.6명이 참 양성 55.2명보다 많으면 이 계산이 틀렸을까? 아니다. 사건이 없는 사람이 920명으로 훨씬 많으므로 낮은 거짓 양성률도 적지 않은 양성 판정을 만들 수 있다. 이 현상이 바로 목표 집단의 사건 비율을 함께 봐야 하는 이유다. 그러나 어느 문턱값이 임상적으로 적절한지는 이 표만으로 결정할 수 없다.

#순위를 잘 맞추는 것과 확률이 맞는 것은 다르다

모델 점수가 더 높은 사람에게 사건이 더 자주 발생하도록 순서를 정하는 능력과, 표시한 확률이 실제 빈도에 맞는지는 다른 질문이다. 후자를 확률 보정(calibration)이라고 한다. 예를 들어 ‘0.7’이라는 출력이 있다는 이유만으로 그 점수를 받은 사람들의 70%에게 사건이 생긴다고 읽을 수는 없다. 이것은 개념 설명이지 이번 연구가 그런 점수 집단을 관찰했다는 뜻이 아니다.

고정 버전의 Fig. 4 노트북은 저장된 다섯 예측을 평균낸 뒤 산과 병력에 따른 값을 더해 ROC·PR 곡선을 계산한다. 이런 순위 평가 절차만으로 최종 점수가 보정된 개인별 발생 확률이라고 확인되는 것은 아니다. 원문도 확률 보정·운용 문턱값·임상적 유용성을 후속 전향적 연구에서 정할 과제로 남겼다. 앞의 유병률 조정 PPV·NPV 계산 역시 모든 개인별 점수의 확률 보정이 완료됐다는 뜻은 아니다. [원문 Discussion; 고정 코드 main_text_figure_4.ipynb]

#가장 강한 한계

NYU 외부 검증의 사건 수는 13건이다. 참가자 단위 10,000회 부트스트랩에서는 AUC 추정치 0.81의 95% 신뢰구간이 0.62–0.95, AP 추정치 0.69의 구간이 0.47–0.88이었다. 부트스트랩 AP 0.69와 원 집단의 AP 0.68은 서로 다른 계산 요약이다. 원 집단보다 새 표본이 늘어난 검증도 아니다.

평가된 의료기관과 영상 장비 조건도 제한적이다. 저가형 카메라·다른 의료체계·집단에 그대로 사용할 수 있다고 확인하지 않았다.

딥러닝 비교도 범위가 있다. RETFound는 공개 사전학습 가중치를 최대 25 epoch 미세조정했고, Inception-ResNet-v2는 마지막 분류층만 학습하고 나머지 층을 고정했다. 모든 딥러닝 접근이나 최적화된 end-to-end 학습보다 혈관 특징 방식이 우월하다는 결론은 아니다.

보충자료의 nesting ratio 정의에는 설명문과 표시식의 좌우 분모 방향이 반대인 부분이 있다. 이번 수정본에서는 그 식을 재현하지 않는다. 구현 또는 저자의 명확한 설명으로 해소되기 전까지 미확인이다.

#재현성과 다음 확인 지표

공개 분석 노트북은 저장된 예측과 결과를 불러온다. 환자 영상·파생 특징·임상 결과 등 개인별 자료는 공개 저장소에서 바로 받을 수 없으며, 기관 심사·동의 범위·자료 이용 계약에 따라 적격 연구자에게 요청 방식으로 제공된다. 코드가 공개됐다는 사실과 완전한 학습 재현은 다르다.

이번 논문은 예측 성능과 비교 지표를 평가했다. Visionary AI를 보고 아스피린 처방이나 감시 계획을 바꾸었을 때 산모·태아 결과가 좋아지는지는 검증하지 않았다. 그런 임상 활용은 향후 연구 과제다.

다음에는 더 큰 다기관 외부 검증, 장비와 집단 변화에 대한 보정·예측 확률의 신뢰성, 실제 새 환자에서의 전처리 운영, 모델을 진료에 활용하는 임상적 유용성 평가를 확인해야 한다.