헬스케어 분야의 AI 기술이 각광받는 오늘날, AI 모델을 통해 환자 치료의 질을 높이려는 시도가 늘어나고 있다. 하지만 EMR (전자 의무 기록) 데이터를 사용해 환자 상태를 예측하는 모델들은 몇 가지 한계점들에 부딪혀왔다. AITRICS는 이러한 한계점들을 극복하고 더욱 고도화된 치료를 위해 ICU (집중치료실)에서 나오는 데이터를 바탕으로 사망, 패혈증, 그리고 급성 신부전을 예측하는 세 가지의 모델을 개발하였다. 그 성능은 기존의 측정 체계나 다른 머신 러닝 기법들보다 우수하고 오류가 많은 데이터에도 성능을 유지하는 것으로 나타났다. 이를 인정받아 JIMR2021에 “Event Prediction Model Considering Time and Input Error Using Electronic Medical Records in the Intensive Care Unit: A Retrospective Study”라는 제목으로 게재되었다.

한정적인 자원으로 위독 환자를 신속히 치료해야 하는 ICU에선 환자의 상태를 미리 예측하고 대비하여 적절한 치료를 취하는 것이 중요하다. APACHE[1], SAPS, 그리고 MPM같은 기존의 측정 체계들은 응급실 내원 당시 환자의 상태로만 결과를 내기 때문에 내원 이후의 환자의 상태를 실시간으로 반영하지 못해 급박하게 돌아가는 ICU에 적합하지 못한 면이 있다. AI 기술의 발전으로 ICU에서 나오는 시계열 데이터를 이용한 많은 모델들이 만들어졌지만 이러한 모델들은 두 가지 문제에서 자유롭지 못하다. 환자 상태 예측 모델은 예측 시간에서 멀어질수록 잘 맞추지 못하는 경향이 있고 데이터의 지연이나 누락이 많은 EMR 데이터를 학습하는 과정에서 정확성이 떨어진다. 자사의 모델은 각각의 이벤트를 세 가지 시간대에서 예측을 하고 오류가 많은 EMR 데이터에도 안정된 정확도를 내도록 만들어 기존 예측 기법들보다 높은 성능을 낼 수 있었다.

AITRICS의 모델은 예측 시간에 가까워질수록 잘 맞추는 기존의 딥러닝 모델들의 문제를 해결하기 위해 각각 12시간, 6시간, 그리고 3시간 안에 발생하는 이벤트를 예측하는 모델을 만들었다. 또, 오류와 누락이 많은 EMR 데이터로 안정적인 정확성을 유지하는지 평가하기 위해 잡음이 추가되고 일부가 삭제된 데이터를 사용해 테스트를 진행하였다. 그 결과, 자사의 모델 중 사망 예측 모델은 3시간 전에 0.990, 6시간 전에 0.984, 12시간 전에 0.982의 높은 AUROC를 기록해 APACHE나 SOFA[2] 측정 체계를 보다 더 높은 성능을 보여주었다. 패혈증 예측 모델은 2시간 전에 0.766, 4시간 전에 0.751, 그리고 6시간 전에 0.738의 AUROC를 보였다. 이 수치는 현재 의료계에서 쓰이는 측정체계인 SOFA나 LR, XGB 모델들보다 훨씬 우수하다. 급성 신부전 예측 모델의 AUROC는 3시간 전에 0.804, 6시간 전에 0.766, 그리고 12시간 전에 0.760로 나타나 역시 LR과 XGB 모델들보다 높은 성능을 보였다. 오류에도 안정적인 성능을 보이는지 판단하기 위해 일부 데이터를 지우고 노이즈를 추가한 데이터에 테스트 해본 결과, 자사의 모델은 AUROC는 0.0004 ± 0.002 정도 감소한 반면 LR과 XGB 모델들은 각각 600배, 200배 이상 감소하는 것으로 나타났다.

해당 이미지는 이 모델이 어플리케이션에 탑재된 모습이다. 각 모델들마다 설정된 시간들 안에 사망, 패혈증, 그리고 급성 신부전이 올 것이라고 예측되는 환자들에 관하여 알림을 줄 수 있다. 기존에 쓰이던 측정 체계나 다른 AI 모델들과 차별되는 안정되고 높은 성능으로 자사의 환자 상태 예측 모델은 급박하게 돌아가는 ICU에서 의료진에게는 신뢰를, 환자들에게는 더욱 더 집중된 치료를 제공할 수 있을 것이다.

Reference: 

[1] Knaus WA, Draper EA, Wagner DP, Zimmerman JE. APACHE II: a severity of disease classification system. Crit Care Med United States; 1985 Oct;13(10):818–829. PMID:3928249 

[2] Jones AE, Trzeciak S, Kline JA. The Sequential Organ Failure Assessment score for predicting outcome in patients with severe sepsis and evidence of hypoperfusion at the time of emergency department presentation. Crit Care Med. 2009;37(5):1649-1654. doi:10.1097/CCM.0b013e31819def97