KR20240040159A - 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램 - Google Patents

급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램 Download PDF

Info

Publication number
KR20240040159A
KR20240040159A KR1020220118418A KR20220118418A KR20240040159A KR 20240040159 A KR20240040159 A KR 20240040159A KR 1020220118418 A KR1020220118418 A KR 1020220118418A KR 20220118418 A KR20220118418 A KR 20220118418A KR 20240040159 A KR20240040159 A KR 20240040159A
Authority
KR
South Korea
Prior art keywords
risk
prediction model
predicting
information
cardiovascular events
Prior art date
Application number
KR1020220118418A
Other languages
English (en)
Inventor
김자혜
최강호
김두영
Original Assignee
전남대학교산학협력단
전남대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단, 전남대학교병원 filed Critical 전남대학교산학협력단
Priority to KR1020220118418A priority Critical patent/KR20240040159A/ko
Priority to PCT/KR2023/009206 priority patent/WO2024063271A1/ko
Publication of KR20240040159A publication Critical patent/KR20240040159A/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Pulmonology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Vascular Medicine (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 급성 허혈성 뇌졸중 이후 주요 심혈관사건 위험도 예측 방법 및 프로그램에 관한 것으로, 본 발명에 따른 방법 및 프로그램은 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE)을 정확하게 예측할 수 있다.

Description

급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램 {Methods and programs for predicting the risk of major adverse cerebro-cardiovascular events after acute ischemic stroke}
본 발명은 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램에 관한 것으로, 더욱 상세하게는, 의료 영상 및 임상 정보를 이용하여 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법 및 프로그램에 관한 것이다.
뇌졸중은 전 세계적으로 두 번째로 흔한 사망 및 장애 원인이다. 뇌졸중 예방 및 치료를 위한 의학적 관리 및 신경외과 기술의 상당한 발전에도 불구하고 뇌졸중은 여전히 높은 사망률과 장애를 초래한다. 급성 허혈성 뇌졸중 (Acute Ischemic Stroke; AIS) 환자는 뇌졸중 발병 후 1년 이내 사망률과 재발률이 높기 때문에 특히 첫 1년 이내에 지속적인 주의가 필요하다. 기존에 연구된 바에 따르면 급성 허혈성 뇌졸중 환자의 사망률은 30일 이내에 약 10%, 1년 이내에 20%였다. 특히, 급성 허혈성 뇌졸중 후 혈관 관련 장애로 인한 사망이 높은 비율로 발생하여 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험 예측이 필요함을 나타낸다. 또한 급성 허혈성 뇌졸중 발생 후 1년 누적 뇌졸중 재발 확률이 20%에 달하기 때문에 급성 허혈성 뇌졸중을 경험한 환자의 주요 심뇌혈관 사건에 대한 예측 모델 개발이 시급하다.
급성 허혈성 뇌졸중 후 결과를 예측하는 대부분의 이전 연구는 수정된 란킨스케일 (modified Rankin Scale; mRS) 또는 조기 신경학적 악화 (early neurological deterioration; END)에 기반한 분류 또는 사망률/이환율 분류와 같은 분류 작업으로만 구현되었다. 생존 분석 방법은 급성 허혈성 뇌졸중 후 개별 주요 심뇌혈관 사건에 따른 생존을 추정하는 데 사용되었다. 임상 정보를 이용한 생존 분석의 널리 사용되는 방법인 Cox 비례 위험 모델 (Cox proportional hazard model; Cox PH)은 변수가 생존에 미치는 영향을 평가하기 위한 선형 회귀 모델이고, 랜덤 서바이벌 포레스트 (Random Survival Forest; RSF)는 다중 결정 트리의 앙상블 예측을 사용한다. Cox PH를 사용하여 급성 허혈성 뇌졸중에서 주요 심뇌혈관 사건에 따른 생존을 예측하는 임상 예측 인자를 분석하기 위한 연구가 이전에 수행되었으나, 급성 허혈성 뇌졸중 후 주요 혈관 사건의 장기 위험은 개별 수준에서 전통적인 생존 분석에 의해 안정적으로 평가될 수 없었다.
최근 생존분석 분야에서 딥러닝을 적용한 사례가 증가하고 있다. 딥 러닝 모델은 영상과 임상 정보 간의 비선형적이고 복잡한 관계를 학습할 수 있어 기존 모델보다 성능이 향상될 것으로 기대된다. 그럼에도 불구하고, 개인화된 임상 요인과 뇌 이미지를 사용하여 급성 허혈성 뇌졸중 발생 후 주요 심뇌혈관 위험을 직접 예측한 연구는 존재하지 않았다.
이에 본 발명자들은 의료 영상 및 임상 정보를 이용하여 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법 및 프로그램을 제작하였으며, 이의 예측 정확도가 월등히 우수한 것을 확인하였다.
이에, 본 발명의 목적은 주요 심뇌혈관 사건 위험을 예측하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 주요 심뇌혈관 사건 위험을 예측하는 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 또 다른 목적은 주요 심뇌혈관 사건 위험을 예측하는 컴퓨팅 장치를 제공하는 것이다.
본 발명은 급성 허혈성 뇌졸중 이후 주요 심혈관사건 위험도 예측 방법 및 프로그램에 관한 것으로, 본 발명에 따른 방법 및 프로그램은 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE)을 정확하게 예측할 수 있다.
이하 본 발명을 더욱 자세히 설명하고자 한다.
본 발명의 일 양태는, 컴퓨팅 장치에 의해 임상 정보 및 의료 영상데이터로부터 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법에 있어서, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 단계; 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 단계; 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 단계; 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 단계;를 포함하는, 주요 심뇌혈관 사건 위험을 예측하는 방법이다.
본 명세서 상의 용어 "의료 영상데이터"는, 이산적 영상 요소들 (예를 들어, 2차원 영상에 있어서는 픽셀)로 구성된 다차원 의료 영상 데이터를 포함하는 것일 수 있다. 구체적으로, 의료 영상데이터는 눈으로 볼 수 있는 대상 또는 (예컨대, CT, MRI 검출기 등의 픽셀 출력에 대응되는 파일과 같은) 그 대상의 디지털 표현물을 포함할 수 있다. 의료 영상데이터는 전산화 단층 촬영 (computed tomography; CT), 자기 공명 영상(magnetic resonance imaging; MRI), 안저 영상, 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 대상 (subject)의 의료 영상을 포함하는 것일 수 있다.
본 발명의 일 구현예에서, 의료 영상 데이터는, MRI의 확산강조영상 (diffusion weighted image; DWI) 데이터를 포함하는 것일 수 있다.
본 명세서 상의 용어 "주요 심뇌혈관 사건"은, 특정 질환, 예를 들어, 급성 허혈성 뇌졸중 등의 질환 이후 뇌, 심장 또는 혈관과 관련된 특정 증상이나 생존 이벤트가 발생하는 경우를 의미한다. 예를 들어, 주요 심뇌혈관 사건은 심근경색증, 심뇌혈관 재관류술, 뇌혈관 질환(뇌경색, 뇌출혈, 일과성 뇌허혈), 사망 중 하나 이상을 의미하는 것일 수 있다.
본 명세서 상의 용어 "대상"은 주요 심뇌혈관 사건의 발생이 예상되는 개체 (또는 피검체)일 수 있다. 본 발명의 일 구현예에서, 대상은 포유류 일 수 있고, 예를 들어, 대상은 인간, 원숭이, 개, 고양이, 마우스, 래트, 소, 말, 돼지, 염소 및 양으로 이루어지는 그룹에서 선택되는 하나 이상일 수 있다.
본 발명의 일 구현예에서, 제1예측모델 및/또는 제2예측모델은 딥 뉴럴 네트워크인 것일 수 있다.
본 명세서 상의 용어 "딥 뉴럴 네트워크"는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 용어 "딥 뉴럴 네트워크"는 본 명세서에 걸쳐 용어 "신경망", "네트워크 함수", "뉴럴 네트워크 (neural network)"와 상호교차되어 사용될 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조 (latent structures)를 파악하는 것이 가능하다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조 (예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 본 발명에 있어서, 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크 (convolutional neural network; CNN), 리커런트 뉴럴 네트워크(recurrent neural network; RNN), 제한 볼츠만 머신 (restricted boltzmann machine; RBM), 심층 신뢰 네트워크(deep belief network; DBN), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 일 구현예에서, 제1예측모델 및 제2예측모델은 심뇌혈관 위험 예측 모델의 하위 모델로 구성되는 것일 수 있다. 또는 제1예측모델 및 제2예측모델은 서로 별개의 독립적인 모델인 것일 수 있다.
본 명세서 상의 용어 "임상 정보"는, 대상의 인구통계학적 정보, 건강 상태 정보, 특정 질환의 유무, 치료 기록 등의 대상과 관련된 의료정보를 의미한다. 본 발명에 있어서, 임상 정보는, 예를 들어, 성별, 연령, 체질량 지수 (BMI), 스타틴 요법 유무, LAA, SVO, CE, OD, UD 등의 TOAST 분류 정보, modified Rankin Scale (mRS), 이전의 일과성 뇌허혈, 동반질환, 이전 뇌졸중, 말초동맥 협착증, 관상동맥 협착증, 고혈압, 당뇨병, 이상 지지혈증, 흡연여부, 암, 심방세동, 대뇌 미세출혈, 좌심실 확장기 기능 장애, 폐 고혈압, 심근경색, 심근병증, 좌심실 비대, 좌심방 확대여부, 심방 빈맥, 심실 빈맥, 판막 심장병, 대동맥 판막 경화증, 색전증, 국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS)으로 이루어지는 그룹에서 선택된 하나 이상의 정보가 포함된 것일 수 있다.
본 발명의 일 구현예에서, 임상정보는 국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS)를 포함하는 것일 수 있고, 예를 들어, 임상정보는 국립보건원 뇌졸중 척도 및 스타틴 투여여부 정보를 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 구현예에서, 제2예측모델은, 하나 이상의 학습 데이터 및 상기 학습 데이터에 대응되며 주요 심뇌혈관 사건 위험 결과를 포함하는 가이드 라벨에 기초하여 지도학습되며, 지도학습은 제2예측모델을 이용하여 학습 데이터에 대해 생성한 학습 정보와 가이드 라벨의 비교 결과에 기초하여 수행되는 것일 수 있다.
본 발명의 일 구현예에서, 지도학습은, 학습 정보와 상기 가이드 라벨을 최대 우도 추정법 (Maximum Likelihood Estimation)을 사용하여 계산한 결과값에 기초하여 수행되는 것일 수 있다.
본 발명의 일 구현예에서, 제2예측모델은, 하기 수학식 2의 위험 함수를 도출하여, 수학식 3의 생존함수를 도출하는 것일 수 있다.
[수학식 2]
(여기서, λ(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률, λ0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 제2예측모델의 출력값으로 각 환자에 대한 로그 위험임)
[수학식 3]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, λ(ti|x)는 ti 시간에 환자정보 x가 주어질때 위험도를 의미함)
본 발명의 일 구현예에서, 제2예측모델은, 수학식 5에 따른 웨이블 분포 형태의 생존함수를 도출하고, K개의 웨이블 분포 (Weibull distribution) 형태의 생존 분포를 결합하여 하기 수학식 6에 따른 생존함수를 도출하는 것일 수 있다.
[수학식 5]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수를 의미함)
[수학식 6]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
본 발명의 일 구현예에서, 방법은, 급성 허혈성 뇌졸중 (acute ischemic stroke; AIS) 이후 주요 심뇌혈관 사건 위험을 예측하는 것일 수 있다. 따라서, 본 발명에 있어서, 대상은, 급성 허혈성 뇌졸중 (acute ischemic stroke; AIS)을 경험한 객체인 것일 수 있다.
본 발명의 다른 양태는, 저장 매체에 저장된 컴퓨터 프로그램으로서, 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 이하의 동작들을 수행하도록 하며, 동작들은: 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 동작; 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 동작; 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 동작; 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 동작;을 포함하는 것인, 저장 매체에 저장된 컴퓨터 프로그램이다.
본 발명의 또 다른 양태는, 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 컴퓨팅 장치로서, 하나 이상의 코어를 포함하는 프로세서; 및 메모리;를 포함하고, 프로세서는, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하고, 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하고, 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하고, 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는, 컴퓨팅장치이다.
본 발명은 급성 허혈성 뇌졸중 이후 주요 심혈관사건 위험도 예측 방법 및 프로그램에 관한 것으로, 본 발명에 따른 방법 및 프로그램은 급성 허혈성 뇌졸중 등의 증상 발생 이후 대상의 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE)을 정확하게 예측할 수 있다.
도 1은 본 발명의 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 동작을 수행하는 컴퓨팅 장치의 블록구성도를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 딥 뉴럴 네트워크를 나타낸 개략도이다.
도 3은 본 발명의 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 과정을 설명하기 위한 블록구성도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 제작한 딥러닝 모델의 구조를 나타내는 도면이다.
도 5은 본 발명의 일 실시예에 따라 임상정보와 이미지 피쳐의 활용에 따른 성능 비교 결과를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 모델 (DeepSurv 및 Deep Survival Machines)에서 인풋된 데이터의 중요도 순위를 순열 특징 중요도 방법으로 산출한 결과를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝 모델을 이용한 개인화 MACE 예측의 대표적인 사례를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다.
또한, 명세서에 기재된 "… 부", "… 모듈"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서 상에서 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는안된다.
도 1은 본 발명의 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 동작을 수행하는 컴퓨팅 장치의 블록구성도를 도시한 도면이다.
도 1을 참조하면, 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 동작을 수행하는 컴퓨팅 장치 (1000)는 프로세서 (100) 및 메모리 (200)를 포함할 수 있다.
프로세서 (100)는, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하고, 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하고, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하고, 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험 정도가 반영된 예측 정보를 생성하는 동작을 수행할 수 있다.
미리 학습된 제1예측모델 및 제2예측모델은 딥 뉴럴 네트워크 (deep neural network; DNN)일 수 있다. 딥 뉴럴 네트워크는 입력 레이어, 출력 레이어를 포함할 수 있고, 또는 입력 레이어 및 출력 레이어 외의 별개의 복수의 히든 레이어를 포함하는 것일 수 있다. 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크 (convolutional neural network; CNN), 리커런트 뉴럴 네트워크(recurrent neural network; RNN), 제한 볼츠만 머신 (restricted boltzmann machine; RBM), 심층 신뢰 네트워크(deep belief network; DBN), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있고, 예를 들어, 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크일 수 있다. 이때, 제1예측모델은 컨볼루셔널 뉴럴 네트워크 모델일 수 있다. 제1예측모델 및 제2예측모델은 심뇌혈관 위험 예측 모델의 하위 모델로 구성될 수 있고, 또는, 제1예측모델 및 제2예측모델은 독립적인 모델로 구성될 수 있다. 제1예측모델과 제2예측모델이 심뇌혈관 위험 예측 모델의 하위 모델로 구성되는 경우, 심뇌혈관 위험 예측 모델은 컨볼루셔널 뉴럴 네트워크 모델인 제1예측모델과 딥 뉴럴 네트워크 모델인 제2예측모델을 포함할 수 있으며, 따라서, 제1예측모델을 통해 추출된 이미지 피쳐가 임상정보와 함께 제2예측모델로 인풋되어 주요 심뇌혈관 사건과 연관된 생존 함수가 도출될 수 있다. 또한, 제1예측모델과 제2예측모델이 별개의 독립적인 모델로 구성되는 경우, 동일하게, 제1예측모델을 통해 이미지 피쳐가 추출되고, 제2예측모델에 임상정보와 추출된 이미지 피쳐가 인풋됨에 따라 주요 심뇌혈관 사건과 연관된 생존 함수가 도출될 수 있다.
전술한 바와 같이 본 발명에 따른 컴퓨터 장치는 주요 심뇌혈관 사건의 예측 정보를 생성하는 과정에 있어서, 의료 영상데이터로부터 추출된 이미지 피쳐가 임상정보와 함께 사용된다. 생존 함수를 이용하여 예측 정보를 생성하는 과정에 있어서 임상정보 단독적으로 사용되는 것에 비하여, 이미지 피쳐가 함께 사용되는 경우 제2예측모델이 대상의 주요 심뇌혈관 사건과 관련된 더욱 정확한 예측 정보를 생성하는 것이 가능하다 (실시예 2 참조).
컨볼루셔널 뉴럴 네트워크는 다계층 퍼셉트론의 한 종류로 컨볼루셔널 레이어를 포함하는 신경망을 포함할 수 있다. 컨볼루셔널 뉴럴 네트워크는 신경망을 통한 연산과정에서 가중치를 이용할 수 있다. 컨볼루셔널 뉴럴 네트워크는 하나 이상의 컨볼루셔널 레이어 및 이와 결합된 신경망 레이어로 구성될 수 있다. 컨볼루셔널 레이어는 필터를 사용하여 입력된 데이터로부터 특징 (feature)를 추출할 수 있다. 이때, 컨볼루셔널 레이어는 필터와 필터를 비선형 값으로 바꾸는 액티베이션 함수를 포함할 수 있다. 컨볼루셔널 뉴럴 네트워크는 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있으며, 이를 통해 컨볼루셔널 뉴럴 네트워크는 이미지에서 오브젝트를 인식하기 위해 이용될 수 있다. 예를 들어, 레드, 그린 및 블루로 인코딩 된 이미지 데이터는 R, G, B 색상별로 2차원 행렬로 나타내 질 수 있고, 즉, 각 픽셀의 색상 값이 행렬의 성분이 될 수 있으며, 이때, 행렬의 크기는 이미지의 크기와 동일할 수 있다. 컨볼루셔널 뉴럴 네트워크는 풀링 레이어 (Pooling layer)를 포함할 수 있고, 그리고, 이를 통해 2차원 구조의 입력 데이터를 활용하는 것이 가능하다.
컨볼루셔널 뉴럴 네트워크는 하나 이상의 컨볼루셔널 레이어 및 서브 샘플링 레이어를 포함할 수 있다. 컨벌루셔널 레이어의 출력에는 서브샘플링 레이어가 연결되어 컨벌루셔널 레이어의 출력을 단순화할 수 있다. 예를 들어, 2*2 에버리지 풀링 필터를 가지는 풀링 레이어에 컨벌루셔널 레이어의 출력을 입력시키는 경우, 이미지의 각 픽셀에서 2*2 패치마다 각 패치에 포함되는 평균값을 출력하여 이미지를 압축할 수 있다. 전술한 풀링은 패치에서 최소값을 출력하거나, 패치의 최대값을 출력하는 방식일 수도 있으며 임의의 풀링 방식이 이용될 수 있다. 컨볼루셔널 뉴럴 네트워크는 컨볼루셔널 과정과 풀링 등의 서브 샘플링 과정을 반복적으로 수행하여 주어진 이미지에서 특징 (feature)를 추출할 수 있다. 이때, 컨볼루셔널 레이어 및/또는 서브샘플링 레이어에서 출력은 풀리 커넥티드 레이어 (fully connected layer)에 입력될 수 있다. 풀리 커넥티드 레이어는 하나의 레이어에 있는 모든 뉴런과 이웃한 레이어에 있는 모든 뉴런이 연결되는 레이어이다.
의료 영상데이터는 뇌 영상을 포함할 수 있다. 예를 들어, 의료 영상데이터는 뇌영역 중 하나 이상의 뇌영역에 대한 영상을 포함하는 것일 수 있다. 이때, 의료데이터는 이산적 영상 요소들로 구성된 다차원 의료 영상 데이터를 포함하는 것일 수 있다. 예를 들어, 의료 데이터는 전산화 단층 촬영 (computed tomography; CT), 자기 공명 영상 (magnetic resonance imaging; MRI), 안저 영상, 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 대상 (subject)의 의료 영상일 수 있고, 구체적으로, 의료 영상데이터는 MRI의 확산강조영상 (diffusion weighted image; DWI) 데이터를 포함할 수 있다.
프로세서 (100)는, 의료 영상데이터를 기초로 입력 데이터를 생성할 때, 의료 영상데이터를 균일화하는 동작을 수행할 수 있다. 예를 들어, MRI의 확산강조영상을 기초로 입력 데이터를 생성하는 경우, 영상의 강도 (intensity) 및 대비 등을 조절하여 영상을 균일화한 후, 입력 데이터를 생성할 수 있다.
프로세서 (100)는, 입력데이터에서 예측 정보를 생성한 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각 영상을 생성하는 시각화 동작을 수행할 수 있다. 전술한 바와 같이, 예측 정보 생성에는 임상정보와 함께 이미지 피쳐가 이용되므로, 프로세서는 예측 정보를 생성한 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각 영상을 생성하는 시각화 동작을 수행할 수 있다. 시각화 동작은 생성된 예측 정보에 기초하여 출력값 및 경사도를 비교하여 입력 데이터에서 정상, 예측 원인이 되는 영역을 표시하고, 이를 다른 영역과 구분하여 표시함으로써 수행될 수 있다. 이때, 프로세서는 해당 영역을 색의 종류 및 밝기를 이용하여 표시할 수 있다. 시각 영상은 CAM (Class Activation Map), Grad-CAM 또는 Grad-CAM++이 될 수 있다.
임상정보는 대상의 인구통계학적 정보, 건강 상태 정보, 특정 질환의 유무, 치료 기록 등의 대상과 관련된 의료정보를 포함할 수 있다. 임상 정보는, 예를 들어, 성별, 연령, 체질량 지수 (BMI), 스타틴 요법 유무, LAA, SVO, CE, OD, UD 등의 TOAST 분류 정보, modified Rankin Scale (mRS), 이전의 일과성 뇌허혈, 동반질환, 이전 뇌졸중, 말초동맥 협착증, 관상동맥 협착증, 고혈압, 당뇨병, 이상 지지혈증, 흡연여부, 암, 심방세동, 대뇌 미세출혈, 좌심실 확장기 기능 장애, 폐 고혈압, 심근경색, 심근병증, 좌심실 비대, 좌심방 확대여부, 심방 빈맥, 심실 빈맥, 판막 심장병, 대동맥 판막 경화증, 색전증, 국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS)으로 이루어지는 그룹에서 선택된 하나 이상의 정보가 포함된 것일 수 있다. 구체적으로, 임상정보는 국립보건원 뇌졸중 척도를 포함하는 것일 수 있고, 예를 들어, 임상정보는 국립보건원 뇌졸중 척도 및 스타틴 투여여부 정보를 포함하는 것일 수 있으나, 이에 한정되는 것은 아니다.
프로세서 (100)는, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출할 때, 제2예측모델이 하기 수학식 2의 위험 함수를 도출하여, 수학식 3의 생존함수를 도출하는 것일 수 있다.
[수학식 2]
(여기서, λ(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률, λ0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 제2예측모델의 출력값으로 각 환자에 대한 로그 위험임)
[수학식 3]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, λ(ti|x)는 ti 시간에 환자정보 x가 주어질 때 위험도를 의미함)
또는, 프로세서 (100)는, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출할 때, 수학식 5에 따른 웨이블 분포 형태의 생존함수를 도출하고, K개의 웨이블 분포 (Weibull distribution) 형태의 생존 분포를 결합하여 하기 수학식 6에 따른 생존함수를 도출하는 것일 수 있다.
[수학식 5]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수를 의미함)
[수학식 6]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
이때, K 개의 웨이블 분포 형태의 생존 분포를 결합하는 과정에서 가중치가 이용될 수 있다. 가중치 정보는, 훈련 과정에서 웨이블 분포의 모수와 함께 학습되며, 각 분포의 합성을 통한 정확도 증가에 기여할 수 있다.
프로세서 (100)는, 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치 (central processing unit; CPU), 그래픽 처리 장치 (graphics processing unit; GPU), 텐서 처리 장치(tensor processing unit; TPU) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서는, 메모리에 저장된 컴퓨터 프로그램을 판독하여 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 일실시예에 따라 프로세서는, 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서는, 딥러닝 (deep learning; DL)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파 (backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다. 프로세서(110)의 CPU, GPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다.
메모리 (200)는, 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory; RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory; ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 딥 뉴럴 네트워크를 나타낸 개략도이다.
뉴럴 네트워크는 입력 데이터로부터 특징 데이터를 추출하고 특징 데이터를 이용한 추론 (inference) 연산을 제공하도록 설계된 기계 학습 구조의 모델을 나타낼 수 있다. 이때, 특징 데이터는 입력 데이터가 추상화된 특징에 관한 데이터를 나타낼 수 있다. 도 2는 설명의 편의를 위해 히든 레이어가 3개의 레이어를 포함하는 것으로 도시되었으나, 히든 레이어에는 다양한 수의 레이어들을 포함할 수 있다. 신경망은 하나 이상의 레이어를 포함할 수 있으며, 각각의 레이어는 하나 이상의 노드를 포함할 수 있다.
노드 (또는 유닛)은 각 레이어를 구성하는 요소로, 각각의 레이어는 노드 또는 노드들의 집합으로 구성될 수 있다. 뉴럴 네트워크내에서 출력 레이어를 제외한 레이어들의 노드들은 출력 신호를 전송하기 위한 링크들을 통해 다음 레이어의 노드들과 연결될 수 있다. 이때, 각각의 레이어들의 노드들은 링크를 통해 서로 연결될 수 있으며, 연결된 레이어의 노드들은 신호의 송 수신 여부에 따라 입력 노드 및 출력 노드의 관계에 있을 수 있다. 링크를 통해 연결된 노드 중, 출력 노드의 데이터는 입력 노드에 입력된 데이터에 따라 값이 결정될 수 있다. 히든 레이어에 포함된 각각의 노드에는 이전 레이어에 포함된 노드들의 가중된 입력들 (weighted inputs)에 관한 활성 함수 (activation function)의 출력이 입력될 수 있다. 가중된 입력은 이전 레이어에 포함된 노드들의 입력에 가중치(weight)가 반영된 것이다. 이때, 가중치는 가변적일 수 있으며, 신경망의 기능 및 알고리즘에 따라서 가변될 수 있다. 가중치는 뉴럴 네트워크의 파라미터로 지칭될 수 있으며, 활성 함수는 시그모이드 (sigmoid), 하이퍼볼릭 탄젠트 (hyperbolic tangent; tanh), 렐루 (rectified linear unit; ReLU) 및 셀루 (Scaled Exponential Linear Units; SELU)를 포함할 수 있다.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들을 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다.
딥 뉴럴 네트워크 (deep neural network; DNN)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조 (latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조 (예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크 (convolutional neural network; CNN), 리커런트 뉴럴 네트워크 (recurrent neural network; RNN), 오토 인코더 (auto encoder), GAN (Generative Adversarial Networks), 제한 볼츠만 머신 (restricted boltzmann machine; RBM), 심층 신뢰 네트워크 (deep belief network; DBN), Q 네트워크, U 네트워크, 샴 네트워크, 적대적 생성 네트워크(GAN: Generative Adversarial Network) 등을 포함할 수 있다.
컨볼루션 뉴럴 네트워크 (convolutional neural network; CNN)는 동물의 시각 피질의 구성에서 영감을 받아, 이미지와 같은 격자 패턴을 갖는 데이터를 처리하기 위한 딥 러닝 모델의 일종이다. 컨볼루션 뉴럴 네트워크는 일반적으로 컨볼루션 레이어, 풀링 레이어 및 풀리 커넥티드 레이어 (fully connected layer)를 포함할 수 있다. 컨볼루션 레이어 및 풀링 레이어는 신경망 내에 반복적으로 존재할 수 있으며, 입력 데이터는 이러한 레이어 계층을 통해 출력으로 변환될 수 있다. 컨볼루션은 레이어는 특징 추출을 위해서 커널 (또는 마스크)를 이용하여, 커널의 각 요소와 입력 값 간의 요소별 곱은 각각의 위치에서 계산되고 합산되어 출력 값을 얻게되며, 이를 특징 맵 (feature map)이라 지칭한다. 이러한 절차는 임의의 수의 특징 맵을 형성하기 위해 여러 커널을 적용하며 반복될 수 있다. 컨볼루션 뉴럴 네트워크에서 컨볼루션 및 풀링 레이어는 특징 추출을 수행하는 반면, 풀리 커넥티드 레이어는 추출된 특징을 분류하는 동작 등의 최종 출력에 매핑한다.
컨볼루션 뉴럴 네트워크는 등의 뉴럴 네트워크는 출력 오류를 최소화하는 방향으로 학습될 수 있다. 입력 레이어에서 출력 레이어로부터 값을 추출하는 순전파과정과 별개로, 뉴럴 네트워크 내에서는 입력된 학습데이터 및 이에 대한 뉴럴 네트워크의 출력값 사이의 오류를 계산하고 이러한 오류를 줄이기 위해 각각의 레이어의 노드들에 대한 가중치를 업데이트 하는 역전파 (backpropagation)가 일어나게 된다. 컨볼루션 뉴럴 네트워크에서 학습시키는 과정은 주어진 학습데이터를 기반으로, 가장 오류가 적은 출력값을 추출하는 커널을 찾는 과정으로 요약될 수 있다. 커널은 컨볼루션 레이어의 훈련과정에서 자동으로 학습되는 유일한 매개변수이다. 반면, 컨볼루션 뉴럴 네트워크에서 커널의 크기, 커널의 수, 패딩 등은 훈련 과정을 시작하기 전에 설정해야하는 하이퍼 파라미터이며, 따라서, 커널의 크기, 커널의 수, 컨볼루션 레이어 및 풀링 레이어의 숫자에 따라서 각기 다른 컨볼루션 뉴럴 네트워크 모델로 구분될 수 있다.
뉴럴 네트워크는 각각의 학습 데이터에 정답이 라벨링 된 학습데이터를 이용하는 교사 학습 (supervised learning), 학습 데이터에 정답이 라벨링 되지 않은 비교사 학습 (unsupervised learning), 반교사학습 (semi supervised learning), 또는 강화학습 (reinforcement learning) 중 적어도 하나의 방식으로 학습될 수 있다. 이때, 뉴럴 네트워크를 통한 출력과 라벨 또는 학습 데이터가 비교되면서 오류가 계산될 수 있고, 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다.
과적합 (overfitting)은 뉴럴 네트워크에서 학습 데이터에 대한 학습이 과하게 일어나게 됨에 따라 학습 수가 증가함에도 오히려 오류가 증가하는 현상이다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있으며, 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션 (regularization), 학습의 과정에서 네트워크의 노드 일부를 비활성화하는 드롭아웃 (dropout), 배치 정규화 레이어 (batch normalization layer)의 활용 등의 방법이 적용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 과정을 설명하기 위한 블록구성도를 도시한 도면이다.
도 3을 참조하면, 일 실시예에 따른 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 컴퓨팅 장치는, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하고 (S101), 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하고 (S102), 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하고 (S103), 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측 (S104)할 수 있다.
컴퓨팅 장치는, 의료 영상데이터를 기초로 입력 데이터를 생성할 때, 의료 영상데이터를 균일화할 수 있다. 예를 들어, MRI의 확산강조영상을 기초로 입력 데이터를 생성하는 경우, 영상의 강도 (intensity) 및 대비 등을 조절하여 영상을 균일화한 후, 입력 데이터를 생성할 수 있다.
컴퓨팅 장치는, 입력데이터에서 예측 정보를 생성한 원인이 되는 영역을 다른 영역과 구분하여 표시하는 시각 영상을 생성할 수 있다.
컴퓨팅 장치는, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출할 때, 하기 수학식 2의 위험 함수를 도출하여, 수학식 3의 생존함수를 도출하는 것일 수 있다.
[수학식 2]
(여기서, λ(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률, λ0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 제2예측모델의 출력값으로 각 환자에 대한 로그 위험임)
[수학식 3]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, λ(ti|x)는 ti 시간에 환자정보 x가 주어질 때 위험도를 의미함)
또는, 컴퓨터 장치는, 미리 학습된 제2예측모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출할 때, 수학식 5에 따른 웨이블 분포 형태의 생존함수를 도출하고, K개의 웨이블 분포 (Weibull distribution) 형태의 생존 분포를 결합하여 하기 수학식 6에 따른 생존함수를 도출하는 것일 수 있다.
[수학식 5]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수를 의미함)
[수학식 6]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
이하, 본 발명을 하기의 실시예에 의하여 더욱 상세히 설명한다. 그러나 이들 실시예는 본 발명을 예시하기 위한 것일 뿐이며, 본 발명의 범위가 이들 실시예에 의하여 한정되는 것은 아니다.
실시예 1: 방법
1-1. 연구 설계 및 모집단
연구는 2010년 1월부터 2019년 12월 사이에 정부 주도의 종합 뇌졸중 센터에 입원한 AIS 환자의 전향적 레지스트리를 사용했다. 사용한 환자정보는, 1) 급성 허혈성 뇌졸중 (acute ischemic stroke; AIS)가 있고 증상 후 5일 이내에 입원한 경우, 2) 입원 시 확산 강조 영상 (diffusion weighted image; DWI)을 포함한 뇌 MRI를 받았고, 3) 일상적인 실험실 테스트와 12-리드 심전도를 받은 환자 정보가 사용되었다. 1) 적절한 DWI 영상으로 뇌 MRI를 시행하지 않았거나, 2) 증상 발생 후 5일 후에 지연 뇌 MRI를 받았거나, 3) 딥 러닝의 이미지 분석에 영향을 미칠 수 있는 뇌 MRI에서 거대한 인공물이 있는 환자 정보는 제외하였다. 총 8,590명의 급성 허혈성 뇌졸중 환자의 정보가 이용되었다.
1-2. 임상 평가 및 결과 측정
1차 종합 결과는 1년 후 최종 추적 조사 전 어느 시점에서든 MACE (재발 뇌졸중, 급성 심근경색증 또는 사망의 복합)의 발생이었다. 재발성 뇌졸중은 AIS 후 기존의 신경학적 결손이 갑자기 발생하거나 악화되고 뇌 영상(CT 또는 MRI)에서 새로운 뇌졸중 병변의 증거가 있는 것으로 정의되었다. 신경학적 결손의 중증도는 NIHSS (National Institutes of Health Stroke Scale) 및 mRS (modified Rankin Scale) 점수를 사용하여 평가되었다. 결과에 대한 임상 정보는 입원, 일상적인 진료소 방문 또는 환자 또는 간병인과의 전화 인터뷰 동안 모든 환자로부터 전향적으로 얻었고 3개월 및 12개월에 훈련된 뇌졸중 의사 또는 간호사에 의해 평가되었다. 등록된 환자는 추적 관찰에 실패하지 않았다.
1-3. 딥러닝 모델
도 4와 같이 딥 러닝 생존 분석(DeepSurv 및 DeepSM)을 기반으로 두 가지 모델을 구축하였다. 이러한 딥 러닝 모델은 CNN (Convolutional Neural Network)을 사용하여 DWI에서 기능을 자동으로 추출하고 개별 MACE 위험 예측에 사용하였다. 또한 CNN의 그라디언트 및 피쳐 맵을 사용하여 Grad-CAM 방법은 이미지의 중요한 영역을 강조 표시할 수 있다. 또한, 모든 이미지는 128 Х 128 Х 64로 크기가 조정되었으며 데이터 증대를 위해 이미지에 무작위로 변환 (플립, 회전, 전단, 감마 보정, 이동 및 가우시안 노이즈)이 적용되었다. 모든 이미지와 임상 특징은 모델 입력에 대한 z-점수를 사용하여 정규화되었다.
구체적으로, 도 4와 같이 CNN (Convolutional Neural Network)을 사용하여 DWI (Diffusion-Weighted Image)에서 특징을 추출했다. CNN 및 임상 정보에서 추출한 총 64개의 이미지 특징이 각각 하위 Deep Survival Machines 및 DeepSurv 모델에 입력되었다.
Deep Survival Machines 모델의 경우 출력 노드는 각 K개의 생존 분포의 매개변수와 상호 작용하는 및 이러한 K 분포에 대한 혼합 가중치 w를 나타낸다. DeepSurv 모델의 경우 단일 출력 노드는 각 환자의 로그 위험을 나타낸다.
모델에는 과적합을 방지하기 위해 20% 드롭 아웃과 배치 정규화 계층이 포함되었다. 200개의 배치 크기와 최대 100개의 Epoch로 ADAM 최적화 프로그램을 훈련했다. 러닝 레이트 (learning rate)는 0.0004로 설정하였고, 15epoch 이상의 지속적인 로스 감소 (loss reduction)가 없으면 학습을 중단하였다. 훈련 중 검증 세트의 손실이 가장 적은 모델을 선택했다.
Deep Survival Machines는 가중치 w를 사용하여 K개의 생존 분포를 결합하여 생존 함수를 유도하고 DeepSurv는 각 환자에 대한 로그 위험 h(x)을 사용하여 생존 함수를 계산하였다.
실시예에서, CoxPH (Cox Proportional Hazards) 모델과 RSF(Random Survival Forest)를 포함한 모든 모델이 수학식 1과 같이 정의된 생존 함수를 사용하여 개인화된 결과를 비교하였다.
[수학식 1]
(여기서, S(t|x)는 생존함수 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률이고, P(t<T|x)는 t 시간에 생존해 있을 확률, t는 시간변수, T는 주요 심뇌혈관사건 발생에 이르는 시점, F(t|x)는 생애분포함수로 t 시간 내에 주요 심뇌혈관사건이 발생할 확률을 의미함)
이때, DeepSurv 모델은 수학식 2로 정의된 위험 함수를 추정하고, 수학식 3에 따른 생존 함수를 도출하도록 학습되었다.
[수학식 2]
(여기서, λ(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률, λ0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 DeepSurv 모델의 출력값으로 각 환자에 대한 로그 위험임)
[수학식 3]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, λ(ti|x) ti 시간에 환자정보 x가 주어질때 위험도를 의미함)
한편, Deep Survival Machines은 수학식 4를 통해 훈련하는 동안 K개의 Weibull 분포의 매개변수 및 각각의 가중치 w를 학습시켰고, 수학식 5에 따른 웨이블 분포를 도출하고, 이러한 K 분포를 가중치 w와 혼합하여 수학식 6에 따른 생존 함수를 계산하였다. 이때, 가중치 w는 수학식 7에 따라 계산되었다.
[수학식 4]
(여기서, 은 Deep Survival Machines 모델의 출력, 는 모델을 통해 학습되는 파라미터, SELU는 활성화 함수를 의미함)
[수학식 5]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수를 의미함)
[수학식 6]
(여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
[수학식 7]
1-4. 성능 평가
모델 평가를 위해 생존 분석에서 일반적으로 사용되는 판별 척도인 Harrell의 일치 지수인 C 지수 (Harrell's concordance index; C index))의 확장인 시간 종속 일치 지수 (Ctd index)를 계산했다.
C 지수는 아직 재발을 경험하지 않은 환자보다 조기에 재발을 경험한 환자의 위험이 더 높은 환자 쌍의 비율을 나타낸다. 값 0.5는 무작위 예측을 나타내고 값 1은 완벽한 예측을 나타낸다. C 지수는 개별 환자의 재발 시간을 기준으로 계산한 반면 Ctd index는 시간 경과에 따른 환자의 위험도를 반영하여 계산했다. 또한 전반적인 성능을 평가하기 위해 통합 Brier 점수(integrated Brier score; IBS)를 계산했다. IBS는 모델 예측 확률과 실제 결과의 차이를 나타낸다. Ctd 인덱스와 달리 IBS가 0이면 완벽한 예측을 나타낸다.
1-5. 통계 분석
DWI가 모델 성능에 미치는 영향을 검증하기 위해 이미지 기능과 CNN을 사용하지 않고 각 모델을 학습했다. 딥러닝으로 구현된 모델을 널리 사용되는 다른 모델과 비교하기 위해 동일한 데이터 세트를 사용하여 CoxPH 및 RSF 모델을 훈련했다. CoxPH와 RSF는 영상 특징을 직접 추출할 수 없기 때문에 DeepSurv와 DeepSM에서 추출한 영상 특징을 이용하여 훈련을 진행하였다. 마찬가지로 DWI의 효과를 검증하기 위해 이미지 기능을 제외한 데이터로 CoxPH 및 RSF 모델을 훈련했다. CoxPH 및 RSF는 Python 모듈 scikit-survival에서 구현되었다. 또한, 임상 정보의 양이 변화하더라도 영상의 영향이 감소하지 않는 것을 확인하기 위해 임상 데이터 값의 수를 5, 10, 15, 20으로 변경하여 위의 모델들을 훈련 및 평가하였다. 95% 신뢰 구간 (CI)을 계산하기 위해 1000번 반복하는 부트스트랩 방법을 사용했다. 또한 순열 특성 중요도 방법 (permutation feature importance method)을 사용하여 특성 중요도의 순위를 매겼다. 특성 중요도는 각 변수를 무작위로 혼합하여 측정한 예측 오차의 변화를 통해 계산되었다.
실시예 2: 결과
데이터세트에 포함된 총 환자 수는 8,590명이었고, 남성은 4,940명(57.51%), 여성은 3,650명(42.49%)이었다. 최초 내원일 기준으로 환자의 평균 연령은 71.0세였다. 총 8,590개의 데이터 중 6,872개는 학습 데이터셋으로, 나머지 1,718개는 테스트 데이터셋으로 나눴다. 또한, 훈련 데이터 세트의 20%를 검증 세트로 나누어 훈련 과정에서 모델 평가에 사용하고, 최종 모델 평가는 테스트 데이터셋을 이용하여 수행하였다. 환자 기준선 특성은 표 1 내지 2에 요약하였다.
Characteristic Total Dataset
( n = 8,590) 		Train Dataset
( n = 5,498) 		Validation Dataset
( n = 1,374) 		Test Dataset
( n = 1,718)
Men 4940 (57.5) 3157 (57.4) 796 (57.9) 987 (57.5)
Age, years (mean ± SD) 68.4 (12.7) 68.4 (12.7) 68.4 (12.7) 68.3 (12.5)
Body mass index (mean ± SD) 23.5 (3.3) 23.6 (3.3) 23.4 (3.2) 23.5 (3.4)
Pre-stroke mRS of ≥ 1, n (%) 2537 (29.5) 1635 (29.7) 414 (30.1) 488 (28.4)
Prior statin therapy, n (%) 238 (2.8) 147 (2.7) 38 (2.8) 53 (3.1)
TOAST classification, n (%)
LAA 2416 (28.1) 1513 (27.5) 412 (30.0) 491 (28.6)
SVO 896 (10.4) 596 (10.8) 139 (10.1) 161 (9.4)
CE 1956 (22.8) 1260 (22.9) 312 (22.7) 384 (22.4)
OD 136 (1.6) 84 (1.5) 23 (1.7) 29 (1.7)
UD 3186 (37.1) 2045 (37.2) 488 (35.5) 653 (38.0)
Comorbidities, n (%)
Prior transient cerebral ischemia 156 (1.8) 113 (2.1) 18 (1.3) 25 (1.5)
Prior stroke 1279 (14.9) 841 (15.3) 202 (14.7) 236 (13.7)
Peripheral artery stenosis 83 (1.0) 56 (1.0) 14 (1.0) 13 (0.8)
Coronary artery stenosis 475 (5.5) 301 (5.5) 86 (6.3) 88 (5.1)
Hypertension 4980 (58.0) 3220 (58.6) 784 (57.1) 976 (56.8)
Characteristic Total Dataset
( n = 8,590) 		Train Dataset
( n = 5,498) 		Validation Dataset
( n = 1,374) 		Test Dataset
( n = 1,718)
Comorbidities, n (%)
Diabetes mellitus 2357 (27.4) 1510 (27.5) 366 (26.6) 481 (28.0)
Dyslipidemia 1420 (16.5) 917 (16.7) 211 (15.4) 292 (17.0)
Current smoking 1673 (19.5) 1062 (19.3) 258 (18.8) 353 (20.5)
Cancer 1140 (13.3) 739 (13.4) 178 (13.0) 223 (13.0)
Atrial fibrillation 2060 (24.0) 1337 (24.3) 327 (23.8) 396 (23.1)
Cerebral microbleed 1430 (16.6) 920 (16.7) 235 (17.1) 275 (16.0)
LV diastolic dysfunction 3180 (37.0) 1992 (36.2) 497 (36.2) 691 (40.2)
Pulmonary hypertension 1741 (20.3) 1105 (20.1) 286 (20.8) 350 (20.4)
Old myocardial infarction 449 (5.2) 277 (5.0) 75 (5.5) 97 (5.6)
Cardiomyopathy 268 (3.1) 172 (3.1) 55 (4.0) 41 (2.4)
Left ventricular hypertrophy 295 (3.4) 186 (3.4) 45 (3.3) 64 (3.7)
Left atrial enlargement 1188 (13.8) 755 (13.7) 189 (13.8) 244 (14.2)
Atrial tachycardia 358 (4.2) 222 (4.0) 61 (4.4) 75 (4.4)
Ventricular tachycardia 18 (0.2) 12 (0.2) 3 (0.2) 3 (0.2)
Valvular heart disease 2494 (29.0) 1590 (28.9) 379 (27.6) 525 (30.6)
Aortic valve sclerosis 624 (7.3) 393 (7.1) 93 (6.8) 138 (8.0)
Paradoxical embolism, n (%) 1721 (20.0) 1116 (20.3) 238 (17.3) 367 (21.4)
Atrial septal aneurysm 34 (0.4) 22 (0.4) 5 (0.4) 7 (0.4)
Initial NIHSS, median (IQR) 2.0 (1.0-7.0) 2.0 (1.0-7.0) 2.0 (1.0-6.0) 2.0 (1.0-6.0)
또한, 75개의 임상 정보를 사용하여 CoxPH를 훈련시켰다. LASSO 패널티가 있는 훈련된 CoxPH 모델의 절대 계수 값 순서로 75개의 표 3과 같이 임상 정보를 간단히 정렬하여 20개의 정보를 선택했다. 모델의 견고성을 검증하기 위해, 임상 데이터의 양을 5, 10, 15, 20으로 변경하여 학습하여 모델을 평가했다.
Clinical feature Coefficient Clinical feature Coefficient
Initial NIHSS 0.621385 Aortic valve sclerosis 0.016857
Statin therapy -0.287705 Large vessel occlusion 0.016221
Age 0.228899 Men 0.010972
Prior stroke 0.163209 Pulmonary /Pericardial edema 0.010321
Multiple infarct lesions 0.098845 Coronary artery stenosis -0.008995
White blood cells 0.098644 Cerebral microbleed 0.007036
Triglyceride -0.096746 Relevant artery stenosis≥70% -0.00408
Iron -0.091373 Paradoxical embolism -0.00235
Hemoglobin -0.086269 Cardiomyopathy -0.001906
Body mass index -0.080133 Dyslipidemia 0
Atrial fibrillation 0.079687 Systolic blood pressure 0
Cancer 0.077873 Pre-stroke mRS 0
Glycated hemoglobin 0.075544 Admission blood sugar 0
Troponin 0.061316 Prior transient cerebral ischemia 0
TOAST 0.053817 LDL-cholesterol 0
D-dimer 0.04907 Peripheral artery stenosis 0
Creatinine 0.041423 Hypertension 0
Multi-vessel stenosis ≥ 50% 0.038831 Diabetes mellitus 0
Ventricular tachycardia 0.036857 LV diastolic dysfunction 0
Platelet -0.034121 Current smoking 0
Prior statin therapy 0.03274 Pulmonary hypertension 0
Old myocardial infarction 0.032095 Blood urea nitrogen 0
Endovascular therapy -0.031002 Recanalization 0
Fasting blood sugar 0.028262 Atrial septal aneurysm 0
Oral anticoagulants -0.025244 Atrial tachycardia 0
Total-cholesterol -0.025138 Non-relevant stenosis≥70% 0
Thrombolytic therapy 0.023814 Cerebral atherosclerosis 0
HDL-cholesterol -0.01906 Left atrial enlargement 0
Diastolic blood pressure 0.018015 Left ventricular hypertrophy 0
Homocysteine 0.017806 Valvular heart disease 0
2-1. 모델 성능 평가
딥러닝 모델 간의 전반적인 성능과 차별성을 평가하기 위해 각 모델(DeepSurv, DeepSM, CoxPH 및 RSF)의 Ctd 인덱스와 IBS를 계산했다. 도 5에서 확인할 수 있듯이, 개별 뇌 영상을 사용할 수 없는 CoxPH 및 RSF의 기존 생존 모델은 각각 0.8034 (95% CI, 0.7265-0.8672) 및 0.7516(95% CI, 0.6640-0.8328)의 Ctd 지수를 나타냈다. 반면에 딥러닝 모델에 이미지를 추가하면 성능이 향상되었다. 특징 중요도에 따른 상위 5개 임상 정보 세트를 감안할 때 DeepSurv는 이미지가 없을 때 0.8012 (95% CI, 0.7195-0.8669) Ctd 지수를 나타냈다. 그러나, 이미지를 추가하면 0.8290 (95% CI, 0.7583-0.8839)으로 증가했다. 유사하게, 임상 요인에 이미지를 추가하면 DeepSM에서 Ctd 지수가 0.8097 (95% CI, 0.7333-0.8724)에서 0.8240 (95% CI, 0.7534-0.8809)으로 증가했다. 또한 DeepSurv 또는 DeepSM을 사용하여 이미지를 추가했을 때 CoxPH 및 RSF에 대한 성능 향상을 확인했다. 이러한 경향은 임상 정보를 추가해도 지속되었다. 10개의 임상 데이터 값을 사용하여 DeepSurv는 이미지를 사용하지 않을 때 0.8160 (95% CI, 0.7420-0.8801)에서 이미지를 사용했을 때 0.8350 (95% CI, 0.7704-0.8872)으로 Ctd 지수가 증가한 것으로 나타났다. 유사하게, 임상 요인에 이미지를 추가하면 DeepSM에서 Ctd 지수가 0.8080 (95% CI, 0.7338-0.8756)에서 0.8385 (95% CI, 0.7719-0.8944)로 증가했다. 마지막으로 영상을 20가지 임상적 요인과 함께 사용했을 때 DeepSurv와 DeepSM이 각각 0.8389 (95% CI, 0.7680-0.8947)와 0.8449 (95% CI, 0.7800-0.8968)의 가장 좋은 Ctd 지수를 보였다.
전반적인 IBS 성능은 유사한 경향을 보였다. 10개의 임상 데이터 값이 주어지면 DeepSurv는 이미지가 없을 때 0.0652 (95% CI, 0.0497-0.0830)의 성능을 보였다. 그러나, 이미지를 추가하면 성능이 0.0643 (95% CI, 0.0479-0.0820)으로 증가했다. 마찬가지로, DeepSM은 이미지 추가에 따라 IBS 성능을 0.0661 (95% CI, 0.0502-0.0847)에서 0.0635 (95% CI, 0.0475-0.0811)로 높였다. 임상 정보가 추가되었음에도 이러한 경향은 동일하게 유지되었다. Deepsurv는 20개의 임상 데이터 값을 사용하여 이미지를 사용하지 않을 때 0.0647 (95% CI, 0.0488-0.0821)에서 이미지를 사용할 때 0.0637 (95% CI, 0.0482-0.0815)로 성능이 좋아졌다.
2-2. 피쳐 중요도 판별
예측 모델에 사용된 임상 정보의 순위를 순열 특징 중요도 방법을 사용하여 구하였으며, 이를 도 6에 나타내었다. 이미지 기능은 두 번째로 중요한 기능이며 NIHSS는 항상 가장 중요한 영향을 미치는 것으로 나타났다. 처음에는 NIHSS, 스타틴 요법, 연령, 뇌졸중 이전 백혈구 및 다발성 경색 병변이 임상 특징으로 포함되었다. 도 #에 나타나 있듯이, 나이와 스타틴 치료는 NIHSS와 영상 다음으로 중요한 임상 정보이며, 임상 정보가 추가되어도 대부분의 경우 순위가 유지되었다. 둘째, 헤모글로빈, 백혈구, 철 수치, 중성지방, 체질량지수를 추가하였다. 추가된 임상 데이터 값의 효과는 초기 임상 정보에 비해 미미했다. 셋째, 심방세동, 암, 당화혈색소, 트로포닌, TOAST가 추가되었다. 마지막으로 D-이량체, 크레아티닌, 다혈관 협착증, 심실 빈맥 및 혈소판이 추가되었다. 그러나 이 두 단계에 대해 추가된 임상 정보는 이전 단계에 비해 유의미한 영향을 미치지 않았다. 임상 정보의 개수가 5, 10, 15, 20으로 변경되더라도 DeepSurv 및 DeepSM에서 뇌 영상의 특징 중요도는 일관되게 1위를 차지했다.
2-3. 개인화 된 모델 예측 및 이미지의 중요 영역
도 7은 딥러닝 모델의 개인화된 예측과 예측에 사용된 이미지 영역을 보여준다. 모델의 신뢰성을 검증하기 위해 Grad-CAM 방법을 사용하여 예측에 사용된 이미지의 속성 부분을 시각화했다. Grad-CAM은 모델이 초점을 맞추고 예측에 사용한 특정 환자의 뇌 영역을 시각화할 수 있다. 생존 함수는 모델이 각 환자의 위험을 평가하고 MACE가 발생할 날짜를 예측하는 방법을 보여준다. #1 및 #2 환자의 경우 MACE가 실제로 각각 37일째 (혈관 사망) 및 36일째 (재발성 뇌졸중)에 발생했다. 또한, 환자 #3의 경우 마지막 후속 조치까지 이벤트가 발생하지 않았다. 그림 5B와 같이 각 딥 러닝 모델은 MACE가 있는 #1, #2 환자의 생존 함수로 고위험을 예측하고 사건의 실제 날짜를 밀접하게 예측했다. 대조적으로, 피질하 실어증의 증상으로 지표 뇌졸중 후 실제로 MACE를 경험하지 않은 환자 #3은 환자가 노년이고 유사한 임상 중증도 점수 (NIHSS)를 가졌음에도 불구하고 MACE의 위험이 낮을 것으로 예상되었다. 그림 5C는 딥 러닝 모델이 실제로 각 환자의 MACE를 예측하기 위해 이미지를 획득하고 사용하는 방법을 보여준다.
따라서, 본 발명에 따른 딥 러닝 모델은 MACE 예측에 환자의 의미 있고 중요한 병변을 반영하는 것이 확인되었다.

Claims (12)

  1. 컴퓨팅 장치에 의해 임상 정보 및 의료 영상데이터로부터 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하는 방법에 있어서,
    대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 단계;
    미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 단계;
    미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 단계; 및
    생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 단계;를 포함하는, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  2. 제1항에 있어서, 상기 제1예측모델 및 제2예측모델은 심뇌혈관 위험 예측 모델의 하위 모델로 구성되는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  3. 제1항에 있어서, 상기 의료 영상 데이터는,
    MRI의 확산강조영상 (diffusion weighted image; DWI) 데이터를 포함하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  4. 제1항에 있어서, 상기 임상 정보는,
    국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS) 정보를 포함하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  5. 제1항에 있어서, 상기 임상정보는,
    국립보건원 뇌졸중 척도 (National Institutes of Health Stroke Scale; NIHSS) 정보 및 스타틴 투여여부 정보를 포함하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  6. 제1항에 있어서, 상기 제2예측모델은,
    하나 이상의 학습 데이터 및 상기 학습 데이터에 대응되며 주요 심뇌혈관 사건 위험 결과를 포함하는 가이드 라벨에 기초하여 지도학습되며,
    상기 지도학습은 제2예측모델을 이용하여 학습 데이터에 대해 생성한 학습 정보와 가이드 라벨의 비교 결과에 기초하여 수행되는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  7. 제7항에 있어서, 상기 지도학습은,
    상기 학습 정보와 상기 가이드 라벨을 이진 크로스 엔트로피 (Binary Cross-Entropy) 손실함수에 대입하여 계산한 결과값에 기초하여 수행되는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  8. 제1항에 있어서, 상기 제2예측모델은, 하기 수학식 2의 위험 함수를 도출하여, 수학식 3의 생존함수를 도출하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
    [수학식 2]

    (여기서, λ(t|x)는 위험함수로 특정 시간 t에 주요 심뇌혈관 사건이 발생할 확률, λ0(t)는 x를 입력으로 받지 않는 기저 위험 함수, h(x)는 제2예측모델의 출력값으로 각 환자에 대한 로그 위험임)
    [수학식 3]

    (여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, λ(ti|x)는 ti 시간에 환자정보 x가 주어질 때 위험도를 의미함)
  9. 제1항에 있어서, 상기 제2예측모델은,
    수학식 5에 따른 웨이블 분포 형태의 생존함수를 도출하고, K개의 웨이블 분포 (Weibull distribution) 형태의 생존 분포를 결합하여 하기 수학식 6에 따른 생존함수를 도출하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
    [수학식 5]

    (여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수를 의미함)
    [수학식 6]

    (여기서, S(t|x)는 생존함수로 환자정보 x가 주어질때 시간 t보다 오래 생존할 확률, t는 시간, ρ및 λ는 웨이블 분포의 모수, Wk는 k번째 분포의 가중치임)
  10. 제1항에 있어서, 상기 방법은,
    급성 허혈성 뇌졸중 (acute ischemic stroke; AIS)이후 주요 심뇌혈관 사건 위험을 예측하는 것인, 주요 심뇌혈관 사건 위험을 예측하는 방법.
  11. 저장 매체에 저장된 컴퓨터 프로그램으로서, 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 이하의 동작들을 수행하도록 하며, 동작들은: 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하는 생성 동작; 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하는 추출 동작; 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하는 도출 동작; 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는 예측 동작;을 포함하는 것인, 저장 매체에 저장된 컴퓨터 프로그램.
  12. 주요 심뇌혈관 사건 (major adverse cerebro-cardiovascular events; MACE) 위험을 예측하기 위한 컴퓨팅 장치로서, 하나 이상의 코어를 포함하는 프로세서; 및 메모리;를 포함하고, 프로세서는, 대상의 뇌 영상을 포함하는 의료 영상데이터로부터 입력 데이터를 생성하고, 미리 학습된 제1예측모델을 통해 입력 데이터로부터 이미지 피쳐를 추출하고, 미리 학습된 제2예측 모델을 이용하여, 추출된 이미지 피쳐 및 대상의 임상 정보를 기초로 주요 심뇌혈관 사건과 연관된 생존 함수를 도출하고, 및 생존 함수를 기초로 대상의 주요 심뇌혈관 사건의 위험을 예측하는, 컴퓨팅장치.
KR1020220118418A 2022-09-20 2022-09-20 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램 KR20240040159A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220118418A KR20240040159A (ko) 2022-09-20 2022-09-20 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램
PCT/KR2023/009206 WO2024063271A1 (ko) 2022-09-20 2023-06-30 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220118418A KR20240040159A (ko) 2022-09-20 2022-09-20 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램

Publications (1)

Publication Number Publication Date
KR20240040159A true KR20240040159A (ko) 2024-03-28

Family

ID=90454501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220118418A KR20240040159A (ko) 2022-09-20 2022-09-20 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램

Country Status (2)

Country Link
KR (1) KR20240040159A (ko)
WO (1) WO2024063271A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001398B1 (ko) * 2018-01-25 2019-07-18 재단법인 아산사회복지재단 기계학습을 통한 뇌질환 상태변화 예측방법, 장치 및 프로그램
EP3786881A1 (en) * 2019-08-29 2021-03-03 Koninklijke Philips N.V. Image processing for stroke characterization
KR102427749B1 (ko) * 2019-12-30 2022-08-01 (주)아이쿱 심혈관 질환 위험도 예측 방법 및 시스템
KR102456892B1 (ko) * 2020-07-22 2022-10-21 사회복지법인 삼성생명공익재단 머신 러닝 기반의 뇌경색 치료 여부 결정 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
WO2024063271A1 (ko) 2024-03-28

Similar Documents

Publication Publication Date Title
US20210145404A1 (en) Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart
Javeed et al. Heart risk failure prediction using a novel feature selection method for feature refinement and neural network for classification
US11263747B2 (en) Detecting avascular areas using neural networks
Dua et al. A CNN–RNN–LSTM based amalgamation for Alzheimer’s disease detection
Zreik et al. Deep learning analysis of coronary arteries in cardiac CT angiography for detection of patients requiring invasive coronary angiography
US11350888B2 (en) Risk prediction for sudden cardiac death from image derived cardiac motion and structure features
Alqahtani et al. Cardiovascular disease detection using ensemble learning
CN108694994B (zh) 基于栈式自编码器和支持向量机的无创心脏梗死分类模型构建方法
Vasireddi et al. Deep feed forward neural network–based screening system for diabetic retinopathy severity classification using the lion optimization algorithm
Foomani et al. Synthesizing time-series wound prognosis factors from electronic medical records using generative adversarial networks
Reddy et al. Evaluation of deep belief network to predict hospital readmission of diabetic patients
Habibi et al. Estimation of re-hospitalization risk of diabetic patients based on radial base function (RBF) neural network method combined with colonial competition optimization algorithm
Aromiwura et al. Artificial intelligence in cardiac computed tomography
Hampe et al. Deep learning-based detection of functionally significant stenosis in coronary CT angiography
KR20240040159A (ko) 급성 허혈성 뇌졸중 이후 주요 심뇌혈관사건 위험도 예측 방법 및 프로그램
Syed et al. A diagnosis model for detection and classification of diabetic retinopathy using deep learning
YILMAZ et al. A comparative study for the prediction of heart attack risk and associated factors using MLP and RBF neural networks
Xu et al. DeepHealth: Deep representation learning with autoencoders for healthcare prediction
Umoren et al. A New Index for Intelligent Classification of Early Syndromic of Cardiovascular (CVD) Diseases Based on Electrocardiogram (ECG)
de Souza-Filho et al. Deep learning and artificial intelligence in nuclear cardiology
Mane et al. Heart disease prediction using machine learning and neural networks
Bhat et al. Prediction of diabetes mellitus using machine learning
Balabaeva et al. Dynamic features impact on the quality of chronic heart failure predictive modelling
Brown et al. Deep learning for computer-aided diagnosis in ophthalmology: a review
Varma et al. Gender-based Analysis of the Impact of Cardiovascular Disease Using Machine Learning: A Comparative Analysis