KR20220102635A - 심장의 비디오를 사용하여 환자 평가 변수의 예측을 개선시키기 위한 심층 신경망 시스템 및 방법 - Google Patents

심장의 비디오를 사용하여 환자 평가 변수의 예측을 개선시키기 위한 심층 신경망 시스템 및 방법 Download PDF

Info

Publication number
KR20220102635A
KR20220102635A KR1020227020130A KR20227020130A KR20220102635A KR 20220102635 A KR20220102635 A KR 20220102635A KR 1020227020130 A KR1020227020130 A KR 1020227020130A KR 20227020130 A KR20227020130 A KR 20227020130A KR 20220102635 A KR20220102635 A KR 20220102635A
Authority
KR
South Korea
Prior art keywords
diagnosis
apical
view
video
patient
Prior art date
Application number
KR1020227020130A
Other languages
English (en)
Inventor
브랜든 케이 폰월트
크리스토퍼 해거티
알바로 우요아 세르나
크리스토퍼 굿
Original Assignee
가이징거 클리닉
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가이징거 클리닉 filed Critical 가이징거 클리닉
Publication of KR20220102635A publication Critical patent/KR20220102635A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/04—Measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A61B8/065—Measuring blood flow to determine blood output from the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Cardiology (AREA)
  • Quality & Reliability (AREA)
  • Hematology (AREA)
  • Physiology (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

환자에 대한 미리 결정된 시간 기간 동안 임상 평가 변수의 예측된 위험 레벨을 결정하기 위한 방법이 본 개시내용에 의해 제공된다. 방법은 심장의 비디오 프레임을 수신하는 단계 - 비디오 프레임은 환자와 관련됨 -, 환자와 관련된 다수의 변수를 포함하는 전자 건강 기록 데이터를 수신하는 단계, 비디오 프레임 및 전자 건강 기록 데이터를 훈련된 신경망에 제공하는 단계, 훈련된 신경망으로부터 위험 점수를 수신하는 단계, 및 위험 점수에 기초한 보고서를 디스플레이 또는 메모리 중 적어도 하나에 출력하는 단계를 포함한다.

Description

심장의 비디오를 사용하여 환자 평가 변수의 예측을 개선시키기 위한 심층 신경망 시스템 및 방법
관련 출원에 대한 상호 참조
본 출원은 2019년 11월 15일자로 출원된 미국 가출원 제62/936,377호에 대한 우선권의 이익을 주장한다.
본 발명은 심장 해부구조의 분석을 위한 시스템 및 방법에 관한 것이다. 이미징은 대부분의 현대 의학 전문 분야에서 치료 결정에 매우 중요하며 또한 전자 건강 기록(electronic health record)(EHR)에서 가장 데이터가 풍부한 구성요소 중 하나가 되었다. 예를 들어, 심장의 단일 루틴 초음파(심장 초음파) 동안, 심장 해부구조 및 기능을 평가하기 위해 약 10-50개의 비디오(~3,000개 이미지)가 취득된다. 임상 실시에서, 심장 전문의는 실험실 값, 활력 징후, 추가 이미징 연구(방사선 촬영, 자기 공명 이미징, 핵 이미징, 컴퓨터 단층 촬영) 및 기타 진단(예를 들어, 심전도)과 같은 수많은 다른 데이터 스트림의 맥락 내에서 이들 3,000개 이미지를 해석하는 데 10-20분이 걸린다. 이들 수많은 데이터 소스는 보다 정밀하고 정확한 임상 예측에 대한 잠재력을 제공하지만, 인간은 의사 결정에 데이터를 통합할 수 있는 능력이 제한적이다. 따라서, 인공 지능 및 기계 학습과 같은 기술을 활용하여, 이러한 풍부한 데이터를 관리하고 궁극적으로 의사에게 지능적인 컴퓨터 지원을 제공할 필요와 상당한 기회가 있다.
따라서, 의사가 심장 해부구조 및 기능을 평가하는 것을 돕고 미래의 임상 이벤트에 대한 정확한 예측을 제공하기 위해, 심장 비디오, 예를 들어 심장 초음파, 심장 자기 공명 이미징(MRI) 또는 심장 컴퓨터 단층 촬영(CT) 중에 취득한 심장 비디오를 효율적이고 정확하게 분석하기 위한 시스템이 요구된다.
본 개시내용은 의사가 예후 지원을 제공함으로써 심장 해부구조 및 기능을 평가하는 것을 돕기 위해 심장 비디오를 효율적이고 정확하게 분석하기 위한 시스템 및 방법을 포함한다. 더 구체적으로, 본 개시내용은 심장 초음파 비디오 뿐만 아니라 전자 건강 기록(EHR) 데이터를 수신하여 환자의 예상 사망률과 관련된 사망률 위험 점수 또는 레벨을 출력할 수 있는 신경망을 제공한다.
본 개시내용의 일부 실시예는 환자와 관련된 심장의 심장 초음파 비디오를 수신하는 단계, 훈련된 신경망에 심장 초음파 비디오를 제공하는 단계 - 훈련된 신경망은 입력된 심장 초음파 비디오에 기초하여 사망률 위험 점수를 생성하도록 훈련됨 -, 훈련된 신경망으로부터 환자와 관련된 사망률 위험 점수를 수신하는 단계, 및 의료 종사자 또는 건강 관리 관리자가 볼 수 있도록 환자와 관련된 사망률 위험 점수를 메모리 또는 디스플레이 중 적어도 하나에 출력하는 단계를 포함하는 방법을 제공한다.
이 방법에서, 환자와 관련된 사망률 위험 점수는 심장 초음파 비디오가 생성된 시기로부터 미리 결정된 일정 기간 내에 환자가 사망할 가능성을 나타낼 수 있다. 환자와 관련된 사망률 위험 점수는 환자가 미리 결정된 일정 기간 내에 모든 원인으로 사망할 가능성을 나타낼 수 있다.
방법에서, 훈련된 신경망은 복수의 비디오를 포함하는 훈련 데이터세트에 기초하여 훈련될 수 있고, 복수의 비디오의 각각의 비디오는 다수의 심장 초음파 뷰 중에서 선택된 심장 초음파 뷰와 관련되며, 훈련 데이터세트의 적어도 일부는 cMERGE에 따라 명확한 심부전과 관련된다. 다수의 심장 초음파 뷰는 적어도 하나의 심장 초음파 뷰를 포함할 수 있다. 다수의 심장 초음파 뷰는 심첨 2방 뷰, 심첨 3방 뷰, 심첨 4방 뷰, 우심실에 포커싱된 심첨 4방 뷰, 심첨 5방 뷰, 흉골 장축 뷰, 흉골 장하행 대동맥 뷰, 흉골 장형 승모판 뷰, 흉골 장형 폐동맥 판막 뷰, 흉골 장형 우심실 유입 뷰, 흉골 장형 줌 대동맥 판막 뷰, 흉골 단형 대동맥 판막 뷰, 흉골 단형 폐동맥 판막 및 폐동맥 뷰, 흉골 단형 삼첨판 뷰, 단축 심첨 뷰, 단축 베이스 뷰, 단축 중간 유두상 뷰, 늑골하 4방 뷰, 늑골하 간정맥 뷰, 늑골하 심방 중격 뷰, 늑골하 하대정맥 뷰, 늑골하 우심실 뷰, 흉골 상절흔 뷰, 단축 중간 유두상 뷰, 단축 심첨 뷰, 심첨 3방 줌 뷰, 심첨 2방 줌 뷰, 또는 단축 베이스 뷰 중 적어도 하나를 포함할 수 있다. 훈련 데이터세트는 복수의 생존 결과를 더 포함할 수 있고, 복수의 비디오의 각각의 비디오는 복수의 생존 결과에 포함된 생존 결과와 관련된다. 훈련 데이터세트는 전자 건강 기록 데이터세트를 더 포함할 수 있고, 복수의 비디오의 각각의 비디오는 전자 건강 기록 데이터세트의 일부와 관련될 수 있다. 전자 건강 기록 데이터세트는 다수의 환자와 관련될 수 있고 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질, 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함하는 다수의 파라미터의 값을 포함할 수 있다. 전자 건강 기록 데이터세트는 인구학적 파라미터, 활력 파라미터, 실험실 측정 파라미터, 심장 초음파 기반 파라미터, 및 진단 파라미터를 포함하는 다수의 파라미터의 값을 포함할 수 있다. 인구학적 파라미터는 연령, 성별 및 흡연 상태를 포함할 수 있다. 활력 파라미터는 키, 체중, 심장 박동수, 확장기 혈압, 및 수축기 혈압을 포함할 수 있다. 실험실 측정 파라미터는 저밀도 지단백질 레벨과 고밀도 지단백질 레벨을 포함할 수 있다. 심장 초음파 기반 파라미터는 의사-보고된 좌심실 박출률, 대동맥 기능 부전 감속 경사, 대동맥 기능 부전 최대 속도, 대동맥 판막 원위측 유동의 속도-시간 적분, 대동맥 판막 원위측 유동의 최대 속도, 대동맥 판막 원위측 유동의 평균 속도, 대동맥 근부 직경, 상행 대동맥 직경, lv 확장기말 용적: 심첨 2방; 수정된 타원체, lv 확장기말 용적: 심첨 4방; 수정된 타원체, lv 확장기말 용적: 심첨 2방; 단일 평면, lv 확장기말 용적: 심첨 4방; 단일 평면, lv 수축기말 용적: 심첨 2방; 수정된 타원체, lv 수축기말 용적: 심첨 4방; 수정된 타원체, lv 수축기말 용적: 심첨 2방; 단일 평면, lv 수축기말 용적: 심첨 4방; 단일 평면, 확장기말에서 iv 중격 치수, 좌심방 치수, 심첨 2방으로부터 파생된 좌심방 용적; 수정된 타원체, 심첨 4방으로부터 파생된 좌심방 용적; 수정된 타원체, 장애물 근위측 속도-시간 적분, 장애물 근위측 최대 lv 속도, 장애물 근위측 평균 lv 속도, 심첨 2방으로부터 파생된 확장기말에서 lv 영역, 심첨 4방으로부터 파생된 확장기말에서 lv 영역, 심첨 2방으로부터 파생된 수축기말에서 lv 영역, 심첨 4방으로부터 파생된 수축기말에서 lv 영역, 확장기말에서 lv 내부 치수, 수축기말에서 lv 내부 치수, 심첨 2방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 2방으로부터 파생된 수축기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 수축기말에서 lv 장축 길이, lv 유출로 영역, lv 유출로 직경, 확장기말에서 lv 후방 벽 두께, 승모판 역류 최대 속도, 승모판 유동의 a-지점 최대 속도, 승모판 유동의 e-지점 최대 속도, 승모판 유동의 최대 속도, 승모판 감속 경사, 승모판 감속 시간, 폐동맥 판막 원위측 유동의 최대 속도, 폐동맥 가속 경사, 폐동맥 가속 시간, 폐 r-r 시간 간격, 우심방 수축기말 평균 압력, 확장기말에서 우심실 치수, 삼첨판 역류 최대 속도, 대동맥 판막 역류, 승모판 역류, 삼첨판 판막 역류, 폐 판막 역류, 대동맥 판막 협착, 승모판 협착, 삼첨판 협착, 폐 판막 협착, 및 의사-보고된 확장기 기능을 포함할 수 있다. 진단 파라미터는, 급성 류마티스열의 진단, 만성 류마티스 심장 질환의 진단, 고혈압 질환의 진단, 허혈성 심장 질환의 진단, 폐 심장 질환 및 폐 순환 질환의 진단, 급성 심낭염의 진단, 기타 형태의 심장 질환의 진단, 급성 심근염의 진단, 심근병증의 진단, 심정지의 진단, 발작성 빈맥의 진단, 심방세동의 진단, 심부전의 진단, 뇌혈관 질환의 진단, 동맥, 소동맥 및 모세혈관의 질환의 진단, 정맥, 림프관 및 림프절의 질환의 진단, 저혈압의 진단, 순환계의 기타 및 불특정 장애의 진단, 당뇨병의 진단, 선천성 심장 결함의 진단, 이상지질혈증의 진단, 및 만성 신장 질환의 진단을 포함할 수 있다.
방법은 환자와 관련된 전자 건강 기록 정보를 수신하는 단계, 및 훈련된 신경망에 전자 건강 기록 정보를 제공하는 단계를 더 포함할 수 있으며, 훈련된 신경망은 입력된 전자 건강 기록 정보에 기초하여 사망률 위험 점수를 생성하도록 추가로 훈련된다. 전자 건강 기록 정보는 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질, 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함하는 다수의 파라미터의 값을 포함할 수 있고, 이 값은 환자와 관련된다. 전자 건강 기록 정보는 인구학적 파라미터, 활력 파라미터, 실험실 측정 파라미터, 심장 초음파 기반 파라미터, 및 진단 파라미터를 포함하는 다수의 파라미터의 값을 포함할 수 있다. 인구학적 파라미터는 연령, 성별 및 흡연 상태를 포함할 수 있다. 활력 파라미터는 키, 체중, 심장 박동수, 확장기 혈압, 및 수축기 혈압을 포함할 수 있다. 실험실 측정 파라미터는 저밀도 지단백질 레벨과 고밀도 지단백질 레벨을 포함할 수 있다. 심장 초음파 기반 파라미터는 의사-보고된 좌심실 박출률, 대동맥 기능 부전 감속 경사, 대동맥 기능 부전 최대 속도, 대동맥 판막 원위측 유동의 속도-시간 적분, 대동맥 판막 원위측 유동의 최대 속도, 대동맥 판막 원위측 유동의 평균 속도, 대동맥 근부 직경, 상행 대동맥 직경, lv 확장기말 용적: 심첨 2방; 수정된 타원체, lv 확장기말 용적: 심첨 4방; 수정된 타원체, lv 확장기말 용적: 심첨 2방; 단일 평면, lv 확장기말 용적: 심첨 4방; 단일 평면, lv 수축기말 용적: 심첨 2방; 수정된 타원체, lv 수축기말 용적: 심첨 4방; 수정된 타원체, lv 수축기말 용적: 심첨 2방; 단일 평면, lv 수축기말 용적: 심첨 4방; 단일 평면, 확장기말에서 iv 중격 치수, 좌심방 치수, 심첨 2방으로부터 파생된 좌심방 용적; 수정된 타원체, 심첨 4방으로부터 파생된 좌심방 용적; 수정된 타원체, 장애물 근위측 속도-시간 적분, 장애물 근위측 최대 lv 속도, 장애물 근위측 평균 lv 속도, 심첨 2방으로부터 파생된 확장기말에서 lv 영역, 심첨 4방으로부터 파생된 확장기말에서 lv 영역, 심첨 2방으로부터 파생된 수축기말에서 lv 영역, 심첨 4방으로부터 파생된 수축기말에서 lv 영역, 확장기말에서 lv 내부 치수, 수축기말에서 lv 내부 치수, 심첨 2방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 2방으로부터 파생된 수축기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 수축기말에서 lv 장축 길이, lv 유출로 영역, lv 유출로 직경, 확장기말에서 lv 후방 벽 두께, 승모판 역류 최대 속도, 승모판 유동의 a-지점 최대 속도, 승모판 유동의 e-지점 최대 속도, 승모판 유동의 최대 속도, 승모판 감속 경사, 승모판 감속 시간, 폐동맥 판막 원위측 유동의 최대 속도, 폐동맥 가속 경사, 폐동맥 가속 시간, 폐 r-r 시간 간격, 우심방 수축기말 평균 압력, 확장기말에서 우심실 치수, 삼첨판 역류 최대 속도, 대동맥 판막 역류, 승모판 역류, 삼첨판 판막 역류, 폐 판막 역류, 대동맥 판막 협착, 승모판 협착, 삼첨판 협착, 폐 판막 협착, 및 의사-보고된 확장기 기능을 포함할 수 있다. 진단 파라미터는, 급성 류마티스열의 진단, 만성 류마티스 심장 질환의 진단, 고혈압 질환의 진단, 허혈성 심장 질환의 진단, 폐 심장 질환 및 폐 순환 질환의 진단, 급성 심낭염의 진단, 기타 형태의 심장 질환의 진단, 급성 심근염의 진단, 심근병증의 진단, 심정지의 진단, 발작성 빈맥의 진단, 심방세동의 진단, 심부전의 진단, 뇌혈관 질환의 진단, 동맥, 소동맥 및 모세혈관의 질환의 진단, 정맥, 림프관 및 림프절의 질환의 진단, 저혈압의 진단, 순환계의 기타 및 불특정 장애의 진단, 당뇨병의 진단, 선천성 심장 결함의 진단, 이상지질혈증의 진단, 및 만성 신장 질환의 진단을 포함할 수 있다.
방법에서, 환자와 관련된 심장의 심장 초음파 비디오는 단일 심장 초음파 뷰와 관련될 수 있다. 단일 심장 초음파 뷰는 흉골 장축 뷰일 수 있다.
방법은 사망률 위험 점수에 기초하여 보고서를 생성하는 단계를 더 포함할 수 있으며, 보고서는 환자에 대한 잠재적 치료에 관한 정보 또는 환자에 대한 잠재적 치료에 관한 정보에 대한 링크 중 적어도 하나를 포함하고, 환자에 대한 잠재적 치료는 심장 이식, 기계적 지지 디바이스의 이식, 제세동기 배치, 완화 치료, 또는 호스피스 중 적어도 하나를 포함한다.
방법에서, 환자와 관련된 사망률 위험 점수는 의료 종사자 또는 건강 관리 관리자가 환자에 대한 잠재적 치료에 관한 결정을 내리도록 의료 종사자 또는 건강 관리 관리자에게 충분한 정보를 제공할 수 있으며, 잠재적 치료는 심장 이식, 기계적 지지 디바이스의 이식, 제세동기 배치, 완화 치료, 또는 호스피스 중 적어도 하나를 포함한다. 결정은 치료에 대한 적격성일 수 있다.
본 개시내용의 일부 실시예는 시스템을 제공한다. 시스템은 명령을 포함하는 적어도 하나의 메모리에 결합된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 명령을 실행하여 환자와 관련된 심장의 심장 초음파 비디오를 수신하고, 훈련된 신경망에 심장 초음파 비디오를 제공하며 - 훈련된 신경망은 입력된 심장 초음파 비디오에 기초하여 사망률 위험 점수를 생성하도록 훈련됨 -, 훈련된 신경망으로부터 환자와 관련된 사망률 위험 점수를 수신하고, 의료 종사자 또는 건강 관리 관리자가 볼 수 있도록 환자와 관련된 사망률 위험 점수를 메모리 또는 디스플레이 중 적어도 하나에 출력한다.
시스템에서, 적어도 하나의 프로세서는 추가로 명령을 실행하여 환자와 관련된 전자 건강 기록 정보를 수신하고, 전자 건강 기록 정보를 훈련된 신경망에 제공할 수 있으며, 훈련된 신경망은 입력된 전자 건강 기록 정보에 기초하여 사망률 위험 점수를 생성하도록 추가로 훈련되고, 전자 건강 기록 정보는, 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백, 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함하는 다수의 파라미터의 값을 포함한다.
전술한 목적 및 관련된 목적을 달성하기 위해, 본 발명은 이하에서 충분히 설명되는 특징을 포함한다. 아래의 설명 및 첨부 도면은 본 발명의 특정 예시적인 양태를 상세히 설명한다. 그러나, 이들 양태는 본 발명의 원리가 채용될 수 있는 다양한 방식 중 일부만을 나타낸다. 본 발명의 다른 양태, 이점 및 신규한 특징은 도면과 함께 고려될 때 본 발명의 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 심장 초음파 비디오와 전자 건강 기록(EHR) 데이터로부터 사망률을 예측하기 위한 신경망 아키텍처이다.
도 2는 심장 초음파 검사 뷰 단독에 대한 1년 사망률 예측 성능 순위이다.
도 3은 4가지 상이한 신경망 아키텍처를 갖는 모든 뷰에 걸쳐 1년 사망률 예측에 대한 곡선 아래 면적(areas under the curve)(AUC)으로서 정량화된 모델 성능의 그래프이다.
도 4는 네이티브(x1)에서 4배(x4)에 이르는 다양한 레벨의 감소된 해상도를 갖는 모든 뷰에 걸쳐 1년 사망률 예측의 AUC 그래프이다.
도 5는 모든 뷰에 대해 3, 6, 9 및 12개월에 심장 초음파 비디오 단독에 대한 사망률 예측 성능의 그래프이다.
도 6a는 기계와 비교한 2명의 심장 전문의에 대한 정확도 백분율의 그래프이다.
도 6b는 예측 성능을 입증하는 2명의 심장 전문의 및 기계에 대한 수신기 작동 특성 곡선이다.
도 7은 전체 EHR 변수 더하기 비디오 모델과 비교한 전체(158개) EHR 변수 모델에 대한 학습 곡선의 그래프이다.
도 8a는 예시적인 원시 비디오이다.
도 8b는 예시적인 주석이 달린 비디오이다.
도 9는 3, 6, 9 및 12개월의 추적 관찰이 필요한 실험의 환자 수에 대한 플롯이다.
도 10은 원시 비디오(청색) 대 광학 유동 피처가 있는 원시 비디오(회색)만을 사용한 모든 심장 초음파 뷰에 대한 1년 사망률 예측 성능 순위의 그래프이다.
도 11은 심장 초음파 검사 후 1년 생존을 예측하기 위해 심장 전문의를 위해 개발된 웹 애플리케이션의 인터페이스이다.
도 12는 심장 초음파 데이터 뿐만 아니라 EHR 데이터에 기초하여 미리 결정된 시간 기간(즉, 1년) 동안 환자의 모든 원인 사망률을 예측하는 예시적인 프로세스이다.
도 13은 전술한 개시내용을 구현하기 위한 예시적인 시스템이다.
도 14는 제1 조사를 위한 예시적인 인터페이스이다.
도 15는 페어링 조사를 위한 인터페이스이다.
도 16은 제3 조사의 모델 지원 부분에 대한 인터페이스이다.
도 17은 예시적인 제1 모델 및 예시적인 제2 모델이다.
도 18은 예시적인 제3 모델 및 예시적인 제4 모델이다.
도 19는 예시적인 훈련된 모델이다.
도 20은 미리 결정된 시간 기간 동안 환자의 모든 원인 사망률과 같은 관련 임상 평가 변수(clinical endpoint)를 예측하기 위한 또 다른 예시적인 프로세스이다.
본 발명은 다양한 수정 및 대안적 형태가 가능하지만, 그 특정 실시예는 도면에 예로서 도시되었고 본 명세서에서 상세히 설명된다. 그러나, 본 명세서에서 특정 실시예에 대한 설명은 본 발명을 개시된 특정 형태로 제한하도록 의도되지 않고, 그와 반대로, 첨부된 청구범위에 의해 한정된 본 발명의 사상 및 범위 내에 속하는 모든 수정, 균등물, 및 대안을 포괄하도록 의도됨을 이해하여야 한다.
이제, 본 발명의 다양한 양태가 첨부 도면을 참조하여 설명된다. 그러나, 이에 관한 도면 및 이하의 상세한 설명은 청구된 주제를 개시된 특정 형태로 제한하도록 의도되지 않음을 이해하여야 한다. 오히려, 그 의도는 청구된 주제의 사상 및 범위 내에 속하는 모든 수정, 등가물 및 대안을 포괄하는 것이다.
본 명세서에 사용될 때, "구성요소", "시스템" 등의 용어는 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행 중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하도록 의도된다. 예를 들어, 구성요소는 프로세서에서 실행되는 프로세스, 프로세서, 개체, 실행 파일, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만 이에 제한되지 않는다. 예시로서, 컴퓨터에서 실행되는 애플리케이션과 컴퓨터는 모두 구성요소가 될 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며 구성요소는 하나의 컴퓨터에 국소화되고 및/또는 2개 이상의 컴퓨터 또는 프로세서 사이에 분산될 수 있다.
"예시적인"이라는 단어는 본 명세서에서 예, 사례 또는 예시의 역할을 것을 의도하도록 사용된다. 본 명세서에서 "예시적인" 것으로 설명된 임의의 양태 또는 설계는 반드시 다른 양태 또는 설계보다 바람직하거나 유리한 것으로 해석되어서는 안된다.
더욱이, 개시된 주제는 본 명세서에 상세히 설명된 양태를 구현하기 위해 컴퓨터 또는 프로세서 기반 디바이스를 제어하도록 소프트웨어, 펌웨어, 하드웨어, 또는 그 임의의 조합을 생성하기 위해 프로그래밍 및/또는 공학 기술을 사용하여 시스템, 방법, 장치, 또는 제조 물품으로서 구현될 수 있다. 본 명세서에 사용된 용어 "제조 물품"(또는 대안적으로 "컴퓨터 프로그램 제품")은 임의의 컴퓨터 판독 가능 디바이스, 캐리어 또는 매체로부터 액세스 가능한 컴퓨터 프로그램을 포함하도록 의도된다. 예를 들어, 컴퓨터 판독 가능 매체는 자기 저장 디바이스(예를 들어, 하드 디스크, 플로피 디스크, 자기 스트립), 광학 디스크(예컨대, 콤팩트 디스크(compact disk)(CD), 디지털 다용도 디스크(digital versatile disk)(DVD)), 스마트 카드, 및 플래시 메모리 디바이스(예컨대, 카드, 스틱)를 포함할 수 있지만 이에 제한되지 않는다. 추가적으로, 반송파는 전자 메일을 송수신하는 데에 또는 인터넷 또는 로컬 영역 네트워크(local area network)(LAN)와 같은 네트워크에 액세스하는 데에 사용되는 것과 같은 컴퓨터 판독 가능 전자 데이터를 운반하도록 채용될 수 있음을 이해하여야 한다. 일시적인 컴퓨터 판독 가능 매체(반송파 및 신호 기반)는 전술한 것과 같은 비일시적인 컴퓨터 판독 가능 매체와 별개로 고려되어야 한다. 물론, 본 기술 분야의 숙련자는 청구된 주제의 범위 또는 사상을 벗어나지 않고 이 구성에 대해 많은 수정이 이루어질 수 있음을 인식할 것이다.
이하, 달리 명시되지 않는 한, 다음 용어 및 문구는 설명된 바와 같이 본 개시내용에서 사용될 것이다. "제공자"라는 용어는 본 명세서에 개시된 전체 시스템을 작동시키는 엔티티를 지칭하는 데 사용되며, 대부분의 경우, 서버를 실행하고 데이터베이스를 유지하며, 새로운 데이터 유형, 새로운 의료 및 치료 통찰력 및 기타 요구 사항을 수용하기 위해 개시된 시스템을 구성, 유지 및 순응하는 데 필요한 많은 상이한 기술 세트를 갖는 사람을 채용하는 회사 또는 다른 엔티티를 포함할 것이다. 예시적인 제공자 직원은 연구원, 임상 시험 설계자, 종양 연구자, 신경과 의사, 정신과 의사, 데이터 과학자, 및 기타 전문 기술 세트를 갖는 많은 다른 사람을 포함할 수 있다.
"의사"라는 용어는 일반적으로 특히 1차 진료 의사, 의료 전문의, 종양 연구자, 신경과 의사, 간호사, 및 의료 보조원을 포함하지만 이에 제한되지 않는 임의의 건강 관리 제공자를 지칭하는 데 사용된다.
"연구원"이라는 용어는 일반적으로 방사선 전문의, 데이터 과학자 또는 기타 건강 관리 제공자를 포함하지만 이에 제한되지 않는 연구를 수행하는 임의의 사람을 지칭하는 데 사용될 것이다. 한 사람은 의사이자 연구원일 수 있고 다른 사람은 단순히 이러한 능력 중 하나로 운영할 수 있다.
"심층" 학습(심층 신경망; DNN) 기술; 예컨대, 대규모 병렬 계산 하드웨어(그래픽 처리 유닛)와 함께, 합성곱 신경망(Convolutional Neural Network)(CNN), 순환 신경망(Recurrent Neural Network)(RNN), 드롭아웃 정규화(Dropout Regularization), 및 적응형 경사 하강 알고리즘의 최신 발전은 이미지, 시계열, 및 비디오 기반 데이터에 대한 최신 기술 예측 모델을 가능하게 하였다. 예를 들어, DNN은 당뇨병성 망막증, 피부암, 폐결절, 뇌 미세출혈, 및 심장 비대의 병인과 같은 진단 용례에서 가능성을 보여주었다. 그러나, 기계 학습의 기회는 이러한 진단 작업에만 제한되지 않는다.
예를 들어, 미래의 임상 이벤트에 대한 예측은 자연스럽지만 의학에서 기계 학습의 상대적으로 탐구되지 않은 연장이다. 거의 모든 의료 결정은 정확한 예측에 의존한다. 유사한 증상을 보이는 환자의 통상적인 미래 임상 경과를 확립하는 데 도움을 주기 때문에 환자에게 진단이 제공되고, 예측된 미래의 임상 경과에 긍정적인 영향을 미칠 수 있는 방법의 예측으로서 치료가 제공된다. 따라서, 컴퓨터 기반 방법을 사용하여 미래의 임상 이벤트를 직접 예측하는 것은 이 문제의 고유 복잡성으로 인해 컴퓨터가 사람의 해석을 도울 수 있는 중요한 작업이다. 예를 들어, 216,221명의 환자를 대상으로 한 최근 논문에서는 랜덤 포리스트 모델이 어떻게 병원 내 사망률을 높은 정확도로 예측할 수 있는 지를 입증하였다. 최근에 심층 학습 모델을 사용하여 입원 환자의 사망률 위험을 예측하여 완화 치료 의뢰를 보조하였다. 심장학에서, 전자 건강 기록으로부터 파생된 변수를 사용하여 관상 동맥 컴퓨터 단층 촬영을 받은 환자의 2 내지 5년 모든 원인 사망률, 일반 임상 모집단에서 5년 심혈관 사망률, 심장 초음파 검사를 받은 환자의 최대 5년 모든 원인 사망률을 예측하였다.
특히, 심장학에서의 이러한 초기 결과 예측 연구는 원시 이미지 데이터를 자동으로 분석하는 것과는 달리 이미징으로부터 인간-파생된, 즉, "손으로 만든" 피처를 독점적으로 사용하였다. 이렇게 손으로 만든 피처를 사용하는 것이 중요하지만, 사람의 의견에 치우치지 않고 사람의 인식, 패턴 인식에서의 사람의 능력 및 노력에 의해 제한되지 않는 접근법이 더 강력할 수 있다. 즉, 몇 가지 선택된 임상 또는 임상적으로 탁월한 측정보다는 이미지에서 이용 가능한 모든 데이터를 활용하는 자동화된 분석에 강력한 잠재력이 있다. 더욱이, 심장 초음파에 대한 이 접근법의 잠재적인 이점은 풍부한 시간(비디오) 데이터의 추가 가용성에 의해 개선될 수 있다. DNN은 이러한 독특한 접근법을 가능하게 한다. 그러나, 비디오 데이터를 사용하면 또한 기술 복잡성이 증가되어, 심층 학습을 심장 초음파 검사에 적용하려는 초기 노력은 전체 비디오보다 개별 이미지를 수집하는 데 중점을 두었다.
본 개시내용에서, DNN은 우수한 정확도로 심장 초음파 비디오로부터 직접 1년 사망률을 예측할 수 있고 이 정확도는 전자 건강 기록으로부터 추가 임상 변수를 통합함으로써 개선될 수 있음을 나타낸다. 이는 전체 심장 초음파 비디오를 활용하여 3차원 DNN을 사용하여 예측하는 기술 발전을 통해 수행된다. 이러한 기술적 발전 외에도, 2명의 전문 심장 전문의에 비교하여 DNN이 1년 사망률을 예측하는 데 더 정확하다는 것을 보여줌으로써 직접적인 임상 관련성이 입증되었다.
결과
이 연구에서는 완전한 3D 합성곱 신경망(CNN) 설계를 이용한다(도 1). CNN은 완전히 연결된 네트워크가 학습해야 하는 파라미터의 개수를 크게 감소시키기 위해 이미지의 공간 결맞음(spatial coherence)을 활용하는 신경망이다. CNN은 이미지 분류 작업에서 심지어 인간의 능력을 능가하는 가능성을 보여주었다. 시도된 추가 모델 아키텍처(시간-분산 2D CNN + 장단기 메모리 네트워크(long short term memory network)[LSTM]를 포함)에 대한 세부 사항이 방법에서 설명된다.
도 1은 심장 초음파 비디오와 전자 건강 기록(EHR) 데이터로부터 사망률을 예측하기 위한 신경망 아키텍처(10)이다. 합성곱 층(Conv)은 실선 윤곽으로 상단 상자에 도시되고 표 형식의 EHR 데이터 층(Tab)은 점선 윤곽으로 하단 상자에 도시되어 있다. 합성곱 층은 합성곱 신경망(CNN), 배치 정규화(Batch Norm.), 정류 선형 유닛(rectified linear unit)(ReLU) 및 3차원 최대 풀링 층(3D Max Pool)으로 구성된다. 표 형식 층은 시그모이드 활성화가 있는 완전 연결 층(조밀)과 드롭아웃 층으로 구성된다. 입력 비디오 치수는 150 x 109 x 60 픽셀이었고, 모든 층의 출력 치수가 도시되어 있다. 사망률 예측은 환자의 예측된 사망률과 관련된 위험 점수로서 출력된다.
27,028명의 환자로부터 임상적으로 취득한 723,754개의 심장 초음파 비디오(약 4,500만개의 이미지)를 취득했으며, 이 비디오는 해당 시간 프레임 내에 환자가 살았는지 사망했는 지를 알기 위해 적어도 1년의 종단 추적 관찰 데이터에 연결되었다. 전반적으로, 이 동연령군의 환자 중 16%는 심장 초음파를 취득한 후 1년 이내에 사망하였다. 방법에 상세히 설명된 검정력 계산(power calculation)에 기초하여, 600명의 환자로부터 데이터를 분리하여 2명의 독립적인 심장 전문의에 대해 검증 및 비교하고 나머지 데이터를 5중 교차 검증 계획에 사용하였다.
심장 초음파의 취득(또는 심장 MRI 또는 CT를 사용하여 생성된 비디오를 포함하지만 이에 제한되지 않는 심장의 임의의 다른 의료 비디오 취득) 동안, 심장 및 큰 혈관의 이미지는 임상 지침에 따라 표준화된 상이한 2차원 평면, 또는 "뷰"에서 취득된다. 21개의 표준 심장 초음파 뷰 각각에 대해 별개의 모델이 생성되었으며 제안된 모델은 원시 비디오 데이터만 입력으로서 사용하여 1년 생존을 정확하게 예측할 수 있음을 보여주었다(도 2). 선택한 3D CNN 아키텍처(AUC 범위: 0.695-0.784)는 대부분의 뷰에서 2D CNN + LSTM 아키텍처(AUC 범위: 0.703-0.752)를 능가하였다. 두 경우 모두, 흉골 장축("PL DEEP") 뷰가 최고의 성능을 보였다. PL DEEP 뷰는 통상적으로 심장 전문의가 전반적인 심장 건강에 대한 가장 유익한 "요약" 뷰로 보고하기 때문에 이 결과는 임상 직관과 일치하였다. 이는 PL DEEP 뷰가 좌심실, 좌심방, 우심실, 대동맥 판막 및 승모판의 요소를 포함하고 심막 또는 좌측 흉막 삼출의 유무가 단일 뷰 내에 모두 있기 때문이다.
도 2는 2D CNN + LSTM 아키텍처(회색) 및 3D CNN(청색) 모델을 사용하여 각각의 심장 초음파 검사 뷰 단독(EHR 데이터 없음)에 대한 1년 사망률 예측 성능 순위이다. 오류 막대는 5개 접힘에 걸쳐 평균 위아래에 있는 하나의 표준 편차를 나타낸다. 모든 뷰 라벨 약어는 아래 표 1을 참조한다.
Figure pct00001
Figure pct00002
이들 결과는 이미지 해상도에 상대적으로 둔감하였다(전체 네이티브 해상도 이미지(400 x 600 픽셀)를 사용하는 모델과 감소된 해상도 이미지(100 x 150 픽셀)를 사용하는 모델 간에는 큰 차이가 관찰되지 않았다; 도 4). 도 4는 네이티브(x1)에서 4배(x4)에 이르는 다양한 레벨의 감소된 해상도를 갖는 모든 뷰에 걸쳐 1년 사망률 예측의 AUC 그래프이다. 유사하게, 픽셀 레벨 데이터와 함께 모델에 파생된 광학 유속 맵을 추가해도 예측 정확도가 개선되지 않았다(도 10). 도 10은 원시 비디오(청색) 대 광학 유동 피처가 있는 원시 비디오(회색)만을 사용한 모든 심장 초음파 뷰에 대한 1년 사망률 예측 성능 순위의 그래프이다. 전체 네이티브 해상도 훈련은 이 해상도에서 실험을 완료하는 데 필요한 계산 시간으로 인해 선택 뷰에 대해서만 수행되었다는 점이 유의된다.
다음으로, 심장 초음파 검사 후 3, 6, 9, 12개월 간격을 포함하여 추가 생존 간격에서 모델의 예측 정확도를 조사하였다. 모델은 일반적으로 더 긴 간격에서 더 잘 수행되었지만, 모든 경우에 대한 AUC는 0.64보다 컸다(도 5).
도 5는 모든 뷰에 대해 3, 6, 9 및 12개월에 심장 초음파 비디오 단독에 대한 사망률 예측 성능의 그래프이다. 오류 막대는 5개 접힘에 걸쳐 평균 위아래에 있는 하나의 표준 편차를 나타낸다.
그 후, 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질(low density lipoprotein)[LDL], 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함하는 임상("EHR") 변수가 각각의 환자로부터 선택된다. 이들 10개의 변수는 이전에 171,510명의 환자에서 1년 생존을 예측하는 검정력의 >95%를 함유하고 그 추가는 모든 심장 초음파 뷰에 대해 1년 생존을 예측하는 정확도를 개선시킨 것으로 나타났으며, AUC 범위는 0.79-0.82(이들 10개의 EHR 변수가 없는 경우 0.70-0.78와 비교)이다. 다음으로, 임상 결과에 대해 눈이 멀었던 2명의 독립적인 심장 전문의 심장 초음파 전문의에게 10개의 선택된 EHR 변수와 함께 관심 심장 초음파 비디오를 디스플레이하는 데 사용되는 소프트웨어 플랫폼이 개발되었다(아래 "방법" 참조). 심장 전문의는 제시된 데이터에 기초하여 600명의 환자 각각(흉골 장축 뷰의 원본 데이터세트로부터 무작위로 추출되고 기계 훈련에 사용되지 않은 독립 테스트 세트)이 1년 동안 생존할 것인지를 평가하였다. 훈련된 최종 모델(이들 600개를 제외한 모든 모델에서 훈련)도 동일한 독립 테스트 세트에 적용되었다.
모델의 전체 정확도(75%)는 심장 전문의의 정확도(56% 및 61%, 본페로니 조절 사후 분석에 의한 p = 4.2 x 10-11 및 6.9 x 10-7, 도 6a)보다 훨씬 높았다. 심장 전문의는 생존 가능성을 과대평가하는 경향이 있어 높은 특이성(각각 97% 및 91%)을 산출하지만 열악한 민감도(각각 16% 및 31%)를 산출하는 것으로 밝혀진 반면, 모델은 설계상 균형 잡힌 민감도와 특이성(양자 모두 75%)을 산출한다. 또한, 도 6b에서 입증된 바와 같이, 개별 심장 전문의에 대한 작동 지점은 모델의 수신기 작동 특성 곡선 아래로 떨어졌으며(동일한 곡선의 상이한 지점에서 떨어지는 것과 달리), 이 작업에서 열등한 예측 성능을 시사한다.
도 6a 및 도 6b는 균형 잡힌 유병률을 갖는 600개 샘플의 조사 데이터세트로부터 1년 사망률 예측에 대한 심장 전문의 대 기계 성능의 그래프이다. 도 6a는 각각의 심장 전문의와 기계의 정확도 백분율을 나타내고, 도 6b는 각각의 심장 전문의 및 기계에 대한 민감도 대 특이성을 나타낸다. 도 6a는 막대의 정확도와 민감도(적색) 및 특이성(녹색)을 삼각형으로 나타낸다. 도 6b는 심장 전문의의 작동 지점을 주황색 점으로, 기계 성능을 위한 수신기 작동 특성 곡선은 청색으로, 기계 작동 지점은 청색 점으로 나타낸다.
임상 전문가 비교를 위해 선택된 제한된 입력을 넘어, 본 발명자는 데이터 입력 제한에 의해 제약을 받지 않는 모델 성능을 추가로 특성화하려고 하였다. 즉, 구조화된 데이터(없음, 제한된 세트[상위 10개의 EHR 변수], 전체 세트[아래 "방법"에 설명된 바와 같이 158개 EHR 변수) 및 심장 초음파 비디오(없음, 단일 뷰, 모두 21개 뷰)의 입력 조합을 순열하는 추가 실험이 완료되었다. 비디오가 없는 모델은 구조화된 심장 초음파 측정 데이터베이스(501,449개의 유효한 연구)에서 사용 가능한 모든 데이터를 사용하여 훈련된 반면, 비디오가 있는 모델은 단일 비디오의 경우 11,020 내지 22,407개 및 조합된 26,428개의 각각의 뷰에 대해 사용 가능한 모든 비디오로 훈련되었다. 모든 경우에, 테스트 세트는 임상 전문가 비교를 위해 남겨진 600명의 환자였다.
아래의 표 2는 전체 EHR 변수 세트와 조합된 모든 비디오가 600명 연구의 남겨진 테스트 세트에서 가장 높은 AUC를 가짐을 보여주며, 이미 임상적으로 우수한 모델의 성능을 더욱 개선시킬 수 있는 가능성을 입증한다. 몇 가지 일반적인 경향도 지적되었다. 첫째, 단일 비디오 뷰는 10개의 EHR 변수를 입력으로서 포함하는 모델을 능가하였다. 둘째, 다수의 비디오는 단일 비디오보다 더 높은 성능을 보였다. 셋째, 다중 비디오 예측에 대한 학습 곡선(도 7)은, 방대한 데이터세트(26,428개의 심장 초음파 비디오)에 액세스할 수 있음에도 불구하고, 더 많은 샘플이 다중 비디오 예측에 대해 훨씬 더 높은 성능을 초래할 가능성이 있음을 입증하였다. 이와 달리, 전체 EHR 플러스 비디오 모델보다 일관되게 낮은 전체 EHR 데이터 전용 모델의 성능은 정체되기 시작하였다. 따라서, 심장 초음파 비디오를 포함하는 새로운 다중 모드 DNN 접근법은 EHR 데이터만 사용하여 달성될 수 있는 것(비디오로부터 사람에 의해 파생된 손으로 제조된 피처 포함)과 비교하여 이 임상 예측 작업에 대해 개선된 성능을 제공한다.
Figure pct00003
표 2는 심장 전문의와 비교하는 데 사용된 600개의 누락된 연구에 대한 EHR 및 에코 비디오 데이터의 각각의 데이터 양식 조합에 대한 AUC 점수를 나타낸다. "비디오 없음" 모델은 사용 가능한 모든 연구에서 훈련된 반면, "단일 비디오" 및 "모든 비디오"는 비디오 데이터를 사용할 수 있는 서브세트에서 훈련되었다. EHR 변수 없음 및 비디오 없음 셀은 무작위 추측을 나타낸다.
도 7은 전체 EHR 변수 더하기 비디오와 비교한 전체(158) EHR 변수 모델에 대한 학습 곡선의 그래프이다. AUC는 훈련 세트 크기의 함수로서 600명의 환자 세트에 대해 보고되며, 10에서 주어진 데이터 입력에 사용할 수 있는 최대 데이터세트 개수에 이르며, 이는 EHR 변수의 경우 501,449개이고 전체 EHR+비디오의 경우 26,428개이었다.
DNN이 원시 비디오 데이터와 전자 건강 기록에서 추출한 관련 임상 데이터를 모두 사용하여 임상적으로 관련된 평가 변수, 예를 들어 심장 초음파 검사 후 사망률을 심장 전문의가 예측하는 데 도움이 될 가능성이 입증되었다. DNN을 훈련하기 위해, ~4,500만 개의 이미지로 구성된 심장의 임상적으로 취득한 723,754개 비디오의 데이터세트가 활용되었다. 제한된 모델 입력으로도 1년 생존을 구별하는 DNN의 능력은 훈련된 심장 전문의의 능력을 능가하는 것으로 나타났으며, 이는 이러한 모델이 표준 임상 해석 이상의 가치를 추가할 수 있음을 시사한다. 본 발명자가 아는 한, 이미지 픽셀 레벨 데이터로부터 직접 미래의 임상 관련 이벤트를 예측하기 위해 심층 신경망을 훈련시키는 능력을 입증한 선행 연구는 없다. 추가 실험에서는 더 많은 EHR 변수를 통합하고, 동시에 모든 심장 초음파 검사 뷰를 사용하며, 모델 훈련을 위해 더 많은 데이터를 활용함으로써 더 중요한 성능 개선을 달성할 수 있는 기회가 입증되었다.
1년 모든 원인 사망률은 이 초기 작업의 타당성을 입증하기 위해 매우 중요하고 쉽게 측정된 임상 결과로서 선택되었다. 중요하게, 모든 원인 사망률은 심혈관 특정 사망률과 같은 평가 변수에 도입될 수 있는 편향 없이 잘 정의된 평가 변수이며, 국가 사망 지수 데이터베이스에 대해 검증된 EHR로부터 쉽게 추출될 수 있다. 더욱이, 사망률 예측은 현재 임상적으로 사용되는 다수의 임상 위험 점수(프레이밍햄(Framingham), TIMI 및 GRACE 점수 등)에 의해 입증되는 바와 같이 심장학의 수많은 용례와 매우 관련이 있다. DNN은 1년 이외의 시간 기간, 예를 들어, 6개월, 2년, 3년, 5년 등에 걸쳐 모든 원인 사망률을 예측하도록 훈련될 수 있음이 이해된다. 또한, DNN은 입원, 미래 질환의 발병, 치료에 대한 반응, 건강 관리 이용 등과 같은 임상적으로 관련된 많은 다른 평가 변수를 예측하도록 훈련될 수 있다.
방법
이미지 수집 및 전처리
심장 초음파 검사 연구는 심장의 다수의 뷰를 포함하는 여러 비디오로 구성된다. 2개의 임상 데이터베이스인 Philips iSite와 Xcelera에는 Geisinger에서 수집한 모든 심장 초음파가 포함되어 있다. DCM4CHEE(버전 2.0.29) 및 AcuoMed(버전 6.0) 소프트웨어를 사용하여 각각의 심장 초음파 검사 비디오에 대한 DICOM 파일을 검색하였다.
검색된 DICOM 파일에는 주석이 달린 비디오(예를 들어, 뷰 이름으로 마킹된 것)와 장비가 저장하도록 구성되었을 때 원시 비디오가 포함되었다. 일반성을 잃지 않고, 모든 분석에 원시 비디오를 사용하였다. 도 8a는 예시적인 원시 비디오이고, 도 8b는 예시적인 주석이 달린 비디오이다. 원시 비디오에는 바이트 형식의 스트림으로 저장된 빔 형성 초음파 이미지만 포함된 반면, 주석이 달린 비디오에는 원시 비디오 위에 인공 주석이 포함되었다. 모든 원시 비디오는 초당 30프레임으로 선형 보간되었다.
비디오 데이터와 함께, DICOM 파일에는 특정 이미지 배향이 취득된 뷰에 라벨이 지정된 태그가 포함된다. 이들 뷰 태그는 동일한 유형의 뷰에 대한 연구에 걸쳐 약간의 변동이 있다. 예를 들어, 심첨 4방 뷰는 "a4", "a4 2d" 또는 "ap4"로서 태그가 지정될 수 있다. 각각의 고유 태그의 샘플을 시각적으로 검사하고 30개의 공통 뷰로 그룹화하였다(표 1). 뷰 그룹으로부터의 각각의 비디오는 잠재적으로 상이한 차원을 가질 수 있으므로, 모든 비디오는 뷰에서 가장 일반적인 행 및 열 차원으로 정규화되었다. 각각의 프레임은 뷰 그룹에서 가장 일반적인 치수와 일치하도록 절단되거나 0으로 패딩되었다. 궁극적으로, 원시 비디오 및 뷰 라벨이 있는 Philips 생성 DICOM 파일이 검색되었으며 1초 미만 지속되는 임의의 비디오는 제외되었다.
전자 건강 기록 데이터 전처리
EHR에는 19년(1998년 2월부터 2018년 9월까지)에 걸쳐 수행된 272,280명의 고유 환자로부터의 594,862건의 심장 초음파 연구가 포함되었다. 각각의 연구에 대해, 자동 및 의사 보고된 심장 초음파 검사 측정(n = 480)이 환자 인구학적(n = 3), 활력(n = 5), 실험실(n = 2) 및 문제 목록 진단 코드(n = 90; 국제 질병 분류, 10차 개정판(ICD-10))와 함께 추출되었다. 공복 상태의 LDL, HDL, 혈압, 심장 박동수, 및 체중과 키 측정과 같은 심장 초음파 검사 연구 외부에서 수행된 측정의 경우, 6개월 윈도우 내에서 가장 가까운(전 또는 후)을 검색하였다.
모든 연속 변수는 입력 오류에 의해 유발될 수 있었던 한계값에서 생리학적으로 제거되었다. 측정에 대해 한계를 정의할 수 없는 경우, 2개의 규칙을 충족하는 극단적인 이상값이 제거되었다: 1) 평균 더하기 또는 마이너스 3 표준 편차를 초과하는 값, 및 2) 25번째 백분위수 마이너스 3사분위간 범위 아래의 값 또는 75번째 백분위수 더하기 3사분위간 범위 위의 값. 제거된 이상값은 결측된 것으로 설정되었다.
결측 데이터는 연속 변수로부터 두 단계로 귀속되었다. 첫째, 개별 환자의 사용 가능한 모든 연구를 사용하여 결측 측정을 채우기 위해 시간 보간이 수행되었고, 즉, 인접한 심장 초음파에서 완전한 값이 발견된 경우 심장 초음파 검사 세션 사이의 결측값이 선형 보간되었다. 그 후, 연쇄 방정식에 의해 다중 대치(Multiple Imputation by Chained Equation)(MICE)를 수행하고 전체 데이터세트를 완성하기 위해, 480개의 심장 초음파 검사 측정 변수 중 10% 초과의 비-결측 측정값을 갖는 115개를 유지하였다.
보고된 확장기 기능은 정상인 경우 -1, 기능 장애의 경우 0(등급은 보고되지 않음), 확장기 기능 장애 등급 I, II 및 III에 대해 각각 1, 2 및 3으로 서수 방식으로 코딩되었다. 연속 측정의 대치 후, 확장기 기능이 알려진 278,160개의 연구를 사용하여 하나 대 모두 분류기 골격에서 기능 장애 등급(-1, 1, 2 또는 3)을 예측하기 위해 로지스틱 회귀 분류기를 훈련함으로써 결측 확장기 기능 평가를 대치하였다.
대치 후, 의사는 좌심실 박출률(LVEF) 더하기 57개의 다른 독립적인 비중복 심장 초음파 검사 측정을 보고하였다(즉, 다른 측정으로부터 파생된 변수를 제외하고는 유지되었다; n = 총 58회의 심장 초음파 검사 측정).
환자의 연령과 생존 시간은 심장 초음파 촬영일로부터 계산하였다. 환자 상태(사망/생존)는 마지막으로 알려진 살아있는 만남 또는 확인된 사망 날짜를 기초로 하며, 이는 검색된 EHR에서 매월 국가 사망 지수 데이터베이스와 교차 참조된다.
제안된 모델에 사용된 모든 158개의 EHR 변수에 대한 목록과 설명은 아래 표 3에 제공된다.
Figure pct00004
Figure pct00005
Figure pct00006
Figure pct00007
Figure pct00008
Figure pct00009
Figure pct00010
Figure pct00011
Figure pct00012
데이터 정리
이미지 수집 및 전처리를 통해 27,028명의 환자에 대해 수행된 31,874개의 연구로부터 723,754개의 비디오가 초래되었다(연구당 평균 22.7개의 비디오). 이미징 및 EHR 데이터가 연결되었고 EHR 데이터가 없는 임의의 이미징은 폐기되었다. 주어진 생존 실험(3, 6, 9, 12개월)에 대해, 충분한 추적 관찰이 없는 연구도 제거되었다. 그 후, 환자당 하나의 연구를 무작위로 샘플링하여 환자당 단일 연구를 유지하였다. 이는 단일 환자로부터의 이미지가 훈련, 검증 및 테스트 그룹 전체에 걸쳐 여러 번 나타나지 않는 것을 보장한다.
적어도 600명의 환자(300명 생존, 300명 사망)가 피어슨 카이제곱(Pearson Chi-square) 테스트를 사용한 샘플 크기 계산에 의해 나타낸 바와 같이 모델과 2명의 심장 전문의 사이의 예후 정확도를 추정하고 비교하기 위해 필요하였다. 기계와 심장 전문의 사이의 10% 정확도 차이(80% 대 70%), 80% 검정력, 5%의 중요 레벨, 약 40%의 불일치를 가정하였다. 이는 전력 분석 소프트웨어(PASS v15)를 사용하여 계산되었다. 따라서, 설정된 실험 임계값 내에서 생존한 환자에 대한 300개의 연구와 사망한 300개의 연구를 각각의 뷰에 대해 무작위로 샘플링하고, 나중에 2명의 독립적인 심장 전문의에 대해 기계의 성능을 비교하기 위해 유효 샘플에서 제쳐 놓았다. 흉골 장축 뷰(가장 포괄적인 단일 뷰에 대한 심장 전문의의 선호도 및 가장 우수한 성능 모델을 나타냄)만이 궁극적으로 심장 전문의 비교에 사용되었다. 각각의 실험 및 뷰에 대한 유효 샘플의 총 개수는 하기 표 4 및 도 9에 나타낸다. 도 9는 3, 6, 9 및 12개월 추적 관찰이 필요한 실험에 대한 환자 수(위의 표 3에 나타냄)를 사망 환자 비율(음선 막대)과 함께 나타낸 플롯이다.
Figure pct00013
Figure pct00014
흉골 장형 승모판, 흉골 장형 폐동맥 판막, 단축 심첨 줌, 단축 중간 유두상 줌, 흉골 장형 이완, 심첨 3 줌, 및 심첨 2 줌 뷰는 실험을 실행하는 데 이용할 수 있는 샘플이 충분하지 않았기 때문에 제외되었다.
모델 선택
심장 초음파 검사 비디오 분류를 위해, 4개의 상이한 아키텍처, 즉, 1) 장단기 메모리(LSTM)가 있는 시간-분산 2차원 합성곱 신경망(2D CNN), 2) 글로벌 평균 풀링(Global Average Pooling)(GAP)이 있는 시간-분산 2D CNN, 3) 3D CNN 및 4) GAP가 있는 3D CNN을 탐구하였다. 단순화를 위해, 4개의 후보 아키텍처를 2D CNN + LSTM, 2D CNN + GAP, 3D CNN, 및 3D CNN + GAP와 같이 약칭한다.
2D CNN + LSTM은 비디오의 모든 프레임에 분산된 2D CNN 브랜치로 구성된다. 이 아키텍처는 비디오로부터의 모든 프레임이 동일한 장면 또는 동작에 속하는 비디오 설명 문제에 사용되었다. 심장 초음파 검사 비디오의 모든 프레임은 동일한 장면 또는 뷰에 속하므로, 정적 피처가 비디오에 걸쳐 동일한 2D 커널에 의해 일반적으로 발견될 것이라고 가정하는 것이 옳다. 이 가정은 심장 초음파 검사 뷰 분류를 위해 실제로 적용되었다. LSTM 층은 시간 경과에 따라 CNN 피처를 집계하여 전체 시퀀스를 나타내는 벡터를 출력한다.
2D CNN + GAP 접근법은 프레임의 시간 집계로서 평균 CNN 피처에 대한 LSTM 층을 교환했다. GAP 층은 2개의 이점을 제공한다. 훈련 가능한 파라미터가 필요하지 않아, LSTM 층으로부터 1008개의 파라미터를 절감하고, 피처 해석을 가능하게 한다. GAP 이후의 최종 완전 연결 층은 CNN 피처의 가중 평균을 제공하여, 최종 결정에서 비디오의 어떤 섹션에 더 가중치가 부여되었는 지를 나타낼 수 있다.
3D CNN 접근법은 입력 데이터가 네트워크를 통해 유동할 때 시간 및 공간 피처를 집계한다. 3D CNN은 또한 비디오 분류를 위한 성공적인 애플리케이션을 보여주었다. 2D CNN 접근법과 달리, 3D CNN은 모든 층에서 인접 프레임의 정보를 통합하여 시간-공간 종속 피처를 추출한다.
3D CNN 접근법은 GAP 층에 대한 평탄화 작업을 대체한다. 2D CNN + GAP 접근법과 유사한 방식으로, GAP 층은 최종 조밀 층에 대한 입력 피처의 개수를 감소시켜, 비디오 피처의 기여에 대한 역추적을 가능하게 하는 동안, 파라미터의 개수를 641에서 17로 감소시킨다.
2D 및 3D CNN의 합성곱 유닛은 CNN 층, 배치 정규화, ReLU, CNN 층, 배치 정규화, ReLU 및 최대 풀링의 조성으로 7개의 층 시퀀스로 정의되었다(도 1 참조). 모든 커널 치수는 3으로 설정되었고 최대 풀링은 2D 커널의 경우 3 x 3 윈도우, 3D 커널의 경우 3 x 3 x 3 윈도우로 적용되었다.
2D CNN + LSTM 아키텍처에 대한 파라미터 수에 대한 상세한 설명은 아래 표 5에 나타내고, 2D CNN + GAP는 아래 표 6에 나타내며, 3D CNN은 아래 표 7에 나타내고, 3D CNN + GAP는 아래 표 8에 나타낸다.
Figure pct00015
Figure pct00016
Figure pct00017
Figure pct00018
4개의 후보 아키텍처 모두를 1년 사망률 라벨이 있는 식별된 모든 심장 초음파 검사 뷰에 적용하였으며, 3D CNN이 일관되게 최고의 성능을 보여주었다(도 3). 도 3은 4개의 상이한 신경망 아키텍처: 2D CNN + 글로벌 평균 풀링(GAP; 짙은 회색), 2D CNN + 장단기 메모리(LSTM; 밝은 회색), 3D CNN + GAP(밝은 청색), 및 3D CNN(짙은 청색)을 이용한 모든 뷰에 걸쳐 1년 사망률 예측의 AUC 그래프이다.
유사하게, 성능 이득은 상이한 이미지 해상도에서 평가되었다. 비디오 해상도는 2, 3 및 4배로 감소하였다. 모든 뷰에 걸쳐 성능의 일관된 상당한 손실이 관찰되지 않았다(도 4). 따라서, 계산 비용을 감소시키기 위해 모든 실험을 4배 해상도 감소로 수행하기로 결정하였다.
EHR 데이터를 예측에 통합하기 위해, 각각의 층에서 10개의 은닉 유닛이 있는 3층 다층 퍼셉트론(multi-layer perceptron)(MLP)이 훈련되었다. 그 후, CNN 브랜치가 있는 마지막 10개의 은닉 유닛을 연접하였다(도 1 참조).
훈련 알고리즘
RMSProp 알고리즘을 사용하여 LSTM 커플링으로 네트워크를 훈련하였으며, 3D CNN 아키텍처에는 AdaGrad가 사용되었다. 5중 교차 검증의 각각의 반복에는 훈련, 검증 및 테스트 세트가 포함되었다. 훈련 세트와 테스트 세트는 살아있는 환자의 유병률이 동일하도록 샘플링되었지만, 검증 세트는 균형 잡힌 비율로 샘플링되었다. 검증 세트는 훈련 세트의 10%를 구성한다.
DNN이 훈련됨에 따라, 검증 세트의 손실(이진 교차 엔트로피)이 각각의 에포크에서 평가되었다. 검증 손실이 10개 초과의 에포크 동안 감소하지 않았다면, 훈련이 중단되고 테스트 세트의 성능(AUC)이 보고되었다. 최대 에포크 개수는 1000으로 설정되었으며 소프트웨어 Keras(버전 2.2)에 의해 정의된 디폴트 훈련 파라미터를 유지하였다. 훈련은 항상 최대 에포크 개수에 도달하기 전에 종료되었다.
각각의 환자 클래스의 유병률이 불균형하기 때문에(내지16% 사망한 환자), 각각의 클래스의 가중치는 다음과 같이 설정되었다.
Figure pct00019
(1)
모든 훈련은 NVIDIA DGX1 플랫폼에서 수행되었다. 각각의 접힘은 이용 가능한 8개의 GPU 각각에 독립적으로 적합하였다. 도 2에 도시된 주요 실험은 완료하는 데 총 6일이 걸렸다.
광학 유동 입력의 추가 효과
광학 유속 맵은 분류 작업에 대한 원본 비디오와 함께 유익한 것으로 나타났다. 따라서, OpenCV(버전 2.4.13.7) 소프트웨어 라이브러리에 구현된 군나르 파너백(Gunnar Farneback)의 알고리즘을 사용하여 심장 초음파 검사 원시 비디오의 조밀한 광학 유동 벡터를 계산하였다. 피라미드 스케일은 0.5로, 레벨 수는 3으로, 윈도우 크기는 5픽셀로 설정하였다. 그 후, 벡터는 색상이 방향(HSV 색상 공간에서와 같이)을 나타내고 밝기가 진폭을 나타내는 컬러 비디오로 변환되었다. 그 결과 원시 비디오와 함께 독립적인 3D CNN 브랜치를 통해 신경망 모델에 공급되는 이미지 비디오가 생성되었다. 도 10에 도시된 바와 같이, 광학 유동 비디오와 원시 비디오의 이러한 조합은 원시 비디오만을 사용한 모델과 비교하여 일관되게 개선된 모델 성능을 산출하지 못했다. 따라서, 최종 연구 분석에는 광학 유동을 사용하지 않았다.
심장 전문의 조사 데이터세트에서 균형 잡힌 결과의 사용
데이터 정리 섹션에서 설명된 바와 같이, 심장 전문의와 모델의 정확도를 비교하는 데 사용된 600명의 환자 조사는 성능의 차이를 검출하도록 적절한 검정력을 보장하기 위해 사망률 결과(1년에 300명 사망 및 300명 생존)와 관련하여 의도적으로 균형을 잡았다. 심장 전문의는 검토 당시에 이 분포에 대해 눈이 멀었다.
심장 전문의 조사용 소프트웨어
웹 애플리케이션은 도 11에 도시된 인터페이스로 전개되었다. 도 11은 심장 초음파 검사 후 1년 생존을 예측하기 위해 심장 전문의를 위해 개발된 웹 애플리케이션의 인터페이스(20)이다. 이 애플리케이션은 심장 전문의가 액세스를 위해 기관 자격 증명을 입력하도록 요구하였다. 10개의 EHR 변수와 원시 및 주석이 달린 2개의 버전의 비디오가 표시되었다. 그 후, 애플리케이션은 "생존" 또는 "사망" 버튼을 클릭할 때 심장 전문의의 예측을 기록하였다.
기계와 심장 전문의 사이의 비교 통계 분석
심장 전문의의 응답은 이분법적이었고, 기계의 응답은 연속적이었다. 0.5는 최종 비교 실험을 수행하기 전에 기계의 응답에 대한 임계값으로서 설정되었다. 모든 응답은 동일한 샘플에 대해 기록되었으므로, 올바르게 분류된 샘플의 비율이 크게 상이한 3개의 응답이 있는 지의 여부를 평가하기 위해 Cochran의 Q 테스트를 수행하였다. 이 테스트는 응답 중 적어도 하나가 1.8e-15의 p-값으로 상당히 상이하다는 충분한 증거가 있음을 보여주었다. 3개의 응답 사이의 쌍별 비교에 대한 사후 분석 결과로 본페로니 조절된 p-값은 심장 전문의 1 대 심장 전문의 2, 심장 전문의 1 대 기계, 및 심장 전문의 2 대 기계 쌍에 대해 각각 0.003, 4.2e-11, 및 6.9e-7이었다.
이제, 도 12 뿐만 아니라 도 1을 참조하면, 심장의 비디오(이 경우에는 심장 초음파 검사 데이터) 및 임의의 추가 이용 가능한 EHR 데이터에 기초하여 미리 결정된 기간(즉, 1년) 동안 환자의 모든 원인 사망률과 같은 관련 임상 평가 변수를 예측하기 위한 예시적인 프로세스(100)가 도시되어 있다. 프로세스(100)는 전술한 바와 같이 심장 초음파 비디오 및 EHR 변수와 같은 심장의 비디오를 사용하여 훈련된, 합성곱 신경망과 같은 심층 신경망일 수 있는 신경망에 기초하여 환자에 대한 위험 점수를 예측한다. 프로세스(100)는 환자를 치료하기 위해 또는 환자의 모집단 레벨 관리를 위해 의사를 포함하는 관리 팀에 의해 사용되는 건강 분석 모듈에서 채용될 수 있고, 예컨대 의사는 심부전이 있는 만명의 환자의 전체 모집단에 대해 자원을 전개한다. 일부 실시예에서, 프로세스(100)는 적어도 하나의 메모리 상에서 명령(예를 들어, 컴퓨터 판독 가능 명령)으로서 구현될 수 있고, 적어도 하나의 메모리에 결합된 하나 이상의 프로세서에 의해 실행될 수 있다.
102에서, 프로세스(100)는 환자와 관련된 심장의 심장 초음파 비디오를 수신할 수 있다. 심장 초음파 비디오는 심장 초음파 검사 비디오 프레임을 포함할 수 있다. 비디오 프레임은 환자의 심장에 대한 하나 이상의 뷰에서 취한 비디오 프레임을 포함할 수 있다. 예를 들어, 비디오 프레임은 심장의 21개의 상이한 뷰에서 취한 비디오 프레임을 포함할 수 있다. 일부 실시예에서, 심장 초음파 비디오는 심첨 2방 뷰, 심첨 3방 뷰, 심첨 4방 뷰, 우심실에 포커싱된 심첨 4방 뷰, 심첨 5방 뷰, 흉골 장축 뷰, 흉골 장하행 대동맥 뷰, 흉골 장형 승모판 뷰, 흉골 장형 폐동맥 판막 뷰, 흉골 장형 우심실 유입 뷰, 흉골 장형 줌 대동맥 판막 뷰, 흉골 단형 대동맥 판막 뷰, 흉골 단형 폐동맥 판막 및 폐동맥 뷰, 흉골 단형 삼첨판 뷰, 단축 심첨 뷰, 단축 베이스 뷰, 단축 중간 유두상 뷰, 늑골하 4방 뷰, 늑골하 간정맥 뷰, 늑골하 심방 중격 뷰, 늑골하 하대정맥 뷰, 늑골하 우심실 뷰, 흉골 상절흔 뷰, 단축 중간 유두상 뷰, 단축 심첨 뷰, 심첨 3방 줌 뷰, 심첨 2방 줌 뷰, 및/또는 단축 베이스 뷰를 포함하는 하나 이상의 심장 초음파 뷰와 관련될 수 있다. 일부 실시예에서, 심장 초음파 비디오는 심장의 단일 뷰와 관련될 수 있다. 일부 실시예에서, 단일 뷰는 흉골 장축 뷰일 수 있다. 흉골 장축 뷰는 전술한 바와 같이 다른 단일 뷰를 능가한 것으로 나타났다. 그 다음, 프로세스(100)는 104로 진행할 수 있다.
104에서, 프로세스(100)는 환자와 관련된 다수의 파라미터 값을 포함하는 EHR 데이터를 수신할 수 있다. EHR 데이터는 임의적이며, 일부 실시예에서 프로세스(100)는 102에서 심장 초음파 비디오만을 수신할 수 있다. EHR 데이터를 사용하면 위험 점수 생성 성능을 개선시킬 수 있다. 일부 실시예에서, 파라미터는 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질[LDL], 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함할 수 있다. 일부 실시예에서, 변수는 상기 표 3에 열거된 변수의 적어도 일부를 포함할 수 있다. 일부 실시예에서, EHR 데이터는 인구학적 파라미터, 활력 파라미터, 실험실 측정 파라미터, 심장 초음파 기반 파라미터, 및 진단 파라미터를 포함하는 다수의 파라미터의 값을 포함할 수 있다. 값은 환자와 관련될 수 있다. 일부 실시예에서, 인구학적 파라미터는 연령, 성별, 및/또는 흡연 상태를 포함할 수 있다. 일부 실시예에서, 활력 파라미터는 키, 체중, 심장 박동수, 확장기 혈압, 및 수축기 혈압을 포함할 수 있다. 일부 실시예에서, 실험실 측정 파라미터는 저밀도 지단백질 레벨과 고밀도 지단백질 레벨을 포함할 수 있다. 일부 실시예에서, 심장 초음파 기반 파라미터는 의사-보고된 좌심실 박출률, 대동맥 기능 부전 감속 경사, 대동맥 기능 부전 최대 속도, 대동맥 판막 원위측 유동의 속도-시간 적분, 대동맥 판막 원위측 유동의 최대 속도, 대동맥 판막 원위측 유동의 평균 속도, 대동맥 근부 직경, 상행 대동맥 직경, lv 확장기말 용적: 심첨 2방; lv 확장기말 용적: 심첨 4방; lv 확장기말 용적: 심첨 2방; lv 확장기말 용적: 심첨 4방; lv 수축기말 용적: 심첨 2방; lv 수축기말 용적: 심첨 4방; lv 수축기말 용적: 심첨 2방; lv 수축기말 용적: 심첨 4방; 확장기말에서 iv 중격 치수, 좌심방 치수, 심첨 2방으로부터 파생된 좌심방 용적; 심첨 4방으로부터 파생된 좌심방 용적; 장애물 근위측 속도-시간 적분, 장애물 근위측 최대 lv 속도, 장애물 근위측 평균 lv 속도, 심첨 2방으로부터 파생된 확장기말에서 lv 영역, 심첨 4방으로부터 파생된 확장기말에서 lv 영역, 심첨 2방으로부터 파생된 수축기말에서 lv 영역, 심첨 4방으로부터 파생된 수축기말에서 lv 영역, 확장기말에서 lv 내부 치수, 수축기말에서 lv 내부 치수, 심첨 2방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 2방으로부터 파생된 수축기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 수축기말에서 lv 장축 길이, lv 유출로 영역, lv 유출로 직경, 확장기말에서 lv 후방 벽 두께, 승모판 역류 최대 속도, 승모판 유동의 a-지점 최대 속도, 승모판 유동의 e-지점 최대 속도, 승모판 유동의 최대 속도, 승모판 감속 경사, 승모판 감속 시간, 폐동맥 판막 원위측 유동의 최대 속도, 폐동맥 가속 경사, 폐동맥 가속 시간, 폐 r-r 시간 간격, 우심방 수축기말 평균 압력, 확장기말에서 우심실 치수, 삼첨판 역류 최대 속도, 대동맥 판막 역류, 승모판 역류, 삼첨판 판막 역류, 폐 판막 역류, 대동맥 판막 협착, 승모판 협착, 삼첨판 협착, 폐 판막 협착, 의사-보고된 확장기 기능을 포함할 수 있다. 일부 실시예에서, 진단 파라미터는, 급성 류마티스열의 진단, 만성 류마티스 심장 질환의 진단, 고혈압 질환의 진단, 허혈성 심장 질환의 진단, 폐 심장 질환 및 폐 순환 질환의 진단, 급성 심낭염의 진단, 기타 형태의 심장 질환의 진단, 급성 심근염의 진단, 심근병증의 진단, 심정지의 진단, 발작성 빈맥의 진단, 심방세동의 진단, 심부전의 진단, 뇌혈관 질환의 진단, 동맥, 소동맥 및 모세혈관의 질환의 진단, 정맥, 림프관 및 림프절의 질환의 진단, 저혈압의 진단, 순환계의 기타 및 불특정 장애의 진단, 당뇨병의 진단, 선천성 심장 결함의 진단, 이상지질혈증의 진단, 및/또는 만성 신장 질환의 진단을 포함할 수 있다. 일부 실시예에서, 진단 파라미터는 cMERGE와 같은 미리 결정된 지침에 포함된 파라미터일 수 있다. 그 다음, 프로세스(100)는 106으로 진행할 수 있다.
106에서, 프로세스(100)는 훈련된 신경망에 비디오 프레임을 제공할 수 있다. 일부 실시예에서, 프로세스(100)는 비디오 프레임 및 HER 데이터를 훈련된 신경망에 제공할 수 있다. 전술한 바와 같이, 훈련된 신경망은 합성곱 신경망일 수 있다. 일부 실시예에서, 훈련된 신경망은 도 1에 도시된 신경망 아키텍처(10)일 수 있다. 일부 실시예에서, 훈련된 신경망은 복수의 비디오를 포함하는 훈련 데이터세트에 기초하여 훈련될 수 있으며, 복수의 비디오에 포함된 각각의 비디오는 다수의 심장 초음파 뷰에 포함된 심장 초음파 뷰와 관련되어 있다. 다수의 심장 초음파 뷰는 하나 이상의 뷰를 포함할 수 있다. 일부 실시예에서, 다수의 심장 초음파 뷰는 심첨 2방 뷰, 심첨 3방 뷰, 심첨 4방 뷰, 우심실에 포커싱된 심첨 4방 뷰, 심첨 5방 뷰, 흉골 장축 뷰, 흉골 장하행 대동맥 뷰, 흉골 장형 승모판 뷰, 흉골 장형 폐동맥 판막 뷰, 흉골 장형 우심실 유입 뷰, 흉골 장형 줌 대동맥 판막 뷰, 흉골 단형 대동맥 판막 뷰, 흉골 단형 폐동맥 판막 및 폐동맥 뷰, 흉골 단형 삼첨판 뷰, 단축 심첨 뷰, 단축 베이스 뷰, 단축 중간 유두상 뷰, 늑골하 4방 뷰, 늑골하 간정맥 뷰, 늑골하 심방 중격 뷰, 늑골하 하대정맥 뷰, 늑골하 우심실 뷰, 흉골 상절흔 뷰, 단축 중간 유두상 뷰, 단축 심첨 뷰, 심첨 3방 줌 뷰, 심첨 2방 줌 뷰, 또는 단축 베이스 뷰 중 적어도 하나를 포함할 수 있다. 훈련 데이터세트는 복수의 생존 결과를 더 포함할 수 있고, 복수의 비디오에 포함된 각각의 비디오는 복수의 생존 결과에 포함된 생존 결과와 관련된다. 이러한 방식으로, 신경망은 실제 환자 결과에 기초하여 훈련될 수 있다. 일부 실시예에서, 훈련 데이터세트는 전자 건강 기록 데이터세트를 더 포함할 수 있고, 복수의 비디오에 포함된 각각의 비디오는 전자 건강 기록 데이터세트의 일부와 관련된다. 일부 실시예에서, 전자 건강 기록 데이터세트는 다수의 환자와 관련될 수 있고 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질, 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함하는 다수의 파라미터의 값을 포함할 수 있다. 전술한 바와 같이, 이들 파라미터는 잘 수행되는 것으로 나타났고 이들 10개의 파라미터는 우수한 예측 검정력을 제공하는 것으로 나타났다.
일부 실시예에서, 전자 건강 기록 데이터세트는 인구학적 파라미터, 활력 파라미터, 실험실 측정 파라미터, 심장 초음파 기반 파라미터, 및 진단 파라미터를 포함하는 다수의 파라미터의 값을 포함할 수 있다. 일부 실시예에서, 인구학적 파라미터는 연령, 성별, 및/또는 흡연 상태를 포함할 수 있다. 일부 실시예에서, 활력 파라미터는 키, 체중, 심장 박동수, 확장기 혈압, 및 수축기 혈압을 포함할 수 있다. 일부 실시예에서, 실험실 측정 파라미터는 저밀도 지단백질 레벨과 고밀도 지단백질 레벨을 포함할 수 있다. 일부 실시예에서, 심장 초음파 기반 파라미터는 의사-보고된 좌심실 박출률, 대동맥 기능 부전 감속 경사, 대동맥 기능 부전 최대 속도, 대동맥 판막 원위측 유동의 속도-시간 적분, 대동맥 판막 원위측 유동의 최대 속도, 대동맥 판막 원위측 유동의 평균 속도, 대동맥 근부 직경, 상행 대동맥 직경, lv 확장기말 용적: 심첨 2방; lv 확장기말 용적: 심첨 4방; lv 확장기말 용적: 심첨 2방; lv 확장기말 용적: 심첨 4방; lv 수축기말 용적: 심첨 2방; lv 수축기말 용적: 심첨 4방; lv 수축기말 용적: 심첨 2방; lv 수축기말 용적: 심첨 4방; 확장기말에서 iv 중격 치수, 좌심방 치수, 심첨 2방으로부터 파생된 좌심방 용적; 심첨 4방으로부터 파생된 좌심방 용적; 장애물 근위측 속도-시간 적분, 장애물 근위측 최대 lv 속도, 장애물 근위측 평균 lv 속도, 심첨 2방으로부터 파생된 확장기말에서 lv 영역, 심첨 4방으로부터 파생된 확장기말에서 lv 영역, 심첨 2방으로부터 파생된 수축기말에서 lv 영역, 심첨 4방으로부터 파생된 수축기말에서 lv 영역, 확장기말에서 lv 내부 치수, 수축기말에서 lv 내부 치수, 심첨 2방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 2방으로부터 파생된 수축기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 수축기말에서 lv 장축 길이, lv 유출로 영역, lv 유출로 직경, 확장기말에서 lv 후방 벽 두께, 승모판 역류 최대 속도, 승모판 유동의 a-지점 최대 속도, 승모판 유동의 e-지점 최대 속도, 승모판 유동의 최대 속도, 승모판 감속 경사, 승모판 감속 시간, 폐동맥 판막 원위측 유동의 최대 속도, 폐동맥 가속 경사, 폐동맥 가속 시간, 폐 r-r 시간 간격, 우심방 수축기말 평균 압력, 확장기말에서 우심실 치수, 삼첨판 역류 최대 속도, 대동맥 판막 역류, 승모판 역류, 삼첨판 판막 역류, 폐 판막 역류, 대동맥 판막 협착, 승모판 협착, 삼첨판 협착, 폐 판막 협착, 의사-보고된 확장기 기능을 포함할 수 있다. 일부 실시예에서, 진단 파라미터는, 급성 류마티스열의 진단, 만성 류마티스 심장 질환의 진단, 고혈압 질환의 진단, 허혈성 심장 질환의 진단, 폐 심장 질환 및 폐 순환 질환의 진단, 급성 심낭염의 진단, 기타 형태의 심장 질환의 진단, 급성 심근염의 진단, 심근병증의 진단, 심정지의 진단, 발작성 빈맥의 진단, 심방세동의 진단, 심부전의 진단, 뇌혈관 질환의 진단, 동맥, 소동맥 및 모세혈관의 질환의 진단, 정맥, 림프관 및 림프절의 질환의 진단, 저혈압의 진단, 순환계의 기타 및 불특정 장애의 진단, 당뇨병의 진단, 선천성 심장 결함의 진단, 이상지질혈증의 진단, 및/또는 만성 신장 질환의 진단을 포함할 수 있다. 일부 실시예에서, 진단 파라미터는 cMERGE와 같은 미리 결정된 지침에 포함된 파라미터일 수 있다. 그 다음, 프로세스(100)는 108로 진행할 수 있다.
108에서, 프로세스(100)는 훈련된 신경망으로부터 위험 점수를 수신할 수 있다. 위험 점수는 환자에 대한 임상 결과의 위험과 관련될 수 있다. 일부 실시예에서, 위험 점수는 사망률 위험 점수일 수 있다. 일부 실시예에서, 사망률 위험 점수는 모든 원인 사망률 위험 점수일 수 있다. 일부 실시예에서, 환자와 관련된 사망률 위험 점수는 의료 종사자 또는 건강 관리 관리자가 환자에 대한 잠재적 치료에 관한 결정을 내리도록 의료 종사자 또는 건강 관리 관리자에게 충분한 정보를 제공할 수 있다. 일부 실시예에서, 잠재적 치료는 심장 이식, 기계적 지지 디바이스의 이식, 제세동기 배치, 완화 치료, 및/또는 호스피스를 포함할 수 있다. 일부 실시예에서, 결정은 잠재적 치료에 대한 적격성일 수 있다. 그 다음, 프로세스(100)는 110으로 진행할 수 있다.
110에서, 프로세스(100)는 의료 종사자 또는 건강 관리 관리자가 볼 수 있도록 메모리 또는 디스플레이 중 적어도 하나에 원시 위험 점수를 출력할 수 있다. 일부 실시예에서, 프로세스(100)는 위험 점수에 기초하여 보고서를 생성 및 출력할 수 있다. 보고서는 원시 위험 점수를 포함할 수 있다. 보고서는 위험 점수에 기초하여 생성된 임의의 적절한 그래프 및/또는 차트를 포함할 수 있다. 보고서는 컴퓨터 모니터 또는 태블릿 컴퓨터, 스마트폰, 랩톱 컴퓨터 등에 통합된 화면과 같은 디스플레이를 사용하여 의사에게 디스플레이될 수 있다. 일부 실시예에서, 보고서는 메모리를 포함하는 저장 디바이스로 출력될 수 있다. 일부 실시예에서, 보고서는 환자에 대한 잠재적 치료에 관한 정보 및/또는 환자에 대한 잠재적 치료에 관한 정보에 대한 링크를 포함할 수 있다. 일부 실시예에서, 링크는 하이퍼링크일 수 있다. 일부 실시예에서, 환자에 대한 잠재적 치료는 심장 이식, 기계적 지지 디바이스의 이식, 제세동기 배치, 완화 치료, 및/또는 호스피스를 포함할 수 있다. 일부 실시예에서, 의료 종사자는 보고서에 기초하여 환자에 대한 결정(예를 들어, 적격성 결정)을 내릴 수 있다.
이제, 도 13을 참조하면, 전술한 개시내용을 구현하기 위한 예시적인 시스템(210)이 도시되어 있다. 시스템(210)은, 서로 뿐만 아니라, 예를 들어 인터넷, 인트라넷, 이더넷, LAN, WAN 등을 통해 서버(214) 및 하나 이상의 데이터베이스 또는 기타 데이터 저장소(216)와 통신하는 하나 이상의 컴퓨팅 디바이스(212a, 212b)를 포함할 수 있다. 컴퓨팅 디바이스는 또한 별개의 네트워크(218)를 통해 추가 컴퓨팅 디바이스(212c, 212d)와 통신할 수 있다. 컴퓨팅 디바이스(212a)에 특별한 주의를 기울이지만, 각각의 컴퓨팅 디바이스는 프로세서(220), 하나 이상의 컴퓨터 판독 가능 매체 드라이브(222), 네트워크 인터페이스(224), 및 하나 이상의 I/O 인터페이스(226)를 포함할 수 있다. 디바이스(212a)는 또한 프로세서가 운영 체제(230)를 실행하게 하도록 구성된 명령을 포함하는 메모리(228) 및 본 명세서에 설명된 바와 같은 EHR 데이터 뿐만 아니라 심장 초음파 검사 데이터와 같은 비디오 데이터에 기초하여 미리 결정된 기간(즉, 1년) 동안 환자의 모든 원인 사망률과 같은 중요한 임계 평가 변수를 예측하기 위한 건강 분석 모듈(232)을 포함할 수 있다. 건강 분석 모듈(232)은 도 12와 관련하여 전술한 프로세스(100)의 적어도 일부를 실행하기 위해 사용될 수 있다.
심장 초음파 비디오에 기초하여 위험 점수(예를 들어, 사망률 위험 점수), 무진행 생존(progression-free survival)(PGS) 점수 등을 생성하는 기술의 추가적인 예를 이제 설명한다. 먼저, 훈련된 모델에 대한 네트워크 아키텍처를 설계하는 데 사용되는 실험에 대해 설명한다. 아래에서 추가로, 훈련된 모델의 성능을 다른 기술에 대해 비교한다.
모델 설계
전자 건강 기록 데이터 전처리
사용된 기관 심장 초음파 검사 문서 보관소에는 2020년 1월 기준으로 지난 22년 동안 수집된 305,282명의 고유 환자로부터 총 683,662건의 심장 초음파 검사 연구가 포함되었다. 의사-보고된 모든 구조화된 심장 초음파 검사-파생된 측정값(n = 58)이 이들 연구로부터 추출되었다. 더욱이, 기관 페노믹스 주도 데이터베이스를 통해, 심장 초음파 검사-파생된 측정값을 기관 EHR(Epic Systems, 1996-현재)로부터 환자 인구학(3), 활력(5), 실험실(2), 및 문제 목록 데이터(90; 국제 질병 분류, 10차 개정판(ICD10) 코드)에 연결하였다. 위의 표 3은 연구에 사용된 모든 158개의 "EHR 변수"에 대한 목록과 설명을 나타낸다.
모든 연속 변수는 생리학적으로 한계를 벗어난 값(심장 전문의가 수동으로 정의)을 제거하기 위해 정리되었으며, 이는 입력 오류를 반영하는 것으로 추정되고, 결측된 것으로 설정되었다. 각각 5개의 판막 역류 및 협착 심각도 레벨(평가되지 않은 경우를 포함)을 보고하고 이들을 40개의 원-핫 인코딩된 이진 변수로 변환한 심장 초음파 검사 측정에서 8개의 범주형 변수가 식별되었다. 확장기 기능을 보고하는 서수 변수도 식별되어 정상에 대해 1, 기능 장애에 대해 0(등급은 보고되지 않음), 확장기 기능 장애 등급 I, II 및 III에 대해 1, 2 및 3으로 각각 코딩되었다. LDL, HDL, 혈압, 심장 박동수(연구에서 취하지 않은 경우), 체중, 및 키 측정과 같은 심장 초음파 검사로부터 파생되지 않은 측정의 경우, 1년 윈도우 내에서 심장 초음파 취득일에 대해 가장 최근의 과거 측정이 검색되었다.
환자의 연령과 생존 기간은 심장 초음파 촬영일을 기준으로 계산되었다. 환자 상태(사망 또는 생존)는 마지막으로 알려진 살아있는 만남 또는 확인된 사망 날짜를 기초로 식별되었으며, 이는 국가 사망 지수 데이터베이스에 대해 매월 교차 참조된다. 1년 사망률을 라벨링하기 위해, 양성 샘플은 환자 사망일로부터 1년 이내의 심장 초음파 검사 연구로서 정의되었다. 음성 1년 사망률 라벨은 사망일(사망한 경우) 또는 시스템 내에서 마지막으로 알려진 물리적 만남(살아 있는 경우)보다 1년 초과 전에 발생한 심장 초음파 검사 연구로서 정의되었다. 사망일이 없거나 적어도 1년의 추적 관찰(육체적 만남)이 없는 연구는 제외되었다.
이미지 수집 및 전처리
심장 초음파 검사 연구는 심장의 다수의 뷰를 포함하는 여러 비디오로 구성된다. 검색된 DICOM 파일에는 주석이 달린 비디오와 장비가 저장하도록 구성되었을 때 원시 비디오가 포함되었다. 원시 비디오에는 바이트 형식의 스트림으로 저장된 빔 형성 초음파 이미지만 포함된 반면, 주석이 달린 비디오에는 도 8a 및 도 8b에 도시된 바와 같이 원시 비디오 위에 주석(예를 들어, 뷰 이름)이 포함되었다. 모든 분석에는 원시 비디오가 사용되었다. 원시 형식의 비디오는 연구마다 프레임 속도가 다르기 때문에, 모든 비디오는 초당 30프레임으로 선형 보간되었다.
비디오 데이터와 함께, DICOM 파일에는 취득한 특정 이미지 배향을 나타내는 각각의 비디오에 라벨을 붙인 태그가 포함되어 있으며, 이는 "뷰"라고 지칭될 수 있다. 이들 뷰 태그는 동일한 유형의 뷰에 대한 연구에 걸쳐 약간의 변동이 있다. 예를 들어, 심첨 4방 뷰는 "a4", "a4 2d" 또는 "ap4"로서 태그가 지정될 수 있다. 각각의 고유 태그의 샘플을 시각적으로 검사하고 표 9에 나타낸 바와 같이 공통 뷰로 그룹화했다. 전체 교차 검증 동연령군에서, 음성 샘플에 사용할 수 있는 뷰의 평균 개수는 19.4개였고, 사분위수는 19개 및 22개였다. 양성 샘플의 경우, 평균은 18.3개의 비디오였으며, 사분위수는 샘플당 18개 및 22개의 비디오였다. 비디오의 중앙값 수는 양성 및 음성 샘플 모두에 대해 20개였다. 연구에 동일한 뷰의 여러 비디오가 있는 경우, 지속 기간이 가장 긴 비디오가 선택되었다.
Figure pct00020
Figure pct00021
뷰 그룹으로부터의 각각의 비디오는 잠재적으로 상이한 차원을 가질 수 있으므로, 모든 비디오는 대응 뷰의 가장 일반적인 행 및 열 차원 쌍으로 정규화되었다. 각각의 프레임은 뷰 그룹에서 가장 일반적인 치수와 일치하도록 절단되거나 0으로 패딩되어, 빔 형성 이미지를 중앙에 유지했다. 이미지 크기 정규화(절단 및 패딩)는 표준 심장 초음파 검사 뷰가 해부학적 관심 영역을 중심으로 하기 때문에 비디오에 최소한의 영향을 미쳤다. 예를 들어, PL DEEP 비디오의 3% 미만이 6행보다 많이 절단되고 패딩되었으며, 이 중 17건만 절단되고 나머지는 0으로 패딩되었다. 일반적으로, 경계 영역에는 관심 있는 피처가 포함되어 있지 않다.
데이터 선택
심장 초음파 검사 연구는 임상 이미징 문서 보관소(2011년 2월 이후에 취득)로부터 이 분석을 위한 연구 서버로 추출되었으며, 이들 연구로부터 사용 가능한 원시 비디오 데이터만 유지되었다. 전체 임상 문서 보관소의 이 추출된 서브세트를 전술한 실험을 수행하기 위해 3개의 별개의 그룹으로 분할하였다(각각의 특성은 아래 표 10에 설명되어 있음). 각각의 경우에, 1년 이상의 추적 관찰 또는 1년 이내의 사망일이 알려져 있다.
Figure pct00022
1. 교차 검증 실험:
이 실험은 임상 심장 초음파 검사 문서 보관소로부터 미리 정의된 환자 선택 기준 없이 도출된, 34,362명의 환자로부터 수집된 812,278개의 비디오를 갖는 42,095개의 연구를 포함한다.
2. 심장 전문의 조사:
이들 조사에는 600명의 고유 환자로부터 수집된 11,357개의 비디오를 갖는 600개의 연구가 포함되었으며, 다시 선택되지 않은 임상 데이터 추출에서 취하였지만 교차 검증 실험 세트에서 제외되었으며 균형 잡힌 결과 라벨(1년에 300명의 사망자와 300명의 생존자)을 갖도록 미리 명시되었다.
3. 심부전 실험:
이 실험에는 2,404명의 환자로부터 수집한 58,561개의 비디오를 갖는 3,384개의 연구가 포함되었으며, 특히 심장 초음파 당시 심부전의 존재 - "확실한" eMERGE 알고리즘 기준에 기초한 - 를 기초로 하는 임상 문서 보관서로부터 선택되었다. 교차 검증 세트의 42,095개의 연구는 이전에 발표된 동연령군의 서브세트이다.
심장 전문의 조사
전술한 바와 같이, 심장 초음파 후 1년 사망률에 대한 가장 예측성 임상("EHR") 변수 중 10개는 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질, 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능이다. 효율적인 방식으로 심장 전문의의 성과를 평가하기 위해, 심장 초음파 당일 환자 상태의 요약으로서 상위 10개 변수가 제공된다. 이들 10개 측정과 함께, 흉골 장축 비디오도 제공되었다. 이 뷰는, 좌심실, 좌심방, 우심실, 대동맥 판막 및 승모판의 요소를 포함하고 심막 또는 좌측 흉막 삼출의 유무가 단일 뷰 내에 모두 있기 때문에, 통상적으로 심장 전문의가 전반적인 심장 건강에 대한 가장 유익한 "요약" 뷰로서 보고한다.
심장 전문의와 모델 사이의 예후 정확도를 추정하고 비교하기 위한 샘플 크기 계산(피어슨 카이제곱 테스트)에 따라, 심장 전문의는 600개의 샘플로 구성된 조사 세트를 완료하였다. 기계와 심장 전문의 사이의 10% 정확도 차이(80% 대 70%), 80% 검정력, 5%의 중요 레벨, 약 40%의 불일치를 가정하였다. 계산(검정력 분석 소프트웨어 PASS v15로 수행)은 적어도 600명의 환자(300명 생존, 300명 사망)가 필요한 것으로 나타났다. 따라서, 300개의 양성 및 300개의 음성 연구는 흉골 장축 뷰가 포함된 무작위로 샘플링되어, 이들 환자 중 누구도 교차 검증 세트에 남아 있지 않음을 보장하였다.
제1 조사는 한 번에 하나의 환자 샘플을 제시했으며 심장 전문의의 종합적인 식별 능력을 점수화하도록 설계되었다. 도 14는 제1 조사를 위한 인터페이스를 예시한다. 10개의 EHR 변수는 원시 및 주석이 달린 비디오의 테이블 2개의 버전에 디스플레이되었다. 그 후, 애플리케이션은 "생존" 또는 "사망" 버튼을 클릭할 때 심장 전문의의 예측을 기록하였다.
제2 조사는 페어링된 샘플을 제시하고 사망률 유병률을 통제하면서 각각의 심장 전문의의 식별 능력을 평가하도록 설계되었다. 성별, 연령(5세 이내) 및 좌심실 EF(10% 이내)에 기초하여 300쌍을 준비하였다. 300개의 모든 양성 사례는 213개의 음성이 고유하고 나머지 87쌍은 일치 기준을 보존하기 위해 이미 사용된 음성을 함유해야 하는 음성 사례와 페어링되었다. 따라서, 모든 양성 사례는 고유하였다. 도 15는 페어링된 조사에 대한 인터페이스를 도시하는데, 여기서 비디오는 2명의 연령, 성별 및 EF 일치 환자에 대한 10개의 EHR 변수를 나타낸다.
제3 및 마지막 조사에서는 DNN 모델로부터 추출한 추가 정보가 있는 동일한 샘플이 뒤따르는 개별 샘플을 제시하였다. 기계 정보의 포함이 심장 전문의 집계된 점수 성능을 개선시킬 수 있는 지의 여부를 평가하기 위해 기계 점수 및 폐색 맵이 제시되었다. 동일한 600명의 환자가 두 번 제시되었다. 먼저, 개별 샘플을 도 14에 도시된 바와 같이 디스플레이하였고, 직후에 동일한 샘플을 모델 및 폐색 맵으로부터 보정된 위험 점수와 함께 나타냈다. 그 후, 심장 전문의는 예측을 수정하거나 반복했다.
심장 전문의가 조사를 통해 진행하는 동안 점진적인 성능 변화를 피하기 위해, 심장 전문의는 설문 조사에 참여하기 전에, 기계 예측, 폐색 맵, 및 교차 검증 세트로부터의 실제 결과가 있는 80개의 예를 제시했다. 80개의 예는 심부전만의 병력, 심근경색만의 병력, 양자 모두의 병력, 또는 양자 모두가 아닌 병력에 의해 그룹화된 20명의 4개 그룹으로 분포되었다. 4개의 그룹 각각은 혼동 매트릭스의 4개 사분면 각각에 대응하는 5개의 예로 추가 분할되었다. 도 16은 제3 조사의 모델 지원 부분에 대한 인터페이스를 도시하고, 여기서 "기계 예측" 행과 폐색 맵 비디오가 추가되었다.
임의의 조사(이전 조사를 통해 획득한 지식으로부터 후속 조사의 결과를 혼동하지 않도록)와 주어진 심장 전문의에 대한 조사 사이에 최소 15일이 경과한 사이에는 개별 환자 레벨 응답 피드백이 심장 전문의에게 제시되지 않았다.
신경망 아키텍처
이제, 4개의 상이한 낮은 파라미터 아키텍처, 1) LSTM이 있는 시간-분산 2차원 합성곱 신경망(2D CNN), 2) 글로벌 평균 풀링(GAP)이 있는 시간-분산 2D CNN, 3) 3D CNN 및 4) GAP가 있는 3D CNN이 제시된다. 단순화를 위해, 4개의 후보 아키텍처를 2D CNN + LSTM, 2D CNN + GAP, 3D CNN, 및 3D CNN + GAP로서 약칭한다.
도 17은 제1 모델(300) 및 제2 모델(304)을 예시한다. 제1 모델(300)은 LSTM이 있는 2D CNN일 수 있다. 제2 모델(304)은 GAP가 있는 2D CNN일 수 있다. 제1 모델(300) 및 제2 모델(304) 모두는 다수의 합성곱 층(308A-F)을 포함할 수 있다. 임의의 합성곱 층(308A-F)으로서 사용될 수 있는 예시적인 합성곱 층(312)이 도시되어 있다. 일부 실시예에서, 합성곱 층(312)은 제1 2D CNN 층(316), 제1 배치 정규화(320), 제1 ReLU(324), 제2 2D CNN 층(328), 제2 배치 정규화(332), 제2 ReLU(336), 및 2D 최대 풀링 층(340)을 포함할 수 있다. 일부 실시예에서, 제1 모델(300) 및 제2 모델(304)의 커널 치수는 3일 수 있고, 2D 최대 풀링 층(340)은 3 x 3 윈도우로 적용될 수 있다. 일부 실시예에서, 제1 모델(300) 및 제2 모델(304)의 커널 치수는 5일 수 있고, 2D 최대 풀링 층(340)은 5 x 5 윈도우로 적용될 수 있다.
제1 모델(300)은 평탄화 층(344), LSTM 층(348), 및 위험 점수(356)를 출력하는 조밀 층(352)을 포함할 수 있다. 일부 실시예에서, LSTM 층(348)은 2개의 LSTM 유닛을 포함할 수 있다. 제1 모델(300)에 의해 출력되는 위험 점수(356)는 비디오 위험 점수라고 지칭될 수 있다. 제2 모델(304)은 GAP 층(360) 및 위험 점수(368)를 출력하는 조밀 층(364)을 포함할 수 있다. 제2 모델(304)에 의해 출력되는 위험 점수(368)는 비디오 위험 점수라고 지칭될 수 있다. 제1 모델(300) 및/또는 제2 모델(304)이 수신할 수 있는 입력 비디오(372)에 대한 예시적인 비디오 치수가 도시되어 있다. 특정 층 크기 및/또는 비디오 크기는 제1 모델(300) 및/또는 제2 모델(304)을 사용하는 애플리케이션에 따라 조절될 수 있음이 이해된다.
도 18은 제3 모델(400) 및 제4 모델(404)을 예시한다. 제3 모델(400)은 3D CNN일 수 있다. 제4 모델(404)은 GAP가 있는 3D CNN일 수 있다. 제3 모델(400) 및 제4 모델(404) 모두는 다수의 합성곱 층(408A-F)을 포함할 수 있다. 임의의 합성곱 층(408A-F)으로서 사용될 수 있는 예시적인 합성곱 층(412)이 도시되어 있다. 일부 실시예에서, 합성곱 층(412)은 제1 3D CNN 층(416), 제1 배치 정규화(420), 제1 ReLU(424), 제2 3D CNN 층(428), 제2 배치 정규화(432), 제2 ReLU(436), 및 3D 최대 풀링 층(440)을 포함할 수 있다. 일부 실시예에서, 제3 모델(400) 및 제4 모델(404)의 커널 치수는 3일 수 있고, 3D 최대 풀링 층(440)은 3 x 3 윈도우로 적용될 수 있다. 일부 실시예에서, 제3 모델(400) 및 제4 모델(404)의 커널 치수는 5일 수 있고, 3D 최대 풀링 층(440)은 5 x 5 윈도우로 적용될 수 있다.
제3 모델(400)은 평탄화 층(444) 및 위험 점수(452)를 출력하는 조밀 층(448)을 포함할 수 있다. 제3 모델(400)에 의해 출력되는 위험 점수(452)는 비디오 위험 점수라고 지칭될 수 있다.
제4 모델(404)은 GAP 층(456) 및 위험 점수(464)를 출력하는 조밀 층(460)을 포함할 수 있다. 제4 모델(404)에 의해 출력되는 위험 점수(464)는 비디오 위험 점수라고 지칭될 수 있다. 제3 모델(400) 및/또는 제4 모델(404)이 수신할 수 있는 입력 비디오(468)에 대한 예시적인 비디오 치수가 도시되어 있다. 특정 층 크기 및/또는 비디오 크기는 제3 모델(400) 및/또는 제4 모델(404)을 사용하는 애플리케이션에 따라 조절될 수 있음이 이해된다.
일부 실시예에서, 제1 모델(300), 제2 모델(304), 제3 모델(400), 및/또는 제4 모델(404)은 신경망(예를 들어, 합성곱 신경망 및/또는 심층 신경망)일 수 있다. 제1 모델(300), 제2 모델(304), 제3 모델(400) 및 제4 모델(404)에 대한 예시적인 파라미터 및 층 정보는 각각 아래의 표 11, 12, 13 및 14에 나타낸다.
Figure pct00023
Figure pct00024
Figure pct00025
Figure pct00026
Figure pct00027
Figure pct00028
Figure pct00029
Figure pct00030
Figure pct00031
Figure pct00032
테스트에서, 2D 및 3D CNN의 합성곱 유닛은 CNN 층, 배치 정규화, ReLU, CNN 층, 배치 정규화, ReLU 및 최대 풀링의 조성으로 7개의 층 시퀀스로 정의되었다. 모든 커널 치수는 3으로 설정되었고 최대 풀링은 2D 커널의 경우 3 x 3 윈도우, 3D 커널의 경우 3 x 3 x 3 윈도우로 적용되었다. 커널 크기를 모든 치수에서 3픽셀에서 5픽셀로 증가시켜 4개의 추가 버전이 추가되었으며, 결과적으로 심장 초음파 검사 뷰당 총 8개의 후보 비디오 모델이 생성되었다.
일반적으로, 모델(300, 304, 400, 404)은 낮은 파라미터 설계이다. 제시된 실험의 높은 계산 비용과 과적합 가능성을 감소시키기 위해 낮은 파라미터 설계가 선택되었다. 2D CNN + LSTM(예를 들어, 제1 모델(300))은 비디오의 모든 프레임에 분산된 2D CNN 브랜치로 구성된다. 이 아키텍처는 비디오로부터의 모든 프레임이 동일한 장면 또는 동작에 속하는 비디오 설명 문제에 사용되었다. 따라서, 정적 피처는 비디오에 걸쳐 동일한 2D 커널에 의해 일반적으로 발견된다고 가정한다. 이 가정은 심장 초음파 검사 뷰 분류를 위해 실제로 적용되었다. LSTM 층은 시간 경과에 따라 CNN 피처를 집계하여 전체 시퀀스를 나타내는 벡터를 출력한다.
2D CNN + GAP 접근법(예를 들어, 제2 모델(304))은 프레임의 시간 집계로서 평균 CNN 피처에 대한 LSTM 층을 교환했다. GAP 층은 2개의 이점을 제공하였다: 훈련 가능한 파라미터가 필요하지 않아, LSTM 층으로부터 10,736개의 파라미터를 절감하고, 피처 해석을 가능하게 하였다. GAP 이후의 최종 완전 연결 층은 CNN 피처의 가중 평균을 제공하여, 최종 결정에서 비디오의 어떤 섹션에 더 가중치가 부여되었는 지를 나타낼 수 있다. 3D CNN 접근법은 입력 데이터가 네트워크를 통해 유동할 때 시간 및 공간 피처를 집계한다.
2D CNN 접근법과 달리, 3D CNN은 모든 층에서 인접 프레임으로부터의 정보를 통합하여, 비디오 분류에도 유용한 것으로 입증된 시공간 종속 피처를 추출한다. 3D CNN 접근법에서, GAP 층은 완전 연결 층 입력을 피처 맵 크기로부터 필터 개수로 감소시켰다. 따라서, GAP 층도 파라미터의 개수를 641개에서 17개로 감소시켰다.
전술한 바와 같이, 제시된 실험의 높은 계산 비용과 과적합 가능성을 감소시키기 위해 낮은 파라미터 설계가 선택되었다. 모든 실험을 완료하기 위해, 약 40일 동안 NVIDIA DGX2에서 모두 16개의 GPU를 완전히 차지한 총 1,152개의 신경망 모델(교차 검증 실험을 위한 24개의 뷰 x 5개의 접힘 x 8개 모델 더하기 최종 버전을 위한 24개의 뷰 x 8개 모델)이 적합했다. 심층 학습 모델은 통상적으로 수백만 개의 파라미터로 구성된다. 예를 들어, 인셉션 모델에는 2천 5백만 개의 파라미터가 있고 ResNet에는 4천만 개 초과의 파라미터가 있어, 이러한 대규모 네트워크를 훈련하는 데 드는 계산 비용이 엄청나게 비싸게 만들고, 개시된 모델에서 입증된 성능을 고려할 때, 잠재적으로 불필요하다. 비교적 큰 개시된 모델조차도 20,000개 미만의 파라미터를 포함한다.
일부 실시예에서, 모델은 Python 버전 3.6.8, Tensorflow 모듈 버전 1.14, 및 Keras 모듈 버전 2.2.4tf와 함께 도커 컨테이너 tensorflow:19.08py3(nvcr.io/nvidia/에서 사용 가능)을 사용하여 구현될 수 있다.
교차 검증 절차
위의 표 10에 설명된 교차 검증 세트를 사용하여, 심장 초음파 검사 연구를 5개의 접힘으로 분할하였고, 여기서 5개의 반복 각각에서 접힘을 테스트에 사용하고 나머지는 훈련에 사용하였다. 접힘 콘텐츠에 대해 2개의 제약이 적용되었다: 1) 동일한 환자로부터의 연구는 2개 이상의 접힘에 존재할 수 없었고, 2) 각각의 접힘은 전체 데이터세트와 유사한 양성 유병률(1년 모든 원인 사망률)을 포함하였다. 각각의 훈련 세트에 대해, 내부 검증을 위한 테스트 세트에 대한 프록시로서 균형 잡힌 유병률과 함께 연구의 10분의 1을 따로 설정하였다. DNN이 훈련됨에 따라, 손실(이진 교차 엔트로피)은 각각의 에포크에서 내부 검증 세트에 대해 평가되었다. 내부 검증 손실이 10개 초과 에포크에 대해 감소하지 않으면, 훈련을 중단하고 최소 검증 손실에서 모델 가중치를 복구하였다.
모든 비디오 아키텍처는 훈련 세트에서 사용 가능한 모든 뷰에 대해 훈련되었다. 각각의 뷰에 대해, 내부 검증 세트에서 가장 높은 AUC를 가진 아키텍처가 선택되었으며 해당 모델은 모든 후속 실험에서 해당 뷰의 성능을 보고하는 데 사용되었다. 각각의 뷰에 대해 선택된 아키텍처의 요약은 표 15에 나타내고, PL DEEP 뷰에 대한 예는 표 16에 나타낸다. EHR-파생된 피처 및 비디오 위험 점수는 사분위수 범위 스케일러, 연쇄 방정식에 의한 다변수 대치, 및 XGboost 분류기로 구성된 분류 파이프라인에 맞도록 각각의 뷰에 대해 연접되었다. 이 파이프라인은 각각의 훈련 접힘에 적합했고 출력 위험 점수를 생성하기 위해 대응 테스트 세트에 적용되었다.
전체 데이터세트의 사망률 유병률이 불균형했기 때문에(환자의 14.6%가 심장 초음파 검사 연구의 1년 이내에 사망), 각각의 클래스의 가중치는 다음과 같이 설정되었다:
Figure pct00033
(2).
테스트에서, 모든 훈련은 16개의 사용 가능한 GPU 각각에 각각의 모델을 독립적으로 피팅하여 NVIDIA DGX2 플랫폼에서 수행되었다.
Figure pct00034
Figure pct00035
통계 분석
모든 생존 분석에서, 심장 초음파 검사 연구로부터 사망까지의 시간 또는 마지막으로 알려진 살아있는 만남(검열관필) 및 예측된 라벨을 사용하여 카플란-마이어 플롯(Kaplan-Meier plot) 및 Cox Proportional Hazard Ratio 분석에 대한 생존 확률을 계층화하였다. 분석은 lifelines python 패키지 버전 0.25.4를 사용하여 수행되었다. DNN 및 SHF 모델 모두에 대한 임계값이 점수 범위의 중간점으로 선택되었다.
AUC 추정치가 접힘당 획득한 교차 검증 실험의 경우, 5개 접힘에 걸친 평균과 ±1.96σ/√5로 계산된 95% CI가 보고되었다.
단일 AUC만 사용할 수 있었던 나머지 실험(심부전 및 조사 동연령군)의 경우, AUC 추정은 10,000번의 반복에 대해 부트스트랩되었으며 2.5번째 및 97.5번째 백분위수를 95% CI로서 보고하였다.
페어링된 조사 데이터와 예측 성능을 비교할 때 상당한 차이를 보고하기 위해, 300개 샘플 중 정답 수에 대해 페어링 비율 테스트를 수행하였다. 4명의 심장 전문의 각각을 DNN 모델과 비교하는 총 4번의 테스트가 수행되었으므로, p-값 정정 임계값은 0.05/4이다. 통계 계산을 위해, Python 버전 0.11.1용 스탯-모델 패키지를 사용하였다.
시애틀 심부전 구현
SHF 점수는, 수축기 혈압, 헤모글로빈, 림프구, 요산, 총 콜레스테롤 및 나트륨 형태의 백혈구 백분율이 미래의 잠재적으로 근접한 측정을 사용하는 대신 심장 초음파 촬영일 (1년 이내) 또는 심장 초음파 촬영일 전에 가장 최근에 이용할 수 있는 측정으로 정의되는 것을 제외하고 통상적인 파라미터로 계산되었다. 미래의 이벤트를 예측하기 위해, DNN과 SHF 모델은 모두 심장 초음파가 취득된 날짜 이후에 수집된 데이터에 대해 눈이 멀었다.
심부전 아류형 정의
심부전 유형(즉, 감소된 박출률 대 보존된 박출률)은 다음과 같이 심부전 진단 이전 6개월까지의 모든 이전 사용 가능한 박출률 측정을 사용하여 각각의 샘플에 대해 결정되었다: 1) 임의의 LVEF≤50%이면 박출률 감소가 있는 심부전(HFrEF); 2) 모든 LVEF≥50%이면 박출률이 보존된 심부전(HFpEF); 3) LVEF가 보고된 적이 없는 경우 아류형이 지정되지 않음.
성능 평가
첫째, DNN 모델은 임상적으로 취득한 심장 초음파 검사 비디오 데이터베이스(812,278개 비디오)에서 교차 검증되었다. 독립적인 모델은 개별 뷰(흉골 장축, 심첨 4방 등)에 대해 훈련되었고 개별 뷰 모델의 출력으로 구성된 피처 벡터를 형성하기 위해 집계되었다. 평균적으로, 모든 심장 초음파 검사 비디오 뷰를 조합하여 사용하면 58 EDM(AUC: 0.75, 95% CI) 또는 관련 심혈관-관련 진단, 실험실 값, 인구학 및 활력 징후를 포함한 EHR로부터의 58개 EDM 및 100개 추가 임상 변수의 조합(AUC: 0.81, 95%CI)을 사용하는 것보다 1년 사망률을 예측하는 데 더 높은 성능(수신기 작동 특성 곡선(AUC) 아래 영역: 0.83, 95% CI)을 산출하였다. 모든 뷰와 158개의 EHR-파생된 측정을 조합한 가장 큰 모델은 0.84, 95% CI의 AUC를 산출하였다. 개별 뷰 모델의 성능 범위는 0.700.80의 AUC이며, 흉골 장축 뷰가 최고의 개별 성능을 생성한다. 마지막으로, 미래의 심혈관 질환에 대한 임상 표준 벤치마크인 PCE 점수를 동일한 샘플에 대해 계산하였다. PCE 점수는 1년 사망률 예측에 대해 0.64(95% CI)의 AUC를 산출했으며, 이는 테스트된 모든 DNN 모델보다 열등하였다.
DNN을 사용하여 심장 초음파 검사 비디오로부터 1년 사망률을 예측하기 위한 교차 검증 실험의 이 개념 증명을 감안할 때, DNN 모델은 교차 검증 실험으로부터 모든 812,278개의 비디오를 사용하여 재훈련되었고, 2개의 새롭고 독특한 그룹의 환자에 대한 성능을 평가하였다. 제1 그룹은 600명의 환자의 독립적인 세트(조사 세트)이었고, 1년 사망률 결과에 대해 균형을 잡았다(즉, 심장 초음파 검사 후 1년 동안 생존한 300명의 환자 및 1년 이내에 사망한 300명의 환자). 제2 그룹은 3,384회의 심장 초음파를 받은 2,404명의 심부전 환자(eMERGE 지침에 의해 "확실한" 심부전으로 정의됨)의 동연령군이었다.
조사 세트는 심장 초음파 검사에서 4명의 전문 심장 전문의, 3명의 심혈관 훈련 스테이트먼트(Cardiovascular Training Statement)(COCATS) 레벨 3 및 1명의 레벨 2의 수행을 평가하는 데 사용되었다. 심장 전문의는 독립적이고 맹목적으로 각각의 환자가 심장 초음파 후 1년에 생존할지 아니면 사망할지를 결정하도록 요청받았다. 심장 전문의의 성과를 효율적으로 평가하기 위해, 흉골 장축 뷰(최고 성능 개별 뷰)로부터 단일 비디오의 제한된 입력 세트와 10개의 EHR 변수를 제시하여 그 성능을 동일한 입력 세트에서 훈련된 모델과 비교하였다. 심장 전문의의 답변으로부터의 위험 점수는 각각의 환자에 대한 긍정적 예측(1년 이내에 사망)의 개수를 집계하여 구성되었다. DNN 모델은 0.84, 95% CI의 AUC를 산출한 반면, 집계된 심장 전문의 점수는 0.68, 95% CI의 열등한 AUC를 산출하였다.
심장 전문의와 비교하여 DNN 모델의 성능을 추가로 평가하기 위해, 조사 세트를 재배열하여 일치한 쌍을 나타내었다. 실험 사이에 심장 전문의에게 개별 레벨의 피드백이 제공되지 않았다. 이 제2 조사에서, 심장 전문의와 모델에게 한 번에 2개의 연구가 제시되었는데, 하나의 연구는 1년 이내에 사망한 환자로부터의 연구이고 다른 하나는 심장 초음파 후 1년 초과 생존한 환자로부터의 연구였다. 심장 전문의와 모델 모두 각각의 쌍으로부터 1년에 사망할 확률이 더 높은 환자를 선택하도록 요청받았다. 300쌍을 성별, 연령(5세 이내) 및 좌심실 박출률(EF)(절대 차이 10% 이내)별로 일치시켰다. 이 조사는 결과 유병률을 통제하고 식별 성과를 직접 측정하기 위해 설계되었다. DNN 모델은 82%의 정확도를 산출했으며, 4명의 심장 전문의는 66, 70, 73 및 76%를 기록하였다. 나이가 많은 환자 또는 낮은 EF를 양성 샘플로 선택하는 것과 같은 단순한 휴리스틱은 각각 43%(131개 샘플) 및 36%(108개 샘플) 정확도를 초래하였다. 페어링된 비율 테스트를 사용하여, 다중 비교를 위해 정정한 후 모델은 4명의 심장 전문의 중 3명보다 훨씬 더 높은 성능을 산출하였다(p < 0.05/4).
다음으로, 심장 전문의가 모델의 도움을 받을 때 성과를 개선시킬 수 있는 지를 평가하였다. 제1 조사와 유사하게, 한 번에 단일 연구를 보여주고, 심장 전문의의 예측을 수집한 다음, 동일한 연구를 기계 예측 점수와 함께 즉시 제시하였다. 집계된 심장 전문의 점수 AUC는 DNN 성능과 약간 중첩하는 모델 예측으로부터의 도움으로 0.72, 95% CI에서 0.78, 95%CI로 개선되었다. 조사에서, 심장 전문의는, 평균적으로 예측의 10.3%를 올바르게 변경하고 3.8%의 예측을 잘못 변경하였다. 민감도는 13% 만큼 증가했지만 특이성은 평균 1% 미만으로 감소했다.
완전히 훈련된 DNN 모델(모든 뷰 + EHR)이 적용된 제2 환자 그룹은 3,384회의 심장 초음파를 받은 2,404명의 심부전 환자(eMERGE 지침에 의해 "확실한" 심부전으로 정의됨)의 동연령군이었다. 이 환자 그룹은 심부전이 만연하고 비용이 많이 들고 심부전 관리가 SHF 위험 점수와 같은 생존 예측 모델에 크게 의존하기 때문에 중요한 추가 임상 검증으로 선택되었다. 이 동연령군 내에서, SHF 점수는 0.70, 95% CI의 AUC를 산출한 반면, DNN 모델은 0.76, 95% CI의 AUC를 산출하였다. 특히, DNN의 이러한 우수한 성능은 감소된(HFrEF) 및 보존된 EF(HFpEF)가 있는 환자 모두에서 관찰되었다(표 16 참조).
DNN 모델(0.5)과 SHF 점수(1.5)에 대한 중간 임계값을 기초로 예측을 계산하여 고위험과 저위험을 구별했다. 점수 범위는 DNN 모델의 경우 0 내지 1, SHF 모델의 경우 1 내지 4였다.
마지막으로, 심장 초음파 검사 비디오로부터 학습한 DNN 모델을 피처로 하여 조사하였다. 이를 위해, 샘플 비디오를 10 x 10 x 10 3차원 복셀로 폐색하여 특정 영역을 폐색하여 초래되는 가능성 점수의 차이를 계산했다. 폐색 결과가 비디오이므로, 제1 프레임과 오버레이된 적색 영역이 디스플레이되어 적어도 10개 프레임에 대한 위험 점수(>2.5 표준 편차)의 상당한 변화를 나타낸다. 이들 폐색 실험은 1년 이내에 사망한 예측 점수가 가장 높은 4명의 환자와 1년 초과 생존한 예측 점수가 가장 낮은 4명의 환자에 대한 것이다. 이들 환자는 제1 교차 검증 실험 접힘의 테스트 세트에서 선택되었다. 고위험 환자의 경우, 폐색은 위험 점수를 낮추고 저위험 환자의 경우 폐색은 위험 점수를 증가시킨다는 점에 유의한다. 일반적으로, 가장 영향력 있는 영역은 해부학적으로 관련된 심장 영역, 특히 좌심방, 좌심실, 승모판 및 대동맥 판막 평면과 일치하는 것으로 관찰되었다. 이들 영역은 위험이 낮은 비디오에서 더 제한적이고 국소적인 것으로 보인 반면, 위험이 더 높은 비디오는 주변 해부구조를 추가로 활용하는 것으로 나타났고; 그러나, 심장 전문의에게 폐색 맵의 몇 가지 예를 제시할 때, 환자의 생존 결과를 더 잘 식별하는 데 도움이 될 수 있는 패턴을 식별할 수 없다고 일화적으로 보고하였다.
요약하면, 신경망이 1년 모든 원인 사망률을 예측하는 중요한 임상 작업에서 의사를 지원하는 능력이 입증되었다. 1년 사망률을 식별하는 DNN 모델의 능력은 여러 기존 임상 위험 점수뿐만 아니라 EHR로부터의 이미지-파생된 표준 임상 측정만을 활용하는 모델의 능력을 능가하였다. 또한, DNN 모델은 훈련된 4명의 심장 전문의의 예측 성능을 개선시켰다. 따라서, 이 심장 초음파 비디오 기반 DNN 모델은 표준 임상 해석 초과의 가치를 추가할 수 있다.
생존은 매우 중요하고 모호하지 않은 임상 결과로 선택되었으며, PFS와 같은 다른 결과를 사용할 수 있다. 사람-정의된 결과를 예측하기 위해 심장 초음파 검사에서 관찰자의 가변성이 존재할 수 있는 경우에도, 사망률 라벨을 사용하면 이 문제를 제거하지는 못하더라도 최소화하는 데 도움이 될 수 있다. 예측 성능을 개선하면 외래 환자 환경에서 심혈관 질환의 1차 및 2차 예방을 위한 선택적 수술 절차 또는 영향 치료 지침 전에 환자 위험 평가를 직접 개선할 수 있다. 또한, 모집단 레벨에서, 개선된 사망률 위험 모델을 통해 이전에 심부전 환자의 EHR 변수만 사용하여 입증된 바와 같이, 건강 시스템 및 보험 제공자가 환자 모집단을 더 잘 이해하고 자원을 최적으로 배치 가능하게 할 수 있다. 특히, 심부전의 경우, 심장 이식 및 내구성 기계적 지지 디바이스의 이식과 같은 고급 요법에 대한 환자 후보를 결정하는 방법은 역사적으로 피크 산소 소비 및 침습적 혈류역학에 부분적으로 기초한 사망률 위험 평가에 의존한다. 심부전 환자에서 제세동기 배치에 대한 고려는 1년 초과 동안 의미 있는 생존에 대한 합리적인 기대에 근거한다. 보다 정확한 사망률 기반 위험 도구를 구현하면 추가적인 이점이 있을 수 있다. 마지막으로, 1년 사망률 추정은 완화 치료 및 호스피스로의 전이를 계획하는 데 특히 중요하다. 향후 입원 또는 판막 교체와 같은 주요 절차의 필요성과 같은 심장학에서 임상적으로 관련된 추가 결과를 예측하기 위해 신경망 모델의 성능을 평가하려면 추가 연구가 필요할 것이다.
이제, 도 19를 참조하면, 예시적인 훈련된 모델(500)이 도시되어 있다. 일부 실시예에서, 모델(500)은 환자와 관련된 적어도 하나의 심장 초음파 비디오(504) 및/또는 EHR 데이터(508)를 수신할 수 있다. 일부 실시예에서, HER 정보는 표 3의 파라미터와 같은 다수의 환자 파라미터의 값을 포함할 수 있다. 일부 실시예에서, 모델(500)은 다수의 훈련된 비디오 모델(512)을 포함할 수 있다. 다수의 훈련된 비디오 모델(512)에 포함된 각각의 비디오 모델은 심장 초음파 뷰와 관련될 수 있다. 일부 실시예에서, 다수의 훈련된 비디오 모델(512)에 포함된 각각의 비디오 모델은 표 9 및/또는 표 4에 포함된 고유한 심장 초음파 뷰와 관련될 수 있다. 일부 실시예에서, 훈련된 비디오 모델(512)의 개수는 제1 모델(300), 제2 모델(304), 제3 모델(400), 및/또는 제4 모델(404)을 포함할 수 있다. 훈련된 비디오 모델(512)에 포함된 각각의 훈련된 모델은 각각의 심장 초음파 뷰에 대한 최고 성능(예를 들어, 가장 높은 AUC) 모델 아키텍처를 결정함으로써 선택될 수 있다. 예를 들어, 제1 심장 초음파 뷰의 경우, 제1 모델(300)이 최상일 수 있고, 제2 심장 초음파 뷰의 경우 제4 모델(404)이 최상일 수 있다.
일부 실시예에서, 훈련된 모델(500)은 적어도 하나의 심장 초음파 비디오(504)를 수신하고, 적어도 하나의 심장 초음파 비디오(504)의 각각의 심장 초음파 비디오를 다수의 훈련된 비디오 모델(512)에 포함된 훈련된 비디오 모델에 제공하며, 다수의 훈련된 비디오 모델(512) 각각으로부터 위험 점수(예를 들어, 비디오 위험 점수)를 수신할 수 있다. 일부 실시예에서, 훈련된 모델(500)은 각각의 위험 점수 및/또는 EHR 데이터(508)를 훈련된 서브모델(516)에 제공할 수 있다. 일부 실시예에서, 훈련된 서브모델(516)은 각각의 위험 점수 및/또는 EHR 데이터(508)를 수신하고 사망률 위험 점수(520)(예를 들어, 모든 원인 사망률 위험 점수) 및/또는 무진행 생존 점수와 같은 출력 값을 생성할 수 있다.
이제, 도 20을 참조하면, 심장의 비디오(이 경우에는 심장 초음파 검사 데이터) 및 임의의 추가 이용 가능한 EHR 데이터에 기초하여 미리 결정된 기간(즉, 1년) 동안 환자의 모든 원인 사망률과 같은 관련 임상 평가 변수를 예측하기 위한 예시적인 프로세스(600)가 도시되어 있다. 일부 실시예에서, 프로세스(600)는 전술한 바와 같이 심장 초음파 비디오 및 EHR 변수와 같은 심장의 비디오를 사용하여 훈련된, 합성곱 신경망과 같은 심층 신경망일 수 있는 신경망에 기초하여 환자에 대한 위험 점수를 예측한다. 일부 실시예에서, 프로세스(600)는 환자를 치료하기 위해 또는 환자의 모집단 레벨 관리를 위해 의사를 포함하는 관리 팀에 의해 사용되는 건강 분석 모듈에서 채용될 수 있고, 예컨대 의사는 심부전이 있는 만명의 환자의 전체 모집단에 대해 자원을 전개한다. 일부 실시예에서, 프로세스(600)는 적어도 하나의 메모리 상에서 명령(예를 들어, 컴퓨터 판독 가능 명령)으로서 구현될 수 있고, 적어도 하나의 메모리에 결합된 하나 이상의 프로세서에 의해 실행될 수 있다.
602에서, 프로세스(600)는 환자와 관련된 심장의 다수의 심장 초음파 비디오를 수신할 수 있다. 각각의 심장 초음파 비디오는 심장 초음파 검사 비디오 프레임을 포함할 수 있다. 비디오 프레임은 환자의 심장에 대한 하나 이상의 뷰에서 취한 비디오 프레임을 포함할 수 있다. 예를 들어, 비디오 프레임은 심장의 21개의 상이한 뷰에서 취한 비디오 프레임을 포함할 수 있다. 일부 실시예에서, 심장 초음파 비디오는 심첨 2방 뷰, 심첨 3방 뷰, 심첨 4방 뷰, 우심실에 포커싱된 심첨 4방 뷰, 심첨 5방 뷰, 흉골 장축 뷰, 흉골 장하행 대동맥 뷰, 흉골 장형 승모판 뷰, 흉골 장형 폐동맥 판막 뷰, 흉골 장형 우심실 유입 뷰, 흉골 장형 줌 대동맥 판막 뷰, 흉골 단형 대동맥 판막 뷰, 흉골 단형 폐동맥 판막 및 폐동맥 뷰, 흉골 단형 삼첨판 뷰, 단축 심첨 뷰, 단축 베이스 뷰, 단축 중간 유두상 뷰, 늑골하 4방 뷰, 늑골하 간정맥 뷰, 늑골하 심방 중격 뷰, 늑골하 하대정맥 뷰, 늑골하 우심실 뷰, 흉골 상절흔 뷰, 단축 중간 유두상 뷰, 단축 심첨 뷰, 심첨 3방 줌 뷰, 심첨 2방 줌 뷰, 및/또는 단축 베이스 뷰를 포함하는 하나 이상의 심장 초음파 뷰와 관련될 수 있다. 그 다음, 프로세스(600)는 604로 진행할 수 있다.
604에서, 프로세스(600)는 환자와 관련된 다수의 파라미터 값을 포함하는 EHR 데이터를 수신할 수 있다. 일부 실시예에서, 604는 도 12의 104와 실질적으로 동일할 수 있다. 그 다음, 프로세스(600)는 606으로 진행할 수 있다.
606에서, 프로세스(600)는 다수의 심장 초음파 비디오 및 EHR 데이터를 훈련된 모델에 제공할 수 있다. 일부 실시예에서, 훈련된 모델은 도 19의 모델(500)일 수 있다. 일부 실시예에서, 프로세스(600)는 각각의 심장 초음파 비디오를 훈련된 모델에 포함된 관련된 훈련된 비디오 모델(예를 들어, 비디오와 동일한 심장 초음파 뷰와 관련된 훈련된 비디오 모델)에 제공할 수 있다. 일부 실시예에서, 프로세스(600)는 심장 초음파 비디오에 기초하여 훈련된 비디오 모델에 의해 생성된 위험 점수(비디오 위험 점수)와 함께 훈련된 서브모델(예를 들어, 모델(500)의 서브모델(516))에 EHR 데이터를 제공할 수 있다. 606에서, 프로세스(600)는 훈련된 모델을 사용하여 심장의 하나 이상의 영역을 분석할 수 있다. 일부 실시예에서, 프로세스(600)는 좌심방, 좌심실, 승모판, 및/또는 대동맥 판막을 포함하는 심장의 하나 이상의 영역을 분석할 수 있다. 그 다음, 프로세스(600)는 608로 진행할 수 있다.
608에서, 프로세스(600)는 훈련된 모델로부터 위험 점수를 수신할 수 있다. 일부 실시예에서, 위험 점수는 도 19의 위험 점수(520)일 수 있다. 일부 실시예에서, 위험 점수는 사망률 위험 점수일 수 있다. 일부 실시예에서, 위험 점수는 무진행 생존 점수일 수 있다. 그 다음, 프로세스(600)는 610으로 진행할 수 있다.
610에서, 프로세스(600)는 의료 종사자 또는 건강 관리 관리자가 볼 수 있도록 메모리 또는 디스플레이 중 적어도 하나에 원시 위험 점수를 출력할 수 있다. 일부 실시예에서, 프로세스(600)는 위험 점수에 기초하여 보고서를 생성 및 출력할 수 있다. 보고서는 원시 위험 점수를 포함할 수 있다. 보고서는 위험 점수에 기초하여 생성된 임의의 적절한 그래프 및/또는 차트를 포함할 수 있다. 보고서는 컴퓨터 모니터 또는 태블릿 컴퓨터, 스마트폰, 랩톱 컴퓨터 등에 통합된 화면과 같은 디스플레이를 사용하여 의사에게 디스플레이될 수 있다. 일부 실시예에서, 보고서는 메모리를 포함하는 저장 디바이스로 출력될 수 있다. 일부 실시예에서, 보고서는 환자에 대한 잠재적 치료에 관한 정보 및/또는 환자에 대한 잠재적 치료에 관한 정보에 대한 링크를 포함할 수 있다. 일부 실시예에서, 링크는 하이퍼링크일 수 있다. 일부 실시예에서, 환자에 대한 잠재적 치료는 심장 이식, 기계적 지지 디바이스의 이식, 제세동기 배치, 완화 치료, 및/또는 호스피스를 포함할 수 있다. 일부 실시예에서, 의료 종사자는 보고서에 기초하여 환자에 대한 결정(예를 들어, 적격성 결정)을 내릴 수 있다.
결론적으로, 심층 신경망을 사용하여 의료 비디오로부터 임상적으로 관련된 예측 정보를 추출하기 위한 방법론 및 아키텍처가 개시된다.
따라서, 본 명세서에 설명된 바와 같이, 본 개시내용은 의사가 심장 해부구조 및 기능을 평가하고 미래의 임상 이벤트를 예측하는 것을 돕기 위해 심장 초음파 동안 취득된 비디오와 같은 심장의 비디오를 효율적이고 정확하게 분석하기 위한 시스템 및 방법을 제공한다.
본 개시내용은 다양한 수정 및 대안적 형태가 가능할 수 있지만, 특정 실시예가 도면에서 예로서 도시되었고 본 명세서에서 상세히 설명되었다. 그러나, 본 개시내용은 개시된 특정 형태로 제한되도록 의도되지 않음을 이해하여야 한다. 오히려, 본 개시내용은 다음의 첨부된 청구범위에 의해 정의된 바와 같은 본 개시내용의 사상 및 범위 내에 속하는 모든 수정, 균등물 및 대안을 포괄하는 것이다.
이 기록된 설명은 예를 사용하여 최상의 모드를 포함하는 본 개시내용을 개시하고, 또한 본 기술 분야의 숙련자가 임의의 디바이스 또는 시스템을 제조하고 사용하는 것 및 임의의 통합된 방법을 수행하는 것을 비롯하여 본 개시내용을 실시할 수 있도록 한다. 본 개시내용의 특허 가능한 범위는 청구범위에 의해 한정되며, 본 기술 분야의 숙련자에게 연상되는 다른 예를 포함할 수 있다. 그러한 다른 예는 청구범위의 문자 그대로의 언어와 상이하지 않은 구조적 요소를 갖고 있거나 청구범위의 문자 그대로의 언어와 비실질적 차이가 있는 등가의 구조적 요소를 포함하는 경우에 청구범위의 범위 내에 있는 것으로 의도된다.
마지막으로, 본 명세서에 설명된 임의의 프로세스 또는 단계가 조합, 제거 또는 재정렬될 수 있음이 명시적으로 고려된다. 따라서, 본 설명은 단지 예로서 취해져야 하며, 본 개시내용의 범위를 달리 제한하지 않아야 한다.

Claims (30)

  1. 방법으로서,
    환자와 관련된 심장의 심장 초음파 비디오를 수신하는 단계;
    훈련된 신경망에 심장 초음파 비디오를 제공하는 단계로서, 훈련된 신경망은 입력된 심장 초음파 비디오에 기초하여 사망률 위험 점수를 생성하도록 훈련되는, 단계;
    훈련된 신경망으로부터 환자와 관련된 사망률 위험 점수를 수신하는 단계; 및
    의료 종사자 또는 건강 관리 관리자가 볼 수 있도록 환자와 관련된 사망률 위험 점수를 메모리 또는 디스플레이 중 적어도 하나에 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 환자와 관련된 사망률 위험 점수는 심장 초음파 비디오가 생성된 시기로부터 미리 결정된 일정 기간 내에 환자가 사망할 가능성을 나타내는, 방법.
  3. 제2항에 있어서, 환자와 관련된 사망률 위험 점수는 환자가 미리 결정된 일정 기간 내에 모든 원인으로 사망할 가능성을 나타내는, 방법.
  4. 제1항에 있어서, 훈련된 신경망은 복수의 비디오를 포함하는 훈련 데이터세트에 기초하여 훈련되고, 복수의 비디오의 각각의 비디오는 다수의 심장 초음파 뷰 중에서 선택된 심장 초음파 뷰와 관련되며, 훈련 데이터세트의 적어도 일부는 cMERGE에 따라 명확한 심부전과 관련되는, 방법.
  5. 제4항에 있어서, 다수의 심장 초음파 뷰는 적어도 하나의 심장 초음파 뷰를 포함하는, 방법.
  6. 제4항에 있어서, 다수의 심장 초음파 뷰는 심첨 2방 뷰, 심첨 3방 뷰, 심첨 4방 뷰, 우심실에 포커싱된 심첨 4방 뷰, 심첨 5방 뷰, 흉골 장축 뷰, 흉골 장하행 대동맥 뷰, 흉골 장형 승모판 뷰, 흉골 장형 폐동맥 판막 뷰, 흉골 장형 우심실 유입 뷰, 흉골 장형 줌 대동맥 판막 뷰, 흉골 단형 대동맥 판막 뷰, 흉골 단형 폐동맥 판막 및 폐동맥 뷰, 흉골 단형 삼첨판 뷰, 단축 심첨 뷰, 단축 베이스 뷰, 단축 중간 유두상 뷰, 늑골하 4방 뷰, 늑골하 간정맥 뷰, 늑골하 심방 중격 뷰, 늑골하 하대정맥 뷰, 늑골하 우심실 뷰, 흉골 상절흔 뷰, 단축 중간 유두상 뷰, 단축 심첨 뷰, 심첨 3방 줌 뷰, 심첨 2방 줌 뷰, 또는 단축 베이스 뷰 중 적어도 하나를 포함하는, 방법.
  7. 제4항에 있어서, 훈련 데이터세트는 복수의 생존 결과를 더 포함하고, 복수의 비디오의 각각의 비디오는 복수의 생존 결과에 포함된 생존 결과와 관련되는, 방법.
  8. 제4항에 있어서, 훈련 데이터세트는 전자 건강 기록 데이터세트를 더 포함하고, 복수의 비디오의 각각의 비디오는 전자 건강 기록 데이터세트의 일부와 관련되는, 방법.
  9. 제8항에 있어서, 전자 건강 기록 데이터세트는 다수의 환자와 관련되고, 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질, 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함하는 다수의 파라미터의 값을 포함하는, 방법.
  10. 제8항에 있어서, 전자 건강 기록 데이터세트는 인구학적 파라미터, 활력 파라미터, 실험실 측정 파라미터, 심장 초음파 기반 파라미터, 및 진단 파라미터를 포함하는 다수의 파라미터의 값을 포함하는, 방법.
  11. 제10항에 있어서, 인구학적 파라미터는 연령, 성별 및 흡연 상태를 포함하는, 방법.
  12. 제10항에 있어서, 활력 파라미터는 키, 체중, 심장 박동수, 확장기 혈압, 및 수축기 혈압을 포함하는, 방법.
  13. 제10항에 있어서, 실험실 측정 파라미터는 저밀도 지단백질 레벨과 고밀도 지단백질 레벨을 포함하는, 방법.
  14. 제10항에 있어서, 심장 초음파 기반 파라미터는:
    의사-보고된 좌심실 박출률,
    대동맥 기능 부전 감속 경사,
    대동맥 기능 부전 최대 속도,
    대동맥 판막 원위측 유동의 속도-시간 적분,
    대동맥 판막 원위측 유동의 최대 속도,
    대동맥 판막 원위측 유동의 평균 속도,
    대동맥 근부 직경,
    상행 대동맥 직경,
    lv 확장기말 용적: 심첨 2방; 수정된 타원체,
    lv 확장기말 용적: 심첨 4방; 수정된 타원체,
    lv 확장기말 용적: 심첨 2방; 단일 평면,
    lv 확장기말 용적: 심첨 4방; 단일 평면,
    lv 수축기말 용적: 심첨 2방; 수정된 타원체,
    lv 수축기말 용적: 심첨 4방; 수정된 타원체,
    lv 수축기말 용적: 심첨 2방; 단일 평면,
    lv 수축기말 용적: 심첨 4방; 단일 평면,
    확장기말에서 iv 중격 치수,
    좌심방 치수,
    심첨 2방으로부터 파생된 좌심방 용적; 수정된 타원체,
    심첨 4방으로부터 파생된 좌심방 용적; 수정된 타원체,
    장애물에 근접한 속도-시간 적분,
    장애물에 근접한 최대 lv 속도,
    장애물에 근접한 평균 lv 속도,
    심첨 2방으로부터 파생된 확장기말에서 lv 영역,
    심첨 4방으로부터 파생된 확장기말에서 lv 영역,
    심첨 2방으로부터 파생된 수축기말에서 lv 영역,
    심첨 4방으로부터 파생된 수축기말에서 lv 영역,
    확장기말에서 Iv 내부 치수,
    수축기말에서 Iv 내부 치수,
    심첨 2방으로부터 파생된 확장기말에서 lv 장축 길이,
    심첨 4방으로부터 파생된 확장기말에서 lv 장축 길이,
    심첨 2방으로부터 파생된 수축기말에서 lv 장축 길이,
    심첨 4방으로부터 파생된 수축기말에서 lv 장축 길이,
    lv 유출로 영역,
    lv 유출로 직경,
    확장기말에서 Iv 후방 벽 두께,
    승모판 역류 최대 속도,
    승모판 유동의 a-지점 최대 속도,
    승모판 유동의 e-지점 최대 속도,
    승모판 유동의 최대 속도,
    승모판 감속 경사,
    승모판 감속 시간,
    폐동맥 판막 원위측 유동의 최대 속도,
    폐동맥 가속 경사,
    폐동맥 가속 시간,
    폐 r-r 시간 간격,
    우심방 수축기말 평균 압력,
    확장기말에서 우심실 치수,
    삼첨판 역류 최대 속도,
    대동맥 판막 역류,
    승모판 역류,
    삼첨판 역류,
    폐 판막 역류,
    대동맥 판막 협착,
    승모판 협착,
    삼첨판 협착,
    폐 판막 협착, 및
    의사-보고된 확장기 기능을 포함하는, 방법.
  15. 제10항에 있어서, 진단 파라미터는, 급성 류마티스열의 진단, 만성 류마티스 심장 질환의 진단, 고혈압 질환의 진단, 허혈성 심장 질환의 진단, 폐 심장 질환 및 폐 순환 질환의 진단, 급성 심낭염의 진단, 기타 형태의 심장 질환의 진단, 급성 심근염의 진단, 심근병증의 진단, 심정지의 진단, 발작성 빈맥의 진단, 심방세동의 진단, 심부전의 진단, 뇌혈관 질환의 진단, 동맥, 소동맥 및 모세혈관의 질환의 진단, 정맥, 림프관 및 림프절의 질환의 진단, 저혈압의 진단, 순환계의 기타 및 불특정 장애의 진단, 당뇨병의 진단, 선천성 심장 결함의 진단, 이상지질혈증의 진단, 및 만성 신장 질환의 진단을 포함하는, 방법.
  16. 제1항에 있어서,
    환자와 관련된 전자 건강 기록 정보를 수신하는 단계; 및
    훈련된 신경망에 전자 건강 기록 정보를 제공하는 단계를 더 포함하며, 훈련된 신경망은 입력된 전자 건강 기록 정보에 기초하여 사망률 위험 점수를 생성하도록 추가로 훈련되는, 방법.
  17. 제16항에 있어서, 전자 건강 기록 정보는 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질, 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함하는 다수의 파라미터의 값을 포함하고, 이 값은 환자와 관련되는, 방법.
  18. 제16항에 있어서, 전자 건강 기록 정보는 인구학적 파라미터, 활력 파라미터, 실험실 측정 파라미터, 심장 초음파 기반 파라미터, 및 진단 파라미터를 포함하는 다수의 파라미터의 값을 포함하는, 방법.
  19. 제18항에 있어서, 인구학적 파라미터는 연령, 성별 및 흡연 상태를 포함하는, 방법.
  20. 제18항에 있어서, 활력 파라미터는 키, 체중, 심장 박동수, 확장기 혈압, 및 수축기 혈압을 포함하는, 방법.
  21. 제18항에 있어서, 실험실 측정 파라미터는 저밀도 지단백질 레벨과 고밀도 지단백질 레벨을 포함하는, 방법.
  22. 제18항에 있어서, 심장 초음파 기반 파라미터는 의사-보고된 좌심실 박출률, 대동맥 기능 부전 감속 경사, 대동맥 기능 부전 최대 속도, 대동맥 판막 원위측 유동의 속도-시간 적분, 대동맥 판막 원위측 유동의 최대 속도, 대동맥 판막 원위측 유동의 평균 속도, 대동맥 근부 직경, 상행 대동맥 직경, lv 확장기말 용적: 심첨 2방; 수정된 타원체, lv 확장기말 용적: 심첨 4방; 수정된 타원체, lv 확장기말 용적: 심첨 2방; 단일 평면, lv 확장기말 용적: 심첨 4방; 단일 평면, lv 수축기말 용적: 심첨 2방; 수정된 타원체, lv 수축기말 용적: 심첨 4방; 수정된 타원체, lv 수축기말 용적: 심첨 2방; 단일 평면, lv 수축기말 용적: 심첨 4방; 단일 평면, 확장기말에서 iv 중격 치수, 좌심방 치수, 심첨 2방으로부터 파생된 좌심방 용적; 수정된 타원체, 심첨 4방으로부터 파생된 좌심방 용적; 수정된 타원체, 장애물 근위측 속도-시간 적분, 장애물 근위측 최대 lv 속도, 장애물 근위측 평균 lv 속도, 심첨 2방으로부터 파생된 확장기말에서 lv 영역, 심첨 4방으로부터 파생된 확장기말에서 lv 영역, 심첨 2방으로부터 파생된 수축기말에서 lv 영역, 심첨 4방으로부터 파생된 수축기말에서 lv 영역, 확장기말에서 lv 내부 치수, 수축기말에서 lv 내부 치수, 심첨 2방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 확장기말에서 lv 장축 길이, 심첨 2방으로부터 파생된 수축기말에서 lv 장축 길이, 심첨 4방으로부터 파생된 수축기말에서 lv 장축 길이, lv 유출로 영역, lv 유출로 직경, 확장기말에서 lv 후방 벽 두께, 승모판 역류 최대 속도, 승모판 유동의 a-지점 최대 속도, 승모판 유동의 e-지점 최대 속도, 승모판 유동의 최대 속도, 승모판 감속 경사, 승모판 감속 시간, 폐동맥 판막 원위측 유동의 최대 속도, 폐동맥 가속 경사, 폐동맥 가속 시간, 폐 r-r 시간 간격, 우심방 수축기말 평균 압력, 확장기말에서 우심실 치수, 삼첨판 역류 최대 속도, 대동맥 판막 역류, 승모판 역류, 삼첨판 판막 역류, 폐 판막 역류, 대동맥 판막 협착, 승모판 협착, 삼첨판 협착, 폐 판막 협착, 및 의사-보고된 확장기 기능을 포함하는, 방법.
  23. 제18항에 있어서, 진단 파라미터는, 급성 류마티스열의 진단, 만성 류마티스 심장 질환의 진단, 고혈압 질환의 진단, 허혈성 심장 질환의 진단, 폐 심장 질환 및 폐 순환 질환의 진단, 급성 심낭염의 진단, 기타 형태의 심장 질환의 진단, 급성 심근염의 진단, 심근병증의 진단, 심정지의 진단, 발작성 빈맥의 진단, 심방세동의 진단, 심부전의 진단, 뇌혈관 질환의 진단, 동맥, 소동맥 및 모세혈관의 질환의 진단, 정맥, 림프관 및 림프절의 질환의 진단, 저혈압의 진단, 순환계의 기타 및 불특정 장애의 진단, 당뇨병의 진단, 선천성 심장 결함의 진단, 이상지질혈증의 진단, 및 만성 신장 질환의 진단을 포함하는, 방법.
  24. 제1항에 있어서, 환자와 관련된 심장의 심장 초음파 비디오는 단일 심장 초음파 뷰와 관련되는, 방법.
  25. 제24항에 있어서, 단일 심장 초음파 뷰는 흉골 장축 뷰인, 방법.
  26. 제1항에 있어서,
    사망률 위험 점수에 기초하여 보고서를 생성하는 단계를 더 포함하고,
    보고서는 환자에 대한 잠재적 치료에 관한 정보 또는 환자에 대한 잠재적 치료에 관한 정보에 대한 링크 중 적어도 하나를 포함하며,
    환자에 대한 잠재적 치료는 심장 이식, 기계적 지지 디바이스의 이식, 제세동기 배치, 완화 치료, 또는 호스피스 중 적어도 하나를 포함하는, 방법.
  27. 제1항에 있어서, 환자와 관련된 사망률 위험 점수는 의료 종사자 또는 건강 관리 관리자가 환자에 대한 잠재적 치료에 관한 결정을 내리도록 의료 종사자 또는 건강 관리 관리자에게 충분한 정보를 제공하며, 잠재적 치료는 심장 이식, 기계적 지지 디바이스의 이식, 제세동기 배치, 완화 치료, 또는 호스피스 중 적어도 하나를 포함하는, 방법.
  28. 제27항에 있어서, 결정은 치료에 대한 적격성인, 방법.
  29. 시스템으로서,
    명령을 포함하는 적어도 하나의 메모리에 결합된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 명령을 실행하여:
    환자와 관련된 심장의 심장 초음파 비디오를 수신하고;
    훈련된 신경망에 심장 초음파 비디오를 제공하며 - 훈련된 신경망은 입력된 심장 초음파 비디오에 기초하여 사망률 위험 점수를 생성하도록 훈련됨 -;
    훈련된 신경망으로부터 환자와 관련된 사망률 위험 점수를 수신하고;
    의료 종사자 또는 건강 관리 관리자가 볼 수 있도록 환자와 관련된 사망률 위험 점수를 메모리 또는 디스플레이 중 적어도 하나에 출력하는, 시스템.
  30. 제29항에 있어서, 적어도 하나의 프로세서는 명령을 추가로 실행하여:
    환자와 관련된 전자 건강 기록 정보를 수신하고;
    훈련된 신경망에 전자 건강 기록 정보를 제공하며, 훈련된 신경망은 입력된 전자 건강 기록 정보에 기초하여 사망률 위험 점수를 생성하도록 추가로 훈련되고,
    전자 건강 기록 정보는 연령, 삼첨판 역류 최대 속도, 심장 박동수, 저밀도 지단백질, 좌심실 박출률, 확장기 혈압, 폐동맥 가속 시간, 수축기 혈압, 폐동맥 가속 경사, 및 확장기 기능을 포함하는 다수의 파라미터의 값을 포함하는, 시스템.
KR1020227020130A 2019-11-15 2020-11-16 심장의 비디오를 사용하여 환자 평가 변수의 예측을 개선시키기 위한 심층 신경망 시스템 및 방법 KR20220102635A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962936377P 2019-11-15 2019-11-15
US62/936,377 2019-11-15
PCT/US2020/060800 WO2021097460A1 (en) 2019-11-15 2020-11-16 Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart

Publications (1)

Publication Number Publication Date
KR20220102635A true KR20220102635A (ko) 2022-07-20

Family

ID=75908335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227020130A KR20220102635A (ko) 2019-11-15 2020-11-16 심장의 비디오를 사용하여 환자 평가 변수의 예측을 개선시키기 위한 심층 신경망 시스템 및 방법

Country Status (5)

Country Link
US (2) US11864944B2 (ko)
EP (1) EP4057909A4 (ko)
JP (1) JP2023502983A (ko)
KR (1) KR20220102635A (ko)
WO (1) WO2021097460A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075899A1 (ko) * 2022-10-06 2024-04-11 (의)삼성의료재단 상행성 흉부 대동맥류 추정 방법 및 장치

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11672464B2 (en) 2015-10-27 2023-06-13 Cardiologs Technologies Sas Electrocardiogram processing system for delineation and classification
CA3072976A1 (en) 2017-08-25 2019-02-28 Cardiologs Technologies Sas User interface for analysis of electrocardiograms
US12016694B2 (en) 2019-02-04 2024-06-25 Cardiologs Technologies Sas Electrocardiogram processing system for delineation and classification
CN113711318A (zh) * 2019-03-20 2021-11-26 皇家飞利浦有限公司 启用ai的回声确认工作流程环境
US11657921B2 (en) * 2019-09-18 2023-05-23 Tempus Labs, Inc. Artificial intelligence based cardiac event predictor systems and methods
US11514573B2 (en) * 2019-11-27 2022-11-29 Shanghai United Imaging Intelligence Co., Ltd. Estimating object thickness with neural networks
US11704803B2 (en) * 2020-03-30 2023-07-18 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems using video-based machine learning for beat-to-beat assessment of cardiac function
US20210330296A1 (en) * 2020-04-27 2021-10-28 Butterfly Network, Inc. Methods and apparatuses for enhancing ultrasound data
EP4192354A1 (en) * 2020-08-10 2023-06-14 Cardiologs Technologies SAS Electrocardiogram processing system for detecting and/or predicting cardiac events
US11803967B2 (en) * 2021-04-01 2023-10-31 GE Precision Healthcare LLC Methods and systems for bicuspid valve detection with generative modeling
EP4346565A1 (en) * 2021-05-28 2024-04-10 Tempus AI, Inc. Artificial intelligence based cardiac event predictor systems and methods
CN113317791B (zh) * 2021-05-28 2023-03-14 温州康宁医院股份有限公司 一种基于被测者的音频确定抑郁症严重程度的方法及装置
CN113592802B (zh) * 2021-07-26 2024-02-02 东北大学 一种基于超声图像的二尖瓣环位移自动检测系统
CN113570569B (zh) * 2021-07-26 2024-04-16 东北大学 一种基于深度学习的心脏室间隔抖动自动检测系统
CN113689441B (zh) * 2021-08-30 2024-08-16 华东师范大学 一种基于DeepLabV3网络的左心室超声动态分割方法
CN113744266B (zh) * 2021-11-03 2022-02-08 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质
CN114170162A (zh) * 2021-11-25 2022-03-11 深圳先进技术研究院 一种图像预测方法、图像预测装置以及计算机存储介质
US20230210471A1 (en) * 2021-12-31 2023-07-06 Silverleaf Medical Sciences Inc. Assessment of Hemodynamics Parameters
US20230223143A1 (en) * 2022-01-12 2023-07-13 International Business Machines Corporation Predicting temporal impact of interventions by deconvolving historical response data
WO2023150440A1 (en) * 2022-02-07 2023-08-10 Siemens Healthcare Diagnostics Inc. Patient-centric load planning system and method
CN114767163B (zh) * 2022-03-17 2024-06-25 复旦大学 基于超声心动图的儿童先天性心脏病智能诊断系统
WO2024059303A1 (en) * 2022-09-16 2024-03-21 Children's National Medical Center Rheumatic heart disease detection from echocardiograms
CN115587971B (zh) * 2022-09-21 2023-10-24 四川大学华西医院 基于心脏超声节段活动的机体反应及血流动力学监测方法及系统
WO2024127209A1 (en) * 2022-12-13 2024-06-20 Aisap Ltd Automated analysis of echocardiographic images
US12082969B1 (en) * 2023-02-22 2024-09-10 BrightHeart SAS Systems and methods for improving detection of fetal congenital heart defects
US11869188B1 (en) * 2023-02-22 2024-01-09 BrightHeart SAS Systems and methods for improving detection of fetal congenital heart defects
US11875507B1 (en) * 2023-02-22 2024-01-16 BrightHeart SAS Systems and methods for detecting cardiovascular anomalies using spatiotemporal neural networks
US11861838B1 (en) 2023-06-07 2024-01-02 BrightHeart SAS Systems and methods for system agnostic automated detection of cardiovascular anomalies and/or other features
CN117218118B (zh) * 2023-11-07 2024-03-12 福建南方路面机械股份有限公司 基于图像序列的坍落度监测方法、装置及可读介质
CN117829731B (zh) * 2023-12-29 2024-06-28 光谷技术有限公司 基于rfid和ai视觉的军事装备仓储管理方法及系统
CN117994249B (zh) * 2024-04-02 2024-06-11 四川省医学科学院·四川省人民医院 一种基于深度学习的心脏瓣膜反流严重程度超声评估方法
CN118116555B (zh) * 2024-04-28 2024-07-09 中国医学科学院阜外医院 基于磁共振的参数确定方法、装置、设备、介质和产品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912528B2 (en) * 2003-06-25 2011-03-22 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
US10163174B2 (en) * 2006-05-30 2018-12-25 The University Of North Carolina At Chapel Hill Methods, systems, and computer program products for evaluating a patient in a pediatric intensive care unit
US8532352B2 (en) 2010-10-06 2013-09-10 Siemens Aktiengesellschaft Method and system for intraoperative guidance using physiological image fusion
WO2015026953A1 (en) 2013-08-20 2015-02-26 Ohio State Innovation Foundation Methods for predicting prognosis
US10679143B2 (en) 2016-07-01 2020-06-09 International Business Machines Corporation Multi-layer information fusing for prediction
US20180107791A1 (en) * 2016-10-17 2018-04-19 International Business Machines Corporation Cohort detection from multimodal data and machine learning
US10667794B2 (en) 2016-10-17 2020-06-02 International Business Machines Corporation Automatic detection of disease from analysis of echocardiographer findings in echocardiogram videos
WO2019153039A1 (en) 2018-02-06 2019-08-15 Alerte Echo IQ Pty Ltd Systems and methods for ai-assisted echocardiography

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075899A1 (ko) * 2022-10-06 2024-04-11 (의)삼성의료재단 상행성 흉부 대동맥류 추정 방법 및 장치

Also Published As

Publication number Publication date
EP4057909A4 (en) 2023-11-29
WO2021097460A1 (en) 2021-05-20
JP2023502983A (ja) 2023-01-26
US20210150693A1 (en) 2021-05-20
US11864944B2 (en) 2024-01-09
EP4057909A1 (en) 2022-09-21
US11957507B2 (en) 2024-04-16
US20210145404A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US11864944B2 (en) Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart
Dey et al. Artificial intelligence in cardiovascular imaging: JACC state-of-the-art review
Al’Aref et al. Clinical applications of machine learning in cardiovascular disease and its relevance to cardiac imaging
Xing et al. Artificial intelligence in medicine: technical basis and clinical applications
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
Ulloa Cerna et al. Deep-learning-assisted analysis of echocardiographic videos improves predictions of all-cause mortality
Mazzanti et al. Imaging, health record, and artificial intelligence: hype or hope?
de Siqueira et al. Artificial intelligence applied to support medical decisions for the automatic analysis of echocardiogram images: A systematic review
Loncaric et al. Integration of artificial intelligence into clinical patient management: focus on cardiac imaging
El-Taraboulsi et al. Deep neural network architectures for cardiac image segmentation
Guo et al. Survival prediction of heart failure patients using motion-based analysis method
EP3896702A1 (en) Cardiovascular assessment of patients suspected of having covid-19
Aromiwura et al. Artificial intelligence in cardiac computed tomography
Suvon et al. Multimodal learning for predicting mortality in patients with pulmonary arterial hypertension
US20230245782A1 (en) Artificial Intelligence Based Cardiac Event Predictor Systems and Methods
Delmondes et al. A systematic review of multi-slice and multi-frame descriptors in cardiac MRI exams
Ulloa et al. A deep neural network to enhance prediction of 1-year mortality using echocardiographic videos of the heart
Magyar et al. RVENet: A large echocardiographic dataset for the deep learning-based assessment of right ventricular function
de Souza-Filho et al. Deep learning and artificial intelligence in nuclear cardiology
Cerna Large scale electronic health record data and echocardiography video analysis for mortality risk prediction
Chandrasekar et al. ANALYSIS FOR HEART DISEASE PREDICTION USING DEEP NEURAL NETWORK AND VGG_19 CONVOLUTION NEURAL NETWORK.
Blagojević et al. A review of the application of artificial intelligence in medicine: from data to personalised models
US20240221936A1 (en) Multimodal cardio disease state predictions combining electrocardiogram, echocardiogram, clinical and demographical information relating to a patient
Chen et al. An Explainable Intelligent Approach for Cardiovascular Disease Diagnosis from High-Dimensional Laboratory Test Results
Ulloa Cerna Large Scale Electronic Health Record Data and Echocardiography Video Analysis for Mortality Risk Prediction