WO2023055103A1 - 3차원 모델 시뮬레이션에 기반하여 심장 또는 심혈관 이상 진단을 보조하기 위한 방법 및 장치 - Google Patents

3차원 모델 시뮬레이션에 기반하여 심장 또는 심혈관 이상 진단을 보조하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2023055103A1
WO2023055103A1 PCT/KR2022/014615 KR2022014615W WO2023055103A1 WO 2023055103 A1 WO2023055103 A1 WO 2023055103A1 KR 2022014615 W KR2022014615 W KR 2022014615W WO 2023055103 A1 WO2023055103 A1 WO 2023055103A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
heart
images
data
network
Prior art date
Application number
PCT/KR2022/014615
Other languages
English (en)
French (fr)
Inventor
심학준
하성민
최안네스
김지연
Original Assignee
주식회사 온택트헬스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 온택트헬스 filed Critical 주식회사 온택트헬스
Publication of WO2023055103A1 publication Critical patent/WO2023055103A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 심장의 3차원 모델에 대한 시뮬레이션에 기반하여 심장 또는 심혈관 이상을 진단을 보조하기 위한 정보를 제공하기 위한 것으로, 심장 또는 심혈관 이상을 진단을 보조하기 위한 정보를 제공하기 위한 방법은, 대상자의 심장에 대한 제1 영상들에 기반하여 상기 심장의 제1 부분 3차원 구조를 나타내는 제1 모델을 생성하는 단계, 상기 대상자의 심장에 대한 제2 영상들에 기반하여 상기 심장의 제2 부분에 대한 3차원 기하학 구조를 나타내는 제2 모델을 생성하는 단계, 인공지능 모델을 이용하여 상기 제1 모델 및 상기 제2 모델에 기반하여 상기 제2 부분에 대한 유체 역학 시뮬레이션 결과를 예측하는 단계, 및 상기 유체 역학 시뮬레이션 결과에 기반하여 상기 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공하는 단계를 포함할 수 있다.

Description

3차원 모델 시뮬레이션에 기반하여 심장 또는 심혈관 이상 진단을 보조하기 위한 방법 및 장치
본 발명은 질병의 진단에 관한 것으로, 특히, 심장 및 혈관의 3차원 모델에 대한 시뮬레이션에 기반하여 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 방법 및 장치에 대한 것이다.
질병은 인간의 심신에 장애를 일으켜서 정상적인 기능을 저해하는 상태를 의미하는 것으로, 질병에 따라 인간은 고통을 받고 심지어 생을 유지하지 못할 수 있다. 따라서, 질병을 진단하고, 치료하고 나아가 예방하기 위한 다양한 사회적 시스템 및 기술들이 인류의 역사와 함께 발전해왔다. 질병의 진단 및 치료에 있어서, 기술의 눈부신 발전에 따라 다양한 도구들 및 방식들이 개발되어 왔지만, 아직까지, 종국적으로는 의사의 판단에 의존하고 있는 현실이다.
한편, 최근 인공지능(artificial intelligence, AI) 기술이 크게 발전하면서 다양한 분야에서 주목되고 있다. 특히, 방대한 양의 누적된 의료 데이터와, 이미지 위주의 진단 데이터 등의 환경으로 인해, 의료 분야에 인공지능 알고리즘을 접목하려는 다양한 시도와 연구가 진행 중이다. 구체적으로, 질병을 진단, 예측하는 등 종래의 임상적 판단에 머물러 있던 작업들을 인공지능 알고리즘을 이용하여 해결하려는 다양한 연구가 이루어지고 있다.
본 발명은 인공지능(artificial intelligence, AI) 알고리즘을 이용하여 심장 또는 심혈관 이상에 대한 진단을 보조하는 정보를 제공하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 심장의 3 차원 모델에 대한 시뮬레이션에 기반하여 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 심장에 대한 제1 의료 영상으로부터 생성된 심장의 제1 부분의 3차원 모델 및 제2 의료 영상으로부터 생성된 심장의 제2 부분의 3차원 모델에 기반하여 혈액에 대한 시뮬레이션을 수행하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 심장에 대한 3차원 모델을 기반하여 수행된 유체 역학(fluid dynamics) 시뮬레이션에 기반하여 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른, 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 방법은, 대상자의 심장에 대한 제1 영상들에 기반하여 상기 심장의 제1 부분 3차원 구조를 나타내는 제1 모델을 생성하는 단계, 상기 대상자의 심장에 대한 제2 영상들에 기반하여 상기 심장의 제2 부분에 대한 3차원 기하학 구조를 나타내는 제2 모델을 생성하는 단계, 인공지능 모델을 이용하여 상기 제1 모델 및 상기 제2 모델에 기반하여 상기 제2 부분에 대한 유체 역학 시뮬레이션 결과를 예측하는 단계, 및 상기 유체 역학 시뮬레이션 결과에 기반하여 상기 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 영상들은, 상기 제2 영상들과 다른 종류의 의료 영상들을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 영상들 또는 상기 제2 영상들은, 시간에 따른 2차원 영상의 변화를 포함하는 초음파, 3차원 구조를 포함하는 CT(computed tomography), MR(magnetic resonance) 중 하나에 기반할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 모델은, 좌심실, 좌심방, 우심실, 우심방 중 적어도 하나로부터 수득될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제2 모델은, 혈액의 유동을 모사할 수 있는 혈관 구조 중 대동맥, 폐동맥, 관상동맥 중 적어도 하나로부터 수득될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인공지능 모델은, 상기 제1 부분의 볼륨(volume) 및 상기 제2 부분의 구조에 대한 데이터를 입력 데이터로서 사용할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제2 부분의 구조에 대한 데이터는, 상기 제2 부분의 3차원 구조를 표현하는 포인트 클라우드(point cloud) 데이터를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인공지능 모델은, 상기 제2 모델에 대한 데이터를 처리하는 제1 네트워크, 상기 제1 모델에 기반하여 결정된 볼륨 데이터를 처리하는 제2 네트워크, 상기 제1 네트워크에 의해 생성된 글로벌 특징 데이터 및 상기 제2 네트워크에 의해 생성된 로컬 특징 데이터를 결합하고, 결합된 특징 데이터에 기반하여 상기 유체 역학 시뮬레이션 결과를 생성하는 제3 네트워크를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제3 네트워크는, 상기 로컬 특징 데이터 및 상기 글로벌 특징 데이터를 연접한 결합된 특징 데이터를 처리하는 2개의 FC(fully connected) 레이어들을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 모델을 생성하는 단계는, 상기 제1 영상들을 뷰(view)에 따라 분류하는 단계, 상기 제1 영상들에서 상기 제1 부분의 영역들을 확인하는 단계, 상기 제1 부분의 영역들 및 상기 뷰들 간 상대적 각도 관계에 기반하여 상기 제1 모델을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제2 모델을 생성하는 단계는, 상기 제2 영상들에서 상기 제2 부분의 영역들을 세그먼테이션하는 단계, 상기 세그먼테이션의 결과에 기반하여 상기 제2 부분의 기하학 구조를 나타내는 포인트 클라우드 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 심장 또는 심혈관 이상은, 심장 판막 질환, 선천성 심장 질환, 동맥색전증 및 혈전증, 만성 폐질환, 폐동맥 고혈압(pulmonary hypertension), 특발성 폐동맥고혈압, 이차성 폐성 고혈압 중 하나를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인공지능 모델은, CFD(computed fluid dynamics) 시뮬레이션 알고리즘의 결과에서 추출된 데이터를 포함하는 학습 데이터를 이용하여 훈련될 수 있다.
본 발명의 일 실시 예에 따른, 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 장치는, 송수신부, 인공지능 모델을 저장하는 저장부, 및 상기 송수신부 및 상기 저장부와 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 대상자의 심장에 대한 제1 영상들에 기반하여 상기 심장의 제1 부분 3차원 구조를 나타내는 제1 모델을 생성하고, 상기 대상자의 심장에 대한 제2 영상들에 기반하여 상기 심장의 제2 부분에 대한 3차원 기하학 구조를 나타내는 제2 모델을 생성하고, 인공지능 모델을 이용하여 상기 제1 모델 및 상기 제2 모델에 기반하여 상기 제2 부분에 대한 유체 역학 시뮬레이션 결과를 예측하고, 상기 유체 역학 시뮬레이션 결과에 기반하여 상기 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공하도록 제어할 수 있다.
본 발명의 일 실시 예에 따른, 매체에 저장된 프로그램은, 프로세서에 의해 동작되면 전술한 방법을 실행할 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에 따르면, 훈련된 인공지능 모델을 이용하여 심장 또는 심혈관 이상이 효과적으로 진단을 보조하기 위한 정보를 제공될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 시스템을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 질병 발생 가능성을 예측하는 장치의 구조를 도시한다.
도 3은 본 발명에 적용 가능한 인공지능 모델을 구성하는 퍼셉트론(perceptron)의 예를 도시한다.
도 4는 본 발명에 적용 가능한 인공지능 모델을 구성하는 인공 신경망의 예를 도시한다.
도 5는 본 발명에 적용 가능한 포인트넷(pointnet) 모델의 예를 도시한다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 진단 보조 알고리즘의 개념을 도시한다.
도 7은 본 발명의 일 실시 예에 따른 인공지능 모델을 학습하는 절차의 예를 도시한다.
도 8은 본 발명의 일 실시 예에 따른 심장 또는 심혈관 이상에 대한 진단을 보조하는 절차의 예를 도시한다.
도 9는 본 발명의 일 실시 예에 따른 의료 영상들에 기반하여 우심실의 3차원 모델을 생성하는 절차의 예를 도시한다.
도 10은 본 발명의 일 실시 예에 따른 의료 영상들에 기반하여 폐동맥의 3차원 모델을 생성하는 절차의 예를 도시한다.
도 11은 본 발명의 일 실시 예에 따른 인공지능 모델의 구조를 도시한다.
도 12a 내지 도 12e는 본 발명의 일 실시 예에 따른 인공지능 모델의 예측 결과 및 GT(ground truth)를 도시한다.
도 13a 내지 도 13e는 본 발명의 일 실시 예에 따라 초음파 영상에 기반하여 이상 진단을 보조하기 위한 3차원 구조물을 생성하는 과정의 일 예를 도시한다.
도 14a 내지 도 14e는 본 발명의 일 실시 예에 따라 초음파 영상에 기반하여 이상 진단을 보조하기 위한 3차원 구조물을 생성하는 과정의 다른 예를 도시한다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은 인공지능 알고리즘을 이용하여 질병을 진단을 보조하기 위한 것으로, 구체적으로, 의료 영상에 기반하여 심장 또는 심혈관 이상을 진단을 보조하기 위한 정보를 제공하기 위한 기술에 관한 것이다.
도 1은 본 발명의 일 실시 예에 따른 시스템을 도시한다.
도 1을 참고하면, 시스템은 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130)를 포함한다.
서비스 서버(110)는 인공지능 모델 기반의 서비스를 제공한다. 즉, 서비스 서버(110)는 인공지능 모델을 이용하여 학습 및 예측 동작을 수행한다. 서비스 서버(110)는 네트워크를 통해 데이터 서버(120) 또는 적어도 하나의 클라이언트 장치(130)와 통신을 수행할 수 있다. 예를 들어, 서비스 서버(110)는 데이터 서버(120)로부터 인공지능 모델을 훈련하기 위한 학습 데이터를 수신하고, 훈련을 수행할 수 있다. 서비스 서버(110)는 적어도 하나의 클라이언트 장치(130)로부터 학습 및 예측(prediction) 동작에 필요한 데이터를 수신할 수 있다. 또한, 서비스 서버(110)는 적어도 하나의 클라이언트 장치(130)에게 예측 결과에 대한 정보를 송신할 수 있다.
데이터 서버(120)는 서비스 서버(110)에 저장된 인공지능 모델의 훈련을 위한 학습 데이터를 제공한다. 다양한 실시 예들에 따라, 데이터 서버(120)는 누구나 접근 가능한 공공 데이터를 제공하거나 또는 허가를 필요로 하는 데이터를 제공할 수 있다. 필요에 따라, 학습 데이터는 데이터 서버(120)에 의해 또는 서비스 서버(120)에 의해 전처리할 수 있다. 다른 실시 예에 따라, 데이터 서버(120)는 생략될 수 있다. 이 경우, 서비스 서버(110)는 외부에서 훈련된 인공지능 모델을 사용하거나 또는 서비스 서버(110)에 오프라인으로 학습 데이터가 제공될 수 있다.
적어도 하나의 클라이언트 장치(130)는 서비스 서버(110)에 의해 운용되는 인공지능 모델에 관련된 데이터를 서비스 서버(110)와 송신 및 수신한다. 적어도 하나의 클라이언트 장치(130)는 사용자에 의해 사용되는 장비이며, 사용자에 의해 입력되는 정보를 서비스 서버(110)에게 송신하고, 서비스 서버(110)로부터 수신되는 정보를 저장하거나 사용자에게 제공(예: 표시)할 수 있다. 경우에 따라, 어느 하나의 클라이언트로부터 송신된 데이터에 기반하여 예측 동작이 수행되고, 예측의 결과에 관련된 정보가 다른 클라이언트에게 제공될 수 있다. 적어도 하나의 클라이언트 장치(130)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 타블렛, 웨어러블 기기 등 다양한 형태의 컴퓨팅 장치일 수 있다.
도 1에 도시되지 아니하였으나, 시스템은 서비스 서버(110)를 관리하기 위한 관리 장치를 더 포함할 수 있다. 관리 장치는 서비스를 관리하는 주체에 의해 사용되는 장치로서, 서비스 서버(110)의 상태를 모니터링하거나, 서비스 서버(110)의 설정을 제어한다. 관리 장치는 네트워크를 통해 서비스 서버(110)에 접속하거나 또는 케이블 연결을 통해 직접 연결될 수 있다. 관리 장치의 제어에 따라, 서비스 서버(110)는 동작을 위한 파라미터를 설정할 수 있다.
도 1을 참고하여 설명한 바와 같이, 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130), 관리 장치 등이 네트워크를 통해 연결되고, 상호작용할 수 있다. 여기서, 네트워크는 유선 네트워크 및 무선 네트워크 중 적어도 하나를 포함할 수 있고, 셀룰러 네트워크, 근거리 네트워크, 광역 네트워크 중 어느 하나 또는 둘 이상의 조합으로 이루어질 수 있다. 예를 들어, 네트워크는 LAN(local area network), WLAN(wireless LAN), 블루투스(bluetooth), LTE(long term evolution), LTE-A(LTE-advanced), 5G(5th generation) 중 적어도 하나에 기반하여 구현될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 질병 발생 가능성을 예측하는 장치의 구조를 도시한다. 도 2에 예시된 구조는 도 1의 서비스 서버(110), 데이터 서버(120), 적어도 하나의 클라이언트 장치(130)의 구조로 이해될 수 있다.
도 2를 참고하면, 장치는, 통신부(210), 저장부(220), 제어부(230)를 포함한다.
통신부(210)는 네트워크에 접속하고, 다른 장치와 통신을 수행하기 위한 기능을 수행한다. 통신부(210)는 유선 통신 및 무선 통신 중 적어도 하나를 지원할 수 있다. 통신을 위해, 통신부(210)는 RF(radio frequency) 처리 회로, 디지털 데이터 처리 회로 중 적어도 하나를 포함할 수 있다. 경우에 따라, 통신부(210)는 케이블을 연결하기 위한 단자를 포함하는 구성요소로 이해될 수 있다. 통신부(210)는 데이터, 신호를 송신 및 수신하기 위한 구성요소이므로, '송수신부(transceiver)'라 지칭될 수 있다.
저장부(220)는 장치의 동작을 위해 필요한 데이터, 프로그램, 마이크로 코드, 명령어 집합, 어플리케이션 등을 저장한다. 저장부(220)는 일시적 또는 비일시적 저장 매체로 구현될 수 있다. 또한, 저장부(220)는 장치에 고정되어 있거나, 또는 분리 가능한 형태로 구현될 수 있다. 예를 들어, 저장부(220)는 콤팩트 플래시(compact flash, CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 중 적어도 하나로 구현될 수 있다.
제어부(230)는 장치의 전반적인 동작을 제어한다. 이를 위해, 제어부(230)는 적어도 하나의 프로세서, 적어도 하나의 마이크로 프로세서 등을 포함할 수 있다. 제어부(230)는 저장부(220)에 저장된 프로그램을 실행하고, 통신부(210)를 통해 네트워크에 접속할 수 있다. 특히, 제어부(230)는 후술하는 다양한 실시 예들에 따른 알고리즘들을 수행하고, 후술하는 실시 예들에 따라 장치가 동작하도록 제어할 수 있다.
도 1 및 도 2를 참고하여 설명한 구조에 기반하여, 본 발명의 다양한 실시 예들에 따른 인공지능 알고리즘 기반의 서비스가 제공될 수 있다. 여기서, 인공지능 알고리즘을 구현하기 위해 인공 신경망으로 이루어진 인공지능 모델이 사용될 수 있다. 인공 신경망의 구성 단위인 퍼셉트론(perceptron) 및 인공 신경망의 개념은 다음과 같다.
퍼셉트론은 생물의 신경 세포를 모델링한 것으로서, 다수의 신호들을 입력으로 삼아 하나의 신호를 출력하는 구조를 가진다. 도 3은 본 발명에 적용 가능한 인공지능 모델을 구성하는 퍼셉트론의 예를 도시한다. 도 3을 참고하면, 퍼셉트론은 입력 값들(예: x1, x2, x3, …, xn) 각각 대하여 가중치들(302-1 내지 302-n)(예: w1j, w2j, w3j, …, wnj)을 곱한 후, 가중치 곱해진(weighted) 입력 값들을 변환 함수(transfer function)(304)을 이용하여 합산한다. 합산 과정에서, 바이어스(bias) 값(예: bk)이 더해질 수 있다. 퍼셉트론은 변환 함수(304)의 출력인 네트(net) 입력 값(예: netj)에 대하여 활성 함수(activation function)(406)을 적용함으로써, 출력 값(예: oj)를 생성한다. 경우에 따라, 활성 함수(406)은 임계치(예: θj)에 기반하여 동작할 수 있다. 활성 함수는 다양하게 정의될 수 있다. 본 발명이 이에 제한되는 것은 아니나, 예를 들어, 활성 함수로서, 스텝 함수(step function), 시그모이드(sigmoid), Relu, Tanh 등이 사용될 수 있다.
도 3와 같은 퍼셉트론들이 나열되고, 레이어를 이룸으로써 인공 신경망이 설계될 수 있다. 도 4는 본 발명에 적용 가능한 인공지능 모델을 구성하는 인공 신경망의 예를 도시한다. 도 4에서, 원으로 표현된 각 노드는 도 3의 퍼셉트론으로 이해될 수 있다. 도 4를 참고하면, 인공 신경망은 입력 레이어(input layer)(402), 복수의 은닉 레이어(hidden layer)들(404a, 404b), 출력 레이어(output layer)(406)를 포함한다.
예측을 수행하는 경우, 입력 레이어(402)의 각 노드로 입력 데이터가 제공되면, 입력 데이터는 입력 레이어(402), 은닉 레이어들(404a, 404b)을 이루는 퍼셉트론들에 의한 가중치 적용, 변환 함수 연산 및 활성 함수 연산 등을 거쳐 출력 레이어(406)까지 순전파(forward propagation)된다. 반대로, 훈련을 수행하는 경우, 출력 레이어(406)로부터 입력 레이어(402)를 향한 역전파(backward propagation)를 통해 오차가 계산되고, 계산된 오차에 따라 각 퍼셉트론에 정의된 가중치 값들이 갱신될 수 있다
3차원 공간에 존재하는 객체는 다양한 방식에 의해 데이터화될 수 있다. 예를 들어, 체적을 가진 공간 상에서 복셀(voxel)을 이용하는 방식, 2차원 공간에 투영하는 방식, 메쉬(mesh)를 이용하는 방식, 포인트 클라우드(point cloud)를 이용하는 방식 등이 존재한다. 이 가운데, 포인트 클라우드는 3차원 공간 상에 퍼져있는 복수의 포인트(point)들의 집합으로 3차원 객체를 표현하는 방식으로서, 포인트 클라우드를 이루고 있는 포인트들은 공간에 가득 차있는 것이 아니라 다소 희박하게(sparse) 분포되어 있다.
포인트 클라우드 데이터는 다음과 같은 특성을 가진다. 첫째, 포인트 클라우드 데이터는 이미지 내의 픽셀 어레이 또는 체적을 가진 그리드(volumetic grid)의 복셀 어레이과 달리 순서가 없는 포인트들의 집합이다. 즉, 포인트 클라우드 내의 포인트들은 순서를 가지지 아니한다. 둘째, 포인트 클라우드 데이터는 포인트들 간 상호작용(interaction)을 가진다. 포인트 클라우드 데이터 내의 포인트들은 거리 지표(distance metric)을 가진 공간에 놓여진다. 이는 포인트들이 고립되어 있지 아니하고(not isolated), 이웃하는 포인트들과 의미있는 서브셋을 형성함을 의미한다. 이러한 특성은 포인크 클라우드 데이터를 처리하는 인공지능 모델에게 인접하는 포인트들로부터의 국부적 구조(local structure)를 캡쳐(capture)할 수 있어야함을 요구한다. 셋째, 포인트 클라우드 데이터는 변환(transformation)에 대한 불변성(invariance)을 가진다. 예를 들어, 포인트들에 대한 회전(rotating), 이동(translation) 등의 연산은 글로벌 포인트 클라우드 카테고리(global point cloud category) 및 포인트들의 세그먼테이션을 변경하지 아니한다.
위와 같은 포인트 클라우드 데이터의 특성들을 고려하여, 포인트 클라우드 데이터를 복셀화(voxelization)하거나 2차원 투영(projection)하지 아니하고, 포인트 클라우드 데이터를 직접 처리할 수 있는 인공지능 모델로서, 포인트넷(pointnet) 모델이 제안된 바 있다. 포인트넷 모델은 심층 학습 기반의 3차원 객체 인식을 위한 인공지능 모델로서, 포인트 클라우드 데이터를 입력으로 사용하며, 분할, 분류 등의 문제를 해결하기 위한 신경망이다. 포인트넷 모델은 정렬되어 있지 않은 포인트들에 대한 데이터를 직접 처리하며, 포인트들의 좌표(예: x, y, z 좌표)만을 사용한다. 포인트넷 모델의 구조는 이하 도 5와 같다.
도 5는 본 발명에 적용 가능한 포인트넷 모델의 예를 도시한다. 도 5를 참고하면, 포인트 넷 모델은 분류 네트워크(classification network)(502) 및 세그먼테이션 네트워크(504)를 포함한다.
분류 네트워크(502)는 n개의 포인트들로 이루어진 포인트 클라우드 데이터를 입력 데이터로 수용한다. 여기서, 각 포인트는 3개의 값들(예: x축 좌표, y축 좌표, z축 좌표)로 표현될 수 있다. 제1 변환 네트워크(512)는 n×3 크기의 입력 데이터에 대하여 입력 변환(input transformation)을 수행한다. 제1 변환 네트워크(512)는 T-Net(512a) 및 행렬 곱셈기(512b)를 포함한다. 제1 변환 네트워크(512)에 입력되는 데이터는 T-Net(512a)에 입력되고, 입력되는 데이터 및 T-Net(512a)에서 출력된 행렬이 행렬 곱셈기(512b)에 의해 곱해진다. 여기서, T-Net(512a)은 클라우드 포인트 데이터를 표준 공간(canonical space)으로 전환하기 위한 3×3 크기의 변환 행렬을 생성한다.
제1 변환 네트워크(512)에 의해 변환된 데이터는 제1 MLP(multi-layer perceptron) 네트워크(514)에 입력된다. 제1 MLP 네트워크(514)는 공유된 가중치(shared weight)를 이용하여 포인트들에 대한 특징 정보를 생성한다. 이를 통해, 포인트 당 64개의 특징 값들이 생성된다. 특징 정보는 제2 변환 네트워크(516)로 전달된다.
제2 변환 네트워크(516)는 특징 변환(feature transformation)을 수행한다. 제2 변환 네트워크(516)는 T-Net(516a) 및 행렬 곱셈기(516b)를 포함한다. 제2 변환 네트워크(516)에 입력되는 데이터는 T-Net(516a)에 입력되고, 입력되는 데이터 및 T-Net(516a)에서 출력된 행렬이 행렬 곱셈기(516b)에 의해 곱해진다. 여기서, T-Net(516a)은 특징 변환을 위한 64×64 크기의 변환 행렬을 생성한다.
제2 변환 네트워크(516)에 의해 변환된 데이터는 제2 MLP 네트워크(518)에 입력된다. 제2 MLP 네트워크(518)는 공유된 가중치를 이용하여 포인트들에 대한 특징 정보를 생성한다. 구체적으로, 제2 MLP 네트워크(518)는 제2 변환 네트워크(516)에 의해 변환된 포인트 당 64개의 특징 값들로부터 포인트 당 1024개의 특징 값들을 생성한다. 제2 MLP 네트워크(518)에 의해 생성된 특징 정보는 맥스 풀링(max pooling) 네트워크(520)에게 전달된다.
맥스 풀링 네트워크(520)는 특징 정보를 집성(aggregate)한다. 즉, 맥스 풀링 네트워크(520)는 로컬 특징 정보로부터 글로벌 특징 정보를 생성한다. 맥스 풀링 네트워크(520)에 의해 포인트넷의 시메트릭 함수(symmetric function)의 성질이 확보된다. 구체적으로, 맥스 풀링 네트워크(520)는 n×1024 크기의 특징 값 행렬의 각 행에서 최대값들 추출함으로써, 1024개의 글로벌 특징 값들을 생성한다.
제3 MLP 네트워크(522)는 분류 결과를 나타내는 출력 데이터를 생성한다. 즉, 제3 MLP 네트워크(522)는 맥스 풀링 네트워크(520)에 의해 생성된 글로벌 특징 정보에 기반하여 분류 결과를 결정한다. 분류 결과는, k개의 클래스(class)들 각각에 대한 점수(score)를 포함한다.
세그먼테이션 네트워크(504)는 분류 네트워크(502)의 확장(extension)으로서, 글로벌 특징 및 로컬 특징들을 연접하고(concatenate), 포인트 별 점수를 생성한다. 이를 위해, 세그먼테이션 네트워크(504)는 제2 변환 네트워크(516)에 의해 생성된 로컬 특징 값들 및 맥스 풀링 네트워크(520)에 의해 생성된 클로벌 특징 값들을 연접함으로써, n×1088 크기의 결합된 정보를 생성한다. 제4 MLP 네트워크(524)는 결합된 정보에 기반하여 포인트 특징 값들을 생성한다. 포인트 특징 값들은 n×128 크기의 데이터를 포함한다. 제5 MLP 네트워크(526)는 포인트 특징 값들에 기반하여 포인트 당 m개의 점수를 결정한다. 즉, 세그먼테이션의 결과로서, n×m 크기의 출력 데이터가 생성된다.
이하 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 다양한 실시 예들이 설명된다. 본 발명에서, 심장 또는 심혈관 이상은 심장에 관련된 다양한 질병들에 관련된다. 예를 들어, 심장 또는 심혈관 이상은 심장 판막 질환, 선천성 심장 질환, 동맥색전증 및 혈전증, 만성 폐질환, 폐동맥 고혈압(pulmonary hypertension), 특발성 폐동맥고혈압, 이차성 폐성 고혈압 중 하나를 포함할 수 있다. 또한, 이하 본 발명은 의료 영상을 기반으로 수행되는 다양한 실시 예들을 설명하며, 의료 영상은 엑스레이, 초음파, CT(computerized tomography), MRI(magnetic resonance imaging), PET(positron emission tomography) 중 적어도 하나에 관련될 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 진단 보조 알고리즘의 개념을 도시한다. 도 6a는 본 발명의 다양한 실시 예들에 따른 인공지능 알고리즘의 진단 보조 방식을, 도 6b는 개략적인 훈련 절차를 도시한다. 도 6a 및 도 6b는 폐동맥 및 모델링의 대상으로 예시하고 있으나, 진단하고자 하는 질병, 진단 방식에 따라 심장의 다른 부분이 모델링의 대상이 될 수 있다.
도 6a를 참고하면, 인공지능 알고리즘은 심장에 대한 제1 영상(612)(예: 초음파 영상) 및 제2 영상(622)(예: CT(computed tomography) 영상)을 기반으로 심장 또는 심혈관 이상의 진단을 보조하기 위한 정보를 제공한다. 인공지능 알고리즘은 제1 영상(612)에서 심장의 제1 부분을 세그먼테이션하고, 세그먼테이션 결과에 기반하여 제1 부분에 대한 모델(614)를 획득하고, 제1 부분에 대한 모델에 기반하여 제1 부분에서의 플로우(flow) 정보(624)를 획득한다. 여기서, 플로우 정보는 제1 부분의 볼륨(volume)에 대한 정보에 관련된다. 또한, 인공지능 알고리즘은 제2 영상(622)에서 심장의 제2 부분을 세그먼테이션하고, 세그먼테이션 결과에 기반하여 제1 부분에 대한 모델을 획득한다.
제1 부분에 대한 플로우 정보(624), 제2 부분에 대한 모델(614)에 기반하여, 인공지능 알고리즘은 시뮬레이션 결과(simulation result)(630)를 예측한다. 시뮬레이션 결과는 제2 부분의 혈류에 대한 정보(예: 혈압)를 제공하며, 혈류에 대한 정보에 기반하여 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공될 수 있다. 이러한 동작들을 위해, 인공지능 알고리즘에 대한 훈련이 요구된다.
도 6b를 참고하면, 제2 영상(622)을 이용한 제2 부분의 세그먼테이션(640)을 위한 훈련 및 시뮬레이션(650)을 위한 훈련의 절차가 개략적으로 예시된다. 세그먼테이션을 위한 심층 학습 네트워크(644)는 입력 이미지(642a)(예: 제2 영상(622)) 및 레이블링된 마스크(mask)(642b)를 학습 데이터로서 사용하여 훈련될 수 있다. 훈련에 의해, 심층 학습 네트워크(644)는 세그먼테이션된 마스크(646)를 예측할 수 있게 된다. CFD(computed fluid dynamics) 시뮬레이션을 위한 심층 학습 네트워크(654)는 폐동맥의 기하학(geometry) 정보(652a), CFD 시뮬레이션 결과(652b), EMR(electronic medical records) 정보(652c), 혈압 정보(652d)(예: RCH(right heart catheterisation)를 이용하여 측정된 혈압) 등을 학습 데이터로서 사용할 수 있다. 훈련에 의해, 심층 학습 네트워크(654)는 시뮬레이션 결과를 예측할 수 있게 된다.
도 6a 및 도 6b를 참고하여 설명한 바와 같이, 심장의 제1 부분 및 제2 부분의 구조에 관련된 모델들에 기반하여 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보가 제공될 수 있다. 제1 부분 및 제2 부분은 진단하고자 하는 질환에 따라 달라질 수 있다. 예를 들어, 제1 부분 및 제2 부분 각각은 심장의 챔버(chamber)(예: 좌심방, 좌심실, 우심방, 우심실 등) 중 하나, 심장에 연결된 혈관(예: 대동맥, 폐동맥, 폐정맥, 상공정맥, 관상동맥 등) 중 하나일 수 있다. 이하 본 발명은 제1 부분으로서 우심실을, 제2 부분으로서 폐동맥을 예로 들어 다양한 실시 예들을 설명한다. 하지만, 후술되는 다양한 실시 예들은 우심실 및 폐동맥 외 다른 부분들을 대상으로도 실시될 수 있음은 자명하다.
도 7은 본 발명의 일 실시 예에 따른 인공지능 모델을 학습하는 절차의 예를 도시한다. 도 7은 시뮬레이션 결과를 예측하기 위한 인공지능 모델(예: 도 6b의 심층 학습 네트워크(654))을 학습하는 절차로서, 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.
도 7을 참고하면, S701 단계에서, 장치는 우심실 및 폐동맥에 관련된 데이터를 획득한다. 우심실 및 폐동맥에 관련된 데이터는 우심실의 3차원 기하학 구조, 폐동맥의 3차원 기하학 구조, 우심실의 볼륨 중 적어도 하나에 관련된 데이터를 포함한다. 우심실 및 폐동맥에 관련된 데이터는 다양한 방식에 의해 생성될 수 있다. 예를 들어, 우심실 및 폐동맥에 관련된 데이터는 별로의 인공지능 모델을 이용하여 예측된 데이터를 포함할 수 있다.
S703 단계에서, 장치는 CFD 시뮬레이션 수행을 위해 파라미터를 수정한다. 파라미터는 CFD 시뮬레이션 결과를 생성하기 위해 사용되는 CFD 시뮬레이션 알고리즘에 따라 수정될 수 있다. 즉, 장치는 CFD 시뮬레이션 알고리즘에서 요구하는 입력 데이터의 형식 및 내용에 따라, 우심실 및 폐동맥에 관련된 데이터의 형식 및 내용을 변환한다. 일 실시 예에 따라, 장치는 혈액 농도(density) 파라미터, 점성(viscosity) 파라미터를 설정하고, 입력부(inlet)를 속도(velocity)를 시간에 따른 변화 값으로, 출구부(outlet)를 압력(pressure)을 시간에 따른 변화값으로 설정한다. 이때, 혈관벽의 특성은 고정된 형태의 리지드(rigid) 옵션으로 설정되고, 약 2 내지 3 심장 사이클(cardiac cycle)들 동안의 시뮬레이션 결과가 도출된다.
S705 단계에서, 장치는 수정된 파라미터를 이용하여 CFD 시뮬레이션을 수행한다. 장치는 수정된 파라미터를 CFD 시뮬레이션 알고리즘에 입력하고, 결과를 확인한다. CFD 시뮬레이션의 결과는 인공지능 모델의 훈련을 위한 학습 데이터로서 사용될 수 있다. 즉, 장치는 CFD 시뮬레이션을 수행함으로써 학습 데이터를 생성한다.
S707 단계에서, 장치는 CFD 시뮬레이션 결과를 이용하여 인공지능 모델을 훈련한다. 다양한 실시 예들에 따른 인공지능 모델은 폐동맥 내에서의 평균 혈압, 특정 지점의 혈압, 및 혈류 속도 중 적어도 하나를 예측한다. 따라서, 인공지능 모델을 훈련하기 위한 학습 데이터는 CFD 시뮬레이션 결과 중 일부일 수 있다. 이 경우, 장치는 CFD 시뮬레이션 결과 중 필요한 데이터를 추출하고, 추출된 데이터를 학습 데이터로서 사용할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 심장 또는 심혈관 이상에 대한 진단을 보조하는 절차의 예를 도시한다. 도 8은 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.
도 8을 참고하면, S801 단계에서, 장치는 의료 영상들에 기반하여 우심실의 3차원 모델을 생성한다. 여기서, 의료 영상들은 심장을 촬영한 것으로서, 일 실시 예에 따라, 초음파 영상들을 포함할 수 있다. 초음파 영상의 경우, 영상들은 극좌표(polar coordinate)에 따르며, 시간에 따른 형태의 변화를 표현하는 2차원 영상들을 포함한다. 또한, 영상들은 다양한 각도, 즉, 다양한 뷰들에서 획득된다. 따라서, 장치는 서로 다른 뷰들에서 촬영된 복수의 2차원 초음파 영상들을 각 뷰에 적용된 좌표계들의 상대적 관계에 기반하여 결합함으로써 우심실의 3차원 구조를 파악할 수 있다. 이를 위해, 장치는 훈련된 인공지능 모델을 이용할 수 있다.
S803 단계에서, 장치는 의료 영상들에 기반하여 폐동맥의 기하학 모델을 생성한다. 여기서, 의료 영상들은 S801 단계에서 사용된 영상들과 동종의 영상들 또는 다른 종류의 영상들을 포함할 수 있다. 일 실시 예에 따라, 의료 영상들은 초음파 영상들을 포함할 수 있다. 이 경우, 장치는 초음파 영상의 뷰(view)들 간의 상대적 위치 또는 각도 정보를 이용하여 3차원 구조를 추정함으로써, 폐동맥의 3차원 구조를 파악할 수 있다. 다른 실시 예에 따라, 의료 영상들은 CT 영상들을 포함할 수 있다. CT 영상은 직각 좌표(cartesian coordinate)에 따른다. 따라서, 장치는 x축, y축, z축에서 촬영된 CT 영상들에서 폐동맥을 세그먼테이션하고, 세그먼테이션된 폐동맥 영역들을 x축, y축, z축에 투영하고, 각 축에 투영된 폐동맥 영역들을 조합함으로써 폐동맥의 3차원 구조를 파악할 수 있다.
S805 단계에서, 장치는 생성된 모델들에 기반하여 혈액에 대한 유체 역학 시뮬레이션 결과를 획득한다. 다시 말해, 장치는 우심실의 3차원 모델 및 폐동맥의 기하학 모델에 기반하여 혈액에 대한 유체 역학 시뮬레이션 결과를 획득한다. 일 실시 예에 따라, 장치는 우심실의 3차원 모델에 기반하여 우심실의 볼륨을 결정하고, 우심실의 볼륨 및 폐동맥의 구조로부터 유체 역학 시뮬레이션 결과를 예측할 수 있다. 유체 역학 시뮬레이션 결과는 주어진 구조체 내에 유체의 흐름에 대한 정보를 제공한다.
S807 단계에서, 장치는 시뮬레이션 결과에 기반하여 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공한다. 일 실시 예에 따라, 시뮬레이션 결과로부터, 장치는 폐동맥 내에서의 혈압에 대한 정보를 도출한다. 예를 들어, 장치는 폐동맥 내 평균 혈압 값, 적어도 하나의 지정된 위치에서의 혈압 값 중 적어도 하나를 확인할 수 있다. 이에 따라, 장치는 평균 혈압 값, 적어도 하나의 지정된 위치의 혈압 값 중 적어도 하나에 기반하여 대표 혈압 값을 결정하고, 대표 혈압 값을 진단을 보조하기 위한 정보를 제공 임계값과 비교함으로써, 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공할 수 있다. 일 실시 예에 따라, 평균 혈압 값이 진단 임계값보다 크면, 장치는 폐동맥 고혈압의 발생을 판정할 수 있다. 다른 실시 예에 따라, 장치는 진단을 보조하기 위한 인공지능 모델을 훈련하고, 훈련된 인공지능 모델을 이용하여 적어도 하나의 혈압 값(예: 평균 혈압 값, 특정 지점에서의 혈압 값)으로부터 진단을 보조하기 위한 정보를 제공할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 초음파 영상들에 기반하여 우심실의 3차원 모델을 생성하는 절차의 예를 도시한다. 도 9는 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.
도 9을 참고하면, S901 단계에서, 장치는 대상자의 심장 초음파 영상들을 획득한다. 심장 초음파 영상들을 서로 다른 뷰(view)들에서 촬영된 복수의 영상들을 포함한다. 예를 들어, 뷰들은 A2CH, A4CH, A4CH, PLAX, PSAX-mid 등을 포함할 수 있다. 초음파 영상들은 외부 장치로부터 유선 또는 무선 통신 연결을 통해 수신될 수 있다. 일 실시 예에 따라, 초음파 영상들은 초음파 촬영 장비로부터 실시간으로 제공될 수 있다.
S903 단계에서, 장치는 심장 초음파 영상들을 뷰(view)에 따라 분류한다. 일 실시 예에 따라, 획득된 심장 초음파 영상들을 분류하기 위한 인공지능 모델이 사용될 수 있다. 인공지능 모델은 초음파 영상의 뷰 분류를 위해 훈련되어 있으며, 초음파 영상들을 입력 데이터로서 수용하여, 분류 결과를 출력한다. 다른 실시 예에 따라, S901 단계에서 심장 초음파 영상들이 획득될 때, 뷰에 대한 정보가 함께 제공될 수 있다. 이 경우, 장치는 뷰에 대한 정보에 기반하여 영상들을 분류할 수 있다.
S905 단계에서, 장치는 분류된 초음파 영상들에서 우심실 영역을 식별하기 위한 마스크를 생성한다. 이를 위해, 세그먼테이션을 위해 훈련된 인공지능 모델이 사용될 수 있다. 즉, 장치는 초음파 영상들 각각에서 우심실을 세그먼테이션하고, 세그먼테이션된 초음파 영상을 지시하는 마스크를 생성할 수 있다. 이를 통해, 초음파 영상들에서 우심실 영역의 위치가 특정될 수 있다.
S907 단계에서, 장치는 영상들 및 마스크에 기반하여 우심실의 3차원 메쉬를 예측한다. 장치는 2차원 형식에 따르는 초음파 영상들 및 영상들 간 상대적 각도(angle) 관계에 기반하여 우심실의 3차원 구조를 파악하고, 3차원 구조를 나타내는 데이터를 생성할 수 있다. 3차원 메쉬를 예측하기 위해, 초음파 영상들, 우심실을 특정하는 마스크들을 입력으로 수용하는 인공지능 모델이 사용될 수 있다. 인공지능 모델은 초음파 영상, 마스크, 레이블 데이터(예: 기하학 모델 데이터)를 포함하는 학습 데이터를 이용하여 훈련된 후, 3차원 메쉬를 예측하기 위해 사용될 수 있다. 여기서, 인공지능 모델은 레이블 데이터로부터 메쉬 특징을 추출하는 네트워크, 이미지/마스크 특징을 추출하는 네트워크, 메쉬 특징 및 이미지/마스크 특징을 스티칭(stitching)하는 네트워크, 출력 데이터를 생성하는 네트워크 중 적어도 하나를 포함할 수 있다.
S909 단계에서, 장치는 3차원 메쉬에 기반하여 우심실의 볼륨 값을 결정한다. 즉, 장치는 예측된 3차원 메쉬에 의해 파악되는 우심실의 3차원 기하학 구조에 기반하여 우심실의 볼륨을 계산할 수 있다. 일 실시 예에 따라, S907 단계 및 S909 단계는 하나의 인공지능 모델을 이용하여 수행될 수 있다. 다시 말해, S907 단계에서 사용되는 인공지능 모델은 3차원 메쉬와 함께 볼륨 값을 함께 출력하도록 설계 및 훈련될 수 있다.
도 9을 참고하여 설명한 실시 예에서, 우심실의 3차원 모델은 메쉬 형식으로 생성된다. 하지만, 다른 실시 예들에 따라, 매쉬는 다른 형식의 3차원 모델로 대체될 수 있다. 예를 들어, 우심실의 3차원 모델은 복셀 모델 또는 포인트 클라우드 모델로 대체될 수 있다.
도 10은 본 발명의 일 실시 예에 따른 의료 영상들에 기반하여 폐동맥의 3차원 모델을 생성하는 절차의 예를 도시한다. 도 10은 연산 능력을 가진 장치(예: 도 1의 서비스 서버(110))의 동작 방법을 예시한다.
도 10를 참고하면, S1001 단계에서, 장치는 대상자의 폐동맥에 대한 영상들을 획득한다. 영상들은 외부 장치로부터 유선 또는 무선 통신 연결을 통해 수신될 수 있다. 일 실시 예에 따라, 영상들은 촬영 장비로부터 실시간으로 제공될 수 있다. 예를 들어, 영상들은 초음파 영상들 또는 CT 영상들을 포함할 수 있다.
S1003 단계에서, 장치는 영상들에서 폐동맥에 대해 세그먼테이션을 수행한다. 즉, 장치는 영상들에서 폐동맥 영역을 식별하고, 폐동맥 영역을 특정하는 마스크를 생성한다. 이를 위해, 세그먼테이션을 위해 훈련된 인공지능 모델이 사용될 수 있다. 예를 들어, 인공지능 모델은 CNN(convolution neural network) 기반의 인공신경망으로서, 다운샘플링(downsampling) 및 업샘플링(upsampling)을 수행하는 네트워크들을 포함할 수 있다.
S1005 단계에서, 장치는 세그먼테이션 결과에 기반하여 포인트 클라우드 데이터를 생성한다. 일 실시 예에 따라, 장치는 세그멘테이션 결과로부터 획득되는 마스크(mask)에 기반하여 3차원 구조를 생성하고, 3차원 구조의 가장 바깥쪽 부분만 표면 메쉬(surface mesh)로 구성한다. 이어, 장치는 구성된 표면 메쉬 상에서 일정한 간격의 포인트들에 대한 정보를 추출하고, 포인트들에 기반하여 포인트 클라우드를 구성할 수 있다. 즉, 장치는 폐동맥의 3차원 구조를 표현하는 포인트 클라우드 데이터를 생성한다. 구체적으로, 장치는 세그먼테이션을 통해 확인된 폐동맥 영역들을 해당 영상의 좌표 평면에 따라 조합함으로써 폐동맥의 3차원 구조를 파악하고, 파악된 3차원 구조를 표현하는 복수의 포인트들을 생성한다.
도 9 및 도 10를 참고하여 설명된 실시 예들에 따라 결정된 우심실의 볼륨 및 폐동맥의 포인트 클라우드 데이터는 폐동맥에 흐르는 혈액에 대한 유체 역학 시뮬레이션 결과를 예측하기 위해 사용될 수 있다. 유체 역학 시뮬레이션을 위해, 장치는 우심실의 볼륨을 결정하고, 폐동맥의 포인트 클라우드 데이터를 이용한다. 우심실의 볼륨은 초음파 영상들로부터 결정된 우심실의 구조에 기반하여 결정될 수 있다. 이를 위해, 장치는 유체 역할 시뮬레이션을 위한 인공지능 모델을 이용할 수 있다. 인공지능 모델은 우심실의 볼륨, 폐동맥의 포인트 클라우드 데이터, 레이블 데이터(예: CFD 시뮬레이션 결과)를 학습 데이터로서 이용하여 훈련된 후, 유체 역학 시뮬레이션 결과를 예측하기 위해 사용될 수 있다.
도 8 내지 도 10를 참고하여 설명한 절차들 각각에서, 동작들 중 일부가 인공지능 모델을 이용하여 수행되는 것으로 설명되었다. 이때, 각 동작을 위한 인공지능 모델들은 모두 별개의 것으로 설명되었으나, 다양한 실시 예들에 따라, 둘 이상의 동작들이 하나의 인공지능 모델을 이용하여 수행될 수 있다. 예를 들어, 도 8에서 설명된 유체 역학 시뮬레이션 동작 및 질병 진단 보조 동작이 하나의 인공지능 모델을 이용하여 수행될 수 있다. 다른 예로, 도 9에서 설명된 우심실 3차원 구조 결정 동작 및 우심실의 볼륨 결정 동작이 하나의 인공지능 모델을 이용하여 수행될 수 있다. 또 다른 예로, 도 10에서 설명된 폐동맥의 세그먼테이션 및 포인트 클라우드 데이터 생성 동작이 하나의 인공지능 모델을 이용하여 수행될 수 있다.
전술한 실시 예들과 같이, 유체 역학 시뮬레이션 결과를 이용하여 질병에 대한 진단을 보조하기 위한 정보가 제공될 수 있다. 이때, 일 실시 예에 따라, 인공지능 모델을 이용하여 예측된 유체 역학 시뮬레이션 결과가 진단을 보조하기 위한 정보를 제공하기 위해 사용될 수 있다. 유체 역학 시뮬레이션 결과를 예측하기 위한 인공지능 모델은 다양하게 설계될 수 있다. 유체 역학 시뮬레이션 결과를 예측하기 위한 인공지능 모델의 일 예는 이하 도 11과 같다.
도 11은 본 발명의 일 실시 예에 따른 인공지능 모델의 구조를 도시한다. 도 11을 참고하면, 인공지능 모델은 폐동맥의 기하학 모델 데이터를 입력 데이터로서 사용하는 제1 네트워크(1110), 우심실의 볼륨 기하학 데이터를 입력 데이터로서 사용하는 제2 네트워크(1120), 제1 네트워크(1110) 및 제2 네트워크(1120)에 의해 생성된 특징 정보들에 기반하여 시뮬레이션 결과를 생성하는 제3 네트워크(1130)를 포함한다.
제1 네트워크(1110)는 n개의 포인트들로 이루어진 포인트 클라우드 데이터를 입력 데이터로 수용한다. 여기서, 각 포인트는 3개의 값들(예: x축 좌표, y축 좌표, z축 좌표)로 표현될 수 있다. 예를 들어, 입력 데이터는 폐동맥의 구조를 표현하는 기하학 모델 데이터를 포함할 수 있다. 제1 변환 네트워크(1111)는 n×3 크기의 입력 데이터에 대하여 입력 변환을 수행한다. 예를 들어, 제1 변환 네트워크(1111)는 클라우드 포인트 데이터를 표준 공간(canonical space)으로 전환하기 위한 3×3 크기의 변환 행렬을 생성하고, 변환 행렬 및 입력 데이터를 곱할 수 있다.
제1 변환 네트워크(1111)에 의해 변환된 데이터는 제1 MLP 네트워크(1112)에 입력된다. 제1 MLP 네트워크(1112)는 공유된 가중치를 이용하여 포인트들에 대한 특징 정보를 생성한다. 이를 통해, 포인트 당 64개의 특징 값들이 생성된다. 특징 정보는 제2 변환 네트워크(1113)로 전달된다. 제2 변환 네트워크(1113)는 제1 MLP 네트워크(1112)에 의해 생성된 특징 정보에 대한 특징 변환을 수행한다. 예를 들어, 제2 변환 네트워크(1113)는 특징 변환을 위한 64×64 크기의 변환 행렬을 생성하고, 변환 행렬 및 특징 정보를 곱할 수 있다.
제2 변환 네트워크(1113)에 의해 변환된 데이터는 제2 MLP 네트워크(1114)에 입력된다. 제2 MLP 네트워크(1114)는 공유된 가중치를 이용하여 포인트들에 대한 특징 정보를 생성한다. 구체적으로, 제2 MLP 네트워크(1114)는 제2 변환 네트워크(1113)에 의해 변환된 포인트 당 64개의 특징 값들로부터 포인트 당 512개의 특징 값들을 생성한다. 제2 MLP 네트워크(1114)에 의해 생성된 특징 정보는 맥스 풀링 네트워크(1115)에게 전달된다.
맥스 풀링 네트워크(1115)는 특징 정보를 집성(aggregate)한다. 즉, 맥스 풀링 네트워크(1115)는 제2 MLP 네트워크(1114)에 의해 생성된 로컬 특징 정보로부터 글로벌 특징 정보를 생성한다. 구체적으로, 맥스 풀링 네트워크(1115)는 n×512 크기의 특징 값 행렬의 각 행에서 최대값들 추출함으로써, 512개의 글로벌 특징 값들을 생성한다. 글로벌 특징 값들은 제3 네트워크(1130)에게 제공된다.
제2 네트워크(1120)는 n개의 포인트들로 이루어진 포인트 클라우드 데이터를 입력 데이터로 수용한다. 여기서, 각 포인트는 3개의 값들(예: x축 좌표, y축 좌표, z축 좌표)로 표현될 수 있다. 예를 들어, 입력 데이터는 우심실의 볼륨을 표현하는 기하학 데이터를 포함할 수 있다. 제3 변환 네트워크(1121)는 n×3 크기의 입력 데이터에 대하여 입력 변환을 수행한다. 예를 들어, 제3 변환 네트워크(1121)는 클라우드 포인트 데이터를 표준 공간(canonical space)으로 전환하기 위한 3×3 크기의 변환 행렬을 생성하고, 변환 행렬 및 입력 데이터를 곱할 수 있다.
제3 변환 네트워크(1121)에 의해 변환된 데이터는 제3 MLP 네트워크(1122)에 입력된다. 제3 MLP 네트워크(1122)는 공유된 가중치를 이용하여 포인트들에 대한 특징 정보를 생성한다. 이를 통해, 포인트 당 64개의 특징 값들을 포함하는 로컬 특징 데이터가 생성된다. 이후, n×64 크기의 로컬 특징 데이터는 n×128 크기로 변환된다. 도 11에 도시되지 아니하였으나, 로컬 특징 데이터의 크기를 변환하는 네트워크가 더 존재할 수 있다.
제3 네트워크(1130)는 제1 네트워크(1110)로부터의 로컬 특징 데이터 및 제2 네트워크(1120)로부터의 로컬 특징 데이터를 결합(stitching)한 후, 결합된 특징 데이터로부터 유체 역학 시뮬레이션 결과를 출력한다. 결합된 특징 데이터는 2개의 완전 연결 레이어들(113, 1132)를 순차적으로 거친 후, 출력 데이터로서 출력된다.
이하, 본 발명에서 제안하는 인공지능 모델에 의해 예측되는 시뮬레이션 결과의 정확도에 대해 설명된다. 정확도를 평가하기 위한 테스트 환경은 이하 [표 1]과 같다.
항목 설정
훈련 세트(training set) 10개
검증 세트(validation set) 5개
심장 주기 단계 선택
(selection of phase of cardiac cycle)		 수축기(systole)
손실 함수(loss function) MAE(mean absolute error)
옵티마이저(optimizer) Adam
Lr 0.003
테스트 결과 얻어진 예측된 평균 혈압 값 및 GT(ground truth)의 평균 혈압 값은 이하 [표 2]와 같다.
pressure (mmHg) pressure (mmHg)
0_pred 22.44±7.75 0_GT 22.07±9.50
1_pred 13.74±7.20 1_GT 7.48±3.93
2_pred 18.93±5.38 2_GT 16.53±9.24
3_pred 18.77±3.45 3_GT 18.43±4.9
4_pred 5.62±4.41 4_GT 7.77±4.34
5회의 검증에 따른 예측 및 GT의 볼륨 메쉬 및 압력 플롯(pressure plot)은 이하 도 12a 내지 도 12e와 같다. 도 12a 내지 도 12e은 본 발명의 일 실시 예에 따른 인공지능 모델의 예측 결과 및 GT를 도시한다. 도 12a 내지 도 12e를 참고하면, 예측 결과가 GT에 상당히 근접해 있음이 확인된다.
도 13a 내지 도 13e는 본 발명의 일 실시 예에 따라 초음파 영상에 기반하여 이상 진단을 보조하기 위한 3차원 구조물을 생성하는 과정의 일 예를 도시한다. 도 13a 내지 도 13e는 심혈관의 이상 진단을 보조하기 위한 심혈관의 3차원 구조를 파악하기 위해 초음파 영상이 이용되는 경우에 사용되는 데이터 및 결과를 예시한다.
먼저, 장치는 초음파 영상에서 내 우심실에서 폐동맥으로 혈액이 이동하는 입구를 특정한다. 예를 들어, 장치는 도 13a의 심장 초음파 영상(1310)에서 RVOT(right ventricle outflow tract)를 검출할 수 있다. 그리고, 장치는 특정된 폐동맥 입구(예: 폐동맥 판막)에서의 속도값을 측정한다. 예를 들어, 장치는 도 13b와 같은 PVOT에서의 스펙트럴 도플러(spectral doppler) 영상에 기반하여 속도값을 측정할 수 있다. 이때, 측정된 속도값은 도 13c의 PA 플로우(flow) 그래프(1330)와 같이 표현될 수 있다. 측정된 속도값은 시뮬레이션을 위해 사용 가능하도록 정량화(digitalization)될 수 있다.
이후, 장치는 초음파 영상에서 폐동맥을 분할(segmentation)한다. 예를 들어, 장치는 도 13d와 같은 초음파 영상(1340)에서, 폐동맥을 표현하는 영역을 분할할 수 있다. 예를 들어, 심초음파 영상에서 폐동맥 영역을 분할하기 위해, 정답 마스크 영상으로부터 학습된 분할 모델이 이용될 수 있다. 그리고, 장치는 분할된 폐동맥 영역을 근사화하여 폐동맥을 표현하는 3차원 구조물을 생성한다. 예를 들어, 장치는 분할된 2차원 폐동맥 영역의 중심선으로부터 혈관벽까지의 직경을 측정한 후, 분할된 폐동맥 영역으로부터 획득된 직경에 기반하여 3차원 대칭 원형 구조를 생성하고, 중심선을 따라 이동하며 폐동맥을 표현하는 3차원 구조물을 생성할 수 있다. 이를 위해, 도 13d와 같은 초음파 영상(1340) 외 다른 적어도 하나의 초음파 영상이 더 사용될 수 있다. 이때, 사용되는 복수의 초음파 영상들은 서로 다른 각도에서 생성된 영상들일 수 있다. 이를 통해 생성된 3차원 구조물은 도 13e의 3차원 모델(1354)와 같을 수 있다.
시뮬레이션을 위해, 장치는 정량화된 폐동맥 입구에서의 혈류 속도값(1352), 폐동맥 출구에서의 혈류 압력(1356), 폐동맥의 3차원 모델(1354)를 사용한다. 즉, 장치는 생성된 3차원 구조물(1354)과, 정량화한 폐동맥 입구에서의 속도값(1352)을 기반으로 CFD 시뮬레이션을 수행할 수 있다. CFD 시뮬레이션을 통해, 장치는 혈관 내 압력, 혈관벽에 가해지는 힘(sheer stress), 저항값 등을 도출하고, 도출된 정보를 이용하여 진단을 보조할 수 있다.
도 14a 내지 도 14e는 본 발명의 일 실시 예에 따라 초음파 영상에 기반하여 이상 진단을 보조하기 위한 3차원 구조물을 생성하는 과정의 다른 예를 도시한다. 도 14a 내지 도 14e는 심장의 이상 진단을 보조하기 위한 심장의 3차원 구조를 파악하기 위해 초음파 영상이 이용되는 경우에 사용되는 데이터 및 결과를 예시한다.
먼저, 장치는 대동맥 판막에서의 속도값을 측정하고, 측정된 속도 값을 정량화한다. 예를 들어, 장치는 도 14a와 같은 초음파 영상(1410)에서 AV(aortic valve)을 검출하고, 도 14b와 같은 AV에 대한 스펙트럴 도플러 영상(1420)을 이용하여 대동맥 판막에서의 혈류의 속도값을 측정할 수 있다. 측정된 속도값은 도 14c의 그래프(1430)와 같이 표현될 수 있다.
이어, 심장의 3차원 구조를 파악하기 위해, 장치는 4-챔버(chamber) 초음파 영상 및 2-챔버 초음파 영상 각각에서 좌심실을 분할(segmentation)한다. 예를 들어, 장치는 도 14c와 같은 다른 각도에서 촬영함으로써 얻어지는 초음파 영상들(1442, 1444)에서 좌심실을 분할한다. 여기서, 4-챔버(chamber) 초음파 영상 및 2-챔버 초음파 영상은, 도 14e의 좌표 공간에서의 표현(1452)와 같이, 약 90도의 촬영 각도 차이를 가진다. 서로 다른 뷰들의 2개 영상들(1442, 1444)로부터 3차원 구조물이 생성될 수 있다. 예를 들어, 3차원 구조물은 도 14e의 3차원 구조(1454)와 같이 생성될 수 있다. 장치는 생성된 3차원 구조물 및 정량화한 대동맥 판막에서의 속도값을 기반으로 CFD 시뮬레이션을 수행할 수 있다. CFD 시뮬레이션을 통해, 장치는 좌심실 내 압력, 좌심실 벽에 가해지는 힘(sheer stress) 등을 도출하고, 도출된 정보를 이용하여 진단을 보조할 수 있다.
본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (15)

  1. 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 방법에 있어서,
    대상자의 심장에 대한 제1 영상들에 기반하여 상기 심장의 제1 부분 3차원 구조를 나타내는 제1 모델을 생성하는 단계;
    상기 대상자의 심장에 대한 제2 영상들에 기반하여 상기 심장의 제2 부분에 대한 3차원 기하학 구조를 나타내는 제2 모델을 생성하는 단계;
    인공지능 모델을 이용하여 상기 제1 모델 및 상기 제2 모델에 기반하여 상기 제2 부분에 대한 유체 역학 시뮬레이션 결과를 예측하는 단계; 및
    상기 유체 역학 시뮬레이션 결과에 기반하여 상기 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공하는 단계를 포함하는 방법.
  2. 청구항 1에 있어서,
    상기 제1 영상들은, 상기 제2 영상들과 다른 종류의 의료 영상들을 포함하는 방법.
  3. 청구항 1에 있어서,
    상기 제1 영상들 또는 상기 제2 영상들은, 초음파 영상을 통해 확인되는 시간에 따른 2차원 영상의 신호 변화 및 상기 2차원 영상을 이용하여 결정되는 3차원 구조를 표현하는 방법.
  4. 청구항 1에 있어서,
    상기 제1 모델은, 좌심실, 좌심방, 우심실, 우심방 중 적어도 하나로부터 수득되는 방법.
  5. 청구항 1에 있어서,
    상기 제2 모델은, 혈액의 유동을 모사할 수 있는 혈관 구조 중 대동맥, 폐동맥, 관상동맥 중 적어도 하나로부터 수득되는 방법.
  6. 청구항 1에 있어서,
    상기 인공지능 모델은, 상기 제1 부분의 볼륨(volume) 및 상기 제2 부분의 구조에 대한 데이터를 입력 데이터로서 사용하는 방법.
  7. 청구항 6에 있어서,
    상기 제2 부분의 구조에 대한 데이터는, 상기 제2 부분의 3차원 구조를 표현하는 포인트 클라우드(point cloud) 데이터를 포함하는 방법.
  8. 청구항 1에 있어서,
    상기 인공지능 모델은,
    상기 제2 모델에 대한 데이터를 처리하는 제1 네트워크,
    상기 제1 모델에 기반하여 결정된 볼륨 데이터를 처리하는 제2 네트워크,
    상기 제1 네트워크에 의해 생성된 글로벌 특징 데이터 및 상기 제2 네트워크에 의해 생성된 로컬 특징 데이터를 결합하고, 결합된 특징 데이터에 기반하여 상기 유체 역학 시뮬레이션 결과를 생성하는 제3 네트워크를 포함하는 방법.
  9. 청구항 8에 있어서,
    상기 제3 네트워크는, 상기 로컬 특징 데이터 및 상기 글로벌 특징 데이터를 연접한 결합된 특징 데이터를 처리하는 2개의 FC(fully connected) 레이어들을 포함하는 방법.
  10. 청구항 1에 있어서,
    상기 제1 모델을 생성하는 단계는,
    상기 제1 영상들을 뷰(view)에 따라 분류하는 단계;
    상기 제1 영상들에서 상기 제1 부분의 영역들을 확인하는 단계;
    상기 제1 부분의 영역들 및 상기 뷰들 간 상대적 각도 관계에 기반하여 상기 제1 모델을 생성하는 단계를 포함하는 방법.
  11. 청구항 1에 있어서,
    상기 제2 모델을 생성하는 단계는,
    상기 제2 영상들에서 상기 제2 부분의 영역들을 세그먼테이션하는 단계;
    상기 세그먼테이션의 결과에 기반하여 상기 제2 부분의 기하학 구조를 나타내는 포인트 클라우드 데이터를 생성하는 단계를 포함하는 방법.
  12. 청구항 1에 있어서,
    상기 심장 또는 심혈관 이상은, 심장 판막 질환, 선천성 심장 질환, 동맥색전증 및 혈전증, 만성 폐질환, 폐동맥 고혈압(pulmonary hypertension), 특발성 폐동맥고혈압, 이차성 폐성 고혈압 중 하나를 포함하는 방법.
  13. 청구항 1에 있어서,
    상기 인공지능 모델은, CFD(computed fluid dynamics) 시뮬레이션 알고리즘의 결과에서 추출된 데이터를 포함하는 학습 데이터를 이용하여 훈련되는 방법.
  14. 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 장치에 있어서,
    송수신부;
    인공지능 모델을 저장하는 저장부; 및
    상기 송수신부 및 상기 저장부와 연결된 적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    대상자의 심장에 대한 제1 영상들에 기반하여 상기 심장의 제1 부분 3차원 구조를 나타내는 제1 모델을 생성하고,
    상기 대상자의 심장에 대한 제2 영상들에 기반하여 상기 심장의 제2 부분에 대한 3차원 기하학 구조를 나타내는 제2 모델을 생성하고,
    인공지능 모델을 이용하여 상기 제1 모델 및 상기 제2 모델에 기반하여 상기 제2 부분에 대한 유체 역학 시뮬레이션 결과를 예측하고,
    상기 유체 역학 시뮬레이션 결과에 기반하여 상기 심장 또는 심혈관 이상에 대한 진단을 보조하기 위한 정보를 제공하도록 제어하는 장치.
  15. 프로세서에 의해 동작되면 제1항 내지 제13항 중의 어느 한 항에 따른 방법을 실행하기 위해 매체에 저장된 프로그램.
PCT/KR2022/014615 2021-09-29 2022-09-29 3차원 모델 시뮬레이션에 기반하여 심장 또는 심혈관 이상 진단을 보조하기 위한 방법 및 장치 WO2023055103A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210128880 2021-09-29
KR10-2021-0128880 2021-09-29

Publications (1)

Publication Number Publication Date
WO2023055103A1 true WO2023055103A1 (ko) 2023-04-06

Family

ID=85783203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014615 WO2023055103A1 (ko) 2021-09-29 2022-09-29 3차원 모델 시뮬레이션에 기반하여 심장 또는 심혈관 이상 진단을 보조하기 위한 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2023055103A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129060A (zh) * 2023-04-18 2023-05-16 心航路医学科技(广州)有限公司 心脏三维解剖模型构建方法和心脏三维标测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038813A1 (en) * 2018-08-22 2020-02-27 Koninklijke Philips N.V. Coronary circulation using intra-cardiac echo
KR102190431B1 (ko) * 2020-03-18 2020-12-11 연세대학교 산학협력단 혈관 질환을 판단하는 방법 및 그를 위한 장치
US20210272700A1 (en) * 2017-03-10 2021-09-02 Altair Engineering, Inc. Systems and Methods for Multi-Dimensional Fluid Modeling of an Organism or Organ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210272700A1 (en) * 2017-03-10 2021-09-02 Altair Engineering, Inc. Systems and Methods for Multi-Dimensional Fluid Modeling of an Organism or Organ
WO2020038813A1 (en) * 2018-08-22 2020-02-27 Koninklijke Philips N.V. Coronary circulation using intra-cardiac echo
KR102190431B1 (ko) * 2020-03-18 2020-12-11 연세대학교 산학협력단 혈관 질환을 판단하는 방법 및 그를 위한 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHARLES R. QI; SU HAO; KAICHUN MO; GUIBAS LEONIDAS J.: "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 21 July 2017 (2017-07-21), US , pages 77 - 85, XP033249342, ISSN: 1063-6919, DOI: 10.1109/CVPR.2017.16 *
FENSTER A, DOWNEY D B, CARDINAL H N: "THREE-DIMENSIONAL ULTRASOUND IMAGING", PHYSICS IN MEDICINE AND BIOLOGY, vol. 46, no. 05, 1 May 2001 (2001-05-01), Bristol GB , pages R67 - R99, XP001205497, ISSN: 0031-9155, DOI: 10.1088/0031-9155/46/5/201 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129060A (zh) * 2023-04-18 2023-05-16 心航路医学科技(广州)有限公司 心脏三维解剖模型构建方法和心脏三维标测系统

Similar Documents

Publication Publication Date Title
Litjens et al. State-of-the-art deep learning in cardiovascular image analysis
Toraman et al. Convolutional capsnet: A novel artificial neural network approach to detect COVID-19 disease from X-ray images using capsule networks
WO2020050635A1 (ko) 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템
Mall et al. A comprehensive review of deep neural networks for medical image processing: Recent developments and future opportunities
JP2020511190A (ja) 超音波分析のためのシステムおよび方法
WO2023055103A1 (ko) 3차원 모델 시뮬레이션에 기반하여 심장 또는 심혈관 이상 진단을 보조하기 위한 방법 및 장치
Simon et al. Alzheimer’s disease classification using deep convolutional neural network
Wang et al. Focus, fusion, and rectify: context-aware learning for COVID-19 lung infection segmentation
Kim et al. Automatic segmentation of the left ventricle in echocardiographic images using convolutional neural networks
JP6905323B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Xie et al. Vessel lumen segmentation in carotid artery ultrasounds with the U-Net convolutional neural network
Sanjeevi et al. Automatic diagnostic tool for detection of regional wall motion abnormality from echocardiogram
Karar et al. Smart IoMT-based segmentation of coronavirus infections using lung CT scans
Zhou et al. A VS ultrasound diagnostic system with kidney image evaluation functions
JP2023077407A (ja) 心腔内エコー法のスマートイメージナビゲーション
Puerto-Souza et al. A comparative study of ego-motion estimation algorithms for teleoperated robotic endoscopes
Puyol-Anton et al. Towards a multimodal cardiac motion atlas
Wang et al. Deep learning for automated echocardiogram analysis
WO2023068564A1 (ko) 심장 초음파 이미지 데이터를 증강하기 위한 방법 및 장치
KR20230055659A (ko) 시계열적 이미지 세트에 대한 세그멘테이션 방법 및 장치
WO2023132523A1 (ko) 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법 및 장치
WO2023054994A1 (ko) 의료 영상에서 혈관 영역을 세그먼테이션하기 위한 방법 및 장치
WO2021125889A1 (ko) 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법
US11786212B1 (en) Echocardiogram classification with machine learning
Pasupathy et al. Advancements in deep structured learning based medical image interpretation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22876875

Country of ref document: EP

Kind code of ref document: A1