KR102217392B1 - 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 - Google Patents
관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 Download PDFInfo
- Publication number
- KR102217392B1 KR102217392B1 KR1020200090039A KR20200090039A KR102217392B1 KR 102217392 B1 KR102217392 B1 KR 102217392B1 KR 1020200090039 A KR1020200090039 A KR 1020200090039A KR 20200090039 A KR20200090039 A KR 20200090039A KR 102217392 B1 KR102217392 B1 KR 102217392B1
- Authority
- KR
- South Korea
- Prior art keywords
- coronary artery
- image
- learning
- learning model
- unit
- Prior art date
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 335
- 238000003745 diagnosis Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims description 94
- 230000003902 lesion Effects 0.000 title description 15
- 201000000057 Coronary Stenosis Diseases 0.000 claims abstract description 98
- 206010011089 Coronary artery stenosis Diseases 0.000 claims abstract description 98
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 210000001367 artery Anatomy 0.000 claims abstract description 41
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 21
- 238000010191 image analysis Methods 0.000 claims abstract description 10
- 210000004204 blood vessel Anatomy 0.000 claims description 98
- 238000004458 analytical method Methods 0.000 claims description 48
- 238000012805 post-processing Methods 0.000 claims description 41
- 230000017531 blood circulation Effects 0.000 claims description 34
- 239000002872 contrast media Substances 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 28
- 230000000004 hemodynamic effect Effects 0.000 claims description 27
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 19
- 208000037804 stenosis Diseases 0.000 claims description 19
- 230000036262 stenosis Effects 0.000 claims description 19
- 230000002107 myocardial effect Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 239000012530 fluid Substances 0.000 claims description 6
- 210000003748 coronary sinus Anatomy 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003534 oscillatory effect Effects 0.000 claims description 3
- 206010060965 Arterial stenosis Diseases 0.000 claims 1
- 210000003484 anatomy Anatomy 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 230000002787 reinforcement Effects 0.000 claims 1
- 238000002583 angiography Methods 0.000 abstract description 21
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 11
- 230000029058 respiratory gaseous exchange Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 208000031225 myocardial ischemia Diseases 0.000 description 3
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002586 coronary angiography Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000000502 dialysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002889 endothelial cell Anatomy 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002608 intravascular ultrasound Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 210000004088 microvessel Anatomy 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010020565 Hyperaemia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007211 cardiovascular event Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/507—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Dentistry (AREA)
- Primary Health Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따르면, 유의한 관상동맥 협착을 진단하는 장치가 제공될 수 있다. 상기 인공지능 기반의 관상동맥 협착 진단 장치는 관상동맥(coronary artery)이 포함된 진단영역의 혈관조영 영상으로부터 관상동맥 영역을 검출하는 CA 검출 학습모델을 구비하며, 상기 CA 검출 학습모델을 사용하여 상기 혈관조영 영상에 대응되는 관상동맥 영상을 구성하는 관상동맥 영상 검출부와, 미리 정해진 시간 단위를 기준으로 획득된 상기 관상동맥 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 구비하며, 상기 보간영상 학습모델을 사용하여 상기 관상동맥 영상에 대응되는 서브 관상동맥 영상을 생성하는 관상동맥 영상 보간부와, 상기 관상동맥 영상 검출부 및 관상동맥 영상 보간부에서 제공되는 정보를 확인하여 유의한 관상동맥 협착을 분석하는 관상동맥 영상 분석부를 포함할 수 있다.
Description
본 개시는 딥러닝 모델 학습 기술에 관한 것이며, 보다 구체적으로는 의료영상을 기반으로 관상동맥 진단영상에 대한 학습을 수행하는 방법과 장치, 및 의료영상을 기반으로 구축된 학습모델을 사용하여 유의한 관상동맥 협착을 진단하는 방법과 장치에 대한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
관상동맥의 협착을 분석하는 방법으로서 관상동맥 조영술이 사용되고 있으나, 조영술만으로 병변을 평가할 경우 조영술이 가지는 근본적인 제한점으로 인하여 실제 환자가 가진 관상동맥 질환을 정확하게 진단하지 못하는 문제가 있다. 특히, 관상동맥 영상을 정확하게 분석하기 위해서는 고속의 x-ray angiography가 요구되나, x-ray angiography의 촬영시 발생되는 방사선 노출문제로 이를 적용하기 어려운 문제가 있다.
조영술상 중등도 협착을 보이는 병변에 대해서는 x-ray angiography 만을 이용하여 치료방법을 결정하면 약물치료와 스텐트 삽입술 중의 어느 것이 더 임상적 예후를 호전시킬 수 있을 지 논란이 있다. 이때 치료방법 결정을 위해 관상동맥 협착에 대한 스텐트 삽입술 시 유의성을 평가하는 기능적 평가 방법인 압력철선(pressure wire)을 이용한 분획혈류예비력(fractional flow reserve, FFR) 검사법이 x-ray angiography 만을 이용한 검사법보다 우월성을 입증하였고, FFR≤0.8 시 스텐트 삽입술을 권고하는 방식으로 임상적으로 사용되고 있으나, 시술의 복잡성, 충혈(hyperemia) 유발 약제 사용, 침습적 시술의 안전성 등과 같은 이유로 보급되지 못하고 있는 실정이다.
본 개시의 기술적 과제는 학습모델을 사용하여 관상동맥 진단영상을 구성하고, 이를 기반으로 중증도 관상동맥 협착의 유의성과 기능적인 허혈을 판별하고 이에 따라 스텐트 삽입술 치료 필요 여부를 판단하는 방법 및 장치를 제공하는 것이다.
본 개시의 다른 기술적 과제는 신뢰도 높은 관상동맥 진단영상을 구성할 수 있는 학습 모델을 구축하는 방법 및 장치를 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 관상동맥 협착 진단 장치가 제공될 수 있다. 상기 장치는, 관상동맥(coronary artery)이 포함된 진단영역의 혈관조영 영상으로부터 관상동맥 영역을 검출하는 CA 검출 학습모델을 구비하며, 상기 CA 검출 학습모델을 사용하여 상기 혈관조영 영상에 대응되는 관상동맥 영상을 구성하는 관상동맥 영상 검출부와, 미리 정해진 시간 단위를 기준으로 획득된 상기 관상동맥 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 구비하며, 상기 보간영상 학습모델을 사용하여 상기 관상동맥 영상에 대응되는 서브 관상동맥 영상을 생성하는 관상동맥 영상 보간부와, 상기 관상동맥 영상 검출부 및 관상동맥 영상 보간부에서 제공되는 정보를 확인하여 관상동맥 협착을 분석하는 관상동맥 영상 분석부를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 인공지능 기반의 관상동맥 협착 진단 방법이 제공될 수 있다. 상기 방법은, 혈관조영 영상으로부터 관상동맥(coronary artery) 영역을 검출하는 CA 검출 학습모델과, 미리 정해진 시간 단위를 기준으로 획득된 상기 혈관조영 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 학습하는 과정과, 상기 CA 검출 학습모델을 사용하여 상기 혈관조영 영상에 대응되는 관상동맥 영상을 구성하는 과정과, 상기 보간영상 학습모델을 사용하여 상기 관상동맥 영상에 대응되는 학습기반 서브 관상동맥 영상을 생성하는 과정과, 상기 관상동맥 영상 및 상기 학습기반 서브 관상동맥 영상을 확인하여 관상동맥 협착을 분석하는 과정을 포함할 수 있다.
본 개시의 또 다른 양상에 따르면, 관상동맥 협착 진단에 사용되는 학습모델을 학습하는 장치가 제공될 수 있다. 상기 장치는 관상동맥(coronary artery)이 포함된 진단영역의 혈관조영 영상으로부터 관상동맥 영역을 검출하는 CA 검출 학습모델을 학습하는 관상동맥 영상 학습부와, 미리 정해진 시간 단위를 기준으로 획득된 상기 관상동맥 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 학습하되, 상기 학습기반 서브 관상동맥 영상은, 시간적으로 상기 관상동맥 영상 사이에 존재하는 것을 특징으로 하는 보간영상 학습부를 포함할 수 있다.
본 개시의 또 다른 양상에 따르면, 관상동맥 협착 진단에 사용되는 학습모델을 학습하는 방법이 제공될 수 있다. 상기 방법은, 관상동맥(coronary artery)이 포함된 진단영역의 혈관조영 영상으로부터 관상동맥 영역을 검출하는 CA 검출 학습모델을 학습하는 과정과, 미리 정해진 시간 단위를 기준으로 획득된 상기 관상동맥 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 학습하되, 상기 학습기반 서브 관상동맥 영상은, 시간적으로 상기 관상동맥 영상 사이에 존재하는 것을 특징으로 하는 과정을 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 학습모델을 사용하여 관상동맥 진단영상을 구성하고, 이를 기반으로 관상동맥 협착을 진단하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 학습모델을 기반으로 구성된 관상동맥 진단영상을 사용하여 관상동맥 협착에 대한 치료 여부를 용이하고 정확하게 결정하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 신뢰도 높은 관상동맥 진단영상을 구성할 수 있는 학습 모델을 구축하는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치의 구성을 나타내는 블록도이다.
도 2a는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 사용되는 학습 데이터 셋을 예시하는 도면이다.
도 2b는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 사용되는 관상동맥 영상과 서브 관상동맥 영상 사이의 관계를 예시하는 도면이다.
도 3a는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 구비된 CA 검출 학습모델의 구조를 예시하는 도면이다.
도 3b는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 구비된 보간영상 학습모델의 구조를 예시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 관상동맥 협착 진단 장치의 구성을 나타내는 블록도이다.
도 5a 및 도 5b는 본 개시의 일 실시예에 따른 관상동맥 협착 진단 장치에서 사용되는 혈류역학적 인자를 예시하는 도면이다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습방법의 순서를 도시하는 흐름도이다.
도 7a 내지 도 7c는 본 개시의 일 실시예에 따른 관상동맥 협착 진단 방법의 순서를 도시하는 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치 및 방법과, 관상동맥 협착 진단 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 2a는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 사용되는 학습 데이터 셋을 예시하는 도면이다.
도 2b는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 사용되는 관상동맥 영상과 서브 관상동맥 영상 사이의 관계를 예시하는 도면이다.
도 3a는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 구비된 CA 검출 학습모델의 구조를 예시하는 도면이다.
도 3b는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 구비된 보간영상 학습모델의 구조를 예시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 관상동맥 협착 진단 장치의 구성을 나타내는 블록도이다.
도 5a 및 도 5b는 본 개시의 일 실시예에 따른 관상동맥 협착 진단 장치에서 사용되는 혈류역학적 인자를 예시하는 도면이다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습방법의 순서를 도시하는 흐름도이다.
도 7a 내지 도 7c는 본 개시의 일 실시예에 따른 관상동맥 협착 진단 방법의 순서를 도시하는 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치 및 방법과, 관상동맥 협착 진단 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시예들에 대해서 설명한다.
도 1은 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 관상동맥 진단영상 학습장치(100)는 심장영역의 혈관조영 영상을 입력받고, 관상동맥(coronary artery) 영역의 영상(이하, '관상동맥 영상'이라 함)을 학습하도록 구성될 수 있으며, 관상동맥 영상 학습부(110) 및 보간영상 학습부(130)를 포함할 수 있다.
본 개시의 일 실시예에서, 심장영역의 혈관조영 영상은 신체의 심장기관이 위치한 영역을 혈관조영술로 촬영한 영상으로서, 2차원 X-ray angiography 영상일 수 있으며, 관상동맥 영상은 심장영역의 혈관조영 영상으로부터, 관상동맥이 위치한 영역이 분할(segmentation)된 영상일 수 있다.
관상동맥 영상 학습부(110)는 관상동맥(coronary artery) 검출 학습모델(이하, 'CA 검출 학습모델'이라 함)(111)에 대한 학습을 수행하는 구성부로서, 심장영역의 혈관조영 영상의 입력에 대응되는 관상동맥 영상을 출력하는 CA 검출 학습모델(111)의 학습을 수행할 수 있다. 이를 위해, 관상동맥 영상 학습부(110)는 CA 검출 학습모델의 학습을 제어하는 CA 검출 학습 제어부(113)를 구비할 수 있다.
관상동맥 진단영상 학습장치(100)는 관상동맥 영상 학습부(110) 및 보간영상 학습부(130)의 학습에 필요한 학습 데이터 셋(200, 도 2a 참조)을 준비할 수 있다. 학습 데이터 셋(200)은 심장영역의 혈관조영 영상(201, 202, 203)과, 혈관조영 영상(201, 202, 203)에서 관상동맥 영역을 추출한 관상동맥 영상(211, 212, 213)을 포함할 수 있다.
추가적으로, 심장영역의 혈관조영 영상(201, 202, 203)은 2차원 X-ray 기반의 영상일 수 있는데, X-ray 기반의 영상은 방사선을 사용하여 획득되는 영상이므로 환자의 방사선 노출 문제로 인해 초당 프레임 수를 늘리는데 한계가 있다. 따라서, 심장영역의 혈관조영 영상(201, 202, 203)을 사용하여 관상동맥 질환을 진단하는데 한계가 있으며, 혈관조영 영상(201, 202, 203)을 기반으로 질환을 진단하는 것에 대한 신뢰성 문제가 제기되기도 한다. 혈관조영 영상(201, 202, 203)은 통상적으로 사용되는 초당 프레임 수에 기반하여 구성된 영상일 수 있으며, 보간영상 학습부(130)는 통상적으로 사용되는 초당 프레임 수의 관상동맥 영상(211, 212, 213)을 사용하여, 상대적으로 더 많은 수의 프레임을 보간하도록 보간영상 학습모델의 학습을 수행한다. 이를 위해, 학습 데이터 셋(200)은 혈관조영 영상(201, 202, 203)에 기초한 관상동맥 영상(211, 212, 213)보다 상대적으로 더 큰 프레임 레이트로 획득된 서브 관상동맥 영상(221, 222, 223)을 포함할 수 있다. 예컨대, 혈관조영 영상(201, 202, 203)에 기초한 관상동맥 영상(211, 212, 213)은 7.5fps, 10fps, 15fps 등을 기준으로 구성된 영상일 수 있으며, 서브 관상동맥 영상(221, 222, 223)은 30fps, 60fps. 120fps 등을 기준으로 구성되며, 시간적으로 관상동맥 영상(211, 212, 213)의 사이에 존재하는 영상일 수 있다(도 2b 참조).CA 검출 학습 제어부(113)는 CA 검출 학습모델(111)에 혈관조영 영상(201, 202, 203)이 입력되고, CA 검출 학습모델(111)의 목적 변수(groundtruth)로서 관상동맥 영상(211, 212, 213)이 제공되도록 제어할 수 있다(도 3a 참조). 이에 따라, CA 검출 학습모델(111)은 CNN 기반의 학습모델로 구성될 수 있으며, 혈관조영 영상(201, 202, 203)에 대응되는 관상동맥 영상(211, 212, 213)을 출력하도록 학습될 수 있다.
또한, CA 검출 학습 제어부(113)는 CA 검출 학습모델(111)의 학습을 수행한 후, CA 검출 학습모델(111)에 혈관조영 영상(201, 202, 203)을 입력하여, 그에 대응되는 출력값을 확인할 수 있으며, 확인된 출력값을 학습 데이터 셋(200)의 관상동맥 영상(211, 212, 213)의 값과 비교하여, CA 검출 학습모델(111)의 성능을 평가할 수 있다. 그리고, CA 검출 학습 제어부(113)는 CA 검출 학습모델(111)에 포함된 변수를 튜닝하여 CA 검출 학습모델(111)의 성능을 제어할 수 있다.
나아가, 관상동맥 영상 학습부(110)는 CA 검출 학습모델(111)에 입력되는 혈관조영 영상(201, 202, 203)의 전처리를 수행하는 전처리부(112)를 더 포함할 수 있다. 전처리부(112)는 혈관조영 영상(201, 202, 203)에 대한 혈관 강화(BVE; Blood Vessel Enhancement)를 처리하는 BVE 처리부(112a)와, 혈관 강화 처리된 상기 혈관조영 영상을 미리 정해진 임계값을 기준으로 이진화하여 이진화 영상을 구성하는 이진화 처리부(112b)를 포함할 수 있다. 나아가, 이진화 처리부(112b)는, 혈관 강화 처리된 혈관조영 영상의 상태 및 환경을 고려하여 이진화의 기준이되는 임계값을 능동적으로 제어할 수 있다. 구체적으로, 이진화 처리부(112b)는 BVE 처리부(112a)를 통해 혈관 강화 처리된 조영 영상을 임계값을 기준으로 이진화하여 이진화 영상을 구성할 수 있다. 이진화 기준이 되는 임계값은 이미지를 전처리부(112)에서 추출되는 혈관조영 영상(201, 202, 203)을 통계학적인 측면과 필터 등을 결합하여 결정될 수 있다. 예컨대, 이진화 처리부(112b)는 혈관조영 영상(201, 202, 203)의 초기 이미지(예, 조영제가 투입되지 전에 촬영된 이미지)에 대한 픽셀 값의 통계값을 기준으로 임계값을 설정할 수 있다. 그리고, 이진화 처리부(112b)는 노이즈 제거에 강한 칼만 필터(Kalman Filter)와 같은 필터와 히스토그램 평활화(Histogram Equalization) 필터 등을 적용하여 임계값을 재설정하고, 각 이미지(또는 프레임)마다 능동적으로 임계값을 설정할 수 있다. 이진화 처리부(112b)는 혈관조영 영상(201, 202, 203)의 픽셀 값을 반영하여 임계값을 설정할 수 있으며, 이렇게 설정된 임계값을 기준으로 이진화를 유동적으로 조절할 수 있다. 결국, 이진화 처리부(112b)는 밝기 또는 농도가 다른 환경의 혈관조영 영상(201, 202, 203)이 입력되더라도, 능동적으로 이진화를 제어할 수 있다.
나아가, 전처리부(112)는 혈관조영 영상(201, 202, 203)의 노이즈를 제거하는 노이즈 제거부(112c)와, 노이즈가 제거된 상기 혈관조영 영상을 정규화하는 데이터 정규화부(112d)를 더 포함할 수 있다. 노이즈 제거부(112c)와 데이터 정규화부(112d)는 BVE 처리부(112a)의 전단에 구비되는 것이 바람직하다.
추가적으로, CA 검출 학습모델(111)을 통해 검출되는 관상동맥 영상(211, 212, 213)은 동일한 혈관이 서로 다른 개체로 인식되어 분리되거나, 관상동맥 협착을 진단하기에는 상대적으로 너무 작은 크기로 분리될 수 있다. 이를 고려하여, 관상동맥 영상 학습부(110)는 CA 검출 학습모델(111)을 통해 검출되는 관상동맥 영상(211, 212, 213)을 후처리하는 후처리부(114)를 더 포함할 수 있다.
후처리부(114)는 CA 검출 학습모델(111)을 통해 검출되는 관상동맥 영상이 동일한 혈관 개체일 경우, 해당 영상을 연결하도록 구성될 수 있다. 또한, CA 검출 학습모델(111)을 통해 검출되는 관상동맥 영상이 미리 정해진 크기보다 상대적으로 작은 크기로 구성될 경우, 후처리부(114)는 해당 관상동맥 영상을 삭제 처리할 수 있다. 구체적으로, 후처리부(114)는 CA 검출 학습모델(111)에서 검출되는 관상동맥 영상의 노이즈 제거, 끊어지게 검출된 동일 혈관끼리의 매핑 및 정해진 크기보다 상대적으로 작은 크기로 검출 시에는 관상동맥 영상에서의 삭제 처리를 수행할 수 있다. 후처리부(114)는 CA 검출 학습모델(111)로부터 검출되는 인공지능 데이터의 값을 조절하여 노이즈를 제거할 수 있다. 즉, 후처리부(114)는 CA 검출 학습모델(111)을 통해 구성되는 영상 데이터에 소정의 필터를 적용하여 노이즈를 제거할 수 있다. 이때, 노이즈 제거에 사용되는 필터는 평균값 필터, 가우시안 필터, 중간값 필터 중, 선택된 하나 또는 둘 이상을 조합된 필터 일 수 있다. 바람직하게, 후처리부(114)는 평균값 필터 및 가우시안 필터를 사용하여 픽셀끼리의 영상을 부드럽게(smoothing) 처리한 후, 처리된 결과에 중간값 필터를 추가 적용하여 노이즈를 제거할 수 있다.
후처리부(114)는 모폴로지(morphology) 연산과 연결요소 레이블링을 사용하여 동일 혈관끼리의 매핑, 관상동맥 영상의 삭제 처리 등을 수행할 수 있다. 이때, 사용되는 영상은 바이너리 이미지를 사용하므로 이진화 처리를 필요로 한다. 예를 들어, 후처리부(114)는 동일 혈관끼리 매핑하기 위해 “닫힘” 연산인 “팽창 이후 침식” 연산을 먼저 수행한 후, 연결 요소 레이블링 등을 처리할 수 있다. 이와 같이, 후처리부(114)는 “닫힘” 연산을 통해 어둡게 표현된 영역(즉, 0에 가깝게 표현되는 영역)을 노이즈로 설정하여 효과적으로 제거할 수 있다. 또한, 후처리부(114)는 연결 요소 레이블링을 사용하여 “닫힘” 연산으로 연결되지 않은 넓은 범위를 연결할 수 있다. 즉, 후처리부(114)는 픽셀 값이 0으로 끊어지지 않는 영역에 대해 동일한 값을 부여하여 분리할 수 있으며, 나아가, 동일혈관이지만 끊어지게 표현된 영역에 대해 동일한 값을 부여하여 동일 혈관의 연결 등을 처리할 수 있다.
나아가, 후처리부(114)는 매핑 후 생성되는 영상의 노이즈를 최소화하고, 관상동맥 영상에서의 삭제를 위해 “열림” 연산을 수행할 수 있으며, 이를 통해, 노이즈를 제거하고, 불필요한 영역(예컨대, 돌출된 영역, 미리 정해진 크기보다 상대적으로 작은 크기의 혈관 영역 등)을 제거할 수 있다.
한편, 보간영상 학습부(130)는, 보간영상 학습모델(131)을 구축하는 구성부로서, 관상동맥 영상 학습부(110)가 제공하는 관상동맥 영상에 대응되는 보간영상의 학습을 수행할 수 있다. 이를 위해, 보간영상 학습부(130)는 보간영상 학습모델(131)의 학습을 제어하는 보간영상 학습 제어부(133)를 구비할 수 있다.
보간영상 학습부(130)는, 관상동맥 영상 학습부(110)로부터 데이터 셋(200)에 포함된 관상동맥 영상(211, 212, 213)을 제공받을 수 있으며, 보간영상 학습 제어부(133)는, 관상동맥 영상(211, 212, 213)을 보간영상 학습모델(131)의 입력으로 사용하고, 전술한 서브 관상동맥 영상(221, 222, 223)을 보간영상 학습모델(131)의 목적변수로 사용하도록 제어할 수 있다(도 3b 참조).
특히, 보간영상 학습모델(131)은 CNN 기반의 학습모델로 구성될 수 있으며, 관상동맥 영상(211, 212, 213)의 모션 필드를 검출하는 신경망을 이용하여 모션 필드를 검출하고, 검출된 모션 필드에 기초하여 서브 관상동맥 영상(221, 222, 223)을 구성하도록 학습될 수 있다.
보간영상 학습 제어부(133)는 보간영상 학습모델(131)의 학습을 수행한 후, 보간영상 학습모델(131)에 관상동맥 영상(211, 212, 213)을 입력하여, 그에 대응되는 출력값을 확인할 수 있으며, 확인된 출력값을 학습 데이터 셋(200)의 서브 관상동맥 영상(221, 222, 223)의 값과 비교하여, 보간영상 학습모델(131)의 성능을 평가할 수 있다. 그리고, 보간영상 학습 제어부(133)는 보간영상 학습모델(131)의 재학습을 제어하거나, 보간영상 학습모델(131)에 포함된 변수를 튜닝하여 보간영상 학습모델(131)의 성능을 제어할 수 있다.
또한, 보간영상 학습부(130)는 혈관조영 영상(또는 관상동맥 영상)과 보간영상에 포함된 모션 필드를 검출하고, 검출된 모션 필드에 기초하여 혈류량 및 혈류 속도를 검출하는 혈류정보 분석부(135)를 포함할 수 있다. 보간영상 학습 제어부(133)는 혈류정보 분석부(135)의 동작을 제어할 수 있으며, 혈류정보 분석부(135)에서 출력되는 혈류량 및 혈류 속도를 기반으로 보간영상 학습모델(131)의 학습을 제어하거나, 보간영상 학습모델(131)의 성능을 제어할 수 있다.
또한, 보간영상 학습부(130)는 미리 정해진 시간 단위를 기준으로 획득된 혈관조영 영상(또는 관상동맥 영상) 사이의 관계 및 모션 변화를 고려하여, 산술기반 보간영상을 구성하는 산술 보간 처리부(137)를 더 포함할 수 있다. 산술 보간 처리부(137)는 산술기반 보간영상을 구성하고, 이(산술기반 보간영상)를 혈류정보 분석부(135)에 제공할 수 있다. 이에 기초하여, 혈류정보 분석부(135)는 산술기반 보간영상을 기반으로 산출된 혈류량, 혈류 속도 등을 출력할 수 있다. 전술한 바에 기초하여, 보간영상 학습 제어부(133)는 산술기반 보간영상을 기반으로 산출된 혈류량, 혈류 속도 등을, 보간영상 학습모델(131)의 목적변수로 사용된 서브 관상동맥 영상(221, 222, 223)의 혈류량, 혈류 속도 등과 비교하여 산술 보간 처리부(137)의 성능을 평가할 수 있다.
나아가, 보간영상 학습 제어부(133)는 보간영상 학습모델(131)의 성능과 산술 보간 처리부(137)의 성능을 기반으로, 보간영상 학습모델(131)에 포함된 변수를 튜닝하여 보간영상 학습모델(131)의 성능을 제어할 수 있다. 예컨대, 보간영상 학습모델(131)의 성능이 산술 보간 처리부(137)의 성능보다 상대적으로 낮게 나타날 경우, 보간영상 학습 제어부(133)는 보간영상 학습모델(131)의 재학습을 제어하거나, 보간영상 학습모델(131)에 포함된 변수를 튜닝하여 보간영상 학습모델(131)의 성능을 제어할 수 있다. 이때, 보간영상 학습모델(131)의 성능과 산술 보간 처리부(137)의 성능은 서브 관상동맥 영상과 산술기반 보간영상의 영상 특성을 분석하여 결정하거나, 또는 서브 관상동맥 영상과 산술기반 보간영상에 기초하여 산출된 혈류량, 혈류속도 등을 분석하여 결정할 수 있다.
도 4는 본 개시의 일 실시예에 따른 관상동맥 협착 진단 장치의 구성을 나타내는 블록도이다.
도 4를 참조하면, 관상동맥 협착 진단 장치(400)는 심장영역의 혈관조영 영상을 입력받고, 이에 대응되는 관상동맥 협착 상태를 검출하도록 구성될 수 있으며, 관상동맥 영상 검출부(410), 관상동맥 영상 보간부(430) 및 관상동맥 영상 분석부(450)를 포함할 수 있다.
관상동맥 영상 검출부(410)는 CA 검출 학습모델(411)을 구비할 수 있으며 이(411)는 전술한 관상동맥 진단영상 학습장치(100)에 의해 구축된 학습 모델일 수 있다. CA 검출 학습모델(411)은 CNN 기반의 학습모델로 구성될 수 있으며, 혈관조영 영상에 대응되는 관상동맥 영상을 출력하도록 학습된 모델일 수 있다.
나아가, 관상동맥 영상 검출부(410)는 CA 검출 학습모델(411)에 입력되는 혈관조영 영상의 전처리를 수행하는 전처리부(412) 및 CA 검출 학습모델(411)에서 출력되는 관상동맥 영상을 후처리하는 후처리부(414)를 더 포함할 수 있다.
전처리부(412)는 혈관조영 영상에 대한 혈관 강화(BVE; Blood Vessel Enhancement)를 처리하는 BVE 처리부(412a)를 포함할 수 있다.
나아가, 전처리부(412)는 혈관조영 영상의 노이즈를 제거하는 노이즈 제거부(412b)와, 노이즈가 제거된 상기 혈관조영 영상을 정규화하는 데이터 정규화부(412c)를 더 포함할 수 있다. 노이즈 제거부(412b)와 데이터 정규화부(412c)는 BVE 처리부(412a)의 전단에 구비되는 것이 바람직하다.
또한, 후처리부(414)는 CA 검출 학습모델(411)에서 출력되는 관상동맥 영상으로부터 혈관 영역의 중앙선을 검출하고, 검출된 중앙선을 관상동맥 영상에 적용한 영상을 출력할 수 있다. 이때, 후처리부(414)는 최소 경로 접근법(minimal path approach)에 기초하여 중앙선 검출을 수행할 수 있다.
후처리부(414)가 관상동맥 영상에 중앙선을 적용한 영상을 제공하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진 자에 의해 다양하게 변경될 수 있다. 예컨대, 후처리부(414)는 혈관영역과 배경영역을 구분하여 이진화한 영상에 혈관 영역의 중앙선을 적용한 영상을 출력할 수도 있다.
추가적으로, CA 검출 학습모델(411)을 통해 검출되는 관상동맥 영상은 동일한 혈관이 서로 다른 개체로 인식되어 분리되거나, 관상동맥 협착을 진단하기에는 상대적으로 너무 작은 크기로 분리될 수 있다. 이를 고려하여, 후처리부(414)는 CA 검출 학습모델(411)을 통해 검출되는 관상동맥 영상이 동일한 혈관 개체일 경우, 해당 영상을 연결하도록 구성될 수 있다. 또한, CA 검출 학습모델(411)을 통해 검출되는 관상동맥 영상이 미리 정해진 크기보다 상대적으로 작은 크기로 구성될 경우, 후처리부(414)는 해당 관상동맥 영상을 삭제 처리할 수 있다.
관상동맥 영상의 병합 또는 삭제 처리는 CA 검출 학습모델(411)에서 출력되는 관상동맥 영상을 대상으로 이루어질 수 있으며, 관상동맥 영상의 병합 또는 삭제 처리가 완료된 영상을 대상으로 혈관 영역의 중앙선을 검출하고, 검출된 중앙선을 관상동맥 영상에 적용할 수 있다.
나아가, 관상 동맥은 심장 박동과 호흡에 의해 지속적으로 움직일 수 있으며, 이에 기초하여, 후처리부(414)를 통해 출력되는 영상에서, 혈관 영역 역시 심장 박동과 호흡을 기반으로 움직임이 발생될 수 있다. 따라서, 혈관에 움직임이 발생되더라도 혈관 영역 중앙선의 기준이되는 시작점과 끝점은 혈관 영역을 중심으로 지정된 위치에서 유지되어야 프레임 카운팅(frame counting)을 정확하게 수행할 수 있다. 전술한 바를 고려하여, 관상동맥 영상 검출부(410)는 혈관 영역 중앙선의 기준이되는 시작점과 끝점(또는 이에 대응되는 픽셀)을 추적하는 모션 트랙킹부(415)를 더 포함할 수 있다. 이때, 모션 트랙킹부(415)는 영상에 포함된 객체의 움직임을 추적하는 앞서 검출된 모션 필드를 바탕으로 모션 트래킹 기법을 수행하여 혈관 영역 중앙선의 기준이되는 시작점과 끝점(또는 이에 대응되는 픽셀)을 추적할 수 있다.
나아가, 모션 트랙킹부(415)는 후처리부(414)를 통해 출력되는 영상을 대상으로 모션 트래킹을 수행하거나, 또는 심장영역의 혈관조영 영상을 대상으로 모션 트래킹을 수행할 수 있다.
추가적으로, 관상동맥 영상 검출부(410)는 후처리부(414)를 통해 출력되는 적어도 하나의 관상동맥 영상을 조합하여 3차원의 관상동맥 영상을 구성하는 3차원 영상 재구성부(417)를 더 포함할 수 있다. 이때, 3차원 영상 재구성부(417)는 관상동맥 영상의 중심선을 기준으로 적어도 하나의 관상동맥 영상을 조합하여 3차원의 영상을 구성할 수 있다. 더불어 2차원 보간 영상을 기반으로 3차원 보간 영상을 구성하여 출력 또한 가능하다.
한편, 관상동맥 영상 보간부(430)는, 보간영상 학습모델(431)을 구비할 수 있으며, 이(431)는 전술한 관상동맥 진단영상 학습장치(100)에 의해 구축된 학습 모델일 수 있다. 보간영상 학습모델(431)은 CNN 기반의 학습모델로 구성될 수 있으며, 관상동맥 영상에 대응되는 서브 관상동맥 영상을 생성할 수 있다. 전술한 바와 같이, 보간영상 학습모델(431)에 입력되는 관상동맥 영상은 관상동맥 영상 검출부(410)를 통해 검출 및 출력되는 영상으로서, 예컨대, 중앙선을 관상동맥 영상에 적용한 영상일 수 있다. 이때, 관상동맥 영상은 제1프레임 레이트를 기준으로 생성된 프레임 영상일 수 있으며, 서브 관상동맥 영상은 제2프레임 레이트를 기준으로 생성되는 영상으로로서 제2프레임 레이트는 제1프레임 레이트보다 상대적으로 더 큰값으로 설정될 수 있다. 예를 들어, 관상동맥 영상이 7.5fps, 10fps, 15fps 등을 기준으로 생성된 프레임 영상일 경우, 서브 관상동맥 영상은 30fps, 60fps. 120fps 등을 기준으로 생성되며, 시간적으로 관상동맥 영상 사이에 존재하는 프레임 영상일 수 있다.
특히, 보간영상 학습모델(431)은 CNN 기반의 학습모델로 구성될 수 있으며, 관상동맥 영상의 모션 필드를 검출하고, 검출된 모션 필드에 기초하여 서브 관상동맥 영상을 구성할 수 있다.
관상동맥 영상 보간부(430)는 보간영상 학습모델(431)을 통해 생성된 서브 관상동맥 영상에 대한 후처리를 수행하는 후처리부(433)를 더 포함할 수 있다. 후처리부(433)는 서브 관상동맥 영상을 대상으로 혈관 영역의 중앙선을 검출하고, 검출된 중앙선을 서브 관상동맥 영상에 적용한 영상을 출력할 수 있다. 이때, 후처리부(433)는 최소 경로 접근법(minimal path approach)에 기초하여 중앙선 검출을 수행할 수 있다.
후처리부(433)가 중앙선을 서브 관상동맥 영상에 적용한 영상을 제공하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진 자에 의해 다양하게 변경될 수 있다.
추가적으로, 보간영상 학습모델(431)을 통해 검출되는 서브 관상동맥 영상은 동일한 혈관이 서로 다른 개체로 인식되어 분리되거나, 관상동맥 협착을 진단하기에는 상대적으로 너무 작은 크기로 분리될 수 있다. 이를 고려하여, 후처리부(433)는 보간영상 학습모델(431)을 통해 검출되는 서브 관상동맥 영상이 동일한 혈관 개체일 경우, 해당 영상을 연결하도록 구성될 수 있다. 또한, 보간영상 학습모델(431)을 통해 검출되는 서브 관상동맥 영상이 미리 정해진 크기보다 상대적으로 작은 크기로 구성될 경우, 후처리부(433)는 해당 서브 관상동맥 영상을 삭제 처리할 수 있다.
관상동맥 영상의 병합 또는 삭제 처리는 보간영상 학습모델(431)에서 출력되는 서브 관상동맥 영상을 대상으로 이루어질 수 있으며, 서브 관상동맥 영상의 병합 또는 삭제 처리가 완료된 영상을 대상으로 혈관 영역의 중앙선을 검출하고, 검출된 중앙선을 서브 관상동맥 영상에 적용할 수 있다.
나아가, 관상 동맥은 심장 박동과 호흡에 의해 지속적으로 움직일 수 있으며, 이에 기초하여, 후처리부(433)를 통해 출력되는 영상에서, 혈관 영역 역시 심장 박동과 호흡을 기반으로 움직임이 발생될 수 있다. 따라서, 혈관에 움직임이 발생되더라도 혈관 영역 중앙선의 기준이되는 시작점과 끝점은 혈관 영역을 중심으로 지정된 위치에서 유지되어야 프레임 카운팅(frame counting)을 정확하게 수행할 수 있다. 전술한 바를 고려하여, 관상동맥 영상 보간부(430)는 혈관 영역 중앙선의 기준이되는 시작점과 끝점(또는 이에 대응되는 픽셀)을 추적하는 모션 트랙킹부(435)를 더 포함할 수 있다. 이때, 모션 트랙킹부(435)는 영상에 포함된 객체의 움직임을 추적하는 모션 트래킹 기법을 기반으로 혈관 영역 중앙선의 기준이되는 시작점과 끝점(또는 이에 대응되는 픽셀)을 추적할 수 있다.
나아가, 모션 트랙킹부(435)는 후처리부(433)를 통해 출력되는 영상을 대상으로 모션 트래킹을 수행하거나, 또는 심장영역의 혈관조영 영상을 대상으로 모션 트래킹을 수행할 수 있다.
추가적으로, 관상동맥 영상 보간부(430)는 후처리부(433)를 통해 출력되는 적어도 하나의 서브 관상동맥 영상을 분석하여, 조영제의 채워짐 여부에 기초하여, 서브 관상동맥 영상의 보간을 제어하는 보간 제어부(437)를 더 포함할 수 있다. 예컨대, 보간 제어부(437)는 상기 관상동맥 영역 또는 서브 관상동맥 영역에 조영제가 충분하게 채워졌는지를 확인하고, 해당 영역의 픽셀에 조영제가 충분하게 채워지지 않았을 경우, 보간영상 학습모델(431)에서 1차적으로 출력된 서브 관상동맥 영상을 다시 보간영상 학습모델(431)의 입력으로 제공하도록 제어할 수 있다.
이에 따라, 보간영상 학습모델(431)은 1차적으로 출력된 서브 관상동맥 영상(예, 1차 서브 관상동맥 영상(예, 30fps 기준으로 보간된 영상))을 재보간하여 구성된 2차 서브 관상동맥 영상(예, 60fps 기분으로 보간된 영상)을 구성하여 출력할 수 있으며, 2차 서브 관상동맥 영상을 대상으로 후처리 및 모션 트랙킹이 수행될 수 있다.
나아가, 보간 제어부(437)는, 목적 영역의 픽셀에 조영제가 충분하게 채워질때까지 전술한 재보간, 후처리, 및 모션 트랙킹이 수행되도록 보간영상 학습모델(431), 후처리부(433), 및 모션 트랙킹부(435)의 동작을 제어할 수 있다.
한편, 관상동맥 영상 분석부(450)는 관상동맥 영상 검출부(410) 및 관상동맥 영상 보간부(430)에서 제공되는 정보를 확인하고, 이를 기반으로 관상동맥 협착을 분석할 수 있다.
예를 들어, 관상동맥 영상 분석부(450)는 CFD 분석부(451), TFC 분석부(452), 및 aFFR기반 혈관 분석부(453)를 포함할 수 있다.
CFD 분석부(451)는 관상동맥 영상 및 서브 관상동맥 영상을 사용하여 혈류량 또는 혈류 속도 등을 확인하고, 전산 유체 역학(Computational Fluid Dynamics, CFD) 분석을 사용하여 원하는 지점에서의 유속을 산출할 수 있다.
그리고, TFC(TIMI frame count) 분석부(452)는 관상동맥 영상 및 서브 관상동맥 영상을 분석하여 조영제가 관상동맥으로 유입된 시점부터 동일 관상동맥 원위부의 특정 경계 영역까지 도달하는데 소요되는 시간을 분석할 수 있다. 예를 들어, 조영제가 혈관에 주입될 경우 혈관조영사진에서 혈관 내의 밝기 변화가 발생될 수 있는데, TFC 분석부(452)는 이를 고려하여 조영제가 채워지는 시간을 확인할 수 있다. 즉, TFC 분석부(452)는 혈관 중앙선 위의 기준점들을 기준으로 해당 기준점들의 밝기 변화를 확인하고, 이(기준점들의 밝기 변화)에 기초하여 기준점들 사이에 조영제가 채워지는 시간을 확인할 수 있다. 이때, TFC 분석부(452)는 기준점들의 밝기 변화가 발생되는 프레임, 즉, 관상동맥 영상의 프레임 및 서브 관상동맥 영상의 프레임을 카운팅하여 조영제가 채워지는 시간을 산출할 수 있다.
특히, aFFR기반 혈관 분석부(453)는 aFFR(angio fractional flow reserve)을 산출할 수 있다. 또한, aFFR기반 혈관 분석부(453)는 aFFR과 WSP를 고려하여 관상동맥 조영술만으로 심근허혈을 유발하는 유의미한 협착을 판단하고 관상동맥 스텐트 삽입의 필요성 여부를 결정할 수 있다. 더불어 경도 협착 병변의 미래 진행 여부 예측 및 미래 심혈관사건을 일으킬 취약성 중증도 병변의 선별도 가능할 것이라 사료된다.
좀 더 구체적으로, aFFR기반 혈관 분석부(453)는 CFD 분석부(451)에서 제공되는 유속과, TFC 분석부(452)가 제공하는 정보(예, 조영제가 관상동맥으로 유입된 시점부터 동일 관상동맥 원위부의 특정 경계 영역까지 도달하는데 소요되는 시간) 등을 사용하여 aFFR을 산출할 수 있다. aFFR은 병변이 존재하는 관상동맥에서 정상혈관의 최대혈류(가상적인 수치)에 대한 협착 병변이 나타나는 영역에서 측정되는 최대혈류의 비를 의미하며, 협착 병변이 나타나는 영역의 압력의 비로 나타낼 수 있다. 일반적으로 aFFR이 0.75미만으로 나타날 경우(aFFR<0.75) 심근 허혈을 유발하는 협착이 발생되는 것으로 판단되며, aFFR이 0.8을 초과할 경우(aFFR>0.8) 협착을 배제할 수 있는 것으로 판단된다. aFFR이 0.75 이상이고 0.8이하일 경우(0.75≤aFFR≤0.8) 단순히 수치만으로 협착 여부를 판단하기 어려운 문제가 있다.
이를 고려하여, aFFR기반 혈관 분석부(453)는 CFD 분석부(451)에서 제공되는 유속과, TFC 분석부(452)가 제공하는 정보 등을 고려하여, 혈류역학적 인자를 산출할 수 있다. 예컨대, 혈류역학적 인자는 벽전단인자(WSP)를 포함할 수 있으며, 벽전단인자(WSP)는 벽전단응력(WSS, Wall Shear Stress), 전단교번지수(OSI, Oscillatory Shear Index) 등을 포함할 수 있다.
벽전단응력(WSS)은 부재의 횡방향으로 작용하여 벤딩 모멘트(Bending Moment)를 발생시키고 부재를 파단시키는 힘에 의해 혈관 내부의 단면에 작용하는 힘을 나타낸다. 그리고, 벽전단응력의 크기에 따라 내피 세포의 배열이 바뀌게 되며, 미리 정해진 수준보다 낮은 수준의 협착 병변이 나타나는 상태에서는 낮은 벽전단응력이 협착 진행을 예측하는 인자로서 사용된다. 반면, 미리 정해진 수준보다 높은 수준의 협착 병변이 나타나는 상태에서는, 평균 시간벽전단응력(AWSS, Averaged Wall Shear Stress)의 크기가 큰 영역에서 죽상경화반의 파열 가능성이 높게 나타날 수 있다.
한편, 전단교번지수(OSI)는 벽전단응력(WSS)의 교번 상태인 방향변화를 나타내며, 혈류가 한쪽 방향으로 이상적으로 흐르면 그 크기가 0이 되고 시간의 흐름에 대해 전단 응력의 방향이 완전히 바뀌는 경우가 많을수록 0.5에 가까워지도록 나타난다. 이에 따라, 전단교변지수(OSI)가 상대적으로 높게 나타나는 영역은 혈류가 정체되거나 역류할 가능성이 높은 영역일 수 있다.
aFFR기반 혈관 분석부(453)는 전술한 혈류역학적 인자(예, 벽전단인자(WSP), 벽전단응력(WSS), 전단교번지수(OSI) 등)의 특성을 기초로 하면서 CFD 분석부(451)에서 제공되는 유속과 TFC 분석부(452)가 제공하는 정보 등을 사용하여, 혈류역학적 인자를 산출할 수 있다.
이와 같이, aFFR기반 혈관 분석부(453)는 aFFR뿐 아니라, 혈류역학적 인자를 종합적으로 고려하여 협착 여부를 판단할 수 있으므로, 보다 정확하게 협착 여부를 진단할 수 있으며 신뢰도 높은 결과를 제공할 수 있다.
비록, 본 개시의 일 실시예에서, 혈류역학적 인자로서, 벽전단인자(WSP), 벽전단응력(WSS), 전단교번지수(OSI) 등을 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니며, 혈류역학적 인자는 다양하게 변경되어 적용될 수 있다.
또한, aFFR기반 혈관 분석부(453)는 aFFR과 함께 혈류역학적 인자를 고려하여 혈관의 협착 여부를 판단하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 혈류역학적 인자에 대응되는 다양한 인자를 고려하여 협착 여부 판단을 수행할 수 있다. 예를 들어, 혈류역학적 인자에 대응되는 인자는 전산유체역학(CFD, Computational Fluid Dynamics), 유체-고체 상호작용 (Fluid-Structure Interaction, FSI) 등의 수치해석을 이용한 혈류역학적 접근 방식이나, 영상의학정보(예, Computed Tomography, Magnetic Resonance Image, Intravascular Ultrasound)를 이용하여 불규칙한 혈관 형상을 모사하거나 수치해석결과와 임상결과를 분석하는 방식에 기초하여, 다양하게 변경될 수 있다.
나아가, 혈액을 투석하는 당뇨환자의 경우 심근 미세혈관의 저항에 차이가 생기므로, 일반 환자군과는 다른 aFFR 특성을 나타낸다. 이를 고려하여, 일반 환자군과 특정 질병을 갖는 환자군에 상관없이 관상동맥 협착을 분설할 수 있도록, 관상동맥 영상 분석부(450)는 관상동맥 영역에서 조영제가 씻겨나가는 시간을 분석하는 CCFC(Coronary Clearance Frame Count) 분석부(454)와, 관상동맥 영역에서 조영제가 씻겨나가는 상태를 분석하고 심근 미세혈관 영역의 저항을 분석하는 심근 미세혈관 및 관상동맥동 분석부(455)를 포함할 수 있다. 나아가, 심근 미세혈관 및 관상동맥동 분석부(455)를 통해 분석되는 심근 미세혈관 영역의 저항은 aFFR기반 혈관 분석부(453)에 제공될 수 있으며, aFFR기반 혈관 분석부(453)는 심근 미세혈관 영역의 저항을 반영하여 aFFR을 산출할 수 있다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시예에 따른 관상동맥 진단영상 학습방법은 전술한 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치에 의해 수행될 수 있다.
우선, 본 개시의 일 실시예에서, 심장영역의 혈관조영 영상은 신체의 심장기관이 위치한 영역을 혈관조영술로 촬영한 영상으로서, 2차원 X-ray angiography 영상일 수 있으며, 관상동맥 영상은 심장영역의 혈관조영 영상으로부터, 관상동맥이 위치한 영역이 분할(segmentation)된 영상일 수 있다.
관상동맥 진단영상 학습장치는 관상동맥(coronary artery) 검출 학습모델(이하, 'CA 검출 학습모델'이라 함)의 학습을 위한 데이터 셋을 준비할 수 있다(S600). 학습 데이터 셋(200, 도 2a 참조)은 심장영역의 혈관조영 영상(201, 202, 203)과, 혈관조영 영상(201, 202, 203)에서 관상동맥 영역을 추출한 관상동맥 영상(211, 212, 213)을 포함할 수 있다.
추가적으로, 심장영역의 혈관조영 영상(201, 202, 203)은 2차원 X-ray 기반의 영상일 수 있는데, X-ray 기반의 영상은 방사선을 사용하여 획득되는 영상이므로 환자의 방사선 노출 문제로 인해 초당 프레임 수를 늘리는데 한계가 있다. 따라서, 심장영역의 혈관조영 영상(201, 202, 203)을 사용하여 관상동맥 질환을 진단하는데 한계가 있으며, 혈관조영 영상(201, 202, 203)을 기반으로 질환을 진단하는 것에 대한 신뢰성 문제가 제기되기도 한다. 혈관조영 영상(201, 202, 203)은 통상적으로 사용되는 초당 프레임 수에 기반하여 구성된 영상일 수 있다. 나아가, 학습 데이터 셋(200)은 혈관조영 영상(201, 202, 203)에 기초한 관상동맥 영상(211, 212, 213)보다 상대적으로 더 큰 프레임 레이트로 획득된 서브 관상동맥 영상(221, 222, 223)을 포함할 수 있다. 예컨대, 혈관조영 영상(201, 202, 203)에 기초한 관상동맥 영상(211, 212, 213)은 7.5fps, 10fps, 15fps 등을 기준으로 구성된 영상일 수 있으며, 서브 관상동맥 영상(221, 222, 223)은 30fps, 60fps. 120fps 등을 기준으로 구성되며, 시간적으로 관상동맥 영상(211, 212, 213)의 사이에 존재하는 영상일 수 있다(도 2b 참조).
S601 단계에서, 관상동맥 진단영상 학습장치는 CA 검출 학습모델에 사용될 혈관조영 영상(201, 202, 203)의 전처리를 수행할 수 있다. 전처리부 동작은 혈관조영 영상(201, 202, 203)의 노이즈를 제거하는 동작(S601a)과, 노이즈가 제거된 상기 혈관조영 영상을 정규화하는 동작(S601b)과, 혈관조영 영상(201, 202, 203)에 대한 혈관 강화(BVE; Blood Vessel Enhancement)를 처리하는 동작(S601c)과, 혈관 강화 처리된 상기 혈관조영 영상을 미리 정해진 임계값을 기준으로 이진화하여 이진화 영상을 구성하는 이진화 처리 동작(S601d) 등을 포함할 수 있다. 이때, 이진화 처리 동작은 혈관 강화 처리된 혈관조영 영상의 상태 및 환경을 고려하여 이진화의 기준이되는 임계값을 능동적으로 제어하도록 구성될 수 있다.
S602 단계에서, 관상동맥 진단영상 학습장치는 CA 검출 학습모델에 전처리된 영상을 입력하고, 목적 변수(groundtruth)로서 관상동맥 영상(211, 212, 213)을 성정하여 제공하여, CA 검출 학습모델의 학습을 수행할 수 있다.
다음으로, 관상동맥 진단영상 학습장치는 CA 검출 학습모델에 혈관조영 영상(201, 202, 203)을 입력하여, 그에 대응되는 출력값을 확인할 수 있다(S603). 그리고, 관상동맥 진단영상 학습장치는 확인된 출력값을 학습 데이터 셋(200)의 관상동맥 영상(211, 212, 213)의 값과 비교하여, CA 검출 학습모델의 성능을 평가할 수 있다(S604). 이후, 관상동맥 진단영상 학습장치는 성능 평가 결과를 고려하여, CA 검출 학습모델에 포함된 변수를 튜닝하여 CA 검출 학습모델의 성능을 제어할 수 있다(S605).
추가적으로, CA 검출 학습모델을 통해 검출되는 관상동맥 영상(211, 212, 213)은 동일한 혈관이 서로 다른 개체로 인식되어 분리되거나, 관상동맥 협착을 진단하기에는 상대적으로 너무 작은 크기로 분리될 수 있다. 이를 고려하여, 관상동맥 진단영상 학습장치는 CA 검출 학습모델을 통해 검출되는 관상동맥 영상(211, 212, 213)을 후처리할 수 있다(S606).
예컨대, CA 검출 학습모델을 통해 검출되는 관상동맥 영상이 동일한 혈관 개체일 경우, 관상동맥 진단영상 학습장치는 해당 영상을 연결하도록 구성될 수 있다. 또한, CA 검출 학습모델을 통해 검출되는 관상동맥 영상이 미리 정해진 크기보다 상대적으로 작은 크기로 구성될 경우, 관상동맥 진단영상 학습장치는 해당 관상동맥 영상을 삭제 처리할 수 있다.
S607 단계에서, 관상동맥 진단영상 학습장치는 보간영상 학습모델에 대한 학습을 수행할 수 있다. 예컨대, 관상동맥 진단영상 학습장치는 S606 단계에서 후처리된 관상동맥 영상을 보간영상 학습모델의 입력으로 설정하고, 서브 관상동맥 영상(221, 222, 223)을 보간영상 학습모델의 목적변수로 설정하여 보간영상 학습모델의 학습을 수행할 수 있다. 이때, 보간영상 학습모델은 CNN 기반의 학습모델로 구성될 수 있는데, 관상동맥 영상(211, 212, 213)의 모션 필드를 검출하고, 검출된 모션 필드에 기초하여 서브 관상동맥 영상(221, 222, 223)을 구성하도록 학습될 수 있다.
S608 단계에서, 관상동맥 진단영상 학습장치는 보간영상 학습모델의 학습을 수행한 후, 보간영상 학습모델에 관상동맥 영상을 입력하여, 그에 대응되는 출력값을 확인할 수 있으며, 확인된 출력값을 학습 데이터 셋(200)의 서브 관상동맥 영상(221, 222, 223)의 값과 비교하여, 보간영상 학습모델의 성능을 평가할 수 있다.
본 개시의 일 실시예에서, 보간영상 학습모델의 성능 평가는 보간영상 학습모델을 통해 출력되는 값과 학습 데이터 셋(200)의 기준값을 비교하여 수행되는 것을 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니다.
다른 예로서, 관상동맥 진단영상 학습장치는 혈관조영 영상(또는 관상동맥 영상) 사이의 관계 및 모션 변화를 고려하여, 산술기반 보간영상을 구성할 수 있다. 그리고, 관상동맥 진단영상 학습장치는 산술기반 보간영상의 보간 성능을 평가하고, 산술기반의 보간 성능과 보간영상 학습모델의 성능을 비교하여, 보간영상 학습모델의 성능을 평가할 수 있다. 이때, 산술기반의 보간 성능과 보간영상 학습모델의 성능은 서브 관상동맥 영상과 산술기반 보간영상의 영상 특성을 분석하여 결정하거나, 또는 서브 관상동맥 영상과 산술기반 보간영상에 기초하여 산출된 혈류량, 혈류속도 등을 분석하여 결정할 수 있다.
보간영상 학습모델의 성능 평가 결과가 미리 정해진 수준에 미치지 못할 경우(S609-아니오), 관상동맥 진단영상 학습장치는 간영상 학습모델)에 포함된 변수를 튜닝하거나, 보간영상 학습모델에 대한 재학습을 수행할 수 있다(S610).
도 7a 내지 도 7c는 본 개시의 일 실시예에 따른 관상동맥 협착 진단 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시예에 따른 관상동맥 협착 진단 방법은 전술한 본 개시의 일 실시예에 따른 관상동맥 협착 진단 장치에 의해 수행될 수 있다.
우선, 관상동맥 협착 진단 장치는, CA 검출 학습모델과 보간영상 학습모델을 미리 구축할 수 있다(S700). CA 검출 학습모델과 보간영상 학습모델은 전술한 관상동맥 진단영상 학습방법에 의해 구축될 수 있다.
S701 단계에서, 관상동맥 협착 진단 장치는, 심장영역의 혈관조영 영상에 대한 전처리를 수행할 수 있다.
전처리부 동작은 혈관조영 영상의 노이즈를 제거하는 동작(S701a, 도 7c 참조)과, 노이즈가 제거된 상기 혈관조영 영상을 정규화하는 동작(S701b)과, 혈관조영 영상(201, 202, 203)에 대한 혈관 강화(BVE; Blood Vessel Enhancement)를 처리하는 동작(S701c) 등을 포함할 수 있다.
이후, 관상동맥 협착 진단 장치는, 전처리된 영상을 CA 검출 학습모델에 입력하여, 혈관조영 영상에 대응되는 관상동맥 영상을 검출할 수 있다(S702).
그리고, S703 단계에서, 관상동맥 협착 진단 장치는, 관상동맥 영상으로부터 혈관 영역의 중앙선을 검출하고, 검출된 중앙선을 관상동맥 영상에 적용한 영상을 출력할 수 있다. 이때, 관상동맥 협착 진단 장치는, 최소 경로 접근법(minimal path approach)에 기초하여 중앙선 검출을 수행할 수 있다.
관상동맥 협착 진단 장치가 중앙선을 관상동맥 영상에 적용한 영상을 제공하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진 자에 의해 다양하게 변경될 수 있다. 예컨대, 관상동맥 협착 진단 장치는 혈관영역과 배경영역을 구분하여 이진화한 영상에 혈관 영역의 중앙선을 적용한 영상을 출력할 수도 있다.
추가적으로, CA 검출 학습모델을 통해 검출되는 관상동맥 영상은 동일한 혈관이 서로 다른 개체로 인식되어 분리되거나, 관상동맥 협착을 진단하기에는 상대적으로 너무 작은 크기로 분리될 수 있다. 이를 고려하여, 관상동맥 협착 진단 장치는 CA 검출 학습모델을 통해 검출되는 관상동맥 영상이 동일한 혈관 개체일 경우, 해당 영상을 연결하도록 구성될 수 있다. 또한, CA 검출 학습모델을 통해 검출되는 관상동맥 영상이 미리 정해진 크기보다 상대적으로 작은 크기로 구성될 경우, 관상동맥 협착 진단 장치는 해당 관상동맥 영상을 삭제 처리할 수 있다.
관상동맥 영상의 병합 또는 삭제 처리는 CA 검출 학습모델에서 출력되는 관상동맥 영상을 대상으로 이루어질 수 있으며, 관상동맥 영상의 병합 또는 삭제 처리가 완료된 영상을 대상으로 혈관 영역의 중앙선을 검출하고, 검출된 중앙선을 관상동맥 영상에 적용할 수 있다.
나아가, 관상 동맥은 심장 박동과 호흡에 의해 지속적으로 움직일 수 있으며, 이에 기초하여, 혈관 영역 역시 심장 박동과 호흡을 기반으로 움직임이 발생될 수 있다. 따라서, 혈관에 움직임이 발생되더라도 혈관 영역 중앙선의 기준이되는 시작점과 끝점은 혈관 영역을 중심으로 지정된 위치에서 유지되어야 프레임 카운팅(frame counting)을 정확하게 수행할 수 있다. 전술한 바를 고려하여, 관상동맥 협착 진단 장치는 혈관 영역 중앙선의 기준이되는 시작점과 끝점(또는 이에 대응되는 픽셀)을 추적할 수 있다(S704). 이때, 관상동맥 협착 진단 장치는 영상에 포함된 객체의 움직임을 추적하는 모션 트래킹 기법을 기반으로 혈관 영역 중앙선의 기준이되는 시작점과 끝점(또는 이에 대응되는 픽셀)을 추적할 수 있다.
나아가, 관상동맥 협착 진단 장치는 후처리된 영상을 대상으로 모션 트래킹을 수행하거나, 또는 심장영역의 혈관조영 영상을 대상으로 모션 트래킹을 수행할 수 있다.
추가적으로, 관상동맥 협착 진단 장치는 후처리된 적어도 하나의 관상동맥 영상을 조합하여 3차원의 관상동맥 영상을 구성할 수 있다(S705). 이때, 관상동맥 협착 진단 장치는 관상동맥 영상의 중심선을 기준으로 적어도 하나의 관상동맥 영상을 조합하여 3차원의 영상을 구성할 수 있다. 더불어 2차원 보간 영상을 바탕으로 3차원 보간 영상 또한 재구성이 가능하다.
한편, S706 단계에서, 관상동맥 협착 진단 장치는 보간영상 학습모델을 사용하여 관상동맥 영상에 대응되는 서브 관상동맥 영상을 생성할 수 있다. 보간영상 학습모델에 입력되는 관상동맥 영상은 제1프레임 레이트를 기준으로 생성된 프레임 영상일 수 있으며, 서브 관상동맥 영상은 제2프레임 레이트를 기준으로 생성되는 영상으로로서 제2프레임 레이트는 제1프레임 레이트보다 상대적으로 더 큰값으로 설정될 수 있다. 예를 들어, 관상동맥 영상이 7.5fps, 10fps, 15fps 등을 기준으로 생성된 프레임 영상일 경우, 서브 관상동맥 영상은 30fps, 60fps. 120fps 등을 기준으로 생성되며, 시간적으로 관상동맥 영상(211, 212, 213)의 사이에 존재하는 프레임 영상일 수 있다.
특히, 보간영상 학습모델은 CNN 기반의 학습모델로 구성될 수 있으며, 관상동맥 영상에 중앙선을 적용한 영상의 모션 필드를 검출하고, 검출된 모션 필드에 기초하여 서브 관상동맥 영상을 구성할 수 있다.
S707 단계에서, 관상동맥 협착 진단 장치는 서브 관상동맥 영상에 대한 후처리를 수행할 수 있다. 예컨대, 관상동맥 협착 진단 장치는 서브 관상동맥 영상을 대상으로 혈관 영역의 중앙선을 검출하고, 검출된 중앙선을 서브 관상동맥 영상에 적용한 영상을 출력할 수 있다. 이때, 관상동맥 협착 진단 장치는 최소 경로 접근법(minimal path approach)에 기초하여 중앙선 검출을 수행할 수 있다.
추가적으로, 서브 관상동맥 영상은 동일한 혈관이 서로 다른 개체로 인식되어 분리되거나, 관상동맥 협착을 진단하기에는 상대적으로 너무 작은 크기로 분리될 수 있다. 이를 고려하여, 관상동맥 협착 진단 장치는 서브 관상동맥 영상이 동일한 혈관 개체일 경우, 해당 영상을 연결하도록 구성될 수 있다. 또한, 서브 관상동맥 영상이 미리 정해진 크기보다 상대적으로 작은 크기로 구성될 경우, 관상동맥 협착 진단 장치는 해당 서브 관상동맥 영상을 삭제 처리할 수 있다.
관상동맥 영상의 병합 또는 삭제 처리는 보간영상 학습모델에서 출력되는 서브 관상동맥 영상을 대상으로 이루어질 수 있으며, 서브 관상동맥 영상의 병합 또는 삭제 처리가 완료된 영상을 대상으로 혈관 영역의 중앙선을 검출하고, 검출된 중앙선을 서브 관상동맥 영상에 적용할 수 있다.
나아가, 관상 동맥은 심장 박동과 호흡에 의해 지속적으로 움직일 수 있으며, 이에 기초하여, 혈관 영역 역시 심장 박동과 호흡을 기반으로 움직임이 발생될 수 있다. 따라서, 혈관에 움직임이 발생되더라도 혈관 영역 중앙선의 기준이되는 시작점과 끝점은 혈관 영역을 중심으로 지정된 위치에서 유지되어야 프레임 카운팅(frame counting)을 정확하게 수행할 수 있다. 전술한 바를 고려하여, 관상동맥 협착 진단 장치는 혈관 영역 중앙선의 기준이되는 시작점과 끝점(또는 이에 대응되는 픽셀)을 추적할 수 있다(S708).
이후, 관상동맥 협착 진단 장치는, 조영제의 채워짐 여부에 기초하여, 서브 관상동맥 영상의 보간을 제어할 수 있다.
예컨대, 관상동맥 협착 진단 장치는 상기 관상동맥 영역 또는 서브 관상동맥 영역에 조영제가 충분하게 채워졌는지를 확인하고, 해당 영역의 픽셀에 조영제가 충분하게 채워지지 않았을 경우(S709-아니오), 보간영상 학습모델에서 1차적으로 출력된 서브 관상동맥 영상을 다시 보간영상 학습모델의 입력으로 제공하도록 제어할 수 있다(S710). 이에 따라, 관상동맥 협착 진단 장치는 보간영상 학습모델을 사용하여 1차적으로 출력된 서브 관상동맥 영상(예, 1차 서브 관상동맥 영상(예, 30fps 기준으로 보간된 영상))을 재보간한 영상, 즉, 2차 서브 관상동맥 영상(예, 60fps 기분으로 보간된 영상)을 구성하여 출력할 수 있다.
나아가, 관상동맥 협착 진단 장치는, 목적 영역의 픽셀에 조영제가 충분하게 채워질 때까지 전술한 재보간, 후처리, 및 모션 트랙킹이 수행되도록 제어할 수 있다.
한편, S711 단계에서, 관상동맥 협착 진단 장치는 관상동맥 영상 및 서브 관상동맥 영상을 사용하여 혈류량 또는 혈류 속도 등을 확인하고, 전산 유체 역학(Computational Fluid Dynamics, CFD) 분석을 사용하여 원하는 지점에서의 유속을 산출할 수 있다.
그리고, S712 단계에서, 관상동맥 협착 진단 장치는 관상동맥 영상 및 서브 관상동맥 영상을 분석하여 조영제가 관상동맥으로 유입된 시점부터 동일 관상동맥 원위부의 특정 경계 영역까지 도달하는데 소요되는 시간(TFC(TIMI frame count))을 분석할 수 있다.
예를 들어, 조영제가 혈관에 주입될 경우 혈관 내의 밝기 변화가 발생될 수 있는데, 관상동맥 협착 진단 장치는 이를 고려하여 조영제가 채워지는 시간을 확인할 수 있다. 즉, 관상동맥 협착 진단 장치는 혈관 중앙선 위의 기준점들을 기준으로 해당 기준점들의 밝기 변화를 확인하고, 이(기준점들의 밝기 변화)에 기초하여 기준점들 사이에 조영제가 채워지는 시간을 확인할 수 있다. 이때, 관상동맥 협착 진단 장치는 기준점들의 밝기 변화가 발생되는 프레임, 즉, 관상동맥 영상의 프레임 및 서브 관상동맥 영상의 프레임을 카운팅하여 조영제가 채워지는 시간을 산출할 수 있다.
특히, 관상동맥 협착 진단 장치는 aFFR(angio fractional flow reserve)을 산출하고, 혈관이 분기되는 영역인 혈관 분지에서 발생되는 혈류의 분산 비율을 추정할 수 있다(S715).
좀 더 구체적으로, S715 단계에서, 관상동맥 협착 진단 장치는 S711에서 제공되는 유속과, S712에서 제공하는 정보(예, 조영제가 관상동맥으로 유입된 시점부터 동일 관상동맥 원위부의 특정 경계 영역까지 도달하는데 소요되는 시간) 등을 사용하여 aFFR을 산출할 수 있다. aFFR은 병변이 존재하는 관상동맥에서 정상혈관의 최대혈류(가상적인 수치)에 대한 협착 병변이 나타나는 영역에서 측정되는 최대혈류의 비를 의미하며, 협착 병변이 나타나는 영역의 압력의 비로 나타낼 수 있다. 일반적으로 aFFR이 0.75미만으로 나타날 경우(aFFR<0.75) 심근 허혈을 유발하는 협착이 발생되는 것으로 판단되며, aFFR이 0.8을 초과할 경우(aFFR>0.8) 협착을 배제할 수 있는 것으로 판단된다. aFFR이 0.75 이상이고 0.8이하일 경우(0.75≤aFFR≤0.8) 단순히 수치만으로 협착 여부를 판단하기 어려운 문제가 있다.
이를 고려하여, 관상동맥 협착 진단 장치는 S711에서 제공되는 유속과, S712에서 제공하는 정보(예, 조영제가 관상동맥으로 유입된 시점부터 동일 관상동맥 원위부의 특정 경계 영역까지 도달하는데 소요되는 시간) 등을 고려하여, 혈류역학적 인자를 산출할 수 있다. 예컨대, 혈류역학적 인자는 벽전단인자(WSP)를 포함할 수 있으며, 벽전단인자(WSP)는 벽전단응력(WSS, Wall Shear Stress), 전단교번지수(OSI, Oscillatory Shear Index) 등을 포함할 수 있다.
벽전단응력(WSS)은 부재의 횡방향으로 작용하여 벤딩 모멘트(Bending Moment)를 발생시키고 부재를 파단시키는 힘에 의해 혈관 내부의 단면에 작용하는 힘을 나타낸다. 그리고, 벽전단응력의 크기에 따라 내피 세포의 배열이 바뀌게 되며, 미리 정해진 수준보다 낮은 수준의 협착 병변이 나타나는 상태에서는 낮은 벽전단응력이 협착 진행을 예측하는 인자로서 사용된다. 반면, 미리 정해진 수준보다 높은 수준의 협착 병변이 나타나는 상태에서는, 평군 시간벽전단응력(AWSS, Averaged Wall Shear Stress)의 크기가 큰 영역에서 죽상경화반의 파열 가능성이 높게 나타날 수 있다.
한편, 전단교번지수(OSI)는 벽전단응력(WSS)의 교번 상태인 방향변화를 나타내며, 혈류가 한쪽 방향으로 이상적으로 흐르면 그 크기가 0이 되고 시간의 흐름에 대해 전단 응력의 방향이 완전히 바뀌는 경우가 많을수록 0.5에 가까워지도록 나타난다. 이에 따라, 전단교변지수(OSI)가 상대적으로 높게 나타나는 영역은 혈류가 정체되거나 역류할 가능성이 높은 영역일 수 있다.
관상동맥 협착 진단 장치는 전술한 혈류역학적 인자(예, 벽전단인자(WSP), 벽전단응력(WSS), 전단교번지수(OSI) 등)의 특성을 기초로 하면서 CFD 분석부(451)에서 제공되는 유속과 TFC 분석부(452)가 제공하는 정보 등을 사용하여, 혈류역학적 인자를 산출할 수 있다.
이와 같이, 관상동맥 협착 진단 장치는 aFFR뿐 아니라, 혈류역학적 인자를 종합적으로 고려하여 협착 여부를 판단할 수 있으므로, 보다 정확하게 협착 여부를 진단할 수 있으며 신뢰도 높은 결과를 제공할 수 있다.
비록, 본 개시의 일 실시예에서, 혈류역학적 인자로서, 벽전단인자(WSP), 벽전단응력(WSS), 전단교번지수(OSI) 등을 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니며, 혈류역학적 인자는 다양하게 변경되어 적용될 수 있다.
또한, 관상동맥 협착 진단 장치는 aFFR과 함께 혈류역학적 인자를 고려하여 혈관의 협착 여부를 판단하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 혈류역학적 인자에 대응되는 다양한 인자를 고려하여 협착 여부 판단을 수행할 수 있다. 예를 들어, 혈류역학적 인자에 대응되는 인자는 전산유체역학(CFD, Computational Fluid Dynamics), 유체-고체 상호작용 (Fluid-Structure Interaction, FSI) 등의 수치해석을 이용한 혈류역학적 접근 방식이나, 영상의학정보(예, Computed Tomography, Magnetic Resonance Image, Intravascular Ultrasound)를 이용하여 불규칙한 혈관 형상을 모사하거나 수치해석결과와 임상결과를 분석하는 방식에 기초하여, 다양하게 변경될 수 있다.
나아가, 혈액을 투석하는 당뇨환자의 경우 심근 미세혈관의 저항에 차이가 생기므로, 일반 환자군과는 다른 aFFR 특성을 나타낸다. 이를 고려하여, 일반 환자군과 특정 질병을 갖는 환자군에 상관없이 관상동맥 협착을 분설할 수 있도록, 관상동맥 협착 진단 장치는 관상동맥 영역에서 조영제가 씻겨나가는 상태(CCFC(Coronary Clearance Frame Count))와 관상정맥동에 조영제가 차는 영상을 분석하여(S713)심근 미세혈관 영역의 저항을 분석할 수 있다(S714).
나아가, S715 단계에서, 관상동맥 협착 진단 장치는 심근 미세혈관 영역의 저항을 반영하여 aFFR을 산출하는 것이 바람직하다.
도 8은 본 개시의 일 실시예에 따른 관상동맥 진단영상 학습장치 및 방법과, 관상동맥 협착 진단 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 8을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
Claims (22)
- 관상동맥 협착을 진단하는 장치에 있어서,
관상동맥(CA; Coronary Artery)이 포함된 진단영역의 혈관조영 영상으로부터 관상동맥 영역을 검출하는 CA 검출 학습모델을 구비하며, 상기 CA 검출 학습모델을 사용하여 상기 혈관조영 영상에 대응되는 관상동맥 영상을 구성하는 관상동맥 영상 검출부와,
미리 정해진 시간 단위를 기준으로 획득된 상기 관상동맥 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 구비하며, 상기 보간영상 학습모델을 사용하여 상기 관상동맥 영상에 대응되는 서브 관상동맥 영상을 생성하는 관상동맥 영상 보간부와,
상기 관상동맥 영상 검출부 및 관상동맥 영상 보간부에서 제공되는 정보를 확인하여 관상동맥 협착을 분석하는 관상동맥 영상 분석부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제1항에 있어서,
상기 관상동맥 영상 검출부는,
상기 혈관조영 영상에 대한 혈관 강화(BVE; Blood Vessel Enhancement)를 처리하는 BVE 처리부와,
혈관 강화 처리된 상기 혈관조영 영상을 미리 정해진 임계값을 기준으로 이진화하여 이진화 영상을 구성하는 이진화 처리부를 구비하고,
상기 혈관 강화 처리된 상기 혈관조영 영상 또는 상기 이진화 영상을 상기 CA 검출 학습모델에 제공하는 전처리부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제2항에 있어서,
상기 전처리부는,
상기 혈관조영 영상의 노이즈를 제거하는 노이즈 제거부와,
노이즈가 제거된 상기 혈관조영 영상을 정규화하는 데이터 정규화부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제1항에 있어서,
상기 관상동맥 영상 검출부는,
상기 관상동맥 영상으로부터 혈관의 중앙선 추출을 처리하는 후처리부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제4항에 있어서,
상기 후처리부는,
상기 관상동맥 영상의 병합 또는 제거를 더 수행하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제4항에 있어서,
상기 관상동맥 영상 검출부는,
상기 관상동맥 영상에 상기 혈관의 중앙선을 맵핑하고,
상기 혈관의 중앙선이 맵핑된 상기 관상동맥 영상을 제공하는 결과 출력부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제1항에 있어서,
상기 관상동맥 영상 검출부는,
서로 다른 상기 관상동맥 영상에 포함된 적어도 하나의 기준점에 기초하여, 상기 서로 다른 관상동맥 영상에서 관상동맥의 움직임을 추적하는 모션 트랙킹부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제6항에 있어서,
상기 관상동맥 영상 검출부는,
상기 결과 출력부가 제공하는 상기 혈관의 중앙선이 맵핑된 상기 관상동맥 영상을 사용하여, 3차원 형태의 상기 관상동맥 영상 및 3차원 보간 영상을 구성하는 3차원 영상 구성부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제1항에 있어서,
상기 관상동맥 영상 보간부는,
상기 관상동맥 영상에 대응되는 상기 서브 관상동맥 영상의 모션 변화에 기초하여, 혈류량 및 혈류 속도를 추정하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제1항에 있어서,
상기 보간영상 학습모델은,
상기 관상동맥 영상의 모션 필드를 검출하고, 상기 검출된 모션 필드에 기초하여 서브 관상동맥 영상을 구성하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제1항에 있어서,
상기 관상동맥 영상 보간부는,
상기 서브 관상동맥 영상에서 상기 관상동맥 영역에 조영제의 채워짐 여부를 확인하고,
상기 조영제의 채워짐 여부를 고려하여, 상기 보간영상 학습모델로 상기 서브 관상동맥 영상의 생성을 요청하는 보간 제어부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제1항에 있어서,
상기 관상동맥 영상 분석부는,
상기 관상동맥 영상 및 서브 관상동맥 영상을 사용하여, 전산 유체 역학(Computational Fluid Dynamics, CFD) 분석을 처리하여, 미리 정해진 영역에서의 유속을 산출하는 CFD 분석부와,
상기 관상동맥 영상 및 서브 관상동맥 영상을 분석하여 조영제가 상기 관상동맥으로 유입된 시점부터 동일 관상동맥 원위부의 특정 경계 영역까지 도달하는데 소요되는 시간을 분석하는 TFC(TIMI frame count) 분석부와,
상기 CFD 분석부 및 TFC 분석부가 제공하는 정보에 기초하여, aFFR(angio fractional flow reserve)을 산출하는 aFFR기반 혈관 분석부를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제12항에 있어서,
상기 aFFR기반 혈관 분석부는,
상기 CFD 분석부 및 TFC 분석부가 제공하는 정보를 사용하여 혈류역학적 인자를 더 산출하고,
상기 aFFR 및 혈류역학적 인자를 고려하여 혈관의 협착을 분석하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제13항에 있어서,
상기 aFFR기반 혈관 분석부는,
혈관의 해부학적 구조, 혈관의 역학적 특성, 및 혈류 유속 사이의 관계를 고려하여 상기 혈류역학적 인자를 산출하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제13항에 있어서,
상기 혈류역학적 인자는,
벽전단응력(WSS, Wall Shear Stress), 및 전단교번지수(OSI, Oscillatory Shear Index) 중 적어도 하나를 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제12항에 있어서,
상기 관상동맥 영상 분석부는,
상기 관상동맥 영역에서 조영제가 씻겨나가는 시간을 분석하는 CCFC(Coronary Clearance Frame Count) 및 관상정맥동 분석부를 더 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제16항에 있어서,
상기 관상동맥 영상 분석부는,
상기 관상동맥 영역에서 조영제가 씻겨나가는 상태와 관상정맥동에 조영제가 차는 상태에 기초하여, 심근 미세혈관 영역의 저항을 분석하는 심근 미세혈관 분석부를 더 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 제17항에 있어서,
상기 aFFR기반 혈관 분석부는,
상기 심근 미세혈관 분석부에서 제공되는 상기 심근 미세혈관 영역의 저항을 고려하여, aFFR을 산출하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 장치. - 적어도 하나의 프로세서 및 저장매체를 포함하는 전자장치가 관상동맥 협착을 판단하는 방법에 있어서,
혈관조영 영상으로부터 관상동맥(coronary artery) 영역을 검출하는 CA 검출 학습모델과, 미리 정해진 시간 단위를 기준으로 획득된 상기 혈관조영 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 학습하는 과정과,
상기 CA 검출 학습모델을 사용하여 상기 혈관조영 영상에 대응되는 관상동맥 영상을 구성하는 과정과,
상기 보간영상 학습모델을 사용하여 상기 관상동맥 영상에 대응되는 학습기반 서브 관상동맥 영상을 생성하는 과정과,
상기 관상동맥 영상 및 상기 학습기반 서브 관상동맥 영상을 확인하여 관상동맥 협착을 분석하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 방법. - 제19항에 있어서,
상기 관상동맥 협착을 분석하는 과정은,
상기 관상동맥 영상 및 서브 관상동맥 영상을 사용하여, 전산 유체 역학(Computational Fluid Dynamics, CFD) 분석을 처리하여, 미리 정해진 영역에서의 유속을 산출하는 과정과,
상기 관상동맥 영상 및 서브 관상동맥 영상을 분석하여 조영제가 상기 관상동맥으로 유입된 시점부터 동일 관상동맥 원위부의 특정 경계 영역까지 도달하는데 소요되는 시간 TFC(TIMI frame count)을 분석하는 과정과,
상기 미리 정해진 영역에서의 유속 및 TFC에 기초하여, aFFR(angio fractional flow reserve)을 산출하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 유의한 관상동맥 협착 판단 방법. - 관상동맥 협착 판단에 사용되는 학습모델을 학습하는 장치에 있어서,
관상동맥(coronary artery)이 포함된 진단영역의 혈관조영 영상으로부터 관상동맥 영역을 검출하는 CA 검출 학습모델을 학습하는 관상동맥 영상 학습부와,
미리 정해진 시간 단위를 기준으로 획득된 상기 관상동맥 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 학습하되, 상기 학습기반 서브 관상동맥 영상은, 시간적으로 상기 관상동맥 영상 사이에 존재하는 것을 특징으로 하는 보간영상 학습부를 포함하는 것을 특징으로 하는 유의한 관상동맥 협착 판단에 사용되는 학습모델의 학습장치. - 적어도 하나의 프로세서 및 저장매체를 포함하는 전자장치가 관상동맥 협착 진단에 사용되는 학습모델을 학습하는 방법에 있어서,
관상동맥(CA; Coronary Artery)이 포함된 진단영역의 혈관조영 영상으로부터 관상동맥 영역을 검출하는 CA 검출 학습모델을 학습하는 과정과,
미리 정해진 시간 단위를 기준으로 획득된 관상동맥 영상의 모션 변화에 기초하여 학습기반 서브 관상동맥 영상을 구성하는 보간영상 학습모델을 학습하되, 상기 학습기반 서브 관상동맥 영상은, 시간적으로 상기 관상동맥 영상 사이에 존재하는 것을 특징으로 하는 과정을 포함하는 것을 특징으로 하는 유의한 관상동맥 협착 판단에 사용되는 학습모델의 학습방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200090039A KR102217392B1 (ko) | 2020-07-21 | 2020-07-21 | 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 |
| PCT/KR2021/009432 WO2022019655A1 (ko) | 2020-07-21 | 2021-07-21 | 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200090039A KR102217392B1 (ko) | 2020-07-21 | 2020-07-21 | 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102217392B1 true KR102217392B1 (ko) | 2021-02-22 |
Family
ID=74687381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200090039A KR102217392B1 (ko) | 2020-07-21 | 2020-07-21 | 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102217392B1 (ko) |
| WO (1) | WO2022019655A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022019655A1 (ko) * | 2020-07-21 | 2022-01-27 | (주)제이엘케이 | 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 |
| WO2022197165A1 (ko) * | 2021-03-19 | 2022-09-22 | 제주대학교 산학협력단 | 관상동맥 협착의 중증도 평가에 필요한 정보를 제공하는 방법 |
| WO2023204622A1 (ko) * | 2022-04-21 | 2023-10-26 | 한양대학교 산학협력단 | 스마트 혈류 역학 지표를 이용한 진단 보조 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140120234A (ko) * | 2013-04-02 | 2014-10-13 | 재단법인 아산사회복지재단 | 혈관의 직경 측정 방법 |
| JP2015112232A (ja) * | 2013-12-11 | 2015-06-22 | 株式会社東芝 | 画像解析装置、及び、ｘ線診断装置 |
| KR20190021749A (ko) * | 2017-08-23 | 2019-03-06 | 주식회사 메디웨일 | Ct 영상을 이용하여 심혈관 병변을 판단하는 방법 및 애플리케이션 |
| KR20190126517A (ko) * | 2018-05-02 | 2019-11-12 | 한국항공대학교산학협력단 | 프레임율 변환 장치 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101334064B1 (ko) * | 2012-01-03 | 2013-11-28 | 연세대학교 산학협력단 | 혈관영상에서의 움직임 추정 방법 및 그 장치 |
| KR102217392B1 (ko) * | 2020-07-21 | 2021-02-22 | (주)제이엘케이 | 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 |
-
2020
- 2020-07-21 KR KR1020200090039A patent/KR102217392B1/ko active IP Right Grant
-
2021
- 2021-07-21 WO PCT/KR2021/009432 patent/WO2022019655A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140120234A (ko) * | 2013-04-02 | 2014-10-13 | 재단법인 아산사회복지재단 | 혈관의 직경 측정 방법 |
| JP2015112232A (ja) * | 2013-12-11 | 2015-06-22 | 株式会社東芝 | 画像解析装置、及び、ｘ線診断装置 |
| KR20190021749A (ko) * | 2017-08-23 | 2019-03-06 | 주식회사 메디웨일 | Ct 영상을 이용하여 심혈관 병변을 판단하는 방법 및 애플리케이션 |
| KR20190126517A (ko) * | 2018-05-02 | 2019-11-12 | 한국항공대학교산학협력단 | 프레임율 변환 장치 및 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022019655A1 (ko) * | 2020-07-21 | 2022-01-27 | (주)제이엘케이 | 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 |
| WO2022197165A1 (ko) * | 2021-03-19 | 2022-09-22 | 제주대학교 산학협력단 | 관상동맥 협착의 중증도 평가에 필요한 정보를 제공하는 방법 |
| KR20220131466A (ko) * | 2021-03-19 | 2022-09-28 | 제주대학교 산학협력단 | 관상동맥 협착의 중증도 평가에 필요한 정보를 제공하는 방법 |
| KR102460948B1 (ko) | 2021-03-19 | 2022-10-28 | 제주대학교 산학협력단 | 관상동맥 협착의 중증도 평가에 필요한 정보를 제공하는 방법 |
| WO2023204622A1 (ko) * | 2022-04-21 | 2023-10-26 | 한양대학교 산학협력단 | 스마트 혈류 역학 지표를 이용한 진단 보조 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022019655A1 (ko) | 2022-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112368781B (zh) | 基于机器学习来评估血管阻塞的方法和系统 | |
| US11589924B2 (en) | Non-invasive assessment and therapy guidance for coronary artery disease in diffuse and tandem lesions | |
| US9974454B2 (en) | Method and system for machine learning based assessment of fractional flow reserve | |
| KR102217392B1 (ko) | 관상동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 관상동맥 협착 진단 장치 및 방법 | |
| JP6510221B2 (ja) | 医用画像処理装置 | |
| JP2022169579A (ja) | リアルタイムで診断上有用な結果 | |
| JP6302922B2 (ja) | 冠血流予備量比（ｆｆｒ）指標 | |
| JP6484760B2 (ja) | 非侵襲的血流予備量比（ｆｆｒ）に対する側副血流モデル化 | |
| WO2019025270A9 (en) | Non-invasive assessment and therapy guidance for coronary artery disease in diffuse and tandem lesions | |
| KR102272413B1 (ko) | 관상동맥 혈관조영술 기반의 기계 학습을 통한 허혈 병변 정보 제공 장치, 정보 제공 방법 및 이의 기록매체 | |
| US20230394654A1 (en) | Method and system for assessing functionally significant vessel obstruction based on machine learning | |
| JP7426824B2 (ja) | 非侵襲的イメージングベースのｆｆｒのインタラクションモニタリング | |
| Salahuddin et al. | Multi-resolution 3d convolutional neural networks for automatic coronary centerline extraction in cardiac CT angiography scans | |
| US20210290076A1 (en) | System and a method for determining a significance of a stenosis | |
| KR102227605B1 (ko) | 말초동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 말초동맥 질환 진단 장치 및 방법 | |
| KR102542972B1 (ko) | 3차원 혈관 구조를 생성하는 방법 및 장치 | |
| US8077953B2 (en) | System and method for automatic detection of end of diastole and end of systole image frames in X-ray ventricular angiography | |
| Kulathilake et al. | Region growing segmentation method for extracting vessel structures from coronary cine-angiograms | |
| Lavi et al. | Single-seeded coronary artery tracking in CT angiography | |
| JP7479080B2 (ja) | 血管分割に基づいて血管映像を処理する方法及び装置 | |
| CN117320628A (zh) | 一种用于识别冠状动脉疾病的系统和方法 | |
| Jayanthi et al. | Analysis on various segmentation techniques–IMT measurement of common carotid artery | |
| Tung et al. | Automatic detection of coronary stent struts in intravascular OCT imaging | |
| Luo et al. | Recent progresses on cerebral vasculature segmentation for 3D quantification and visualization of MRA | |
| Jevitha et al. | Analysis of left main coronary bifurcation angle to detect stenosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200721 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20200721 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20201014 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210205 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210215 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210215 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20231218 Start annual number: 4 End annual number: 4 |