KR20210016863A - 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 - Google Patents
초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 Download PDFInfo
- Publication number
- KR20210016863A KR20210016863A KR1020190095170A KR20190095170A KR20210016863A KR 20210016863 A KR20210016863 A KR 20210016863A KR 1020190095170 A KR1020190095170 A KR 1020190095170A KR 20190095170 A KR20190095170 A KR 20190095170A KR 20210016863 A KR20210016863 A KR 20210016863A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- image
- ivus
- risk
- lesion
- Prior art date
Links
- 238000002405 diagnostic procedure Methods 0.000 title claims description 5
- 208000037260 Atherosclerotic Plaque Diseases 0.000 title abstract description 14
- 238000010801 machine learning Methods 0.000 title abstract description 10
- 238000002604 ultrasonography Methods 0.000 title abstract description 3
- 230000003902 lesion Effects 0.000 claims abstract description 78
- 238000002608 intravascular ultrasound Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 25
- 210000004351 coronary vessel Anatomy 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000013473 artificial intelligence Methods 0.000 claims description 29
- 201000001320 Atherosclerosis Diseases 0.000 claims description 28
- 210000004204 blood vessel Anatomy 0.000 claims description 22
- 238000003745 diagnosis Methods 0.000 claims description 22
- 239000012528 membrane Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000002792 vascular Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000000926 separation method Methods 0.000 abstract 1
- 238000012014 optical coherence tomography Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 7
- 230000007654 ischemic lesion Effects 0.000 description 7
- 230000000877 morphologic effect Effects 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001338 necrotic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 229910052791 calcium Inorganic materials 0.000 description 2
- 239000011575 calcium Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000002540 macrophage Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 238000000729 Fisher's exact test Methods 0.000 description 1
- SNIOPGDIGTZGOP-UHFFFAOYSA-N Nitroglycerin Chemical compound [O-][N+](=O)OCC(O[N+]([O-])=O)CO[N+]([O-])=O SNIOPGDIGTZGOP-UHFFFAOYSA-N 0.000 description 1
- 239000000006 Nitroglycerin Substances 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 244000208734 Pisonia aculeata Species 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 206010046798 Uterine leiomyoma Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229960003711 glyceryl trinitrate Drugs 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 201000010260 leiomyoma Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
본 발명은 관상동맥에 대한 초음파 영상을 기초로 기계 학습 알고리즘을 통해 취약성 죽상반을 예측하고, 고위험 병변 여부를 진단하는 진단 시스템 및 이의 진단 방법에 관한 것이다. 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 방법은, 환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득 단계, IVUS 영상에 포함된 혈관 내강 분리를 수행하고 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정 단계, 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 단계, 적어도 하나의 세부 영역을 기초로 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출 단계 및 계산적 특징을 인공지능 모델에 입력하여 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단 단계를 포함한다.
Description
본 발명은 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
구체적으로, 본 발명은 관상동맥에 대한 초음파 영상을 기초로 기계 학습 알고리즘을 통해 취약성 죽상반을 예측하고, 고위험 병변 여부를 진단하는 진단 시스템 및 이의 진단 방법에 관한 것이다.
근래에는 인간 수준의 지능을 구현하는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다. 인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
한편, 관내 초음파(intravascular ultrasound, IVUS)는 관상동맥 병변의 형태학적 특성을 파악하고 동맥경화를 관찰하며 시술 스텐트 적정화를 달성하기 위한 임상검사법이다. 다만, 종래의 IVUS는 죽상반의 조직 성분 및 파열되기 쉬운 취약성 죽상반을 진단하기 어렵다는 한계가 있어왔다.
종래에는 취약성 죽상반을 검사하기 위해 OCT(Optical Coherence Tomography)를 추가로 시행하는 등 시간 및 비용의 중복 소요가 있어 왔다는 점에서 이에 대한 해결책의 필요성이 대두된다.
본 발명은 상술한 필요성에 따른 것으로, 혈관 내 초음파 영상(IVUS)을 기초로 기계학습 모델을 통해 취약성 죽상반을 예측하고, 고위험 병변을 진단하는 시스템 및 방법을 제공하는 것을 목적으로 한다.
그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 방법은 환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득 단계; 상기 IVUS 영상에 포함된 혈관 내강 분리를 수행하고 상기 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정 단계; 상기 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 세부영역 구분 단계; 상기 적어도 하나의 세부 영역을 기초로 상기 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출 단계; 및 상기 계산적 특징을 인공지능 모델에 입력하여 상기 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 상기 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단 단계;를 포함한다.
또한, 상기 관심영역은 상기 혈관 내강 경계와 외부 탄성막(EEM) 사이에 대응하는 플라크(plaque)를 포함하는 영역이고, 상기 적어도 하나의 세부 영역은 상기 관심영역 내에서 상기 혈관 내강 경계와 상기 외부 탄성막 사이의 두께를 기설정된 두께만큼 각각 구분되는 것일 수 있다.
또한, 상기 특징추출 단계는 상기 적어도 하나의 세부 영역 각각의 비율을 기초로 상기 계산적 특징을 추출하는 것일 수 있다.
또한, 상기 인공지능 모델은 복수의 IVUS 영상 및 상기 복수의 IVUS 영상 각각에 대응하는 OCT 영상을 정합한 데이터를 학습 데이터로 훈련된 것을 특징으로 하는 것일 수 있다.
한편, 본 발명의 일 실시예에 따른 기록매체는 고위험 병변 진단 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체일 수 있다.
한편, 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 장치는 환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득부; 상기 IVUS 영상에 포함된 혈관 내강 분리를 수행하고 상기 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정부; 상기 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 세부영역 구분부; 상기 적어도 하나의 세부 영역을 기초로 상기 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출부; 및 상기 계산적 특징을 인공지능 모델에 입력하여 상기 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 상기 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단부;를 포함하는 딥러닝 기반 진단 장치일 수 있다.
한편, 본 발명의 일 실시예에 따른 기록매체는 허혈 병변 진단 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.
상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 본 발명의 시스템은 81%에 달하는 높은 정확도로 취약성 죽상반의 존재를 예측할 수 있다.
또한, 본 발명에 따르면 인공지능을 이용하여 신속하고 정확히 취약성 죽상반을 예측할 수 있고, 고위험 병변 여부를 판단할 수 있다.
이에 따라 고가의 검사 수행을 방지한다는 점에서 진료의 질을 높이고, 시간 및 비용적 낭비를 절감할 수 있다.
물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예예 따른 고위험 병변 진단 시스템을 도시한 시스템도이다.
도 2는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치(100)의 구성요소를 설명하기 위한 간단한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 프로세서의 구성요소를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 고위험 병변 진단 방법을 설명하기 위한 간단한 흐름도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치가 관심영역을 설정하고, 세부영역으로 구분하는 것을 설명하기 위한 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 학습부 및 인식부를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치(100)의 구성요소를 설명하기 위한 간단한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 프로세서의 구성요소를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 고위험 병변 진단 방법을 설명하기 위한 간단한 흐름도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치가 관심영역을 설정하고, 세부영역으로 구분하는 것을 설명하기 위한 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 학습부 및 인식부를 나타내는 블록도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 개시의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나 이는 본 개시의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 개시의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다..
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시의 실시예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
본 개시의 다양한 실시예에서 사용한 용어는 단지 특정일 실시예를 설명하기 위해 사용된 것으로, 본 개시의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 개시의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예예 따른 고위험 병변 진단 시스템을 도시한 시스템도이다.
도 1을 참조하면, 본 발명의 허혈 병변 진단 시스템(10)은 고위험 병변 진단 장치(100) 및 서버(200)를 포함할 수 있다.
고위험 병변 진단 장치(100)는 환자의 관상동맥에 발생한 허혈 병변을 예측 및 진단하기 위한 장치이다.
취약성 죽상반(예를 들어, TCFA; Thin-Cap Fibroatheroma)과 같은 고위험 병변은 FFR(Fractional Flow Reserve)과 같은 기능성 여부와 관련 없이 발생할 수 있다. 즉, 외관상 및 기능상 협착이 있다고 하더라도 취약성 죽상반으로 판단되지 않을 수 있다.
취약성 죽상반인 TCFA(Thin-cap fibroatheroma)는 큰 괴사 핵(necrotic core), 얇은 섬유질 덮개 및 희귀한 평활근 세포의 침윤(infiltration of rare smooth muscle cells) 및 수많은 대식세포를 특징으로 한다.
본 발명의 일 실시예에 따른 고위험 병변 진단 장치(100)는 관상동맥에 포함된 취약성 죽상반의 존재를 예측함으로써, 고위험 병변인지 여부를 진단할 수 있다. 구체적으로, 고위험 병변 진단 장치(100)는 인공지능 모델을 통해, 입력된 IVUS 영상에 취약성 죽상반이 존재하는지 여부를 판단할 수 있다.
서버(200)는 인공지능 모델을 학습 및 갱신하고, 인공지능 모델을 통한 예측을 수행하기 위한 적어도 하나의 외부 서버이다.
본 발명의 일 실시예에 따른 서버(200)는 혈관에 포함된 취약성 죽상반 존재 여부를 예측하기 위한 인공지능 모델을 포함할 수 있다.
이때, 인공지능 모델은 복수의 환자에 대한 IVUS(Intravascular Ultrasound Optical) 영상 및 각각의 IVUS 영상에 대응하는 OCT(Optical Coherence Tomography) 영상을 정합한 영상 데이터 세트를 이용하여 학습된 것일 수 있다. 구체적으로, 취약성 죽상반이 존재하는 복수의 OCT 영상에 대응하는 IVUS 영상을 식별하고, 해당 IVUS 영상에 포함된 형태학적 특징을 추출할 수 있다. 마찬가지로, 취약성 죽상반이 존재하지 않는 복수의 OCT 영상에 대응하는 IVUS 영상을 식별하고, 해당 IVUS 영상에 포함된 형태학적 특징 및 계산적 특징을 추출할 수 있다.
구체적으로, 0.4mm 간격의 모든 OCT 영상 프레임은 혈관 모양, 측 가지(side branch), 칼슘, 혈관 주위 구조 및 혈관 입구(ostium)부터의 거리와 같은 해부학적 랜드마크를 사용하여, 대략 24번째 IVUS 영상 프레임마다 정합되었다.
한편, TCFA가 존재하는 OCT 영상은 섬유질 캡의 두께가 200 um 이고, 괴사성 코어의 각도가 90도 이상인 경우로 정의할 수 있으나, 이에 한정하지 않는다.
본 발명의 일 실시예에 따른 인공지능 모델은 취약성 죽상반이 존재하는 환자에 대한 IVUS 영상에 포함된 형태학적 특징과 취약성 죽상반이 존재하지 않는 환자에 대한 IVUS 영상에 포함된 형태학적 특징을 학습 데이터로 훈련된 것일 수 있다.
이에 따라, 본 발명의 인공지능 모델에 IVUS 영상 및 환자에 대한 다양한 특징 정보가 입력되면, 관상동맥 병변에 취약성 죽상반이 포함되는지 여부를 판단할 수 있다. 이때, 특징 정보는 IVUS 영상에 포함된 혈관의 형태학적 특징, 계산적 특징 및 임상적 특징을 포함할 수 있으나, 이에 한정하지 않는다. 이에 대해 자세한 내용은 추후에 설명하기로 한다.
도 1에서는 허혈 병변 진단 장치(100)와 서버(200)가 별도의 구성으로 구현된 것을 도시하였으나, 본 발명의 일 실시예에 따르면 하나의 구성으로 구현된 것일 수 있다. 즉, 일 실시예에 따르면, 고위험 병변 진단 장치(100)가 인공지능 모델을 직접 학습, 갱신하는 온 디바이스(on-device) AI 장치일 수 있다.
도 2는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치(100)의 구성요소를 설명하기 위한 간단한 블록도이다.
도 2를 참조하면, 고위험 병변 진단 장치(100)는 영상 획득부(110), 영상 처리부(120), 메모리(130), 통신부(140) 및 상술한 구성요소와 전기적으로 연결되어 제어하는 프로세서(150)를 포함할 수 있다.
영상 획득부(110)는 다양한 소스를 통해 IVUS 영상 데이터를 획득할 수 있다. 예로, 영상 획득부(110)는 상용 스캐너로 구현되어 관상동맥 내를 스캐닝하여 IVUS 영상을 획득할 수 있다. 영상 획득부(110)를 통해 획득된 영상 데이터는 영상 처리부(120)에서 처리될 수 있다.
영상 처리부(120)는 영상 획득부(110)를 통해 획득한 영상 데이터에 대한 처리를 수행할 수 있다. 영상 처리부(120)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환 또는 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
메모리(130)는 프로세서(150)의 처리 또는 제어를 위한 프로그램 등 허혈 병변 진단 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(130)는 고위험 병변 진단 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 고위험 병변 진단 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
또한, 이러한 응용 프로그램 중 적어도 일부는, 고위험 병변 진단 장치(100)의 기본적인 기능을 위하여 출고 당시부터 고위험 병변 진단 장치(100) 상에 존재할 수 있다. 응용 프로그램은, 메모리(130)에 저장되고, 프로세서(150)에 의하여 허혈 병변 진단 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다. 특히, 메모리(130)는 일 예로, 프로세서(150)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(150)와 별도의 메모리로 구현될 수도 있다.
통신부(140)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성일 수 있다. 통신부(140)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 중 적어도 하나를 포함할 수 있다. 프로세서(150)는 통신부(140)를 이용하여 서버(200) 또는 각종 외부 장치와 통신을 수행할 수 있다.
특히, 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선통신 칩은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
프로세서(150)는 고위험 병변 진단 장치(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(150)는 고위험 병변 진단 장치(100)의 메모리(130)에 저장된 각종 프로그램을 이용하여 고위험 병변 진단 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(150)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서, 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 고위험 병변 진단 장치(100)의 메모리에 저장된 운영체제를 램에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 메모리(130)에 저장된 각종 애플리케이션을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(150)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현 시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
본 발명의 일 실시예에 따라, 프로세서(150)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(150)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 프로세서의 구성요소를 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명의 프로세서(150)는 관심영역 설정부(151), 세부 영역 구분부(152), 특징 추출부(153) 및 고위험 병변 판단부(154)를 포함할 수 있다.
본 발명의 일 실시예에 따르면 관심영역 설정부(151), 세부 영역 구분부(152), 특징 추출부(153) 및 고위험 병변 판단부(154)는 고위험 병변 진단 장치(100)에 포함된 메모리(130)에 저장되어 프로세서(150)에 의해 구동되는 별도의 소프트웨어 모듈을 통해 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다. 또한, 각각의 구성은 별도의 모듈로 구현될 수도 있고, 하나의 모듈로 구현된 것일 수도 있다.
한편, 본 발명의 또 다른 실시예에 따르면, 상술한 고위험 병변 판단부(154)는 서버(200)의 프로세서(미도시)에 포함된 구성일 수 있다. 이 경우, 서버(200)는 고위험 병변 진단 장치(100)로부터 IVUS 영상에 포함된 혈관의 형태학적 특징 및 환자의 임상적 특징을 수신할 수 있고, 수신한 특징을 기초로 TCFA와 같은 취약성 죽상반 등의 고위험 병변을 포함하는지 판단할 수 있다.
이하에서는 도 2 내지 도 4를 통해 본 발명의 고위험 병변 진단 방법을 설명한다.
도 4는 본 발명의 일 실시예에 따른 고위험 병변 진단 방법을 설명하기 위한 간단한 흐름도이다.
본 발명의 영상 획득부(110)는 IVUS 영상을 획득할 수 있다(S410). 이때, IVUS 영상은 관상 동맥 질환이 있는 환자로부터 허혈 병변의 길이에 따른 복수의 프레임(예를 들어, 2,000-4,000 개의 프레임)을 포함하는 영상일 수 있다.
IVUS 영상은 니트로 글리세린 0.2 mg을 관상동맥 내에 투여 후, 전동식 변환기 풀백 (0.5 mm /s) 및 3.2 F 이미징 외장 내에서 회전하는 40 MHz 변환기로 구성된 상용 스캐너를 사용하여 그레이 스케일 IVUS 이미징을 수행하여 획득할 수 있다.
이후, 관심영역 설정부(151)는 IVUS 영상에 포함된 혈관의 이미지에서 혈관 내강 경계가 분리된 마스크 영상을 획득할 수 있다. 이때, 마스크 영상은 FCN-at-one-VGG16 알고리즘을 통해 자동으로 IVUS 영상에서 추출된 것일 수 있다. 다만, 이는 일 예에 불과하고, 혈관의 내강을 포함하는 단면 영상을 영역에 따라 구분하는 마스크 영상은 다양한 방법으로 획득될 수 있다.
예를 들어, 관심영역 설정부(151)는 1) IVUS 영상에서 외부 탄성막(EEM, external elastic membrane)에 대응하는 픽셀의 바깥 영역(0으로 코딩됨), 2) 혈관 내강 경계를 포함하는 혈관 내강 영역(1로 코딩됨), 3) 혈관 내강 경계와 EEM 사이에 대응하는 플라크(plaque)를 포함하는 영역(2로 코딩됨)으로 구분된 마스크 영상을 획득할 수 있다.
관심영역 설정부(151)는 마스크 영상에서 혈관 내강 경계와 EEM 사이에 대응하는 플라크(plaque)를 포함하는 영역(플라크 영역)을 관심영역으로 설정할 수 있다(S420). 이후, 세부영역 구분부(152)는 관심영역을 세부영역으로 구분할 수 있다(S430).
구체적으로, 세부영역 구분부(152)는 관심영역(또는 플라크 영역)으로 설정된 환형의 영역을 픽셀 두께를 기준으로 적어도 하나의 세부영역으로 구분할 수 있다.
예를 들어, 세부영역 구분부(152)는 플라크 영역을 5 개의 영역(S1 내지 S5)으로 세분화할 수 있다. 제1 세부영역(S1)은 내강 경계에 인접한 2 픽셀(32.2 μm)에 대응하는 두께의 영역으로 정의될 수 있고, 제2 세부영역(S2)은 제1 세부영역(S1)의 가장자리로부터 4 픽셀(64.4 ㎛)에 대응하는 두께의 영역으로 정의될 수 있고, 제3 세부영역(S3)은 제2 세부영역(S2)의 가장자리로부터 7 픽셀(109.2 ㎛)에 대응하는 두께의 영역으로 정의될 수 있고, 제4 세부영역(S4)은 제3 세부영역(S3)의 가장자리로부터 13 픽셀(202.8 μm)에 대응하는 두께의 영역으로 정의될 수 있고. 제5 세부영역(S5)은 플라크 영역 중 EEM에 인접한 나머지 영역으로 정의될 수 있다.
특징 추출부(153)는 상술한 세부영역에 대한 정보를 기초로 혈관의 계산적(computed) 특징을 추출할 수 있다(S440).
이때, IVUS 영상에 대한 계산적 특징(computed feature)은 크게 3가지 카테고리를 포함할 수 있다. 즉, 계산적 특징은, 1) 플라크 버든(plaque burden), 최소 내강 직경, 내강 영역 및 내강 편심(lumen eccentricity)을 포함하는 2차원 형상 기반 특징(two-dimensional geometry-based feature), 2) 감마, 베타, Nakagami-μ, Nakagami-ω 및 Rayleigh-b를 포함하는 확률분포 파라미터, 3) 분산(variance), 모멘트(moment), 평활도(smoothness), 첨도(kurtosis), 엔트로피(entropy) 및 균질성(homogeneity)을 포함하는 텍스처 기반 특징(texture-based feature)을 포함할 수 있다.
또한, 특징 추출부(153)는 각각의 세부 영역에 대하여 2개의 세부영역 간의 비율(S1:S2, S1:S3, S1:S4, S1:S5, S2:S3, S2:S4, S2:S5, S3:S4, S3:S5 및 S4:S5)을 계산하여 1449개의 특징을 추출할 수 있다.
고위험 병변 판단부(154)는 상술한 계산적 특징 및 환자의 임상적 특징을 포함하는 다양한 특징 정보를 기초로 취약성 죽상반 존재 여부를 판단할 수 있고(S450), 나아가 고위험 병변 여부를 판단할 수 있다.
구체적으로, 고위험 병변 판단부(154)는 상술한 특징 정보를 입력받으면 취약성 죽상반 존재에 대한정보를 출력하는 인공지능 모델을 통해 고위험 병변 여부를 판단할 수 있다.
이때, 본 발명의 인공지능 모델은 취약성 죽상반을 포함하는 복수의 OCT 영상 및 각각의 OCT 영상에 대응하는 IVUS 영상의 계산적 특징 및 환자의 임상적 특징을 포함하는 데이터를 학습데이터로, IVUS 영상의 계산적 특징 및 임상적 특징을 입력받으면 취약성 죽상반을 포함하는지 여부를 출력하도록 훈련된 것일 수 있다.
이때, 임상적(clinical) 특징은 나이(age), 성별(gender), 체면적(body surface area), 병변 분절(involved segment), 근위 LAD의 침범 여부(involvement of proximal left anterior descending artery (LAD)) 및 혈관 타입(vessel type)을 포함할 수 있다.
특히, 본 발명의 인공지능 모델은 517명의 협심증 환자에 대한 특징 정보에 대해서 414명과 103명으로 4:1로 무작위 분리되어, 각각의 환자군에 대한 특징 정보가 훈련 세트 및 검증 세트로 학습된 것일 수 있다.
또한, 본 발명의 인공지능 모델은 1449개의 2차원 형상 기반 특징(two-dimensional geometry-based feature) 중 17개의 특징이 최종적으로 선택되어 ANN(artificial neural network), SVM(support vector machine) 및 na
ve bayes를 이용한 머신러닝을 통해 학습된 것일 수 있다.
구체적으로, 1449개의 특징 중 t-test를 통해 728개의 특징이 선택되고, ROC를 이용하여 AUC가 0.6 이상인 62개의 특징을 선택하였다. 이후, relief, decision tree, regularized discriminative feature selection 및 Fisher's exact test를 통해 플라크 버든(plaque burden), 내강 영역, 최소 내강 직경, 내강 편심, 감마 - 베타 S3/S4, Nakagami-μ S3/S4, Nakagami-ω S1/S3, Rayleigh-b S2/S3, 분산 S2/S3, 분산 S2/S4, 엔트로피 S2/S3, 첨도 S2/S4, 균질성 1 S3/S4, 균질성 2 S2/S4, 평활도 S1/S3, 평활도 S2/S3 및 모멘트 S1/S3가 최종적으로 선택되어 머신러닝 학습에 사용되었다.
TCFA가 존재하는 OCT에 대응하는 IVUS 영상은 큰 플라크 버든(plaque burden)과 작은 내강 편심(lumen eccentricity)을 보였다. 또한, TCFA를 포함하는 IVUS 영상은 분산, 엔트로피 및 첨도의 증가를 보였고, 깊은 플라크와 표면(superficial) 간 균질성(homogeneity) 및 섬유질 캡 내의 평활도(smoothness)의 감소를 보였다.
TCFA를 포함하는 OCT 영상은 깊은 플라크와 표면(superficial) 간 낮은 비율의 감마, 베타, Nakagami-μ, Nakagami-ω를 보이고, 높은 비율의 Rayleigh-b을 나타냈다.
특히, 플라크 버든이 70% 이상, 최소 내강 면적이 4mm2보다 작은 경우, TCFA를 포함하는 IVUS 영상으로 판단할 수 있다. 또한, IVUS 감쇠(attenuation)와 반점성 칼슘(spotty calcium)은 큰 괴사핵을 가진 조직학적 섬유종을 가진 것으로 판단할 수 있다. 구체적으로, 민감도 89% 및 특이도 64%에서 IVUS 감쇠 최대호가 29.4도 이상인 경우 TCFA가 있는 것으로 예측할 수 있다.
또한, TCFA를 포함하는 경우, 엔트로피 및 분산에 대한 S2 대비 S3-S4의 비율이 증가하고, 균질성 S2-S3 대비 S4의 균질성이 감소하였고, S2 대비 S4의 첨도 증가를 보였다. 또한, S1 대비 S3의 평활도의 감소는 거품성 대식세포가 침투한 것으로 판단할 수 있다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 고위험 병변 진단 장치가 관심영역을 설정하고, 세부영역으로 구분하는 것을 설명하기 위한 도면이다.
도 5a는 취약성 죽상반이 있는지 검사를 수행할 환자의 관상동맥 IVUS 영상을 도시한다. 고위험 병변 진단 장치(100)는 혈관 내강(lumen)을 분리하기 위한 프로그램을 통해 자동으로 내강을 분리할 수 있다.
도 5b는 고위험 병변 진단 장치(100)가 혈관의 내강을 분리한 마스크 영상을 도시한다. 도 5b를 참조하면, 고위험 병변 진단 장치(100)는 IVUS 영상에서 외부 탄성막(EEM, external elastic membrane)에 대응하는 픽셀의 바깥 영역(510), 혈관 내강 경계와 EEM 사이에 대응하는 플라크(plaque)를 포함하는 플라크 영역(520) 및 혈관 내강 경계를 포함하는 혈관 내강 영역(530)으로 구분된 마스크 영상을 획득할 수 있다.
이때, 고위험 병변 진단 장치(100)는 마스크 영상에서 혈관 내강 경계와 EEM 사이에 대응하는 플라크(plaque)를 포함하는 플라크 영역(520)을 관심영역으로 설정할 수 있다.
도 5c는 고위험 병변 진단 장치(100)가 관심영역(520)을 5개의 세부영역(S1 내지 S5)으로 구분한 것을 도시한다.
도 5c를 참조하면, 고위험 병변 진단 장치(100)는 제1 세부영역(S1)은 내강 경계에 인접한 2 픽셀(32.2 μm)에 대응하는 두께의 영역으로 구분할 수 있다. 또한, 고위험 병변 진단 장치(100)는 제2 세부영역(S2)을 제1 세부영역(S1)의 가장자리로부터 4 픽셀(64.4 ㎛)에 대응하는 두께의 영역으로 구분할 수 있고, 제3 세부영역(S3)을 제2 세부영역(S2)의 가장자리로부터 7 픽셀(109.2 ㎛)에 대응하는 두께의 영역으로 구분할 수 있다. 고위험 병변 진단 장치(100)는 제4 세부영역(S4)을 제3 세부영역(S3)의 가장자리로부터 13 픽셀(202.8 μm)에 대응하는 두께의 영역으로 구분할 수 있고. 제5 세부영역(S5)을 플라크 영역 중 EEM에 인접한 나머지 영역으로 구분할 수 있다.
다만, 상술한 제1 세부영역 내지 제5 세부영역에 대한 구분은 일 예에 불과하고, 고위험 병변 진단 장치(100)는 다양한 실시예에 따라 다양한 숫자의 세부영역 및 다양한 기준으로 세부영역을 구분할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 학습부 및 인식부를 나타내는 블록도이다.
도 6을 참조하면, 프로세서(600)는 학습부(610) 및 인식부(620) 중 적어도 하나를 포함할 수 있다. 도 6의 프로세서(600)는 도 2의 고위험 병변 진단 장치(100)의 프로세서(150) 또는 서버(200)의 프로세서(미도시)에 대응될 수 있다.
학습부(610)는 소정의 상황 판단을 위한 기준을 갖는 인식 모델을 생성 또는 학습시킬 수 있다. 학습부(610)는 수집된 학습 데이터를 이용하여 판단 기준을 갖는 인식 모델을 생성할 수 있다.
일 예로, 학습부(610)는 다양한 IVUS 영상을 학습 데이터로서 이용하여 IVUS 영상에 포함된 혈관의 내강이 어떤 것인지 판단하는 기준을 갖는 객체 인식 모델을 생성, 학습 또는 갱신시킬 수 있다.
또 다른 예로, 학습부(610)는 복수의 IVUS 영상, 상기 IVUS 영상 각각에 대응하는 OCT 영상, 상기 OCT 영상이 취약성 죽상반을 포함하는지 여부에 따른 구분 정보, 상기 IVUS 및 OCT 영상에 대응하는 환자의 임상적 특징 정보를 학습 데이터로서 이용하여 입력된 특징 정보에 대응하는 IVUS 영상에 취약성 죽상반이 포함되는지 여부를 판단하는 기준을 갖는 모델을 생성, 학습 또는 갱신시킬 수 있다.
인식부(620)는 소정의 데이터를 학습된 인식 모델의 입력 데이터로 사용하여, 목표하는 데이터를 추정할 수 있다.
일 예로, 인식부(620)는 IVUS 영상에 포함된 계산적 특징(computed feature), 임상적 특징을 학습된 인식 모델에 적용하여 취약성 죽상반이 포함 여부를 추정(또는, 결정, 추론)할 수 있다.
학습부(610)의 적어도 일부 및 인식부(620)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 고위험 병변 진단 장치(100)에 탑재될 수 있다. 예를 들어, 학습부(610) 및 인식부(620) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치 또는 객체 인식 장치에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.
학습부(610) 및 인식부(620)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
이 경우, 학습부(610) 및 인식부(620)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(610) 및 인식부(620) 중 하나는 고위험 병변 진단 장치(100)에 포함되고, 나머지 하나는 서버(200)에 포함될 수 있다. 또한, 학습부(610) 및 인식부(620)는 유선 또는 무선으로 통하여, 학습부(610)가 구축한 모델 정보를 인식부(620)로 제공할 수도 있고, 인식부(620)로 입력된 데이터가 추가 학습 데이터로서 학습부(610)로 제공될 수도 있다.
한편, 상술한 본 발명의 다양한 실시예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록매체(computer readable recording medium)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
기기로 읽을 수 있는 기록매체는, 비일시적 기록매체(non-transitory computer readable recording medium)의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 이때 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이와 같이 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10: 고위험 병변 진단 시스템
100: 고위험 병변 진단 장치
110: 영상 획득부
120: 영상 처리부
130: 메모리
140: 통신부
150: 프로세서
200: 서버
100: 고위험 병변 진단 장치
110: 영상 획득부
120: 영상 처리부
130: 메모리
140: 통신부
150: 프로세서
200: 서버
Claims (6)
- 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 방법에 있어서,
환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득 단계;
상기 IVUS 영상에 포함된 혈관 내강 분리를 수행하고 상기 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정 단계;
상기 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 세부영역 구분 단계;
상기 적어도 하나의 세부 영역을 기초로 상기 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출 단계; 및
상기 계산적 특징을 인공지능 모델에 입력하여 상기 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 상기 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단 단계;를 포함하는 딥러닝 기반 진단 방법. - 제1항에 있어서,
상기 관심영역은 상기 혈관 내강 경계와 외부 탄성막(EEM) 사이에 대응하는 플라크(plaque)를 포함하는 영역이고,
상기 적어도 하나의 세부 영역은 상기 관심영역 내에서 상기 혈관 내강 경계와 상기 외부 탄성막 사이의 두께를 기설정된 두께만큼 각각 구분되는 딥러닝 기반 진단 방법. - 제1항에 있어서,
상기 특징추출 단계는 상기 적어도 하나의 세부 영역 각각의 비율을 기초로 상기 계산적 특징을 추출하는 딥러닝 기반 진단 방법. - 제1항에 있어서,
상기 인공지능 모델은 복수의 IVUS 영상 및 상기 복수의 IVUS 영상 각각에 대응하는 OCT 영상을 정합한 데이터를 학습 데이터로 훈련된 것을 특징으로 하는 딥러닝 기반 진단 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
고위험 병변 진단 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. - 관상동맥의 고위험 병변을 진단하는 딥러닝 기반 진단 장치에 있어서,
환자의 관상동맥 병변에 대한 IVUS 영상을 획득하는 영상획득부;
상기 IVUS 영상에 포함된 혈관 내강 분리를 수행하고 상기 IVUS 영상에 포함된 관심영역을 설정하는 관심영역 설정부;
상기 관심영역에 대하여 두께를 기준으로 적어도 하나의 세부 영역으로 구분하는 세부영역 구분부;
상기 적어도 하나의 세부 영역을 기초로 상기 IVUS 영상에 대한 계산적 특징을 추출하는 특징추출부; 및
상기 계산적 특징을 인공지능 모델에 입력하여 상기 IVUS 영상이 취약성 죽상반을 포함하는 영상인지를 판단하고, 상기 취약성 죽상반을 포함하는 것으로 판단되면 고위험 병변을 포함하는 것으로 판단하는 고위험 병변 판단부;를 포함하는 딥러닝 기반 진단 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190095170A KR102257295B1 (ko) | 2019-08-05 | 2019-08-05 | 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190095170A KR102257295B1 (ko) | 2019-08-05 | 2019-08-05 | 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210016863A true KR20210016863A (ko) | 2021-02-17 |
| KR102257295B1 KR102257295B1 (ko) | 2021-05-31 |
Family
ID=74732026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190095170A KR102257295B1 (ko) | 2019-08-05 | 2019-08-05 | 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102257295B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744223A (zh) * | 2021-08-26 | 2021-12-03 | 联影智能医疗科技(北京)有限公司 | 血管的风险评估方法、计算机设备和存储介质 |
| CN114387464A (zh) * | 2021-12-01 | 2022-04-22 | 杭州脉流科技有限公司 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070165916A1 (en) * | 2003-11-13 | 2007-07-19 | Guy Cloutier | Automatic multi-dimensional intravascular ultrasound image segmentation method |
| US20070260141A1 (en) * | 2006-03-22 | 2007-11-08 | Volcano Corporation | Automated lesion analysis based upon automatic plaque characterization according to a classification criterion |
| WO2011038305A2 (en) * | 2009-09-25 | 2011-03-31 | Volcano Corporation | Device and method for determining the likelihood of a patient having a clinical event or a clinically silent event based on ascertained physiological parameters |
| KR20120028154A (ko) * | 2010-09-14 | 2012-03-22 | 울산대학교 산학협력단 | 죽상 경화증 진단방법 및 그 장치 |
| US20170249439A1 (en) * | 2016-02-26 | 2017-08-31 | Heartflow, Inc. | Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models |
| US20170265754A1 (en) * | 2013-10-17 | 2017-09-21 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
| KR20190083185A (ko) * | 2018-01-03 | 2019-07-11 | 주식회사 메디웨일 | Ivus 영상 분석방법 |
| EP3618002A1 (en) * | 2018-08-30 | 2020-03-04 | Koninklijke Philips N.V. | Interactive self-improving annotation system for high-risk plaque burden assessment |
-
2019
- 2019-08-05 KR KR1020190095170A patent/KR102257295B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070165916A1 (en) * | 2003-11-13 | 2007-07-19 | Guy Cloutier | Automatic multi-dimensional intravascular ultrasound image segmentation method |
| US20070260141A1 (en) * | 2006-03-22 | 2007-11-08 | Volcano Corporation | Automated lesion analysis based upon automatic plaque characterization according to a classification criterion |
| WO2011038305A2 (en) * | 2009-09-25 | 2011-03-31 | Volcano Corporation | Device and method for determining the likelihood of a patient having a clinical event or a clinically silent event based on ascertained physiological parameters |
| KR20120028154A (ko) * | 2010-09-14 | 2012-03-22 | 울산대학교 산학협력단 | 죽상 경화증 진단방법 및 그 장치 |
| US20170265754A1 (en) * | 2013-10-17 | 2017-09-21 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
| US20170249439A1 (en) * | 2016-02-26 | 2017-08-31 | Heartflow, Inc. | Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models |
| KR20190083185A (ko) * | 2018-01-03 | 2019-07-11 | 주식회사 메디웨일 | Ivus 영상 분석방법 |
| EP3618002A1 (en) * | 2018-08-30 | 2020-03-04 | Koninklijke Philips N.V. | Interactive self-improving annotation system for high-risk plaque burden assessment |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744223A (zh) * | 2021-08-26 | 2021-12-03 | 联影智能医疗科技(北京)有限公司 | 血管的风险评估方法、计算机设备和存储介质 |
| CN114387464A (zh) * | 2021-12-01 | 2022-04-22 | 杭州脉流科技有限公司 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102257295B1 (ko) | 2021-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220296205A1 (en) | Ultrasound image-based diagnosis system for coronary artery lesion using machine learning and diagnosis method of same | |
| Bizopoulos et al. | Deep learning in cardiology | |
| KR102283443B1 (ko) | 광 간섭 단층 영상 기반의 고위험 병변 진단 시스템 및 이의 진단 방법 | |
| JP2020518915A (ja) | 自動眼底画像分析用のシステムおよび方法 | |
| Karthik et al. | A multi-scale approach for detection of ischemic stroke from brain MR images using discrete curvelet transformation | |
| KR102272413B1 (ko) | 관상동맥 혈관조영술 기반의 기계 학습을 통한 허혈 병변 정보 제공 장치, 정보 제공 방법 및 이의 기록매체 | |
| WO2020019757A1 (zh) | 一种磁共振图像的颅内斑块和颈动脉斑块智能分割方法 | |
| Yang et al. | A deep learning segmentation approach in free-breathing real-time cardiac magnetic resonance imaging | |
| KR102257295B1 (ko) | 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 | |
| CN111275755B (zh) | 基于人工智能的二尖瓣瓣口面积检测方法、系统和设备 | |
| JP2022547909A (ja) | Ｃｔ画像基盤の部位別の大脳皮質収縮率の予測方法及び装置 | |
| WO2021061947A1 (en) | System and method for analyzing medical images based on spatio-temporal data | |
| Vaish et al. | Smartphone based automatic abnormality detection of kidney in ultrasound images | |
| US20200085344A1 (en) | Image processing and emphysema threshold determination | |
| KR20200113336A (ko) | 다중시기 측부혈류 영상을 생성하기 위한 학습 방법 및 기계 학습을 이용한 다중시기 측부혈류 영상 생성 방법 | |
| KR102546290B1 (ko) | 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체 | |
| KR20230050253A (ko) | 흉막 삼출의 검출 방법 및 이를 위한 장치 | |
| US11948341B2 (en) | Medical information processing apparatus and medical information generating apparatus | |
| Niu et al. | Improving automated tissue characterization in optical coherence tomography by melding attenuation compensation with deep learning | |
| CN113269711B (zh) | 脑图像的处理方法及装置、电子设备和存储介质 | |
| Gadriye et al. | Neural Network based method for the diagnosis of diabetic retinopathy | |
| Li et al. | A hybrid approach to detection of brain hemorrhage candidates from clinical head ct scans | |
| Janakiraman et al. | Reliable IoT-based Health-care System for Diabetic Retinopathy Diagnosis to defend the Vision of Patients | |
| Gayatri et al. | Challenges and Imperatives of Deep Learning Approaches for Detection of Melanoma: A Review | |
| Preity et al. | Automated computationally intelligent methods for ocular vessel segmentation and disease detection: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |