KR20220135459A - 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 - Google Patents
다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 Download PDFInfo
- Publication number
- KR20220135459A KR20220135459A KR1020210041152A KR20210041152A KR20220135459A KR 20220135459 A KR20220135459 A KR 20220135459A KR 1020210041152 A KR1020210041152 A KR 1020210041152A KR 20210041152 A KR20210041152 A KR 20210041152A KR 20220135459 A KR20220135459 A KR 20220135459A
- Authority
- KR
- South Korea
- Prior art keywords
- tissue
- image
- information
- fluorescence lifetime
- components
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 208000037260 Atherosclerotic Plaque Diseases 0.000 title claims description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 70
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 238000012014 optical coherence tomography Methods 0.000 claims abstract description 66
- 238000003384 imaging method Methods 0.000 claims abstract description 63
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 60
- 230000000877 morphologic effect Effects 0.000 claims abstract description 30
- 230000002792 vascular Effects 0.000 claims abstract description 23
- 210000001519 tissue Anatomy 0.000 claims description 146
- 210000002540 macrophage Anatomy 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 150000002632 lipids Chemical class 0.000 claims description 21
- 210000004204 blood vessel Anatomy 0.000 claims description 18
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 claims description 16
- 230000028709 inflammatory response Effects 0.000 claims description 10
- 210000000329 smooth muscle myocyte Anatomy 0.000 claims description 10
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 claims description 8
- 229910052791 calcium Inorganic materials 0.000 claims description 8
- 239000011575 calcium Substances 0.000 claims description 8
- 235000012000 cholesterol Nutrition 0.000 claims description 8
- 239000013078 crystal Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 7
- 238000011017 operating method Methods 0.000 claims description 7
- 206010061218 Inflammation Diseases 0.000 claims description 6
- 230000004054 inflammatory process Effects 0.000 claims description 6
- 230000006641 stabilisation Effects 0.000 claims description 5
- 238000011105 stabilization Methods 0.000 claims description 5
- 230000002757 inflammatory effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 11
- 238000007637 random forest analysis Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002608 intravascular ultrasound Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 2
- 108010035532 Collagen Proteins 0.000 description 2
- 102000016942 Elastin Human genes 0.000 description 2
- 108010014258 Elastin Proteins 0.000 description 2
- 229920001436 collagen Polymers 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 229920002549 elastin Polymers 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001991 pathophysiological effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0066—Optical coherence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Cardiology (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서, 융합 영상을 입력받는 단계, 그리고 인공지능 모델을 이용하여 상기 융합 영상의 조직 구성 성분을 분류하는 단계를 포함한다. 상기 융합 영상은 광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함한다. 상기 인공지능 모델은 입력 영상에 포함된 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하도록 학습된 모델이다.
Description
본 발명은 인공지능 영상 분석에 관한 것이다.
광간섭단층영상화기술(Optical coherence tomography, OCT)은 기준단(reference arm)의 거울에서 반사되어 돌아온 빛과 샘플단(sample arm)의 조직에서 산란되어 돌아온 빛을 간섭시켜 조직을 영상화하는 기술이다. 광간섭단층영상(OCT image)은 심혈관 내 관상동맥의 고해상도 형태학적 정보를 포함하므로, 혈관 미세 구조 분석이나 스텐트 시술 후 평가를 위해 임상에서 널리 사용되고 있다. 하지만 광간섭단층영상을 통해, 생화학적으로 복합적이며 다양하게 발발하는 동맥경화반의 생화학적 정보, 그리고 동맥경화반의 파열 위험성 평가를 위한 염증 반응 등의 정보를 얻는 데 한계가 있다.
이를 보완하기 위해, 광간섭단층영상화기술에 근적외선형광영상화기술(near-infrared fluorescence imaging, NIRF)을 융합한 융합영상기법이 제시되었으나, 동맥경화반에 대한 정보를 얻기 위해 조영제를 사용해야 하므로, 임상 및 시험에 한계가 있다.
한편, 자외선 기반의 형광수명영상화기술(Fluorescence lifetime imaging, FLIm)은 조직 자체에서 발생하는 자가형광의 감쇠율을 측정하는 기술로서, 조영제 없이도 조직의 생화학적 정보를 획득할 수 있는 장점이 있다. 다만, 광간섭단층영상화기술과 형광수명영상화기술을 융합하는 경우, 특정 성분의 신호를 검출하는 것이 아니라 조직의 자가형광을 이용해야 하고, 다채널 영상에 포함된 다량의 정보로 인해 직관적인 영상 분석이 쉽지 않은 문제를 해결해야 한다.
(특허문헌 1) KR10-2020-0118528 A 다중 진단 및 치료 카테터와 이를 포함하는 카테터 시스템
(특허문헌 2) KR10-1971764 B 혈관 촬영 영상을 이용한 혈관 분석 방법 및 장치
본 개시는, 다중 모달 기술이 융합된 이미징 시스템을 통해 혈관의 융합 영상을 획득하고, 인공지능 모델을 이용하여 융합 영상으로부터 동맥경화반 조직의 구성 성분을 정량 분석하는 방법 및 장치를 제공하는 것이다.
구체적으로 본 개시는, 광간섭단층영상에 포함된 동맥경화반의 광학적 산란 및 흡수 특성을 반영한 형태학적 정보와 형광수명영상에 포함된 조직 구성 성분의 생화학적 정보를 통합적으로 분석하는 인공지능 모델을 학습시키고, 학습된 인공지능 모델을 이용하여 동맥경화반 조직의 구성 성분을 분석하며, 혈관 내 염증 반응 정보를 포함하는 분석 결과를 기초로 동맥경화반을 검출하고, 파열 위험성을 예측하는 방법 및 장치를 제공하는 것이다.
한 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서, 융합 영상을 입력받는 단계, 그리고 인공지능 모델을 이용하여 상기 융합 영상의 조직 구성 성분을 분류하는 단계를 포함한다. 상기 융합 영상은 광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함한다. 상기 인공지능 모델은 입력 영상에 포함된 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하도록 학습된 모델이다.
상기 인공지능 모델은 상기 입력 영상에 포함된 광간섭단층영상을 입력받고, 상기 광간섭단층 영상의 형태학적 특징을 추출하도록 학습된 합성곱 신경망(Convolutional Neural Network, CNN) 모델, 그리고 상기 CNN 모델에서 출력된 형태학적 특징들 그리고 상기 입력 영상에 포함된 형광수명영상 정보를 입력받고, 상기 입력 영상에 대한 조직 구성 성분을 출력하도록 학습된 분류기를 포함할 수 있다. 상기 CNN 모델이 입력받는 상기 광간섭단층영상은 상기 융합 영상에 포함된 상기 제1 정보를 극좌표 도메인에서 표현한 영상일 수 있다.
상기 인공지능 모델은 상기 제1 정보 및 상기 제2 정보에 포함된 파라미터들을 나타내는 다중모달 영상들을 입력받고, 상기 다중모달 영상들의 특징값을 추출하는 확장된 CNN 모델로 구현될 수 있다.
상기 제2 정보는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상들을 포함하고, 각 형광수명영상은 해당 채널에서 획득된 형광수명(lifetime) 및 형광 세기(intensity)를 포함할 수 있다.
상기 조직 구성 성분은 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 그리고 정상 혈관벽 중 적어도 하나를 포함할 수 있다.
상기 동작 방법은 상기 융합 영상의 조직 구성 성분 중 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 상기 대식 세포를 포함하는 조직을 염증 조직 또는 염증이 섞인 지질 조직으로 분류하는 단계를 더 포함할 수 있다.
상기 동작 방법은 상기 융합 영상의 조직 구성 성분으로부터 동맥경화반을 검출하는 단계를 더 포함할 수 있다.
상기 동작 방법은 상기 융합 영상의 조직 구성 성분을 기초로 상기 동맥경화반의 파열 가능성을 예측하는 단계를 더 포함할 수 있다.
상기 파열 가능성을 예측하는 단계는 상기 융합 영상의 조직 구성 성분 중, 파열 가능성을 높이는 조직 구성 성분과 안정화에 기여하는 조직 구성 성분의 비율을 기초로 상기 파열 가능성을 예측할 수 있다.
다른 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서, 광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함하는 융합 영상을 입력받는 단계, 상기 제1 정보로부터 상기 혈관 조직의 형태학적 특징들을 추출하는 단계, 상기 형태학적 특징들과 상기 제2 정보에 포함된 형광수명 정보를 이용하여 상기 혈관 조직의 조직 구성 성분을 분류하는 단계, 그리고 상기 혈관 조직의 구성 성분으로부터 동맥경화반을 검출하는 단계를 포함한다.
상기 제2 정보는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상들을 포함하고, 각 형광수명영상은 해당 채널에서 획득된 형광수명(lifetime) 및 형광 세기(intensity)를 포함할 수 있다.
상기 조직 구성 성분은 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 그리고 정상 혈관벽 중 적어도 하나를 포함할 수 있다.
상기 동작 방법은 상기 혈관 조직의 조직 구성 성분 중 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 상기 대식 세포를 포함하는 조직을 염증 조직 또는 염증이 섞인 지질 조직으로 분류하는 단계를 더 포함할 수 있다.
상기 동작 방법은 상기 혈관 조직의 조직 구성 성분을 기초로 상기 동맥경화반의 파열 가능성을 예측하는 단계를 더 포함할 수 있다.
상기 파열 가능성을 예측하는 단계는 상기 융합 영상의 조직 구성 성분 중, 파열 가능성을 높이는 조직 구성 성분과 안정화에 기여하는 조직 구성 성분의 비율을 기초로 상기 파열 가능성을 예측할 수 있다.
본 개시의 분석 장치는 형광수명영상을 이용하여 혈관 및 동맥경화반 조직의 구성 성분에 대한 정량 분석을 통해 동맥경화반을 검출할 수 있고, 특히 염증 반응 분석을 통해 동맥경화반의 파열 가능성을 예측할 수 있다.
본 개시의 분석 장치는 광간섭단층영상화기술(OCT)이나 혈관내초음파영상화기술(IVUS)과 달리, 융합 영상을 획득함과 동시에 동맥경화반 조직의 구성 성분인 지질, 대식 세포, 평활근 세포, 섬유반 등에 대한 정량적이고 포괄적인 정보를 제공할 수 있다.
본 개시의 분석 장치는, 동맥경화반 검출 및 파열 가능성 예측을 통해 심혈관 질환 진단에 활용될 수 있고, 개인 맞춤형 치료에 기여할 수 있으며, 동맥경화반에 대한 병리생리학적 이해를 높이는 데 기여할 수 있다.
본 개시의 분석 장치는 형광수명영상과 광간섭단층영상을 이용하므로, 혈관내초음파영상화기술(IVUS)에 비해 해상도와 처리 속도를 개선할 수 있다.
본 개시의 분석 장치는 형광수명영상을 이용하므로, 다른 모달리티와 달리 환자에게 조영제를 투여할 필요가 없다.
도 1은 한 실시예에 따른 다중 모달 이미징 시스템의 개념도이다.
도 2는 한 실시예에 따른 인공지능 모델을 이용한 분석을 설명하는 개념도이다.
도 3과 도 4 각각은 한 실시예에 따른 인공지능 모델 및 이의 학습 방법을 예시적으로 설명하는 도면이다.
도 5는 한 실시예에 따른 동맥경화반 조직 분석 방법의 흐름도이다.
도 6은 한 실시예에 따른 동맥경화반 조직 분석 결과를 설명하는 도면이다.
도 7은 한 실시예에 따른 분석 장치의 하드웨어 구성도이다.
도 2는 한 실시예에 따른 인공지능 모델을 이용한 분석을 설명하는 개념도이다.
도 3과 도 4 각각은 한 실시예에 따른 인공지능 모델 및 이의 학습 방법을 예시적으로 설명하는 도면이다.
도 5는 한 실시예에 따른 동맥경화반 조직 분석 방법의 흐름도이다.
도 6은 한 실시예에 따른 동맥경화반 조직 분석 결과를 설명하는 도면이다.
도 7은 한 실시예에 따른 분석 장치의 하드웨어 구성도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
다중 모달은 다양한 심혈관 영상화기술 중에서 선택될 수 있고, 설명에서는, 형광수명영상화기술(Fluorescence lifetime imaging, FLIm)과 광간섭단층영상화기술(Optical coherence tomography, OCT)을 예로 들어 설명한다. 이외에도, 형광수명영상화기술과 혈관내초음파영상화기술(IntraVascular UltraSonography, IVUS)이 융합되거나, 형광수명영상화기술, 광간섭단층영상화기술 그리고 혈관내초음파영상화기술이 융합될 수 있다.
도 1은 한 실시예에 따른 다중 모달 이미징 시스템의 개념도이고, 도 2는 한 실시예에 따른 인공지능 모델을 이용한 분석을 설명하는 개념도이다.
도 1을 참고하면, 다중 모달 이미징 시스템(10)은 광간섭단층영상화(Optical coherence tomography, OCT) 장치(20)와 형광수명영상화(Fluorescence lifetime imaging, FLIm) 장치(30)를 포함하고, 조직에 빛을 조사하고 반사된 빛을 획득하는 측정 장치(40), 그리고 광간섭단층영상화 장치(20)와 형광수명영상화 장치(30)를 측정 장치(40)에 결합시키는 로터리 조인트 장치(50)를 포함할 수 있다. 측정 장치(40)는 혈관에 삽입될 수 있는 프로브 또는 카테터일 수 있고, 로터리 조인트 장치(50)로부터 들어온 빛을 조직에 조사하고, 조직에서 수득된 빛을 지정된 경로를 통해 전달한다.
다중 모달 이미징 시스템(10)은 적어도 하나의 프로세서에 의해 동작하는 분석 장치(100)를 포함할 수 있다. 또는, 분석 장치(100)가 다중 모달 이미징 시스템(10)과 분리되어 구현될 수 있고, 다중 모달 이미징 시스템(10)은 분석 장치(100)로 광간섭단층영상화 장치(20)와 형광수명영상화 장치(30)의 측정 결과를 전달할 수 있고, 이를 수행하는 컴퓨팅 장치를 포함할 수 있다.
광간섭단층영상화 장치(20)는 광원의 빛을 측정 장치(40)로 출력하고, 측정 장치(40)에서 되돌아온 빛을 이용하여 조직을 영상화하는데, 기준단(reference arm)의 거울에서 반사되어 돌아온 빛과 조직에서 산란되어 돌아온 빛을 간섭시키고, 간섭 신호를 이용하여 조직을 영상화할 수 있다. 따라서, 광간섭단층영상화 장치(20)를 통해 영상화된 정보는 혈관 조직의 형태학적 정보를 포함할 수 있다. 참고로, 측정 장치(40)를 통해 획득된 원본 광간섭단층영상은 Z축(측정 장치의 이동 방향), 각도축(θ, 측정 장치의 회전 방향), 그리고 방사축(r, 깊이 방향)의 3차원 영상이고, 원본 3차원 영상에서 θ별로 최대 밝기 값만을 추출하여 2D 최대 투사 매핑(maximum projection mapping) 영상(1a)을 만들거나, OCT 극좌표 영상(1b)을 만들 수 있다. 2D 최대 투사 매핑 영상(1a)은 가로가 Z축이고 세로가 각도축인 영상이고, OCT 극좌표 영상(1b)은 가로가 각도축이고 세로가 방사축인 극좌표 도메인의 영상일 수 있다. 설명에서는 영상 좌표계를 구분하지 않고, 간단히 광간섭단층영상이라고 부를 수 있다.
형광수명영상화 장치(30)는 광원의 빛을 측정 장치(40)로 출력하고, 측정 장치(40)에서 되돌아온 빛을 이용하여 조직을 영상화하는데, 형광수명 및 형광 세기를 이용하여 조직을 영상화할 수 있다. 이렇게, 형광수명영상화 장치(30)는 분자 또는 물질마다 여기광에 대해 발광하는 시간(형광수명)이 고유한 점을 이용하기 때문에, 형광수명영상으로부터 조직 구성 성분의 생화학적 정보를 알아낼 수 있다.
형광수명영상화 장치(30)는 다채널 파장 분광 모듈을 포함할 수 있고, 이를 통해, 서로 다른 파장을 가진 여기광들에 매핑된 다채널(예를 들면, 채널1, 채널2, 채널3)의 형광수명영상(2)을 생성할 수 있다. 예를 들면, 형광수명영상(2)은 콜라겐(collagen) 정보를 대체로 포함하는 채널1 영상, 엘라스틴(elastin)과 대식세포(macrophage) 정보를 대체로 포함하는 채널2 영상, 지질(lipid) 정보를 대체로 포함하는 채널3 영상으로 구성될 수 있다. 참고로, 형광수명영상(2)은 가로가 Z축(측정 장치의 이동 방향)이고, 세로가 각도축(θ, 측정 장치의 회전 방향)을 나타내며, 실제 획득된 원본 영상이다.
분석 장치(100)는 융합 영상을 입력받고, 인공지능 모델(200)을 이용하여 융합 영상의 조직 구성 성분을 분류한다. 인공지능 모델(200)은 입력 영상에 포함된 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하도록 학습된 모델이다. 융합 영상은 광간섭단층영상화 장치(20)를 통해 혈관 조직을 영상화한 정보, 그리고 형광수명영상화 장치(30)를 통해 혈관 조직을 영상화한 정보를 포함할 수 있다. 여기서, 광간섭단층영상화 장치(20)를 통해 영상화한 정보는 광간섭단층영상으로 표현될 수 있다. 형광수명영상화 장치(30)를 통해 영상화한 정보는 형광수명 및 형광 세기이거나, 형광수명 및 형광 세기를 포함하는 형광수명영상으로 표현될 수 있다.
구체적으로, 분석 장치(100)는 광간섭단층영상화 장치(20)에서 획득한 광간섭단층영상, 그리고 형광수명영상화 장치(30)에서 획득한 형광수명영상을 입력받고, 광간섭단층영상과 형광수명영상이 동일 위치(동일 Z값)로 매핑된 융합 영상을 생성할 수 있다. 분석 장치(100)는 광간섭단층영상화 장치(20)에서 측정한 간섭 신호, 그리고 형광수명영상화 장치(30)에서 측정한 형광수명 및 형광세기를 입력받고, 이들의 정보가 결합된 융합 영상을 생성할 수 있다. 또는 분석 장치(100)는 광간섭단층영상과 형광수명영상이 매핑된 융합 영상을 입력받을 수 있다.
분석 장치(100)는 융합 영상으로부터 조직의 구성 성분 및 이의 정량 정보를 포함하는 분석 결과(3)를 생성한다. 이를 위해 분석 장치(100)는 광간섭단층영상과 형광수명영상이 매핑된 융합 영상에서, 조직 구성 성분에 관계된 특징들을 추출하고, 특징들로부터 구성 성분을 분류하도록 학습된 인공지능 모델(200)을 사용한다. 이때, 인공지능 모델(200)은 Z값마다의 입력 영상으로부터 조직 구성 성분을 추출할 수 있는 다양한 형태로 구현될 수 있고, Z값마다 각도에 따른 조직 구성 성분을 예측할 수 있다. 각도에 따른 조직 구성 성분을 전체 Z축으로 누적하면, 측정 방향 전체에 대한 분석 결과(3)가 생성될 수 있다.
분석 장치(100)는 학습된 인공지능 모델(200)을 탑재하되, 직접 인공지능 모델(200)을 학습시키지 않을 수 있으나, 설명의 편의를 위해, 분석 장치(100)가 인공지능 모델(200)을 학습시킨다고 설명할 수 있다.
분석 장치(100)는 적어도 하나의 프로세서를 포함하고, 프로세서가 명령어들(instructions)을 실행함으로써, 본 개시의 동작을 수행할 수 있는 하드웨어 및 소프트웨어를 포함한다. 컴퓨터 프로그램은 프로세서가 본 개시의 동작을 실행하도록 기술된 명령어들(instructions)을 포함하고, 비일시적-컴퓨터 판독가능 저장매체(non-transitory computer readable storage medium)에 저장될 수 있다. 컴퓨터 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.
도 2를 참고하면, 인공지능 모델(200)은 입력에 대한 특징 추출 태스크(task) 및 조직 구성 성분으로의 분류 태스크를 학습한 모델일 수 있다. 인공지능 모델(200)의 입력은 광간섭단층영상(OCT image)과 형광수명영상이 융합된 융합 영상(4)이고, 출력은 분류된 조직 구성 성분 및 이의 정량 정보를 포함할 수 있다. 여기서, 인공지능 모델(200)은 특정 Z값(Z=k)에서의 융합 영상(4)으로부터 특정 Z값(Z=k)의 각도 방향의 조직 구성 성분을 추출할 수 있다. 조직 구성 성분은 예를 들면, 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 정상 혈관벽 등을 포함할 수 있다. 정량 정보는 각 조직 구성 성분의 확률값을 포함할 수 있다.
특정 Z값(Z=k)에서의 융합 영상(4)은 포함된 정보를 이용하여 다중모달 영상들로 변환될 수 있다. 다중모달 영상들은 광간섭단층영상(OCT image), 채널1의 형광수명 영상(lifetime image) 및 세기 영상(intensity image), 채널2의 형광수명 영상 및 세기 영상, 채널3의 형광수명영상 및 형광세기를 포함할 수 있다. 또는 다중모달 영상들은 세기 비율(intensity ratio) 영상을 더 포함할 수 있다.
참고로, 카테터 스캔 방식이 고속회전하며 뒤에서 당겨지는 나선형 방식 스캔이기 때문에, 융합 영상(4)은 스캔 방식을 반영한 영상화를 위해서 XY 직교 좌표계의 광간섭단층영상에 형광수명영상의 정보를 바깥쪽 링으로 표시할 수 있다. 분석 장치(100)는 인공지능 모델(200)에서 출력한 조직 구성 성분을, XY 직교 좌표계의 광간섭단층영상의 바깥쪽 링으로 표시한 출력 시각화 영상(5)을 제공할 수 있다.
분석 장치(100)는 인공지능 모델(200)의 출력 정보를 가공하여 분석 결과(3)를 제공할 수 있다. 분석 결과(3)는 융합 영상에 대해 분류된 조직 구성 성분, 그리고 각 구성 성분의 정량 정보(확률값)를 포함할 수 있다. 추가적으로, 분석 결과(3)는 대식 세포 분포량을 통해 추정된 염증 반응을 포함할 수 있다.
분석 결과(3)는 가로가 Z축이고, 세로가 각도축인 좌표계에서, 조직 구성 성분을 시각적으로 표시할 수 있다. 그리고, 분석 결과(3)는 조직 구성 성분의 비율을 표시할 수 있다. 분석 결과(3)는 출력 시각화 영상(5)으로 변환될 수 있다.
인공지능 모델(200)은 광간섭단층영상에 포함된 동맥경화반의 광학적 산란 및 흡수 특성을 반영한 형태학적 정보, 그리고 형광수명영상에 포함된 조직 구성 성분의 생화학적 정보를 통합적으로 분석할 수 있다. 실제로, 지질만 분포된 조직, 염증에 관련된 대식 세포만 분포된 조직, 그리고 지질과 대식 세포가 함께 분포된 조직 각각은 형광 신호가 달라서, 형광 수명 및 형광 세기를 기초로 조직의 구성 성분 분류가 가능하다.
인공지능 모델(200)을 이용한 분석 결과(3)를 통해, 분석 장치(100)는 동맥경화반을 검출할 수 있다. 또한 분석 장치(100)는 분석 결과(3)를 통해, 동맥경화반의 파열 가능성을 예측하고, 고위험 동맥경화반으로 진단할 수 있다. 동맥경화반의 파열 가능성은 병변의 고위험도로 계산될 수 있다. 병변의 고위험도는 병변이 가지는 고위험 구성 성분의 상대적 비율로 판단될 수 있다. 즉, 동맥경화반의 파열 가능성은, 분석 결과(3)에 포함된 조직 구성 성분 중에서, 파열 가능성을 높이는 지질, 대식 세포, 칼슘, 그리고 콜레스테롤 결정 등의 비율, 그리고 안정화에 기여하는 섬유반 등의 비율을 기초로 계산될 수 있다.
인공지능 모델(200)은 적어도 하나의 태스크(task)를 학습하는 기계학습모델(machine learning model)로서, 프로세서에 의해 실행되는 컴퓨터 프로그램으로 구현될 수 있다. 인공지능 모델(200)은 입력 데이터, 태스크(task) 종류, 학습 방법에 맞게, 다양한 모델을 이용하여 구성될 수 있다.
인공지능 모델(200)은 광간섭단층영상에 포함된 동맥경화반의 광학적 산란 및 흡수 특성을 반영한 형태학적 특징을 추출하는 태스크, 그리고, 광간섭단층영상의 형태학적 특징과 형광수명영상의 생화학적 특징을 기초로 조직 구성 성분을 분류하는 태스크를 학습할 수 있다. 인공지능 모델(200)은 다중 모달 융합 영상을 입력받는데, 광간섭단층영상과 형광수명영상을 포함하는 융합 영상을 입력받을 수 있다.
인공지능 모델(200)의 학습 데이터는 레이블(label)을 가진 융합 영상들을 포함할 수 있다. 각 융합영상은 동맥경화반 조직의 구성 성분인 지질, 대식세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 정상 혈관벽 등으로 구분되고, 조직 구성 성분이 영상에 어노테이션되어 있다. 여기서, 융합영상에 조직 구성 성분을 어노테이션하는 것이 쉽지 않은데, 광간섭단층영상과 형광수명영상뿐만 아니라 실제 조직 염색 영상을 획득하고, 실제 조직 염색 영상에 포함된 형태, 지질 강조, 대식세포 면역 등을 융합 영상에 매칭하는 방식으로 조직 구성 성분을 어노테이션할 수 있다.
도 3과 도 4 각각은 한 실시예에 따른 인공지능 모델 및 이의 학습 방법을 예시적으로 설명하는 도면이다.
도 3을 참고하면, 인공지능 모델(200)의 한 실시예로서, 인공지능 모델(200a)은 입력 영상의 형태학적 특징을 추출하는 합성곱 신경망(Convolutional Neural Network, CNN) 모델(210), 그리고 입력된 특징값들을 조직 구성 성분으로 랜덤 포레스트 분류기(Random forest classifier)(230)로 구성될 수 있다. CNN 모델(210)은 잔차블록(residual block)을 이용하는 ResNet으로 구현될 수 있으나, 다른 종류의 CNN 모델로 구현될 수 있다. 입력 영상은 Z값마다 측정된 융합 영상이고, 입력 영상에 대한 출력은 Z값에서 각도마다의 조직 구성 성분이며, 출력을 Z값에 따라 누적하여 전체 입력 영상들에 대한 분석 결과가 생성될 수 있다.
인공지능 모델(200a)은 Z축에서 연속적으로 측정된 융합 영상들로 구성된 학습 데이터를 이용하여 학습되고, Z축 단위의 융합 영상을 입력받고, 입력 영상에 대한 조직 구성 성분을 출력한다. 이를 위해 CNN 모델(210)은 학습 데이터에서, 광간섭단층영상을 입력받고, 입력 영상에 포함된 형태학적 특징을 추출하는 학습을 한다. 이때, CNN 모델(210)은 입력 영상에서 각 축방향 프로파일을 대표하는 합성곱 특징값을 뽑아낼 수 있도록 구성될 수 있다. CNN 모델(210)은 출력과 레이블의 손실(loss)을 최소화하는 지도학습을 할 수 있다.
CNN 모델(210)은 최종단에 완전연결레이어(Fully Connected layer, FC)가 추가된 상태에서 입력 영상에서 형태학적 특징을 추출하는 학습을 한 후, 인공지능 모델(200a)의 특징값 추출기로 사용될 수 있다. 이때, 완전연결레이어는 입력 영상에서 추출할 특징값 개수만큼의 노드들을 갖는데, 이는 인공지능 모델(200a)이 입력 영상에 대해 분류하는 조직 구성 성분의 개수와 동일할 수 있다. 한편, 조직 구성 성분은 인접한 구성 성분의 영향을 받을 수 있으므로, CNN 모델(210)은 광간섭단층영상을 방사축-각도 도메인(r, θ)으로 변환한 극좌표 영상을 입력받을 수 있다.
인공지능 모델(200a)의 랜덤 포레스트 분류기(230)는 입력 영상이 가지는 혈관의 형태학적 특징들, 그리고 혈관에서 획득된 채널별 형광수명(lifetime) 및 형광 세기(intensity)를 포함하는 형광수명영상 파라미터들을 입력받고, 입력 영상에 대해 조직 구성 성분을 분류하는 학습을 한다. 랜덤 포레스트 분류기(230)는 입력 영상의 데이터를 입력으로 사용하고, 특정 구성 성분에 대한 원-핫 벡터(one-hot vector)를 출력으로 하여, 랜덤 포레스트 분류 학습을 한다. 이때, 랜덤 포레스트 분류기(230)는 도 2에서 설명한 바와 같이, 입력 영상의 각도에 따른 구성 성분 확률을 제공할 수 있다. 랜덤 포레스트 분류기(230)에서 출력된 구성 성분의 분류 확률을 기초로, 각도에 대한 분류 결과를 시각적으로 표현된 영상이 생성될 수 있다.
이때, 랜덤 포레스트 분류기(230)는 학습된 CNN 모델(210)로부터 입력 영상이 가지는 형태학적 특징들을 입력받을 수 있다. 학습된 CNN 모델(210)은 입력 영상의 형태학적 특징들을 추출하는데, 학습과 동일하게, 융합 영상에 포함된 반지름-각도 도메인(r, θ)으로 변환한 극좌표 영상을 입력받을 수 있다.
랜덤 포레스트 분류기(230)는 입력 영상에 포함된 형광수명영상으로부터 추출된 채널별 형광수명 및 형광 세기를 입력받을 수 있다. 형광수명영상이 콜라겐(collagen) 정보를 대체로 포함하는 채널1 영상, 엘라스틴(elastin)과 대식세포(macrophage) 정보를 대체로 포함하는 채널2 영상, 지질(lipid) 정보를 대체로 포함하는 채널3 영상으로 구성되는 경우, 랜덤 포레스트 분류기(230)는 세 채널 각각에서 측정되는 형광수명 및 형광 세기(6개의 측정값)를 특징값으로 입력받을 수 있다.
이처럼 랜덤 포레스트 분류기(230)는 광간섭단층영상에서 추출된 형태학적 특징값들과 형광수명영상에서 획득된 6개의 측정값을 이용하여, 조직 구성 성분을 분류하는 학습을 한다. 따라서, 형태학적 정보와 생화학적 정보를 모두 이용한 덕분에, 노이즈가 두드러지는 의학 영상에서 좋은 분류 성능을 제공하게 된다.
학습된 인공지능 모델(200a)은 광간섭단층영상과 형광수명영상을 포함하는 융합 영상을 입력받고, 융합 영상이 촬영된 조직의 구성 성분을 출력할 수 있다. 촬영된 조직은 지질, 대식세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 정상 혈관벽 등으로 분류되고, 각 구성 성분의 정량적 비율이 계산될 수 있다.
도 4를 참고하면, 인공지능 모델(200)의 다른 실시예로서, 인공지능 모델(200b)은 혈관에서 획득된 다중모달 이미지들의 특징값들로부터 조직 구성 성분의 확률값을 출력할 수 있다.
인공지능 모델(200b)은 광간섭단층영상 및 형광수명영상을 결합(concatenate)한 다중모달 영상들(multimodal images)을 입력받을 수 있다. 인공지능 모델(200b)은 방사축-각도 도메인(r, θ)으로 변환한 다중모달 영상들을 입력받을 수 있다.
다중모달 영상들은 융합 영상(4)에 포함된 다양한 파라미터들을 나타낼 수 있고, 예를 들면, 광간섭단층영상(OCT image), 채널1의 형광수명 영상(lifetime image) 및 세기 영상(intensity image), 채널2의 형광수명 영상 및 세기 영상, 채널3의 형광수명영상 및 형광세기를 포함할 수 있다. 또는 다중모달 영상들은 세기 비율(intensity ratio) 영상을 더 포함할 수 있다.
인공지능 모델(200b)은 방사축-각도 도메인(r, θ)의 다중모달 영상들을 입력받고, 다중모달 영상들의 특징값을 추출한 후, 최종 소프트맥스 레이어에서 조직 구성 성분의 확률값을 출력할 수 있다. 이때, 방사축(r) 방향의 정보는 사라지고, 입력 영상의 각도에 따른 구성 성분 확률이 출력된 수 있다. 인공지능 모델(200b)은 확장된 CNN 기반으로 구현될 수 있고, 예를 들면, U-net 구조의 확장된 CNN으로 구현될 수 있다.
도 5는 한 실시예에 따른 동맥경화반 조직 분석 방법의 흐름도이다.
도 5를 참고하면, 적어도 하나의 프로세서에 의해 동작하는 분석 장치(100)는 광간섭단층영상 정보와 형광수명영상 정보를 포함하는 융합 영상을 입력받는다(S110). 융합 영상은 동일한 혈관 조직을 광간섭단층영상화 장치(20)를 통해 영상화한 정보, 그리고 형광수명영상화 장치(30)를 통해 영상화한 정보를 포함한다. 형광수명영상화 장치(30)는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상을 출력할 수 있다.
분석 장치(100)는 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하는 태스크를 학습한 인공지능 모델(200)을 이용하여, 융합 영상의 조직 구성 성분을 출력한다(S120). 인공지능 모델(20)은 융합 영상에 포함된 광간섭단층영상의 형태학적 특징 그리고 형광수명영상 정보(형광수명 및 형광 세기)를 이용하여 조직 구성 성분을 분류할 수 있다. 분석 장치(100)는 융합 영상에 포함된 광간섭단층영상 정보를 극좌표 영상으로 변환하고, 극좌표 영상을 인공지능 모델(200)로 입력할 수 있다. 또한 분석 장치(100)는 융합 영상에 포함된 형광수명영상 정보에서 채널별로 측정된 형광수명 및 형광 세기를 추출하고, 형광수명 및 형광수명을 인공지능 모델(200)로 입력할 수 있다. 이를 위한 인공지능 모델(200)은 도 3의 인공지능 모델(200a)과 같이, 융합 영상의 형태학적 특징과 형광수명 특징으로부터, 조직 구성 성분을 분류하는 랜덤 포레스트 분류기(230)로 구성될 수 있고, 융합 영상의 형태학적 특징은 광간섭단층영상에 CNN 모델(210)을 적용하여 추출하고, 형광수명 특징은 융합 영상 중 형광수명영상의 형광 수명과 형광 세기를 이용할 수 있다. 인공지능 모델(200)은 도 4의 인공지능 모델(200b)과 같이, 융합 영상에 포함된 다중모달 영상들로부터 조직 구성 성분의 확률값을 출력하는 CNN 기반의 모델일 수 있다.
분석 장치(100)는 융합 영상의 조직 구성 성분으로부터 동맥경화반을 검출하고, 파열 위험성을 예측한다(S130).
도 6은 한 실시예에 따른 동맥경화반 조직 분석 결과를 설명하는 도면이다.
도 6을 참고하면, 인공지능 모델(200)을 포함하는 분석 장치(100)는 광간섭단층영상 정보와 형광수명영상 정보를 포함하는 융합 영상(6, 7)을 입력받고, 입력 영상의 조직 구성 성분을 분석한 분석 결과(8, 9)를 출력할 수 있다.
예를 들어, 동맥경화반 혈관에서 획득된 융합 영상(6)이 입력되면, 분석 장치(100)는 동맥경화반 조직의 구성 성분으로 융합 영상을 분류하고, 각 조직 구성 성분의 정량적 비율을 포함하는 분석 결과(8)를 출력할 수 있다. 분석 결과(8)는 지질, 섬유반, 정상을 포함할 수 있다. 분석 장치(100)는 조직 구성 성분 중, 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 대식 세포를 포함하는 조직을 염증 조직, 또는 염증이 섞인 지질 조직으로 분류할 수 있다.
한편, 정상 혈관에서 획득된 융합 영상(7)이 입력되면, 분석 장치(100)는 정상 조직으로 분류된 분석 결과(9)를 출력할 수 있다.
도 7은 한 실시예에 따른 분석 장치의 하드웨어 구성도이다.
도 7을 참고하면, 분석 장치(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로 구현될 수 있다. 분석 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램을 로드하는 메모리(130), 컴퓨터 프로그램 및 각종 데이터를 저장하는 저장 장치(150), 통신 인터페이스(170), 그리고 이들을 연결하는 버스(190)를 포함할 수 있다. 이외에도, 분석 장치(100)는 다양한 구성 요소가 더 포함될 수 있다.
프로세서(110)는 분석 장치(100)의 동작을 제어하는 장치로서, 컴퓨터 프로그램에 포함된 명령어들을 처리하는 다양한 형태의 프로세서일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다.
메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(130)는 본 개시의 동작을 실행하도록 기술된 명령어들이 프로세서(110)에 의해 처리되도록 해당 컴퓨터 프로그램을 저장 장치(150)로부터 로드할 수 있다. 메모리(130)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다.
저장 장치(150)는 컴퓨터 프로그램, 각종 데이터를 비임시적으로 저장할 수 있다. 저장 장치(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신 인터페이스(170)는 유/무선 통신을 지원하는 유/무선 통신 모듈일 수 있다.
버스(190) 분석 장치(100)의 구성 요소 간 통신 기능을 제공한다.
컴퓨터 프로그램은, 프로세서(110)에 의해 실행되는 명령어들(instructions)을 포함하고, 비일시적-컴퓨터 판독가능 저장매체(non-transitory computer readable storage medium)에 저장되며, 명령어들은 프로세서(110)가 본 개시의 동작을 실행하도록 만든다. 컴퓨터 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다. 인공지능 모델(200)은 프로세서(110)에 의해 실행되는 컴퓨터 프로그램으로 구현될 수 있다.
이와 같이, 본 개시의 분석 장치는 동맥경화반 조직의 구성 성분에 대한 정량 분석을 통해 동맥경화반을 검출할 수 있고, 특히 염증 반응 분석을 통해 동맥경화반의 파열 가능성을 예측할 수 있다.
본 개시의 분석 장치는 융합 영상을 획득함과 동시에 동맥경화반 조직의 구성 성분인 지질, 대식 세포, 평활근 세포, 섬유반 등에 대한 정량적이고 포괄적인 정보를 제공할 수 있다.
본 개시의 분석 장치는 동맥경화반 검출 및 파열 가능성 예측을 통해 심혈관 질환 진단에 활용될 수 있고, 개인 맞춤형 치료에 기여할 수 있으며, 동맥경화반에 대한 병리생리학적 이해를 높이는 데 기여할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
Claims (15)
- 적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서,
융합 영상을 입력받는 단계, 그리고
인공지능 모델을 이용하여 상기 융합 영상의 조직 구성 성분을 분류하는 단계를 포함하고,
상기 융합 영상은 광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함하고,
상기 인공지능 모델은 입력 영상에 포함된 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하도록 학습된 모델인, 동작 방법. - 제1항에서,
상기 인공지능 모델은
상기 입력 영상에 포함된 광간섭단층영상을 입력받고, 상기 광간섭단층 영상의 형태학적 특징을 추출하도록 학습된 합성곱 신경망(Convolutional Neural Network, CNN) 모델, 그리고
상기 CNN 모델에서 출력된 형태학적 특징들 그리고 상기 입력 영상에 포함된 형광수명영상 정보를 입력받고, 상기 입력 영상에 대한 조직 구성 성분을 출력하도록 학습된 분류기를 포함하며,
상기 CNN 모델이 입력받는 상기 광간섭단층영상은
상기 융합 영상에 포함된 상기 제1 정보를 극좌표 도메인에서 표현한 영상인, 동작 방법. - 제1항에서,
상기 인공지능 모델은
상기 제1 정보 및 상기 제2 정보에 포함된 파라미터들을 나타내는 다중모달 영상들을 입력받고, 상기 다중모달 영상들의 특징값을 추출하는 확장된 CNN 모델로 구현되는, 동작 방법. - 제1항에서,
상기 제2 정보는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상들을 포함하고,
각 형광수명영상은 해당 채널에서 획득된 형광수명(lifetime) 및 형광 세기(intensity)를 포함하는, 동작 방법. - 제1항에서,
상기 조직 구성 성분은 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 그리고 정상 혈관벽 중 적어도 하나를 포함하는, 동작 방법. - 제1항에서,
상기 융합 영상의 조직 구성 성분 중 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 상기 대식 세포를 포함하는 조직을 염증 조직 또는 염증이 섞인 지질 조직으로 분류하는 단계를 더 포함하는, 동작 방법. - 제1항에서,
상기 융합 영상의 조직 구성 성분으로부터 동맥경화반을 검출하는 단계를 더 포함하는, 동작 방법. - 제7항에서,
상기 융합 영상의 조직 구성 성분을 기초로 상기 동맥경화반의 파열 가능성을 예측하는 단계를 더 포함하는 동작 방법. - 제8항에서,
상기 파열 가능성을 예측하는 단계는
상기 융합 영상의 조직 구성 성분 중, 파열 가능성을 높이는 조직 구성 성분과 안정화에 기여하는 조직 구성 성분의 비율을 기초로 상기 파열 가능성을 예측하는, 동작 방법. - 적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서,
광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함하는 융합 영상을 입력받는 단계,
상기 제1 정보로부터 상기 혈관 조직의 형태학적 특징들을 추출하는 단계,
상기 형태학적 특징들과 상기 제2 정보에 포함된 형광수명 정보를 이용하여 상기 혈관 조직의 조직 구성 성분을 분류하는 단계, 그리고
상기 혈관 조직의 구성 성분으로부터 동맥경화반을 검출하는 단계
를 포함하는 동작 방법. - 제10항에서,
상기 제2 정보는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상들을 포함하고,
각 형광수명영상은 해당 채널에서 획득된 형광수명(lifetime) 및 형광 세기(intensity)를 포함하는, 동작 방법. - 제10항에서,
상기 조직 구성 성분은 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 그리고 정상 혈관벽 중 적어도 하나를 포함하는, 동작 방법. - 제10항에서,
상기 혈관 조직의 조직 구성 성분 중 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 상기 대식 세포를 포함하는 조직을 염증 조직 또는 염증이 섞인 지질 조직으로 분류하는 단계를 더 포함하는, 동작 방법. - 제10항에서,
상기 혈관 조직의 조직 구성 성분을 기초로 상기 동맥경화반의 파열 가능성을 예측하는 단계를 더 포함하는 동작 방법. - 제14항에서,
상기 파열 가능성을 예측하는 단계는
상기 융합 영상의 조직 구성 성분 중, 파열 가능성을 높이는 조직 구성 성분과 안정화에 기여하는 조직 구성 성분의 비율을 기초로 상기 파열 가능성을 예측하는, 동작 방법.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210041152A KR102527241B1 (ko) | 2021-03-30 | 2021-03-30 | 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 |
| JP2023560591A JP2024515510A (ja) | 2021-03-30 | 2022-03-28 | マルチモーダル融合映像を利用した動脈硬化性プラーク組織分析方法および装置 |
| US18/553,290 US20240185627A1 (en) | 2021-03-30 | 2022-03-28 | Atherosclerotic plaque tissue analysis method and device using multi-modal fusion image |
| EP22781521.4A EP4316356A1 (en) | 2021-03-30 | 2022-03-28 | Atherosclerotic plaque tissue analysis method and device using multi-modal fusion image |
| PCT/KR2022/004298 WO2022211402A1 (ko) | 2021-03-30 | 2022-03-28 | 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210041152A KR102527241B1 (ko) | 2021-03-30 | 2021-03-30 | 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220135459A true KR20220135459A (ko) | 2022-10-07 |
| KR102527241B1 KR102527241B1 (ko) | 2023-04-28 |
Family
ID=83456497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210041152A KR102527241B1 (ko) | 2021-03-30 | 2021-03-30 | 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240185627A1 (ko) |
| EP (1) | EP4316356A1 (ko) |
| JP (1) | JP2024515510A (ko) |
| KR (1) | KR102527241B1 (ko) |
| WO (1) | WO2022211402A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116486403B (zh) * | 2023-06-20 | 2023-09-08 | 珠海横琴圣澳云智科技有限公司 | 细胞判别模型构建方法、装置、电子设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101906944B1 (ko) * | 2017-07-28 | 2018-10-11 | 계명대학교 산학협력단 | Ivoct 영상 기반 혈관 내강의 자동 분류 방법 및 시스템 |
| KR102242114B1 (ko) * | 2018-06-15 | 2021-04-20 | 계명대학교 산학협력단 | Oct 의료 영상 기반 인공지능 컴퓨터 보조 진단 시스템 및 그 방법 |
-
2021
- 2021-03-30 KR KR1020210041152A patent/KR102527241B1/ko active IP Right Grant
-
2022
- 2022-03-28 WO PCT/KR2022/004298 patent/WO2022211402A1/ko active Application Filing
- 2022-03-28 EP EP22781521.4A patent/EP4316356A1/en active Pending
- 2022-03-28 JP JP2023560591A patent/JP2024515510A/ja active Pending
- 2022-03-28 US US18/553,290 patent/US20240185627A1/en active Pending
Non-Patent Citations (3)
| Title |
|---|
| Giovanni Jacopo Ughi et al., "Automated tissue characterization of in vivo atherosclerotic plaques by intravascular optical coherence tomography images", Biomedical Optics Express (2013.06.04.) * |
| Hussain fatakdawala et al., Fluorescence Lifetime Imaging Combined with Conventional Intravascular Ultrasound for Enhanced Assessment of Atherosclerotic Plaques, J. of Cardiovasc.Trans.Res.(2015.5.1.) * |
| 남형수, "고위험 동맥경화반의 생체내 검출 및 평가를 위한 융합 형광수명영상-광간섭단층영상 개발", 박사학위 논문, 한양대학교 대학원(2019)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4316356A1 (en) | 2024-02-07 |
| KR102527241B1 (ko) | 2023-04-28 |
| JP2024515510A (ja) | 2024-04-10 |
| US20240185627A1 (en) | 2024-06-06 |
| WO2022211402A1 (ko) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11850089B2 (en) | Intravascular imaging and guide catheter detection methods and systems | |
| JP4570970B2 (ja) | 被検査者の皮膚検査方法および装置 | |
| US9351642B2 (en) | Non-contact optical system, computer-accessible medium and method for measurement at least one mechanical property of tissue using coherent speckle technique(s) | |
| US10371614B2 (en) | Diagnostic spectrally encoded endoscopy apparatuses and systems and methods for use with same | |
| CN114585297A (zh) | 包括机器学习并使用其结果的人工智能配准和标记检测 | |
| CN102056534A (zh) | 用于进行血管内结构分析以补偿化学分析模态的系统和方法 | |
| EP2870462A1 (en) | Methods related to real-time cancer diagnostics at endoscopy utilizing fiber-optic raman spectroscopy | |
| CN106974622B (zh) | 基于光学相干断层成像的斑块稳定性测量系统 | |
| US10453196B2 (en) | Detection of stent struts relative to side branches | |
| JP7135050B2 (ja) | 血管内画像処理のための血管内画像処理装置、方法及び非一時的記憶媒体 | |
| EP2836128A1 (en) | Atherosclerotic plaque detection | |
| CN108209955A (zh) | 斑块的表征 | |
| EP3949835A2 (en) | Auto-pullback triggering method for intracoronary imaging apparatuses or systems using blood clearing | |
| JP2022532857A (ja) | 冠動脈内画像を分析するための方法および装置 | |
| KR102527241B1 (ko) | 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 | |
| WO2018162690A1 (en) | Method for analyzing avascular regions in optical coherence tomography angiography images | |
| US20230005139A1 (en) | Fibrotic Cap Detection In Medical Images | |
| JP7497390B2 (ja) | 血管内機器の検出及び圧着測定のためのシステム及び方法 | |
| JP7470761B2 (ja) | 手動管腔検出に基づく蛍光較正 | |
| WO2023220150A1 (en) | Artificial intelligence catheter optical connection or disconnection evaluation, including deep machine learning and using results thereof | |
| JP2023537483A (ja) | カテーテルベースのマルチモーダル画像における潜在的な偽陽性及び盲点の位置を特定するためのシステム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |