KR20220135459A - 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 - Google Patents

다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 Download PDF

Info

Publication number
KR20220135459A
KR20220135459A KR1020210041152A KR20210041152A KR20220135459A KR 20220135459 A KR20220135459 A KR 20220135459A KR 1020210041152 A KR1020210041152 A KR 1020210041152A KR 20210041152 A KR20210041152 A KR 20210041152A KR 20220135459 A KR20220135459 A KR 20220135459A
Authority
KR
South Korea
Prior art keywords
tissue
image
information
fluorescence lifetime
components
Prior art date
Application number
KR1020210041152A
Other languages
English (en)
Other versions
KR102527241B1 (ko
Inventor
유홍기
남형수
김진원
김선원
Original Assignee
한국과학기술원
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 고려대학교 산학협력단 filed Critical 한국과학기술원
Priority to KR1020210041152A priority Critical patent/KR102527241B1/ko
Priority to JP2023560591A priority patent/JP2024515510A/ja
Priority to US18/553,290 priority patent/US20240185627A1/en
Priority to EP22781521.4A priority patent/EP4316356A1/en
Priority to PCT/KR2022/004298 priority patent/WO2022211402A1/ko
Publication of KR20220135459A publication Critical patent/KR20220135459A/ko
Application granted granted Critical
Publication of KR102527241B1 publication Critical patent/KR102527241B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Cardiology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서, 융합 영상을 입력받는 단계, 그리고 인공지능 모델을 이용하여 상기 융합 영상의 조직 구성 성분을 분류하는 단계를 포함한다. 상기 융합 영상은 광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함한다. 상기 인공지능 모델은 입력 영상에 포함된 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하도록 학습된 모델이다.

Description

다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치{METHOD AND APPARATUS FOR ANALYSING ATHEROSCLEROTIC PLAQUE TISSUE USING MULTI-MODAL COMBINED IMAGE}
본 발명은 인공지능 영상 분석에 관한 것이다.
광간섭단층영상화기술(Optical coherence tomography, OCT)은 기준단(reference arm)의 거울에서 반사되어 돌아온 빛과 샘플단(sample arm)의 조직에서 산란되어 돌아온 빛을 간섭시켜 조직을 영상화하는 기술이다. 광간섭단층영상(OCT image)은 심혈관 내 관상동맥의 고해상도 형태학적 정보를 포함하므로, 혈관 미세 구조 분석이나 스텐트 시술 후 평가를 위해 임상에서 널리 사용되고 있다. 하지만 광간섭단층영상을 통해, 생화학적으로 복합적이며 다양하게 발발하는 동맥경화반의 생화학적 정보, 그리고 동맥경화반의 파열 위험성 평가를 위한 염증 반응 등의 정보를 얻는 데 한계가 있다.
이를 보완하기 위해, 광간섭단층영상화기술에 근적외선형광영상화기술(near-infrared fluorescence imaging, NIRF)을 융합한 융합영상기법이 제시되었으나, 동맥경화반에 대한 정보를 얻기 위해 조영제를 사용해야 하므로, 임상 및 시험에 한계가 있다.
한편, 자외선 기반의 형광수명영상화기술(Fluorescence lifetime imaging, FLIm)은 조직 자체에서 발생하는 자가형광의 감쇠율을 측정하는 기술로서, 조영제 없이도 조직의 생화학적 정보를 획득할 수 있는 장점이 있다. 다만, 광간섭단층영상화기술과 형광수명영상화기술을 융합하는 경우, 특정 성분의 신호를 검출하는 것이 아니라 조직의 자가형광을 이용해야 하고, 다채널 영상에 포함된 다량의 정보로 인해 직관적인 영상 분석이 쉽지 않은 문제를 해결해야 한다.
(특허문헌 1) KR10-2020-0118528 A 다중 진단 및 치료 카테터와 이를 포함하는 카테터 시스템
(특허문헌 2) KR10-1971764 B 혈관 촬영 영상을 이용한 혈관 분석 방법 및 장치
본 개시는, 다중 모달 기술이 융합된 이미징 시스템을 통해 혈관의 융합 영상을 획득하고, 인공지능 모델을 이용하여 융합 영상으로부터 동맥경화반 조직의 구성 성분을 정량 분석하는 방법 및 장치를 제공하는 것이다.
구체적으로 본 개시는, 광간섭단층영상에 포함된 동맥경화반의 광학적 산란 및 흡수 특성을 반영한 형태학적 정보와 형광수명영상에 포함된 조직 구성 성분의 생화학적 정보를 통합적으로 분석하는 인공지능 모델을 학습시키고, 학습된 인공지능 모델을 이용하여 동맥경화반 조직의 구성 성분을 분석하며, 혈관 내 염증 반응 정보를 포함하는 분석 결과를 기초로 동맥경화반을 검출하고, 파열 위험성을 예측하는 방법 및 장치를 제공하는 것이다.
한 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서, 융합 영상을 입력받는 단계, 그리고 인공지능 모델을 이용하여 상기 융합 영상의 조직 구성 성분을 분류하는 단계를 포함한다. 상기 융합 영상은 광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함한다. 상기 인공지능 모델은 입력 영상에 포함된 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하도록 학습된 모델이다.
상기 인공지능 모델은 상기 입력 영상에 포함된 광간섭단층영상을 입력받고, 상기 광간섭단층 영상의 형태학적 특징을 추출하도록 학습된 합성곱 신경망(Convolutional Neural Network, CNN) 모델, 그리고 상기 CNN 모델에서 출력된 형태학적 특징들 그리고 상기 입력 영상에 포함된 형광수명영상 정보를 입력받고, 상기 입력 영상에 대한 조직 구성 성분을 출력하도록 학습된 분류기를 포함할 수 있다. 상기 CNN 모델이 입력받는 상기 광간섭단층영상은 상기 융합 영상에 포함된 상기 제1 정보를 극좌표 도메인에서 표현한 영상일 수 있다.
상기 인공지능 모델은 상기 제1 정보 및 상기 제2 정보에 포함된 파라미터들을 나타내는 다중모달 영상들을 입력받고, 상기 다중모달 영상들의 특징값을 추출하는 확장된 CNN 모델로 구현될 수 있다.
상기 제2 정보는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상들을 포함하고, 각 형광수명영상은 해당 채널에서 획득된 형광수명(lifetime) 및 형광 세기(intensity)를 포함할 수 있다.
상기 조직 구성 성분은 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 그리고 정상 혈관벽 중 적어도 하나를 포함할 수 있다.
상기 동작 방법은 상기 융합 영상의 조직 구성 성분 중 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 상기 대식 세포를 포함하는 조직을 염증 조직 또는 염증이 섞인 지질 조직으로 분류하는 단계를 더 포함할 수 있다.
상기 동작 방법은 상기 융합 영상의 조직 구성 성분으로부터 동맥경화반을 검출하는 단계를 더 포함할 수 있다.
상기 동작 방법은 상기 융합 영상의 조직 구성 성분을 기초로 상기 동맥경화반의 파열 가능성을 예측하는 단계를 더 포함할 수 있다.
상기 파열 가능성을 예측하는 단계는 상기 융합 영상의 조직 구성 성분 중, 파열 가능성을 높이는 조직 구성 성분과 안정화에 기여하는 조직 구성 성분의 비율을 기초로 상기 파열 가능성을 예측할 수 있다.
다른 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서, 광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함하는 융합 영상을 입력받는 단계, 상기 제1 정보로부터 상기 혈관 조직의 형태학적 특징들을 추출하는 단계, 상기 형태학적 특징들과 상기 제2 정보에 포함된 형광수명 정보를 이용하여 상기 혈관 조직의 조직 구성 성분을 분류하는 단계, 그리고 상기 혈관 조직의 구성 성분으로부터 동맥경화반을 검출하는 단계를 포함한다.
상기 제2 정보는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상들을 포함하고, 각 형광수명영상은 해당 채널에서 획득된 형광수(lifetime) 및 형광 세기(intensity)를 포함할 수 있다.
상기 조직 구성 성분은 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 그리고 정상 혈관벽 중 적어도 하나를 포함할 수 있다.
상기 동작 방법은 상기 혈관 조직의 조직 구성 성분 중 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 상기 대식 세포를 포함하는 조직을 염증 조직 또는 염증이 섞인 지질 조직으로 분류하는 단계를 더 포함할 수 있다.
상기 동작 방법은 상기 혈관 조직의 조직 구성 성분을 기초로 상기 동맥경화반의 파열 가능성을 예측하는 단계를 더 포함할 수 있다.
상기 파열 가능성을 예측하는 단계는 상기 융합 영상의 조직 구성 성분 중, 파열 가능성을 높이는 조직 구성 성분과 안정화에 기여하는 조직 구성 성분의 비율을 기초로 상기 파열 가능성을 예측할 수 있다.
본 개시의 분석 장치는 형광수명영상을 이용하여 혈관 및 동맥경화반 조직의 구성 성분에 대한 정량 분석을 통해 동맥경화반을 검출할 수 있고, 특히 염증 반응 분석을 통해 동맥경화반의 파열 가능성을 예측할 수 있다.
본 개시의 분석 장치는 광간섭단층영상화기술(OCT)이나 혈관내초음파영상화기술(IVUS)과 달리, 융합 영상을 획득함과 동시에 동맥경화반 조직의 구성 성분인 지질, 대식 세포, 평활근 세포, 섬유반 등에 대한 정량적이고 포괄적인 정보를 제공할 수 있다.
본 개시의 분석 장치는, 동맥경화반 검출 및 파열 가능성 예측을 통해 심혈관 질환 진단에 활용될 수 있고, 개인 맞춤형 치료에 기여할 수 있으며, 동맥경화반에 대한 병리생리학적 이해를 높이는 데 기여할 수 있다.
본 개시의 분석 장치는 형광수명영상과 광간섭단층영상을 이용하므로, 혈관내초음파영상화기술(IVUS)에 비해 해상도와 처리 속도를 개선할 수 있다.
본 개시의 분석 장치는 형광수명영상을 이용하므로, 다른 모달리티와 달리 환자에게 조영제를 투여할 필요가 없다.
도 1은 한 실시예에 따른 다중 모달 이미징 시스템의 개념도이다.
도 2는 한 실시예에 따른 인공지능 모델을 이용한 분석을 설명하는 개념도이다.
도 3과 도 4 각각은 한 실시예에 따른 인공지능 모델 및 이의 학습 방법을 예시적으로 설명하는 도면이다.
도 5는 한 실시예에 따른 동맥경화반 조직 분석 방법의 흐름도이다.
도 6은 한 실시예에 따른 동맥경화반 조직 분석 결과를 설명하는 도면이다.
도 7은 한 실시예에 따른 분석 장치의 하드웨어 구성도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
다중 모달은 다양한 심혈관 영상화기술 중에서 선택될 수 있고, 설명에서는, 형광수명영상화기술(Fluorescence lifetime imaging, FLIm)과 광간섭단층영상화기술(Optical coherence tomography, OCT)을 예로 들어 설명한다. 이외에도, 형광수명영상화기술과 혈관내초음파영상화기술(IntraVascular UltraSonography, IVUS)이 융합되거나, 형광수명영상화기술, 광간섭단층영상화기술 그리고 혈관내초음파영상화기술이 융합될 수 있다.
도 1은 한 실시예에 따른 다중 모달 이미징 시스템의 개념도이고, 도 2는 한 실시예에 따른 인공지능 모델을 이용한 분석을 설명하는 개념도이다.
도 1을 참고하면, 다중 모달 이미징 시스템(10)은 광간섭단층영상화(Optical coherence tomography, OCT) 장치(20)와 형광수명영상화(Fluorescence lifetime imaging, FLIm) 장치(30)를 포함하고, 조직에 빛을 조사하고 반사된 빛을 획득하는 측정 장치(40), 그리고 광간섭단층영상화 장치(20)와 형광수명영상화 장치(30)를 측정 장치(40)에 결합시키는 로터리 조인트 장치(50)를 포함할 수 있다. 측정 장치(40)는 혈관에 삽입될 수 있는 프로브 또는 카테터일 수 있고, 로터리 조인트 장치(50)로부터 들어온 빛을 조직에 조사하고, 조직에서 수득된 빛을 지정된 경로를 통해 전달한다.
다중 모달 이미징 시스템(10)은 적어도 하나의 프로세서에 의해 동작하는 분석 장치(100)를 포함할 수 있다. 또는, 분석 장치(100)가 다중 모달 이미징 시스템(10)과 분리되어 구현될 수 있고, 다중 모달 이미징 시스템(10)은 분석 장치(100)로 광간섭단층영상화 장치(20)와 형광수명영상화 장치(30)의 측정 결과를 전달할 수 있고, 이를 수행하는 컴퓨팅 장치를 포함할 수 있다.
광간섭단층영상화 장치(20)는 광원의 빛을 측정 장치(40)로 출력하고, 측정 장치(40)에서 되돌아온 빛을 이용하여 조직을 영상화하는데, 기준단(reference arm)의 거울에서 반사되어 돌아온 빛과 조직에서 산란되어 돌아온 빛을 간섭시키고, 간섭 신호를 이용하여 조직을 영상화할 수 있다. 따라서, 광간섭단층영상화 장치(20)를 통해 영상화된 정보는 혈관 조직의 형태학적 정보를 포함할 수 있다. 참고로, 측정 장치(40)를 통해 획득된 원본 광간섭단층영상은 Z축(측정 장치의 이동 방향), 각도축(θ, 측정 장치의 회전 방향), 그리고 방사축(r, 깊이 방향)의 3차원 영상이고, 원본 3차원 영상에서 θ별로 최대 밝기 값만을 추출하여 2D 최대 투사 매핑(maximum projection mapping) 영상(1a)을 만들거나, OCT 극좌표 영상(1b)을 만들 수 있다. 2D 최대 투사 매핑 영상(1a)은 가로가 Z축이고 세로가 각도축인 영상이고, OCT 극좌표 영상(1b)은 가로가 각도축이고 세로가 방사축인 극좌표 도메인의 영상일 수 있다. 설명에서는 영상 좌표계를 구분하지 않고, 간단히 광간섭단층영상이라고 부를 수 있다.
형광수명영상화 장치(30)는 광원의 빛을 측정 장치(40)로 출력하고, 측정 장치(40)에서 되돌아온 빛을 이용하여 조직을 영상화하는데, 형광수명 및 형광 세기를 이용하여 조직을 영상화할 수 있다. 이렇게, 형광수명영상화 장치(30)는 분자 또는 물질마다 여기광에 대해 발광하는 시간(형광수명)이 고유한 점을 이용하기 때문에, 형광수명영상으로부터 조직 구성 성분의 생화학적 정보를 알아낼 수 있다.
형광수명영상화 장치(30)는 다채널 파장 분광 모듈을 포함할 수 있고, 이를 통해, 서로 다른 파장을 가진 여기광들에 매핑된 다채널(예를 들면, 채널1, 채널2, 채널3)의 형광수명영상(2)을 생성할 수 있다. 예를 들면, 형광수명영상(2)은 콜라겐(collagen) 정보를 대체로 포함하는 채널1 영상, 엘라스틴(elastin)과 대식세포(macrophage) 정보를 대체로 포함하는 채널2 영상, 지질(lipid) 정보를 대체로 포함하는 채널3 영상으로 구성될 수 있다. 참고로, 형광수명영상(2)은 가로가 Z축(측정 장치의 이동 방향)이고, 세로가 각도축(θ, 측정 장치의 회전 방향)을 나타내며, 실제 획득된 원본 영상이다.
분석 장치(100)는 융합 영상을 입력받고, 인공지능 모델(200)을 이용하여 융합 영상의 조직 구성 성분을 분류한다. 인공지능 모델(200)은 입력 영상에 포함된 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하도록 학습된 모델이다. 융합 영상은 광간섭단층영상화 장치(20)를 통해 혈관 조직을 영상화한 정보, 그리고 형광수명영상화 장치(30)를 통해 혈관 조직을 영상화한 정보를 포함할 수 있다. 여기서, 광간섭단층영상화 장치(20)를 통해 영상화한 정보는 광간섭단층영상으로 표현될 수 있다. 형광수명영상화 장치(30)를 통해 영상화한 정보는 형광수명 및 형광 세기이거나, 형광수명 및 형광 세기를 포함하는 형광수명영상으로 표현될 수 있다.
구체적으로, 분석 장치(100)는 광간섭단층영상화 장치(20)에서 획득한 광간섭단층영상, 그리고 형광수명영상화 장치(30)에서 획득한 형광수명영상을 입력받고, 광간섭단층영상과 형광수명영상이 동일 위치(동일 Z값)로 매핑된 융합 영상을 생성할 수 있다. 분석 장치(100)는 광간섭단층영상화 장치(20)에서 측정한 간섭 신호, 그리고 형광수명영상화 장치(30)에서 측정한 형광수명 및 형광세기를 입력받고, 이들의 정보가 결합된 융합 영상을 생성할 수 있다. 또는 분석 장치(100)는 광간섭단층영상과 형광수명영상이 매핑된 융합 영상을 입력받을 수 있다.
분석 장치(100)는 융합 영상으로부터 조직의 구성 성분 및 이의 정량 정보를 포함하는 분석 결과(3)를 생성한다. 이를 위해 분석 장치(100)는 광간섭단층영상과 형광수명영상이 매핑된 융합 영상에서, 조직 구성 성분에 관계된 특징들을 추출하고, 특징들로부터 구성 성분을 분류하도록 학습된 인공지능 모델(200)을 사용한다. 이때, 인공지능 모델(200)은 Z값마다의 입력 영상으로부터 조직 구성 성분을 추출할 수 있는 다양한 형태로 구현될 수 있고, Z값마다 각도에 따른 조직 구성 성분을 예측할 수 있다. 각도에 따른 조직 구성 성분을 전체 Z축으로 누적하면, 측정 방향 전체에 대한 분석 결과(3)가 생성될 수 있다.
분석 장치(100)는 학습된 인공지능 모델(200)을 탑재하되, 직접 인공지능 모델(200)을 학습시키지 않을 수 있으나, 설명의 편의를 위해, 분석 장치(100)가 인공지능 모델(200)을 학습시킨다고 설명할 수 있다.
분석 장치(100)는 적어도 하나의 프로세서를 포함하고, 프로세서가 명령어들(instructions)을 실행함으로써, 본 개시의 동작을 수행할 수 있는 하드웨어 및 소프트웨어를 포함한다. 컴퓨터 프로그램은 프로세서가 본 개시의 동작을 실행하도록 기술된 명령어들(instructions)을 포함하고, 비일시적-컴퓨터 판독가능 저장매체(non-transitory computer readable storage medium)에 저장될 수 있다. 컴퓨터 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.
도 2를 참고하면, 인공지능 모델(200)은 입력에 대한 특징 추출 태스크(task) 및 조직 구성 성분으로의 분류 태스크를 학습한 모델일 수 있다. 인공지능 모델(200)의 입력은 광간섭단층영상(OCT image)과 형광수명영상이 융합된 융합 영상(4)이고, 출력은 분류된 조직 구성 성분 및 이의 정량 정보를 포함할 수 있다. 여기서, 인공지능 모델(200)은 특정 Z값(Z=k)에서의 융합 영상(4)으로부터 특정 Z값(Z=k)의 각도 방향의 조직 구성 성분을 추출할 수 있다. 조직 구성 성분은 예를 들면, 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 정상 혈관벽 등을 포함할 수 있다. 정량 정보는 각 조직 구성 성분의 확률값을 포함할 수 있다.
특정 Z값(Z=k)에서의 융합 영상(4)은 포함된 정보를 이용하여 다중모달 영상들로 변환될 수 있다. 다중모달 영상들은 광간섭단층영상(OCT image), 채널1의 형광수명 영상(lifetime image) 및 세기 영상(intensity image), 채널2의 형광수명 영상 및 세기 영상, 채널3의 형광수명영상 및 형광세기를 포함할 수 있다. 또는 다중모달 영상들은 세기 비율(intensity ratio) 영상을 더 포함할 수 있다.
참고로, 카테터 스캔 방식이 고속회전하며 뒤에서 당겨지는 나선형 방식 스캔이기 때문에, 융합 영상(4)은 스캔 방식을 반영한 영상화를 위해서 XY 직교 좌표계의 광간섭단층영상에 형광수명영상의 정보를 바깥쪽 링으로 표시할 수 있다. 분석 장치(100)는 인공지능 모델(200)에서 출력한 조직 구성 성분을, XY 직교 좌표계의 광간섭단층영상의 바깥쪽 링으로 표시한 출력 시각화 영상(5)을 제공할 수 있다.
분석 장치(100)는 인공지능 모델(200)의 출력 정보를 가공하여 분석 결과(3)를 제공할 수 있다. 분석 결과(3)는 융합 영상에 대해 분류된 조직 구성 성분, 그리고 각 구성 성분의 정량 정보(확률값)를 포함할 수 있다. 추가적으로, 분석 결과(3)는 대식 세포 분포량을 통해 추정된 염증 반응을 포함할 수 있다.
분석 결과(3)는 가로가 Z축이고, 세로가 각도축인 좌표계에서, 조직 구성 성분을 시각적으로 표시할 수 있다. 그리고, 분석 결과(3)는 조직 구성 성분의 비율을 표시할 수 있다. 분석 결과(3)는 출력 시각화 영상(5)으로 변환될 수 있다.
인공지능 모델(200)은 광간섭단층영상에 포함된 동맥경화반의 광학적 산란 및 흡수 특성을 반영한 형태학적 정보, 그리고 형광수명영상에 포함된 조직 구성 성분의 생화학적 정보를 통합적으로 분석할 수 있다. 실제로, 지질만 분포된 조직, 염증에 관련된 대식 세포만 분포된 조직, 그리고 지질과 대식 세포가 함께 분포된 조직 각각은 형광 신호가 달라서, 형광 수명 및 형광 세기를 기초로 조직의 구성 성분 분류가 가능하다.
인공지능 모델(200)을 이용한 분석 결과(3)를 통해, 분석 장치(100)는 동맥경화반을 검출할 수 있다. 또한 분석 장치(100)는 분석 결과(3)를 통해, 동맥경화반의 파열 가능성을 예측하고, 고위험 동맥경화반으로 진단할 수 있다. 동맥경화반의 파열 가능성은 병변의 고위험도로 계산될 수 있다. 병변의 고위험도는 병변이 가지는 고위험 구성 성분의 상대적 비율로 판단될 수 있다. 즉, 동맥경화반의 파열 가능성은, 분석 결과(3)에 포함된 조직 구성 성분 중에서, 파열 가능성을 높이는 지질, 대식 세포, 칼슘, 그리고 콜레스테롤 결정 등의 비율, 그리고 안정화에 기여하는 섬유반 등의 비율을 기초로 계산될 수 있다.
인공지능 모델(200)은 적어도 하나의 태스크(task)를 학습하는 기계학습모델(machine learning model)로서, 프로세서에 의해 실행되는 컴퓨터 프로그램으로 구현될 수 있다. 인공지능 모델(200)은 입력 데이터, 태스크(task) 종류, 학습 방법에 맞게, 다양한 모델을 이용하여 구성될 수 있다.
인공지능 모델(200)은 광간섭단층영상에 포함된 동맥경화반의 광학적 산란 및 흡수 특성을 반영한 형태학적 특징을 추출하는 태스크, 그리고, 광간섭단층영상의 형태학적 특징과 형광수명영상의 생화학적 특징을 기초로 조직 구성 성분을 분류하는 태스크를 학습할 수 있다. 인공지능 모델(200)은 다중 모달 융합 영상을 입력받는데, 광간섭단층영상과 형광수명영상을 포함하는 융합 영상을 입력받을 수 있다.
인공지능 모델(200)의 학습 데이터는 레이블(label)을 가진 융합 영상들을 포함할 수 있다. 각 융합영상은 동맥경화반 조직의 구성 성분인 지질, 대식세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 정상 혈관벽 등으로 구분되고, 조직 구성 성분이 영상에 어노테이션되어 있다. 여기서, 융합영상에 조직 구성 성분을 어노테이션하는 것이 쉽지 않은데, 광간섭단층영상과 형광수명영상뿐만 아니라 실제 조직 염색 영상을 획득하고, 실제 조직 염색 영상에 포함된 형태, 지질 강조, 대식세포 면역 등을 융합 영상에 매칭하는 방식으로 조직 구성 성분을 어노테이션할 수 있다.
도 3과 도 4 각각은 한 실시예에 따른 인공지능 모델 및 이의 학습 방법을 예시적으로 설명하는 도면이다.
도 3을 참고하면, 인공지능 모델(200)의 한 실시예로서, 인공지능 모델(200a)은 입력 영상의 형태학적 특징을 추출하는 합성곱 신경망(Convolutional Neural Network, CNN) 모델(210), 그리고 입력된 특징값들을 조직 구성 성분으로 랜덤 포레스트 분류기(Random forest classifier)(230)로 구성될 수 있다. CNN 모델(210)은 잔차블록(residual block)을 이용하는 ResNet으로 구현될 수 있으나, 다른 종류의 CNN 모델로 구현될 수 있다. 입력 영상은 Z값마다 측정된 융합 영상이고, 입력 영상에 대한 출력은 Z값에서 각도마다의 조직 구성 성분이며, 출력을 Z값에 따라 누적하여 전체 입력 영상들에 대한 분석 결과가 생성될 수 있다.
인공지능 모델(200a)은 Z축에서 연속적으로 측정된 융합 영상들로 구성된 학습 데이터를 이용하여 학습되고, Z축 단위의 융합 영상을 입력받고, 입력 영상에 대한 조직 구성 성분을 출력한다. 이를 위해 CNN 모델(210)은 학습 데이터에서, 광간섭단층영상을 입력받고, 입력 영상에 포함된 형태학적 특징을 추출하는 학습을 한다. 이때, CNN 모델(210)은 입력 영상에서 각 축방향 프로파일을 대표하는 합성곱 특징값을 뽑아낼 수 있도록 구성될 수 있다. CNN 모델(210)은 출력과 레이블의 손실(loss)을 최소화하는 지도학습을 할 수 있다.
CNN 모델(210)은 최종단에 완전연결레이어(Fully Connected layer, FC)가 추가된 상태에서 입력 영상에서 형태학적 특징을 추출하는 학습을 한 후, 인공지능 모델(200a)의 특징값 추출기로 사용될 수 있다. 이때, 완전연결레이어는 입력 영상에서 추출할 특징값 개수만큼의 노드들을 갖는데, 이는 인공지능 모델(200a)이 입력 영상에 대해 분류하는 조직 구성 성분의 개수와 동일할 수 있다. 한편, 조직 구성 성분은 인접한 구성 성분의 영향을 받을 수 있으므로, CNN 모델(210)은 광간섭단층영상을 방사축-각도 도메인(r, θ)으로 변환한 극좌표 영상을 입력받을 수 있다.
인공지능 모델(200a)의 랜덤 포레스트 분류기(230)는 입력 영상이 가지는 혈관의 형태학적 특징들, 그리고 혈관에서 획득된 채널별 형광수명(lifetime) 및 형광 세기(intensity)를 포함하는 형광수명영상 파라미터들을 입력받고, 입력 영상에 대해 조직 구성 성분을 분류하는 학습을 한다. 랜덤 포레스트 분류기(230)는 입력 영상의 데이터를 입력으로 사용하고, 특정 구성 성분에 대한 원-핫 벡터(one-hot vector)를 출력으로 하여, 랜덤 포레스트 분류 학습을 한다. 이때, 랜덤 포레스트 분류기(230)는 도 2에서 설명한 바와 같이, 입력 영상의 각도에 따른 구성 성분 확률을 제공할 수 있다. 랜덤 포레스트 분류기(230)에서 출력된 구성 성분의 분류 확률을 기초로, 각도에 대한 분류 결과를 시각적으로 표현된 영상이 생성될 수 있다.
이때, 랜덤 포레스트 분류기(230)는 학습된 CNN 모델(210)로부터 입력 영상이 가지는 형태학적 특징들을 입력받을 수 있다. 학습된 CNN 모델(210)은 입력 영상의 형태학적 특징들을 추출하는데, 학습과 동일하게, 융합 영상에 포함된 반지름-각도 도메인(r, θ)으로 변환한 극좌표 영상을 입력받을 수 있다.
랜덤 포레스트 분류기(230)는 입력 영상에 포함된 형광수명영상으로부터 추출된 채널별 형광수명 및 형광 세기를 입력받을 수 있다. 형광수명영상이 콜라겐(collagen) 정보를 대체로 포함하는 채널1 영상, 엘라스틴(elastin)과 대식세포(macrophage) 정보를 대체로 포함하는 채널2 영상, 지질(lipid) 정보를 대체로 포함하는 채널3 영상으로 구성되는 경우, 랜덤 포레스트 분류기(230)는 세 채널 각각에서 측정되는 형광수명 및 형광 세기(6개의 측정값)를 특징값으로 입력받을 수 있다.
이처럼 랜덤 포레스트 분류기(230)는 광간섭단층영상에서 추출된 형태학적 특징값들과 형광수명영상에서 획득된 6개의 측정값을 이용하여, 조직 구성 성분을 분류하는 학습을 한다. 따라서, 형태학적 정보와 생화학적 정보를 모두 이용한 덕분에, 노이즈가 두드러지는 의학 영상에서 좋은 분류 성능을 제공하게 된다.
학습된 인공지능 모델(200a)은 광간섭단층영상과 형광수명영상을 포함하는 융합 영상을 입력받고, 융합 영상이 촬영된 조직의 구성 성분을 출력할 수 있다. 촬영된 조직은 지질, 대식세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 정상 혈관벽 등으로 분류되고, 각 구성 성분의 정량적 비율이 계산될 수 있다.
도 4를 참고하면, 인공지능 모델(200)의 다른 실시예로서, 인공지능 모델(200b)은 혈관에서 획득된 다중모달 이미지들의 특징값들로부터 조직 구성 성분의 확률값을 출력할 수 있다.
인공지능 모델(200b)은 광간섭단층영상 및 형광수명영상을 결합(concatenate)한 다중모달 영상들(multimodal images)을 입력받을 수 있다. 인공지능 모델(200b)은 방사축-각도 도메인(r, θ)으로 변환한 다중모달 영상들을 입력받을 수 있다.
다중모달 영상들은 융합 영상(4)에 포함된 다양한 파라미터들을 나타낼 수 있고, 예를 들면, 광간섭단층영상(OCT image), 채널1의 형광수명 영상(lifetime image) 및 세기 영상(intensity image), 채널2의 형광수명 영상 및 세기 영상, 채널3의 형광수명영상 및 형광세기를 포함할 수 있다. 또는 다중모달 영상들은 세기 비율(intensity ratio) 영상을 더 포함할 수 있다.
인공지능 모델(200b)은 방사축-각도 도메인(r, θ)의 다중모달 영상들을 입력받고, 다중모달 영상들의 특징값을 추출한 후, 최종 소프트맥스 레이어에서 조직 구성 성분의 확률값을 출력할 수 있다. 이때, 방사축(r) 방향의 정보는 사라지고, 입력 영상의 각도에 따른 구성 성분 확률이 출력된 수 있다. 인공지능 모델(200b)은 확장된 CNN 기반으로 구현될 수 있고, 예를 들면, U-net 구조의 확장된 CNN으로 구현될 수 있다.
도 5는 한 실시예에 따른 동맥경화반 조직 분석 방법의 흐름도이다.
도 5를 참고하면, 적어도 하나의 프로세서에 의해 동작하는 분석 장치(100)는 광간섭단층영상 정보와 형광수명영상 정보를 포함하는 융합 영상을 입력받는다(S110). 융합 영상은 동일한 혈관 조직을 광간섭단층영상화 장치(20)를 통해 영상화한 정보, 그리고 형광수명영상화 장치(30)를 통해 영상화한 정보를 포함한다. 형광수명영상화 장치(30)는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상을 출력할 수 있다.
분석 장치(100)는 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하는 태스크를 학습한 인공지능 모델(200)을 이용하여, 융합 영상의 조직 구성 성분을 출력한다(S120). 인공지능 모델(20)은 융합 영상에 포함된 광간섭단층영상의 형태학적 특징 그리고 형광수명영상 정보(형광수명 및 형광 세기)를 이용하여 조직 구성 성분을 분류할 수 있다. 분석 장치(100)는 융합 영상에 포함된 광간섭단층영상 정보를 극좌표 영상으로 변환하고, 극좌표 영상을 인공지능 모델(200)로 입력할 수 있다. 또한 분석 장치(100)는 융합 영상에 포함된 형광수명영상 정보에서 채널별로 측정된 형광수명 및 형광 세기를 추출하고, 형광수명 및 형광수명을 인공지능 모델(200)로 입력할 수 있다. 이를 위한 인공지능 모델(200)은 도 3의 인공지능 모델(200a)과 같이, 융합 영상의 형태학적 특징과 형광수명 특징으로부터, 조직 구성 성분을 분류하는 랜덤 포레스트 분류기(230)로 구성될 수 있고, 융합 영상의 형태학적 특징은 광간섭단층영상에 CNN 모델(210)을 적용하여 추출하고, 형광수명 특징은 융합 영상 중 형광수명영상의 형광 수명과 형광 세기를 이용할 수 있다. 인공지능 모델(200)은 도 4의 인공지능 모델(200b)과 같이, 융합 영상에 포함된 다중모달 영상들로부터 조직 구성 성분의 확률값을 출력하는 CNN 기반의 모델일 수 있다.
분석 장치(100)는 융합 영상의 조직 구성 성분으로부터 동맥경화반을 검출하고, 파열 위험성을 예측한다(S130).
도 6은 한 실시예에 따른 동맥경화반 조직 분석 결과를 설명하는 도면이다.
도 6을 참고하면, 인공지능 모델(200)을 포함하는 분석 장치(100)는 광간섭단층영상 정보와 형광수명영상 정보를 포함하는 융합 영상(6, 7)을 입력받고, 입력 영상의 조직 구성 성분을 분석한 분석 결과(8, 9)를 출력할 수 있다.
예를 들어, 동맥경화반 혈관에서 획득된 융합 영상(6)이 입력되면, 분석 장치(100)는 동맥경화반 조직의 구성 성분으로 융합 영상을 분류하고, 각 조직 구성 성분의 정량적 비율을 포함하는 분석 결과(8)를 출력할 수 있다. 분석 결과(8)는 지질, 섬유반, 정상을 포함할 수 있다. 분석 장치(100)는 조직 구성 성분 중, 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 대식 세포를 포함하는 조직을 염증 조직, 또는 염증이 섞인 지질 조직으로 분류할 수 있다.
한편, 정상 혈관에서 획득된 융합 영상(7)이 입력되면, 분석 장치(100)는 정상 조직으로 분류된 분석 결과(9)를 출력할 수 있다.
도 7은 한 실시예에 따른 분석 장치의 하드웨어 구성도이다.
도 7을 참고하면, 분석 장치(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로 구현될 수 있다. 분석 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램을 로드하는 메모리(130), 컴퓨터 프로그램 및 각종 데이터를 저장하는 저장 장치(150), 통신 인터페이스(170), 그리고 이들을 연결하는 버스(190)를 포함할 수 있다. 이외에도, 분석 장치(100)는 다양한 구성 요소가 더 포함될 수 있다.
프로세서(110)는 분석 장치(100)의 동작을 제어하는 장치로서, 컴퓨터 프로그램에 포함된 명령어들을 처리하는 다양한 형태의 프로세서일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다.
메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(130)는 본 개시의 동작을 실행하도록 기술된 명령어들이 프로세서(110)에 의해 처리되도록 해당 컴퓨터 프로그램을 저장 장치(150)로부터 로드할 수 있다. 메모리(130)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다.
저장 장치(150)는 컴퓨터 프로그램, 각종 데이터를 비임시적으로 저장할 수 있다. 저장 장치(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신 인터페이스(170)는 유/무선 통신을 지원하는 유/무선 통신 모듈일 수 있다.
버스(190) 분석 장치(100)의 구성 요소 간 통신 기능을 제공한다.
컴퓨터 프로그램은, 프로세서(110)에 의해 실행되는 명령어들(instructions)을 포함하고, 비일시적-컴퓨터 판독가능 저장매체(non-transitory computer readable storage medium)에 저장되며, 명령어들은 프로세서(110)가 본 개시의 동작을 실행하도록 만든다. 컴퓨터 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다. 인공지능 모델(200)은 프로세서(110)에 의해 실행되는 컴퓨터 프로그램으로 구현될 수 있다.
이와 같이, 본 개시의 분석 장치는 동맥경화반 조직의 구성 성분에 대한 정량 분석을 통해 동맥경화반을 검출할 수 있고, 특히 염증 반응 분석을 통해 동맥경화반의 파열 가능성을 예측할 수 있다.
본 개시의 분석 장치는 융합 영상을 획득함과 동시에 동맥경화반 조직의 구성 성분인 지질, 대식 세포, 평활근 세포, 섬유반 등에 대한 정량적이고 포괄적인 정보를 제공할 수 있다.
본 개시의 분석 장치는 동맥경화반 검출 및 파열 가능성 예측을 통해 심혈관 질환 진단에 활용될 수 있고, 개인 맞춤형 치료에 기여할 수 있으며, 동맥경화반에 대한 병리생리학적 이해를 높이는 데 기여할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서,
    융합 영상을 입력받는 단계, 그리고
    인공지능 모델을 이용하여 상기 융합 영상의 조직 구성 성분을 분류하는 단계를 포함하고,
    상기 융합 영상은 광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함하고,
    상기 인공지능 모델은 입력 영상에 포함된 형태학적 특징과 형광수명영상 정보를 이용하여 조직 구성 성분을 분류하도록 학습된 모델인, 동작 방법.
  2. 제1항에서,
    상기 인공지능 모델은
    상기 입력 영상에 포함된 광간섭단층영상을 입력받고, 상기 광간섭단층 영상의 형태학적 특징을 추출하도록 학습된 합성곱 신경망(Convolutional Neural Network, CNN) 모델, 그리고
    상기 CNN 모델에서 출력된 형태학적 특징들 그리고 상기 입력 영상에 포함된 형광수명영상 정보를 입력받고, 상기 입력 영상에 대한 조직 구성 성분을 출력하도록 학습된 분류기를 포함하며,
    상기 CNN 모델이 입력받는 상기 광간섭단층영상은
    상기 융합 영상에 포함된 상기 제1 정보를 극좌표 도메인에서 표현한 영상인, 동작 방법.
  3. 제1항에서,
    상기 인공지능 모델은
    상기 제1 정보 및 상기 제2 정보에 포함된 파라미터들을 나타내는 다중모달 영상들을 입력받고, 상기 다중모달 영상들의 특징값을 추출하는 확장된 CNN 모델로 구현되는, 동작 방법.
  4. 제1항에서,
    상기 제2 정보는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상들을 포함하고,
    각 형광수명영상은 해당 채널에서 획득된 형광수명(lifetime) 및 형광 세기(intensity)를 포함하는, 동작 방법.
  5. 제1항에서,
    상기 조직 구성 성분은 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 그리고 정상 혈관벽 중 적어도 하나를 포함하는, 동작 방법.
  6. 제1항에서,
    상기 융합 영상의 조직 구성 성분 중 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 상기 대식 세포를 포함하는 조직을 염증 조직 또는 염증이 섞인 지질 조직으로 분류하는 단계를 더 포함하는, 동작 방법.
  7. 제1항에서,
    상기 융합 영상의 조직 구성 성분으로부터 동맥경화반을 검출하는 단계를 더 포함하는, 동작 방법.
  8. 제7항에서,
    상기 융합 영상의 조직 구성 성분을 기초로 상기 동맥경화반의 파열 가능성을 예측하는 단계를 더 포함하는 동작 방법.
  9. 제8항에서,
    상기 파열 가능성을 예측하는 단계는
    상기 융합 영상의 조직 구성 성분 중, 파열 가능성을 높이는 조직 구성 성분과 안정화에 기여하는 조직 구성 성분의 비율을 기초로 상기 파열 가능성을 예측하는, 동작 방법.
  10. 적어도 하나의 프로세서에 의해 동작하는 분석 장치의 동작 방법으로서,
    광간섭단층영상화 장치를 통해 혈관 조직을 영상화한 제1 정보, 그리고 형광수명영상화 장치를 통해 상기 혈관 조직을 영상화한 제2 정보를 포함하는 융합 영상을 입력받는 단계,
    상기 제1 정보로부터 상기 혈관 조직의 형태학적 특징들을 추출하는 단계,
    상기 형태학적 특징들과 상기 제2 정보에 포함된 형광수명 정보를 이용하여 상기 혈관 조직의 조직 구성 성분을 분류하는 단계, 그리고
    상기 혈관 조직의 구성 성분으로부터 동맥경화반을 검출하는 단계
    를 포함하는 동작 방법.
  11. 제10항에서,
    상기 제2 정보는 서로 다른 파장을 가진 여기광들에 매핑된 다채널의 형광수명영상들을 포함하고,
    각 형광수명영상은 해당 채널에서 획득된 형광수(lifetime) 및 형광 세기(intensity)를 포함하는, 동작 방법.
  12. 제10항에서,
    상기 조직 구성 성분은 지질, 대식 세포, 평활근 세포, 섬유반, 칼슘, 콜레스테롤 결정, 그리고 정상 혈관벽 중 적어도 하나를 포함하는, 동작 방법.
  13. 제10항에서,
    상기 혈관 조직의 조직 구성 성분 중 대식 세포의 정량 정보를 기초로 염증 반응을 추정하고, 상기 대식 세포를 포함하는 조직을 염증 조직 또는 염증이 섞인 지질 조직으로 분류하는 단계를 더 포함하는, 동작 방법.
  14. 제10항에서,
    상기 혈관 조직의 조직 구성 성분을 기초로 상기 동맥경화반의 파열 가능성을 예측하는 단계를 더 포함하는 동작 방법.
  15. 제14항에서,
    상기 파열 가능성을 예측하는 단계는
    상기 융합 영상의 조직 구성 성분 중, 파열 가능성을 높이는 조직 구성 성분과 안정화에 기여하는 조직 구성 성분의 비율을 기초로 상기 파열 가능성을 예측하는, 동작 방법.
KR1020210041152A 2021-03-30 2021-03-30 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치 KR102527241B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210041152A KR102527241B1 (ko) 2021-03-30 2021-03-30 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치
JP2023560591A JP2024515510A (ja) 2021-03-30 2022-03-28 マルチモーダル融合映像を利用した動脈硬化性プラーク組織分析方法および装置
US18/553,290 US20240185627A1 (en) 2021-03-30 2022-03-28 Atherosclerotic plaque tissue analysis method and device using multi-modal fusion image
EP22781521.4A EP4316356A1 (en) 2021-03-30 2022-03-28 Atherosclerotic plaque tissue analysis method and device using multi-modal fusion image
PCT/KR2022/004298 WO2022211402A1 (ko) 2021-03-30 2022-03-28 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210041152A KR102527241B1 (ko) 2021-03-30 2021-03-30 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220135459A true KR20220135459A (ko) 2022-10-07
KR102527241B1 KR102527241B1 (ko) 2023-04-28

Family

ID=83456497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041152A KR102527241B1 (ko) 2021-03-30 2021-03-30 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치

Country Status (5)

Country Link
US (1) US20240185627A1 (ko)
EP (1) EP4316356A1 (ko)
JP (1) JP2024515510A (ko)
KR (1) KR102527241B1 (ko)
WO (1) WO2022211402A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486403B (zh) * 2023-06-20 2023-09-08 珠海横琴圣澳云智科技有限公司 细胞判别模型构建方法、装置、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906944B1 (ko) * 2017-07-28 2018-10-11 계명대학교 산학협력단 Ivoct 영상 기반 혈관 내강의 자동 분류 방법 및 시스템
KR102242114B1 (ko) * 2018-06-15 2021-04-20 계명대학교 산학협력단 Oct 의료 영상 기반 인공지능 컴퓨터 보조 진단 시스템 및 그 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Giovanni Jacopo Ughi et al., "Automated tissue characterization of in vivo atherosclerotic plaques by intravascular optical coherence tomography images", Biomedical Optics Express (2013.06.04.) *
Hussain fatakdawala et al., Fluorescence Lifetime Imaging Combined with Conventional Intravascular Ultrasound for Enhanced Assessment of Atherosclerotic Plaques, J. of Cardiovasc.Trans.Res.(2015.5.1.) *
남형수, "고위험 동맥경화반의 생체내 검출 및 평가를 위한 융합 형광수명영상-광간섭단층영상 개발", 박사학위 논문, 한양대학교 대학원(2019)* *

Also Published As

Publication number Publication date
EP4316356A1 (en) 2024-02-07
KR102527241B1 (ko) 2023-04-28
JP2024515510A (ja) 2024-04-10
US20240185627A1 (en) 2024-06-06
WO2022211402A1 (ko) 2022-10-06

Similar Documents

Publication Publication Date Title
US11850089B2 (en) Intravascular imaging and guide catheter detection methods and systems
JP4570970B2 (ja) 被検査者の皮膚検査方法および装置
US9351642B2 (en) Non-contact optical system, computer-accessible medium and method for measurement at least one mechanical property of tissue using coherent speckle technique(s)
US10371614B2 (en) Diagnostic spectrally encoded endoscopy apparatuses and systems and methods for use with same
CN114585297A (zh) 包括机器学习并使用其结果的人工智能配准和标记检测
CN102056534A (zh) 用于进行血管内结构分析以补偿化学分析模态的系统和方法
EP2870462A1 (en) Methods related to real-time cancer diagnostics at endoscopy utilizing fiber-optic raman spectroscopy
CN106974622B (zh) 基于光学相干断层成像的斑块稳定性测量系统
US10453196B2 (en) Detection of stent struts relative to side branches
JP7135050B2 (ja) 血管内画像処理のための血管内画像処理装置、方法及び非一時的記憶媒体
EP2836128A1 (en) Atherosclerotic plaque detection
CN108209955A (zh) 斑块的表征
EP3949835A2 (en) Auto-pullback triggering method for intracoronary imaging apparatuses or systems using blood clearing
JP2022532857A (ja) 冠動脈内画像を分析するための方法および装置
KR102527241B1 (ko) 다중 모달 융합 영상을 이용한 동맥경화반 조직분석 방법 및 장치
WO2018162690A1 (en) Method for analyzing avascular regions in optical coherence tomography angiography images
US20230005139A1 (en) Fibrotic Cap Detection In Medical Images
JP7497390B2 (ja) 血管内機器の検出及び圧着測定のためのシステム及び方法
JP7470761B2 (ja) 手動管腔検出に基づく蛍光較正
WO2023220150A1 (en) Artificial intelligence catheter optical connection or disconnection evaluation, including deep machine learning and using results thereof
JP2023537483A (ja) カテーテルベースのマルチモーダル画像における潜在的な偽陽性及び盲点の位置を特定するためのシステム及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant