KR20220078012A - 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체 - Google Patents
초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체 Download PDFInfo
- Publication number
- KR20220078012A KR20220078012A KR1020200166972A KR20200166972A KR20220078012A KR 20220078012 A KR20220078012 A KR 20220078012A KR 1020200166972 A KR1020200166972 A KR 1020200166972A KR 20200166972 A KR20200166972 A KR 20200166972A KR 20220078012 A KR20220078012 A KR 20220078012A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- angle
- ivus
- label
- index
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 34
- 210000004351 coronary vessel Anatomy 0.000 title description 11
- 238000002604 ultrasonography Methods 0.000 title description 2
- 238000012512 characterization method Methods 0.000 title 1
- 238000002608 intravascular ultrasound Methods 0.000 claims abstract description 70
- 239000013598 vector Substances 0.000 claims abstract description 51
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 32
- 238000002372 labelling Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims description 46
- 210000004204 blood vessel Anatomy 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000002238 attenuated effect Effects 0.000 claims description 8
- 238000001356 surgical procedure Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 abstract description 5
- 210000001519 tissue Anatomy 0.000 description 82
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000002308 calcification Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000003902 lesion Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 238000004393 prognosis Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000011369 optimal treatment Methods 0.000 description 4
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 3
- 150000002632 lipids Chemical class 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 208000010125 myocardial infarction Diseases 0.000 description 2
- 230000001338 necrotic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010028851 Necrosis Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000010410 reperfusion Effects 0.000 description 1
- 208000037803 restenosis Diseases 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Vascular Medicine (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시예에 따른 환자의 시술 전 IVUS 영상인 제1 IVUS 영상에 대하여 미리 정해진 간격으로 분할된 복수의 제1 IVUS 단면 영상을 추출하는 단계; 상기 복수의 제1 IVUS 단면 영상 각각에 대하여 경화반 조직 성분에 대응하는 레이블 인덱스를 이용하여 레이블링하는 단계; 상기 레이블링된 영상을 기초로 좌표 변환을 수행하여 각도별 조직 성분의 분포를 파악할 수 있는 극좌표 이미지를 획득하는 이미지 변환 단계; 상기 극좌표 이미지를 기초로 각도별 레이블 벡터를 추출하는 단계; 및 상기 각도별 레이블 벡터를 학습 데이터로 하여 학습된 인공지능 모델을 이용하여 상기 각도별 조직 성분을 정량화한 출력 데이터를 출력하는 단계;를 포함한다.
Description
본 발명은 딥 러닝 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
구체적으로, 본 발명은 관상동맥에 대한 초음파(IVUS) 영상을 기초로 딥 러닝 알고리즘을 통해 관상동맥 경화반(Plaque) 내 조직 분석하는 방법, 장치 및 기록 매체에 관한 것이다.
근래에는 인간 수준의 지능을 구현하는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다. 인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
혈관내 초음파(intravascular ultrasound, IVUS)는 관상동맥 병변의 형태학적 특성을 파악하고 동맥경화를 관찰하며 시술 스텐트 적정화를 달성하기 위한 임상검사법이다. 한편, 관상동맥 경화반(Plaque) 내에 다량의 지질 괴사 성분이 포함된 경우 협착 병변 진행 및 심혈관계 질환(사망, 심근경색, 재관류술) 발생의 위험도가 높아질 수 있다. 동맥 경화반 내의 감쇠 소견, 석회화 조직 등의 양에 따라 병변 예후나 스텐트 등의 시술 경과가 달라질 수 있다.
이러한 취약성 동맥경화반 분석에 일반적으로 광학적 단층 촬영(Optical Coherence Tomography) 기법 등이 사용되고 있다. 그러나, 조직 분석 이미징 검사들은 고비용, 다량의 조영제 주입에 따른 부작용, 적용 가능한 최대 혈관 사이즈의 한계, 해상도의 한계 등의 문제점이 있다. 또한, 영상 기반의 동맥경화반의 조직 분석에 있어서 수작업을 통한 정량화는 과도한 시간이 소요되어 혈관 전체에 대한 여러 개의 IVUS 영상 프레임을 이용하여 조직 성분을 정확히 진단하는 것에 한계가 있다.
본 발명의 실시예들은 혈관내 초음파 영상(IVUS)을 기초로 딥러닝 모델을 통해 관상동맥 경화반(Plaque) 내 조직성분을 자동으로 분석하는 방법, 장치 및 기록매체를 제공한다.
그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 환자의 시술 전 IVUS 영상인 제1 IVUS 영상에 대하여 미리 정해진 간격으로 분할된 복수의 제1 IVUS 단면 영상을 추출하는 단계; 상기 복수의 제1 IVUS 단면 영상 각각에 대하여 경화반 조직 성분에 대응하는 레이블 인덱스를 이용하여 레이블링하는 단계; 상기 레이블링된 영상을 기초로 좌표 변환을 수행하여 각도별 조직 성분의 분포를 파악할 수 있는 극좌표 이미지를 획득하는 이미지 변환 단계; 상기 극좌표 이미지를 기초로 각도별 레이블 벡터를 추출하는 단계; 및 상기 각도별 레이블 벡터를 학습 데이터로 하여 학습된 인공지능 모델을 이용하여 상기 각도별 조직 성분을 정량화한 출력 데이터를 출력하는 단계;를 포함한다.
상기 경화반 조직 성분은 감쇠 영역 및 석회화 영역을 포함하고, 상기 레이블 인덱스는 상기 감쇠 영역에 대응하는 제1 인덱스 및 상기 석회화 영역에 대응하는 제2 인덱스를 포함할 수 있다.
상기 이미지 변환 단계는, 상기 레이블링된 영상을 기초로 데카르트 좌표계 이미지를 획득하는 단계; 및 상기 데카르트 좌표계 이미지에 대하여 좌표 변환을 수행하여 상기 극좌표 이미지를 획득하는 단계;를 포함할 수 있다.
상기 각도별 레이블 벡터를 추출하는 단계는 분류 인덱스를 지정하는 단계를 포함하고, 상기 분류 인덱스는 서로 다른 상기 레이블 인덱스 각각에 대응하여 서로 다른 데이터로 지정되고, 상기 각도별 레이블 벡터는, 상기 복수의 제1 IVUS 단면 영상 각각에 대한 전체 각도에 따른 상기 분류 인덱스의 분포를 나타낸 벡터일 수 있다.
상기 출력하는 단계는, 서로 다른 상기 레이블 인덱스 각각에 서로 다른 색 지표를 지정하는 단계; 상기 복수의 제1 IVUS 단면 영상 각각에 대하여 혈관의 가장자리 영역에 상기 색 지표로 상기 각도별 조직 성분의 분포를 나타낸 레이블 이미지를 출력하는 단계; 및 상기 복수의 제1 IVUS 단면 영상 각각의 혈관 영역에서의 위치에 따른 각도 분포를 나타낸 칼라 맵을 출력하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 기록매체는 전술한 실시예들에 따른 경화반 조직분석 방법을 실행 시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체일 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반의 경화반 조직 성분 분석 장치는 환자의 시술 전 IVUS 영상인 제1 IVUS 영상에 대하여 미리 정해진 간격으로 분할된 복수의 제1 IVUS 단면 영상을 추출하는 단면 추출부; 상기 복수의 제1 IVUS 단면 영상 각각에 대하여 경화반 조직 성분에 대응하는 레이블 인덱스를 이용하여 레이블링하는 레이블링부; 상기 레이블링된 영상을 기초로 좌표 변환을 수행하여 각도별 조직 성분의 분포를 파악할 수 있는 극좌표 이미지를 획득하는 이미지 변환부; 상기 극좌표 이미지를 기초로 각도별 레이블 벡터를 추출하는 벡터 추출부; 및 상기 각도별 레이블 벡터를 학습 데이터로 하여 학습된 인공지능 모델을 이용하여 상기 각도별 조직 성분을 정량화한 출력 데이터를 출력하는 출력부;를 포함할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.
본 발명의 일 실시예에 따르면, 시술 전 IVUS 영상 기반의 딥 러닝을 통해 관상동맥 경화반 내 조직 성분을 자동으로 분석하는 방법, 장치 및 기록매체를 제공할 수 있다.
또한, 본 발명의 실시예들에 따르면 혈관 전체의 IVUS 영상에 대한 정량화 알고리즘을 통해 경화반 내 감쇠(attenuation) 영역과 석회화(calcification) 영역의 분포를 정밀하고 한 눈에 보기 쉽게 제공할 수 있다.
또한, 본 발명의 실시예들에 따르면 IVUS 영상만으로 전술한 조직분석 결과를 통해 병변 예후 및 이에 따른 최적의 치료 기법을 제공할 수 있다.
물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예예 따른 경화반 조직성분 분석 시스템을 도시한 시스템도이다.
도 2는 본 발명의 일 실시예에 따른 경화반 조직성분 분석 장치의 구성요소를 설명하기 위한 간단한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 프로세서의 구성요소를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 경화반 조직성분 분석 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 단면 추출 단계 및 레이블링 단계를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 이미지 변환 단계 및 레이블 벡터 추출 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 벡터 추출 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 출력 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 다양한 실시예에 따른 학습부 및 인식부를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 경화반 조직성분 분석 장치의 구성요소를 설명하기 위한 간단한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 프로세서의 구성요소를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 경화반 조직성분 분석 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 단면 추출 단계 및 레이블링 단계를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 이미지 변환 단계 및 레이블 벡터 추출 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 벡터 추출 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 출력 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 다양한 실시예에 따른 학습부 및 인식부를 나타내는 블록도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 개시의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 개시의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다..
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시의 실시예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
본 개시의 다양한 실시예에서 사용한 용어는 단지 특정일 실시예를 설명하기 위해 사용된 것으로, 본 개시의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예예 따른 경화반 조직분석 시스템(1000)을 도시한 시스템도이다.
도 1을 참조하면, 본 발명의 경화반 조직분석 시스템(1000)은 경화반 조직분석 장치(100) 및 서버(200)를 포함할 수 있다.
경화반 조직분석 장치(100)는 환자의 관상동맥 경화반(Plaque)의 조직 성분을 정량 분석하고, 이에 따른 관상동맥의 자연 경과를 예측하고, 요구되는 시술 정보를 결정하기 위한 장치이다. 경화반 조직분석 장치(100)는 환자의 시술 전 IVUS 영상을 기반으로 관상동맥 경화반 내 조직 성분을 인공지능 모델을 통해 종류별로 정량화 진단하여 고위험 경화반을 식별하고, 이에 따른 환자별 최적의 치료 기법을 가이드할 수 있다. 구체적으로, 경화반 조직분석 장치(100)는 상기 경화반 내 서로 다른 조직 성분 각각에 대응하는 레이블 인덱스를 이용하여 레이블링하고, 이를 기초로 상기 IVUS 영상의 단면에 대한 각도별 레이블 벡터를 추출하여 본 발명의 인공지능에 대한 학습 데이터로 활용할 수 있다.
서버(200)는 본 발명의 분석 방법에 이용되는 인공지능 모델을 학습 및 갱신하고, 인공지능 모델을 통한 예측을 수행하기 위한 적어도 하나의 외부 서버이다.
본 발명의 일 실시예에 따른 서버(200)는 환자의 관상동맥 경화반의 각도별하기 조직 성분 분석을 위한 인공지능 모델을 포함할 수 있다. 이때, 인공지능 모델은 상기 각도별 레이블 벡터를 이용하여 학습된 것일 수 있다. 이에 대해 자세한 내용은 후술하는 관련 도면에서 설명하기로 한다.
도 1에서는 경화반 조직분석 장치(100)와 서버(200)가 별도의 구성으로 구현된 것을 도시하였으나, 본 발명의 일 실시예에 따르면 하나의 구성으로 구현된 것일 수 있다. 즉, 일 실시예에 따르면, 경화반 조직분석 장치(100)가 인공지능 모델을 직접 학습, 갱신하는 온 디바이스(on-device) AI 장치일 수 있다.
도 2는 본 발명의 일 실시예에 따른 경화반 조직분석 장치(100)의 구성요소를 설명하기 위한 간단한 블록도이다.
도 2를 참조하면, 경화반 조직분석 장치(100)는 통신부(110), 프로세서(120) 및 메모리(130)를 포함할 수 있다.
통신부(110)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성일 수 있다. 통신부(110)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 중 적어도 하나를 포함할 수 있다. 프로세서(120)는 통신부(110)를 이용하여 서버(200) 또는 각종 외부 장치와 통신을 수행할 수 있다.
특히, 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선통신 칩은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
프로세서(120)는 경화반 조직분석 장치(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(120)는 경화반 조직분석 장치(100)의 메모리(130)에 저장된 각종 프로그램을 이용하여 경화반 조직분석 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(120)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서, 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 경화반 조직분석 장치(100)의 메모리에 저장된 운영체제를 램에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 메모리(130)에 저장된 각종 애플리케이션을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(120)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현 시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
본 발명의 일 실시예에 따라, 프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(120)의 상세 구성 및 기능에 관하여는 후술하는 도 3 내지 도 5에서 더 상세히 설명한다.
메모리(130)는 프로세서(120)의 처리 또는 제어를 위한 프로그램 등 경화반 조직분석 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(130)는 경화반 조직분석 시스템(1000)를 통해 처리되는 모든 종류의 데이터를 일시적 또는 영구적으로 저장할 수 있다. 메모리(130)는 경화반 조직분석 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 경화반 조직분석 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
또한 이러한 응용 프로그램 중 적어도 일부는, 경화반 조직분석 장치(100)의 기본적인 기능을 위하여 출고 당시부터 경화반 조직분석 장치(100) 상에 존재할 수 있다. 응용 프로그램은, 메모리(130)에 저장되고, 프로세서(120)에 의하여 경화반 조직분석 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다. 특히, 메모리(130)는 일 예로, 프로세서(120)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다.
도시하지는 않았으나, 경화반 조직분석 장치(100)는 영상 획득부 및 영상 처리부를 더 포함할 수 있다. 영상 획득부는 다양한 소스를 통해 스텐트 시술 전의 IVUS 영상 데이터를 획득할 수 있다. 일 예로, 영상 획득부는 상용 스캐너로 구현되어 관상동맥 내를 스캐닝하여 IVUS 영상을 획득할 수 있다. 영상 획득부를 통해 획득된 영상 데이터는 영상 처리부에서 처리될 수 있다.
이와 같이, 본 발명의 경화반 조직 분석 방법에 의하면 시술 전 IVUS 영상을 기반으로 경화반 내 조직성분의 종류 및 위험성을 식별하여 관상동맥의 자연경과 및 병변 예후 등을 예측할 수 있다.
영상 처리부는 영상 획득부를 통해 획득한 영상 데이터에 대한 처리를 수행할 수 있다. 영상 처리부에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환 또는 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 영상 획득부 또는 영상 처리부는 각 구성 내에서 획득된 영상을 후술하는 도 3의 프로세서(120)의 각 구성으로 전송하여 후속 영상 처리가 수행되도록 할 수 있다.
이 외에도 경화반 조직분석 장치(100)는 도 2에 도시되지 않았으나, 본 발명의 경화반 조직분석 방법을 용이하게 구현할 수 있는 범위 내의 다른 구성을 포함할 수 있음은 물론이다.
도 3은 본 발명의 일 실시예에 따른 프로세서(120)의 구성요소를 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명의 프로세서(120)는 단면 추출부(121), 레이블링부(122), 이미지 변환부(123), 벡터 추출부(124) 및 출력부(125)를 포함할 수 있다.
본 발명의 일 실시예에 따르면 단면 추출부(121), 레이블링부(122), 이미지 변환부(123), 벡터 추출부(124) 및 출력부(125)는 경화반 조직분석 장치(100)에 포함된 메모리(130)에 저장되어 프로세서(120)에 의해 구동되는 별도의 소프트웨어 모듈을 통해 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다. 또한, 각각의 구성은 별도의 모듈로 구현될 수도 있고, 하나의 모듈로 구현된 것일 수도 있다.
한편, 본 발명의 또 다른 실시예에 따르면, 상술한 출력부(125)는 서버(200)의 프로세서(미도시)에 포함된 구성일 수 있다. 이 경우, 서버(200)는 경화반 조직분석 장치(100)로부터 환자의 시술 전 IVUS 영상 및 이를 기초로 분석된 각도별 레이블 벡터를 입력 데이터를 수신할 수 있고, 수신한 입력 데이터를 기초로 각도별 조직성분 분포를 한 눈에 파악할 수 있는 레이블 이미지 및 칼라 맵(Color map)을 포함하는 출력 데이터를 출력할 수 있다.
프로세서(120)의 각 구성에 의한 구체적 동작에 관하여는 후술하는 도면에서 더 상세히 설명한다.
이하, 도 4와 상술한 도 3을 함께 참조하여 본 발명의 조직성분 분석 방법에 관하여 설명한다. 도 4는 본 발명의 일 실시예에 따른 경화반 조직성분 분석 방법을 설명하기 위한 순서도로서, 학습 단계 및 인식 단계를 모두 포함하는 순서도이다.
단면 추출부(121)는 환자의 시술 전 IVUS 영상인 제1 IVUS 영상에 대하여 미리 정해진 간격으로 분할된 복수의 제1 IVUS 단면 영상을 추출한다(S100). 본 발명의 제1 IVUS 영상은 관상동맥 질환을 가진 환자들의 시술 전 약 40 ㎒의 grayscale 영상일 수 있고, 도 2에서 설명한 영상 획득부 및 영상 처리부로부터 수신될 수 있다.
레이블링부(122)는 상기 복수의 제1 IVUS 단면 영상 각각에 대하여 경화반 조직 성분에 대응하는 레이블 인덱스를 이용하여 레이블링하여 레이블링된 영상을 획득한다(S200).
상기 경화반 조직 성분은 감쇠(Attenuation) 영역 및 석회화(calcification) 영역 및 이외의 영역을 포함할 수 있다. IVUS 영상 상의 감쇠 영역은 경화반 내 다량의 지질 괴사 조직이 존재함을 의미하며, 지질 괴사 조직은 시술 후 심근경색 발생을 유발하는 위험인자이다. 따라서 감쇠 영역의 크기를 통해 병변 예후 및 시술 후 reflow 미발생을 예측할 수 있다. 한편, 경화반 내 석회화 영역이 넓을수록 시술 후 불완전 스텐트 확장 가능성이 높게 예측되며, 이에 따라 스텐트 시술 실패(스텐트 혈전증, 재협착 등) 가능성도 높아진다.
상기 레이블 인덱스는 상기 감쇠 영역에 대응하는 제1 인덱스 및 상기 석회화 영역에 대응하는 제2 인덱스를 포함할 수 있다. 상기 제1 인덱스 및 제2 인덱스는 상기 제1 IVUS 단면 영상의 혈관의 각 영역에 대응하는 부분에 표시될 수 있고, 일 예로 혈관의 가장자리 영역에 표시될 수 있다. 상기 레이블 인덱스는 서로 다른 색깔을 가지는 픽셀들로 표시될 수 있고, 실시예에 따라서 서로 다른 무늬 등 조직 성분을 구별할 수 있는 다양한 방식으로 표시될 수 있다.
이와 같이, 본 발명의 경화반 조직성분 분석 방법은 시술 전 혈관 영상의 '특정 단면'이 아닌 경화반을 포함하는 혈관 전체에 대한 단면 영상, 그리고 혈관의 경계 등의 특정 부분만이 혈관 전체의 단면 영상을 사용함으로써 관상동맥 경과를 전체적으로, 그리고 더 정확하게 예측하여 환자별 최적의 치료 방법을 제공할 수 있다.
전술한 단면 추출부(121) 및 레이블링부(122)의 동작 예시에 관하여는 후술하는 도 5에서 더 상세히 설명한다.
이미지 변환부(123)는 상기 레이블링된 영상을 기초로 좌표 변환을 수행하여 각도별 조직 성분의 분포를 파악할 수 있는 극좌표 이미지를 획득한다(S300). 상기 이미지 변환 단계(S300)는 후술하는 단계들을 포함할 수 있다.
상기 레이블링된 영상을 기초로 데카르트 좌표계 이미지(Cartesian coordinate imag)를 획득한다. 이후, 상기 데카르트 좌표계 이미지에 대하여 좌표 변환을 수행하여 극좌표 이미지(polar coordinate image)를 획득한다. 전술한 변환되는 이미지들의 구체적 예시는 후술하는 도 6에서 더 상세히 살펴본다.
벡터 추출부(124)는 상기 극좌표 이미지를 기초로 각도별 레이블 벡터를 추출한다(S400). 각도별 레이블 벡터는 복수의 제1 IVUS 단면 영상 각각에 대하여 각도별 분류 인덱스의 분포를 나타낸 그래프일 수 있다. 상기 분류 인덱스는 서로 다른 레이블 인덱스 각각에 대응하여 서로 다른 데이터로 설정될 수 있다. 일 예로, 상기 레이블 인덱스 각각에 서로 다른 분류 인덱스가 할당될 수 있으며, 분류 인덱스는 서로 다른 값으로 지정될 수 있다. 예를 들어, 제1 인덱스에는 '0'의 값이 할당되고 제2 인덱스에는 '1'의 값이 할당될 수 있다. 상기 각도별 레이블 벡터에는 상기 제1 IVUS 단면 영상 각각에 대한 전체 각도에 따른 상기 분류 인덱스의 분포가 도시될 수 있다.
이미지 변환부(123) 및 벡터 추출부(124)의 동작에 관하여는 후술하는 도 6 및 도 7에서 더 상세히 설명한다.
출력부(125)는 상기 각도별 레이블 벡터를 학습 데이터로 하여 학습된 인공지능 모델을 이용하여 상기 각도별 조직 성분을 정량화한 출력 데이터를 출력한다(S500). 상기 출력하는 단계(S500)는 후술하는 단계들을 포함할 수 있다.
서로 다른 상기 레이블 인덱스 각각에 서로 다른 색 지표를 지정할 수 있다. 실시예에 따라 상기 레이블 인덱스 각각에 할당된 분류 인덱스에 색 지표를 지정할 수도 있다. 이후, 상기 복수의 제1 IVUS 단면 영상 각각에 대하여 혈관의 가장자리 영역에 상기 색 지표로 상기 각도별 조직 성분의 분포를 나타낸 레이블 이미지를 출력할 수 있다. 한편, 상기 복수의 제1 IVUS 단면 영상 각각의 혈관 영역에서의 위치에 따른 각도 분포를 나타낸 칼라 맵을 출력할 수 있다.
출력부(125)의 동작에 관하여는 후술하는 도 8에서 더 상세히 설명한다.
전술한 레이블링 단계(S200), 이미지 변환 단계(S300) 및 각도별 레이블 벡터를 추출하는 단계(S400)는 후술하는 프로세서의 학습부(1210)(도 9 참고)에 의해 수행되는 단계로서, 학습부(1210)의 인식 모델을 학습시키는 단계에서 수행되는 단계일 수 있다. 다시 말해, 학습부(1210)에 의한 학습 단계에서는 전술한 S100 단계부터 S500 단계가 순차적으로 수행될 수 있다. 한편, 인식부(1220)에 의한 인식(또는 테스트) 단계에서는 출력부(125)가 제1 IVUS 영상을 입력 받아 출력 데이터, 예컨대 각도별 레이블 벡터를 바로 출력할 수 있다(S600). 다시 말해, 인식 단계에서는 S100 단계 이후 바로 S500 단계가 수행될 수 있다.
도 5는 본 발명의 일 실시예에 따른 단면 추출 단계(S100) 및 레이블링 단계(S200)를 설명하기 위한 도면이다. 도 5의 동작은 프로세서(120)의 단면 추출부(121), 레이블링부(122) 또는 서버(200)의 프로세서(미도시)에 의해 수행될 수 있다.
도 5를 참조하면, 환자의 시술 전 IVUS 영상인 제1 IVUS 영상(510) 및 레이블링된 영상(520)이 도시되어 있다. 제1 IVUS 영상(510)은 소정의 간격으로 분할된 복수의 제1 IVUS 단면 영상을 포함한다. 인접한 제1 IVUS 단면 영상 간의 소정의 간격은 약 0.4 mm일 수 있으나, 이에 한정되지 않는다.
이후, 제1 IVUS 영상(510)에 대하여 레이블링부(122)는 전술한 레이블 인덱스를 이용하여 레이블링 하여 레이블링된 영상(520)을 획득할 수 있다. 레이블 인덱스는 감쇠 영역에 대응하는 제1 인덱스(A1) 및 석회화 영역에 대응하는 제2 인덱스(A2)를 포함할 수 있다. 실시예에 따라서 경화반 내 감쇠 영역 및 석회화 영역 어디에도 속하지 않는 영역에 대응하는 제3 인덱스(미도시)를 더 포함할 수 있다.
레이블링 단계에서 경화반 내 서로 다른 조직 성분을 아래와 같이 판단하여 레이블링할 수 있다. 감쇠 영역은 비석회성 경화반에서 후반부로 감쇠가 보이는 영역이고, 석회화 영역은 주변의 외막(Adventitia) 조직보다 강도(Intensity)가 세고 해당 영역의 후반부에 음파가 전파되지 않는 영역인 어쿠스틱 섀도(Acoustic Shadow)를 동반하는 영역으로 정의할 수 있다.
레이블링된 영상(520)을 참조하면, 복수의 제1 IVUS 단면 영상의 중심, 다시 말해 혈관 단면의 중심을 중심점(O1)으로 하여 0도 내지 360도 범위의 영역이 감쇠 영역, 석회화 영역, 그 이외의 영역의 해당 여부에 따라 각 영역에 대응하는 레이블 인덱스로 레이블링되어 있다. 예를 들어 중심점(O1)으로부터 제1 각도 범위(θa)에 해당하는 영역은 감쇠 영역으로 판단되어 제1 인덱스(A1)로 레이블링 되어 있고, 제2 각도 범위(θb)에 해당하는 영역은 석회화 영역으로 판단되어 제2 인덱스(A2)로 레이블링 되어 있다. 본 도면에서 그 이외의 영역은 따로 레이블링 되지 않았으나 실시예에 따라서 제1 및 제2 인덱스(A1, A2)와 다른 제3 인덱스로 레이블링될 수 있음은 물론이다. 이때, 레이블링 인덱스는 혈관 영역의 혈관의 형태학적 특징을 파악할 수 있는 범위 내의 일 가장자리 영역에 표시될 수 있다.
도 6은 본 발명의 일 실시예에 따른 이미지 변환 단계(S300) 및 레이블 벡터 추출 단계(S400)를 설명하기 위한 도면이다. 도 6의 동작은 프로세서(120)의 이미지 변환부(123) 또는 서버(200)의 프로세서(미도시)에 의해 수행될 수 있다.
도 6을 참조하면, 제1 좌표계 이미지(610), 이에 대하여 좌표 변환된 제2 좌표계 이미지(620) 및 이로부터 추출된 레이블 벡터(630)가 도시되어 있다. 제1 좌표계 이미지(610)는 데카르트 좌표계 이미지이고, 제2 좌표계 이미지(620)는 극좌표계 이미지일 수 있다. 레이블링부(122) 또는 이미지 변환부(123)는 제1 좌표계 이미지(610)를 획득할 수 있다. 제1 좌표계 이미지(610)는 도 5에서 전술한 레이블링된 영상(520)에 대하여 혈관 이미지를 제거하고 레이블 인덱스만 남겨진 이미지일 수 있다. 각 레이블 인덱스 별로 610에 도시된 화살표들을 이용하여 각 레이블 인덱스가 차지하는 각도 범위를 산출할 수 있다.
이후, 이미지 변환부(123)는 상기 제1 좌표계 이미지(610)를 기반으로 상기 산출한 각도 범위를 반영하여 좌표 변환한 제2 좌표계 이미지(620)를 획득할 수 있다(S300). 620을 참조하면 각도가 일 축에 배열된 형태의 이미지로 도시되어 있다.
이후, 벡터 추출부(124)는 상기 제2 좌표계 이미지(620)를 기초로 각도별 레이블 벡터(630)를 추출할 수 있다(S400). 각도별 레이블 벡터는 복수의 제1 IVUS 단면 영상 각각에 대하여 각도별 분류 인덱스(Class index)의 분포를 나타낸 그래프일 수 있다. 상기 분류 인덱스는 서로 다른 레이블 인덱스(A1, A2) 각각에 대응하여 서로 다른 데이터로 설정될 수 있다. 일 예로, 감쇠 영역에 대응하는 제1 인덱스(A1)에는 2의 값이 할당되고, 석회화 영역에 대응하는 제2 인덱스(A2)에는 1의 값이 할당될 수 있고, 그 이외의 영역에는 도시되지는 않았으나 상기 1, 2와 다른 0의 값이 할당될 수 있다. 여기서 각각 할당된 '1', '2'의 값이 분류 인덱스를 의미한다. 분류 인덱스는 이 외에도 다양한 숫자 값이 될 수도 있고, 또는 서로 다른 문자나 기호 등의 값으로 지정될 수도 있으며, 서로 다른 조직 성분을 구별할 수 있는 범위 내에서 다양하게 설정될 수 있다.
이와 같이 본 발명의 일 실시예에 따르면, 각도별 레이블 벡터(630)는 0도(˚) 내지 360도 범위에서 1도 단위로 분류 인덱스를 통해 경화반 내 조직 성분을 한 눈에 보기 쉽게 파악할 수 있고, 이를 통해 관상동맥의 경과 예측 및 이에 따른 스텐트 시술 등의 최적의 관상동맥 시술법을 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 벡터 추출 단계를 설명하기 위한 도면이다.
도 7을 참조하면, 제1 인공지능 모델(710) 및 출력 벡터(720)가 도시되어 있다. 제1 인공지능 모델(710)은 환자의 제1 IVUS 영상 또는 레이블링된 영상을 입력 데이터로 하여 출력 벡터(720)를 출력할 수 있다.
제1 인공지능 모델(710)은 CNN 신경망으로서, 입력 데이터를 기초로 각도별 조직성분을 분류할 수 있다. 일 예로, 제1 인공지능 모델(710)은 EfficientNet 모델로서 본 도면에 도시된 바와 같은 서로 다른 컨볼루션 망의 조합으로 이루어져 정확도와 효율성을 확보할 수 있다. 출력 벡터(720)는 단면 영상의 중심점으로부터의 각도별 레이블 인덱스의 분포를 나타낼 수 있으며, 일 예로 본 도면에 도시된 바와 같이 (360 degrees x 3 classes)의 총 1080의 벡터 사이즈를 가질 수 있다. 제1 인공지능 모델(710)은 손실 함수로서 Cross-entropy를 사용하여 도 6에서 전술한 각도별 레이블 벡터(630)를 보충 또는 상호 변환 동작을 수행할 수 있다. 이후, 각도별 레이블 벡터(630) 및 출력 벡터(720)가 함께 입력 데이터로 출력부(125) 또는 서버(200) 상의 다른 인공지능 모델에 입력되어 도 8에서 후술하는 출력 데이터가 출력될 수 있다.
도 8은 본 발명의 일 실시예에 따른 출력 단계(S500)를 설명하기 위한 도면이다. 도 8의 동작은 프로세서(120)의 출력부(125) 또는 서버(200)의 프로세서(미도시)에 의해 수행될 수 있다.
도 8을 참조하면, 입력 데이터(810) 및 출력 데이터(800)가 도시되어 있다. 본 발명의 조직성분 분석 방법에 따르면, 전체 혈관 상에서 경화반 내 조직성분 분포를 한 눈에, 효과적으로 파악할 수 있는 이미지 데이터가 제공될 수 있다. 이때 입력 데이터(810)는 복수의 제1 IVUS 단면 영상 각각에 대한 복수의 각도별 레이블 벡터 또는 이들의 평균값을 산출한 대표 각도별 레이블 벡터가 될 수 있다.
서로 다른 상기 레이블 인덱스(A1, A2, A3) 각각에 서로 다른 색 지표를 지정할 수 있다. 실시예에 따라 상기 레이블 인덱스 각각에 할당된 분류 인덱스(Class index)에 색 지표를 지정할 수도 있다. 이후, 상기 복수의 제1 IVUS 단면 영상 각각에 대하여 혈관의 가장자리 영역에 상기 색 지표로 상기 각도별 조직 성분의 분포를 나타낸 레이블 이미지(820)를 출력할 수 있다.
한편, 상기 복수의 제1 IVUS 단면 영상 각각의 혈관 영역에서의 위치에 따른 각도 분포를 나타낸 칼라 맵(820)을 출력할 수 있다. 칼라 맵(820)의 가로축은 환자의 혈관 내 관심 영역, 즉 경화반 영역의 전체 길이(l)(단위는 mm)를 나타내고, 세로축은 전술한 혈관 단면의 중심점으로부터의 각도(0도 내지 360)를 나타낼 수 있다. 칼라 맵(820)은 이와 같이 축 설정된 그래프 상에서 각 픽셀(좌표)에 해당되는 색 지표를 할당하여 표시한다. 칼라 맵(820)은 전술한 레이블 이미지(810)와 함께 도시되어 관상동맥 내 조직성분의 분포와 이에 따른 위험성을 정확하고 효율적으로 예측할 수 있다.
실시예에 따라서 본 발명의 출력부(125) 또는 서버(200)의 프로세서(미도시)는 입력 데이터로서 환자별 임상적 특징을 더 활요할 수 있다. 일 예로, 임상적 특징(630)은 나이(age), 성별(gender), 체면적(body surface area), 병변 분절(involved segment), 근위 LAD의 침범 여부(involvement of proximal left anterior descending artery (LAD)) 및 혈관 타입(vessel type) 등을 포함할 수 있으나 이에 한정되지 않는다.
이와 같이, 본 발명의 일 실시예에 따른 경화반 조직 성분 분석 방법에 의하면, 본 발명의 실시예들에 따르면 혈관 전체의 IVUS 영상에 대한 정량화 알고리즘을 통해 경화반 내 감쇠(attenuation) 영역과 석회화(calcification) 영역의 분포를 정밀하고 한 눈에 보기 쉽게 제공할 수 있다. 또한, IVUS 영상만으로 전술한 조직분석 결과를 통해 병변 예후 및 이에 따른 최적의 치료 기법을 제공할 수 있다.
도 9는 본 발명의 다양한 실시예에 따른 학습부(1210) 및 인식부(1220)를 나타내는 블록도이다.
도 9를 참조하면, 프로세서(1200)는 학습부(1210) 및 인식부(1220) 중 적어도 하나를 포함할 수 있다. 도 9의 프로세서(1200)는 도 2의 경화반 조직분석 장치(100)의 프로세서(120) 또는 서버(200)의 프로세서(미도시)에 대응될 수 있다.
학습부(1210)는 소정의 상황 판단을 위한 기준을 갖는 인식 모델을 생성 또는 학습시킬 수 있다. 학습부(1210)는 수집된 학습 데이터를 이용하여 판단 기준을 갖는 인식 모델을 생성할 수 있다.
일 예로, 학습부(1210)는 복수의 제1 IVUS 단면 영상으로 구성되는 제1 IVUS 영상 및 이를 기초로 획득되는 레이블링된 영상, 좌표계 이미지, 각도별 레이블 벡터 등을 학습 데이터로서 이용하여 IVUS 영상 내의 동맥경화반 내의 조직 성분을 분류하는 기준을 갖는 객체 인식 모델을 생성, 학습 또는 갱신시킬 수 있다.
또 다른 예로, 학습부(1210)는 전술한 입력 데이터들을 학습 데이터로서 이용하여, 환자의 관상동맥의 자연 경과, 병변 예후, 및 스텐트 면적 및 불완전 확장 여부 등을 포함하는 시술 후 경과 등을 판단하는 기준을 갖는 모델을 생성, 학습 또는 갱신시킬 수 있다.
인식부(1220)는 소정의 데이터를 학습된 인식 모델의 입력 데이터로 사용하여, 목표하는 데이터(출력 데이터 800)(도 8 참고)를 추정할 수 있다. 일 예로, 인식부(1220)는 전술한 입력 데이터를 학습된 인식 모델에 적용하여 경화반 내 각도별 조직 성분 분포를 정량화하여 시각화하는 출력 데이터를 제공할 수 있다. 인식부(1220)에서는 레이블링 단계(S200), 이미지 변환 단계(S300) 및 각도별 레이블 벡터를 추출하는 단계(S400)가 수행되지 않을 수 있다.
일 예로, 본 발명에서 제1 IVUS 영상을 확보하는 환자들은 학습부(1210)에서 활용되는 학습군과 인식부(1220)에서 활용되는 테스트군으로 5:1로 배정되어, 각각 인공지능 모델의 학습 및 출력 데이터의 생성에 활용될 수 있다.
학습부(1210)의 적어도 일부 및 인식부(1220)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 경화반 조직분석 장치(100)에 탑재될 수 있다. 예를 들어, 학습부(1210) 및 인식부(1220) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치 또는 객체 인식 장치에 탑재될 수도 있다. 이 때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.
학습부(1210) 및 인식부(1220)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
이 경우, 학습부(1210) 및 인식부(1220)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(1210) 및 인식부(1220) 중 하나는 경화반 조직분석 장치(100)에 포함되고, 나머지 하나는 서버(200)에 포함될 수 있다. 또한, 학습부(1210) 및 인식부(1220)는 유선 또는 무선으로 통하여, 학습부(1210)가 구축한 모델 정보를 인식부(1220)로 제공할 수도 있고, 인식부(1220)로 입력된 데이터가 추가 학습 데이터로서 학습부(1210)로 제공될 수도 있다.
한편, 상술한 본 발명의 다양한 실시예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록매체(computer readable recording medium)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
기기로 읽을 수 있는 기록매체는, 비일시적 기록매체(non-transitory computer readable recording medium)의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 이때 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이와 같이 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
1000: 경화반 조직분석 시스템
100: 경화반 조직분석 장치
110: 통신부
120, 1200: 프로세서
130: 메모리
200: 서버
1210: 학습부
1220: 인식부
100: 경화반 조직분석 장치
110: 통신부
120, 1200: 프로세서
130: 메모리
200: 서버
1210: 학습부
1220: 인식부
Claims (7)
- 환자의 시술 전 IVUS 영상인 제1 IVUS 영상에 대하여 미리 정해진 간격으로 분할된 복수의 제1 IVUS 단면 영상을 추출하는 단계;
상기 복수의 제1 IVUS 단면 영상 각각에 대하여 경화반 조직 성분에 대응하는 레이블 인덱스를 이용하여 레이블링하는 단계;
상기 레이블링된 영상을 기초로 좌표 변환을 수행하여 각도별 조직 성분의 분포를 파악할 수 있는 극좌표 이미지를 획득하는 이미지 변환 단계;
상기 극좌표 이미지를 기초로 각도별 레이블 벡터를 추출하는 단계; 및
상기 각도별 레이블 벡터를 학습 데이터로 하여 학습된 인공지능 모델을 이용하여 상기 각도별 조직 성분을 정량화한 출력 데이터를 출력하는 단계;를 포함하는, 딥러닝 기반의 경화반 조직 성분 분석 방법. - 제1항에 있어서,
상기 경화반 조직 성분은 감쇠 영역 및 석회화 영역을 포함하고,
상기 레이블 인덱스는 상기 감쇠 영역에 대응하는 제1 인덱스 및 상기 석회화 영역에 대응하는 제2 인덱스를 포함하는, 딥러닝 기반의 경화반 조직 성분 분석 방법. - 제1항에 있어서,
상기 이미지 변환 단계는,
상기 레이블링된 영상을 기초로 데카르트 좌표계 이미지를 획득하는 단계; 및
상기 데카르트 좌표계 이미지에 대하여 좌표 변환을 수행하여 상기 극좌표 이미지를 획득하는 단계;를 포함하는, 딥러닝 기반의 경화반 조직 성분 분석 방법. - 제2항에 있어서,
상기 각도별 레이블 벡터를 추출하는 단계는 분류 인덱스를 지정하는 단계를 포함하고, 상기 분류 인덱스는 서로 다른 상기 레이블 인덱스 각각에 대응하여 서로 다른 데이터로 지정되고,
상기 각도별 레이블 벡터는, 상기 복수의 제1 IVUS 단면 영상 각각에 대한 전체 각도에 따른 상기 분류 인덱스의 분포를 나타낸 벡터인, 딥러닝 기반의 경화반 조직 성분 분석 방법. - 제2항에 있어서,
상기 출력하는 단계는,
서로 다른 상기 레이블 인덱스 각각에 서로 다른 색 지표를 지정하는 단계;
상기 복수의 제1 IVUS 단면 영상 각각에 대하여 혈관의 가장자리 영역에 상기 색 지표로 상기 각도별 조직 성분의 분포를 나타낸 레이블 이미지를 출력하는 단계; 및
상기 복수의 제1 IVUS 단면 영상 각각의 혈관 영역에서의 위치에 따른 각도 분포를 나타낸 칼라 맵을 출력하는 단계;
를 포함하는, 딥러닝 기반의 경화반 조직 성분 분석 방법. - 제1항 내지 제5항 중 어느 한 항의 방법을 실행 시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 환자의 시술 전 IVUS 영상인 제1 IVUS 영상에 대하여 미리 정해진 간격으로 분할된 복수의 제1 IVUS 단면 영상을 추출하는 단면 추출부;
상기 복수의 제1 IVUS 단면 영상 각각에 대하여 경화반 조직 성분에 대응하는 레이블 인덱스를 이용하여 레이블링하는 레이블링부;
상기 레이블링된 영상을 기초로 좌표 변환을 수행하여 각도별 조직 성분의 분포를 파악할 수 있는 극좌표 이미지를 획득하는 이미지 변환부;
상기 극좌표 이미지를 기초로 각도별 레이블 벡터를 추출하는 벡터 추출부; 및
상기 각도별 레이블 벡터를 학습 데이터로 하여 학습된 인공지능 모델을 이용하여 상기 각도별 조직 성분을 정량화한 출력 데이터를 출력하는 출력부;를 포함하는, 딥러닝 기반의 경화반 조직 성분 분석 장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200166972A KR102546290B1 (ko) | 2020-12-02 | 2020-12-02 | 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체 |
| EP21901035.2A EP4257055A1 (en) | 2020-12-02 | 2021-12-02 | Method, apparatus, and recording medium for analyzing coronary plaque tissue through ultrasound image-based deep learning |
| PCT/KR2021/018111 WO2022119347A1 (ko) | 2020-12-02 | 2021-12-02 | 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체 |
| US18/255,800 US20240104725A1 (en) | 2020-12-02 | 2021-12-02 | Method, apparatus, and recording medium for analyzing coronary plaque tissue through ultrasound image-based deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200166972A KR102546290B1 (ko) | 2020-12-02 | 2020-12-02 | 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220078012A true KR20220078012A (ko) | 2022-06-10 |
| KR102546290B1 KR102546290B1 (ko) | 2023-06-26 |
Family
ID=81853361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200166972A KR102546290B1 (ko) | 2020-12-02 | 2020-12-02 | 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240104725A1 (ko) |
| EP (1) | EP4257055A1 (ko) |
| KR (1) | KR102546290B1 (ko) |
| WO (1) | WO2022119347A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409261B (zh) * | 2023-12-14 | 2024-02-20 | 成都数之联科技股份有限公司 | 一种基于分类模型的元件角度分类方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070165916A1 (en) * | 2003-11-13 | 2007-07-19 | Guy Cloutier | Automatic multi-dimensional intravascular ultrasound image segmentation method |
| US20070260141A1 (en) * | 2006-03-22 | 2007-11-08 | Volcano Corporation | Automated lesion analysis based upon automatic plaque characterization according to a classification criterion |
| WO2011038305A2 (en) * | 2009-09-25 | 2011-03-31 | Volcano Corporation | Device and method for determining the likelihood of a patient having a clinical event or a clinically silent event based on ascertained physiological parameters |
| KR20120028154A (ko) * | 2010-09-14 | 2012-03-22 | 울산대학교 산학협력단 | 죽상 경화증 진단방법 및 그 장치 |
| US20150112182A1 (en) * | 2013-10-17 | 2015-04-23 | Siemens Aktiengesellschaft | Method and System for Machine Learning Based Assessment of Fractional Flow Reserve |
| US20170249439A1 (en) * | 2016-02-26 | 2017-08-31 | Heartflow, Inc. | Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models |
| WO2018064336A1 (en) * | 2016-09-28 | 2018-04-05 | Lightlab Imaging, Inc. | Stent planning systems and methods using vessel representation |
| KR20190083185A (ko) * | 2018-01-03 | 2019-07-11 | 주식회사 메디웨일 | Ivus 영상 분석방법 |
| EP3618002A1 (en) * | 2018-08-30 | 2020-03-04 | Koninklijke Philips N.V. | Interactive self-improving annotation system for high-risk plaque burden assessment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6381350B1 (en) * | 1999-07-02 | 2002-04-30 | The Cleveland Clinic Foundation | Intravascular ultrasonic analysis using active contour method and system |
| US9235887B2 (en) * | 2008-02-19 | 2016-01-12 | Elucid Bioimaging, Inc. | Classification of biological tissue by multi-mode data registration, segmentation and characterization |
| US9805463B2 (en) * | 2013-08-27 | 2017-10-31 | Heartflow, Inc. | Systems and methods for predicting location, onset, and/or change of coronary lesions |
-
2020
- 2020-12-02 KR KR1020200166972A patent/KR102546290B1/ko active IP Right Grant
-
2021
- 2021-12-02 US US18/255,800 patent/US20240104725A1/en active Pending
- 2021-12-02 WO PCT/KR2021/018111 patent/WO2022119347A1/ko active Application Filing
- 2021-12-02 EP EP21901035.2A patent/EP4257055A1/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070165916A1 (en) * | 2003-11-13 | 2007-07-19 | Guy Cloutier | Automatic multi-dimensional intravascular ultrasound image segmentation method |
| US20070260141A1 (en) * | 2006-03-22 | 2007-11-08 | Volcano Corporation | Automated lesion analysis based upon automatic plaque characterization according to a classification criterion |
| WO2011038305A2 (en) * | 2009-09-25 | 2011-03-31 | Volcano Corporation | Device and method for determining the likelihood of a patient having a clinical event or a clinically silent event based on ascertained physiological parameters |
| KR20120028154A (ko) * | 2010-09-14 | 2012-03-22 | 울산대학교 산학협력단 | 죽상 경화증 진단방법 및 그 장치 |
| US20150112182A1 (en) * | 2013-10-17 | 2015-04-23 | Siemens Aktiengesellschaft | Method and System for Machine Learning Based Assessment of Fractional Flow Reserve |
| US20160106321A1 (en) * | 2013-10-17 | 2016-04-21 | Siemens Aktiengesellschaft | Method and System for Machine Learning Based Assessment of Fractional Flow Reserve |
| US20170265754A1 (en) * | 2013-10-17 | 2017-09-21 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
| US20170249439A1 (en) * | 2016-02-26 | 2017-08-31 | Heartflow, Inc. | Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models |
| WO2018064336A1 (en) * | 2016-09-28 | 2018-04-05 | Lightlab Imaging, Inc. | Stent planning systems and methods using vessel representation |
| KR20190083185A (ko) * | 2018-01-03 | 2019-07-11 | 주식회사 메디웨일 | Ivus 영상 분석방법 |
| EP3618002A1 (en) * | 2018-08-30 | 2020-03-04 | Koninklijke Philips N.V. | Interactive self-improving annotation system for high-risk plaque burden assessment |
Non-Patent Citations (4)
| Title |
|---|
| "Automated detection of vulnerable plaque in intravascular ultrasound images", Med Biol Eng Comput 57, 863-876 (2019) * |
| "Intravascular ultrasound-based deep learning for plaque characterization in coronary artery disease", Atherosclerosis, vol.324, May 2021, p.69-75 * |
| "Intravascular ultrasound-based machine learning for predicting fractional flow reserve in intermediate coronary artery lesions", Atherosclerosis, vol.292, Jan. 2020, p.171-177 * |
| CVII-STENT 2018, lNCS 11043. pp. 73-81(2018.10.17.) * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240104725A1 (en) | 2024-03-28 |
| KR102546290B1 (ko) | 2023-06-26 |
| EP4257055A1 (en) | 2023-10-11 |
| WO2022119347A1 (ko) | 2022-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
| KR102283443B1 (ko) | 광 간섭 단층 영상 기반의 고위험 병변 진단 시스템 및 이의 진단 방법 | |
| JP6265588B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| US20220296205A1 (en) | Ultrasound image-based diagnosis system for coronary artery lesion using machine learning and diagnosis method of same | |
| JPH10229979A (ja) | 心筋の心外膜境界を決定する方法及び装置 | |
| CN105279759A (zh) | 结合上下信息窄带约束的腹腔主动脉瘤外轮廓分割方法 | |
| KR102272413B1 (ko) | 관상동맥 혈관조영술 기반의 기계 학습을 통한 허혈 병변 정보 제공 장치, 정보 제공 방법 및 이의 기록매체 | |
| Taki et al. | An IVUS image-based approach for improvement of coronary plaque characterization | |
| Dong et al. | Identifying carotid plaque composition in MRI with convolutional neural networks | |
| CN113706559A (zh) | 基于医学图像的血管分段提取方法和装置 | |
| KR102546290B1 (ko) | 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체 | |
| KR102257295B1 (ko) | 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 | |
| Marin-Castrillon et al. | 4D segmentation of the thoracic aorta from 4D flow MRI using deep learning | |
| Luo et al. | A deep reinforcement learning framework for frame-by-frame plaque tracking on intravascular optical coherence tomography image | |
| CN116664592A (zh) | 基于图像的动静脉血管分离方法、装置、电子设备及介质 | |
| CN110827255A (zh) | 一种基于冠状动脉ct图像的斑块稳定性预测方法及系统 | |
| Niu et al. | Improving automated tissue characterization in optical coherence tomography by melding attenuation compensation with deep learning | |
| KR102546291B1 (ko) | 초음파 영상 기반의 딥 러닝을 통한 관상동맥 스텐트 예측 방법, 장치 및 기록매체 | |
| Zair et al. | Machine learning for coronary artery calcification detection and labeling using only native computer tomography | |
| Zhang et al. | Segmentation of paracentral acute middle maculopathy lesions in spectral-domain optical coherence tomography images through weakly supervised deep convolutional networks | |
| Bibars et al. | Cross-Modality Deep Transfer Learning: Application to Liver Segmentation in CT and MRI | |
| CN115880287B (zh) | 一种脑白质高信号病灶区域分割及评级装置 | |
| CN112766333B (zh) | 医学影像处理模型训练方法、医学影像处理方法及装置 | |
| CN112419309B (zh) | 医学图像相位确定方法、装置、计算机设备和存储介质 | |
| Fathy | The Cerebral Arterial Tree Segmentation Software |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |