KR101906944B1 - Method for automatic classification of vascular lumen based on intravascular optical coherence tomography image and system thereof - Google Patents
Method for automatic classification of vascular lumen based on intravascular optical coherence tomography image and system thereof Download PDFInfo
- Publication number
- KR101906944B1 KR101906944B1 KR1020170096560A KR20170096560A KR101906944B1 KR 101906944 B1 KR101906944 B1 KR 101906944B1 KR 1020170096560 A KR1020170096560 A KR 1020170096560A KR 20170096560 A KR20170096560 A KR 20170096560A KR 101906944 B1 KR101906944 B1 KR 101906944B1
- Authority
- KR
- South Korea
- Prior art keywords
- lumen
- vessel
- ivoct
- guide wire
- detected
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000002792 vascular Effects 0.000 title claims description 21
- 238000012014 optical coherence tomography Methods 0.000 title claims description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000000877 morphologic effect Effects 0.000 claims description 25
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 230000001788 irregular Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 2
- 210000003462 vein Anatomy 0.000 claims 1
- 210000004204 blood vessel Anatomy 0.000 abstract description 21
- 230000003562 morphometric effect Effects 0.000 abstract 2
- 238000013425 morphometry Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 6
- 238000001990 intravenous administration Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G06K9/00885—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- G06K9/6202—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G06K2009/00932—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 혈관 내강의 컴퓨터 자동 분류 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 IVOCT(Intravascular Optical Coherence Tomography) 영상에서 정상 및 비정상 혈관 내강을 자동으로 분류하는 방법 및 시스템에 관한 것이다.More particularly, the present invention relates to a method and system for automatically classifying normal and abnormal vessels in IVOCT (Intravascular Optical Coherence Tomography) images.
의료 분야에서는 인체 내 생체 조직 등의 내부 구조를 관찰할 수 있는 방법이 주로 사용되고 있다. 예를 들어, X선(X-ray) 장치, CT(Computerized Tomography), MRI(Magnetic Resonance Image) 및 초음파(Ultrasound) 장치 등을 이용하여 인체 내 생체 조직에 대한 다양한 투과 영상 및 단층 영상을 촬영한다. 이러한 방법은 인체를 직접 절개하지 않고도 진단이 필요한 생체 조직의 내부 구조를 파악할 수 있다. 따라서 이러한 관찰 방법은 각종 질병을 진단하고 질병의 진행 과정을 파악할 수 있으므로, 진단 의학 분야에서는 매우 중요하다. 그러나 X선 장치는 방사선을 이용하기 때문에 인체에 해로운 영향을 끼칠 수 있다. CT는 촬영 기기의 크기가 매우 거대하고 가격이 비싸 일부 대형 병원에서만 제한적으로 이용되고 있다. MRI 및 초음파 장치는 촬영된 영상의 해상도가 떨어진다는 단점이 있다.
In the medical field, a method of observing the internal structure of living tissue in the human body is mainly used. For example, various transmissive images and tomographic images of living tissue in the human body are photographed using an X-ray device, a CT (Computerized Tomography), an MRI (Magnetic Resonance Image), and an ultrasonic device . This method can grasp the internal structure of a living tissue that requires diagnosis without directly cutting the human body. Therefore, this observation method is very important in the field of diagnostic medicine because it can diagnose various diseases and understand the progress of disease. However, X-ray devices use radiation, which can have a detrimental effect on the human body. CT is used in a limited number of large hospitals because the imaging equipment is very large and expensive. MRI and ultrasound devices have the disadvantage that the resolution of the captured images is low.
광간섭 단층 촬영법(Optical Coherence Tomography; OCT) 또는 혈관 내 광간섭 단층 촬영법(Intravascular Optical Coherence Tomography; IVOCT)은 광의 간섭 현상을 이용하여 인체 내의 혈관 내부를 고해상도로 촬영할 수 있다. 보다 구체적으로, 광간섭 단층 촬영법(IVOCT)은 카테터(Catheter)를 통해 파장이 짧은 간섭 광원을 조사하고, 반사되어 수집된 광을 분석함으로써, 혈관 조직의 미세한 부분의 단층을 서브-마이크론(Sub-micron) 영역까지 고해상도로 촬영할 수 있다. 이러한 광간섭 단층 촬영법(OCT) 또는 혈관 내 광간섭 단층 촬영법(IVOCT)은 인체에 무해하고 고 분해능(10-20㎛)의 영상을 획득하여 인체 내의 혈관 조직을 관찰할 수 있으므로 혈관 질환 등을 진단하는데 주로 사용되고 있다.
Optical Coherence Tomography (OCT) or Intravascular Optical Coherence Tomography (IVOCT) can capture high-resolution images of the inside of a human body using light interference. More specifically, the optical coherence tomography (IVOCT) is a technique of irradiating an interference light source with a short wavelength through a catheter and analyzing the light collected by reflection to form a monolayer of a minute portion of the vascular tissue as a sub- micron) area at high resolution. This optical coherence tomography (OCT) or intravascular optical coherence tomography (IVOCT) is a harmless and high resolution (10-20 ㎛) image acquired by the human body, .
영상의학과 의사는 혈관 내 광간섭 단층 촬영법(IVOCT)의 고해상도 영상을 판독하여 혈관 내강의 형태와 면적, 혈관 벽의 미세 구조, 관상 동맥, 및 혈관 내에 설치된 스텐트(Stent) 등을 확인할 수 있다. 그러나 의사가 IVOCT 영상을 판독한다고 하더라도, 혈관 내강의 형태가 무척이나 불규칙하고, 스텐드 등의 그림자로 인해 정상 혈관 내강과 비정상 혈관 내강을 명확하게 판단하기 어려워 진단 과정에서 오진을 내릴 가능성이 있다.
The surgeon can identify the shape and area of the lumen, the microstructure of the vessel wall, the coronary artery, and the stent installed in the blood vessel by reading the high-resolution image of the intravenous optical coherence tomography (IVOCT). However, even if the physician reads the IVOCT image, the shape of the lumen is very irregular, and it is difficult to clearly determine the normal vessel lumen and the abnormal vessel lumen due to the shadow of the stand.
관련된 선행 기술로는, 한국 공개특허 제10-2014-0133372호 ‘광 간섭 단층촬영기 및 이미징 카테터를 이용한 혈관 내 단면 영상 획득 시스템 및 방법’ 등이 제안된 바 있다.Related prior arts have been proposed in Korean Patent Laid-Open No. 10-2014-0133372 'System and method for acquiring intra-vascular cross-sectional image using optical coherence tomography and imaging catheter'.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, IVOCT 영상에서 혈관 내강의 경계를 자동으로 검출함으로써, 혈관 내강의 형태적 특징을 추출하고, 그 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강으로 분류할 수 있는, IVOCT 영상 기반 혈관 내강의 자동 분류 방법 및 시스템을 제공하는 것을 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the existing methods, and it is an object of the present invention to extract the morphological features of the lumen by automatically detecting the boundary of the lumen of the IVOCT image, It is an object of the present invention to provide a method and system for automatically classifying a lumen of the vascular lumen based on IVOCT images, which can be classified into a normal vessel lumen and an abnormal vessel lumen.
또한, 본 발명은, 혈관 내강의 형태적 특징에 의해 정상 혈관 내강과 비정상 혈관 내강으로 자동 분류됨으로써, 영상의학과 의사의 IVOCT 영상 판독 시 IVOCT 영상 분석 및 진단 과정을 보조하여 오진 확률을 획기적으로 감소시킬 수 있는, IVOCT 영상 기반 혈관 내강의 자동 분류 방법 및 시스템을 제공하는 것을 목적으로 한다.Further, the present invention automatically classifies the normal vessel lumen and the abnormal vessel lumen by the morphological characteristics of the lumen of the vessel, thereby greatly reducing the probability of misdiagnosis by assisting the IVOCT image analysis and diagnosis process in reading the IVOCT image of the surgeon The present invention provides a method and system for automatically classifying IVOCT image-based blood vessel lumens.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법은, 혈관 내 광간섭 단층 촬영법(IVOCT)으로 촬영한 IVOCT 영상을 이용하는 혈관 내강의 자동 분류 방법으로서, (1) 상기 IVOCT 영상에서 혈관 내강의 경계를 검출하여 혈관의 내강이 검출되는 단계; (2) 상기 단계 (1)에서 검출된 혈관 내강의 형태적 특징이 추출되는 단계; 및 (3) 상기 단계 (2)에서 추출된 혈관 내강의 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강으로 분류되는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
According to an aspect of the present invention, there is provided a method for automatically classifying vascular lumens based on IVOCT images, comprising: (1) automatically classifying vascular lumens using IVOCT images taken by intravenous optical coherence tomography (IVOCT) Detecting a lumen of a blood vessel by detecting a boundary of a lumen of the vessel in the IVOCT image; (2) extracting morphological features of the lumen detected in the step (1); And (3) classification into a normal vessel lumen and an abnormal vessel lumen according to morphological characteristics of the vessel lumen extracted in the step (2).
바람직하게는, 상기 단계 (1)은,Preferably, the step (1)
(1-1) 각각의 IVOCT 영상이 직각 좌표 영상으로 변환되는 단계를 포함할 수 있다.
(1-1) Each IVOCT image may be transformed into a rectangular coordinate image.
더욱 바람직하게는, 상기 단계 (1)은,More preferably, the step (1)
(1-2) 상기 단계 (1-1)에서 변환된 IVOCT 영상이 비대칭 가우시안 필터(Asymmetric Gaussian Filter)와 컨볼루션되어 혈관 내강의 초기 경계가 검출되는 단계를 더 포함할 수 있다.
(1-2) The IVOCT image converted in the step (1-1) may be convoluted with an asymmetric Gaussian filter to detect an initial boundary of the lumen of the vessel.
더욱더 바람직하게는, 상기 단계 (1)은,Even more preferably, the step (1)
(1-3) 상기 단계 (1-2)에서 검출된 혈관 내강의 초기 경계에서 가이드 와이어의 그림자 영역이 추출되는 단계를 더 포함할 수 있다.
(1-3) The step of extracting the shadow region of the guide wire from the initial boundary of the lumen detected in the step (1-2).
더욱더 바람직하게는, 상기 가이드 와이어의 그림자 영역은,Even more preferably, the shadow region of the guide wire is formed by a plurality of
행의 길이가 220 이상이고, 열의 너비가 105 픽셀 또는 175 픽셀 패턴일 수 있다.
The length of the row can be 220 or more, and the width of the column can be either 105 pixels or 175 pixels.
더욱더 바람직하게는, 상기 단계 (1)은,Even more preferably, the step (1)
(1-4) 상기 단계 (1-2)에서 검출된 혈관 내강의 초기 경계에서 상기 단계 (1-3)에서 추출된 가이드 와이어의 그림자 영역이 제거되고, 제거된 가이드 와이어의 그림자 영역이 보간되는 단계를 더 포함할 수 있다.
(1-4) At the initial boundary of the lumen detected in the step (1-2), the shadow region of the guide wire extracted at the step (1-3) is removed, and the shadow region of the removed guide wire is interpolated Step < / RTI >
더욱더 바람직하게는, 상기 단계 (1)은,Even more preferably, the step (1)
(1-5) 상기 단계 (1-4)에서 가이드 와이어의 그림자 영역이 제거된 혈관 내강의 초기 경계를 이용하여 미리 정해진 임계값보다 작은 영역이 스텐트 스트럿의 그림자 영역으로 검출되고, 상기 스텐트 스트럿의 그림자 영역이 미리 정해진 픽셀값으로 채워지는 단계를 더 포함할 수 있다.
(1-5) In the step (1-4), an area smaller than a predetermined threshold value is detected as a shadow region of the stent strut using the initial boundary of the lumen where the shadow region of the guide wire is removed, And the shadow region is filled with a predetermined pixel value.
더욱더 바람직하게는, 상기 단계 (1)은,Even more preferably, the step (1)
(1-6) 액티브 컨튜어 모델(Active Contour Model)을 이용하여 상기 혈관 내강의 초기 경계에서 불규칙한 혈관 내강의 경계가 검출되는 단계를 더 포함할 수 있다.
(1-6) The method may further include detecting an irregular boundary of the lumen of the vessel at an initial boundary of the vessel lumen using an active contour model.
바람직하게는, 상기 단계 (2)는,Preferably, the step (2)
상기 단계 (1)에서 검출된 혈관 내강으로부터 컨벡스 헐(Convex-hull)을 이용해 돌출부가 추출되고, 형상 특징과 질감 특징이 추출될 수 있다.
The protrusion can be extracted from the lumen detected in the step (1) by using the convex hull, and the shape feature and the texture feature can be extracted.
더욱 바람직하게는, 상기 단계 (3)은,More preferably, the step (3)
상기 단계 (2)에서 분석된 혈관 내강의 형상 특징과 질감 특징을 통해 서포트 벡터가 정의되고, SVM(Support Vector Machine)을 이용하여 정상 혈관 내강과 비정상 혈관 내강이 분류될 수 있다.
The support vector is defined through the shape feature and texture feature of the lumen analyzed in the step (2), and normal vascular lumen and abnormal vascular lumen can be classified using SVM (Support Vector Machine).
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 시스템은, 혈관 내 광간섭 단층 촬영법(IVOCT)으로 촬영한 IVOCT 영상을 이용하는 혈관 내강의 자동 분류 시스템으로서, (1) 상기 IVOCT 영상에서 혈관 내강의 경계를 검출하여 혈관의 내강을 검출하는 검출부; (2) 상기 검출부에서 검출한 혈관 내강의 형태적 특징을 추출하는 추출부; 및 (3) 상기 추출부에서 추출한 혈관 내강의 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강으로 분류하는 분류부를 포함하는 것을 그 구성상의 특징으로 한다.
According to an aspect of the present invention, there is provided an IVOCT image-based automatic classification system for a lumen of an internal vessel, which comprises an IVOCT image taken by an intravenous optical coherence tomography (IVOCT) ) A detector for detecting a lumen of a blood vessel by detecting a boundary of a lumen of the vessel in the IVOCT image; (2) an extracting unit for extracting a morphological characteristic of a lumen detected by the detecting unit; And (3) a classifier for classifying the normal lumen and the abnormal lumen according to the morphological characteristics of the lumen extracted from the extractor.
바람직하게는, 상기 검출부는,Preferably, the detecting unit includes:
각각의 IVOCT 영상을 직각 좌표 영상으로 변환하는 변환 모듈을 포함할 수 있다.
And a transformation module for transforming each IVOCT image into a rectangular coordinate image.
더욱 바람직하게는, 상기 검출부는,More preferably, the detecting unit includes:
상기 변환 모듈에서 변환한 IVOCT 영상을 비대칭 가우시안 필터(Asymmetric Gaussian Filter)와 컨볼루션하여 혈관 내강의 초기 경계를 검출하는 제1 경계 검출 모듈을 더 포함할 수 있다.
And a first boundary detection module for detecting an initial boundary of the lumen of the vessel by convoluting the IVOCT image converted by the conversion module with an asymmetric Gaussian filter.
더욱더 바람직하게는, 상기 검출부는,Even more preferably,
상기 제1 경계 검출 모듈에서 검출한 혈관 내강의 초기 경계에서 가이드 와이어의 그림자 영역을 추출하는 영역 추출 모듈을 더 포함할 수 있다.
And a region extraction module for extracting a shadow region of the guide wire at an initial boundary of the lumen detected by the first boundary detection module.
더욱더 바람직하게는, 상기 가이드 와이어의 그림자 영역은,Even more preferably, the shadow region of the guide wire is formed by a plurality of
행의 길이가 220 이상이고 열의 너비가 105 픽셀 또는 175 픽셀 패턴일 수 있다.
The length of the row can be 220 or more and the width of the column can be either 105 pixels or 175 pixels.
더욱더 바람직하게는, 상기 검출부는,Even more preferably,
상기 제1 경계 검출 모듈에서 검출한 혈관 내강의 초기 경계에서 상기 영역 추출 모듈에서 추출한 가이드 와이어의 그림자 영역을 제거하고, 제거한 가이드 와이어의 그림자 영역을 보간하는 영역 제거 및 보간 모듈을 더 포함할 수 있다.
And an area removal and interpolation module that removes the shadow area of the guide wire extracted from the area extraction module at the initial border of the lumen detected by the first boundary detection module and interpolates the shadow area of the removed guide wire .
더욱더 바람직하게는, 상기 검출부는,Even more preferably,
상기 영역 제거 및 보간 모듈에서 가이드 와이어의 그림자 영역을 제거한 혈관 내강의 초기 경계를 이용하여 미리 정해진 임계값보다 작은 영역을 스텐트 스트럿의 그림자 영역으로 검출하고, 상기 스텐트 스트럿의 그림자 영역을 미리 정해진 픽셀값으로 채우는 스텐트 스트럿 처리 모듈을 더 포함할 수 있다.
Detecting an area smaller than a predetermined threshold value as a shadow region of the stent strut using the initial boundary of the lumen of the vessel where the shadow region of the guide wire is removed from the region removing and interpolating module and setting the shadow region of the stent strut as a predetermined pixel value And a stent strut processing module that fills the stent struts with the stent strut processing module.
더욱더 바람직하게는, 상기 검출부는,Even more preferably,
액티브 컨튜어 모델(Active Contour Model)을 이용하여 상기 혈관 내강의 초기 경계에서 불규칙한 혈관 내강의 경계를 검출하는 제2 경계 검출 모듈을 더 포함할 수 있다.
And a second boundary detection module for detecting an irregular boundary of the lumen of the vessel by using an active contour model.
바람직하게는, 상기 추출부는,Preferably, the extracting unit extracts,
상기 검출부에서 검출한 혈관 내강으로부터 컨벡스 헐(Convex-hull)을 이용해 돌출부를 추출하고, 형상 특징과 질감 특징을 추출할 수 있다.
The protrusion can be extracted from the lumen of the vessel detected by the detection unit by using the convex hull, and the shape feature and the texture feature can be extracted.
더욱 바람직하게는, 상기 분류부는,More preferably, the classifying section includes:
상기 추출부에서 추출한 혈관 내강의 형상 특징과 질감 특징을 통해 서포트 벡터를 정의하고, SVM(Support Vector Machine)을 이용하여 정상 혈관 내강과 비정상 혈관 내강을 분류할 수 있다.Support vectors can be defined through shape features and texture features of the lumen extracted from the extraction unit, and normal vascular lumens and abnormal vascular lumens can be classified using SVM (Support Vector Machine).
본 발명에서 제안하고 있는 IVOCT 영상 기반 혈관 내강의 자동 분류 방법 및 시스템에 따르면, IVOCT 영상에서 혈관 내강의 경계를 자동으로 검출함으로써, 혈관 내강의 형태적 특징을 추출하고, 그 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강으로 분류할 수 있다.
According to the IVOCT image-based automatic classification method and system of the present invention, the morphological feature of the lumen is extracted by automatically detecting the border of the lumen of the IVOCT image, and according to the morphological characteristic, It can be classified as luminal and abnormal vessel lumen.
또한, 본 발명에서 제안하고 있는 IVOCT 영상 기반 혈관 내강의 자동 분류 방법 및 시스템에 따르면, 혈관 내강의 형태적 특징에 의해 정상 혈관 내강과 비정상 혈관 내강으로 자동 분류됨으로써, 영상의학과 의사의 IVOCT 영상 판독 시 IVOCT 영상 분석 및 진단 과정을 보조하여 오진 확률을 획기적으로 감소시킬 수 있다.In addition, according to the IVOCT image-based automatic classification method and system of the present invention, the IVOCT image is automatically classified into the normal vessel lumen and the abnormal vessel lumen by morphological features of the vessel lumen, IVOCT image analysis and diagnosis process can be assisted to greatly reduce the probability of misdiagnosis.
도 1은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법의 워크플로우를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법의 구성을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 단계 S100의 구성을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 비대칭 가우시안 필터의 형태를 도시한 도면.
도 5는 IVOCT 영상에서 가이드 와이어의 그림자 영역을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 가이드 와이어의 그림자 영역이 추출되는 모습을 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 제거된 가이드 와이어의 그림자 영역이 보간되는 모습을 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 스텐트 스트럿의 그림자 영역이 검출되고, 미리 정해진 픽셀값으로 채워지는 모습을 도시한 도면.
도 9는 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 혈관 내강의 형상 특징과 질감 특징이 추출되는 모습을 도시한 도면.
도 10은 본 발명의 다른 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 시스템의 구성을 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram illustrating a workflow of a method for automatically classifying IVOCT image-based vascular lumens according to one embodiment of the present invention. FIG.
FIG. 2 is a diagram illustrating a method of automatically classifying IVOCT-image-based vascular lumens according to an embodiment of the present invention.
3 is a diagram illustrating a configuration of step S100 in a method for automatically classifying IVOCT images based on a lumen of an endotracheal according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a shape of an asymmetric Gaussian filter in a method of automatically classifying IVOCT images based on a vessel lumen according to an embodiment of the present invention. FIG.
5 is a diagram illustrating a shadow region of a guide wire in an IVOCT image.
FIG. 6 is a diagram illustrating a shadow area of a guide wire extracted in an IVOCT image-based automatic classification method for a vessel lumen according to an exemplary embodiment of the present invention. FIG.
FIG. 7 is a view illustrating a shadow region of a guide wire removed in a method of automatically classifying IVOCT images based on an IVOCT image according to an embodiment of the present invention. FIG.
8 is a diagram illustrating a shadow region of a stent strut detected in a method of automatically classifying a lumen of an IVOCT image based on an embodiment of the present invention and filled with predetermined pixel values.
9 is a view showing a shape feature and a texture feature of a lumen in an IVOCT image-based automated lumen classification method according to an embodiment of the present invention.
FIG. 10 is a diagram illustrating a configuration of an IVOCT image-based automated luminal classification system according to another embodiment of the present invention. FIG.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.
도 1은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법의 워크플로우를 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법은, IVOCT 영상에 대한 데이터베이스를 구축하고, IVOCT 영상을 처리하며, IVOCT 영상에서 정상 또는 비정상 혈관 내강을 분류할 수 있다. 보다 구체적으로, IVOCT 영상에 대한 데이터베이스는 IVOCT 영상 분류에 사용되는 머신 러닝(Machine Learning)을 위한 데이터로 사용될 수 있다. 영상 처리에서는, 분류를 위한 전처리(Preprocessing)가 수행된다. 이후 불규칙한 혈관 내강을 정확하게 검출하기 위한 내강 분할(Lumen Segmentation)을 거쳐 혈관 내강에 대한 특징 추출(Feature Extraction)이 이루어진다. 마지막으로, 추출된 특징을 통해 머신 러닝으로 학습된 분류기를 이용하여 IVOCT 영상에서 정상 혈관 내강과 비정상 혈관 내강이 분류될 수 있다.
FIG. 1 is a diagram illustrating a workflow of a method of automatically classifying IVOCT images based on a vessel lumen according to an embodiment of the present invention. Referring to FIG. As shown in FIG. 1, a method for automatically classifying IVOCT images based on IVOCT images according to an exemplary embodiment of the present invention includes constructing a database for IVOCT images, processing IVOCT images, and analyzing IVOCT images using normal or abnormal vessels Can be classified. More specifically, the database for IVOCT images can be used as data for machine learning used in IVOCT image classification. In image processing, preprocessing for classification is performed. Lumen segmentation is then performed to accurately detect irregular lumen lumen, and feature extraction is performed on the lumen lumen. Finally, we can classify normal and abnormal vascular lumens in IVOCT images using classifier learned by machine learning through extracted features.
본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법은, IVOCT 영상이 분석되어 정상 혈관 내강과 비정상 혈관 내강으로 자동으로 분류되며, 의사의 임상적 판단 및 인체에 직접적이면서도 비일시적인 영향을 주는 단계를 포함하지 않으므로, 산업상 이용가능성이 인정될 수 있다.
The IVOCT image-based automatic classification method of the lumen according to an embodiment of the present invention is characterized in that the IVOCT image is analyzed and classified into normal vessel lumen and abnormal vessel lumen, and the clinical judgment and direct temporal influence And therefore, the possibility of industrial use can be recognized.
도 2는 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법은, 혈관 내 광간섭 단층 촬영법(IVOCT)으로 촬영한 IVOCT 영상을 이용하는 혈관 내강의 자동 분류 방법으로서, (1) IVOCT 영상에서 혈관 내강의 경계를 검출하여 혈관 내강이 검출되는 단계(S100), (2) 단계 S100에서 검출된 혈관 내강의 형태적 특징이 추출되는 단계, 및 (3) 단계 S200에서 추출된 혈관 내강의 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강으로 분류되는 단계를 포함할 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법의 각각의 단계에 대해 상세히 설명하기로 한다.
FIG. 2 is a diagram illustrating a method of automatically classifying IVOCT-image-based vascular lumens according to an embodiment of the present invention. As shown in FIG. 2, the automatic classification method of IVOCT image-based vascular lumen according to an embodiment of the present invention is a method of automatically classifying vascular lumen using IVOCT images taken by intravenous optical coherence tomography (IVOCT) (1) a step of detecting the lumen of the vessel by detecting the boundary of the vessel lumen in the IVOCT image (S100), (2) extracting morphological features of the vessel lumen detected in step S100, and (3) And classified into a normal vessel lumen and an abnormal vessel lumen according to the morphological characteristics of the extracted vessel lumen. Hereinafter, each step of the IVOCT image-based automatic classification method of the lumen of the lumen according to the embodiment of the present invention will be described in detail.
도 3은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 단계 S100의 구성을 도시한 도면이다. 단계 S100에서는, IVOCT 영상에서 혈관 내강의 경계를 검출하여 혈관 내강이 검출될 수 있다. 보다 구체적으로, 도 4에 도시된 바와 같이, 단계 S100은, 각각의 IVOCT 영상이 직각 좌표 영상으로 변환되는 단계(S110), 단계 S110에서 변환된 영상이 비대칭 가우시안 필터와 컨볼루션되어 혈관 내강의 초기 경계가 검출되는 단계(S120), 단계 S120에서 검출된 혈관 내강의 초기 경계에서 가이드 와이어의 그림자 영역이 추출되는 단계(S130), 단계 S120에서 검출된 혈관 내강의 초기 경계에서 단계 S130에서 추출된 가이드 와이어의 그림자 영역이 제거되고, 제거된 가이드 와이어의 그림자 영역이 보간되는 단계(S140), 단계 S140에서 가이드 와이어의 그림자 영역이 제거된 혈관 내강의 초기 경계를 이용하여 미리 정해진 임계값보다 낮은 영역이 스텐트 스트럿의 그림자 영역으로 검출되고, 스텐트 스트럿의 그림자 영역이 미리 정해진 픽셀값으로 채워지는 단계(S150), 및 액티브 컨튜어 모델(Active Contour Model)을 이용하여 혈관 내강의 초기 경계에서 불규칙한 혈관 내강의 경계가 검출되는 단계(S160)를 포함할 수 있다.
FIG. 3 is a diagram illustrating a configuration of step S100 in a method of automatically classifying IVOCT images based on a lumen of an endotracheal according to an embodiment of the present invention. In step S100, the lumen of the vessel can be detected by detecting the boundary of the vessel lumen in the IVOCT image. More specifically, as shown in FIG. 4, in operation S100, each of the IVOCT images is transformed into a rectangular coordinate image in operation S110. In operation S110, the transformed image is convolved with an asymmetric Gaussian filter, (S130) in which a shadow region of the guide wire is extracted at an initial boundary of the lumen detected at step S120, a step S130 of extracting a shadow region of the guide wire at the initial boundary of the lumen detected at step S120 In step S140, a shadow area of the wire is removed and a shadow area of the removed guide wire is interpolated. In step S140, a region lower than a predetermined threshold value is determined using the initial boundary of the lumen of the vessel where the shadow region of the guide wire is removed A step S150 of detecting a shadow region of the stent strut and filling a shadow region of the stent strut with a predetermined pixel value, And a step S160 of detecting an irregular border of the lumen of the vessel lumen using an active contour model.
단계 S110에서는, 각각의 IVOCT 영상이 직각 좌표 영상으로 변환될 수 있다. 즉, 단계 S110에서는, IVOCT 영상을 직각 좌표 영상으로 변환함으로써, IVOCT 영상을 구성하는 각각의 픽셀에 대한 좌표 정보를 얻을 수 있다. 그 결과 IVOCT 영상은 행렬로 변환될 수 있다. 단계 S110은, 후술하는 단계 S120에서 IVOCT 영상을 비대칭 가우시안 필터와 컨볼루션하기 위한 전처리 단계에 해당한다.
In step S110, each IVOCT image can be converted into a rectangular coordinate image. That is, in step S110, coordinate information for each pixel constituting the IVOCT image can be obtained by converting the IVOCT image to the rectangular coordinate image. As a result, the IVOCT image can be transformed into a matrix. Step S110 corresponds to a preprocessing step for convolving the IVOCT image with the asymmetric Gaussian filter in step S120 described later.
도 4는 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 비대칭 가우시안 필터의 형태를 도시한 도면이다. 단계 S120에서는, 단계 S110에서 변환된 IVOCT 영상이 비대칭 가우시안 필터와 컨볼루션되어 혈관 내강의 초기 경계가 검출될 수 있다. 필터는 어떠한 특징이 데이터에 있는지 여부를 검출해주는 함수로서, 행렬로 구성될 수 있다. 즉, 필터는 변환된 직각 좌표 영상과 컨볼루션되어 그 특징이 영상에 포함되어 있다면 결과값이 큰 값이 나오며, 그 특징이 포함되어 있지 않다면 결과값이 0으로 수렴하므로, 데이터가 그 특징을 가지고 있는지 여부를 판단할 수 있다. 비대칭 가우시안 필터(Asymmetric Gaussian Filter)는, IVOCT 영상에서 혈관 내강의 초기 경계를 검출하기 위한 필터일 수 있다. 도 4에 도시된 바와 같이, 비대칭 가우시안 필터는, 가우시안 함수를 따르면서 사인곡선적(Sinusoidal) 형태의 크기 31×5의 필터로, 그 구성은 다음의 표 1과 같다.FIG. 4 is a diagram illustrating a shape of an asymmetric Gaussian filter in an IVOCT image-based automatic classification method of a lumen according to an embodiment of the present invention. In step S120, the IVOCT image converted in step S110 is convolved with the asymmetric Gaussian filter so that the initial boundary of the lumen can be detected. A filter is a function that detects whether or not a feature exists in data, and can be composed of a matrix. That is, if the filter is convoluted with the transformed Cartesian coordinate image and the feature is included in the image, the result value is large. If the feature is not included, the result converges to 0, Or not. The asymmetric Gaussian filter may be a filter for detecting the initial boundary of the lumen of the IVOCT image. As shown in Fig. 4, the asymmetric Gaussian filter is a sinusoidal-shaped filter having a size of 31 x 5 according to the Gaussian function, and its configuration is shown in Table 1 below.
비대칭 가우시안 필터는 혈관 내강의 초기 경계를 검출하기 위해 사용되며, 이러한 혈관 내강의 초기 경계에 후술하는 액티브 컨튜어 모델(Active Contour Model)을 이용하여 혈관 내강의 초기 경계로부터 혈관 내강의 경계가 정확하게 검출될 수 있다. 보다 구체적으로, 비대칭 가우시안 필터를 IVOCT 영상과 컨볼루션한 후, 필터의 중간 좌표에 필터 값들의 합을 넣은 다음 각각의 열의 최대값을 찾게 되면 혈관 내강의 초기 경계선을 검출할 수 있다. 따라서 단계 S120에서는, IVOCT 영상이 비대칭 가우시안 필터와 컨볼루션되어 혈관 내강의 초기 경계가 검출될 수 있다.
The asymmetric Gaussian filter is used to detect the initial boundary of the lumen of the vessel. The active contour model, which will be described later, is used to accurately detect the boundary of the lumen from the initial boundary of the vessel lumen . More specifically, after the asymmetric Gaussian filter is convoluted with the IVOCT image, the sum of the filter values is inserted into the intermediate coordinates of the filter, and the maximum value of each column is found, thereby detecting the initial boundary of the vessel lumen. Thus, in step S120, the IVOCT image may be convolved with the asymmetric Gaussian filter to detect the initial boundary of the lumen of the vessel.
도 5는 IVOCT 영상에서 가이드 와이어의 그림자 영역을 예시한 도면이다. 또한, 도 6은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 가이드 와이어의 그림자 영역이 추출되는 모습을 도시한 도면이다. 단계 S130에서는, 단계 S120에서 검출된 혈관 내강의 초기 경계에서 가이드 와이어의 그림자 영역이 추출될 수 있다. 여기서, 가이드 와이어의 그림자 영역은, 가이드 와이어(Guide Wire)가 빛을 모두 흡수하여 가이드 와이어 뒤쪽은 검정색의 그림자가 생기는 영역을 의미한다. IVOCT 영상에는 이러한 가이드 와이어의 그림자 영역이 존재한다. 도 5를 참조하면, 가이드 와이어의 그림자 영역은 점선 영역에 해당한다. 단계 S130에서는, 후술하는 단계 S140에서 가이드 와이어의 그림자 영역을 제거하기 위한 전처리 단계로서, 가이드 와이어의 그림자 영역을 추출할 수 있다. 비대칭 가우시안 필터를 통해 혈관 내강의 초기 경계를 검출하면 도 6과 같은 결과를 얻는다. 이때, 일반적으로 가이드 와이어의 그림자 영역은 IVOCT 영상에서 일정한 영역에 해당하는 패턴을 가질 수 있다. 이러한 가이드 와이어의 그림자 영역은, 행의 길이가 220 이상이고, 열의 너비가 105 픽셀 또는 175 픽셀 패턴일 수 있다. 도 6을 참조하면, 추출된 가이드 와이어의 그림자 영역은 시작점과 끝점으로 표시되어 있다.
FIG. 5 is a diagram illustrating a shadow region of a guide wire in an IVOCT image. FIG. FIG. 6 is a diagram illustrating a shadow area of a guide wire extracted in an IVOCT image-based automated lumen classification method according to an exemplary embodiment of the present invention. Referring to FIG. In step S130, the shadow region of the guide wire can be extracted at the initial border of the lumen detected in step S120. Here, the shadow region of the guide wire means an area where a guide wire absorbs light and a black shadow appears behind the guide wire. In the IVOCT image, there is a shadow region of such a guide wire. Referring to FIG. 5, the shadow area of the guide wire corresponds to the dotted area. In step S130, the shadow area of the guide wire can be extracted as a preprocessing step for removing the shadow area of the guide wire in step S140 described later. When the initial boundary of the vessel lumen is detected through the asymmetric Gaussian filter, the result as shown in FIG. 6 is obtained. At this time, the shadow region of the guide wire may have a pattern corresponding to a certain region in the IVOCT image. The shadow region of such a guide wire may have a row length of 220 or more and a column width of 105 pixels or 175 pixels. Referring to FIG. 6, the shadow region of the extracted guide wire is indicated by a start point and an end point.
도 7은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 제거된 가이드 와이어의 그림자 영역이 보간되는 모습을 도시한 도면이다. 단계 S140에서는, 단계 S120에서 검출된 혈관 내강의 초기 경계에서 단계 S130에서 추출된 가이드 와이어의 그림자 영역이 제거되고, 제거된 가이드 와이어의 그림자 영역이 보간될 수 있다. 영상 처리 과정에서 가이드 와이어의 그림자 영역은 아티팩트(Artifact)로 간주되기 때문에, IVOCT 영상에서 제거되어야 한다. 특히, 임계값(Thresholding) 기반의 경계 검출 방법을 이용하여 혈관 내강의 경계를 검출할 때, 가이드 와이어의 그림자 영역의 낮은 픽셀값 때문에 혈관 내강의 경계가 잘못 검출될 수 있다. 따라서 가이드 와이어의 그림자 영역을 제거하고, 혈관 내강의 경계에 맞게 가이드 와이어의 그림자 영역을 보간하여야 한다. 단계 S140에서는, IVOCT 영상에서 가이드 와이어의 그림자 영역이 제거되고, 제거된 영역이 보간될 수 있다. 도 7에 도시된 바와 같이, 단계 S140에서는, IVOCT 영상에서 가이드 와이어의 그림자 영역을 보간하기 위해 선형 보간 방법이 사용될 수 있다. 그러나 영상 처리 및 분류 단계에서 영향을 끼치지 않도록 IVOCT 영상을 보간할 수 있다면, 선형 보간 방법으로 한정되지는 않는다.
FIG. 7 is a diagram illustrating a shadow region of a guide wire removed in the IVOCT image-based automatic classification method for a lumen of an endoscope according to an embodiment of the present invention. In step S140, the shadow area of the guide wire extracted in step S130 is removed from the initial boundary of the lumen detected in step S120, and the shadow area of the removed guide wire may be interpolated. In the image processing, the shadow area of the guidewire is regarded as an artifact, so it must be removed from the IVOCT image. In particular, when detecting the boundary of the lumen using thresholding based boundary detection, the boundary of the lumen can be erroneously detected due to the low pixel value of the shadow region of the guide wire. Therefore, the shadow region of the guide wire should be removed and the shadow region of the guide wire should be interpolated to fit the border of the lumen. In step S140, the shadow region of the guide wire is removed from the IVOCT image, and the removed region can be interpolated. As shown in Fig. 7, in step S140, a linear interpolation method can be used to interpolate the shadow region of the guide wire in the IVOCT image. However, if the IVOCT image can be interpolated so as not to affect the image processing and classification stages, it is not limited to the linear interpolation method.
도 8은 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 스텐트 스트럿의 그림자 영역이 검출되고, 미리 정해진 픽셀값으로 채워지는 모습을 도시한 도면이다. 도 8에 도시된 바와 같이, 단계 S150에서는, 단계 S140에서 가이드 와이어의 그림자 영역이 제거된 혈관 내강의 초기 경계를 이용하여 미리 정해진 임계값보다 낮은 영역이 스텐트 스트럿의 그림자 영역으로 검출되고, 스텐트 스트럿의 그림자 영역이 미리 정해진 픽셀값으로 채워질 수 있다. 여기서, 스텐트 스트럿(Stent strut)은, 스텐트를 지지하는 구성에 해당한다. 스텐트 스트럿의 그림자 영역은 가이드 와이어의 그림자 영역과 마찬가지로, 영상 처리 과정에서 아티팩트(Artifact)로 간주되기 때문에, IVOCT 영상에서 제거되어야 한다. 단계 S150에서는, IVOCT 영상에서 스텐트 스트럿이 강한 픽셀값을 가지며, 뒤쪽으로 그림자 영역(낮은 픽셀값)을 가지는 패턴 특징을 검출할 수 있다. 단계 S150에서는, 먼저, 검출된 혈관 내강의 경계가 상단으로 다시 배치된다. 그런 다음 전체 열의 평균을 구한 후, 각각의 열이 전체 열의 평균으로 나누어진다. 스텐트가 존재하는 열은 나뉘어진 값이 작기 때문에, 미리 정해진 임계값보다 작은 구간은 스텐트 스트럿으로 판단된다. 여기서, 미리 정해진 임계값은 0.55일 수 있으나, 이에 한정되지 않고 다양하게 설정될 수 있다. 이때, 스텐트 스트럿이 존재하지 않는 혈관 내강은 단계 S150이 수행되더라도 오브젝트가 검출되지 않는다.
FIG. 8 is a diagram illustrating a shadow region of a stent strut detected in a method for automatically classifying a lumen of an IVOCT image based on an embodiment of the present invention, and is filled with predetermined pixel values. 8, in step S150, an area lower than a predetermined threshold value is detected as a shadow region of the stent strut using the initial boundary of the lumen of the vessel where the shadow region of the guide wire is removed in step S140, May be filled with predetermined pixel values. Here, the stent strut corresponds to a structure for supporting the stent. The shadow region of the stent strut should be removed from the IVOCT image, as it is considered an artifact in the image processing process, as is the shadow region of the guidewire. In step S150, a stent strut in the IVOCT image has a strong pixel value, and a pattern feature having a shadow area (low pixel value) in the backward direction can be detected. In step S150, first, the boundary of the detected intravascular lumen is arranged again to the top. Then, after the average of the whole columns is obtained, each column is divided by the average of the whole column. Since the column in which the stent is present has a small divided value, a section smaller than a predetermined threshold value is determined as a stent strut. Here, the predetermined threshold value may be 0.55, but it is not limited to this and may be variously set. At this time, even if the lumen without the stent strut is performed in step S150, the object is not detected.
단계 S150에서는, 스텐트 스트럿의 그림자 영역이 혈관 내강의 경계와 구별되도록 미리 정해진 픽셀값으로 채워질 수 있다. 스텐트 스트럿의 그림자 영역을 변환하지 않을 경우, 혈관 내강의 경계 검출 시 스텐트 스트럿의 그림자 영역이 아티팩트(Artifact)로 작용할 수 있기 때문이다. 여기서, 미리 정해진 픽셀값은, 혈관 층에 해당하는 픽셀 값을 의미한다. 도 8을 참조하면, 미리 정해진 픽셀값은, 스텐트 스트럿의 위치가 검출된 후, 스텐트 스트럿의 그림자 영역 주변부의 픽셀값들과 비슷한 픽셀값일 수 있다. 미리 정해진 픽셀값은, 스텐트 스트럿의 그림자 영역 주변부의 픽셀값들보다 작지만 않다면, 혈관 층에 따라 다양하게 설정될 수 있다.
In step S150, the shadow region of the stent strut may be filled with a predetermined pixel value so as to be distinguished from the border of the lumen of the vessel. If the shadow region of the stent strut is not transformed, the shadow region of the stent strut may act as an artifact when the boundary of the lumen is detected. Here, the predetermined pixel value means a pixel value corresponding to the blood vessel layer. Referring to FIG. 8, the predetermined pixel value may be a pixel value similar to the pixel values around the shadow region of the stent strut after the position of the stent strut is detected. The predetermined pixel value can be set variously according to the blood vessel layer, if not smaller than the pixel values around the shadow region of the stent strut.
단계 S160에서는, 액티브 컨튜어 모델(Active Contour Model; ACM)을 이용하여 혈관 내강의 초기 경계에서 불규칙한 혈관 내강의 경계가 검출될 수 있다. 여기서, 액티브 컨튜어 모델(ACM)은, 능동적으로 물체의 윤곽선을 추출하는 방법을 의미한다. 액티브 컨튜어 모델(ACM)은, Snakes로도 알려져 있으며, 전역적으로 정의된 경계를 최적화하는 방향으로 경계를 추출할 수 있다. 이외에도 Snakes와 달리 국소적/독립적으로 경계를 계산하는 ASM(Active Shape Model) 또는 AAM(Active Appearance Model) 등이 사용될 수 있으나, 이에 한정되는 것은 아니다. 이처럼 단계 S100의 세부 단계를 통해 IVOCT 영상에서 혈관 내강의 경계가 정확히 검출됨으로써, 혈관 내강이 검출될 수 있다.
In step S160, an irregular border of the lumen can be detected at the initial boundary of the lumen using an active contour model (ACM). Here, the active contour model (ACM) means a method of actively extracting contours of objects. The Active Container Model (ACM), also known as Snakes, can extract boundaries in a direction that optimizes globally defined boundaries. In addition, unlike Snakes, ASM (Active Shape Model) or AAM (Active Appearance Model) that calculates boundaries locally / independently may be used but is not limited thereto. As described above, the boundary of the lumen in the IVOCT image is accurately detected through the detailed steps of step S100, so that the lumen can be detected.
도 9는 본 발명의 일 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 방법에서 혈관 내강의 형상 특징과 질감 특징이 추출되는 모습을 도시한 도면이다. 단계 S200에서는, 단계 S100에서 검출된 혈관 내강의 형태적 특징이 추출될 수 있다. 여기서, 혈관 내강의 형태적 특징은 혈관 내강의 형상 특징과 질감 특징을 포함할 수 있다. 보다 구체적으로, 단계 S200에서는, 단계 S100에서 검출된 혈관 내강으로부터 컨벡스 헐(Convex-hull)을 이용해 돌출부가 추출되고, 형상 특징과 질감 특징이 추출될 수 있다. 즉, 단계 S200에서는, 후술하는 단계 S300에서 정상 혈관 내강과 비정상 혈관 내강으로 분류하기 위해 혈관 내강의 형태적 특징이 추출될 수 있다.
FIG. 9 is a view showing a shape feature and a texture feature of an intravascular lumen extracted from the IVOCT image-based automated lumen classification method according to an embodiment of the present invention. In step S200, morphological features of the intravascular lumen detected in step S100 can be extracted. Here, the morphological characteristic of the lumen of the vessel may include shape characteristics and texture characteristics of the vessel lumen. More specifically, in step S200, protrusions are extracted from the lumen of the vessel detected in step S100 using Convex-hull, and shape features and texture features can be extracted. That is, in step S200, morphological features of the lumen of the blood vessel can be extracted for classification into normal vessel lumen and abnormal vessel lumen in step S300 described later.
도 9를 참조하면, 단계 S200에서는, 형상 특징과 질감 특징을 추출하고, 커버되지 않은 스텐트 영역(Uncovered stent area)을 제거하기 위해 컨벡스 헐 알고리즘이 사용될 수 있다. 여기서, 커버되지 않은 스텐트 영역은 혈관 내강에 제대로 부착되지 못한 스텐트 해당하는 영역을 의미한다. 또한, 컨벡스 헐은 여러 개의 점이 주어졌을 때, 모든 점들을 포함하는 최소 크기의 다각형을 생성하는 알고리즘이다. 즉, 단계 S200에서는, 컨벡스 헐에 의해 단계 S100에서 검출된 혈관 내강의 경계점을 모두 포함하는 다각형이 생성될 수 있다. 단계 S200에서는, 컨벡스 헐 알고리즘에 의해 정의된 혈관 내강 영역과 IVOCT 영상에서 원본 추출된 혈관 내강 영역의 차를 통해 돌출부가 추출될 수 있고, 형상 특징과 질감 특징이 추출될 수 있다. 혈관 내강 영역 안으로 돌출된 부분(돌출부)은 임상적으로 대부분 비정상적인 병변에 해당되고, 이 병변 영역의 질감이 불규칙하게 변하기 때문이다. 여기서, 형상 특징은, Solidity, Bending Energy, Curvature(mean, curvature multiplication, curvature ratio), Compactness, Circularity 및 Fourier Descriptor based on Centroid Distance Function을 포함하며, 질감 특징은 Gray-level co-occurrence matrix를 포함할 수 있다. 이때, 컨벡스 헐을 통해 추출된 혈관 내강 영역에서 돌출부는 혈관 벽과 같은 픽셀값을 가지지만, 커버되지 않은 스텐트는 상대적으로 매우 낮은 픽셀값을 가진다. 따라서 단계 S200에서는, 상대적으로 매우 낮은 픽셀값을 가지는 픽셀들이 제거됨으로써 커버되지 않은 스텐트 영역이 제거될 수 있다.
Referring to FIG. 9, in step S200, a convex hull algorithm may be used to extract shape features and texture features, and to remove uncovered stent areas. Here, the uncovered stent region refers to a region corresponding to a stent that is not adhered to the lumen of the blood vessel. Convex Hull is an algorithm that generates a minimum size polygon that contains all points when given multiple points. That is, in step S200, a polygon including all of the boundary points of the lumen detected in step S100 by convex hulling can be generated. In step S200, the protrusion can be extracted through the difference between the lumenal lumen area defined by the convex hull algorithm and the original lumen area from the IVOCT image, and the shape feature and the texture feature can be extracted. The protruding portion (protrusion) into the luminal area is clinically most abnormal, and the texture of this lesion area changes irregularly. Here, the shape characteristics include Solidity, Bending Energy, Curvature (mean, curvature multiplication, curvature ratio), Compactness, Circularity and Fourier Descriptor based on Centroid Distance Function, . At this time, in the lumen area extracted through the convex hull, the protrusions have the same pixel value as the blood vessel wall, but the uncovered stent has a relatively low pixel value. Accordingly, in step S200, the pixels having relatively low pixel values are removed, so that the uncovered stent area can be removed.
단계 S300에서는, 단계 S200에서 추출된 혈관 내강의 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강으로 분류될 수 있다. 보다 구체적으로, 단계 S300에서는, 단계 S200에서 추출된 혈관 내강의 형상 특징과 질감 특징을 통해 서포트 벡터가 정의되고, SVM(Support Vector Machine)을 이용하여 정상 혈관 내강과 비정상 혈관 내강이 분류될 수 있다. 마진(Margin)은 분류를 위한 경계선과 이러한 경계선에 가장 가까운 데이터 사이의 거리를 의미하며, 이때 해당 경계선에 가장 가까운 데이터가 서포트 벡터(Support Vector)이다. SVM은 마진이 최대가 되도록 데이터를 분류하는 알고리즘으로, 경계선에 가장 가까이 있는 서포트 벡터를 지나는 선과 거리가 최대가 되는 경계선을 구함으로써 데이터를 분류할 수 있다. 즉, 단계 S300에서는, 혈관 내강의 형상 특징과 질감 특징에 대한 차원에서 서포트 벡터를 지나는 선과 거리가 최대가 되도록 구해진 경계선에 의해 정상 혈관 내강과 비정상 혈관 내강으로 분류될 수 있다.
In step S300, it can be classified into the normal vessel lumen and the abnormal vessel lumen according to the morphological characteristics of the lumen of the vessel lumen extracted in step S200. More specifically, in step S300, a support vector is defined based on shape features and texture characteristics of the lumen of the vessel lumen extracted in step S200, and normal vascular lumens and abnormal vascular lumens can be classified using SVM (Support Vector Machine) . Margin is the distance between the boundary for classification and the data closest to this boundary, where the nearest data is the support vector. SVM is an algorithm that classifies the data so that the margin is maximized. The data can be classified by obtaining a line passing through the support vector nearest to the boundary and a boundary having the maximum distance. That is, in the step S300, it can be classified into the normal vessel lumen and the abnormal vessel lumen by the boundary line obtained so as to maximize the distance and line passing through the support vector in terms of the shape characteristic and texture characteristic of the lumenal lumen.
도 10은 본 발명의 다른 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 시스템의 구성을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 시스템은, 혈관 내 광간섭 단층 촬영법(IVOCT)으로 촬영한 IVOCT 영상을 이용하는 혈관 내강의 자동 분류 시스템으로서, IVOCT 영상에서 혈관 내강의 경계를 검출하여 혈관의 내강을 검출하는 검출부(100), 검출부(100)에서 검출한 혈관 내강의 형태적 특징을 추출하는 추출부(200), 및 추출부(200)에서 추출한 혈관 내강의 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강을 분류하는 분류부(300)를 포함할 수 있다.
FIG. 10 is a diagram illustrating a configuration of an IVOCT image-based automated lumen classification system according to another embodiment of the present invention. As shown in FIG. 10, according to another embodiment of the present invention, an IVOCT image-based automatic classification system for lumenal lumen is an automatic classification system for lumenal vessels using IVOCT images taken by intravenous optical coherence tomography (IVOCT) A
한편, 본 발명의 다른 실시예에 따른 IVOCT 영상 기반 혈관 내강의 자동 분류 시스템의 검출부(100)는, 각각의 IVOCT 영상을 직각 좌표 영상으로 변환하는 변환 모듈(110), 변환 모듈에서 변환한 영상을 비대칭 가우시안 필터(Asymmetric Gaussian Filter)와 컨볼루션하여 혈관 내강의 초기 경계를 검출하는 제1 경계 검출 모듈(120), 제1 경계 검출 모듈에서 검출한 혈관 내강의 초기 경계에서 가이드 와이어의 그림자 영역을 추출하는 영역 추출 모듈(130), 제1 경계 검출 모듈에서 검출한 혈관 내강의 초기 경계에서 영역 추출 모듈에서 추출한 가이드 와이어의 그림자 영역을 제거하고, 제거한 가이드 와이어의 그림자 영역을 보간하는 영역 제거 및 보간 모듈(140), 영역 제거 및 보간 모듈에서 가이드 와이어의 그림자 영역을 제거한 혈관 내강의 초기 경계를 이용하여 미리 정해진 임계값보다 작은 영역을 스텐트 스트럿의 그림자 영역으로 검출하고, 스텐트 스트럿의 그림자 영역을 미리 정해진 픽셀값으로 채우는 스텐트 스트럿 처리 모듈(150), 액티브 컨튜어 모델(Active Contour Model)을 이용하여 혈관 내강의 초기 경계로부터 불규칙한 혈관 내강의 경계를 검출하는 제2 경계 검출 모듈(160)을 포함할 수 있다.
Meanwhile, the
추출부(200)는, 검출부에서 검출한 혈관 내강으로부터 컨벡스 헐(Convex-hull)을 이용해 돌출부를 추출하고, 형상 특징과 질감 특징을 추출할 수 있다.
The extracting
분류부(300)는, 추출부(200)에서 분석한 혈관 내강의 형상 특징과 질감 특징을 통해 서포트 벡터를 정의하고, SVM(Support Vector Machine)을 이용하여 정상 혈관 내강과 비정상 혈관 내강으로 분류할 수 있다.
The
전술한 바와 같이, 본 발명에서 제안하고 있는 IVOCT 영상 기반 혈관 내강의 자동 분류 방법 및 시스템에 따르면, IVOCT 영상에서 혈관 내강의 경계를 자동으로 검출함으로써, 혈관 내강의 형태적 특징을 추출하고, 그 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강으로 분류할 수 있다. 또한, 본 발명에서 제안하고 있는 IVOCT 영상 기반 혈관 내강의 자동 분류 방법 및 시스템에 따르면, 혈관 내강의 형태적 특징에 의해 정상 혈관 내강과 비정상 혈관 내강으로 자동 분류됨으로써, 영상의학과 의사의 IVOCT 영상 판독 시 IVOCT 영상 분석 및 진단 과정을 보조하여 오진 확률을 획기적으로 감소시킬 수 있다.
As described above, according to the IVOCT image-based automatic classification method and system of the present invention, the morphological feature of the lumen is extracted by automatically detecting the boundary of the lumen of the IVOCT image, It can be classified into normal vessel lumen and abnormal vessel lumen depending on the characteristics of the vessel. In addition, according to the IVOCT image-based automatic classification method and system of the present invention, the IVOCT image is automatically classified into the normal vessel lumen and the abnormal vessel lumen by morphological features of the vessel lumen, IVOCT image analysis and diagnosis process can be assisted to greatly reduce the probability of misdiagnosis.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 청구범위에 의하여 정해져야 할 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.
100: 검출부
110: 변환 모듈
120: 제1 경계 검출 모듈
130: 영역 추출 모듈
140: 영역 제거 및 보간 모듈
150: 스텐트 스트럿 검출 모듈
160: 제2 경계 검출 모듈
200: 추출부
300: 분류부
S100: IVOCT 영상에서 혈관 내강의 경계를 검출하여 혈관 내강이 검출되는 단계
S110: 각각의 IVOCT 영상이 직각 좌표 영상으로 변환되는 단계
S120: 단계 S110에서 변환된 IVOCT 영상이 비대칭 가우시안 필터와 컨볼루션되어 혈관 내강의 초기 경계가 검출되는 단계
S130: 단계 S120에서 검출된 혈관 내강의 초기 경계에서 가이드 와이어의 그림자 영역이 추출되는 단계
S140: 단계 S120에서 검출된 혈관 내강의 초기 경계에서 단계 S130에서 추출된 가이드 와이어의 그림자 영역이 제거되고, 제거된 가이드 와이어의 그림자 영역이 보간되는 단계
S150: 단계 S140에서 가이드 와이어의 그림자 영역이 제거된 혈관 내강의 초기 경계를 이용하여 미리 정해진 임계값보다 작은 영역이 스텐트 스트럿의 그림자 영역으로 검출되고, 스텐트 스트럿의 그림자 영역이 미리 정해진 픽셀값으로 채워지는 단계
S160: 액티브 컨튜어 모델(Active Contour Model)을 이용하여 혈관 내강의 초기 경계에서 불규칙한 혈관 내강의 경계가 검출되는 단계
S200: 단계 S100에서 검출된 혈관 내강의 형태적 특징이 추출되는 단계
S300: 단계 S200에서 추출된 혈관 내강의 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강이 분류되는 단계100:
110: conversion module
120: first boundary detection module
130: area extraction module
140: Area removal and interpolation module
150: stent strut detection module
160: second boundary detection module
200:
300:
S100: Detection of the lumen of the lumen from IVOCT images
S110: Each IVOCT image is transformed into a rectangular coordinate image
S120: The IVOCT image converted in step S110 is convolved with the asymmetric Gaussian filter and the initial boundary of the lumen of the blood vessel is detected
S130: the shadow region of the guide wire is extracted at the initial border of the lumen detected in step S120
S140: a shadow area of the guide wire extracted in step S130 is removed from an initial boundary of the lumen detected in step S120, and a shadow area of the removed guide wire is interpolated
S150: An area smaller than a predetermined threshold value is detected as a shadow area of the stent strut using the initial boundary of the lumen of the vessel where the shadow region of the guide wire is removed in step S140, and the shadow area of the stent strut is filled with a predetermined pixel value Step <
S160: Irregular vascular lumen boundary is detected at the initial border of lumen using active contour model
S200: a step of extracting morphological features of the lumen detected in step S100
S300: the normal vessel lumen and the abnormal vessel lumen are classified according to the morphological characteristic of the lumen of the vessel extracted in the step S200
Claims (20)
(1) 상기 IVOCT 영상에서 혈관 내강의 경계를 검출하여 혈관 내강이 검출되는 단계;
(2) 상기 단계 (1)에서 검출된 혈관 내강의 형태적 특징이 추출되는 단계; 및
(3) 상기 단계 (2)에서 추출된 혈관 내강의 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강이 분류되는 단계를 포함하되,
상기 단계 (1)은,
(1-1) 각각의 IVOCT 영상이 직각 좌표 영상으로 변환되는 단계와, (1-2) 상기 단계 (1-1)에서 변환된 IVOCT 영상이 비대칭 가우시안 필터(Asymmetric Gaussian Filter)와 컨볼루션되어 혈관 내강의 초기 경계가 검출되는 단계와, (1-3) 상기 단계 (1-2)에서 검출된 혈관 내강의 초기 경계에서 가이드 와이어의 그림자 영역이 추출되는 단계를 더 포함하고,
상기 가이드 와이어의 그림자 영역은,
행의 길이가 220 이상이고, 열의 너비가 105 픽셀 또는 175 픽셀 패턴이며,
상기 단계 (2)는,
상기 단계 (1)에서 검출된 혈관 내강으로부터 컨벡스 헐(Convex-hull)을 이용해 돌출부가 추출되고, 형상 특징과 질감 특징이 추출되며,
상기 단계 (3)은,
상기 단계 (2)에서 분석된 혈관 내강의 형상 특징과 질감 특징을 통해 서포트 벡터가 정의되고, SVM(Support Vector Machine)을 이용하여 정상 혈관 내강과 비정상 혈관 내강이 분류되는 것을 특징으로 하는, IVOCT 영상 기반 혈관 내강의 자동 분류 방법.
A method for automatic classification of lumen using IVOCT images taken by intravascular optical coherence tomography (IVOCT)
(1) detecting the lumen of the vessel by detecting the boundary of the vessel lumen in the IVOCT image;
(2) extracting morphological features of the lumen detected in the step (1); And
(3) classifying the normal vessel lumen and the abnormal vessel lumen according to the morphological characteristics of the vessel lumen extracted in the step (2)
The step (1)
(1-1) converting each IVOCT image into a rectangular coordinate image; (1-2) converting the IVOCT image transformed in the step (1-1) to an asymmetric Gaussian filter, Wherein the initial boundary of the lumen is detected; and (1-3) extracting a shadow region of the guide wire at an initial boundary of the lumen detected in the step (1-2)
The shadow region of the guide wire
The length of the row is 220 or more, the width of the column is 105 pixels or 175 pixels,
The step (2)
The protrusion is extracted from the lumen of the vessel detected in the step (1) by using the convex hull, the shape feature and the texture feature are extracted,
The step (3)
A support vector is defined through shape features and texture characteristics of the lumen analyzed in the step (2), and normal vascular lumen and abnormal vascular lumen are classified using a SVM (Support Vector Machine). Based classification of vascular lumen.
(1-4) 상기 단계 (1-2)에서 검출된 혈관 내강의 초기 경계에서 상기 단계 (1-3)에서 추출된 가이드 와이어의 그림자 영역이 제거되고, 제거된 가이드 와이어의 그림자 영역이 보간되는 단계를 더 포함하는 것을 특징으로 하는, IVOCT 영상 기반 혈관 내강의 자동 분류 방법.
2. The method of claim 1, wherein the step (1)
(1-4) At the initial boundary of the lumen detected in the step (1-2), the shadow region of the guide wire extracted at the step (1-3) is removed, and the shadow region of the removed guide wire is interpolated Further comprising the step of automatically classifying the IVOCT image-based vessel lumen.
(1-5) 상기 단계 (1-4)에서 가이드 와이어의 그림자 영역이 제거된 혈관 내강의 초기 경계를 이용하여 미리 정해진 임계값보다 작은 영역이 스텐트 스트럿의 그림자 영역으로 검출되고, 상기 스텐트 스트럿의 그림자 영역이 미리 정해진 픽셀값으로 채워지는 단계를 더 포함하는 것을 특징으로 하는, IVOCT 영상 기반 혈관 내강의 자동 분류 방법.
7. The method of claim 6, wherein step (1)
(1-5) In the step (1-4), an area smaller than a predetermined threshold value is detected as a shadow region of the stent strut using the initial boundary of the lumen where the shadow region of the guide wire is removed, Wherein the shadow region is filled with a predetermined pixel value. ≪ Desc / Clms Page number 19 >
(1-6) 액티브 컨튜어 모델(Active Contour Model)을 이용하여 상기 혈관 내강의 초기 경계에서 불규칙한 혈관 내강의 경계가 검출되는 단계를 더 포함하는 것을 특징으로 하는, IVOCT 영상 기반 혈관 내강의 자동 분류 방법.
8. The method of claim 7, wherein step (1)
(1-6) The method according to claim 1, further comprising the step of detecting an irregular border of the lumen of the vessel lumen at an initial boundary of the lumen of the vessel using an active contour model .
상기 IVOCT 영상에서 혈관 내강의 경계를 검출하여 혈관 내강을 검출하는 검출부;
상기 검출부에서 검출한 혈관 내강의 형태적 특징을 추출하는 추출부; 및
상기 추출부에서 추출한 혈관 내강의 형태적 특징에 따라 정상 혈관 내강과 비정상 혈관 내강을 분류하는 분류부를 포함하되,
상기 검출부는,
각각의 IVOCT 영상을 직각 좌표 영상으로 변환하는 변환 모듈과, 상기 변환 모듈에서 변환한 IVOCT 영상을 비대칭 가우시안 필터(Asymmetric Gaussian Filter)와 컨볼루션하여 혈관 내강의 초기 경계를 검출하는 제1 경계 검출 모듈과, 상기 제1 경계 검출 모듈에서 검출한 혈관 내강의 초기 경계에서 가이드 와이어의 그림자 영역을 추출하는 영역 추출 모듈을 더 포함하여 구성하고,
상기 가이드 와이어의 그림자 영역은,
행의 길이가 220 이상이고 열의 너비가 105 픽셀 또는 175 픽셀 패턴이며,
상기 추출부는,
상기 검출부에서 검출한 혈관 내강으로부터 컨벡스 헐(Convex-hull)을 이용해 돌출부를 추출하고, 형상 특징과 질감 특징을 추출하며,
상기 분류부는,
상기 추출부에서 추출한 혈관 내강의 형상 특징과 질감 특징을 통해 서포트 벡터를 정의하고, SVM(Support Vector Machine)을 이용하여 정상 혈관 내강과 비정상 혈관 내강을 분류하는 것을 특징으로 하는, IVOCT 영상 기반 혈관 내강의 자동 분류 시스템.
An automated classification system of lumen using IVOCT images taken by intravascular optical coherence tomography (IVOCT)
A detector for detecting a lumen of the vessel by detecting a boundary of the vessel lumen in the IVOCT image;
An extracting unit for extracting morphological features of the lumen detected by the detecting unit; And
And a classifying unit classifying the normal vessel lumen and the abnormal vessel lumen according to the morphological characteristics of the lumen extracted from the extraction unit,
Wherein:
A first boundary detection module for detecting an initial boundary of the lumen of the vessel by convoluting the IVOCT image transformed by the transformation module with an asymmetric Gaussian filter, And a region extraction module for extracting a shadow region of the guide wire at an initial boundary of the lumen detected by the first boundary detection module,
The shadow region of the guide wire
The length of the row is 220 or more, the width of the column is 105 pixels or 175 pixels,
The extracting unit extracts,
Extracting protrusions from a vein lumen detected by the detection unit using a convex hull, extracting a shape feature and a texture feature,
Wherein,
Wherein the support vector is defined through shape features and texture characteristics of the lumen extracted from the extraction unit, and a normal vessel lumen and an abnormal vessel lumen are classified using SVM (Support Vector Machine). Automatic classification system.
상기 제1 경계 검출 모듈에서 검출한 혈관 내강의 초기 경계에서 상기 영역 추출 모듈에서 추출한 가이드 와이어의 그림자 영역을 제거하고, 제거한 가이드 와이어의 그림자 영역을 보간하는 영역 제거 및 보간 모듈을 더 포함하는 것을 특징으로 하는, IVOCT 영상 기반 혈관 내강의 자동 분류 시스템.
The apparatus as claimed in claim 11,
And an area removing and interpolating module for removing a shadow area of the guide wire extracted by the area extracting module from the initial boundary of the lumen detected by the first boundary detecting module and interpolating the shadow area of the removed guide wire IVOCT image based automated lumen classification system.
상기 영역 제거 및 보간 모듈에서 가이드 와이어의 그림자 영역을 제거한 혈관 내강의 초기 경계를 이용하여 미리 정해진 임계값보다 작은 영역을 스텐트 스트럿의 그림자 영역으로 검출하고, 상기 스텐트 스트럿의 그림자 영역을 미리 정해진 픽셀값으로 채우는 스텐트 스트럿 처리 모듈을 더 포함하는 것을 특징으로 하는, IVOCT 영상 기반 혈관 내강의 자동 분류 시스템.
The apparatus as claimed in claim 16,
Detecting an area smaller than a predetermined threshold value as a shadow region of the stent strut using the initial boundary of the lumen of the vessel where the shadow region of the guide wire is removed from the region removing and interpolating module and setting the shadow region of the stent strut as a predetermined pixel value And a stent strut processing module to fill the IVOCT image-based vessel lumen.
액티브 컨튜어 모델(Active Contour Model)을 이용하여 상기 혈관 내강의 초기 경계에서 불규칙한 혈관 내강의 경계를 검출하는 제2 경계 검출 모듈을 더 포함하는 것을 특징으로 하는, IVOCT 영상 기반 혈관 내강의 자동 분류 시스템.
18. The apparatus according to claim 17,
Further comprising a second boundary detection module for detecting an irregular border of the lumen in the initial boundary of the lumen using an active contour model (Active Contour Model).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170096560A KR101906944B1 (en) | 2017-07-28 | 2017-07-28 | Method for automatic classification of vascular lumen based on intravascular optical coherence tomography image and system thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170096560A KR101906944B1 (en) | 2017-07-28 | 2017-07-28 | Method for automatic classification of vascular lumen based on intravascular optical coherence tomography image and system thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101906944B1 true KR101906944B1 (en) | 2018-10-11 |
Family
ID=63865051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170096560A KR101906944B1 (en) | 2017-07-28 | 2017-07-28 | Method for automatic classification of vascular lumen based on intravascular optical coherence tomography image and system thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101906944B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210014410A (en) | 2019-07-30 | 2021-02-09 | 세종대학교산학협력단 | Device for automatic detecting lumen of intravascular optical coherence tomography image adn method of detecting |
| CN113822270A (en) * | 2021-11-24 | 2021-12-21 | 深圳大学 | Method and device for determining abnormal value of high-frequency data of structural health monitoring |
| WO2022211402A1 (en) * | 2021-03-30 | 2022-10-06 | 한국과학기술원 | Atherosclerotic plaque tissue analysis method and device using multi-modal fusion image |
| CN117291920A (en) * | 2023-11-27 | 2023-12-26 | 天津恒宇医疗科技有限公司 | Lipid plaque detection and analysis method and system based on OCT imaging |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101527604B1 (en) * | 2013-05-15 | 2015-06-10 | 인하대학교 산학협력단 | A Method for Grading Pancreatic Ductal Adenocarcinomas Based On Morphological Features |
| US20150201829A1 (en) * | 2014-01-21 | 2015-07-23 | Kabushiki Kaisha Topcon | Geographic atrophy identification and measurement |
| JP2015173820A (en) * | 2014-03-14 | 2015-10-05 | テルモ株式会社 | Image processing device, image processing method, and program |
| US20170169566A1 (en) * | 2015-09-22 | 2017-06-15 | Case Western Reserve University | Automated analysis of intravascular oct image volumes |
-
2017
- 2017-07-28 KR KR1020170096560A patent/KR101906944B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101527604B1 (en) * | 2013-05-15 | 2015-06-10 | 인하대학교 산학협력단 | A Method for Grading Pancreatic Ductal Adenocarcinomas Based On Morphological Features |
| US20150201829A1 (en) * | 2014-01-21 | 2015-07-23 | Kabushiki Kaisha Topcon | Geographic atrophy identification and measurement |
| JP2015173820A (en) * | 2014-03-14 | 2015-10-05 | テルモ株式会社 | Image processing device, image processing method, and program |
| US20170169566A1 (en) * | 2015-09-22 | 2017-06-15 | Case Western Reserve University | Automated analysis of intravascular oct image volumes |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210014410A (en) | 2019-07-30 | 2021-02-09 | 세종대학교산학협력단 | Device for automatic detecting lumen of intravascular optical coherence tomography image adn method of detecting |
| KR102260491B1 (en) * | 2019-07-30 | 2021-06-04 | 세종대학교산학협력단 | Device for automatic detecting lumen of intravascular optical coherence tomography image adn method of detecting |
| WO2022211402A1 (en) * | 2021-03-30 | 2022-10-06 | 한국과학기술원 | Atherosclerotic plaque tissue analysis method and device using multi-modal fusion image |
| CN113822270A (en) * | 2021-11-24 | 2021-12-21 | 深圳大学 | Method and device for determining abnormal value of high-frequency data of structural health monitoring |
| CN117291920A (en) * | 2023-11-27 | 2023-12-26 | 天津恒宇医疗科技有限公司 | Lipid plaque detection and analysis method and system based on OCT imaging |
| CN117291920B (en) * | 2023-11-27 | 2024-03-12 | 天津恒宇医疗科技有限公司 | Lipid plaque detection and analysis method and system based on OCT imaging |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10687776B2 (en) | Method for breast screening in fused mammography | |
| CN110490040B (en) | Method for identifying local vascular stenosis degree in DSA coronary artery image | |
| Sekhar et al. | Automated localisation of retinal optic disk using Hough transform | |
| KR101906944B1 (en) | Method for automatic classification of vascular lumen based on intravascular optical coherence tomography image and system thereof | |
| Faraji et al. | Segmentation of arterial walls in intravascular ultrasound cross-sectional images using extremal region selection | |
| EP3277183B1 (en) | Method and apparatus for assessing blood vessel stenosis | |
| US7940970B2 (en) | Method and system for automatic quality control used in computerized analysis of CT angiography | |
| JP7023715B2 (en) | A programmable processor-based computer device of an intravascular imaging system for detecting how the system operates to determine stent strut coverage within a blood vessel and the area where the stent is placed. | |
| US11854199B2 (en) | Methods and systems for ocular imaging, diagnosis and prognosis | |
| US20110257527A1 (en) | Ultrasound carotid media wall classification and imt measurement in curved vessels using recursive refinement and validation | |
| US20050254617A1 (en) | Image reconstruction method and X-ray CT system | |
| JPH07143977A (en) | Digital image processing method for automatic detection of constriction | |
| CN113470137B (en) | IVOCT image guide wire artifact removing method based on gray-scale weighting | |
| Kafieh et al. | An accurate multimodal 3-D vessel segmentation method based on brightness variations on OCT layers and curvelet domain fundus image analysis | |
| CN114820600B (en) | Coronary artery intravascular stent detection method and system based on OCT image | |
| M'hiri et al. | A graph-based approach for spatio-temporal segmentation of coronary arteries in X-ray angiographic sequences | |
| Motta et al. | Automatic segmentation on thermograms in order to aid diagnosis and 2D modeling | |
| KR102242114B1 (en) | Oct medical image based artificial intelligence computer aided diagnosis system and its method | |
| EP2074591B1 (en) | Methods, system and computer program product for detecting a protrusion | |
| Bulpitt et al. | Spiral CT of abdominal aortic aneurysms: comparison of segmentation with an automatic 3D deformable model and interactive segmentation | |
| Zifan et al. | Automatic 3D reconstruction of coronary artery centerlines from monoplane X-ray angiogram images | |
| Kyriakidis et al. | A novel methodology for detection of lumen, outer wall, plaques and stent struts in coronary arteries using optical coherence tomography | |
| Koehler et al. | Extraction and analysis of coronary tree from single X-ray angiographies | |
| Luengo-Oroz et al. | Extraction of the coronary artery tree in cardiac computer tomographic images using morphological operators | |
| Kabir et al. | An efficient technique for detection and enhancement of blood vessels from cardiac MRI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |