KR20160118037A - Apparatus and method for detecting lesion from medical image automatically - Google Patents
Apparatus and method for detecting lesion from medical image automatically Download PDFInfo
- Publication number
- KR20160118037A KR20160118037A KR1020150046279A KR20150046279A KR20160118037A KR 20160118037 A KR20160118037 A KR 20160118037A KR 1020150046279 A KR1020150046279 A KR 1020150046279A KR 20150046279 A KR20150046279 A KR 20150046279A KR 20160118037 A KR20160118037 A KR 20160118037A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- threshold value
- threshold
- value
- setting
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims description 44
- 238000012545 processing Methods 0.000 claims description 28
- 238000002591 computed tomography Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 238000013142 basic testing Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002183 duodenal effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G06F19/321—
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G06F19/3418—
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Computer Vision & Pattern Recognition (AREA)
- High Energy & Nuclear Physics (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
Abstract
의료 영상으로부터 병변의 위치를 자동으로 감지하는 병변 위치 자동 감지 장치가 개시된다. 본 발명의 병변 위치 자동 감지 장치는 의료 기기를 통해 수집된 원본 이미지를 입력받는 입력부; 상기 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 임계값 설정부; 상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 이미지 전환부; 및 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리부를 포함한다.A device for automatically detecting a lesion position that automatically detects a lesion position from a medical image is disclosed. An apparatus for automatically detecting a lesion position according to the present invention includes: an input unit for receiving an original image collected through a medical device; A threshold setting unit for converting the original image into a grayscale image and then setting at least one threshold value based on a brightness value of pixels constituting the grayscale image; An image switching unit for binarizing the grayscale image into a monochrome image based on the at least one threshold value; And an outline processor for extracting contours from the binarized image by searching for components suspected to be lesions and displaying the contours on the original image.
Description
본 발명은 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법에 관한 것으로서, 특히 내시경을 통해 얻어진 영상 내의 명도차를 이용하여 병변 위치를 자동으로 감지하는 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for automatically detecting the position of a lesion from a medical image, and more particularly, to an apparatus and method for automatically detecting a lesion position using a brightness difference in an image obtained through an endoscope.
일반적으로 신체 내부의 병변 검진시 다양한 의료 기기를 통해 얻어진 영상을 이용한다. 이러한 영상의 예로 내시경(Endoscope) 영상, 자기공명영상(MRI: Magnetic Resonance Imaging), 컴퓨터 단층 촬영(CT: Computed Tomography) 영상 등이 있다. Generally, images obtained through various medical devices are used for internal lesion screening. Examples of such images include an endoscope image, a magnetic resonance imaging (MRI), and a computed tomography (CT) image.
'내시경(Endoscope)'은 내장 장기나 체강 내부를 직접 관찰할 수 있는 의료 기구로써, 절개를 하지 않고 육안으로 직접 병변을 확인할 수 없는 장기에 대해 기계를 삽입하여 관찰하도록 창안된 기구이다. 기관에 따라 식도경, 위경, 십이지장경 등이 있으며, 방식에 따라 파이버스코프, 렌즈 시스템형, 위카메라 등이 있다.'Endoscope' is a medical instrument that can directly observe the internal organs or internal body cavity. It is a device designed to observe and insert a machine into organs that can not directly recognize the lesion by the naked eye without incision. Depending on the institution, there are esophagus, stomach, duodenal, etc. Depending on the method, there are fiber scope, lens system type and upper camera.
'자기공명영상(MRI)'이란 자기장을 발생하는 큰 자석통 속에 인체를 들어가게 한 후 고주파를 발생시켜 신체 부위에 있는 수소원자핵을 공명시키고, 그로 인해 각 조직으로부터 나오는 신호의 차이를 측정하여 컴퓨터를 통해 재구성함으로써 영상화 하는 기술이다.Magnetic Resonance Imaging (MRI) is a system that allows a human body to enter a large magnetic barrel that generates a magnetic field, generate high frequencies to resonate the hydrogen nuclei in the body, and measure the difference in signal from each tissue, It is a technique to image by reconfiguring through.
'컴퓨터 단층촬영(CT)'은 X선 발생장치가 있는 원형의 큰 기계에 인체를 들어가게 한 후 그 인체에 대한 횡단면을 촬영하는 기술이다. 이러한 컴퓨터 단층촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 좀 더 명확히 볼 수 있는 장점이 있으며, 대부분의 장기 및 질환에서 병변이 의심되고 정밀검사를 시행해야 할 필요가 있을 때 기본적으로 실시하는 검사법이다. 한편, 컴퓨터 단층촬영(CT)은 단면상을 얻는다는 점에서 자기 공명 영상(MRI)과 공통되지만, 컴퓨터 단층촬영(CT)은 X선을 이용하고, 자기 공명 영상(MRI)은 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다.'Computed tomography (CT)' is a technique for capturing a human body in a circular large machine with an X-ray generator and then taking a cross-section of the human body. These computed tomography (CT) images have a merit that the structures and lesions can be seen more clearly than the simple X-ray images, and most of the organs and diseases are suspected to have lesions, It is a basic test when necessary. On the other hand, computed tomography (CT) is common to magnetic resonance imaging (MRI) in that it obtains a cross-section, but computed tomography (CT) uses X-ray and magnetic resonance imaging (MRI) There is a difference in that images are acquired by transferring.
이와 같이 영상을 이용하여 신체 내부의 병변을 검진하는 방법들 중 자기공명영상(MRI)나 컴퓨터 단층촬영(CT)에 의한 영상의 경우 병변 부위를 감지하여 검진 의사에게 알려주거나 병변으로 의심되는 부위에 대한 가이드라인을 제공해주는 시스템이 존재한다. 하지만, 내시경 검진시 이러한 시스템이 존재하지 않는다. In this way, images of magnetic resonance imaging (MRI) or computed tomography (CT) are used to detect lesions inside the body and to inform the physician of the lesion or to suspicious lesions There is a system that provides guidelines for. However, these systems do not exist at endoscopy.
한편, 컴퓨터 단층촬영(CT)에서 폐결절을 자동으로 검출하는 기술이 개발되었지만 아직 정확도가 충분히 높지 않기 때문에 참고 의견으로만 인정되고 있다. On the other hand, although a technology for automatically detecting pulmonary nodules in CT has been developed, it is recognized only as a reference because its accuracy is not sufficiently high yet.
따라서 본 발명은 의료 영상 내의 명도차를 이용하여 병변으로 의심되는 조직을 감지하도록 함으로써, 육안으로 판별하기 힘든 미세한 변화까지도 정확히 감지할 수 있도록 하는 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다.Accordingly, the present invention provides a device for automatically detecting a lesion position and a method for detecting a tissue suspected to be a lesion by using a brightness difference in a medical image, so that even minute changes that can not be visually recognized can be accurately detected.
또한, 본 발명은 병변을 초기에 진단함으로써 완치율을 높이는 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다. The present invention also provides an apparatus for automatically detecting a lesion position and a method thereof for improving a cure rate by initially diagnosing a lesion.
또한, 본 발명은 병변으로 판단한 부위를 이상조직으로 진단할 수 있는 지에 대한 기준을 제공함으로써, 병변 진단에 익숙하지 않은 견습생에게 학습을 위한 도구로 활용이 가능한 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다. Further, the present invention provides a device for automatically detecting a lesion position and a method thereof, which can be utilized as a tool for learning to an apprentice who is not accustomed to the diagnosis of a lesion, by providing a criterion as to whether or not the lesion- I want to.
상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치는 의료 기기를 통해 수집된 원본 이미지를 입력받는 입력부; 상기 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 임계값 설정부; 상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 이미지 전환부; 및 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리부를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided an apparatus for automatically detecting a lesion location, including an input unit for receiving an original image collected through a medical device; A threshold setting unit for converting the original image into a grayscale image and then setting at least one threshold value based on a brightness value of pixels constituting the grayscale image; An image switching unit for binarizing the grayscale image into a monochrome image based on the at least one threshold value; And an outline processor for extracting contours from the binarized image by searching for components suspected to be lesions and displaying the contours on the original image.
바람직하게는, 상기 입력부는 내시경으로부터 원본 이미지를 입력받을 수 있다. Preferably, the input unit may receive an original image from an endoscope.
바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한 후, 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정할 수 있다. Preferably, the threshold value setting unit may set an average value of brightness values of all the pixels constituting the grayscale image to a first threshold value, and then, based on the first threshold value, Can be set.
바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 할 수 있다. Preferably, the threshold value setting unit may set the average value of brightness values of pixels constituting the grayscale image whose brightness value is larger than the first threshold value to a second threshold value.
바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정할 수 있다.Preferably, the threshold value setting unit may set an average value of brightness values of pixels constituting the grayscale image whose brightness value is smaller than the first threshold value to a third threshold value.
바람직하게는, 상기 이미지 전환부는 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성할 수 있다. Advantageously, the image switching unit may binarize the grayscale image for each of the at least one thresholds into a monochrome image, and as a result generate the same number of monochrome images as the number of thresholds.
바람직하게는, 상기 윤곽선 처리부는 상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시할 수 있다. Preferably, the outline processor extracts the outline for each of the monochrome images, and then integrates the outlines on one original image.
바람직하게는, 상기 윤곽선 처리부는 상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시할 수 있다.Preferably, the outline processing unit may previously store a size range of the outline to be displayed on the original image, and may display only the outline within the size range.
한편, 상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법은 의료 기기를 통해 수집되는 원본 이미지를 회색조 이미지로 변환하는 단계; 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 단계; 상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 단계; 및 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for automatically detecting a lesion position, the method comprising: converting an original image collected through a medical device into a grayscale image; Setting at least one threshold value based on a brightness value of pixels constituting the grayscale image; Binarizing the grayscale image into a monochrome image based on the at least one threshold; And a contour processing step of searching for components suspected to be lesions from the binarized image, extracting contours, and displaying the contours on the original image.
바람직하게는, 상기 임계값 설정 단계는 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정하는 단계; 및 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 단계를 포함할 수 있다. Preferably, the threshold value setting step may include setting a mean value of brightness values of all the pixels constituting the grayscale image to a first threshold value; And setting at least one additional threshold based on the first threshold.
바람직하게는, 상기 추가 임계값 설정 단계는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정할 수 있다. Preferably, the setting of the additional threshold value may set an average value of brightness values of pixels constituting the grayscale image whose brightness value is larger than the first threshold value to a second threshold value.
바람직하게는, 상기 추가 임계값 설정 단계는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 단계를 더 포함할 수 있다. Preferably, the setting of the threshold value further comprises setting an average value of brightness values of pixels constituting the grayscale image whose brightness value is smaller than the first threshold value to a third threshold value .
바람직하게는, 상기 이미지 전환 단계는 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성할 수 있다. Advantageously, said image conversion step binarizes said grayscale image into a monochrome image for each of said at least one thresholds, thereby producing the same number of monochrome images as said number of thresholds.
바람직하게는, 상기 윤곽선 처리 단계는 상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출하는 단계; 및 상기 추출된 윤곽선들을 상기 하나의 원본 이미지에 통합 표시하는 단계를 포함할 수 있다. Advantageously, said contour processing step comprises the steps of: extracting said contour for each of said monochrome images; And integrating the extracted contours into the one original image.
바람직하게는, 상기 윤곽선 처리 단계는 미리 설정된 윤곽선의 크기 범위 내의 윤곽선만을 표시할 수 있다.Preferably, the contour processing step may display only an outline within a size range of a predetermined contour line.
본 발명은 내시경 검진 시, 영상 내의 명도차를 이용하여 병변으로 의심되는 조직들에 대한 경계선을 감지하게 함으로써, 검진의사가 육안으로 판별하기 힘든 미세한 변화까지 정확히 감지할 수 있도록 하는 장점이 있다. 특히, 본 발명은 병별 위치를 자동으로 감지하되, 다중 임계값을 이용하여 이진화 오차를 줄임으로써 정확한 결과를 얻을 수 있는 장점이 있다.The present invention is advantageous in that, when an endoscopic examination is performed, a boundary line for tissues suspected to be lesions is detected using a brightness difference in an image, thereby allowing a doctor to accurately detect minute changes that are hard to be visually recognized. Particularly, the present invention is advantageous in that accurate detection results can be obtained by automatically detecting binocular positions and reducing binarization errors using multiple threshold values.
이로 인해, 본 발명은 병변을 초기에 진단하여 병의 완치율을 높일 수 있고, 병변으로 판단한 부위를 이상조직으로 진단할 수 있는 지에 대한 기준을 제공함으로써 병변 진단에 익숙하지 않은 견습생에게 학습을 위한 도구로 활용이 가능하다. 또한, 본 발명은 원격 진료 시 체외에서 조정하는 캡슐 내시경에도 적용함으로써, 문제가 있다고 판단되는 조직에 대해 검진의사에게 안내하여 병변 의심 부위에 대한 이동을 하도록 하거나, 캡슐 내시경의 이동에 대한 자동화도 가능하도록 하는 장점이 있다. Accordingly, the present invention provides a method for diagnosing lesions in an early stage to increase the cure rate of a lesion, and provides a criterion as to whether a lesion is diagnosed as an abnormal tissue, It is possible to use as. In addition, the present invention can be applied to a capsule endoscope which is adjusted in vitro at the time of remote medical examination, so that it is possible to guide the examination doctor to a tissue suspected to have a problem and to move to a suspected lesion site or to automate the movement of the capsule endoscope .
도 1은 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치에 대한 개략적인 블록도이다.
도 2는 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법에 대한 처리 흐름도이다.
도 3은 도 2의 다중 임계값 설정 과정에 대한 개략적인 처리 흐름도이다.
도 4는 도 2의 이미지 전환 과정에 대한 개략적인 처리 흐름도이다.
도 5는 본 발명의 일실시예에 따른 처리 단계 별로 생성되는 이미지들을 예시한 도면이다.
도 6 및 도 7은 본 발명의 효과를 도식화하여 설명하기 위한 도면들이다. 1 is a schematic block diagram of an automatic lesion position sensing apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of automatically detecting a lesion location according to an exemplary embodiment of the present invention.
FIG. 3 is a schematic flowchart of the process of setting the multiple thresholds in FIG.
FIG. 4 is a schematic processing flowchart of the image switching process of FIG. 2. FIG.
5 is a diagram illustrating images generated for each processing step according to an exemplary embodiment of the present invention.
FIGS. 6 and 7 are diagrams illustrating the effect of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. Throughout the specification and claims, where a section includes a constituent, it does not exclude other elements unless specifically stated otherwise, but may include other elements.
도 1은 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치(100)는 입력부(110)와, 임계값 설정부(120)와, 이미지 전환부(130)와, 윤곽선 처리부(140)를 포함한다. 1 is a schematic block diagram of an automatic lesion position sensing apparatus according to an embodiment of the present invention. 1, an
입력부(110)는 병변 위치 자동 감지 장치(100)로 원본 이미지를 입력한다. 특히, 의료 기기(예컨대, 내시경 등)를 통해 수집된 원본 이미지를 입력받아 임계값 설정부(120)로 전달한다. The
임계값 설정부(120)는 입력부(110)를 통해 전달된 상기 원본 이미지를 분석하여 적어도 하나의 임계값들을 설정한다. 이를 위해, 임계값 설정부(120)는 색조 영상인 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 모든 픽셀들의 명도값을 도출한다. 그리고 상기 모든 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정한다. The threshold
먼저, 임계값 설정부(120)는 수학식 1에 의거하여 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 도출하고, 그 값을 제1 임계값(Threshold)으로 설정한다. First, the threshold
이 때, 는 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값들의 합, 는 모든 픽셀들의 수이고, 수학식 1에 의해 얻어진 제1 임계값(Threshold)이 해당 프레임에서의 정상 조직에 대한 기준이 된다. At this time, Is the sum of the brightness values of all the pixels constituting the grayscale image, Is the number of all pixels, and the first threshold obtained by Equation (1) is a reference for a normal tissue in the frame.
또한, 임계값 설정부(120)는 상기 제1 임계값(Threshold)에 기초하여 추가 임계값들을 더 설정할 수 있다. 이는 상기 제1 임계값(Threshold) 하나만을 가지고 해당 이미지를 이진화 했을 경우 발생할 수 있는 오차를 줄이기 위함이다. 예를 들어, 한 프레임 내에서 조명이 비추는 부위가 한 곳에 집중된다면 하나의 기준값으로 이상 조직과 정상 조직과의 차이를 판별해낼 때 오차가 생길 수 있다. Also, the threshold
따라서, 이러한 오차를 줄이기 위해, 임계값 설정부(120)는 상기 제1 임계값 외에 조명이 비추고 있는 부위에 대한 평균값(일명, 제2 임계값)과, 그렇지 않은 부위에 대한 평균값(일명, 제3 임계값)을 추가한다. 상기 제2 임계값은 수학식 2에 의해 도출하고, 상기 제3 임계값은 수학식 3에 의해 도출할 수 있다. Therefore, in order to reduce such an error, the threshold
이 때, 는 조명이 비추고 있는 부위에 대한 평균값으로, 은 제1 임계값(Threshold) 보다 큰 명도값을 가지는 픽셀들의 명도값들의 합이고, 는 제1 임계값(Threshold) 보다 큰 명도값을 가지는 픽셀들의 수이다. At this time, Is the average value of the illuminated area, Is a sum of brightness values of pixels having a brightness value greater than a first threshold value (Threshold) Is the number of pixels having a brightness value larger than the first threshold value (Threshold).
이 때, 는 조명이 비취지 않는 부위에 대한 평균값으로, 은 제1 임계값(Threshold) 보다 작은 명도값을 가지는 픽셀들의 명도값들의 합이고, 는 제1 임계값(Threshold) 보다 작은 명도값을 가지는 픽셀들의 수이다. At this time, Is an average value for a region where illumination is not feasible, Is a sum of brightness values of pixels having a brightness value smaller than a first threshold value (Threshold) Is the number of pixels having a brightness value smaller than the first threshold value (Threshold).
이미지 전환부(130)는 임계값 설정부(120)에서 설정된 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화한다. The
예를 들어, 임계값 설정부(120)에서 생성된 제1 임계값에 기초하여 이진화를 수행할 경우, 이미지 전환부(130)는 상기 회색조 이미지를 구성하는 모든 픽셀들의 명도값과 상기 제1 임계값을 비교하여 상기 제1 임계값 보다 큰 명도값을 갖는 픽셀의 명도값은 10으로 설정하고, 상기 제1 임계값 보다 작은 명도값을 갖는 픽셀의 명도값은 0으로 설정하여 상기 회색조 이미지를 흑백 이미지로 변환한다. For example, when binarization is performed based on the first threshold value generated by the threshold
이미지 전환부(130)는 상기 임계값 설정부(120)에서 생성된 적어도 하나의 임계값들 각각에 대하여, 상기 이진화 과정을 수행하여 흑백 이미지를 생성한다. 따라서, 임계값의 개수에 따라 흑백 이미지의 개수도 달라진다. 상기 예에서와 같이 임계값 설정부(120)가 제1 내지 제3 임계값을 설정한 경우, 이미지 전환부(130)는 상기 제1 내지 제3 임계값 각각에 대하여 흑백 이미지를 생성하므로, 3개의 흑백 이미지가 생성될 것이다. The
윤곽선 처리부(140)는 상기 이미지 전환부(130)에서 생성되는 흑백 이미지(즉, 이진화된 이미지)로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시한다. The
여기서, 컴포넌트는 이진화된 이미지에서 흑과 백이 맞닿는 지점들에서의 백색 내부 영역을 말하며, 윤곽선 처리부(140)는 그 백색 내부 영역의 가장 자리에 해당하는 윤곽선을 추출하게 된다. Here, the component refers to a white inside area at points where black and white meet in the binarized image, and the
상기 예에서와 같이 이미지 전환부(130)에서 하나 이상의 흑백 이미지가 생성되는 경우, 윤곽선 처리부(140)는 상기 하나 이상의 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시하는 것이 바람직하다. When one or more monochrome images are generated in the
이 때, 윤곽선을 추출하는 방법은 해당 이미지를 구성하는 픽셀들의 명도값을 순차적으로 스캔하다가, 그 명도값이 주변의 픽셀들과 비교하여 차이가 나는 경우 해당 픽셀을 표시하고 이들이 연결되어 경계선을 표현하는 방법을 사용할 수 있다. In this case, the method of extracting the contour line sequentially scans the brightness values of the pixels constituting the image, and when the brightness value is compared with neighboring pixels, the corresponding pixel is displayed, Can be used.
이 때, 상기와 같은 방법으로 윤곽선을 추출하는 방법은 하나의 실시예에 불과한 것으로서, 본 발명의 윤곽선 추출 방법이 상기 제시된 방법으로 제한되는 것은 아니다. 즉, 상기 컴포넌트들의 윤곽선을 추출하는 방법은 공지된 다양한 기술을 적용할 수 있을 것이다. At this time, the method of extracting the contour line by the above method is only one embodiment, and the contour line extraction method of the present invention is not limited to the above-described method. That is, various known techniques may be applied to the method of extracting the contours of the components.
한편, 윤곽선 처리부(140)는 상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시하는 것이 바람직하다. On the other hand, the
이 때, 윤곽선 처리부(140)는 폐곡선으로 이루어진 윤곽선의 중심을 지나고 상기 폐곡선과 만나는 직선 중 가장 긴 직선의 길이를 해당 윤곽선의 크기로 결정할 수 있다. At this time, the
그리고, 윤곽선 처리부(140)는 상기 윤곽선의 크기가 상기 미리 저장된 크기 범위 이내인 경우에만 상기 윤곽선을 상기 원본 이미지에 표시하는 것이 바람직하다. 이는 너무 큰 컴포넌트의 경우 병변이라 보기 어려우며, 너무 작은 컴포넌트들은 점막 표면이 조명을 반사하는 부분들로, 병변이라 보기 어렵기 때문이다. 이를 위해, 상기 윤곽선의 크기 범위는 해당 분야의 전문가가 미리 설정하는 것이 바람직하며, 검출하고자 하는 병변의 크기를 검진 의사가 직접 조정할 수도 있을 것이다. The
도 2는 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법에 대한 처리 흐름도이다. 도 1 및 도 2를 참조하면 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법은 다음과 같다. 2 is a flowchart illustrating a method of automatically detecting a lesion location according to an exemplary embodiment of the present invention. 1 and 2, a method for automatically detecting a lesion position according to an embodiment of the present invention is as follows.
먼저, 단계 S100에서는, 의료 기기로부터 수집된 원본 이미지(즉, 의료 영상)가 입력부(110)로 입력되는 지 여부를 결정한다. 예를 들어, 내시경을 통해 획득한 영상이 입력부(110)로 입력되는 지 여부를 결정한다. First, in step S100, it is determined whether an original image (i.e., a medical image) collected from the medical instrument is input to the
단계 S200에서는, 임계값 설정부(120)가 상기 단계 S100에서 입력된 원본 이미지를 회색조 이미지로 변환한다. 한편, 도 5는 본 발명의 일 실시 예에 따른 처리 단계 별로 생성되는 이미지들을 예시한 도면으로서, 도 5의 (a)는 단계 S100에서 입력된 원본 이미지(즉, 색조 영상)를 나타내고, 도 5의 (b)는 단계 S200에서 회색조 이미지로 변환된 이미지를 나타낸다. 도 5의 (b)에서 백색으로 표시된 영역들이 컴포넌트이다.In step S200, the threshold
단계 S300에서는, 임계값 설정부(120)가 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들(즉, 다중 임계값)을 설정한다. 이를 위한 보다 구체적인 처리 과정의 예가 도 3에 예시되어 있으므로, 그 구체적인 처리 과정은 도 3을 참조하여 설명할 것이다. In step S300, the
단계 S400에서는, 이미지 전환부(130)가 상기 단계 S300에서 설정된 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화한다. 이 때, 상기 이진화 과정은 상기 단계 S300에서 설정된 임계값 수 만큼 반복하며, 그 결과 생성되는 흑백 이미지의 수도 상기 임계값 수와 동일하다. 도 5의 (c) 및 (d)는 서로 다른 임계값을 가지고 상기 도 5의 (b)에 예시된 회색조 이미지를 이진화 한 결과를 예시한다. 이 때, 도 5의 (c)는 제1 임계치에 의해 이진화를 수행한 결과를 나타내고, 도 5의 (d)는 제2 또는 제3 임계치에 의해 이진화를 수행한 결과를 나타낸다. 도 5의 (c)와 도 5의 (d)를 참조하면, 도 5의 (d)는 도 5의 (c)와 비교하여 이진화 결과가 보다 정확한 것을 알 수 있다. 따라서 상기 임계값의 수가 증가할수록 이진화 과정에서 발생하는 오차를 줄일 수 있음을 알 수 있다. 한편, 이를 위한 보다 구체적인 처리 과정의 예가 도 4에 예시되어 있으므로, 그 구체적인 처리 과정은 도 4를 참조하여 설명할 것이다. In step S400, the
단계 S500에서는, 윤곽선 처리부(140)가 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한다. 이 때, 상기 윤곽선 추출 과정은 상기 단계 S400에서 생성된 흑백 이미지의 수 만큼 반복한다. 즉, 상기 단계 S400에서 생성된 흑백 이미지 각각에 대하여 윤곽선 추출 과정을 수행한다. In step S500, the
단계 S600에서는, 윤곽선 처리부(140)가 상기 단계 S500에서 추출된 윤곽선을 상기 원본 이미지에 표시한다. 상기 단계 S500에서, 하나 이상의 흑백 이미지로부터 윤곽선을 추출한 경우, 단계 S600에서는, 그 각각의 윤곽선들을 하나의 원본 이미지에 통합하여 표시한다. 한편, 상기 단계 S600에서는, 상기 단계 S500에서 추출된 모든 윤곽선을 표시하는 것이 아니라 소정의 조건(예컨대, 크기)을 만족하는 윤곽선만을 표시할 수 있다. 도 5의 (e)는 도 5의 (d)에 예시된 흑백 이미지로부터 추출된 윤곽선의 예를 도시하고, 도 5의 (f)는 도 5의 (a)에 예시된 원본 이미지 상에 상기 도 5의 (e)에 예시된 윤곽선을 표시한 예를 도시한다. In step S600, the
도 3은 도 2의 다중 임계값 설정 과정에 대한 개략적인 처리 흐름도이다. 도 1 및 도 3을 참조하면, 도 2의 다중 임계값 설정 과정(S300)은 다음과 같다. FIG. 3 is a schematic flowchart of the process of setting the multiple thresholds in FIG. Referring to FIGS. 1 and 3, the multi-threshold setting process (S300) of FIG. 2 is as follows.
먼저, 단계 S310에서는, 임계값 설정부(120)가 도 5의 (b)에 예시된 바와 같은 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값을 추출한다.First, in step S310, the threshold
단계 S320에서는, 임계값 설정부(120)가 상기 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한다. In step S320, the threshold
단계 S330에서는, 임계값 설정부(120)가 상기 제1 임계값에 기초하여 설정한 제1 기준을 만족하는 픽셀들(예컨대, 명도값이 상기 제1 임계값 보다 큰 픽셀들)에 대한 명도값의 평균값을 제2 임계값으로 설정한다. In step S330, the threshold
단계 S340에서는, 임계값 설정부(120)가 상기 제1 임계값에 기초하여 설정한 제2 기준을 만족하는 픽셀들(예컨대, 명도값이 상기 제1 임계값 보다 작은 픽셀들)에 대한 명도값의 평균값을 제3 임계값으로 설정한다.In step S340, the threshold
이를 위해, 임계값 설정부(120)는 도 1을 참조한 설명시 언급된 바와 같이 동작하며, 수학식 1 내지 수학식 3에 의거하여 제1 내지 제3 임계값을 도출하는 것이 바람직하다. For this, the threshold
이 때, 도 3의 예에서는, 제1 내지 제3의 3개의 임계값을 도출하는 처리 과정의 예를 도시하고 있지만, 본 발명이 제1 내지 제3의 3개의 임계값을 도출하는 것으로 제한되는 것은 아니다. 예를 들어, 제1 및 제2의 2개의 임계값만을 도출하고 그 값들에 기초하여 이후의 과정을 처리할 수도 있는 것이다. 다만, 상기 임계값이 3개를 초과하는 경우, 연산 속도와 정확도에 있어서 효율이 떨어지는 문제가 발생하므로, 최대 임계값을 3개로 설정하는 것이 바람직하다.Here, in the example of FIG. 3, an example of a process of deriving the first to third thresholds is shown, but the present invention is limited to deriving the first to third thresholds It is not. For example, it is possible to derive only the first and second threshold values and to process subsequent processes based on the values. However, when the threshold value exceeds 3, there arises a problem that the efficiency is inferior in terms of operation speed and accuracy. Therefore, it is preferable to set the maximum threshold value to three.
도 4는 도 2의 이미지 전환 과정에 대한 개략적인 처리 흐름도이다. 도 1 및 도 4를 참조하면, 도 2의 이미지 전환 과정(S400)은 다음과 같다. FIG. 4 is a schematic processing flowchart of the image switching process of FIG. 2. FIG. Referring to FIGS. 1 and 4, the image switching process (S400) of FIG. 2 is as follows.
먼저, 단계 S410에서는, 이미지 전환부(130)가 상기 제1 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S410에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제1 흑백 이미지로 변환된다. First, in step S410, the
단계 S420에서는, 이미지 전환부(130)가 상기 제2 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S420에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제2 흑백 이미지로 변환된다. In step S420, the
단계 S430에서는, 이비지 전환부(130)가 상기 제3 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S430에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제3 흑백 이미지로 변환된다. In step S430, the
즉, 이미지 전환 과정(S400)은 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성한다. That is, the image conversion process (S400) binarizes the gray-scale image into a monochrome image for each of the at least one threshold value, thereby generating the same number of monochrome images as the number of thresholds.
도 6 및 도 7은 본 발명의 효과를 도식화하여 설명하기 위한 도면들로서, 본 발명을 단계별로 적용하여 성능 평가를 해본 결과를 설명하기 위한 도면들이다. FIGS. 6 and 7 are diagrams for illustrating the effect of the present invention, and are views for explaining the results of performance evaluation by applying the present invention step by step.
도 6의 (a)는 전문 검진 의사가 내시경 이미지에 병변 부위(A)를 표시한 경우의 예를 도시하고, 도 6의 (b)는 수학식 1에 의해 도출된 제1 임계값(Threshold)을 기준으로 이진화를 수행한 후 그 결과 도출된 윤곽선만을 원본 이미지에 표시한 경우의 예를 도시하고, 도 6의 (c)는 상기 제1 임계값(Threshold)을 기준으로 이진화를 수행한 후 도출된 윤곽선과, 추가적으로 생성된 제2 임계값()을 기준으로 이진화를 수행한 후 도출된 윤곽선을 원본 이미지에 통합하여 표시한 경우의 예를 도시한다. 6 (a) shows an example of a case in which a physician examines a lesion area A on an endoscopic image, FIG. 6 (b) shows a first threshold Threshold, FIG. 6C shows an example of binarization based on the first threshold value, and then only the derived outline is displayed on the original image. FIG. 6C shows an example of binarization based on the first threshold value, And an additional generated second threshold value ( ) Is binarized and then the derived outline is integrated with the original image and displayed.
도 6의 (b)를 참조하면, 도 6의 (a)에 전문 검진 의사가 표시한 병변 부위(A)가 윤곽선으로 표시되어 있지 않다. 이는 원본 이미지에서 카메라 조명이 오른쪽 하단에 집중되면서 초기 임계값이 평균 명도값으로 설정되어 생긴 오차 때문이다. Referring to Fig. 6B, the lesion area A indicated by the physician in charge of screening is not shown as an outline in Fig. 6A. This is due to the error caused when the camera threshold is set to the average brightness value while the camera illumination is concentrated in the bottom right corner of the original image.
도 6의 (c)를 참조하면, 도 6의 (a)에 전문 검진 의사가 표시한 병변 부위(A)와 유사한 윤곽선(B)이 표시되어 있다. 이는 수학식 2에 의해 도출된 제2 임계값()을 기준으로 추가적인 이진화를 한번 더 수행한 후 도출된 윤곽선을 추가함으로써 보다 정확한 결과를 얻을 수 있음을 나타낸다. Referring to Fig. 6 (c), an outline B similar to the lesion area A indicated by the physician in charge of physical examination is shown in Fig. 6 (a). This is because the second threshold value derived by Equation (2) ), It is shown that more accurate results can be obtained by performing the additional binarization once more and then adding the derived outline.
이러한 효과를 수치적으로 표현한 예가 도 7에 예시되어 있다. 도 7에서, 첫 번째 단계(1st stage)는 평균 임계값(즉, 제1 임계값(Threshold))만을 적용했을 때의 단계이고, 두 번째 단계(2nd stage)는 제2 임계값()을 추가한 단계이다. 필요에 따라 제3 임계값()를 추가하여 세 번째 단계(3rd stage)까지 진행이 가능하지만, 도 6의 (a)에서 보이는 바와 같이 병변이 이미지에서 밝은 부분에 위치하고 있으므로 제2 임계값()을 추가한 두 번째 단계(2nd stage)까지만 진행한다. An example of numerical representation of this effect is illustrated in FIG. 7, the first stage (1 st stage) is a stage when only the average threshold value (i.e., the first threshold value) is applied, the second stage (2 nd stage) ) Is added. If necessary, the third threshold value ( (3 rd stage). However, since the lesion is located in the bright part of the image as shown in FIG. 6 (a), the second threshold value ) To the second stage (2 nd stage).
도 7의 첫 번째 단계(1st stage)에서 생성된 결과가 도 6의 (b)이다. 도 6의 (b)와 도 7을 함께 참조하면, 도 6의 (b)에서 보이는 경계선들은 실제로는 병변이 없음에도 주변과의 명도차로 인해 병변으로 의심되는 부분이다. 이는 음성(정상)을 양성(병변)으로 판단하고 있으므로 'false positive'라고 정의한다. 한편, 실제 병변 부위는 병변으로 감지하지 못했으므로, 이 부분은 양성(병변)을 음성(정상)으로 판단하는 'false negative'이다. The result produced in the first stage (1 st stage) of FIG. 7 is shown in FIG. 6 (b). Referring to FIG. 6 (b) and FIG. 7 together, the boundary lines shown in FIG. 6 (b) are actually suspected lesions due to the difference in brightness with the surroundings even though there is no lesion. This is defined as a 'false positive' because the voice (normal) is judged to be positive (lesion). On the other hand, since the actual lesion site can not be detected as a lesion, this part is 'false negative' in which the lesion is judged as negative (normal).
한편, 도 7의 두 번째 단계(2nd stage)의 결과는 도 6의 (c)에 예시되어 있다. 도 6의 (c)와 도 7을 함께 참조하면, 이 단계에서는 병변이 아님에도 병변으로 의심하는 부분, 즉 'false positive'가 8개로 증가하였다. 그리고 실제 병변 부위를 병변으로 감지하고 있으므로 이를 'true positive'로 정의한다. 이에 따라 'false negative'는 제거되었다. On the other hand, as a result of the second step (2 nd stage) of Figure 7 is illustrated in (c) of FIG. Referring to FIG. 6 (c) and FIG. 7 together, at this stage, the portion of the lesion suspected to be a lesion, that is, 'false positive' increased to eight. The true lesion is detected as a lesion and is defined as 'true positive'. Accordingly, 'false negative' was removed.
이와 같이 본 발명은 같이 다중의 임계값을 적용함으로써, 병변으로 의심될 수 있는 부분을 모두 검출하여 표시함으로써, 검진 의사 및 숙련되지 않은 교육생에게 이를 안내하여 병변을 놓칠 확률을 감소시킬 수 있다. 즉, 병변임에도 병변으로 인지하지 못하는 'false negative'를 제거하는 것이 본 발명의 최우선 목표이며, 도 6 및 도 7을 참조하면, 다중 임계값 설정을 통해 이 목표가 달성되었음을 확인할 수 있다.Thus, by applying multiple thresholds, the present invention can detect and display all suspicious lesions, thereby reducing the probability of missed lesions by guiding the surgeon to a physician or an unskilled trainee. That is, it is a top priority of the present invention to remove a 'false negative' that is not recognized as a lesion even though it is a lesion. Referring to FIGS. 6 and 7, it can be confirmed that the target is achieved through setting multiple threshold values.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독매체(예를 들면, 시디롬, 디브이디 등)를 포함한다. The computer readable recording medium includes a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM, DVD, etc.).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. The present invention has been described with reference to the preferred embodiments.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명이 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
Claims (15)
상기 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 임계값 설정부;
상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 이미지 전환부; 및
상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리부를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
An input unit for receiving an original image collected through the medical device;
A threshold setting unit for converting the original image into a grayscale image and then setting at least one threshold value based on a brightness value of pixels constituting the grayscale image;
An image switching unit for binarizing the grayscale image into a monochrome image based on the at least one threshold value; And
And a contour processing unit for searching for components suspected to be lesions from the binarized image, extracting contours, and displaying the contours on the original image.
내시경으로부터 원본 이미지를 입력받는 것을 특징으로 하는 병변 위치 자동 감지 장치.
The apparatus of claim 1, wherein the input unit
And an original image is received from the endoscope.
상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한 후, 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
2. The apparatus of claim 1, wherein the threshold setting unit
Further comprising setting at least one additional threshold value based on the first threshold value after setting an average value of brightness values for all the pixels constituting the gray level image as a first threshold value, Sensing device.
상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
4. The apparatus of claim 3, wherein the threshold setting unit
And sets an average value of brightness values of pixels constituting the grayscale image whose brightness value is larger than the first threshold value as a second threshold value.
상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
5. The apparatus of claim 4, wherein the threshold setting unit
And sets an average value of brightness values of pixels constituting the gray-scale image whose brightness value is smaller than the first threshold value as a third threshold value.
상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
The image processing apparatus according to claim 1,
And binarizes the gray-scale image into a monochrome image for each of the at least one threshold value, thereby generating the same number of monochrome images as the number of thresholds.
상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
7. The image processing apparatus according to claim 6, wherein the contour processing unit
Extracting the contour line for each of the black and white images, and then displaying the contours on a single original image.
상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
The image processing apparatus according to claim 1, wherein the contour processing unit
Wherein a size range of an outline to be displayed on the original image is previously stored and only an outline within the size range is displayed.
상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 단계;
상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 단계; 및
상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
Converting an original image collected through the medical instrument to a grayscale image;
Setting at least one threshold value based on a brightness value of pixels constituting the grayscale image;
Binarizing the grayscale image into a monochrome image based on the at least one threshold; And
And a contour processing step of searching for components suspected to be lesions from the binarized image, extracting contours, and displaying the contours on the original image.
상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정하는 단계; 및
상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
10. The method of claim 9, wherein the threshold setting step
Setting an average value of brightness values of all the pixels constituting the grayscale image to a first threshold value; And
Further comprising setting at least one additional threshold based on the first threshold value.
상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
11. The method of claim 10, wherein the further threshold setting step
Wherein the average value of brightness values of pixels constituting the grayscale image whose brightness value is greater than the first threshold value is set as a second threshold value.
상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
12. The method of claim 11, wherein the further threshold setting step
Further comprising setting an average value of brightness values of pixels constituting the gray-scale image whose brightness value is smaller than the first threshold value to a third threshold value .
상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
10. The method of claim 9,
Binarizing the gray-scale image into a monochrome image for each of the at least one threshold value, and thereby generating the same number of monochrome images as the number of thresholds.
상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출하는 단계; 및
상기 추출된 윤곽선들을 상기 하나의 원본 이미지에 통합 표시하는 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
14. The method of claim 13, wherein the contour processing step
Extracting the contour for each of the monochrome images; And
And integrating the extracted contours into the one original image. ≪ RTI ID = 0.0 > 8. < / RTI >
미리 설정된 윤곽선의 크기 범위 내의 윤곽선만을 표시하는 것을 특징으로 하는 병변 위치 자동 감지 방법.2. The method of claim 1, wherein the contour processing step
Wherein only an outline within a size range of a predetermined outline is displayed.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150046279A KR20160118037A (en) | 2015-04-01 | 2015-04-01 | Apparatus and method for detecting lesion from medical image automatically |
PCT/KR2016/003432 WO2016159726A1 (en) | 2015-04-01 | 2016-04-01 | Device for automatically sensing lesion location from medical image and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150046279A KR20160118037A (en) | 2015-04-01 | 2015-04-01 | Apparatus and method for detecting lesion from medical image automatically |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20160118037A true KR20160118037A (en) | 2016-10-11 |
Family
ID=57004716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150046279A KR20160118037A (en) | 2015-04-01 | 2015-04-01 | Apparatus and method for detecting lesion from medical image automatically |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20160118037A (en) |
WO (1) | WO2016159726A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190117187A (en) * | 2018-04-06 | 2019-10-16 | 주식회사 뷰노 | Method for visualizing medical image and apparatus using the same |
US11741598B2 (en) | 2019-05-14 | 2023-08-29 | Vuno, Inc. | Method for aiding visualization of lesions in medical imagery and apparatus using the same |
KR102613718B1 (en) | 2022-09-06 | 2023-12-14 | 주식회사 에어스메디컬 | Method, program, and apparatus for object tracking based on medical imaging |
KR20240034428A (en) | 2022-09-07 | 2024-03-14 | (주)임팩티브에이아이 | Method, program and apparatus for developing new products based on artificial intelligence |
KR20240167212A (en) | 2023-05-19 | 2024-11-26 | (주)임팩티브에이아이 | Method, program and apparatus for selecting project of artificial intelligence |
KR20240167264A (en) | 2023-05-19 | 2024-11-26 | (주)임팩티브에이아이 | Method, program and apparatus for selecting project of artificial intelligence in human resource |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109346159B (en) * | 2018-11-13 | 2024-02-13 | 平安科技(深圳)有限公司 | Case image classification method, device, computer equipment and storage medium |
CN113723417B (en) * | 2021-08-31 | 2024-04-12 | 深圳平安智慧医健科技有限公司 | Single view-based image matching method, device, equipment and storage medium |
CN114903408A (en) * | 2022-04-22 | 2022-08-16 | 华伦医疗用品(深圳)有限公司 | Endoscope imaging system with diagnostic imaging |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4298258B2 (en) * | 2002-10-11 | 2009-07-15 | 株式会社日立メディコ | Medical image display device |
CA2821395A1 (en) * | 2010-12-17 | 2012-06-21 | Aarhus Universitet | Method for delineation of tissue lesions |
KR101223598B1 (en) * | 2011-04-06 | 2013-01-22 | 인하대학교 산학협력단 | A System for Diagnosing Pancreatic Intraepithelial Neoplasia |
KR101795720B1 (en) * | 2011-05-12 | 2017-11-09 | 주식회사 미래컴퍼니 | Control method of surgical robot system, recording medium thereof, and surgical robot system |
KR101492254B1 (en) * | 2013-05-14 | 2015-02-10 | 사회복지법인 삼성생명공익재단 | Ultrasound diagnostic apparatus and method for quality control |
-
2015
- 2015-04-01 KR KR1020150046279A patent/KR20160118037A/en active Search and Examination
-
2016
- 2016-04-01 WO PCT/KR2016/003432 patent/WO2016159726A1/en active Application Filing
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190117187A (en) * | 2018-04-06 | 2019-10-16 | 주식회사 뷰노 | Method for visualizing medical image and apparatus using the same |
US11741598B2 (en) | 2019-05-14 | 2023-08-29 | Vuno, Inc. | Method for aiding visualization of lesions in medical imagery and apparatus using the same |
KR102613718B1 (en) | 2022-09-06 | 2023-12-14 | 주식회사 에어스메디컬 | Method, program, and apparatus for object tracking based on medical imaging |
KR20240034428A (en) | 2022-09-07 | 2024-03-14 | (주)임팩티브에이아이 | Method, program and apparatus for developing new products based on artificial intelligence |
KR20240167212A (en) | 2023-05-19 | 2024-11-26 | (주)임팩티브에이아이 | Method, program and apparatus for selecting project of artificial intelligence |
KR20240167264A (en) | 2023-05-19 | 2024-11-26 | (주)임팩티브에이아이 | Method, program and apparatus for selecting project of artificial intelligence in human resource |
Also Published As
Publication number | Publication date |
---|---|
WO2016159726A1 (en) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20160118037A (en) | Apparatus and method for detecting lesion from medical image automatically | |
JP5576782B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6150583B2 (en) | Image processing apparatus, endoscope apparatus, program, and operation method of image processing apparatus | |
EP1994878B1 (en) | Medical image processing device and medical image processing method | |
JP5276225B2 (en) | Medical image processing apparatus and method of operating medical image processing apparatus | |
US20250029255A1 (en) | Image processing method, apparatus and device | |
JP4994737B2 (en) | Medical image processing apparatus and medical image processing method | |
CN101389260B (en) | Medical image processing apparatus and medical image processing method | |
CN104363815B (en) | Image processing apparatus and image processing method | |
US8666135B2 (en) | Image processing apparatus | |
WO2008044466A1 (en) | Image processing device, image processing method, and image processing program | |
US8634600B2 (en) | Extracting method and apparatus of blood vessel crossing/branching portion | |
JPWO2019087790A1 (en) | Examination support equipment, endoscopy equipment, examination support methods, and examination support programs | |
WO2012153568A1 (en) | Medical image processing device and medical image processing method | |
JPWO2008136098A1 (en) | Medical image processing apparatus and medical image processing method | |
KR102267509B1 (en) | The method for measuring microcirculation in cochlea and the apparatus thereof | |
JPWO2017104627A1 (en) | Ultrasonic observation apparatus, operation method of ultrasonic observation apparatus, and operation program of ultrasonic observation apparatus | |
Ghosh et al. | Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy | |
JP4749732B2 (en) | Medical image processing device | |
JP5636550B2 (en) | Lens image analyzer | |
CN107610081B (en) | A kind of endoscope signal processing method and system | |
WO2024104388A1 (en) | Ultrasonic image processing method and apparatus, and electronic device and storage medium | |
JP2011167529A (en) | Palisade vessel detecting device and palisade vessel detecting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20150401 |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20170124 Patent event code: PE09021S01D |
|
AMND | Amendment | ||
E601 | Decision to refuse application | ||
PE0601 | Decision on rejection of patent |
Patent event date: 20170929 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20170124 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
AMND | Amendment | ||
PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20170929 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20170323 Comment text: Amendment to Specification, etc. |
|
PX0601 | Decision of rejection after re-examination |
Comment text: Decision to Refuse Application Patent event code: PX06014S01D Patent event date: 20171116 Comment text: Amendment to Specification, etc. Patent event code: PX06012R01I Patent event date: 20171108 Comment text: Decision to Refuse Application Patent event code: PX06011S01I Patent event date: 20170929 Comment text: Amendment to Specification, etc. Patent event code: PX06012R01I Patent event date: 20170323 Comment text: Notification of reason for refusal Patent event code: PX06013S01I Patent event date: 20170124 |