KR20160118037A - Apparatus and method for detecting lesion from medical image automatically - Google Patents

Apparatus and method for detecting lesion from medical image automatically Download PDF

Info

Publication number
KR20160118037A
KR20160118037A KR1020150046279A KR20150046279A KR20160118037A KR 20160118037 A KR20160118037 A KR 20160118037A KR 1020150046279 A KR1020150046279 A KR 1020150046279A KR 20150046279 A KR20150046279 A KR 20150046279A KR 20160118037 A KR20160118037 A KR 20160118037A
Authority
KR
South Korea
Prior art keywords
image
threshold value
threshold
value
setting
Prior art date
Application number
KR1020150046279A
Other languages
Korean (ko)
Inventor
김황남
손수연
이석규
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020150046279A priority Critical patent/KR20160118037A/en
Priority to PCT/KR2016/003432 priority patent/WO2016159726A1/en
Publication of KR20160118037A publication Critical patent/KR20160118037A/en

Links

Images

Classifications

    • G06F19/321
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G06F19/3418

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)

Abstract

의료 영상으로부터 병변의 위치를 자동으로 감지하는 병변 위치 자동 감지 장치가 개시된다. 본 발명의 병변 위치 자동 감지 장치는 의료 기기를 통해 수집된 원본 이미지를 입력받는 입력부; 상기 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 임계값 설정부; 상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 이미지 전환부; 및 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리부를 포함한다.A device for automatically detecting a lesion position that automatically detects a lesion position from a medical image is disclosed. An apparatus for automatically detecting a lesion position according to the present invention includes: an input unit for receiving an original image collected through a medical device; A threshold setting unit for converting the original image into a grayscale image and then setting at least one threshold value based on a brightness value of pixels constituting the grayscale image; An image switching unit for binarizing the grayscale image into a monochrome image based on the at least one threshold value; And an outline processor for extracting contours from the binarized image by searching for components suspected to be lesions and displaying the contours on the original image.

Description

의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법{APPARATUS AND METHOD FOR DETECTING LESION FROM MEDICAL IMAGE AUTOMATICALLY}[0001] APPARATUS AND METHOD FOR DETECTING LESION FROM MEDICAL IMAGE AUTOMATICALLY [0002]

본 발명은 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법에 관한 것으로서, 특히 내시경을 통해 얻어진 영상 내의 명도차를 이용하여 병변 위치를 자동으로 감지하는 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for automatically detecting the position of a lesion from a medical image, and more particularly, to an apparatus and method for automatically detecting a lesion position using a brightness difference in an image obtained through an endoscope.

일반적으로 신체 내부의 병변 검진시 다양한 의료 기기를 통해 얻어진 영상을 이용한다. 이러한 영상의 예로 내시경(Endoscope) 영상, 자기공명영상(MRI: Magnetic Resonance Imaging), 컴퓨터 단층 촬영(CT: Computed Tomography) 영상 등이 있다. Generally, images obtained through various medical devices are used for internal lesion screening. Examples of such images include an endoscope image, a magnetic resonance imaging (MRI), and a computed tomography (CT) image.

'내시경(Endoscope)'은 내장 장기나 체강 내부를 직접 관찰할 수 있는 의료 기구로써, 절개를 하지 않고 육안으로 직접 병변을 확인할 수 없는 장기에 대해 기계를 삽입하여 관찰하도록 창안된 기구이다. 기관에 따라 식도경, 위경, 십이지장경 등이 있으며, 방식에 따라 파이버스코프, 렌즈 시스템형, 위카메라 등이 있다.'Endoscope' is a medical instrument that can directly observe the internal organs or internal body cavity. It is a device designed to observe and insert a machine into organs that can not directly recognize the lesion by the naked eye without incision. Depending on the institution, there are esophagus, stomach, duodenal, etc. Depending on the method, there are fiber scope, lens system type and upper camera.

'자기공명영상(MRI)'이란 자기장을 발생하는 큰 자석통 속에 인체를 들어가게 한 후 고주파를 발생시켜 신체 부위에 있는 수소원자핵을 공명시키고, 그로 인해 각 조직으로부터 나오는 신호의 차이를 측정하여 컴퓨터를 통해 재구성함으로써 영상화 하는 기술이다.Magnetic Resonance Imaging (MRI) is a system that allows a human body to enter a large magnetic barrel that generates a magnetic field, generate high frequencies to resonate the hydrogen nuclei in the body, and measure the difference in signal from each tissue, It is a technique to image by reconfiguring through.

'컴퓨터 단층촬영(CT)'은 X선 발생장치가 있는 원형의 큰 기계에 인체를 들어가게 한 후 그 인체에 대한 횡단면을 촬영하는 기술이다. 이러한 컴퓨터 단층촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 좀 더 명확히 볼 수 있는 장점이 있으며, 대부분의 장기 및 질환에서 병변이 의심되고 정밀검사를 시행해야 할 필요가 있을 때 기본적으로 실시하는 검사법이다. 한편, 컴퓨터 단층촬영(CT)은 단면상을 얻는다는 점에서 자기 공명 영상(MRI)과 공통되지만, 컴퓨터 단층촬영(CT)은 X선을 이용하고, 자기 공명 영상(MRI)은 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다.'Computed tomography (CT)' is a technique for capturing a human body in a circular large machine with an X-ray generator and then taking a cross-section of the human body. These computed tomography (CT) images have a merit that the structures and lesions can be seen more clearly than the simple X-ray images, and most of the organs and diseases are suspected to have lesions, It is a basic test when necessary. On the other hand, computed tomography (CT) is common to magnetic resonance imaging (MRI) in that it obtains a cross-section, but computed tomography (CT) uses X-ray and magnetic resonance imaging (MRI) There is a difference in that images are acquired by transferring.

이와 같이 영상을 이용하여 신체 내부의 병변을 검진하는 방법들 중 자기공명영상(MRI)나 컴퓨터 단층촬영(CT)에 의한 영상의 경우 병변 부위를 감지하여 검진 의사에게 알려주거나 병변으로 의심되는 부위에 대한 가이드라인을 제공해주는 시스템이 존재한다. 하지만, 내시경 검진시 이러한 시스템이 존재하지 않는다. In this way, images of magnetic resonance imaging (MRI) or computed tomography (CT) are used to detect lesions inside the body and to inform the physician of the lesion or to suspicious lesions There is a system that provides guidelines for. However, these systems do not exist at endoscopy.

한편, 컴퓨터 단층촬영(CT)에서 폐결절을 자동으로 검출하는 기술이 개발되었지만 아직 정확도가 충분히 높지 않기 때문에 참고 의견으로만 인정되고 있다. On the other hand, although a technology for automatically detecting pulmonary nodules in CT has been developed, it is recognized only as a reference because its accuracy is not sufficiently high yet.

따라서 본 발명은 의료 영상 내의 명도차를 이용하여 병변으로 의심되는 조직을 감지하도록 함으로써, 육안으로 판별하기 힘든 미세한 변화까지도 정확히 감지할 수 있도록 하는 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다.Accordingly, the present invention provides a device for automatically detecting a lesion position and a method for detecting a tissue suspected to be a lesion by using a brightness difference in a medical image, so that even minute changes that can not be visually recognized can be accurately detected.

또한, 본 발명은 병변을 초기에 진단함으로써 완치율을 높이는 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다. The present invention also provides an apparatus for automatically detecting a lesion position and a method thereof for improving a cure rate by initially diagnosing a lesion.

또한, 본 발명은 병변으로 판단한 부위를 이상조직으로 진단할 수 있는 지에 대한 기준을 제공함으로써, 병변 진단에 익숙하지 않은 견습생에게 학습을 위한 도구로 활용이 가능한 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다. Further, the present invention provides a device for automatically detecting a lesion position and a method thereof, which can be utilized as a tool for learning to an apprentice who is not accustomed to the diagnosis of a lesion, by providing a criterion as to whether or not the lesion- I want to.

상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치는 의료 기기를 통해 수집된 원본 이미지를 입력받는 입력부; 상기 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 임계값 설정부; 상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 이미지 전환부; 및 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리부를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided an apparatus for automatically detecting a lesion location, including an input unit for receiving an original image collected through a medical device; A threshold setting unit for converting the original image into a grayscale image and then setting at least one threshold value based on a brightness value of pixels constituting the grayscale image; An image switching unit for binarizing the grayscale image into a monochrome image based on the at least one threshold value; And an outline processor for extracting contours from the binarized image by searching for components suspected to be lesions and displaying the contours on the original image.

바람직하게는, 상기 입력부는 내시경으로부터 원본 이미지를 입력받을 수 있다. Preferably, the input unit may receive an original image from an endoscope.

바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한 후, 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정할 수 있다. Preferably, the threshold value setting unit may set an average value of brightness values of all the pixels constituting the grayscale image to a first threshold value, and then, based on the first threshold value, Can be set.

바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 할 수 있다. Preferably, the threshold value setting unit may set the average value of brightness values of pixels constituting the grayscale image whose brightness value is larger than the first threshold value to a second threshold value.

바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정할 수 있다.Preferably, the threshold value setting unit may set an average value of brightness values of pixels constituting the grayscale image whose brightness value is smaller than the first threshold value to a third threshold value.

바람직하게는, 상기 이미지 전환부는 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성할 수 있다. Advantageously, the image switching unit may binarize the grayscale image for each of the at least one thresholds into a monochrome image, and as a result generate the same number of monochrome images as the number of thresholds.

바람직하게는, 상기 윤곽선 처리부는 상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시할 수 있다. Preferably, the outline processor extracts the outline for each of the monochrome images, and then integrates the outlines on one original image.

바람직하게는, 상기 윤곽선 처리부는 상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시할 수 있다.Preferably, the outline processing unit may previously store a size range of the outline to be displayed on the original image, and may display only the outline within the size range.

한편, 상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법은 의료 기기를 통해 수집되는 원본 이미지를 회색조 이미지로 변환하는 단계; 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 단계; 상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 단계; 및 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for automatically detecting a lesion position, the method comprising: converting an original image collected through a medical device into a grayscale image; Setting at least one threshold value based on a brightness value of pixels constituting the grayscale image; Binarizing the grayscale image into a monochrome image based on the at least one threshold; And a contour processing step of searching for components suspected to be lesions from the binarized image, extracting contours, and displaying the contours on the original image.

바람직하게는, 상기 임계값 설정 단계는 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정하는 단계; 및 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 단계를 포함할 수 있다. Preferably, the threshold value setting step may include setting a mean value of brightness values of all the pixels constituting the grayscale image to a first threshold value; And setting at least one additional threshold based on the first threshold.

바람직하게는, 상기 추가 임계값 설정 단계는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정할 수 있다. Preferably, the setting of the additional threshold value may set an average value of brightness values of pixels constituting the grayscale image whose brightness value is larger than the first threshold value to a second threshold value.

바람직하게는, 상기 추가 임계값 설정 단계는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 단계를 더 포함할 수 있다. Preferably, the setting of the threshold value further comprises setting an average value of brightness values of pixels constituting the grayscale image whose brightness value is smaller than the first threshold value to a third threshold value .

바람직하게는, 상기 이미지 전환 단계는 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성할 수 있다. Advantageously, said image conversion step binarizes said grayscale image into a monochrome image for each of said at least one thresholds, thereby producing the same number of monochrome images as said number of thresholds.

바람직하게는, 상기 윤곽선 처리 단계는 상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출하는 단계; 및 상기 추출된 윤곽선들을 상기 하나의 원본 이미지에 통합 표시하는 단계를 포함할 수 있다. Advantageously, said contour processing step comprises the steps of: extracting said contour for each of said monochrome images; And integrating the extracted contours into the one original image.

바람직하게는, 상기 윤곽선 처리 단계는 미리 설정된 윤곽선의 크기 범위 내의 윤곽선만을 표시할 수 있다.Preferably, the contour processing step may display only an outline within a size range of a predetermined contour line.

본 발명은 내시경 검진 시, 영상 내의 명도차를 이용하여 병변으로 의심되는 조직들에 대한 경계선을 감지하게 함으로써, 검진의사가 육안으로 판별하기 힘든 미세한 변화까지 정확히 감지할 수 있도록 하는 장점이 있다. 특히, 본 발명은 병별 위치를 자동으로 감지하되, 다중 임계값을 이용하여 이진화 오차를 줄임으로써 정확한 결과를 얻을 수 있는 장점이 있다.The present invention is advantageous in that, when an endoscopic examination is performed, a boundary line for tissues suspected to be lesions is detected using a brightness difference in an image, thereby allowing a doctor to accurately detect minute changes that are hard to be visually recognized. Particularly, the present invention is advantageous in that accurate detection results can be obtained by automatically detecting binocular positions and reducing binarization errors using multiple threshold values.

이로 인해, 본 발명은 병변을 초기에 진단하여 병의 완치율을 높일 수 있고, 병변으로 판단한 부위를 이상조직으로 진단할 수 있는 지에 대한 기준을 제공함으로써 병변 진단에 익숙하지 않은 견습생에게 학습을 위한 도구로 활용이 가능하다. 또한, 본 발명은 원격 진료 시 체외에서 조정하는 캡슐 내시경에도 적용함으로써, 문제가 있다고 판단되는 조직에 대해 검진의사에게 안내하여 병변 의심 부위에 대한 이동을 하도록 하거나, 캡슐 내시경의 이동에 대한 자동화도 가능하도록 하는 장점이 있다. Accordingly, the present invention provides a method for diagnosing lesions in an early stage to increase the cure rate of a lesion, and provides a criterion as to whether a lesion is diagnosed as an abnormal tissue, It is possible to use as. In addition, the present invention can be applied to a capsule endoscope which is adjusted in vitro at the time of remote medical examination, so that it is possible to guide the examination doctor to a tissue suspected to have a problem and to move to a suspected lesion site or to automate the movement of the capsule endoscope .

도 1은 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치에 대한 개략적인 블록도이다.
도 2는 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법에 대한 처리 흐름도이다.
도 3은 도 2의 다중 임계값 설정 과정에 대한 개략적인 처리 흐름도이다.
도 4는 도 2의 이미지 전환 과정에 대한 개략적인 처리 흐름도이다.
도 5는 본 발명의 일실시예에 따른 처리 단계 별로 생성되는 이미지들을 예시한 도면이다.
도 6 및 도 7은 본 발명의 효과를 도식화하여 설명하기 위한 도면들이다.
1 is a schematic block diagram of an automatic lesion position sensing apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of automatically detecting a lesion location according to an exemplary embodiment of the present invention.
FIG. 3 is a schematic flowchart of the process of setting the multiple thresholds in FIG.
FIG. 4 is a schematic processing flowchart of the image switching process of FIG. 2. FIG.
5 is a diagram illustrating images generated for each processing step according to an exemplary embodiment of the present invention.
FIGS. 6 and 7 are diagrams illustrating the effect of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. Throughout the specification and claims, where a section includes a constituent, it does not exclude other elements unless specifically stated otherwise, but may include other elements.

도 1은 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치(100)는 입력부(110)와, 임계값 설정부(120)와, 이미지 전환부(130)와, 윤곽선 처리부(140)를 포함한다. 1 is a schematic block diagram of an automatic lesion position sensing apparatus according to an embodiment of the present invention. 1, an apparatus 100 for automatically detecting a lesion position according to an exemplary embodiment of the present invention includes an input unit 110, a threshold value setting unit 120, an image switching unit 130, an outline processing unit 140 ).

입력부(110)는 병변 위치 자동 감지 장치(100)로 원본 이미지를 입력한다. 특히, 의료 기기(예컨대, 내시경 등)를 통해 수집된 원본 이미지를 입력받아 임계값 설정부(120)로 전달한다. The input unit 110 inputs an original image to the automatic lesion position sensing apparatus 100. In particular, an original image collected through a medical instrument (for example, an endoscope or the like) is input to the threshold value setting unit 120.

임계값 설정부(120)는 입력부(110)를 통해 전달된 상기 원본 이미지를 분석하여 적어도 하나의 임계값들을 설정한다. 이를 위해, 임계값 설정부(120)는 색조 영상인 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 모든 픽셀들의 명도값을 도출한다. 그리고 상기 모든 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정한다. The threshold value setting unit 120 analyzes the original image transmitted through the input unit 110 to set at least one threshold value. To this end, the threshold value setting unit 120 converts the original image, which is a tone image, into a grayscale image, and then derives brightness values of all the pixels constituting the grayscale image. And sets at least one threshold value based on the brightness value of all the pixels.

먼저, 임계값 설정부(120)는 수학식 1에 의거하여 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 도출하고, 그 값을 제1 임계값(Threshold)으로 설정한다. First, the threshold value setting unit 120 derives an average value of brightness values of all the pixels constituting the grayscale image according to Equation (1), and sets the average value as a first threshold value.

Figure pat00001
Figure pat00001

이 때,

Figure pat00002
는 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값들의 합,
Figure pat00003
는 모든 픽셀들의 수이고, 수학식 1에 의해 얻어진 제1 임계값(Threshold)이 해당 프레임에서의 정상 조직에 대한 기준이 된다. At this time,
Figure pat00002
Is the sum of the brightness values of all the pixels constituting the grayscale image,
Figure pat00003
Is the number of all pixels, and the first threshold obtained by Equation (1) is a reference for a normal tissue in the frame.

또한, 임계값 설정부(120)는 상기 제1 임계값(Threshold)에 기초하여 추가 임계값들을 더 설정할 수 있다. 이는 상기 제1 임계값(Threshold) 하나만을 가지고 해당 이미지를 이진화 했을 경우 발생할 수 있는 오차를 줄이기 위함이다. 예를 들어, 한 프레임 내에서 조명이 비추는 부위가 한 곳에 집중된다면 하나의 기준값으로 이상 조직과 정상 조직과의 차이를 판별해낼 때 오차가 생길 수 있다. Also, the threshold value setting unit 120 may further set additional threshold values based on the first threshold value. This is to reduce an error that may occur when the image is binarized with only the first threshold value. For example, if a region illuminated in one frame is concentrated in one frame, there may be an error in determining the difference between abnormal tissue and normal tissue as a reference value.

따라서, 이러한 오차를 줄이기 위해, 임계값 설정부(120)는 상기 제1 임계값 외에 조명이 비추고 있는 부위에 대한 평균값(일명, 제2 임계값)과, 그렇지 않은 부위에 대한 평균값(일명, 제3 임계값)을 추가한다. 상기 제2 임계값은 수학식 2에 의해 도출하고, 상기 제3 임계값은 수학식 3에 의해 도출할 수 있다. Therefore, in order to reduce such an error, the threshold value setting unit 120 sets the average value (a second threshold value) and the average value (a second threshold value) 3 threshold). The second threshold value may be derived by Equation (2), and the third threshold value may be derived by Equation (3).

Figure pat00004
Figure pat00004

이 때,

Figure pat00005
는 조명이 비추고 있는 부위에 대한 평균값으로,
Figure pat00006
은 제1 임계값(Threshold) 보다 큰 명도값을 가지는 픽셀들의 명도값들의 합이고,
Figure pat00007
는 제1 임계값(Threshold) 보다 큰 명도값을 가지는 픽셀들의 수이다. At this time,
Figure pat00005
Is the average value of the illuminated area,
Figure pat00006
Is a sum of brightness values of pixels having a brightness value greater than a first threshold value (Threshold)
Figure pat00007
Is the number of pixels having a brightness value larger than the first threshold value (Threshold).

Figure pat00008
Figure pat00008

이 때,

Figure pat00009
는 조명이 비취지 않는 부위에 대한 평균값으로,
Figure pat00010
은 제1 임계값(Threshold) 보다 작은 명도값을 가지는 픽셀들의 명도값들의 합이고,
Figure pat00011
는 제1 임계값(Threshold) 보다 작은 명도값을 가지는 픽셀들의 수이다. At this time,
Figure pat00009
Is an average value for a region where illumination is not feasible,
Figure pat00010
Is a sum of brightness values of pixels having a brightness value smaller than a first threshold value (Threshold)
Figure pat00011
Is the number of pixels having a brightness value smaller than the first threshold value (Threshold).

이미지 전환부(130)는 임계값 설정부(120)에서 설정된 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화한다. The image switching unit 130 binarizes the grayscale image into a monochrome image based on at least one threshold value set in the threshold setting unit 120. [

예를 들어, 임계값 설정부(120)에서 생성된 제1 임계값에 기초하여 이진화를 수행할 경우, 이미지 전환부(130)는 상기 회색조 이미지를 구성하는 모든 픽셀들의 명도값과 상기 제1 임계값을 비교하여 상기 제1 임계값 보다 큰 명도값을 갖는 픽셀의 명도값은 10으로 설정하고, 상기 제1 임계값 보다 작은 명도값을 갖는 픽셀의 명도값은 0으로 설정하여 상기 회색조 이미지를 흑백 이미지로 변환한다. For example, when binarization is performed based on the first threshold value generated by the threshold value setting unit 120, the image switching unit 130 switches the brightness value of all the pixels constituting the gray level image to the first threshold value The brightness value of the pixel having the brightness value larger than the first threshold value is set to 10 and the brightness value of the pixel having the brightness value smaller than the first threshold value is set to 0, Image.

이미지 전환부(130)는 상기 임계값 설정부(120)에서 생성된 적어도 하나의 임계값들 각각에 대하여, 상기 이진화 과정을 수행하여 흑백 이미지를 생성한다. 따라서, 임계값의 개수에 따라 흑백 이미지의 개수도 달라진다. 상기 예에서와 같이 임계값 설정부(120)가 제1 내지 제3 임계값을 설정한 경우, 이미지 전환부(130)는 상기 제1 내지 제3 임계값 각각에 대하여 흑백 이미지를 생성하므로, 3개의 흑백 이미지가 생성될 것이다. The image switching unit 130 performs the binarization process on each of the at least one threshold value generated by the threshold setting unit 120 to generate a monochrome image. Therefore, the number of black and white images also changes depending on the number of threshold values. When the threshold value setting unit 120 sets the first through third threshold values as described above, the image switching unit 130 generates a black and white image for each of the first through third threshold values, Black and white images will be generated.

윤곽선 처리부(140)는 상기 이미지 전환부(130)에서 생성되는 흑백 이미지(즉, 이진화된 이미지)로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시한다. The contour processing unit 140 searches for components suspected to be lesions from a black and white image (i.e., a binarized image) generated by the image switching unit 130, extracts contours, and displays the contours on the original image.

여기서, 컴포넌트는 이진화된 이미지에서 흑과 백이 맞닿는 지점들에서의 백색 내부 영역을 말하며, 윤곽선 처리부(140)는 그 백색 내부 영역의 가장 자리에 해당하는 윤곽선을 추출하게 된다. Here, the component refers to a white inside area at points where black and white meet in the binarized image, and the contour processing unit 140 extracts contours corresponding to the edge of the white inside area.

상기 예에서와 같이 이미지 전환부(130)에서 하나 이상의 흑백 이미지가 생성되는 경우, 윤곽선 처리부(140)는 상기 하나 이상의 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시하는 것이 바람직하다. When one or more monochrome images are generated in the image switching unit 130 as in the above example, the outline processing unit 140 extracts the outlines for each of the one or more monochrome images, and then integrates the outlines into one original image .

이 때, 윤곽선을 추출하는 방법은 해당 이미지를 구성하는 픽셀들의 명도값을 순차적으로 스캔하다가, 그 명도값이 주변의 픽셀들과 비교하여 차이가 나는 경우 해당 픽셀을 표시하고 이들이 연결되어 경계선을 표현하는 방법을 사용할 수 있다. In this case, the method of extracting the contour line sequentially scans the brightness values of the pixels constituting the image, and when the brightness value is compared with neighboring pixels, the corresponding pixel is displayed, Can be used.

이 때, 상기와 같은 방법으로 윤곽선을 추출하는 방법은 하나의 실시예에 불과한 것으로서, 본 발명의 윤곽선 추출 방법이 상기 제시된 방법으로 제한되는 것은 아니다. 즉, 상기 컴포넌트들의 윤곽선을 추출하는 방법은 공지된 다양한 기술을 적용할 수 있을 것이다. At this time, the method of extracting the contour line by the above method is only one embodiment, and the contour line extraction method of the present invention is not limited to the above-described method. That is, various known techniques may be applied to the method of extracting the contours of the components.

한편, 윤곽선 처리부(140)는 상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시하는 것이 바람직하다. On the other hand, the outline processing unit 140 preferably stores the size range of the outline to be displayed in the original image, and displays only the outline within the size range.

이 때, 윤곽선 처리부(140)는 폐곡선으로 이루어진 윤곽선의 중심을 지나고 상기 폐곡선과 만나는 직선 중 가장 긴 직선의 길이를 해당 윤곽선의 크기로 결정할 수 있다. At this time, the contour processing unit 140 can determine the length of the longest straight line that passes through the center of the contour line formed by the closed curve and meets the closed curve as the size of the contour line.

그리고, 윤곽선 처리부(140)는 상기 윤곽선의 크기가 상기 미리 저장된 크기 범위 이내인 경우에만 상기 윤곽선을 상기 원본 이미지에 표시하는 것이 바람직하다. 이는 너무 큰 컴포넌트의 경우 병변이라 보기 어려우며, 너무 작은 컴포넌트들은 점막 표면이 조명을 반사하는 부분들로, 병변이라 보기 어렵기 때문이다. 이를 위해, 상기 윤곽선의 크기 범위는 해당 분야의 전문가가 미리 설정하는 것이 바람직하며, 검출하고자 하는 병변의 크기를 검진 의사가 직접 조정할 수도 있을 것이다. The outline processing unit 140 may display the outline on the original image only when the size of the outline is within the pre-stored size range. This is not a lesion in the case of a component that is too large, and components that are too small to reflect light from the mucosal surface are difficult to see as a lesion. For this purpose, it is preferable that the size range of the outline is preset by a specialist in the field, and the size of the lesion to be detected may be directly adjusted by the examiner.

도 2는 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법에 대한 처리 흐름도이다. 도 1 및 도 2를 참조하면 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법은 다음과 같다. 2 is a flowchart illustrating a method of automatically detecting a lesion location according to an exemplary embodiment of the present invention. 1 and 2, a method for automatically detecting a lesion position according to an embodiment of the present invention is as follows.

먼저, 단계 S100에서는, 의료 기기로부터 수집된 원본 이미지(즉, 의료 영상)가 입력부(110)로 입력되는 지 여부를 결정한다. 예를 들어, 내시경을 통해 획득한 영상이 입력부(110)로 입력되는 지 여부를 결정한다. First, in step S100, it is determined whether an original image (i.e., a medical image) collected from the medical instrument is input to the input unit 110. [ For example, it is determined whether the image acquired through the endoscope is input to the input unit 110.

단계 S200에서는, 임계값 설정부(120)가 상기 단계 S100에서 입력된 원본 이미지를 회색조 이미지로 변환한다. 한편, 도 5는 본 발명의 일 실시 예에 따른 처리 단계 별로 생성되는 이미지들을 예시한 도면으로서, 도 5의 (a)는 단계 S100에서 입력된 원본 이미지(즉, 색조 영상)를 나타내고, 도 5의 (b)는 단계 S200에서 회색조 이미지로 변환된 이미지를 나타낸다. 도 5의 (b)에서 백색으로 표시된 영역들이 컴포넌트이다.In step S200, the threshold value setting unit 120 converts the original image input in step S100 into a grayscale image. 5 (a) and 5 (b) illustrate images generated for each processing step according to an embodiment of the present invention. FIG. 5 (a) (B) shows an image converted into a grayscale image in step S200. The areas indicated by white in (b) of FIG. 5 are components.

단계 S300에서는, 임계값 설정부(120)가 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들(즉, 다중 임계값)을 설정한다. 이를 위한 보다 구체적인 처리 과정의 예가 도 3에 예시되어 있으므로, 그 구체적인 처리 과정은 도 3을 참조하여 설명할 것이다. In step S300, the threshold setting unit 120 sets at least one threshold value (i.e., multiple threshold values) based on the brightness value of the pixels constituting the grayscale image. An example of a more specific process for this purpose is illustrated in FIG. 3, and a detailed process thereof will be described with reference to FIG.

단계 S400에서는, 이미지 전환부(130)가 상기 단계 S300에서 설정된 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화한다. 이 때, 상기 이진화 과정은 상기 단계 S300에서 설정된 임계값 수 만큼 반복하며, 그 결과 생성되는 흑백 이미지의 수도 상기 임계값 수와 동일하다. 도 5의 (c) 및 (d)는 서로 다른 임계값을 가지고 상기 도 5의 (b)에 예시된 회색조 이미지를 이진화 한 결과를 예시한다. 이 때, 도 5의 (c)는 제1 임계치에 의해 이진화를 수행한 결과를 나타내고, 도 5의 (d)는 제2 또는 제3 임계치에 의해 이진화를 수행한 결과를 나타낸다. 도 5의 (c)와 도 5의 (d)를 참조하면, 도 5의 (d)는 도 5의 (c)와 비교하여 이진화 결과가 보다 정확한 것을 알 수 있다. 따라서 상기 임계값의 수가 증가할수록 이진화 과정에서 발생하는 오차를 줄일 수 있음을 알 수 있다. 한편, 이를 위한 보다 구체적인 처리 과정의 예가 도 4에 예시되어 있으므로, 그 구체적인 처리 과정은 도 4를 참조하여 설명할 것이다. In step S400, the image switching unit 130 binarizes the grayscale image into a monochrome image based on the at least one threshold value set in step S300. At this time, the binarization process is repeated for the number of threshold values set in step S300, and the number of black and white images generated as a result is the same as the number of threshold values. 5 (c) and 5 (d) illustrate the result of binarizing the grayscale image illustrated in FIG. 5 (b) with different threshold values. In this case, FIG. 5C shows the result of performing the binarization by the first threshold value, and FIG. 5D shows the result of performing the binarization by the second or the third threshold value. Referring to FIGS. 5 (c) and 5 (d), it can be seen that the binarization result is more accurate as compared with FIG. 5 (c). Therefore, it can be seen that the error occurring in the binarization process can be reduced as the number of threshold values increases. Meanwhile, an example of a more detailed processing procedure for this is illustrated in FIG. 4, and a detailed processing procedure thereof will be described with reference to FIG.

단계 S500에서는, 윤곽선 처리부(140)가 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한다. 이 때, 상기 윤곽선 추출 과정은 상기 단계 S400에서 생성된 흑백 이미지의 수 만큼 반복한다. 즉, 상기 단계 S400에서 생성된 흑백 이미지 각각에 대하여 윤곽선 추출 과정을 수행한다. In step S500, the contour processing unit 140 searches for components suspected to be lesions from the binarized image, and extracts contours. At this time, the contour extraction process is repeated for the number of black and white images generated in step S400. That is, an outline extraction process is performed for each of the black and white images generated in step S400.

단계 S600에서는, 윤곽선 처리부(140)가 상기 단계 S500에서 추출된 윤곽선을 상기 원본 이미지에 표시한다. 상기 단계 S500에서, 하나 이상의 흑백 이미지로부터 윤곽선을 추출한 경우, 단계 S600에서는, 그 각각의 윤곽선들을 하나의 원본 이미지에 통합하여 표시한다. 한편, 상기 단계 S600에서는, 상기 단계 S500에서 추출된 모든 윤곽선을 표시하는 것이 아니라 소정의 조건(예컨대, 크기)을 만족하는 윤곽선만을 표시할 수 있다. 도 5의 (e)는 도 5의 (d)에 예시된 흑백 이미지로부터 추출된 윤곽선의 예를 도시하고, 도 5의 (f)는 도 5의 (a)에 예시된 원본 이미지 상에 상기 도 5의 (e)에 예시된 윤곽선을 표시한 예를 도시한다. In step S600, the contour processing unit 140 displays the contour extracted in step S500 on the original image. In step S500, if contours are extracted from one or more black-and-white images, the respective contours are integrated and displayed in one original image in step S600. On the other hand, in step S600, not all of the outlines extracted in step S500 are displayed, but only outlines satisfying a predetermined condition (e.g., size) can be displayed. 5 (e) shows an example of a contour extracted from the monochrome image illustrated in Fig. 5 (d), and Fig. 5 (f) shows an example of the contour drawn on the original image illustrated in Fig. 5 5 (e) shows an example of displaying an outline.

도 3은 도 2의 다중 임계값 설정 과정에 대한 개략적인 처리 흐름도이다. 도 1 및 도 3을 참조하면, 도 2의 다중 임계값 설정 과정(S300)은 다음과 같다. FIG. 3 is a schematic flowchart of the process of setting the multiple thresholds in FIG. Referring to FIGS. 1 and 3, the multi-threshold setting process (S300) of FIG. 2 is as follows.

먼저, 단계 S310에서는, 임계값 설정부(120)가 도 5의 (b)에 예시된 바와 같은 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값을 추출한다.First, in step S310, the threshold value setting unit 120 extracts a brightness value for all the pixels constituting the grayscale image as illustrated in FIG. 5B.

단계 S320에서는, 임계값 설정부(120)가 상기 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한다. In step S320, the threshold value setting unit 120 sets the average value of brightness values for all pixels to a first threshold value.

단계 S330에서는, 임계값 설정부(120)가 상기 제1 임계값에 기초하여 설정한 제1 기준을 만족하는 픽셀들(예컨대, 명도값이 상기 제1 임계값 보다 큰 픽셀들)에 대한 명도값의 평균값을 제2 임계값으로 설정한다. In step S330, the threshold value setting unit 120 sets the brightness value (e.g., brightness value) of pixels satisfying the first criterion set based on the first threshold value (e.g., pixels whose brightness value is larger than the first threshold value) Is set to the second threshold value.

단계 S340에서는, 임계값 설정부(120)가 상기 제1 임계값에 기초하여 설정한 제2 기준을 만족하는 픽셀들(예컨대, 명도값이 상기 제1 임계값 보다 작은 픽셀들)에 대한 명도값의 평균값을 제3 임계값으로 설정한다.In step S340, the threshold value setting unit 120 sets the brightness value (e.g., brightness value) of pixels satisfying the second criterion set based on the first threshold value (e.g., pixels whose brightness value is smaller than the first threshold value) Is set to the third threshold value.

이를 위해, 임계값 설정부(120)는 도 1을 참조한 설명시 언급된 바와 같이 동작하며, 수학식 1 내지 수학식 3에 의거하여 제1 내지 제3 임계값을 도출하는 것이 바람직하다. For this, the threshold value setting unit 120 operates as mentioned in the description with reference to FIG. 1, and it is preferable to derive the first to third threshold values according to Equations (1) to (3).

이 때, 도 3의 예에서는, 제1 내지 제3의 3개의 임계값을 도출하는 처리 과정의 예를 도시하고 있지만, 본 발명이 제1 내지 제3의 3개의 임계값을 도출하는 것으로 제한되는 것은 아니다. 예를 들어, 제1 및 제2의 2개의 임계값만을 도출하고 그 값들에 기초하여 이후의 과정을 처리할 수도 있는 것이다. 다만, 상기 임계값이 3개를 초과하는 경우, 연산 속도와 정확도에 있어서 효율이 떨어지는 문제가 발생하므로, 최대 임계값을 3개로 설정하는 것이 바람직하다.Here, in the example of FIG. 3, an example of a process of deriving the first to third thresholds is shown, but the present invention is limited to deriving the first to third thresholds It is not. For example, it is possible to derive only the first and second threshold values and to process subsequent processes based on the values. However, when the threshold value exceeds 3, there arises a problem that the efficiency is inferior in terms of operation speed and accuracy. Therefore, it is preferable to set the maximum threshold value to three.

도 4는 도 2의 이미지 전환 과정에 대한 개략적인 처리 흐름도이다. 도 1 및 도 4를 참조하면, 도 2의 이미지 전환 과정(S400)은 다음과 같다. FIG. 4 is a schematic processing flowchart of the image switching process of FIG. 2. FIG. Referring to FIGS. 1 and 4, the image switching process (S400) of FIG. 2 is as follows.

먼저, 단계 S410에서는, 이미지 전환부(130)가 상기 제1 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S410에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제1 흑백 이미지로 변환된다. First, in step S410, the image switching unit 130 performs binarization on the basis of the first threshold value. Thus, in step S410, the grayscale image generated by the threshold setting unit 120 is converted into the first monochrome image.

단계 S420에서는, 이미지 전환부(130)가 상기 제2 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S420에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제2 흑백 이미지로 변환된다. In step S420, the image switching unit 130 performs binarization on the basis of the second threshold value. Thus, in step S420, the grayscale image generated by the threshold setting unit 120 is converted into the second monochrome image.

단계 S430에서는, 이비지 전환부(130)가 상기 제3 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S430에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제3 흑백 이미지로 변환된다. In step S430, the eaveswitching unit 130 performs binarization on the basis of the third threshold value. Thus, in step S430, the grayscale image generated by the threshold setting unit 120 is converted into the third monochrome image.

즉, 이미지 전환 과정(S400)은 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성한다. That is, the image conversion process (S400) binarizes the gray-scale image into a monochrome image for each of the at least one threshold value, thereby generating the same number of monochrome images as the number of thresholds.

도 6 및 도 7은 본 발명의 효과를 도식화하여 설명하기 위한 도면들로서, 본 발명을 단계별로 적용하여 성능 평가를 해본 결과를 설명하기 위한 도면들이다. FIGS. 6 and 7 are diagrams for illustrating the effect of the present invention, and are views for explaining the results of performance evaluation by applying the present invention step by step.

도 6의 (a)는 전문 검진 의사가 내시경 이미지에 병변 부위(A)를 표시한 경우의 예를 도시하고, 도 6의 (b)는 수학식 1에 의해 도출된 제1 임계값(Threshold)을 기준으로 이진화를 수행한 후 그 결과 도출된 윤곽선만을 원본 이미지에 표시한 경우의 예를 도시하고, 도 6의 (c)는 상기 제1 임계값(Threshold)을 기준으로 이진화를 수행한 후 도출된 윤곽선과, 추가적으로 생성된 제2 임계값(

Figure pat00012
)을 기준으로 이진화를 수행한 후 도출된 윤곽선을 원본 이미지에 통합하여 표시한 경우의 예를 도시한다. 6 (a) shows an example of a case in which a physician examines a lesion area A on an endoscopic image, FIG. 6 (b) shows a first threshold Threshold, FIG. 6C shows an example of binarization based on the first threshold value, and then only the derived outline is displayed on the original image. FIG. 6C shows an example of binarization based on the first threshold value, And an additional generated second threshold value (
Figure pat00012
) Is binarized and then the derived outline is integrated with the original image and displayed.

도 6의 (b)를 참조하면, 도 6의 (a)에 전문 검진 의사가 표시한 병변 부위(A)가 윤곽선으로 표시되어 있지 않다. 이는 원본 이미지에서 카메라 조명이 오른쪽 하단에 집중되면서 초기 임계값이 평균 명도값으로 설정되어 생긴 오차 때문이다. Referring to Fig. 6B, the lesion area A indicated by the physician in charge of screening is not shown as an outline in Fig. 6A. This is due to the error caused when the camera threshold is set to the average brightness value while the camera illumination is concentrated in the bottom right corner of the original image.

도 6의 (c)를 참조하면, 도 6의 (a)에 전문 검진 의사가 표시한 병변 부위(A)와 유사한 윤곽선(B)이 표시되어 있다. 이는 수학식 2에 의해 도출된 제2 임계값(

Figure pat00013
)을 기준으로 추가적인 이진화를 한번 더 수행한 후 도출된 윤곽선을 추가함으로써 보다 정확한 결과를 얻을 수 있음을 나타낸다. Referring to Fig. 6 (c), an outline B similar to the lesion area A indicated by the physician in charge of physical examination is shown in Fig. 6 (a). This is because the second threshold value derived by Equation (2)
Figure pat00013
), It is shown that more accurate results can be obtained by performing the additional binarization once more and then adding the derived outline.

이러한 효과를 수치적으로 표현한 예가 도 7에 예시되어 있다. 도 7에서, 첫 번째 단계(1st stage)는 평균 임계값(즉, 제1 임계값(Threshold))만을 적용했을 때의 단계이고, 두 번째 단계(2nd stage)는 제2 임계값(

Figure pat00014
)을 추가한 단계이다. 필요에 따라 제3 임계값(
Figure pat00015
)를 추가하여 세 번째 단계(3rd stage)까지 진행이 가능하지만, 도 6의 (a)에서 보이는 바와 같이 병변이 이미지에서 밝은 부분에 위치하고 있으므로 제2 임계값(
Figure pat00016
)을 추가한 두 번째 단계(2nd stage)까지만 진행한다. An example of numerical representation of this effect is illustrated in FIG. 7, the first stage (1 st stage) is a stage when only the average threshold value (i.e., the first threshold value) is applied, the second stage (2 nd stage)
Figure pat00014
) Is added. If necessary, the third threshold value (
Figure pat00015
(3 rd stage). However, since the lesion is located in the bright part of the image as shown in FIG. 6 (a), the second threshold value
Figure pat00016
) To the second stage (2 nd stage).

도 7의 첫 번째 단계(1st stage)에서 생성된 결과가 도 6의 (b)이다. 도 6의 (b)와 도 7을 함께 참조하면, 도 6의 (b)에서 보이는 경계선들은 실제로는 병변이 없음에도 주변과의 명도차로 인해 병변으로 의심되는 부분이다. 이는 음성(정상)을 양성(병변)으로 판단하고 있으므로 'false positive'라고 정의한다. 한편, 실제 병변 부위는 병변으로 감지하지 못했으므로, 이 부분은 양성(병변)을 음성(정상)으로 판단하는 'false negative'이다. The result produced in the first stage (1 st stage) of FIG. 7 is shown in FIG. 6 (b). Referring to FIG. 6 (b) and FIG. 7 together, the boundary lines shown in FIG. 6 (b) are actually suspected lesions due to the difference in brightness with the surroundings even though there is no lesion. This is defined as a 'false positive' because the voice (normal) is judged to be positive (lesion). On the other hand, since the actual lesion site can not be detected as a lesion, this part is 'false negative' in which the lesion is judged as negative (normal).

한편, 도 7의 두 번째 단계(2nd stage)의 결과는 도 6의 (c)에 예시되어 있다. 도 6의 (c)와 도 7을 함께 참조하면, 이 단계에서는 병변이 아님에도 병변으로 의심하는 부분, 즉 'false positive'가 8개로 증가하였다. 그리고 실제 병변 부위를 병변으로 감지하고 있으므로 이를 'true positive'로 정의한다. 이에 따라 'false negative'는 제거되었다. On the other hand, as a result of the second step (2 nd stage) of Figure 7 is illustrated in (c) of FIG. Referring to FIG. 6 (c) and FIG. 7 together, at this stage, the portion of the lesion suspected to be a lesion, that is, 'false positive' increased to eight. The true lesion is detected as a lesion and is defined as 'true positive'. Accordingly, 'false negative' was removed.

이와 같이 본 발명은 같이 다중의 임계값을 적용함으로써, 병변으로 의심될 수 있는 부분을 모두 검출하여 표시함으로써, 검진 의사 및 숙련되지 않은 교육생에게 이를 안내하여 병변을 놓칠 확률을 감소시킬 수 있다. 즉, 병변임에도 병변으로 인지하지 못하는 'false negative'를 제거하는 것이 본 발명의 최우선 목표이며, 도 6 및 도 7을 참조하면, 다중 임계값 설정을 통해 이 목표가 달성되었음을 확인할 수 있다.Thus, by applying multiple thresholds, the present invention can detect and display all suspicious lesions, thereby reducing the probability of missed lesions by guiding the surgeon to a physician or an unskilled trainee. That is, it is a top priority of the present invention to remove a 'false negative' that is not recognized as a lesion even though it is a lesion. Referring to FIGS. 6 and 7, it can be confirmed that the target is achieved through setting multiple threshold values.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독매체(예를 들면, 시디롬, 디브이디 등)를 포함한다. The computer readable recording medium includes a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM, DVD, etc.).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. The present invention has been described with reference to the preferred embodiments.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명이 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (15)

의료 기기를 통해 수집된 원본 이미지를 입력받는 입력부;
상기 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 임계값 설정부;
상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 이미지 전환부; 및
상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리부를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
An input unit for receiving an original image collected through the medical device;
A threshold setting unit for converting the original image into a grayscale image and then setting at least one threshold value based on a brightness value of pixels constituting the grayscale image;
An image switching unit for binarizing the grayscale image into a monochrome image based on the at least one threshold value; And
And a contour processing unit for searching for components suspected to be lesions from the binarized image, extracting contours, and displaying the contours on the original image.
제1항에 있어서, 상기 입력부는
내시경으로부터 원본 이미지를 입력받는 것을 특징으로 하는 병변 위치 자동 감지 장치.
The apparatus of claim 1, wherein the input unit
And an original image is received from the endoscope.
제1항에 있어서, 상기 임계값 설정부는
상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한 후, 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
2. The apparatus of claim 1, wherein the threshold setting unit
Further comprising setting at least one additional threshold value based on the first threshold value after setting an average value of brightness values for all the pixels constituting the gray level image as a first threshold value, Sensing device.
제3항에 있어서, 상기 임계값 설정부는
상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
4. The apparatus of claim 3, wherein the threshold setting unit
And sets an average value of brightness values of pixels constituting the grayscale image whose brightness value is larger than the first threshold value as a second threshold value.
제4항에 있어서, 상기 임계값 설정부는
상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
5. The apparatus of claim 4, wherein the threshold setting unit
And sets an average value of brightness values of pixels constituting the gray-scale image whose brightness value is smaller than the first threshold value as a third threshold value.
제1항에 있어서, 상기 이미지 전환부는
상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
The image processing apparatus according to claim 1,
And binarizes the gray-scale image into a monochrome image for each of the at least one threshold value, thereby generating the same number of monochrome images as the number of thresholds.
제6항에 있어서, 상기 윤곽선 처리부는
상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
7. The image processing apparatus according to claim 6, wherein the contour processing unit
Extracting the contour line for each of the black and white images, and then displaying the contours on a single original image.
제1항에 있어서, 상기 윤곽선 처리부는
상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시하는 것을 특징으로 하는 병변 위치 자동 감지 장치.
The image processing apparatus according to claim 1, wherein the contour processing unit
Wherein a size range of an outline to be displayed on the original image is previously stored and only an outline within the size range is displayed.
의료 기기를 통해 수집되는 원본 이미지를 회색조 이미지로 변환하는 단계;
상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 단계;
상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 단계; 및
상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
Converting an original image collected through the medical instrument to a grayscale image;
Setting at least one threshold value based on a brightness value of pixels constituting the grayscale image;
Binarizing the grayscale image into a monochrome image based on the at least one threshold; And
And a contour processing step of searching for components suspected to be lesions from the binarized image, extracting contours, and displaying the contours on the original image.
제9항에 있어서, 상기 임계값 설정 단계는
상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정하는 단계; 및
상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
10. The method of claim 9, wherein the threshold setting step
Setting an average value of brightness values of all the pixels constituting the grayscale image to a first threshold value; And
Further comprising setting at least one additional threshold based on the first threshold value.
제10항에 있어서, 상기 추가 임계값 설정 단계는
상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
11. The method of claim 10, wherein the further threshold setting step
Wherein the average value of brightness values of pixels constituting the grayscale image whose brightness value is greater than the first threshold value is set as a second threshold value.
제11항에 있어서, 상기 추가 임계값 설정 단계는
상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
12. The method of claim 11, wherein the further threshold setting step
Further comprising setting an average value of brightness values of pixels constituting the gray-scale image whose brightness value is smaller than the first threshold value to a third threshold value .
제9항에 있어서, 상기 이미지 전환 단계는
상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
10. The method of claim 9,
Binarizing the gray-scale image into a monochrome image for each of the at least one threshold value, and thereby generating the same number of monochrome images as the number of thresholds.
제13항에 있어서, 상기 윤곽선 처리 단계는
상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출하는 단계; 및
상기 추출된 윤곽선들을 상기 하나의 원본 이미지에 통합 표시하는 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
14. The method of claim 13, wherein the contour processing step
Extracting the contour for each of the monochrome images; And
And integrating the extracted contours into the one original image. ≪ RTI ID = 0.0 > 8. < / RTI >
제1항에 있어서, 상기 윤곽선 처리 단계는
미리 설정된 윤곽선의 크기 범위 내의 윤곽선만을 표시하는 것을 특징으로 하는 병변 위치 자동 감지 방법.
2. The method of claim 1, wherein the contour processing step
Wherein only an outline within a size range of a predetermined outline is displayed.
KR1020150046279A 2015-04-01 2015-04-01 Apparatus and method for detecting lesion from medical image automatically KR20160118037A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150046279A KR20160118037A (en) 2015-04-01 2015-04-01 Apparatus and method for detecting lesion from medical image automatically
PCT/KR2016/003432 WO2016159726A1 (en) 2015-04-01 2016-04-01 Device for automatically sensing lesion location from medical image and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150046279A KR20160118037A (en) 2015-04-01 2015-04-01 Apparatus and method for detecting lesion from medical image automatically

Publications (1)

Publication Number Publication Date
KR20160118037A true KR20160118037A (en) 2016-10-11

Family

ID=57004716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150046279A KR20160118037A (en) 2015-04-01 2015-04-01 Apparatus and method for detecting lesion from medical image automatically

Country Status (2)

Country Link
KR (1) KR20160118037A (en)
WO (1) WO2016159726A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117187A (en) * 2018-04-06 2019-10-16 주식회사 뷰노 Method for visualizing medical image and apparatus using the same
US11741598B2 (en) 2019-05-14 2023-08-29 Vuno, Inc. Method for aiding visualization of lesions in medical imagery and apparatus using the same
KR102613718B1 (en) 2022-09-06 2023-12-14 주식회사 에어스메디컬 Method, program, and apparatus for object tracking based on medical imaging
KR20240034428A (en) 2022-09-07 2024-03-14 (주)임팩티브에이아이 Method, program and apparatus for developing new products based on artificial intelligence
KR20240167212A (en) 2023-05-19 2024-11-26 (주)임팩티브에이아이 Method, program and apparatus for selecting project of artificial intelligence
KR20240167264A (en) 2023-05-19 2024-11-26 (주)임팩티브에이아이 Method, program and apparatus for selecting project of artificial intelligence in human resource

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109346159B (en) * 2018-11-13 2024-02-13 平安科技(深圳)有限公司 Case image classification method, device, computer equipment and storage medium
CN113723417B (en) * 2021-08-31 2024-04-12 深圳平安智慧医健科技有限公司 Single view-based image matching method, device, equipment and storage medium
CN114903408A (en) * 2022-04-22 2022-08-16 华伦医疗用品(深圳)有限公司 Endoscope imaging system with diagnostic imaging

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4298258B2 (en) * 2002-10-11 2009-07-15 株式会社日立メディコ Medical image display device
CA2821395A1 (en) * 2010-12-17 2012-06-21 Aarhus Universitet Method for delineation of tissue lesions
KR101223598B1 (en) * 2011-04-06 2013-01-22 인하대학교 산학협력단 A System for Diagnosing Pancreatic Intraepithelial Neoplasia
KR101795720B1 (en) * 2011-05-12 2017-11-09 주식회사 미래컴퍼니 Control method of surgical robot system, recording medium thereof, and surgical robot system
KR101492254B1 (en) * 2013-05-14 2015-02-10 사회복지법인 삼성생명공익재단 Ultrasound diagnostic apparatus and method for quality control

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117187A (en) * 2018-04-06 2019-10-16 주식회사 뷰노 Method for visualizing medical image and apparatus using the same
US11741598B2 (en) 2019-05-14 2023-08-29 Vuno, Inc. Method for aiding visualization of lesions in medical imagery and apparatus using the same
KR102613718B1 (en) 2022-09-06 2023-12-14 주식회사 에어스메디컬 Method, program, and apparatus for object tracking based on medical imaging
KR20240034428A (en) 2022-09-07 2024-03-14 (주)임팩티브에이아이 Method, program and apparatus for developing new products based on artificial intelligence
KR20240167212A (en) 2023-05-19 2024-11-26 (주)임팩티브에이아이 Method, program and apparatus for selecting project of artificial intelligence
KR20240167264A (en) 2023-05-19 2024-11-26 (주)임팩티브에이아이 Method, program and apparatus for selecting project of artificial intelligence in human resource

Also Published As

Publication number Publication date
WO2016159726A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
KR20160118037A (en) Apparatus and method for detecting lesion from medical image automatically
JP5576782B2 (en) Image processing apparatus, image processing method, and image processing program
JP6150583B2 (en) Image processing apparatus, endoscope apparatus, program, and operation method of image processing apparatus
EP1994878B1 (en) Medical image processing device and medical image processing method
JP5276225B2 (en) Medical image processing apparatus and method of operating medical image processing apparatus
US20250029255A1 (en) Image processing method, apparatus and device
JP4994737B2 (en) Medical image processing apparatus and medical image processing method
CN101389260B (en) Medical image processing apparatus and medical image processing method
CN104363815B (en) Image processing apparatus and image processing method
US8666135B2 (en) Image processing apparatus
WO2008044466A1 (en) Image processing device, image processing method, and image processing program
US8634600B2 (en) Extracting method and apparatus of blood vessel crossing/branching portion
JPWO2019087790A1 (en) Examination support equipment, endoscopy equipment, examination support methods, and examination support programs
WO2012153568A1 (en) Medical image processing device and medical image processing method
JPWO2008136098A1 (en) Medical image processing apparatus and medical image processing method
KR102267509B1 (en) The method for measuring microcirculation in cochlea and the apparatus thereof
JPWO2017104627A1 (en) Ultrasonic observation apparatus, operation method of ultrasonic observation apparatus, and operation program of ultrasonic observation apparatus
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
JP4749732B2 (en) Medical image processing device
JP5636550B2 (en) Lens image analyzer
CN107610081B (en) A kind of endoscope signal processing method and system
WO2024104388A1 (en) Ultrasonic image processing method and apparatus, and electronic device and storage medium
JP2011167529A (en) Palisade vessel detecting device and palisade vessel detecting method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150401

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170124

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170929

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170124

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20170929

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170323

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20171116

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20171108

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20170929

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20170323

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20170124