KR20150049585A - 용종 검출 장치 및 그 동작방법 - Google Patents

용종 검출 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20150049585A
KR20150049585A KR1020130130334A KR20130130334A KR20150049585A KR 20150049585 A KR20150049585 A KR 20150049585A KR 1020130130334 A KR1020130130334 A KR 1020130130334A KR 20130130334 A KR20130130334 A KR 20130130334A KR 20150049585 A KR20150049585 A KR 20150049585A
Authority
KR
South Korea
Prior art keywords
region
reflected light
polyp
detecting
detected
Prior art date
Application number
KR1020130130334A
Other languages
English (en)
Inventor
김성현
윤국진
배승환
조영준
김태경
정지운
Original Assignee
삼성전자주식회사
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광주과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020130130334A priority Critical patent/KR20150049585A/ko
Priority to US14/479,534 priority patent/US9530205B2/en
Publication of KR20150049585A publication Critical patent/KR20150049585A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Abstract

본 발명은 용종 검출 장치 및 그 동작방법에 관한 것이다. 본 발명의 일 실시 예에 따른 용종 검출 장치의 동작방법은 대상체를 촬영하여, 영상을 생성하는 단계, 상기 생성된 영상을 기초로 하여, 용종 후보 영역을 검출하는 단계, 상기 검출된 용종 후보 영역 중 반사광 영역을 검출하는 단계 및 상기 용종 후보 영역에서 상기 검출된 반사광 영역을 제외한 최종 용종 영역을 표시하는 단계를 포함하는 것을 특징으로 한다.

Description

용종 검출 장치 및 그 동작방법{Polyp detection apparatus and operating method for the same}
본 발명은 용종 검출 장치 및 그 동작방법에 관한 것으로, 더욱 구체적으로는 내시경을 이용하여, 촬영된 영상을 기초로, 용종 영역을 검출할 수 있는 용종 검출 장치 및 그 동작방법에 관한 것이다.
내시경은 수술을 하거나 절개를 하지 않고서는 직접 병변을 볼 수 없는 신체의 내부에 삽입되어 장기나 체강 내부를 직접 볼 수 있게 만든 의료 기구이다. 초기의 내시경은 신체의 체강 내에 가늘고 긴 삽입부를 삽입하여 체강 내의 장기 등을 단순히 관찰하는 용도로 사용되었다.
이후, 영상 처리 기술이 발전함에 따라, 흑백 카메라로 체강 내의 각 부위를 촬영한 후, 촬영된 영상을 통해 각 부위의 병변을 자세하게 관찰할 수 있게 되었다. 또한, 단순 흑백 카메라는 고해상도의 컬러 영상 카메라로 대체되어 병변을 더욱 자세하게 관찰할 수 있게 되었다. 또한, 구별하고자 하는 병변에 따라 체강 표면을 특정한 색소로 염색한 후 촬영을 하는 색소 내시경도 사용되고 있다.
이러한 내시경을 이용하여 촬영한 영상에서, 용종(polyp)을 검출하고, 검출된 용종을 조기에 제거 또는 치료함에 따라 위암이나 대장암 위험도를 낮출 수 있다.
본 발명은 내시경을 이용하여 대상체에 대한 영상을 획득하고, 획득한 영상에 기초하여 검출된 용종 후보 영역 중 반사광 영역을 제외시킬 수 있는 용종 검출 장치 및 그 동작방법을 제공하는 데 있다.
본 발명의 일 실시 예에 따른 용종 검출 장치의 동작방법은 대상체를 촬영하여, 영상을 생성하는 단계, 상기 생성된 영상을 기초로 하여, 용종 후보 영역을 검출하는 단계, 상기 검출된 용종 후보 영역 중 반사광 영역을 검출하는 단계 및 상기 용종 후보 영역에서 상기 검출된 반사광 영역을 제외한 최종 용종 영역을 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 용종 후보 영역을 검출하는 단계는, 용종의 특징 정보를 기초로 하여, 용종 후보 영역을 검출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 용종 검출 장치의 동작방법은, 상기 생성된 영상을 이진화 영상으로 변환하는 단계를 더 포함하고, 상기 반사광 영역을 검출하는 단계는, 상기 변환된 이진화 영상에 기초하여, 상기 반사광 영역을 검출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역을 검출하는 단계는, 상기 용종 후보 영역의 픽셀 수 및 반사광 추정 영역의 픽셀 수를 기초로 하여 반사광 영역을 검출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역을 검출하는 단계는, 상기 용종 후보 영역의 넓이 및 반사광 추정 영역의 넓이를 기초로 하여 반사광 영역을 검출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역을 검출하는 단계는, 제1 단계 및 제2 단계를 포함하고, 상기 제1 단계는 상기 용종 후보 영역에 포함된 반사광 추정 영역의 픽셀 수를 상기 용종 후보 영역의 픽셀 수로 나눈 제1 값을 제1 기준값과 비교하는 단계이고, 상기 제2 단계는 상기 용종 후보 영역에 포함된 반사광 추정 영역의 넓이를 상기 용종 후보 영역의 넓이로 나눈 제2 값을 제2 기준값과 비교하는 단계인 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역을 검출하는 단계는, 상기 제1 단계에서, 상기 제1 값이 상기 제1 기준값보다 큰 경우, 상기 제2 단계를 수행하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역을 검출하는 단계는, 상기 제1 단계에서, 상기 제1 값이 상기 제1 기준값 이하인 경우, 상기 반사광 추정 영역을 상기 반사광 영역이 아닌 상기 최종 용종 영역으로 판단하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역을 검출하는 단계는, 상기 제2 단계에서, 상기 제2 값이 상기 제2 기준값보다 큰 경우, 상기 반사광 추정 영역을 상기 반사광 영역으로 판단하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역을 검출하는 단계는, 상기 제2 단계에서 상기 제2 값이 상기 제2 기준값 이하인 경우, 상기 반사광 추정 영역을 상기 반사광 영역이 아닌 상기 최종 용종 영역으로 판단하는 것을 특징으로 특징으로 한다.
본 발명의 일 실시 예에 따른 동작방법은, 상기 검출된 최종 용종 영역을 기 검출된 용종 영역과 비교하는 단계를 더 포함하고, 상기 검출된 최종 용종 영역이 상기 기 검출된 용종 영역과 동일한 경우, 상기 최종 용종 영역을 표시하는 단계는, 상기 최종 용종 영역의 이동 궤적을 표시하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 용종 검출 장치는 대상체를 촬영하는 촬영부, 상기 촬영부로부터 수신한 영상 신호에 기초하여, 영상을 생성하는 영상 생성부, 상기 생성된 영상을 기초로 하여, 용종 후보 영역을 검출하는 용종 후보 영역 검출부, 상기 검출된 용종 후보 영역 중 반사광 영역을 검출하는 반사광 영역 검출부 및 상기 용종 후보 영역에서 상기 검출된 반사광 영역을 제외한 최종 용종 영역을 표시하는 디스플레이부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 용종 후보 영역을 검출부는, 용종의 특징 정보를 기초로 하여, 용종 후보 영역을 검출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역 검출부는, 상기 영상을 이진화 영상으로 변환하고, 상기 변환된 이진화 영상에 기초하여, 상기 반사광 영역을 검출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 상기 반사광 영역 검출부는, 상기 용종 후보 영역의 픽셀 수 및 반사광 추정 영역의 픽셀 수를 기초로 하여 반사광 영역을 검출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 상기 반사광 영역 검출부는, 상기 용종 후보 영역의 넓이 및 반사광 추정 영역의 넓이를 기초로 하여 반사광 영역을 검출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역 검출부는, 상기 용종 후보 영역에 포함된 반사광 추정 영역의 픽셀 수를 상기 용종 후보 영역의 픽셀 수로 나눈 제1 값을 제1 기준값과 비교하고, 상기 용종 후보 영역에 포함된 반사광 추정 영역의 넓이를 상기 용종 후보 영역의 넓이로 나눈 제2 값을 제2 기준값과 비교하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역 검출부는, 상기 제1 값이 상기 제1 기준값보다 큰 경우, 상기 제2 값을 상기 제2 기준값과 비교하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역 검출부는, 상기 제1 값이 상기 제1 기준값 이하인 경우, 상기 반사광 추정 영역을 상기 반사광 영역이 아닌 상기 최종 용종 영역으로 판단하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역 검출부는, 상기 제2 값이 상기 제2 기준값보다 큰 경우, 상기 반사광 추정 영역을 상기 반사광 영역으로 판단하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 반사광 영역 검출부는, 상기 제2 값이 상기 제2 기준값 이하인 경우, 상기 반사광 추정 영역을 상기 반사광 영역이 아닌 상기 최종 용종 영역으로 판단하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 디스플레이부는, 상기 검출된 최종 용종 영역이 기 검출된 용종 영역과 동일한 경우, 상기 최종 용종 영역의 이동 궤적을 표시하는 것을 특징으로 한다.
용종 후보 영역 검출 후에, 반사광 영역을 검출하여, 반사광으로 인하여 용종 영역으로 판단된 영역을 제외시킬 수 있어 용종 검출의 정확성이 향상된다.
용종 검출에 필요한 연산량이 감소되어, 용종 검출 속도가 빨라짐에 따라, 용종의 실시간 검출이 가능하다.
용종의 이동 궤적을 표시함에 따라, 사용자는 프레임이 변경되더라도 용종의 이동경로를 판단할 수 있어, 용종을 추적하는데 용이하다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 발명의 일 실시 예에 따른 용종 검출 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 용종 검출 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 용종 검출 장치의 동작방법을 나타내는 흐름도이다.
도 4 및 도 5는 도 3의 330 단계(S330)를 보다 상세히 설명하기 위한 흐름도이다.
도 6 내지 도 11은 도 3 내지 도 5의 동작방법을 설명하기 위해 참조되는 도면들이다.
도 12는 본 발명의 일 실시 예에 따른 용종 검출 장치의 동작방법을 나타내는 흐름도이다.
도 13은 도 12의 동작방법을 설명하기 위해 참조되는 도면이다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "영상"이란 내시경을 이용하여 획득된 대상체(object)에 대한 영상을 의미한다. 또한, 대상체는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부, 심장 등의 장기, 또는 혈관을 포함할 수 있다. 또한, 대상체는 팬텀(phantom)을 포함할 수도 있으며, 팬텀은 생물의 밀도와 실효 원자 번호에 아주 근사한 부피를 갖는 물질을 의미할 수 있다. 특히, 본 발명의 일 실시예와 관련하여, 대상체는 장기나 체강 내부 등일 수 있다.
또한, 영상은 다양하게 구현될 수 있다. 예를 들어, 영상은 흑백 영상 또는 컬러 영상일 수 있다. 또한, 본 발명의 일 실시 예에 의하면, 영상은 2차원 영상 또는 3차원 영상일 수도 있다.
또한, 명세서 전체에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지는 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 일 실시 예에 따른 용종 검출 장치(100a)의 구성을 나타내는 블록도이다.
도 1을 참조하면, 용종 검출 장치(100a)는 촬영부(110), 영상 처리부(150) 및 디스플레이부(160)를 포함할 수 있다. 또한, 영상 처리부(150)는 영상 생성부(120), 용종 후보 영역 검출부(130) 및 반사광 영역 검출부(140)를 포함할 수 있다.
촬영부(110)는 대상체를 촬영하여, 영상 신호를 영상 처리부(150)로 전송할 수 있다.
영상 처리부(150)는 영상 생성부(120), 용종 후보 영역 검출부(130) 및 반사광 영역 검출부(140)를 포함할 수 있다.
영상 생성부(120)는 촬영부(110)로부터 수신한 영상 신호에 기초하여, 영상을 생성할 수 있다. 이때, 영상은 내시경 영상일 수 있으며, 흑백 영상 또는 컬러 영상일 수 있다.
일 실시 예에 의한 영상 생성부(120)는, 볼륨 데이터에 대한 볼륨 렌더링 과정을 거쳐 3차원 영상을 생성할 수 있으며, 영상 상에 여러 가지 부가 정보를 텍스트, 그래픽으로 표현할 수도 있다. 한편, 생성된 영상은 저장부에 저장될 수 있다.
또한, 영상 생성부(120)는 생성된 영상에 대하여, 대비 증강(contrast enhancement) 기법 또는 디블러링(deblurring) 기법 등을 수행하여, 영상의 품질을 향상시킬 수 있다.
용종 후보 영역 검출부(130)는 생성된 영상에 기초하여, 용종 후보 영역을 검출할 수 있다. 용종 후보 영역 검출부(130)는 생성된 영상을 스캐닝하여, 생성된 영상이 용종의 특징 정보를 포함하고 있는지를 판단하여, 용종 후보 영역을 검출할 수 있다.
예를 들어, 생성된 영상을 다수의 영역으로 분할하고, 분할된 영역을 순서대로 용종 특징 정보들과 비교하여, 영상이 용종의 특징 정보를 포함하고 있는지를 판단할 수 있다. 이때, 용종의 특징 정보는 용종을 나타내는 형상이나 크기, 용종에 대한 픽셀 값을 나타내는 정보일 수 있다.
또한, 용종의 특징 정보는 용종 검출 장치(100a)의 데이터 베이스(DB)에 기 저장된 정보들일 수 있으며, 용종의 특징 정보는 계속해서 업데이트 될 수 있다.
반사광 영역 검출부(140)는 상술한 바와 같이, 검출된 용종 후보 영역에 대한 검사를 수행하여, 반사광 영역을 검출할 수 있다. 즉, 검출된 용종 후보 영역이 반사광 영역인지 여부를 판단할 수 있다.
예를 들어, 반사광 영역 검출부(140)는 반사광 영역을 검출하기 위하여 2단계의 검사를 수행할 수 있다.
제1 단계 검사는 검출된 용종 후보 영역의 픽셀수와 반사광으로 추정되는 영역의 픽셀수를 기초로 하여 수행될 수 있으며, 제2 단계 검사는 검출된 용종 후보 영역의 넓이와 반사광으로 추정되는 영역의 넓이를 기초로 하여 수행될 수 있다.
반사광 영역 검출부(140)는 용종 후보 영역에 포함된 픽셀 값을 기초로 하여, 용종 후보 영역의 영상을 이진화(binary) 영상으로 변환할 수 있다.
예를 들어, 반사광 영역 검출부(140)는 용종 후보 영역에 포함된 각각 R(red), G(green), B(blue)를 나타내는 서브 픽셀들 중, B(blue) 서브 픽셀을 이용하여, B 서브 픽셀 값이 기 설정된 값 이상인 경우, 해당 B 서브 픽셀을 포함하는 픽셀 값을 제1 값으로 설정할 수 있다.
반면에, 반사광 영역 검출부(140)는 B 서브 픽셀 값이 기 설정된 값 미만인 경우, 해당 B 서브 픽셀을 포함하는 픽셀 값을 제2 값으로 설정할 수 있다. 이에 따라, 반사광 영역 검출부(140)는 용종 후보 영역의 영상을 픽셀 값이 제1 값 또는 제2 값인 이진화 영상으로 변환할 수 있다.
다만, 용종 후보 영역의 영상을 이진화 영상으로 변환하는 방법은 상술한 방법에 제한되지 않으며, R, G, B 서브 픽셀 값 전체를 기초로 하여, 변환할 수 있으며, 또는 R, G, B 서브 픽셀 값의 개별 평균값 또는 최소값을 기초로 하여, 변환할 수 있다.
반사광 영역 검출부(140)는 용종 후보 영역에 포함된 픽셀 수(Pp) 및 용종 후보 영역에 포함된 반사광 추정 영역에 해당하는 픽셀수(Ps)를 계산할 수 있다.
이때, 반사광 영역 검출부(140)는 이진화 영상 중 픽셀 값이 제1 값을 가지는 영역을 반사광 추정 영역으로 판단하여, 픽셀 값이 제1 값인 픽셀의 수를 계산할 수 있다.
반사광 영역 검출부(140)는 반사광 추정 영역 픽셀 수를 용종 후보 영역 픽셀 수로 나눈 값(Ps/Pp)이 기 설정된 제1 기준값보다 큰 지 여부를 판단할 수 있다.
이때, 반사광 영역 검출부(140)는 반사광 추정 영역의 Ps/Pp가 제1 기준값 이하인 경우, 반사광 영역이 아닌 용종 영역으로 판단할 수 있다.
반면에, 반사광 추정 영역의 Ps/Pp가 제1 기준값보다 큰 경우, 해당 반사광 추정 영역에 대해 제2 단계 검사를 수행할 수 있다.
반사광 영역 검출부(140)는 반사광 추정 영역에 대해 오프닝 연산을 수행할 수 있다. 반사광 추정 영역에 대해 오프닝 연산을 수행하면, 넓이가 작은 반사광 추정 영역은 제거되고, 주요 반사광 추정 영역이 부각될 수 있다.
또한, 반사광 영역 검출부(140)는 용종 후보 영역의 넓이(Ap) 및 반사광 추정 영역의 넓이(As)를 계산할 수 있으며, 반사광 추정 영역의 넓이를 용종 후보 영역의 넓이로 나눈 값(As/Ap)이 기 설정된 제2 기준값보다 큰 지 여부를 판단할 수 있다.
이때, 반사광 영역 검출부(140)는 반사광 추정 영역의 As/Ap가 제2 기준값 이하인 경우, 반사광 영역이 아닌 용종 영역으로 판단할 수 있다.
반면에, 반사광 추정 영역의 가 제2 기준값보다 큰 경우, 해당 반사광 추정 영역을 반사광 영역으로 판단할 수 있다.
영상 처리부(150)는 용종 후보 영역에서 반사광 영역으로 판단된 영역을 제외시킬 수 있으며, 디스플레이부(160)는 반사광 영역으로 판단된 영역이 제외된 최종 용종 영역을 표시할 수 있다.
디스플레이부(160)는 영상 처리부(150)에서 생성된 내시경 영상을 표시 출력한다. 디스플레이부(160)는, 내시경 영상뿐 아니라 용종 검출 장치(100a)에서 처리되는 다양한 정보를 GUI(Graphic User Interface)를 통해 화면 상에 표시 출력할 수 있다. 한편, 용종 검출 장치(100a)는 구현 형태에 따라 둘 이상의 디스플레이부를 포함할 수 있다.
디스플레이부(160)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이부(160)와 사용자 입력부가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(160)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 본 발명의 일 실시예와 관련하여, 디스플레이부(160)는 검출된 용종에 대한 아이디, 검출 시간, 이동 궤적 등을 표시할 수 있으며, 검출된 용종에 대한 다양한 측정 메뉴를 표시할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 용종 검출 장치(100b)의 구성을 도시한 블록도이다.
도 2를 참조하면, 용종 검출 장치(100b)는 조명부(115), 촬영부(110), 영상 처리부(150), 디스플레이부(160), 통신부(180), 저장부(175), 사용자 입력부(195), 및 제어부(170)를 포함할 수 있으며, 상술한 여러 구성들은 버스를 통해 서로 연결될 수 있다.
도 2의 촬영부(110), 영상 처리부(150) 및 디스플레이부(160)는 도 1의 촬영부(110), 영상 처리부(150) 및 디스플레이부(160)와 동일한 구성으로 이에 대한 자세한 설명은 도 1의 설명으로 대체하기로 한다.
조명부(115)는 광을 조사하여, 체강 내부 등 내시경 영상을 획득하고자 하는 영역에 광을 조명할 수 있다.
통신부(180)는, 유선 또는 무선으로 네트워크(30)와 연결되어 외부 디바이스나 서버와 통신한다. 통신부(180)는 의료 영상 정보 시스템(PACS, Picture Archiving and Communication System)을 통해 연결된 병원 서버나 병원 내의 다른 의료 장치와 데이터를 주고 받을 수 있다. 또한, 통신부(180)는 의료용 디지털 영상 및 통신(DICOM, Digital Imaging and Communications in Medicine) 표준에 따라 데이터 통신할 수 있다.
통신부(180)는 네트워크(30)를 통해 대상체의 내시경 영상, 내시경 데이터 등 대상체의 진단과 관련된 데이터를 송수신할 수 있으며, 내시경 장치, 초음파 장치, CT, MRI, X-ray 등 다른 의료 장치에서 촬영한 의료 영상 또한 송수신할 수 있다. 나아가, 통신부(180)는 서버로부터 환자의 진단 이력이나 치료 일정 등에 관한 정보를 수신하여 대상체의 진단에 활용할 수도 있다. 나아가, 통신부(180)는 병원 내의 서버나 의료 장치뿐만 아니라, 의사나 환자의 휴대용 단말과 데이터 통신을 수행할 수도 있다.
통신부(180)는 유선 또는 무선으로 네트워크(30)와 연결되어 서버(32), 의료 장치(34), 또는 휴대용 단말(36)과 데이터를 주고 받을 수 있다. 통신부(180)는 외부 디바이스와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈(181), 유선 통신 모듈(183), 및 이동 통신 모듈(185)을 포함할 수 있다.
근거리 통신 모듈(181)은 소정 거리 이내의 근거리 통신을 위한 모듈을 의미한다. 본 발명의 일 실시 예에 따른 근거리 통신 기술에는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스, 지그비(zigbee), WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
유선 통신 모듈(183)은 전기적 신호 또는 광 신호를 이용한 통신을 위한 모듈을 의미하며, 일 실시 예에 의한 유선 통신 기술에는 페어 케이블(pair cable), 동축 케이블, 광섬유 케이블, 이더넷(ethernet) 케이블 등이 포함될 수 있다.
이동 통신 모듈(185)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
저장부(175)는 용종 검출 장치(100b)에서 처리되는 여러 가지 정보를 저장한다. 예를 들어, 저장부(175)는 입/출력되는 영상 데이터, 용종 특징 정보 데이터, 검출된 용종에 관한 데이터 등 대상체의 진단에 관련된 의료 데이터를 저장할 수 있고, 용종 검출 장치(100b) 내에서 수행되는 알고리즘이나 프로그램을 저장할 수도 있다.
저장부(175)는 플래시 메모리, 하드디스크, EEPROM 등 여러 가지 종류의 저장매체로 구현될 수 있다. 또한, 용종 검출 장치(100b)는 웹 상에서 저장부(175)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
사용자 입력부(195)는, 사용자가 용종 검출 장치(100b)의 동작 제어를 위하여 입력하는 입력 데이터를 발생시킨다. 사용자 입력부(195)는 키 패드, 마우스, 터치 패드, 트랙볼, 조그 스위치 등 하드웨어 구성을 포함할 수 있으나 이에 한정되는 것은 아니며, 심전도 측정 모듈, 호흡 측정 모듈, 음성 인식 센서, 제스쳐 인식 센서, 지문 인식 센서, 홍채 인식 센서, 깊이 센서, 거리 센서 등의 다양한 구성을 더 포함할 수 있다.
특히, 터치 패드가 전술한 디스플레이부(160)와 상호 레이어 구조를 이루는 터치 스크린도 포함할 수 있다.
이때, 본 발명의 일 실시예에 따른 용종 검출 장치(100b)는, 소정 모드의 내시경 영상 및 내시경 영상에 대한 컨트롤 패널을 터치 스크린상에 표시할 수 있다. 그리고 용종 검출 장치(100b)는, 터치 스크린을 통해 내시경 영상에 대한 사용자의 터치 제스처를 감지할 수 있다.
제어부(170)는 용종 검출 장치(100b)의 동작을 전반적으로 제어한다. 즉, 제어부(170)는 조명부(115), 촬영부(110), 영상 처리부(150), 통신부(180), 저장부(175), 및 사용자 입력부(195) 간의 동작을 제어할 수 있다.
조명부(115), 촬영부(110), 영상 처리부(150), 통신부(180), 저장부(175), 사용자 입력부(195) 및 제어부(170) 중 일부 또는 전부는 소프트웨어 모듈에 의해 동작할 수 있으나 이에 제한되지 않으며, 상술한 구성 중 일부가 하드웨어에 의해 동작할 수도 있다. 또한, 영상 처리부(150), 및 통신부(180) 중 적어도 일부는 제어부(170)에 포함될 수 있으나, 이러한 구현 형태에 제한되지는 않는다.
한편, 도 1 및 도 2의 용종 검출 장치(100a, 100b)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 팩스 뷰어(PACS viewer), 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 제한되지 않는다.
또한, 도 1 및 2에서 도시된 용종 검출 장치(100)의 블록도는 본 발명의 일 실시 예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 초음파 진단 장치의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은 본 발명의 일 실시예에 따른 용종 검출 장치의 동작방법을 나타내는 흐름도이다.
도 3을 참조하면, 용종 검출 장치(100a, 100b)는 영상을 생성할 수 있다(S310). 이때, 영상은 내시경 영상일 수 있다. 예를 들어, 내시경을 이용하여, 체강 내부 등 영상을 획득하고자 하는 영역에 광을 조명하고, 상기 영역을 촬영함으로써 획득한 영상일 수 있다.
또한, 용종 검출 장치(100a, 100b)는 촬영한 영상에 대하여, 대비 증강(contrast enhancement) 기법 또는 디블러링(deblurring) 기법 등을 수행하여, 영상의 품질을 향상시킬 수 있다.
한편, 용종 검출 장치(100a, 100b)는 생성된 영상을 기초로 하여, 용종 후보 영역을 검출할 수 있다(S320).
용종 검출 장치(100a, 100b)는 생성된 영상을 스캐닝하여, 생성된 영상이 용종의 특징 정보를 포함하고 있는지를 판단하여, 용종 후보 영역을 검출할 수 있다.
예를 들어, 생성된 영상을 다수의 영역으로 분할하고, 분할된 영역을 순서대로 용종 특징 정보들과 비교하여, 용종의 특징 정보를 포함하고 있는지를 판단할 수 있다. 이때, 용종의 특징 정보는 용종을 나타내는 형상이나 수치를 크기, 용종에 대한 픽셀 값을 나타내는 정보일 수 있다.
또한, 용종의 특징 정보는 용종 검출 장치의 데이터 베이스(DB)에 기 저장된 정보들일 수 있으며, 용종의 특징 정보는 계속해서 업데이트 될 수 있다.
도 6은 상기와 같은 방법을 기초로 하여, 용종 후보 영역을 검출한 결과를 나타내는 화면을 도시한 도이다. 도 6을 참조하면, 검출된 용종 후보 영역은 사각형 박스로 표시될 수 있다. 다만, 이에 한정되는 것은 아니며, 용종 후보 영역은 원형, 다각형 표시 등 다양한 방법으로 표시될 수 있다.
도 6에 도시된 바와 같이, 복수의 용종 후보 영역이 검출될 수 있으며, 제1 용종 후보 영역(610) 및 제2 용종 후보 영역(620)이 표시될 수 있다.
한편, 용종 검출 장치(100a, 100b)는 검출된 용종 후보 영역에 대한 검사를 수행하여, 반사광 영역을 검출할 수 있다(S330). 즉, 검출된 용종 후보 영역이 반사광 영역인지 여부를 판단할 수 있다.
예를 들어, 용종 검출 장치(100a, 100b)는 반사광 영역을 검출하기 위하여 2단계의 검사를 수행할 수 있다.
도 4 및 도 5는 도 3의 330 단계(S330)를 보다 상세히 설명하기 위한 흐름도이다. 도 4는 반사광 영역을 검출하기 위한 제1 단계 검사를 나타내는 흐름도이고, 도 5는 반사광 영역을 검출하기 위한 제2 단계 검사를 나타내는 흐름도이다.
제1 단계 검사는 검출된 용종 후보 영역의 픽셀 수와 반사광으로 추정되는 영역의 픽셀 수를 기초로 하여 수행될 수 있으며, 제2 단계 검사는 검출된 용종 후보 영역의 넓이와 반사광으로 추정되는 영역의 넓이를 기초로 하여 수행될 수 있다.
도 4를 참조하면, 용종 검출 장치(100a, 100b)는 용종 후보 영역에 포함된 픽셀 수(Pp)를 계산할 수 있다(S410).
또한, 용종 검출 장치(100a, 100b)는 검출된 용종 후보 영역 중 반사광으로 추정되는 영역을 검출할 수 있다(S420).
이때, 용종 검출 장치(100a, 100b)는 용종 후보 영역에 포함된 픽셀 값을 기초로 하여, 용종 후보 영역의 영상을 이진화(binary) 영상으로 변환하여, 이진화 영상에 기초하여, 반사광 추정 영역을 검출할 수 있다.
예를 들어, 용종 검출 장치(100a, 100b)는 용종 후보 영역에 포함된 각각 R(red), G(green), B(blue)를 나타내는 서브 픽셀들 중 B(blue) 서브 픽셀을 이용하여, B 서브 픽셀 값이 기 설정된 값 이상인 경우, 해당 B 서브 픽셀을 포함하는 픽셀 값을 제1 값으로 할 수 있다.
반면에, B 서브 픽셀 값이 기 설정된 값 미만인 경우, 해당 B 서브 픽셀을 포함하는 픽셀 값을 제2 값으로 설정할 수 있다. 이에 따라, 용종 후보 영역의 영상을 픽셀 값이 제1 값 또는 제2 값인 이진화 영상으로 변환할 수 있다.
도 7은 상기와 같은 방법을 기초로 하여, 변환된 이진화 영상을 나타내는 도이다.
예를 들어, 용종 검출 장치(100a, 100b)는 도 6의 제1 용종 후보 영역(610) 및 제2 용종 후보 영역(620)의 B 서브 픽셀 값을 검사하여, B 서브 픽셀 값이 기 설정된 값 이상인 경우, 해당 픽셀은 제1 값을 가지도록 설정하고, B 서브 픽셀 값이 기 설정된 값 미만인 경우, 해당 픽셀은 제2 값을 가지도록 설정할 수 있다.
이에 따라, 도 7에 도시된 바와 같이, 제1 용종 후보 영역 및 제2 용종 후보 영역에 대한 이진화 영상(710, 720)은 제1 값에 대응하는 흰색 및 제2 값에 대응하는 검정색에 의해 표현될 수 있다.
다만, 용종 후보 영역의 영상을 이진화 영상으로 변환하는 방법은 상술한 방법에 제한되지 않으며, R, G, B 서브 픽셀 값 전체를 기초로 하여, 변환할 수 있으며, 또는 R, G, B 서브 픽셀 값의 개별 평균값 또는 최소값을 기초로 하여, 변환할 수 있다.
용종 검출 장치(100a, 100b)는 변환된 이진화 영상 중 픽셀 값이 제1 값을 가지는 영역을 반사광 추정 영역으로 검출할 수 있다.
한편, 다시 도 4를 참조하면, 용종 검출 장치(100a, 100b)는 변환된 이진화 영상에서 반사광 추정 영역에 해당하는 픽셀 수(Ps)를 계산할 수 있다(S430).
예를 들어, 용종 검출 장치(100a, 100b)는 이진화 영상 중 픽셀 값이 제1 값을 가지는 영역을 반사광 추정 영역으로 판단한 경우, 픽셀 값이 제1 값인 픽셀의 수를 계산할 수 있다.
용종 검출 장치(100a, 100b)는 반사광 추정 영역 픽셀 수를 용종 후보 영역 픽셀 수로 나눈 값(Ps/Pp)이 기 설정된 제1 기준값보다 큰 지 여부를 판단할 수 있다(S440).
이때, 용종 검출 장치(100a, 100b)는 Ps/Pp가 제1 기준값 이하인 경우, 반사광 추정 영역이 아닌 최종 용종 영역으로 판단할 수 있다(S450).
반면에, Ps/Pp가 제1 기준값보다 큰 경우, 해당 영역을 반사광 추정 영역으로 판단하고, 해당 영역에 대해 제2 단계 검사를 수행할 수 있다(A).
제2 단계 검사 수행 시, 용종 검출 장치(100a, 100b)는 반사광 추정 영역에 대해 오프닝 연산을 수행할 수 있다.
도 8을 참조하면, 도 8의 (a)는 오프닝 연산을 수행하기 전의 반사광 추정 영역을 나타내는 도면이고, 도 8의 (b)는 오프닝 연산을 수행한 후의 반사광 추정 영역을 나타내는 도면이다.
반사광 추정 영역에 대해 오프닝 연산을 수행하면, 넓이가 작은 반사광 추정 영역은 제거되고, 주요 반사광 추정 영역이 부각될 수 있다.
예를 들어, 오프닝 연산을 수행하면, 도 8의 (a)에 도시된 넓이가 작은 반사광 추정 영역(810, 820, 830)은, 제거되어, 도 8의 (b)에 나타나지 않으며, 주요 반사광 추정 영역(840, 850)은, 도 8의 (b)에 더 넓게 나타날 수 있다.
다시 도 5를 참조하면, 용종 검출 장치(100a, 100b)는 용종 후보 영역의 넓이(Ap) 및 반사광 추정 영역의 넓이(As)를 계산할 수 있으며, 반사광 추정 영역의 넓이를 용종 후보 영역의 넓이로 나눈 값(As/Ap)이 기 설정된 제2 기준값보다 큰 지 여부를 판단할 수 있다.
이때, 용종 검출 장치(100a, 100b)는 As/Ap가 제2 기준값 이하인 경우, 해당 영역을 반사광 영역이 아닌 최종 용종 영역으로 판단할 수 있다(S540).
반면에, As/Ap가 제2 기준값보다 큰 경우, 해당 영역을 반사광 영역으로 판단할 수 있다(S530).
다시 도 3을 참조하면, 용종 검출 장치(100a, 100b)는 검출된 반사광 영역을 용종 후보 영역에서 제외시키고, 최종 용종 영역을 표시할 수 있다(S350).
예를 들어, 도 9를 참조하면, 도 9의 (a)에 도시된 바와 같이, 최초로 검출된 용종 후보 영역은 제1 용종 후보 영역(910) 및 제2 용종 후보 영역(920)을 포함할 수 있으며, 제1 용종 후보 영역(910)의 경우, 제1 단계 및 제2 단계 검사에서, 반사광 영역으로 판단되어, 도 9의 (b)에 도시된 바와 같이, 최종 용종 영역으로 표시되지 않을 수 있다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 검출된 용종이 디스플레이부에 표시되는 예를 나타내는 도면이다.
용종 검출 장치(100a, 100b)는 용종 영역이 검출되면, 검출된 용종 영역을 디스플레이부(160)에 표시할 수 있다.
이때, 용종 검출 장치(100a, 100b)는 도 3 내지 도 5에서 설명한 방법을 이용하여 용종을 검출할 수 있으며, 검출된 용종 영역을 다양한 방법으로 표시할 수 있다.
예를 들어, 도 10에 도시된 바와 같이, 용종 검출 장치(100a, 100b)는 용종의 경계 영역(1030)을 검출하여 표시할 수 있다. 또는, 원형 오브젝트(1001), 타원형 오브젝트(1002), 다각형 오브젝트(1003) 등 복수의 오브젝트 중 하나를 선택하는 사용자 입력을 수신하여, 선택된 오브젝트를 이용하여, 검출된 용종을 표시할 수 있다.
한편, 용종 검출 장치(100a, 100b)는 검출되어 표시된 용종 영역 중 일부 용종 영역을 제외시킬 수 있다.
용종 검출 장치(100a, 100b)는 최종 용종 영역으로 검출되어, 디스플레이부(160)에 사각형 박스로 표시된 복수의 용종 영역(1010, 1020) 중 적어도 하나를 선택하고, 용종 영역 제외 버튼(1005)을 선택하는 입력을 수신하면, 선택된 용종 영역이 사각형 박스로 표시되지 않게 할 수 있다.
예를 들어, 사용자는 도 10에 사각형 박스로 도시된 제1 용종 영역(1010) 및 제2 용종 영역(1020) 중 제2 용종 영역(1020)을 선택하고, 용종 영역 제외 버튼(1005)을 선택하면, 도 11에 도시된 바와 같이, 제2 용종 영역(1020)을 표시하던 사각형 박스는 더 이상 표시되지 않을 수 있다.
한편, 용종 검출 장치(100a, 100b)는 표시된 용종 영역에 대하여 다양한 측정을 수행할 수 있다.
예를 들어, 도 11에 도시된 바와 같이, 용종 검출 장치(100a, 100b)는 길이 측정 메뉴(1120), 면적 측정 메뉴(1130) 등을 디스플레이부(160)에 표시할 수 있다. 사용자가 길이 측정 메뉴(1120)를 선택하고, 마우스 등의 입력 장치나 터치도구에 의하여, 두 지점(P1, P2)을 선택하는 경우, 용종 검출 장치(100a, 100b)는 두 지점 사이의 길이 값을 측정하여 표시할 수 있다. 또는, 용종 검출 장치(100a, 100b)는 사용자가 길이 측정 메뉴(1120)를 선택하는 경우, 자동으로 용종의 최장길이 및 최단길이를 측정하여, 표시할 수 있다.
또한, 사용자가 면적 측정 메뉴(1130)를 선택하고, 마우스 등의 입력 장치나 터치도구에 의하여, 디스플레이부(160)에 표시된 용종의 영역을 선택하는 경우, 용종 검출 장치(100a, 100b)는 선택된 영역의 면적을 측정하여 표시할 수 있다. 또는, 사용자가 면적 측정 메뉴(1130)를 선택하는 경우, 자동으로 용종의 면적을 측정하여, 표시할 수 있다.
도 11에서는 길이 측정 메뉴 및 면적 측정 메뉴에 대하여, 도시하고 설명하였지만, 이에 한정되는 것은 아니며, 표시된 용종에 대한 다양한 수치를 측정하고 표시할 수 있다.
도 12는 본 발명의 일 실시예에 따른 용종 검출 장치의 동작방법을 나타내는 흐름도이다.
도 12를 참조하면, 용종 검출 장치(100a, 100b)는 용종 영역이 검출되면(S1210), 검출된 용종 영역이 기 검출된 용종 영역인지를 판단할 수 있다(S1220).
용종 검출 장치(100a, 100b)는 용종이 검출되면, 검출된 용종에 대하여 아이디(ID)를 부여할 수 있다. 또한, 검출된 용종에 대한 정보를 저장부에 데이터 베이스로 저장할 수 있다.
또한, 도시하지는 않았지만 용종이 검출된 시간을 용종과 함께 표시하거나 데이터 베이스로 저장하여, 추후, 동일한 용종을 진단하는 경우, 참고자료로 사용할 수 있다.
이에 따라, 용종 검출 장치(100a, 100b)는 용종이 검출되면, 데이터 베이스를 검색하여, 검출된 용종이 기 검출된 용종인지를 판단할 수 있다. 이때, 기 검출된 용종 및 새로 검출된 용종에 대한 정보를 비교하여, 검출된 용종이 기 검출된 용종인지 여부를 판단할 수 있다.
판단 결과, 새로 검출된 용종이 기 검출된 용종이 아닌 경우, 새로 검출된 용종에 새로운 아이디(ID)를 부여하고, 새로 검출된 용종에 대한 정보를 상기 아이디와 함께 데이터 베이스로 저장할 수 있다.
반면에, 새로 검출된 용종이 기 검출된 용종인 경우, 용종의 이동 궤적을 계산하여 표시할 수 있다(S1230).
예를 들어, 용종 검출 장치(100a, 100b)는 이전 프레임에서의 위치를 기준으로, 현재 프레임에 용종의 이동 궤적을 계산하여 표시할 수 있다. 이때, 용종 검출 장치(100a, 100b)는 용종의 크기나 위치가 이전 프레임에서 검출된 결과에 비하여, 급격하게 변하지 않는다는 가정을 기초로 Kalman filtering 기법을 이용하여, 이동 궤적을 계산할 수 있다. 다만, 이에 한정되는 것은 아니며 다양한 계산방법을 사용할 수 있다. 또한, 이동 궤적은 도 13에 도시된 바와 같이, 점선으로 표시될 수 있다.
예를 들어, 용종 검출 장치(100a, 100b)는 도 13의 (a)에 도시된 바와 같이, 제1 프레임(1310)에서 제1 용종(1341)을 검출하여, 제1 용종(1341)을 화면에 표시하고, 제1 용종(1341)에 제1 아이디(ID:1)를 부여할 수 있다.
또한, 용종 검출 장치((100a, 100b))는, 도 13의 (b)에 도시된 바와 같이, 제2 프레임(1320)에서 제1 용종(1341) 및 제2 용종(1342)을 검출하여, 이전 프레임(제1 프레임)에서 기 검출된 제1 용종(1341)과 동일한 제1 용종(1341)에 대해서는 이동궤적(1351)을 표시하고, 새로 검출된 제2 용종(1342)에 제2 아이디(ID:2)를 부여하고, 화면에 표시할 수 있다.
마찬가지로, 제3 프레임(1330)에서 검출된 제1 용종 및 제2 용종은 이전 프레임(제2 프레임)에서 기 검출된 제1 용종 및 제2 용종과 동일하므로, 용종 검출 장치(100a, 100b)는 검출된 제1 용종 및 제2 용종에 새로 아이디를 부여하지 않고, 이동궤적(1351, 1352)을 계산하여 표시할 수 있다.
상술한 바와 같이, 용종 검출 장치가 용종의 이동 궤적을 표시함에 따라, 사용자는 프레임이 변경되더라도 용종의 이동경로를 판단할 수 있어, 용종을 추적하는데 용이하다.
한편, 본 발명의 초음파 진단 장치 및 그 동작방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM. CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (23)

  1. 대상체를 촬영하여, 영상을 생성하는 단계;
    상기 생성된 영상을 기초로 하여, 용종 후보 영역을 검출하는 단계;
    상기 검출된 용종 후보 영역 중 반사광 영역을 검출하는 단계; 및
    상기 용종 후보 영역에서 상기 검출된 반사광 영역을 제외한 최종 용종 영역을 표시하는 단계를 포함하는 용종 검출 장치의 동작방법.
  2. 제1항에 있어서,
    상기 용종 후보 영역을 검출하는 단계는,
    용종의 특징 정보를 기초로 하여, 용종 후보 영역을 검출하는 것을 특징으로 하는 용종 검출 장치의 동작방법.
  3. 제1항에 있어서,
    상기 동작방법은,
    상기 생성된 영상을 이진화 영상으로 변환하는 단계를 더 포함하고,
    상기 반사광 영역을 검출하는 단계는,
    상기 변환된 이진화 영상에 기초하여, 상기 반사광 영역을 검출하는 것을 특징으로 하는 용종 검출 장치의 동작방법.
  4. 제1항에 있어서,
    상기 반사광 영역을 검출하는 단계는,
    상기 용종 후보 영역의 픽셀 수 및 반사광 추정 영역의 픽셀 수를 기초로 하여 반사광 영역을 검출하는 것을 특징으로 하는 용종 검출 장치의 동작방법.
  5. 제1항에 있어서,
    상기 반사광 영역을 검출하는 단계는,
    상기 용종 후보 영역의 넓이 및 반사광 추정 영역의 넓이를 기초로 하여 반사광 영역을 검출하는 것을 특징으로 하는 용종 검출 장치의 동작방법.
  6. 제1항에 있어서,
    상기 반사광 영역을 검출하는 단계는,
    제1 단계 및 제2 단계를 포함하고,
    상기 제1 단계는 상기 용종 후보 영역에 포함된 반사광 추정 영역의 픽셀 수를 상기 용종 후보 영역의 픽셀 수로 나눈 제1 값을 제1 기준값과 비교하는 단계이고,
    상기 제2 단계는 상기 용종 후보 영역에 포함된 반사광 추정 영역의 넓이를 상기 용종 후보 영역의 넓이로 나눈 제2 값을 제2 기준값과 비교하는 단계인 것을 특징으로 하는 용종 검출 장치의 동작방법.
  7. 제6항에 있어서,
    상기 반사광 영역을 검출하는 단계는,
    상기 제1 단계에서, 상기 제1 값이 상기 제1 기준값보다 큰 경우, 상기 제2 단계를 수행하는 것을 특징으로 하는 용종 검출 장치의 동작방법.
  8. 제6항에 있어서,
    상기 반사광 영역을 검출하는 단계는,
    상기 제1 단계에서, 상기 제1 값이 상기 제1 기준값 이하인 경우, 상기 반사광 추정 영역을 상기 반사광 영역이 아닌 상기 최종 용종 영역으로 판단하는 것을 특징으로 하는 용종 검출 장치의 동작방법.
  9. 제6항에 있어서,
    상기 반사광 영역을 검출하는 단계는,
    상기 제2 단계에서, 상기 제2 값이 상기 제2 기준값보다 큰 경우, 상기 반사광 추정 영역을 상기 반사광 영역으로 판단하는 용종 검출 장치의 동작방법.
  10. 제6항에 있어서,
    상기 반사광 영역을 검출하는 단계는,
    상기 제2 단계에서 상기 제2 값이 상기 제2 기준값 이하인 경우, 상기 반사광 추정 영역을 상기 반사광 영역이 아닌 상기 최종 용종 영역으로 판단하는 것을 특징으로 하는 용종 검출 장치의 동작방법.
  11. 제1항에 있어서,
    상기 동작방법은,
    상기 검출된 최종 용종 영역을 기 검출된 용종 영역과 비교하는 단계를 더 포함하고,
    상기 검출된 최종 용종 영역이 상기 기 검출된 용종 영역과 동일한 경우,
    상기 최종 용종 영역을 표시하는 단계는,
    상기 최종 용종 영역의 이동 궤적을 표시하는 것을 특징으로 하는 용종 검출장치의 동작방법.
  12. 대상체를 촬영하는 촬영부;
    상기 촬영부로부터 수신한 영상 신호에 기초하여, 영상을 생성하는 영상 생성부;
    상기 생성된 영상을 기초로 하여, 용종 후보 영역을 검출하는 용종 후보 영역 검출부;
    상기 검출된 용종 후보 영역 중 반사광 영역을 검출하는 반사광 영역 검출부; 및
    상기 용종 후보 영역에서 상기 검출된 반사광 영역을 제외한 최종 용종 영역을 표시하는 디스플레이부를 포함하는 용종 검출 장치.
  13. 제12항에 있어서,
    상기 용종 후보 영역을 검출부는,
    용종의 특징 정보를 기초로 하여, 용종 후보 영역을 검출하는 것을 특징으로 하는 용종 검출 장치.
  14. 제12항에 있어서,
    상기 반사광 영역 검출부는,
    상기 영상을 이진화 영상으로 변환하고, 상기 변환된 이진화 영상에 기초하여, 상기 반사광 영역을 검출하는 것을 특징으로 하는 용종 검출 장치.
  15. 제12항에 있어서,
    상기 반사광 영역 검출부는,
    상기 용종 후보 영역의 픽셀 수 및 반사광 추정 영역의 픽셀 수를 기초로 하여 반사광 영역을 검출하는 것을 특징으로 하는 용종 검출 장치.
  16. 제12항에 있어서,
    상기 반사광 영역 검출부는,
    상기 용종 후보 영역의 넓이 및 반사광 추정 영역의 넓이를 기초로 하여 반사광 영역을 검출하는 것을 특징으로 하는 용종 검출 장치.
  17. 제12항에 있어서,
    상기 반사광 영역 검출부는,
    상기 용종 후보 영역에 포함된 반사광 추정 영역의 픽셀 수를 상기 용종 후보 영역의 픽셀 수로 나눈 제1 값을 제1 기준값과 비교하고,
    상기 용종 후보 영역에 포함된 반사광 추정 영역의 넓이를 상기 용종 후보 영역의 넓이로 나눈 제2 값을 제2 기준값과 비교하는 것을 특징으로 하는 용종 검출 장치.
  18. 제17항에 있어서,
    상기 반사광 영역 검출부는,
    상기 제1 값이 상기 제1 기준값보다 큰 경우, 상기 제2 값을 상기 제2 기준값과 비교하는 것을 특징으로 하는 용종 검출 장치.
  19. 제17항에 있어서,
    상기 반사광 영역 검출부는,
    상기 제1 값이 상기 제1 기준값 이하인 경우, 상기 반사광 추정 영역을 상기 반사광 영역이 아닌 상기 최종 용종 영역으로 판단하는 것을 특징으로 하는 용종 검출 장치.
  20. 제17항에 있어서,
    상기 반사광 영역 검출부는,
    상기 제2 값이 상기 제2 기준값보다 큰 경우, 상기 반사광 추정 영역을 상기 반사광 영역으로 판단하는 것을 특징으로 하는 용종 검출 장치.
  21. 제17항에 있어서,
    상기 반사광 영역 검출부는,
    상기 제2 값이 상기 제2 기준값 이하인 경우, 상기 반사광 추정 영역을 상기 반사광 영역이 아닌 상기 최종 용종 영역으로 판단하는 것을 특징으로 하는 용종 검출 장치.
  22. 제12항에 있어서,
    상기 디스플레이부는,
    상기 검출된 최종 용종 영역이 기 검출된 용종 영역과 동일한 경우, 상기 최종 용종 영역의 이동 궤적을 표시하는 것을 특징으로 하는 용종 검출 장치.
  23. 제1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020130130334A 2013-10-30 2013-10-30 용종 검출 장치 및 그 동작방법 KR20150049585A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130130334A KR20150049585A (ko) 2013-10-30 2013-10-30 용종 검출 장치 및 그 동작방법
US14/479,534 US9530205B2 (en) 2013-10-30 2014-09-08 Polyp detection apparatus and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130130334A KR20150049585A (ko) 2013-10-30 2013-10-30 용종 검출 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20150049585A true KR20150049585A (ko) 2015-05-08

Family

ID=52995525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130130334A KR20150049585A (ko) 2013-10-30 2013-10-30 용종 검출 장치 및 그 동작방법

Country Status (2)

Country Link
US (1) US9530205B2 (ko)
KR (1) KR20150049585A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122606A1 (ko) * 2018-12-11 2020-06-18 시너지에이아이 주식회사 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치
KR20230105811A (ko) * 2022-01-05 2023-07-12 주식회사 아이넥스코퍼레이션 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160310043A1 (en) * 2015-04-26 2016-10-27 Endochoice, Inc. Endoscopic Polyp Measurement Tool and Method for Using the Same
US11308614B2 (en) * 2018-03-20 2022-04-19 EndoVigilant Inc. Deep learning for real-time colon polyp detection
US10841514B2 (en) * 2018-03-20 2020-11-17 Endovigilant Inc Endoscopy video feature enhancement platform
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN109146820B (zh) * 2018-08-29 2020-10-16 合肥工业大学 实时腔镜视像增强处理方法和系统、存储介质
CN110110746A (zh) * 2019-03-29 2019-08-09 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
CN110533659A (zh) * 2019-09-03 2019-12-03 安翰科技(武汉)股份有限公司 消化道图像判断方法及包括其的消化道清洁程度判断方法及其计算机设备和可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1780651A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
JP4891636B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP4832927B2 (ja) * 2006-03-14 2011-12-07 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
ATE472141T1 (de) 2006-08-21 2010-07-15 Sti Medical Systems Llc Computergestützte analyse mit hilfe von videodaten aus endoskopen
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
JP5814698B2 (ja) * 2011-08-25 2015-11-17 オリンパス株式会社 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122606A1 (ko) * 2018-12-11 2020-06-18 시너지에이아이 주식회사 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치
KR20230105811A (ko) * 2022-01-05 2023-07-12 주식회사 아이넥스코퍼레이션 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
US20150117729A1 (en) 2015-04-30
US9530205B2 (en) 2016-12-27

Similar Documents

Publication Publication Date Title
US9530205B2 (en) Polyp detection apparatus and method of operating the same
US10957043B2 (en) AI systems for detecting and sizing lesions
JP6510036B2 (ja) 内視鏡検査におけるコンピュータ装置の作動方法、及びコンピュータで読み取り可能な記録媒体
JP2022535873A (ja) 結腸画像およびビデオを処理するためのシステムおよび方法
KR101728044B1 (ko) 의료 영상을 디스플레이 하기 위한 방법 및 장치
US10405832B2 (en) Ultrasound diagnosis apparatus and method
KR101636876B1 (ko) 의료 영상 처리 장치 및 방법
CN106466193B (zh) 超声诊断设备及其操作方法
WO2023124876A1 (zh) 内窥镜图像检测辅助系统、方法、介质和电子设备
US20150160821A1 (en) Method of arranging medical images and medical apparatus using the same
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
EP3015071A1 (en) Ultrasound apparatus and information input method thereof
CN106551707B (zh) 显示超声图像的设备和方法
JP6807869B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102367446B1 (ko) 초음파 진단 장치 및 그 동작 방법
KR102372351B1 (ko) 초음파 진단 장치 및 초음파 진단 방법
JP6840263B2 (ja) 内視鏡システム及びプログラム
KR101534088B1 (ko) 도플러 데이터를 이용한 초음파 영상 표시 방법 및 초음파 의료 장치
WO2021259394A2 (zh) 一种图像处理方法及装置、电子设备和存储介质
US10456112B2 (en) Ultrasound diagnosis apparatus, ultrasound diagnosis method and computer-readable storage medium
US10603015B2 (en) Ultrasonic apparatus and method for controlling the same
KR102416511B1 (ko) 바디 마커를 생성하는 방법 및 장치.
KR20180082114A (ko) 대상체의 초음파 영상을 디스플레이하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application