KR20190141916A - Endoscope apparatus for measuring lesion volume using depth map and method for measuring lesion volume using the apparatus - Google Patents
Endoscope apparatus for measuring lesion volume using depth map and method for measuring lesion volume using the apparatus Download PDFInfo
- Publication number
- KR20190141916A KR20190141916A KR1020180068726A KR20180068726A KR20190141916A KR 20190141916 A KR20190141916 A KR 20190141916A KR 1020180068726 A KR1020180068726 A KR 1020180068726A KR 20180068726 A KR20180068726 A KR 20180068726A KR 20190141916 A KR20190141916 A KR 20190141916A
- Authority
- KR
- South Korea
- Prior art keywords
- lesion
- image
- depth map
- measuring
- endoscope device
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims description 8
- 238000000691 measurement method Methods 0.000 claims description 8
- 238000002604 ultrasonography Methods 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 239000002775 capsule Substances 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 2
- 208000037062 Polyps Diseases 0.000 description 10
- 238000001574 biopsy Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 5
- 208000014081 polyp of colon Diseases 0.000 description 4
- 208000003200 Adenoma Diseases 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 3
- 238000002052 colonoscopy Methods 0.000 description 3
- 238000001839 endoscopy Methods 0.000 description 3
- 208000022131 polyp of large intestine Diseases 0.000 description 2
- 206010048832 Colon adenoma Diseases 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1073—Measuring volume, e.g. of limbs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
Description
본 발명은 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법에 관한 것으로서, 보다 구체적으로는 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법에 관한 것이다.The present invention relates to an endoscopic device for measuring lesion volume and a method for measuring lesion volume using the same, and more particularly, to an endoscopic device for measuring lesion volume using a depth map and a method for measuring lesion volume using the same.
일반적으로 내시경 기기는 신체 내부를 직접 관찰할 수 있는 의료기구이다. 이러한 내시경에는 하나의 통으로 되어 있어 장기를 직접 육안으로 볼 수 있는 형태, 렌즈 시스템을 이용하는 형태, 카메라를 직접 장기에 삽입하는 형태, 유리섬유를 사용한 파이어스코프 등이 있다. 내시경 기기는 일반적으로 도선 또는 광섬유와 같은 통신 케이블을 통하여 외부 기기로 촬영 이미지를 전송하는데, 최근에는 캡슐형 내시경 장치도 개발되었다(국내특허출원 제10-2007-0070865호 참조). 이와 같은 내시경 기기는 신체 내부 영상을 촬영하여 신체 내부에서 병변 유무를 판별하는 데에 사용한다.
In general, the endoscope device is a medical device that can directly observe the inside of the body. The endoscope includes a single tube, which allows the naked eye to be directly visible to the naked eye, a lens system, a camera directly inserted into the organ, and a firescope using glass fiber. Endoscopic devices generally transmit a photographed image to an external device through a communication cable such as a lead wire or an optical fiber. Recently, a capsule endoscope device has also been developed (see Korean Patent Application No. 10-2007-0070865). Such an endoscope device is used to determine the presence of a lesion inside the body by taking an image inside the body.
최근 국내에서 발생 및 발견이 증가되고 있는 대장용종 및 대장암의 경우 2008년 보건복지가족부 통계연보에 따르면, 국내의 대장암 발생률은 인구 10만 명 당 남자에서 54.7명, 여자에서는 36.9명으로 남녀에서 각각 두 번째와 네 번째로 많이 발생하는 암이다. 이러한 대장암의 대부분은 장기간의 선종-암화과정을 거쳐 발생하므로, 대장내시경 검사를 통해 진행 샘종의 발견 및 제거가 중요하다. 국내에서 50세 이상 성인 2307명을 대상으로 한 연구에서 대장 샘종이 40.5%에서 발견되었으며, 진행 샘종은 2.5% 였다고 보고된바 있다. 내시경 검사에서 병변의 크기는 대장용종 및 대장암과 조기위암 등 다양한 질환에서 예후를 예측할 수 있는 주요 인자이며, 경우에 따라서는 치료의 방침이 달라질 뿐 만 아니라, 향후 추적 검사 등에서도 다른 전략을 필요로 한다. 현재 대장암으로 진행의 위험성이 높다고 알려진 진행 샘종의 정의는 크기가 10㎜ 이상이거나 조직 생검 결과 융모성 용종이거나 고분화 이형증을 동반하는 경우이다. 따라서 용종의 크기가 매우 중요한 인자이므로 용종 크기의 정확한 측정이 중요하다. 여러 논문에 따르면 대장용종의 크기에 따라 ≤5㎜, 6-9㎜, ≥10㎜로 나누었을 때, 진행성 용종일 경우가 0.9%, 4.9%, 73.5%로 보고하고 있으므로 10㎜ 이하의 용종도 그 크기에 따라 위험 정도가 다르기 때문에 정확한 크기의 측정이 중요하다.
In the case of colorectal polyps and colorectal cancers, which have recently increased in Korea, according to the 2008 Ministry of Health, Welfare and Family Affairs, the incidence of colorectal cancer in Korea was 54.7 in males and 36.9 in females per 100,000 population. The second and fourth most common cancers, respectively. Since most of these colorectal cancers occur through a long-term adenocarcinoma, it is important to detect and remove advanced adenomas through colonoscopy. In a study of 2307 adults over 50 years old, colonic adenomas were found in 40.5% and 2.5% of advanced adenomas were reported in Korea. In endoscopic examination, lesion size is a major factor for predicting prognosis in colorectal polyp and various diseases such as colorectal cancer and early gastric cancer.In some cases, the treatment policy is not only changed but also requires a different strategy in further follow-up. Shall be. Current definitions of advanced adenomas known to have a high risk of progression to colorectal cancer are those larger than 10 mm in size, or those with villous polyp or hyperplasia dysplasia by tissue biopsy. Therefore, the polyp size is a very important factor, so accurate measurement of the polyp size is important. According to various papers, when the polyp is divided into ≤5 mm, 6-9 mm, and ≥10 mm, progressive polyps are reported as 0.9%, 4.9%, and 73.5%. The exact size is important because the magnitude of the risk varies with its size.
하지만 기존의 내시경 검사로 용종 크기를 측정하는 방법은 일반적으로 생검 겸자 크기(6-9㎜)를 기준으로 대략적으로 판단하여 기술하기 때문에 시술자에 따라 그 편차가 상당히 크다. 즉, 종래의 용종 크기를 측정하는 방법으로는 용종 크기 측정 결과가 매우 부정확한 문제가 있었다. 이에 따라 내시경 시술 시 병변의 정확한 크기 측정을 위한 장치 개발이 요구되고 있다.
However, the method of measuring polyp size by conventional endoscopy is generally judged and described based on biopsy forceps size (6-9㎜), so the deviation is quite large depending on the operator. In other words, the polyp size measurement results are very inaccurate as a conventional method for measuring polyp size. Accordingly, there is a demand for developing a device for accurate measurement of lesion size during endoscopy.
한편, 본 발명과 관련된 선행기술로서, 등록번호 제10-1719322호(발명의 명칭: vSLAM 기법을 이용하여 병변과 주변조직의 3차원 정보를 측정할 수 있는 내시경 기기 및 이를 이용한 병변 측정 방법) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, registration number 10-1719322 (name of the invention: an endoscope apparatus that can measure the three-dimensional information of the lesion and surrounding tissue using the vSLAM technique, and lesion measurement method using the same), etc. This has been disclosed.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 내시경 기기와 병변간의 거리를 이용하여 병변의 실제 크기를 정확하게 도출하고 뎁스 맵(Depth Map)을 작성하여 3차원 좌표계에 병변을 표시함으로써, 병변의 부피를 측정할 수 있는, 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the conventionally proposed methods, using the distance between the endoscope device and the lesion to accurately derive the actual size of the lesion and create a depth map (Depth Map) to create a three-dimensional coordinate system It is an object of the present invention to provide an endoscope apparatus for measuring volume of lesions using a depth map, and a method for measuring volume of lesions using the same, by displaying lesions on the surface.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기는,Endoscope apparatus for measuring the volume of lesions using the depth map according to the characteristics of the present invention for achieving the above object,
내시경 기기로서,As an endoscope device,
상기 내시경 기기의 튜브 말단에 구비되고, 상기 내시경 기기의 튜브 말단과 병변과의 거리 정보를 측정하는 거리 정보 측정부;A distance information measurement unit provided at the end of the tube of the endoscope device and measuring distance information between the end of the tube and the lesion of the endoscope device;
신체 내부의 영상을 촬영하는 카메라부;A camera unit for capturing an image inside the body;
상기 카메라부에 의해 촬영된 영상에서 상기 병변이 포함된 이미지를 추출하는 이미지 추출부;An image extracting unit extracting an image including the lesion from an image photographed by the camera unit;
상기 이미지 추출부에 의해 추출된 상기 이미지를 흑백 이미지로 변환하는 이미지 변환부;An image converter converting the image extracted by the image extractor into a black and white image;
상기 이미지 변환부에 의해 변환된 상기 흑백 이미지를 이용하여 윤곽 이미지를 생성하는 윤곽 이미지 생성부;A contour image generator for generating a contour image using the monochrome image converted by the image converter;
상기 윤곽 이미지 생성부에 의해 생성된 상기 윤곽 이미지를 이용하여 뎁스 맵(Depth Map)을 생성하는 뎁스 맵 생성부; 및A depth map generator for generating a depth map by using the outline image generated by the outline image generator; And
상기 거리 정보 측정부에서 측정한 거리 정보와 상기 뎁스 맵을 이용하여 병변의 위치 및 부피를 측정하는 병변 위치 및 부피 측정 판단부를 포함하는 것을 그 구성상의 특징으로 한다.
It comprises a lesion position and volume measurement determination unit for measuring the position and volume of the lesion using the distance information and the depth map measured by the distance information measuring unit.
바람직하게는, 상기 거리 정보 측정부는,Preferably, the distance information measuring unit,
상기 내시경 기기의 튜브 말단에서 상기 병변에 광 또는 초음파를 조사하는 조사 모듈;An irradiation module for irradiating light or ultrasound to the lesion at the end of the tube of the endoscope device;
상기 병변으로부터 반사되는 광 또는 초음파를 수신하는 수신 모듈; 및A receiving module for receiving light or ultrasonic waves reflected from the lesion; And
상기 내시경 기기의 튜브 말단으로부터 상기 병변까지의 거리 정보를 산출하는 산출 모듈을 포함할 수 있다.
It may include a calculation module for calculating the distance information from the tube end of the endoscope device to the lesion.
더욱 바람직하게는, 상기 조사 모듈 또는 수신 모듈은,More preferably, the survey module or receiving module,
레이저, 초음파 및 적외선을 포함하는 군에서 선택된 적어도 하나 이상을 조사 또는 수신할 수 있다.
At least one selected from the group including laser, ultrasound, and infrared light may be irradiated or received.
더욱 바람직하게는, 상기 산출 모듈은,More preferably, the calculation module,
상기 조사 모듈이 광 또는 초음파를 조사한 시각과 상기 수신 모듈이 광 또는 초음파를 수신한 시각의 차이를 이용하여, 상기 내시경 기기 말단으로부터 상기 병변까지의 거리 정보를 산출할 수 있다.
The distance information from the end of the endoscope device to the lesion may be calculated using a difference between the time at which the irradiation module irradiates light or ultrasonic waves and the time at which the receiving module receives light or ultrasonic waves.
바람직하게는, 상기 이미지 추출부는,Preferably, the image extraction unit,
상기 거리 정보 측정부에서 측정한 거리 정보와 상기 병변이 포함된 이미지를 이용하여 실제 병변의 크기를 도출할 수 있다.
The actual lesion size may be derived by using the distance information measured by the distance information measuring unit and the image including the lesion.
바람직하게는, 상기 이미지 변환부는,Preferably, the image conversion unit,
상기 이미지 추출부에 의해 추출된 상기 이미지를 흑백 이미지로 변환하여, 변환된 흑백 이미지에서 명도를 판별할 수 있다.
The image extracted by the image extracting unit may be converted into a black and white image to determine brightness in the converted black and white image.
바람직하게는, 기 병변 위치 및 부피 측정 판단부는,Preferably, the lesion location and volume measurement determination unit,
상기 뎁스 맵 생성부에 의해 생성된 뎁스 맵을 이용하여 3차원 좌표계에 상기 병변을 표시할 수 있다.
The lesion may be displayed on a 3D coordinate system using the depth map generated by the depth map generator.
더욱 바람직하게는, 상기 병변 위치 및 부피 측정 판단부는,More preferably, the lesion position and volume measurement determination unit,
상기 3차원 좌표계에 표시된 결과물을 이용하여 병변의 부피를 산출할 수 있다.
The volume of the lesion may be calculated using the result displayed in the 3D coordinate system.
바람직하게는, 상기 뎁스 맵을 이용한 병변 측정용 내시경 기기는,Preferably, the endoscope device for measuring lesions using the depth map,
상기 내시경 기기의 튜브 말단에 구비되고, 상기 신체 내부의 영상을 획득하기 위해 상기 신체 내부를 조명하는 조명부를 더 포함할 수 있다.
It may further include an illumination unit provided at the end of the tube of the endoscope device, for illuminating the inside of the body to obtain an image of the inside of the body.
바람직하게는, 상기 뎁스 맵을 이용한 병변 측정용 내시경 기기는,Preferably, the endoscope device for measuring lesions using the depth map,
캡슐형이고, 상기 캡슐형 내시경 기기로부터 외부 기기로 획득 영상 정보 및 측정된 거리 정보를 전송하는 통신부를 더 포함할 수 있다.
The capsule device may further include a communication unit configured to transmit acquired image information and measured distance information from the capsule endoscope device to an external device.
바람직하게는, 상기 뎁스 맵을 이용한 병변 측정용 내시경 기기는,Preferably, the endoscope device for measuring lesions using the depth map,
케이블형이고, 상기 케이블 내에 길이 방향으로 통공되어 시술 도구가 삽입되는 공간을 형성하는 시술 도구 삽입공을 더 포함할 수 있다.
The cable type may further include a surgical tool insertion hole which is formed through the cable in the longitudinal direction to form a space into which the surgical tool is inserted.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 뎁스 맵을 이용한 병변 부피 측정 방법은,The lesion volume measurement method using the depth map according to the characteristics of the present invention for achieving the above object,
병변 부피 측정 방법으로서,As a method for measuring lesion volume,
(1) 내시경 기기를 이용해 측정된 거리 정보 및 신체 내부의 영상을 수집하는 단계;(1) collecting distance information measured by the endoscope device and an image inside the body;
(2) 상기 단계 (1)에서 수집된 영상에서 병변이 포함된 이미지를 추출하는 단계;(2) extracting the image including the lesion from the image collected in the step (1);
(3) 상기 단계 (2)에 의해 추출된 상기 병변이 포함된 이미지를 흑백 이미지로 변환하는 단계;(3) converting the image including the lesion extracted by step (2) into a black and white image;
(4) 상기 단계 (3)에 의해 변환된 상기 흑백 이미지를 이용하여 윤곽 이미지를 생성하는 단계;(4) generating a contour image using the black and white image converted by step (3);
(5) 상기 단계 (4)에 의해 생성된 상기 윤곽 이미지를 이용하여 뎁스 맵(Depth Map)을 생성하는 단계; 및(5) generating a depth map using the contour image generated by step (4); And
(6) 상기 단계 (1)에서 수집한 거리 정보와 상기 단계 (5)에서 생성된 뎁스 맵을 이용하여 병변의 위치 및 부피를 측정하는 단계를 포함하는 것을 그 구성상의 특징으로 할 수 있다.
(6) measuring the location and volume of the lesion using the distance information collected in step (1) and the depth map generated in step (5).
바람직하게는, 상기 단계 (1)은,Preferably, step (1) is
(1-1) 신체 내부의 영상을 획득하기 위해 신체 내부를 조명하는 단계;(1-1) illuminating the interior of the body to obtain an image of the interior of the body;
(1-2) 내시경 기기의 튜브 말단과 병변과의 거리 정보를 측정하는 단계; 및(1-2) measuring distance information between the end of the tube and the lesion of the endoscope device; And
(1-3) 상기 신체 내부의 영상을 촬영하는 단계를 포함할 수 있다.
(1-3) may include taking an image of the inside of the body.
더욱 바람직하게는, 상기 단계 (1-2)는,More preferably, the step (1-2) is,
(1-2-1) 상기 내시경 기기의 튜브 말단에서 상기 병변에 광 또는 초음파를 조사하는 단계;(1-2-1) irradiating light or ultrasound to the lesion at the tube end of the endoscope device;
(1-2-2) 상기 병변으로부터 반사되는 광 또는 초음파를 수신하는 단계; 및(1-2-2) receiving light or ultrasonic waves reflected from the lesion; And
(1-2-3) 상기 내시경 기기의 튜브 말단으로부터 상기 병변까지의 거리 정보를 산출하는 단계를 포함할 수 있다.
(1-2-3) calculating the distance information from the end of the tube of the endoscope device to the lesion.
더욱 더 바람직하게는, 상기 단계 (1-2-1) 또는 단계 (1-2-2)에서는,Even more preferably, in step (1-2-1) or step (1-2-2),
레이저, 초음파 및 적외선을 포함하는 군에서 선택된 적어도 하나 이상을 조사 또는 수신할 수 있다.
At least one selected from the group including laser, ultrasound, and infrared light may be irradiated or received.
더욱 더 바람직하게는, 상기 단계 (1-2-3)에서는,Even more preferably, in the step (1-2-3),
상기 단계 (1-2-1)에서 광 또는 초음파를 조사한 시각과 상기 단계 (1-2-2)에서 광 또는 초음파를 수신한 시각의 차이를 이용하여, 상기 내시경 기기 말단으로부터 상기 병변까지의 거리 정보를 산출할 수 있다.
The distance from the end of the endoscope device to the lesion using the difference between the time at which light or ultrasonic wave is irradiated at step (1-2-1) and the time at which light or ultrasonic wave is received at step (1-2-2) Information can be calculated.
바람직하게는, 상기 단계 (2)에서는,Preferably, in step (2),
상기 단계 (1)에서 수집된 거리 정보와 상기 병변이 포함된 이미지를 이용하여, 실제 병변의 크기를 도출할 수 있다.
By using the distance information collected in the step (1) and the image including the lesion, it is possible to derive the actual size of the lesion.
바람직하게는, 상기 단계 (3)에서는,Preferably, in step (3),
상기 단계 (2)에 의해 추출된 상기 이미지를 흑백 이미지로 변환하여, 변환된 흑백 이미지에서 명도를 판별할 수 있다.
The image extracted by the step (2) may be converted into a black and white image, and brightness may be determined from the converted black and white image.
바람직하게는, 상기 단계 (6)에서는,Preferably, in step (6),
상기 단계 (5)에 의해 생성된 뎁스 맵을 이용하여 3차원 좌표계에 상기 병변을 표시할 수 있다.
The lesion may be displayed on a 3D coordinate system using the depth map generated by the step (5).
바람직하게는, 상기 단계 (6)에서는,Preferably, in step (6),
상기 3차원 좌표계에 표시된 결과물을 이용하여 병변의 부피를 산출할 수 있다.The volume of the lesion may be calculated using the result displayed in the 3D coordinate system.
본 발명에서 제안하고 있는 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법에 따르면, 내시경 기기와 병변간의 거리를 이용하여 병변의 실제 크기를 정확하게 도출하고 뎁스 맵(Depth Map)을 작성하여 3차원 좌표계에 병변을 표시함으로써, 병변의 부피를 측정할 수 있다.According to the endoscope device for measuring the volume of lesions using the depth map proposed by the present invention and the method for measuring the volume of lesions using the same, the actual size of the lesion is accurately derived using the distance between the endoscope and the lesion, and a depth map is obtained. By creating and displaying the lesion on the three-dimensional coordinate system, the volume of the lesion can be measured.
도 1은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기의 구성을 블록도로 도시한 도면.
도 2는 대장 내시경에서 발견된 대장 용종의 사진으로서 내시경 기기를 (a) 가까이 접근시켰을 때의 모습, (b) 멀리 두었을 때의 모습, (c) 생검용 겸자(8㎜)를 이용하여 용종의 크기를 측정하는 모습을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기의 이미지 추출부에서 병변이 포함된 이미지를 추출한 모습을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기의 이미지 추출부에서 병변의 크기를 도출하는 방법을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기에서 좌표를 이용해 병변의 면적을 도출하는 모습을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기의 이미지 변환부에서 이미지 추출부에 의해 추출된 병변이 포함된 이미지를 흑백 이미지로 변환한 모습을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기의 윤곽 이미지 생성부에서 생성한 윤곽 이미지를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기의 뎁스 맵 생성부에서 생성한 뎁스 맵을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기의 뎁스 맵 생성부에서 생성한 뎁스 맵에서 병변을 노란색으로 표시한 모습을 나타낸 도면.
도 10은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정 방법의 흐름도를 도시한 도면.1 is a block diagram showing the configuration of an endoscope device for measuring lesion volume using a depth map according to an embodiment of the present invention.
Figure 2 is a picture of the colon polyps found in the colonoscopy (a) the appearance of the endoscope device near, (b) when it is far away, (c) polyps using biopsy forceps (8 mm) Drawing showing how to measure the size of.
3 is a view showing a state in which the image is extracted from the image extraction unit of the endoscope device for measuring the volume of the lesion using the depth map according to an embodiment of the present invention.
4 is a view for explaining a method of deriving the size of the lesion in the image extraction unit of the endoscope device for measuring the volume of the lesion using the depth map according to an embodiment of the present invention.
5 is a diagram showing a state of deriving an area of a lesion using coordinates in an endoscope apparatus for measuring volume of lesions using a depth map according to an embodiment of the present invention.
FIG. 6 is a view illustrating a state in which an image including a lesion extracted by an image extracting unit is converted into a black and white image by an image converting unit of an endoscope apparatus for measuring volume of a lesion using a depth map according to an embodiment of the present invention.
7 is a view illustrating a contour image generated by the contour image generator of the endoscope device for measuring lesion volume using a depth map according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a depth map generated by a depth map generator of an endoscope device for measuring lesion volume using a depth map according to an embodiment of the present invention. FIG.
FIG. 9 is a view showing a state in which a lesion is displayed in yellow in a depth map generated by a depth map generator of an endoscope device for measuring volume of lesions using a depth map according to an embodiment of the present invention; FIG.
10 is a flowchart illustrating a method for measuring lesion volume using a depth map according to an embodiment of the present invention.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. However, in describing the preferred embodiment of the present invention in detail, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same or similar reference numerals are used throughout the drawings for parts having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is 'connected' to another part, it is not only 'directly connected' but also 'indirectly connected' with another element in between. Include. In addition, the term 'comprising' of an element means that the element may further include other elements, not to exclude other elements unless specifically stated otherwise.
도 1은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 구성을 블록도로 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)는, 거리 정보 측정부(100), 카메라부(200), 이미지 추출부(300), 이미지 변환부(400), 윤곽 이미지 생성부(500), 뎁스 맵 생성부(600), 및 병변 위치 및 부피 측정 판단부(700)를 포함하여 구성될 수 있으며, 조명부(800) 및 통신부(900)를 더 포함하여 구성될 수 있다. 이하에서는, 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 각각의 구성에 대하여 상세히 설명하기로 한다.
1 is a block diagram illustrating a configuration of an
거리 정보 측정부(100)는, 내시경 기기(10)의 튜브(11) 말단에 구비되고, 내시경 기기(10)의 튜브(11) 말단과 병변과의 거리 정보를 측정하는 역할을 수행할 수 있다. 도 2는 대장 내시경에서 발견된 대장 용종의 사진으로서 내시경 기기(10)를 (a) 가까이 접근시켰을 때의 모습, (b) 멀리 두었을 때의 모습, (c) 생검용 겸자(8㎜)를 이용하여 용종의 크기를 측정하는 모습을 도시한 도면이다. 도 2의 (a), (b) 및 (c)에 도시된 바와 같이, 내시경 기기(10)로 신체 내부 병변을 영상으로 출력하는 경우, 내시경 기기(10)와 병변 사이의 거리에 따라 병변의 크기가 다르게 보인다. 따라서 병변의 실제 크기를 도출하기 위해서는 생검용 겸자(8㎜)를 병변의 최근접 부위에 대고 육안으로 촬영 화면에 표시되는 생검용 겸자와의 크기 비교를 통하여 대략적인 병변의 크기를 유추해야 했다. 이와 같은 생검용 겸자를 이용한 병변의 크기 측정은 특히 5㎜에서 10㎜ 내외의 크기 차이에 민감한 대장 용종에서는 정확한 진단에 영향을 미칠 수 있다.
The distance
이와 같은 문제를 해결하기 위하여 본 발명에서는, 내시경 기기(10)와 신체 내부 병변 사이의 거리 정보를 측정하는 거리 정보 측정부(100)를 내시경 기기(10)에 장착함으로써, 병변의 정확한 실제 크기를 도출할 수 있다. 즉, 내시경 기기(10) 말단부에 레이저, 초음파 혹은 적외선을 이용한 거리 정보 측정부(100)를 구성하여 내시경 기기(10)와 목표로 하는 병변 간의 거리 정보를 측정하여 화면상에서 객관적으로 병변의 크기를 측정할 수 있게 된다. 이와 같이, 대장 용종이나 다른 병변의 크기를 객관적으로 측정함으로써, 개인 혹은 병원 간의 편차를 줄이고, 내시경 검사의 새로운 표준으로 자리 잡아 환자의 치료와 추적 검사에 도움이 될 수 있다. 또한, 이는 내시경뿐만 아니라 렌즈를 이용한 다양한 검사법에서 동일하게 이용될 수 있을 것이다.
In order to solve this problem, in the present invention, by mounting the distance
한편, 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 거리 정보 측정부(100)는, 내시경 기기(10)의 튜브(11) 말단에 구비되고 병변에 광 또는 초음파를 조사하는 조사 모듈, 내시경 기기(10)의 튜브(11) 말단에 구비되고 병변으로부터 반사되는 광 또는 초음파를 수신하는 수신 모듈, 및 조사 모듈의 조사 신호와 수신 모듈의 수신 신호를 분석하여 내시경 기기(10)의 튜브(11) 말단으로부터 병변까지의 거리 정보를 산출하는 산출 모듈을 포함하여 구성될 수 있다. 조사 모듈 또는 수신 모듈은, 레이저, 초음파 및 적외선을 포함하는 군에서 선택된 적어도 하나 이상을 조사 또는 수신할 수 있고, 산출 모듈은, 조사 모듈이 광 또는 초음파를 조사한 시각과 수신 모듈이 광 또는 초음파를 수신한 시각의 차이를 이용하여, 내시경 기기(10)의 튜브(11) 말단으로부터 병변까지의 거리 정보를 산출할 수 있다.
Meanwhile, the distance
카메라부(200)는, 신체 내부의 영상을 촬영하는 역할을 할 수 있다. 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 카메라부(200)는, 신체 내부의 병변을 포함한 주변조직을 촬영하여 내시경 기기(10)를 사용하는 사용자에게 영상 정보를 전달할 수 있다.
The
이미지 추출부(300)는, 카메라부(200)에 의해 촬영된 영상에서 병변이 포함된 이미지를 추출하는 역할을 할 수 있다. 도 3은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 이미지 추출부(300)에서 병변이 포함된 이미지를 추출한 모습을 도시한 도면이다. 도 3에 도시된 바와 같이, 이미지 추출부(300)는, 병변의 길이, 크기 및 부피를 측정하기 위해 병변이 포함된 이미지를 카메라부(200)에 의해 촬영된 영상에서 추출할 수 있다.
The
도 4는 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 이미지 추출부(300)에서 병변의 크기를 도출하는 방법을 설명하기 위해 도시한 도면이다. 도 4에 도시된 바와 같이, 이미지 추출부(300)는, 렌즈의 화각(θ), 초점거리(d) 및 프레임의 길이(l)를 이용하여 병변의 실제 크기를 측정할 수 있다. 내시경 기기(10)의 튜브(11) 말단으로부터 병변까지의 거리 정보(D)와 렌즈의 화각(θ)으로 아래의 수학식 1을 통해 전체촬영영역(L)의 길이를 도출할 수 있다.4 is a view for explaining a method of deriving the size of the lesion in the
또한, 프레임 상 병변의 길이(sl)와 프레임의 길이(l)의 비를 이용하여 전체촬영영역(L) 내 병변의 길이(SL)를 아래의 수학식 2를 통해 도출할 수 있다.In addition, the length SL of the lesion in the entire photographing area L may be derived using Equation 2 below by using a ratio of the length sl of the lesion on the frame and the length l of the frame.
도 5는 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)에서 좌표를 이용해 병변의 면적을 도출하는 모습을 도시한 도면이다. 도 5에 도시된 바와 같이, 도출된 병변의 길이를 이용하여 촬영화면을 좌표화함으로써 보다 정확한 병변의 길이를 도출할 수 있고 더 나아가 병변의 크기를 도출할 수 있다.
5 is a diagram illustrating a state of deriving an area of a lesion using coordinates in the
이미지 변환부(400)는, 이미지 추출부(300)에 의해 추출된 병변이 포함된 이미지를 흑백 이미지로 변환하는 역할을 할 수 있다. 도 6은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 이미지 변환부(400)에서, 이미지 추출부(300)에 의해 추출된 병변이 포함된 이미지를 흑백 이미지로 변환한 모습을 도시한 도면이다. 이미지 변환부(400)는, 도 3에 도시된 바와 같은 병변이 포함된 이미지를 도 6에 도시된 바와 같이 흑백으로 변환하여, 변환된 흑백 이미지에서 명도를 판별할 수 있다.
The
윤곽 이미지 생성부(500)는, 이미지 변환부(400)에 의해 변환된 흑백 이미지를 이용하여 윤곽 이미지를 생성할 수 있다. 도 7은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 윤곽 이미지 생성부(500)에서 생성한 윤곽 이미지를 도시한 도면이다. 도 7에 도시된 바와 같이, 윤곽 이미지 생성부(500)는, 이미지 변환부(400)에 의해 변환된 흑백 이미지의 명도를 판별하여 윤곽 이미지를 생성할 수 있다.
The
뎁스 맵 생성부(600)는, 윤곽 이미지 생성부(500)에 의해 생성된 윤곽 이미지를 이용하여 뎁스 맵(Depth Map)을 생성하는 역할을 할 수 있다. 뎁스 맵이란 영상내의 사물들 사이에 대한 3차원 거리 차이를 나타낸 지도를 의미한다. 뎁스 맵에 나타난 사물들은 각 픽셀마다 0부터 255사이의 값으로 표현되고 높은 값(흰색)을 가질수록 가까운 곳을 나타낸다. 도 8은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 뎁스 맵 생성부(600)에서 생성한 뎁스 맵을 도시한 도면이다. 도 8에 도시된 바와 같이, 뎁스 맵 생성부(600)는 뎁스 맵을 생성하여 병변이 포함된 영역의 깊이를 나타내는 지도를 생성할 수 있다.
The
도 9는 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 뎁스 맵 생성부(600)에서 생성한 뎁스 맵에서 병변을 노란색으로 표시한 모습을 나타낸 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 기기(10)는 뎁스 맵 생성부(600)에서 생성한 뎁스 맵을 이용하여 병변이 이미지의 다른 부분과 구별되도록 다른 색으로 표시할 수 있다.
9 is a view showing a state in which the lesion is displayed in yellow in the depth map generated by the
병변 위치 및 부피 측정 판단부(700)는, 거리 정보 측정부(100)에서 측정한 거리 정보와 뎁스 맵 생성부(600)에서 생성한 뎁스 맵을 이용하여 병변의 위치 및 부피를 측정할 수 있다. 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)의 병변 위치 및 부피 측정 판단부(700)는, 윤곽 이미지 생성부(500)에 의해 생성된 윤곽 이미지와 뎁스 맵 생성부(600)에 의해 생성된 뎁스 맵을 이용하여 3차원 좌표계에 병변을 표시하여 병변의 길이, 크기 및 부피를 측정할 수 있다.
The lesion position and
또한, 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)는, 내시경 기기(10)의 튜브(11) 말단에 구비되고, 상기 신체 내부의 영상을 획득하기 위해 상기 신체 내부를 조명하는 조명부(800)를 더 포함하여 구성될 수 있다.
In addition, the
한편, 본 발명에 따른 내시경 기기(10)는, 캡슐형이고, 캡슐형 내시경 기기(10)로부터 외부 기기로 획득 영상 정보 및 측정된 거리 정보를 전송하는 통신부(900)를 더 포함하여 구성될 수 있다.
Meanwhile, the
또한, 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)는 케이블 형이고, 케이블 내에 길이 방향으로 통공되어 시술 도구가 삽입되는 공간을 형성하는 시술 도구 삽입공을 더 포함하여 구성될 수도 있다. 여기서, 시술 도구란, 생검용 겸자 등을 의미할 수 있다.
In addition, the
도 10은 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정 방법의 흐름도를 도시한 도면이다. 도 10에 도시된 바와 같이, 뎁스 맵을 이용한 병변 부피 측정 방법은, 내시경 기기(10)를 이용해 측정된 거리 정보 및 신체 내부의 영상을 수집하는 단계(S100), 단계 S100에 의해 촬영된 영상에서 병변이 포함된 이미지를 추출하는 단계(S200), 단계 S200에 의해 추출된 상기 병변이 포함된 이미지를 흑백 이미지로 변환하는 단계(S300), 단계 S300에 의해 변환된 상기 흑백 이미지를 이용하여 윤곽 이미지를 생성하는 단계(S400), 단계 S400에 의해 생성된 상기 윤곽 이미지를 이용하여 뎁스 맵(Depth Map)을 생성하는 단계(S500) 및 단계 S100에서 수집한 거리 정보와 단계 S500에서 생성된 뎁스 맵을 이용하여 병변의 위치 및 부피를 측정하는 단계(S600)를 포함하여 구성될 수 있다.
10 is a flowchart illustrating a method for measuring lesion volume using a depth map according to an embodiment of the present invention. As shown in FIG. 10, in the lesion volume measurement method using the depth map, the distance information measured using the
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10)와 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
Details related to each step have been described above with reference to the
상술한 바와 같이, 본 발명에서 제안하고 있는 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기(10) 및 이를 이용한 병변 부피 측정 방법에 따르면, 내시경 기기(10)와 병변간의 거리를 이용하여 병변의 실제 크기를 정확하게 도출하고 뎁스 맵(Depth Map)을 작성하여 3차원 좌표계에 병변을 표시함으로써, 병변의 부피를 측정할 수 있다.
As described above, according to the
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above may be variously modified or applied by those skilled in the art, and the scope of the technical idea according to the present invention should be defined by the following claims.
10: 본 발명의 일실시예에 따른 내시경 기기
11: 튜브
100: 거리 정보 측정부
200: 카메라부
300: 이미지 추출부
400: 이미지 변환부
500: 윤곽 이미지 생성부
600: 뎁스 맵 생성부
700: 병변 위치 및 부피 측정 판단부
800: 조명부
900: 통신부
S100: 내시경 기기(10)를 이용해 측정된 거리 정보 및 신체 내부의 영상을 수집하는 단계
S200: 단계 S100에 의해 촬영된 영상에서 병변이 포함된 이미지를 추출하는 단계
S300: 단계 S200에 의해 추출된 병변이 포함된 이미지를 흑백 이미지로 변환하는 단계
S400: 단계 S300에 의해 변환된 흑백 이미지를 이용하여 윤곽 이미지를 생성하는 단계
S500: 단계 S400에 의해 생성된 윤곽 이미지를 이용하여 뎁스 맵(Depth Map)을 생성하는 단계
S600: 단계 S100에서 수집한 거리 정보와 단계 S500에서 생성된 뎁스 맵을 이용하여 병변의 위치 및 부피를 측정하는 단계10: endoscope apparatus according to an embodiment of the present invention
11: tube
100: distance information measuring unit
200: camera unit
300: image extraction unit
400: image conversion unit
500: contour image generating unit
600: depth map generator
700: lesion location and volume measurement determination unit
800: lighting unit
900: communication unit
S100: collecting distance information and an image inside the body measured using the
S200: extracting an image including the lesion from the image taken by step S100
S300: converting the image including the lesion extracted by the step S200 into a black and white image
S400: generating a contour image using the black and white image converted by step S300
S500: Generating a depth map using the outline image generated by the step S400
S600: measuring the position and volume of the lesion using the distance information collected in step S100 and the depth map generated in step S500
Claims (20)
상기 내시경 기기(10)의 튜브(11) 말단에 구비되고, 상기 내시경 기기(10)의 튜브(11) 말단과 병변과의 거리 정보를 측정하는 거리 정보 측정부(100);
신체 내부의 영상을 촬영하는 카메라부(200);
상기 카메라부(200)에 의해 촬영된 영상에서 상기 병변이 포함된 이미지를 추출하는 이미지 추출부(300);
상기 이미지 추출부(300)에 의해 추출된 상기 이미지를 흑백 이미지로 변환하는 이미지 변환부(400);
상기 이미지 변환부(400)에 의해 변환된 상기 흑백 이미지를 이용하여 윤곽 이미지를 생성하는 윤곽 이미지 생성부(500);
상기 윤곽 이미지 생성부(500)에 의해 생성된 상기 윤곽 이미지를 이용하여 뎁스 맵(Depth Map)을 생성하는 뎁스 맵 생성부(600); 및
상기 거리 정보 측정부(100)에서 측정한 거리 정보와 상기 뎁스 맵을 이용하여 병변의 위치 및 부피를 측정하는 병변 위치 및 부피 측정 판단부(700)를 포함하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
As the endoscope device 10,
A distance information measuring unit (100) provided at an end of the tube (11) of the endoscope device (10) and measuring distance information between the end of the tube (11) of the endoscope device and the lesion;
Camera unit 200 for taking an image of the inside of the body;
An image extracting unit 300 extracting an image including the lesion from the image photographed by the camera unit 200;
An image converter 400 for converting the image extracted by the image extractor 300 into a black and white image;
A contour image generator 500 for generating a contour image using the monochrome image converted by the image converter 400;
A depth map generator 600 generating a depth map using the outline image generated by the outline image generator 500; And
Using a depth map, characterized in that it comprises a lesion position and volume measurement determination unit 700 for measuring the position and volume of the lesion using the distance information and the depth map measured by the distance information measuring unit 100 Endoscopic instrument for lesion measurement (10).
상기 내시경 기기(10)의 튜브(11) 말단에서 상기 병변에 광 또는 초음파를 조사하는 조사 모듈;
상기 병변으로부터 반사되는 광 또는 초음파를 수신하는 수신 모듈; 및
상기 내시경 기기(10)의 튜브(11) 말단으로부터 상기 병변까지의 거리 정보를 산출하는 산출 모듈을 포함하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
The method of claim 1, wherein the distance information measuring unit 100,
An irradiation module for irradiating light or ultrasound to the lesion at the end of the tube (11) of the endoscope device (10);
A receiving module for receiving light or ultrasonic waves reflected from the lesion; And
And a calculation module for calculating distance information from the end of the tube (11) of the endoscope device (10) to the lesion.
레이저, 초음파 및 적외선을 포함하는 군에서 선택된 적어도 하나 이상을 조사 또는 수신하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
The method of claim 2, wherein the survey module or receiving module,
Endoscopic apparatus for measuring lesions using a depth map, characterized in that for irradiating or receiving at least one selected from the group consisting of laser, ultrasound and infrared.
상기 조사 모듈이 광 또는 초음파를 조사한 시각과 상기 수신 모듈이 광 또는 초음파를 수신한 시각의 차이를 이용하여, 상기 내시경 기기(10) 말단으로부터 상기 병변까지의 거리 정보를 산출하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
The method of claim 2, wherein the calculation module,
The distance information from the end of the endoscope device 10 to the lesion is calculated using the difference between the time at which the irradiation module irradiates light or ultrasonic waves and the time at which the receiving module receives light or ultrasonic waves. Endoscopic apparatus 10 for lesion measurement using a depth map.
상기 거리 정보 측정부(100)에서 측정한 거리 정보와 상기 병변이 포함된 이미지를 이용하여 실제 병변의 크기를 도출하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
The method of claim 1, wherein the image extraction unit 300,
The endoscope apparatus for measuring lesions using a depth map, characterized in that the actual lesion size is derived using the distance information measured by the distance information measuring unit (100) and the image including the lesion.
상기 이미지 추출부(300)에 의해 추출된 상기 이미지를 흑백 이미지로 변환하여, 변환된 흑백 이미지에서 명도를 판별하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
The method of claim 1, wherein the image conversion unit 400,
The image extraction unit (300) converts the image into a black and white image, characterized in that to determine the brightness in the converted black and white image, the endoscope device for lesion measurement using a depth map.
상기 뎁스 맵 생성부(600)에 의해 생성된 뎁스 맵을 이용하여 3차원 좌표계에 상기 병변을 표시하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
The method of claim 1, wherein the lesion position and volume measurement determination unit 700,
The endoscope apparatus for measuring lesions using the depth map, characterized in that to display the lesion in a three-dimensional coordinate system using the depth map generated by the depth map generation unit (600).
상기 3차원 좌표계에 표시된 결과물을 이용하여 병변의 부피를 산출하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
The method of claim 7, wherein the lesion position and volume measurement determination unit 700,
An endoscope apparatus for measuring lesions using a depth map, characterized in that the volume of the lesion is calculated using the result displayed in the three-dimensional coordinate system.
상기 내시경 기기(10)의 튜브(11) 말단에 구비되고, 상기 신체 내부의 영상을 획득하기 위해 상기 신체 내부를 조명하는 조명부(800)를 더 포함하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
According to claim 1, Endoscopic apparatus 10 for lesion measurement using the depth map,
It is provided at the end of the tube 11 of the endoscope device 10, further comprising an illumination unit 800 for illuminating the inside of the body to obtain an image of the inside of the body, lesion measurement using a depth map Endoscope instrument (10).
캡슐형이고, 상기 캡슐형 내시경 기기(10)로부터 외부 기기로 획득 영상 정보 및 측정된 거리 정보를 전송하는 통신부(900)를 더 포함하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
According to claim 1, Endoscopic apparatus 10 for lesion measurement using the depth map,
Capsule-type endoscope device for measuring lesions using a depth map, characterized in that it further comprises a communication unit 900 for transmitting the acquired image information and the measured distance information from the capsule endoscope device 10 to the external device ( 10).
케이블형이고, 상기 케이블 내에 길이 방향으로 통공되어 시술 도구가 삽입되는 공간을 형성하는 시술 도구 삽입공을 더 포함하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 측정용 내시경 기기(10).
According to claim 1, Endoscopic apparatus 10 for lesion measurement using the depth map,
Endoscopic device for measuring lesions using a depth map, characterized in that the cable further comprises a surgical tool insertion hole which is formed in the cable in the longitudinal direction through which the surgical tool is inserted.
(1) 내시경 기기(10)를 이용해 측정된 거리 정보 및 신체 내부의 영상을 수집하는 단계;
(2) 상기 단계 (1)에서 수집된 영상에서 병변이 포함된 이미지를 추출하는 단계;
(3) 상기 단계 (2)에 의해 추출된 상기 병변이 포함된 이미지를 흑백 이미지로 변환하는 단계;
(4) 상기 단계 (3)에 의해 변환된 상기 흑백 이미지를 이용하여 윤곽 이미지를 생성하는 단계;
(5) 상기 단계 (4)에 의해 생성된 상기 윤곽 이미지를 이용하여 뎁스 맵(Depth Map)을 생성하는 단계; 및
(6) 상기 단계 (1)에서 수집한 거리 정보와 상기 단계 (5)에서 생성된 뎁스 맵을 이용하여 병변의 위치 및 부피를 측정하는 단계를 포함하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.
As a method for measuring lesion volume,
(1) collecting distance information measured by the endoscope device 10 and an image inside the body;
(2) extracting the image including the lesion from the image collected in the step (1);
(3) converting the image including the lesion extracted by step (2) into a black and white image;
(4) generating a contour image using the black and white image converted by step (3);
(5) generating a depth map using the contour image generated by step (4); And
(6) measuring the location and volume of the lesion using the distance information collected in the step (1) and the depth map generated in the step (5), lesion volume using the depth map How to measure.
(1-1) 신체 내부의 영상을 획득하기 위해 신체 내부를 조명하는 단계;
(1-2) 내시경 기기(10)의 튜브(11) 말단과 병변과의 거리 정보를 측정하는 단계; 및
(1-3) 상기 신체 내부의 영상을 촬영하는 단계를 포함하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.
The method of claim 12, wherein step (1) comprises:
(1-1) illuminating the interior of the body to obtain an image of the interior of the body;
(1-2) measuring distance information between the end of the tube 11 and the lesion of the endoscope device 10; And
(1-3) A method of measuring lesion volume using a depth map, characterized in that it comprises the step of taking an image of the inside of the body.
(1-2-1) 상기 내시경 기기(10)의 튜브(11) 말단에서 상기 병변에 광 또는 초음파를 조사하는 단계;
(1-2-2) 상기 병변으로부터 반사되는 광 또는 초음파를 수신하는 단계; 및
(1-2-3) 상기 내시경 기기(10)의 튜브(11) 말단으로부터 상기 병변까지의 거리 정보를 산출하는 단계를 포함하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.
The method of claim 13, wherein step (1-2)
(1-2-1) irradiating light or ultrasound to the lesion at the end of the tube (11) of the endoscope device (10);
(1-2-2) receiving light or ultrasonic waves reflected from the lesion; And
(1-2-3) Comprising the step of calculating the distance information from the end of the tube (11) of the endoscope device (10) to the lesion, lesion volume measurement method using a depth map.
레이저, 초음파 및 적외선을 포함하는 군에서 선택된 적어도 하나 이상을 조사 또는 수신하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.
The method according to claim 14, wherein in step (1-2-1) or step (1-2-2),
Method for measuring lesion volume using a depth map, characterized in that for irradiating or receiving at least one selected from the group comprising laser, ultrasound and infrared.
상기 단계 (1-2-1)에서 광 또는 초음파를 조사한 시각과 상기 단계 (1-2-2)에서 광 또는 초음파를 수신한 시각의 차이를 이용하여, 상기 내시경 기기(10) 말단으로부터 상기 병변까지의 거리 정보를 산출하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.
The method according to claim 14, wherein in step (1-2-3),
The lesion from the endoscope device 10 using the difference between the time at which light or ultrasonic wave is irradiated at step (1-2-1) and the time at which light or ultrasonic wave is received at step (1-2-2) A lesion volume measurement method using a depth map, characterized in that to calculate the distance information to.
상기 단계 (1)에서 수집된 거리 정보와 상기 병변이 포함된 이미지를 이용하여, 실제 병변의 크기를 도출하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.
The method of claim 12, wherein in step (2),
Using the depth information collected in the step (1) and the image containing the lesion, the size of the lesion, the lesion volume measurement method using a depth map.
상기 단계 (2)에 의해 추출된 상기 이미지를 흑백 이미지로 변환하여, 변환된 흑백 이미지에서 명도를 판별하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.
The method of claim 12, wherein in step (3),
And converting the image extracted by the step (2) into a black and white image to determine the brightness in the converted black and white image, lesion volume measuring method using a depth map.
상기 단계 (5)에 의해 생성된 뎁스 맵을 이용하여 3차원 좌표계에 상기 병변을 표시하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.
The method of claim 12, wherein in step (6),
The lesion volume measurement method using a depth map, characterized in that for displaying the lesion in a three-dimensional coordinate system using the depth map generated by the step (5).
상기 3차원 좌표계에 표시된 결과물을 이용하여 병변의 부피를 산출하는 것을 특징으로 하는, 뎁스 맵을 이용한 병변 부피 측정 방법.20. The method of claim 19, wherein in step (6),
A lesion volume measurement method using a depth map, characterized in that the volume of the lesion is calculated using the result displayed in the three-dimensional coordinate system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180068726A KR102141541B1 (en) | 2018-06-15 | 2018-06-15 | Endoscope apparatus for measuring lesion volume using depth map and method for measuring lesion volume using the apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180068726A KR102141541B1 (en) | 2018-06-15 | 2018-06-15 | Endoscope apparatus for measuring lesion volume using depth map and method for measuring lesion volume using the apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190141916A true KR20190141916A (en) | 2019-12-26 |
| KR102141541B1 KR102141541B1 (en) | 2020-08-05 |
Family
ID=69103693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180068726A KR102141541B1 (en) | 2018-06-15 | 2018-06-15 | Endoscope apparatus for measuring lesion volume using depth map and method for measuring lesion volume using the apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102141541B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210150695A (en) * | 2020-06-04 | 2021-12-13 | 계명대학교 산학협력단 | Image-based size estimation system and method for calculating lesion size through endoscopic imaging |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014166298A (en) * | 2013-01-31 | 2014-09-11 | Olympus Corp | Image processor for endoscope, endoscope device, image processing method and image processing program |
| KR20150054605A (en) * | 2013-11-12 | 2015-05-20 | 계명대학교 산학협력단 | Endoscope device having distance measuring module, system and method using thereof |
| KR101719322B1 (en) * | 2015-07-20 | 2017-03-23 | 계명대학교 산학협력단 | A endoscopic device capable of measuring of three dimensional information of lesion and surrounding tissue using visual simultaneous localization and mapping technique, method using thereof |
-
2018
- 2018-06-15 KR KR1020180068726A patent/KR102141541B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014166298A (en) * | 2013-01-31 | 2014-09-11 | Olympus Corp | Image processor for endoscope, endoscope device, image processing method and image processing program |
| KR20150054605A (en) * | 2013-11-12 | 2015-05-20 | 계명대학교 산학협력단 | Endoscope device having distance measuring module, system and method using thereof |
| KR101719322B1 (en) * | 2015-07-20 | 2017-03-23 | 계명대학교 산학협력단 | A endoscopic device capable of measuring of three dimensional information of lesion and surrounding tissue using visual simultaneous localization and mapping technique, method using thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210150695A (en) * | 2020-06-04 | 2021-12-13 | 계명대학교 산학협력단 | Image-based size estimation system and method for calculating lesion size through endoscopic imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102141541B1 (en) | 2020-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11033175B2 (en) | Endoscope system and operation method therefor | |
| JP5676058B1 (en) | Endoscope system and method for operating endoscope system | |
| CN102247114B (en) | Image processing apparatus and image processing method | |
| EP2583617A2 (en) | Systems for generating fluorescent light images | |
| JP2008522761A (en) | Systems and methods for normalized fluorescence or bioluminescence imaging | |
| KR20140108066A (en) | Endoscope system and control method thereof | |
| JP2005514144A (en) | Apparatus and method for spectroscopic examination of the colon | |
| CN107427202B (en) | Device, system and method for illuminating a structure of interest inside a human or animal body | |
| JPWO2019138773A1 (en) | Medical image processing equipment, endoscopic systems, medical image processing methods and programs | |
| JP2009213627A (en) | Endoscopic examination system and examination method using the same | |
| EP3366191B1 (en) | Endoscope system | |
| KR20170055526A (en) | Methods and systems for diagnostic mapping of bladder | |
| KR20160097141A (en) | Intravaginal imaging device, system and method | |
| JP2011200283A (en) | Controller, endoscope system, program, and control method | |
| CN115708658A (en) | Panoramic endoscope and image processing method thereof | |
| JP4334839B2 (en) | Endoscope observation device | |
| KR102364027B1 (en) | Image-based size estimation system and method for calculating lesion size through endoscopic imaging | |
| KR101719322B1 (en) | A endoscopic device capable of measuring of three dimensional information of lesion and surrounding tissue using visual simultaneous localization and mapping technique, method using thereof | |
| KR102141541B1 (en) | Endoscope apparatus for measuring lesion volume using depth map and method for measuring lesion volume using the apparatus | |
| US11430114B2 (en) | Landmark estimating method, processor, and storage medium | |
| CN104083172A (en) | Method and device for quantitatively measuring size of focus through electronic endoscope | |
| KR101542354B1 (en) | Endoscope device having distance measuring module, system and method using thereof | |
| KR101656075B1 (en) | A endoscopic device capable of measuring the size of the lesion or object using the depth estimation by the infrared reflection light intensity measured, method using thereof | |
| JP4109132B2 (en) | Fluorescence determination device | |
| EP3061395A1 (en) | Organ image capture device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |