KR20210150695A - 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법 - Google Patents
내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법 Download PDFInfo
- Publication number
- KR20210150695A KR20210150695A KR1020200067452A KR20200067452A KR20210150695A KR 20210150695 A KR20210150695 A KR 20210150695A KR 1020200067452 A KR1020200067452 A KR 1020200067452A KR 20200067452 A KR20200067452 A KR 20200067452A KR 20210150695 A KR20210150695 A KR 20210150695A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lesion
- size
- endoscopic
- endoscopic image
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
본 발명은 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템에 관한 것으로서, 보다 구체적으로는 영상기반 크기 추정 시스템으로서, 내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치; 상기 내시경 장치의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 영상 수집부; 상기 내시경 장치의 말단에 구비된 레이저 센서에서 조사된 레이저를 이용해, 상기 레이저 센서가 구비된 내시경 장치의 말단과 병변 부위 사이의 거리를 측정하는 거리 측정부; 상기 거리 측정부에서 측정한 거리와 상기 카메라의 특성을 이용해, 상기 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 상기 내시경 영상에 좌표를 설정하는 좌표 설정부; 상기 영상 수집부에서 수집된 내시경 영상으로부터 등고선 이미지를 생성하는 영상 처리부; 상기 등고선 이미지를 상기 좌표 설정부에서 설정한 좌표에 매핑하되, 상기 레이저 센서에서 레이저가 조사되어 상기 거리 측정부에서 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 매핑 처리부; 및 상기 매핑 처리부의 매핑 결과를 이용해 병변의 크기를 추정하는 크기 추정부를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법에 관한 것으로서, 보다 구체적으로는 내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치를 이용하는, 영상기반 크기 추정 방법으로서, 영상기반 크기 추정 시스템이, (1) 상기 내시경 장치의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 단계; (2) 상기 내시경 장치의 말단에 구비된 레이저 센서에서 조사된 레이저를 이용해, 상기 레이저 센서가 구비된 내시경 장치의 말단과 병변 부위 사이의 거리를 측정하는 단계; (3) 상기 단계 (2)에서 측정한 거리와 상기 카메라의 특성을 이용해, 상기 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 상기 내시경 영상에 좌표를 설정하는 단계; (4) 상기 단계 (1)에서 수집된 내시경 영상으로부터 등고선 이미지를 생성하는 단계; (5) 상기 등고선 이미지를 상기 단계 (3)에서 설정한 좌표에 매핑하되, 상기 레이저 센서에서 레이저가 조사되어 상기 단계 (2)에서 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 단계; 및 (6) 상기 단계 (5)의 매핑 결과를 이용해 병변의 크기를 추정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법에 따르면, 내시경 영상 수집을 위한 카메라와 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치를 사용하여, 내시경 영상으로부터 등고선 이미지를 생성하고, 내시경 장치의 말단과 병변 사이의 거리를 이용해 3차원 좌표에 등고선 이미지를 3차원으로 매핑하며, 매핑 결과를 이용해 병변의 크기를 추정함으로써, 내시경 말단에 레이저 센서를 부착하는 것만으로 쉽게 필요한 정보를 수집할 수 있고, 정확하게 병변의 크기를 추정할 수 있다.
또한, 본 발명은 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법에 관한 것으로서, 보다 구체적으로는 내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치를 이용하는, 영상기반 크기 추정 방법으로서, 영상기반 크기 추정 시스템이, (1) 상기 내시경 장치의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 단계; (2) 상기 내시경 장치의 말단에 구비된 레이저 센서에서 조사된 레이저를 이용해, 상기 레이저 센서가 구비된 내시경 장치의 말단과 병변 부위 사이의 거리를 측정하는 단계; (3) 상기 단계 (2)에서 측정한 거리와 상기 카메라의 특성을 이용해, 상기 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 상기 내시경 영상에 좌표를 설정하는 단계; (4) 상기 단계 (1)에서 수집된 내시경 영상으로부터 등고선 이미지를 생성하는 단계; (5) 상기 등고선 이미지를 상기 단계 (3)에서 설정한 좌표에 매핑하되, 상기 레이저 센서에서 레이저가 조사되어 상기 단계 (2)에서 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 단계; 및 (6) 상기 단계 (5)의 매핑 결과를 이용해 병변의 크기를 추정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법에 따르면, 내시경 영상 수집을 위한 카메라와 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치를 사용하여, 내시경 영상으로부터 등고선 이미지를 생성하고, 내시경 장치의 말단과 병변 사이의 거리를 이용해 3차원 좌표에 등고선 이미지를 3차원으로 매핑하며, 매핑 결과를 이용해 병변의 크기를 추정함으로써, 내시경 말단에 레이저 센서를 부착하는 것만으로 쉽게 필요한 정보를 수집할 수 있고, 정확하게 병변의 크기를 추정할 수 있다.
Description
본 발명은 영상기반 크기 추정 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법에 관한 것이다.
내시경 기기는 신체 내부를 직접 관찰할 수 있는 의료기구이다. 이러한 내시경에는 하나의 통으로 되어 있어 장기를 직접 육안으로 볼 수 있는 형태, 렌즈 시스템을 이용하는 형태, 카메라를 직접 장기에 삽입하는 형태, 유리섬유를 사용한 파이어스코프 등이 있다. 내시경 기기는 일반적으로 도선 또는 광섬유와 같은 통신 케이블을 통하여 외부 기기로 촬영 이미지를 전송하는데, 최근에는 캡슐형 내시경 장치도 개발되었다(국내특허출원 제10-2007-0070865호 참조). 이와 같은 내시경 기기는 신체 내부 영상을 촬영하여 신체 내부에서 병변 유무를 판별하는 데에 사용한다.
최근 국내에서 발생 및 발견이 증가되고 있는 대장용종 및 대장암의 경우, 2008년 보건복지가족부 통계연보의 국내의 대장암 발생률에 따르면, 인구 10만 명 당 남자에서 54.7명, 여자에서는 36.9명으로 남녀에서 각각 두 번째와 네 번째로 많이 발생하는 암이다. 이러한 대장암의 대부분은 장기간의 선종-암화과정을 거쳐 발생하므로, 대장내시경 검사를 통해 진행 샘종의 발견 및 제거가 중요하다. 국내에서 50세 이상 성인 2307명을 대상으로 한 연구에서 대장 샘종이 40.5%에서 발견되었으며, 진행 샘종은 2.5%였다고 보고된 바 있다. 내시경 검사에서 병변의 크기는 대장용종 및 대장암과 조기 위암 등 다양한 질환에서 예후를 예측할 수 있는 주요 인자이며, 경우에 따라서는 치료의 방침이 달라질 뿐만 아니라, 향후 추적 검사 등에서도 다른 전략을 필요로 한다. 현재 대장암으로 진행의 위험성이 높다고 알려진 진행 샘종의 정의는 크기가 10㎜ 이상이거나 조직 생검 결과 융모성 용종이거나 고분화 이형증을 동반하는 경우이다. 따라서 용종의 크기가 매우 중요한 인자이므로 용종 크기의 정확한 측정이 중요하다. 여러 논문에 따르면 대장용종의 크기에 따라 ≤5㎜, 6~9㎜, ≥10㎜로 나누었을 때, 진행성 용종일 경우가 각각 0.9%, 4.9%, 73.5%로 보고하고 있으므로 10㎜ 이하의 용종도 그 크기에 따라 위험 정도가 다르기 때문에 정확한 크기의 측정이 중요하다.
하지만 기존의 내시경 검사로 용종 크기를 측정하는 방법은 일반적으로 생검 겸자 크기(6-9㎜)를 기준으로 대략적으로 판단하여 기술하기 때문에 시술자에 따라 그 편차가 상당히 크다. 즉, 종래의 용종 크기를 측정하는 방법으로는 용종 크기측정 결과가 매우 부정확한 문제가 있었다. 이에 따라 내시경 시술 시 병변의 정확한 크기측정을 위한 장치 개발이 요구되고 있다.
한편, 본 발명과 관련된 선행기술로서, 등록번호 제10-1656075호(발명의 명칭: 적외선 반사광 강도 측정을 통한 깊이 추정을 이용하여 병변 혹은 물체의 크기를 측정할 수 있는 내시경 기기 및 이를 이용한 병변 크기 측정 방법) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 내시경 영상 수집을 위한 카메라와 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치를 사용하여, 내시경 영상으로부터 등고선 이미지를 생성하고, 내시경 장치의 말단과 병변 사이의 거리를 이용해 3차원 좌표에 등고선 이미지를 3차원으로 매핑하며, 매핑 결과를 이용해 병변의 크기를 추정함으로써, 내시경 말단에 레이저 센서를 부착하는 것만으로 쉽게 필요한 정보를 수집할 수 있고, 정확하게 병변의 크기를 추정할 수 있는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템은,
영상기반 크기 추정 시스템으로서,
내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치;
상기 내시경 장치의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 영상 수집부;
상기 내시경 장치의 말단에 구비된 레이저 센서에서 조사된 레이저를 이용해, 상기 레이저 센서가 구비된 내시경 장치의 말단과 병변 부위 사이의 거리를 측정하는 거리 측정부;
상기 거리 측정부에서 측정한 거리와 상기 카메라의 특성을 이용해, 상기 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 상기 내시경 영상에 좌표를 설정하는 좌표 설정부;
상기 영상 수집부에서 수집된 내시경 영상으로부터 등고선 이미지를 생성하는 영상 처리부;
상기 등고선 이미지를 상기 좌표 설정부에서 설정한 좌표에 매핑하되, 상기 레이저 센서에서 레이저가 조사되어 상기 거리 측정부에서 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 매핑 처리부; 및
상기 매핑 처리부의 매핑 결과를 이용해 병변의 크기를 추정하는 크기 추정부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 영상 수집부는,
인공지능 기반의 병변 검출 모델을 이용해 병변이 검출되면 자동으로 병변 부위의 내시경 영상을 수집할 수 있다.
더욱 바람직하게는, 상기 병변 검출 모델은,
복수의 내시경 이미지를 학습 데이터로 하여 CNN(Convolutional Neural Network) 기반으로 사전 학습된 것일 수 있다.
바람직하게는, 상기 영상 처리부는,
상기 내시경 영상을 흑백으로 변환하는 영상 변환 모듈; 및
상기 흑백으로 변환된 영상을 기반으로 명도를 판별해 등고선을 작성하여 등고선 이미지를 생성하는 등고선 작성 모듈을 포함할 수 있다.
바람직하게는, 상기 좌표 설정부는,
상기 추출된 실제 촬영 영역의 크기를 기초로, 상기 내시경 영상에 2차원 좌표를 설정할 수 있다.
더욱 바람직하게는, 상기 매핑 처리부는,
상기 좌표 설정부에서 설정된 2차원 좌표에, 상기 병변으로부터 상기 내시경 장치의 말단 방향을 포함하는 3차원 좌표를 설정하는 3차원 좌표 설정 모듈; 및
상기 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 3차원 매핑 모듈을 포함할 수 있다.
더더욱 바람직하게는, 상기 내시경 장치는,
거리 측정을 위한 2개의 레이저 센서가 말단에 구비될 수 있다.
더더더욱 바람직하게는, 상기 3차원 매핑 모듈은,
상기 2개의 레이저 센서에서 레이저가 각각 조사된 2개의 위치를 기준으로, 상기 등고선 이미지를 3차원으로 매핑할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법은,
내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치를 이용하는, 영상기반 크기 추정 방법으로서, 영상기반 크기 추정 시스템이,
(1) 상기 내시경 장치의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 단계;
(2) 상기 내시경 장치의 말단에 구비된 레이저 센서에서 조사된 레이저를 이용해, 상기 레이저 센서가 구비된 내시경 장치의 말단과 병변 부위 사이의 거리를 측정하는 단계;
(3) 상기 단계 (2)에서 측정한 거리와 상기 카메라의 특성을 이용해, 상기 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 상기 내시경 영상에 좌표를 설정하는 단계;
(4) 상기 단계 (1)에서 수집된 내시경 영상으로부터 등고선 이미지를 생성하는 단계;
(5) 상기 등고선 이미지를 상기 단계 (3)에서 설정한 좌표에 매핑하되, 상기 레이저 센서에서 레이저가 조사되어 상기 단계 (2)에서 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 단계; 및
(6) 상기 단계 (5)의 매핑 결과를 이용해 병변의 크기를 추정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)에서는,
인공지능 기반의 병변 검출 모델을 이용해 병변이 검출되면 자동으로 병변 부위의 내시경 영상을 수집할 수 있다.
더욱 바람직하게는, 상기 병변 검출 모델은,
복수의 내시경 이미지를 학습 데이터로 하여 CNN(Convolutional Neural Network) 기반으로 사전 학습된 것일 수 있다.
바람직하게는, 상기 단계 (4)는,
(4-1) 상기 내시경 영상을 흑백으로 변환하는 단계; 및
(4-2) 상기 흑백으로 변환된 영상을 기반으로 명도를 판별해 등고선을 작성하여 등고선 이미지를 생성하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (3)에서는,
상기 추출된 실제 촬영 영역의 크기를 기초로, 상기 내시경 영상에 2차원 좌표를 설정할 수 있다.
더욱 바람직하게는, 상기 단계 (5)는,
(5-1) 상기 단계 (3)에서 설정된 2차원 좌표에, 상기 병변으로부터 상기 내시경 장치의 말단 방향을 포함하는 3차원 좌표를 설정하는 단계; 및
(5-2) 상기 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 단계를 포함할 수 있다.
더더욱 바람직하게는, 상기 내시경 장치는,
거리 측정을 위한 2개의 레이저 센서가 말단에 구비될 수 있다.
더더더욱 바람직하게는, 상기 단계 (5-2)에서는,
상기 2개의 레이저 센서에서 레이저가 각각 조사된 2개의 위치를 기준으로, 상기 등고선 이미지를 3차원으로 매핑할 수 있다.
본 발명에서 제안하고 있는 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법에 따르면, 내시경 영상 수집을 위한 카메라와 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치를 사용하여, 내시경 영상으로부터 등고선 이미지를 생성하고, 내시경 장치의 말단과 병변 사이의 거리를 이용해 3차원 좌표에 등고선 이미지를 3차원으로 매핑하며, 매핑 결과를 이용해 병변의 크기를 추정함으로써, 내시경 말단에 레이저 센서를 부착하는 것만으로 쉽게 필요한 정보를 수집할 수 있고, 정확하게 병변의 크기를 추정할 수 있다.
도 1 및 도 2는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템의 세부적인 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템의 영상 수집부에서 수집된 영상을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템의 좌표 설정부의 실제 촬영 영역의 크기 추출 방법을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템에서, 영상 처리부의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템에서, 매핑 처리부의 세부적인 구성을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템의 매핑 처리부의 매핑 결과를 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법에서, 단계 S500의 세부적인 흐름을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템의 세부적인 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템의 영상 수집부에서 수집된 영상을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템의 좌표 설정부의 실제 촬영 영역의 크기 추출 방법을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템에서, 영상 처리부의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템에서, 매핑 처리부의 세부적인 구성을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템의 매핑 처리부의 매핑 결과를 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법에서, 단계 S500의 세부적인 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1 및 도 2는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)을 도시한 도면이다. 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)은, 도 1에 도시된 바와 같이, 내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치(110)를 이용하여 내시경 영상을 수집해 서버와 유무선 통신하는 방식으로 구현될 수 있다. 또는, 도 2에 도시된 바와 같이 내시경 장치(110)에 유선으로 연결된 컴퓨터 장치를 이용해 구현될 수도 있다.
도 3은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)의 세부적인 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)은, 내시경 장치(110), 영상 수집부(120), 거리 측정부(130), 좌표 설정부(140), 영상 처리부(150), 매핑 처리부(160) 및 크기 추정부(170)를 포함하여 구성될 수 있다.
내시경 장치(110)는, 내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비될 수 있다. 내시경 장치(110)를 구성하는 내시경 튜브의 말단 중심에 카메라 렌즈가 위치할 수 있으며, 렌즈 주변으로 적어도 하나 이상의 레이저 센서가 위치할 수 있다. 이때, 내시경 장치(110)는, 1개의 레이저 센서를 말단에 구비할 수 있으며, 거리 측정을 위한 2개의 레이저 센서를 말단에 구비할 수도 있다. 2개 이상의 레이저 센서가 구비되는 경우, 더 정확하게 병변의 크기 및 부피를 추정할 수 있다.
영상 수집부(120)는, 내시경 장치(110)의 카메라를 통해 병변 부위의 내시경 영상을 수집할 수 있다. 즉, 카메라로 촬영된 영상 중에서 병변 부위의 영상을 수집할 수 있다. 도 4는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)의 영상 수집부(120)에서 수집된 영상을 예를 들어 도시한 도면이다. 보다 구체적으로, 도 4는 Colonscope PCF-H190L/I를 이용하였으며, Field of View(θ) 170°, Depth of field 2~100㎜, Setup Distance 25㎜의 셋업으로 촬영된 내시경 영상이다.
한편, 영상 수집부(120)는, 인공지능 기반의 병변 검출 모델을 이용해 병변이 검출되면 자동으로 병변 부위의 내시경 영상을 수집 및 저장할 수 있다. 이때, 병변 검출 모델은, 복수의 내시경 이미지를 학습 데이터로 하여 CNN(Convolutional Neural Network) 기반으로 사전 학습된 모델일 수 있다. 즉, 내시경 장치(110)에서 촬영되는 영상을 CNN 기반으로 사전 학습된 병변 검출 모델에 입력하여 실시간으로 병변 검출 여부를 출력할 수 있다. 실시예에 따라서는, 캐스케이드 회귀 포레스트와 고속 반경 대칭 변환(Fast Radial Symmetry Transform, FRST)을 이용하여, 조명의 변화에 따른 영향을 최소화하여 정확하게 병변 검출 여부를 판단하고, 영상 수집부(120)가 병변 부위의 내시경 영상을 수집할 수 있다.
거리 측정부(130)는, 내시경 장치(110)의 말단에 구비된 레이저 센서에서 조사된 레이저를 이용해, 레이저 센서가 구비된 내시경 장치(110)의 말단과 병변 부위 사이의 거리를 측정할 수 있다. 레이저 센서는 레이저를 조사하고 반사되어 돌아오는 레이저를 수신해, 레이저가 반사되어 돌아오는데 걸린 시간으로부터 거리를 측정할 수 있다.
좌표 설정부(140)는, 거리 측정부(130)에서 측정한 거리와 카메라의 특성을 이용해, 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 내시경 영상에 좌표를 설정할 수 있다. 이때, 이용되는 카메라의 특성은, 카메라 렌즈의 화각(θ), 초점거리(d), 내시경 영상 즉, 프레임 크기(l)를 포함할 수 있다.
도 5는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)의 좌표 설정부(140)의 실제 촬영 영역의 크기 추출 방법을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)의 좌표 설정부(140)는, 거리 측정부(130)에서 측정한 거리(D)와 카메라의 특성을 이용해, 실제 촬영 영역의 길이 L=2·D·tanθ/2 를 계산할 수 있으며, 실제 병변의 길이 (SL)는 내시경 영상(l) 내의 병변의 길이 (sl)를 이용해 다음 수학식 1과 같이 계산될 수 있다.
좌표 설정부(140)는, 추출된 실제 촬영 영역의 크기를 기초로, 내시경 영상에 2차원 좌표를 설정할 수 있다. 즉, 도 4에 도시된 바와 같은 내시경 영상에서, 가로 방향을 x, 세로 방향을 y, 왼쪽 아래 모서리를 x축과 y축이 교차하는 0점으로 하는 2차원 좌표를 설정할 수 있으며, 내시경 영상의 실제 크기 L 및 병변의 실제 크기 SL에 대응되도록 스케일을 설정하여 2차원 좌표를 설정할 수 있다.
영상 처리부(150)는, 영상 수집부(120)에서 수집된 내시경 영상으로부터 등고선 이미지를 생성할 수 있다. 이하에서는, 도 6을 참조하여 영상 처리부(150)의 세부적인 구성에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)에서, 영상 처리부(150)의 세부적인 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)의 영상 처리부(150)는, 영상 변환 모듈(151) 및 등고선 작성 모듈(152)을 포함하여 구성될 수 있다.
영상 변환 모듈(151)은, 내시경 영상을 흑백으로 변환할 수 있다. 즉, 영상 변환 모듈(151)은 도 4에 도시된 바와 같은 내시경 영상을 흑백 이미지를 전환하여 이미지에서 명도를 쉽게 판별 가능하도록 할 수 있다.
등고선 작성 모듈(152)은, 흑백으로 변환된 영상을 기반으로 명도를 판별해 등고선을 작성하여 등고선 이미지를 생성할 수 있다. 즉, 영상 변환 모듈(151)에서 변환된 흑백 이미지에서 명도를 판별해, 같은 명도를 나타내는 부분을 연결한 등고선을 작성할 수 있다. 이때, 등고선 작성 모듈(152)은 좌표 설정부(140)에서 설정한 2차원 좌표에 등고선을 작성해 등고선 이미지를 생성할 수 있다.
매핑 처리부(160)는, 등고선 이미지를 좌표 설정부(140)에서 설정한 좌표에 매핑하되, 레이저 센서에서 레이저가 조사되어 거리 측정부(130)에서 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 등고선 이미지를 3차원으로 매핑할 수 있다. 즉, 내시경 영상 내에서 레이저가 조사된 위치에 해당하는 등고선을 기준으로 하여, 각 등고선을 3차원으로 배치해 입체적으로 매핑할 수 있다. 이하에서는, 도 7을 참조하여 매핑 처리부(160)의 세부적인 구성에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)에서, 매핑 처리부(160)의 세부적인 구성을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)의 매핑 처리부(160)는, 3차원 좌표 설정 모듈(161) 및 3차원 매핑 모듈(162)을 포함하여 구성될 수 있다.
3차원 좌표 설정 모듈(161)은, 좌표 설정부(140)에서 설정된 2차원 좌표에, 병변으로부터 내시경 장치(110)의 말단 방향을 포함하는 3차원 좌표를 설정할 수 있다. 즉, x축과 y축으로 구성된 2차원 좌표에 깊이 방향의 z축을 추가하여 3차원 좌표를 설정할 수 있다.
3차원 매핑 모듈(162)은, 설정된 3차원 좌표에 등고선 이미지를 3차원으로 매핑할 수 있다. 영상 처리부(150)의 등고선 작성 모듈(152)은, 좌표 설정부(140)에서 설정한 2차원 좌표에 등고선을 작성해 등고선 이미지를 생성할 수 있는데, 이를 깊이 방향의 z축으로 각 등고선을 분리해 매핑함으로써, 3차원으로 매핑할 수 있다.
도 8은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)의 매핑 처리부(160)의 매핑 결과를 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)의 매핑 처리부(160)는, 색상으로 표시된 각 등고선을 분리해 깊이별로 z축에 매핑할 수 있다. 이때, 레이저가 조사된 위치는 (x, y)=(300, 200)으로 녹색 영역에 해당하며, 녹색 등고선을 기준으로 그보다 더 높은 부분과 낮은 부분들을 분리해 매핑하였다. 녹색 등고선까지의 실제 거리 D는 571㎜이며, 도 8에서 픽셀당 거리는 0.95㎜이다.
한편, 내시경 장치(110)는, 거리 측정을 위한 2개의 레이저 센서가 말단에 구비될 수 있다. 예를 들어, 도 5 도시된 바와 같은 내시경 장치(110)의 말단에, 위쪽 레이저 센서 외에 카메라 렌즈의 아래쪽에 레이저 센서를 하나 더 구비하여 2개의 레이저 센서를 사용할 수 있다.
이때, 3차원 매핑 모듈(162)은, 2개의 레이저 센서에서 레이저가 각각 조사된 2개의 위치를 기준으로, 등고선 이미지를 3차원으로 매핑할 수 있다. 즉, 2개의 레이저 센서를 이용하면 기준 위치가 2개가 설정되므로 z축의 각 등고선의 높이를 더욱 정확하게 추정할 수 있다. 예를 들어, 제1 레이저 센서에서 조사한 레이저가 도달한 제1 위치가 도 8의 등고선 중 녹색 등고선이고, 제2 레이저 센서에서 조사한 레이저가 도달한 제2 위치가 도 8의 등고선 중 황색 등고선이며, 제1 위치 및 제2 위치까지의 거리가 거리 측정부(130)에서 각각 제1 거리 및 제2 거리로 측정될 수 있다. 그러면 녹색 등고선과 황색 등고선의 z축 방향의 거리 차이가 계산될 수 있다. 따라서 매핑 처리부(160)의 3차원 좌표 설정부(140)는 제1 거리 및 제2 거리를 이용해 z축 좌표를 설정할 수 있으며, 3차원 매핑 모듈(162)은 설정된 3차원 좌표계에 등고선 이미지를 정확하게 매핑할 수 있다.
크기 추정부(170)는, 매핑 처리부(160)의 매핑 결과를 이용해 병변의 크기를 추정할 수 있다. 도 8에 도시된 바와 같은 예에서, 병변은 x 방향으로 350픽셀, y 방향으로 240픽셀일 수 있고, 각 픽셀의 실제 거리는 0.95㎜이어서, 실제 병변의 크기는 332㎜×228㎜일 수 있다. 또한, 크기 추정부(170)는 3차원 매핑 결과를 이용해 병변의 부피도 추정할 수 있다. 도 8에서 병변은 황색으로 표시되며, z 방향으로 50픽셀이므로 실제 병변의 부피는, 332㎜×228㎜×47.5㎜로 추정할 수 있다.
도 9는 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법의 흐름을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법은, 내시경 장치(110)의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 단계(S100), 레이저 센서가 구비된 내시경 장치(110)의 말단과 병변 부위 사이의 거리를 측정하는 단계(S200), 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 내시경 영상에 좌표를 설정하는 단계(S300), 내시경 영상으로부터 등고선 이미지를 생성하는 단계(S400), 등고선 이미지를 좌표에 매핑하되, 레이저 센서에서 레이저가 조사되어 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 등고선 이미지를 3차원으로 매핑하는 단계(S500) 및 매핑 결과를 이용해 병변의 크기를 추정하는 단계(S600)를 포함하여 구현될 수 있다.
도 10은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법의 단계 S400은, 내시경 영상을 흑백으로 변환하는 단계(S410) 및 흑백으로 변환된 영상을 기반으로 명도를 판별해 등고선을 작성하여 등고선 이미지를 생성하는 단계(S420)를 포함하여 구현될 수 있다.
도 11은 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법에서, 단계 S500의 세부적인 흐름을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법의 단계 S500은, 2차원 좌표에 병변으로부터 내시경 장치(110)의 말단 방향을 포함하는 3차원 좌표를 설정하는 단계(S510) 및 설정된 3차원 좌표에 등고선 이미지를 3차원으로 매핑하는 단계(S520)를 포함하여 구현될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100)과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
전술한 바와 같이, 본 발명에서 제안하고 있는 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100) 및 방법에 따르면, 내시경 영상 수집을 위한 카메라와 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치(110)를 사용하여, 내시경 영상으로부터 등고선 이미지를 생성하고, 내시경 장치(110)의 말단과 병변 부위 사이의 거리를 이용해 3차원 좌표에 등고선 이미지를 3차원으로 매핑하며, 매핑 결과를 이용해 병변의 크기를 추정함으로써, 내시경 말단에 레이저 센서를 부착하는 것만으로 쉽게 필요한 정보를 수집할 수 있고, 정확하게 병변의 크기를 추정할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 영상기반 크기 추정 시스템
110: 내시경 장치
120: 영상 수집부
130: 거리 측정부
140: 좌표 설정부
150: 영상 처리부
151: 영상 변환 모듈
152: 등고선 작성 모듈
160: 매핑 처리부
161: 3차원 좌표 설정 모듈
162: 3차원 매핑 모듈
170: 크기 추정부
S100: 내시경 장치의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 단계
S200: 레이저 센서가 구비된 내시경 장치의 말단과 병변 부위 사이의 거리를 측정하는 단계
S300: 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 내시경 영상에 좌표를 설정하는 단계
S400: 내시경 영상으로부터 등고선 이미지를 생성하는 단계
S410: 내시경 영상을 흑백으로 변환하는 단계
S420: 흑백으로 변환된 영상을 기반으로 명도를 판별해 등고선을 작성하여 등고선 이미지를 생성하는 단계
S500: 등고선 이미지를 좌표에 매핑하되, 레이저 센서에서 레이저가 조사되어 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 등고선 이미지를 3차원으로 매핑하는 단계
S510: 2차원 좌표에 병변으로부터 내시경 장치의 말단 방향을 포함하는 3차원 좌표를 설정하는 단계
S520: 설정된 3차원 좌표에 등고선 이미지를 3차원으로 매핑하는 단계
S600: 매핑 결과를 이용해 병변의 크기를 추정하는 단계
110: 내시경 장치
120: 영상 수집부
130: 거리 측정부
140: 좌표 설정부
150: 영상 처리부
151: 영상 변환 모듈
152: 등고선 작성 모듈
160: 매핑 처리부
161: 3차원 좌표 설정 모듈
162: 3차원 매핑 모듈
170: 크기 추정부
S100: 내시경 장치의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 단계
S200: 레이저 센서가 구비된 내시경 장치의 말단과 병변 부위 사이의 거리를 측정하는 단계
S300: 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 내시경 영상에 좌표를 설정하는 단계
S400: 내시경 영상으로부터 등고선 이미지를 생성하는 단계
S410: 내시경 영상을 흑백으로 변환하는 단계
S420: 흑백으로 변환된 영상을 기반으로 명도를 판별해 등고선을 작성하여 등고선 이미지를 생성하는 단계
S500: 등고선 이미지를 좌표에 매핑하되, 레이저 센서에서 레이저가 조사되어 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 등고선 이미지를 3차원으로 매핑하는 단계
S510: 2차원 좌표에 병변으로부터 내시경 장치의 말단 방향을 포함하는 3차원 좌표를 설정하는 단계
S520: 설정된 3차원 좌표에 등고선 이미지를 3차원으로 매핑하는 단계
S600: 매핑 결과를 이용해 병변의 크기를 추정하는 단계
Claims (16)
- 영상기반 크기 추정 시스템(100)으로서,
내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치(110);
상기 내시경 장치(110)의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 영상 수집부(120);
상기 내시경 장치(110)의 말단에 구비된 레이저 센서에서 조사된 레이저를 이용해, 상기 레이저 센서가 구비된 내시경 장치(110)의 말단과 병변 부위 사이의 거리를 측정하는 거리 측정부(130);
상기 거리 측정부(130)에서 측정한 거리와 상기 카메라의 특성을 이용해, 상기 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 상기 내시경 영상에 좌표를 설정하는 좌표 설정부(140);
상기 영상 수집부(120)에서 수집된 내시경 영상으로부터 등고선 이미지를 생성하는 영상 처리부(150);
상기 등고선 이미지를 상기 좌표 설정부(140)에서 설정한 좌표에 매핑하되, 상기 레이저 센서에서 레이저가 조사되어 상기 거리 측정부(130)에서 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 매핑 처리부(160); 및
상기 매핑 처리부(160)의 매핑 결과를 이용해 병변의 크기를 추정하는 크기 추정부(170)를 포함하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100).
- 제1항에 있어서, 상기 영상 수집부(120)는,
인공지능 기반의 병변 검출 모델을 이용해 병변이 검출되면 자동으로 병변 부위의 내시경 영상을 수집하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100).
- 제2항에 있어서, 상기 병변 검출 모델은,
복수의 내시경 이미지를 학습 데이터로 하여 CNN(Convolutional Neural Network) 기반으로 사전 학습된 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100).
- 제1항에 있어서, 상기 영상 처리부(150)는,
상기 내시경 영상을 흑백으로 변환하는 영상 변환 모듈(151); 및
상기 흑백으로 변환된 영상을 기반으로 명도를 판별해 등고선을 작성하여 등고선 이미지를 생성하는 등고선 작성 모듈(152)을 포함하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100).
- 제1항에 있어서, 상기 좌표 설정부(140)는,
상기 추출된 실제 촬영 영역의 크기를 기초로, 상기 내시경 영상에 2차원 좌표를 설정하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100).
- 제5항에 있어서, 상기 매핑 처리부(160)는,
상기 좌표 설정부(140)에서 설정된 2차원 좌표에, 상기 병변으로부터 상기 내시경 장치(110)의 말단 방향을 포함하는 3차원 좌표를 설정하는 3차원 좌표 설정 모듈(161); 및
상기 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 3차원 매핑 모듈(162)을 포함하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100).
- 제6항에 있어서, 상기 내시경 장치(110)는,
거리 측정을 위한 2개의 레이저 센서가 말단에 구비된 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100).
- 제7항에 있어서, 상기 3차원 매핑 모듈(162)은,
상기 2개의 레이저 센서에서 레이저가 각각 조사된 2개의 위치를 기준으로, 상기 등고선 이미지를 3차원으로 매핑하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템(100).
- 내시경 영상을 수집하는 카메라 및 거리 측정을 위한 레이저 센서가 말단에 구비된 내시경 장치(110)를 이용하는, 영상기반 크기 추정 방법으로서, 영상기반 크기 추정 시스템(100)이,
(1) 상기 내시경 장치(110)의 카메라를 통해 병변 부위의 내시경 영상을 수집하는 단계;
(2) 상기 내시경 장치(110)의 말단에 구비된 레이저 센서에서 조사된 레이저를 이용해, 상기 레이저 센서가 구비된 내시경 장치(110)의 말단과 병변 부위 사이의 거리를 측정하는 단계;
(3) 상기 단계 (2)에서 측정한 거리와 상기 카메라의 특성을 이용해, 상기 내시경 영상에 대응하는 실제 촬영 영역의 크기를 추출하고, 상기 내시경 영상에 좌표를 설정하는 단계;
(4) 상기 단계 (1)에서 수집된 내시경 영상으로부터 등고선 이미지를 생성하는 단계;
(5) 상기 등고선 이미지를 상기 단계 (3)에서 설정한 좌표에 매핑하되, 상기 레이저 센서에서 레이저가 조사되어 상기 단계 (2)에서 거리를 측정한 위치를 기준으로 3차원 좌표를 설정하여, 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 단계; 및
(6) 상기 단계 (5)의 매핑 결과를 이용해 병변의 크기를 추정하는 단계를 포함하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법.
- 제9항에 있어서, 상기 단계 (1)에서는,
인공지능 기반의 병변 검출 모델을 이용해 병변이 검출되면 자동으로 병변 부위의 내시경 영상을 수집하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법.
- 제10항에 있어서, 상기 병변 검출 모델은,
복수의 내시경 이미지를 학습 데이터로 하여 CNN(Convolutional Neural Network) 기반으로 사전 학습된 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법.
- 제9항에 있어서, 상기 단계 (4)는,
(4-1) 상기 내시경 영상을 흑백으로 변환하는 단계; 및
(4-2) 상기 흑백으로 변환된 영상을 기반으로 명도를 판별해 등고선을 작성하여 등고선 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법.
- 제9항에 있어서, 상기 단계 (3)에서는,
상기 추출된 실제 촬영 영역의 크기를 기초로, 상기 내시경 영상에 2차원 좌표를 설정하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법.
- 제13항에 있어서, 상기 단계 (5)는,
(5-1) 상기 단계 (3)에서 설정된 2차원 좌표에, 상기 병변으로부터 상기 내시경 장치(110)의 말단 방향을 포함하는 3차원 좌표를 설정하는 단계; 및
(5-2) 상기 설정된 3차원 좌표에 상기 등고선 이미지를 3차원으로 매핑하는 단계를 포함하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법.
- 제14항에 있어서, 상기 내시경 장치(110)는,
거리 측정을 위한 2개의 레이저 센서가 말단에 구비된 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법.
- 제15항에 있어서, 상기 단계 (5-2)에서는,
상기 2개의 레이저 센서에서 레이저가 각각 조사된 2개의 위치를 기준으로, 상기 등고선 이미지를 3차원으로 매핑하는 것을 특징으로 하는, 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200067452A KR102364027B1 (ko) | 2020-06-04 | 2020-06-04 | 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200067452A KR102364027B1 (ko) | 2020-06-04 | 2020-06-04 | 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210150695A true KR20210150695A (ko) | 2021-12-13 |
| KR102364027B1 KR102364027B1 (ko) | 2022-02-16 |
Family
ID=78832102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200067452A KR102364027B1 (ko) | 2020-06-04 | 2020-06-04 | 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102364027B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230105811A (ko) | 2022-01-05 | 2023-07-12 | 주식회사 아이넥스코퍼레이션 | 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램 |
| KR20230105812A (ko) | 2022-01-05 | 2023-07-12 | 주식회사 아이넥스코퍼레이션 | 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005278980A (ja) * | 2004-03-30 | 2005-10-13 | Hitachi Medical Corp | 内視鏡装置 |
| KR20190141916A (ko) * | 2018-06-15 | 2019-12-26 | 계명대학교 산학협력단 | 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법 |
| KR20200038120A (ko) * | 2018-10-02 | 2020-04-10 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
-
2020
- 2020-06-04 KR KR1020200067452A patent/KR102364027B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005278980A (ja) * | 2004-03-30 | 2005-10-13 | Hitachi Medical Corp | 内視鏡装置 |
| KR20190141916A (ko) * | 2018-06-15 | 2019-12-26 | 계명대학교 산학협력단 | 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법 |
| KR20200038120A (ko) * | 2018-10-02 | 2020-04-10 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230105811A (ko) | 2022-01-05 | 2023-07-12 | 주식회사 아이넥스코퍼레이션 | 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램 |
| KR20230105812A (ko) | 2022-01-05 | 2023-07-12 | 주식회사 아이넥스코퍼레이션 | 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102364027B1 (ko) | 2022-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7744528B2 (en) | Methods and devices for endoscopic imaging | |
| JP6045417B2 (ja) | 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
| US20170119474A1 (en) | Device and Method for Tracking the Position of an Endoscope within a Patient's Body | |
| US20110242301A1 (en) | Image processing device, image processing method, and program | |
| CN105072968A (zh) | 图像处理装置、内窥镜装置、程序和图像处理方法 | |
| WO2014168128A1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
| KR20140108066A (ko) | 내시경 시스템 및 그 제어방법 | |
| JPWO2019087790A1 (ja) | 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム | |
| KR102364027B1 (ko) | 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법 | |
| JP2009213627A (ja) | 内視鏡検査システム及びその検査方法 | |
| JP2017534322A (ja) | 膀胱の診断的マッピング方法及びシステム | |
| CN107427202B (zh) | 用于照射人类或动物身体内部的感兴趣结构的设备、系统和方法 | |
| US20110187707A1 (en) | System and method for virtually augmented endoscopy | |
| CN111035351B (zh) | 用于胃肠道中的胶囊相机的行进距离测量的方法及装置 | |
| WO2012014438A1 (ja) | 内視鏡観察を支援する装置および方法、並びに、プログラム | |
| JP2011200283A (ja) | 制御装置、内視鏡システム、プログラム及び制御方法 | |
| US20220409030A1 (en) | Processing device, endoscope system, and method for processing captured image | |
| US20100262000A1 (en) | Methods and devices for endoscopic imaging | |
| JP6150555B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム | |
| US11430114B2 (en) | Landmark estimating method, processor, and storage medium | |
| KR101719322B1 (ko) | vSLAM 기법을 이용하여 병변과 주변조직의 3차원 정보를 측정할 수 있는 내시경 기기 및 이를 이용한 병변 측정 방법 | |
| CN104083172A (zh) | 一种电子内窥镜病灶尺寸定量测量的方法和装置 | |
| KR102141541B1 (ko) | 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법 | |
| JP7335157B2 (ja) | 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置 | |
| US20230078857A1 (en) | Method of robust surface and depth estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |