KR20190090150A - 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 - Google Patents
캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 Download PDFInfo
- Publication number
- KR20190090150A KR20190090150A KR1020180008633A KR20180008633A KR20190090150A KR 20190090150 A KR20190090150 A KR 20190090150A KR 1020180008633 A KR1020180008633 A KR 1020180008633A KR 20180008633 A KR20180008633 A KR 20180008633A KR 20190090150 A KR20190090150 A KR 20190090150A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- region
- neural network
- image
- network model
- Prior art date
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000001839 endoscopy Methods 0.000 title abstract description 7
- 238000012544 monitoring process Methods 0.000 title 1
- 238000003062 neural network model Methods 0.000 claims abstract description 77
- 230000003902 lesion Effects 0.000 claims description 44
- 230000007774 longterm Effects 0.000 claims description 32
- 238000012806 monitoring device Methods 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 26
- 210000000056 organ Anatomy 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 11
- 210000000813 small intestine Anatomy 0.000 claims description 5
- 230000000740 bleeding effect Effects 0.000 claims description 4
- 230000001575 pathological effect Effects 0.000 claims description 4
- 230000001079 digestive effect Effects 0.000 claims description 3
- 210000003238 esophagus Anatomy 0.000 claims description 3
- 235000011389 fruit/vegetable juice Nutrition 0.000 claims description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 claims description 3
- 210000002429 large intestine Anatomy 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 208000025865 Ulcer Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 210000000436 anus Anatomy 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002981 neuropathic effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000167880 Hirundinidae Species 0.000 description 1
- 208000007542 Paresis Diseases 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 201000001119 neuropathy Diseases 0.000 description 1
- 230000007823 neuropathy Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 208000033808 peripheral neuropathy Diseases 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000036269 ulceration Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Endoscopes (AREA)
Abstract
캡슐 내시경으로부터 획득된 의료 영상에 대한 서술자 생성 방법이 제공된다. 방법은, 캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 수신하는 단계, 상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하는 단계 및 상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하는 단계를 포함한다. 따라서, 영상 처리 시간과 정확도를 높이는 것에 의해 의사의 판독 시간을 줄이는 것을 가능하게 할 수 있다.
Description
본 발명은 캡슐 내시경에 관한 것으로서, 보다 구체적으로는 캡슐 내시경 영상에 대한 서술자를 생성하고 서술자를 기반으로 캡슐 내시경 영상을 검색하기 위한 장치 및 방법에 관한 것이다.
인체 내부의 정보, 특히 의학적 정보를 획득하기 위해 피검사자의 입 또는 항문을 통해 케이블에 부착된 내시경을 삽입하는 방법이 이용되고 있다. 이 방법에 의하며, 도선 또는 광섬유로 이루어진 케이블을 통해 내시경을 직접 제어할 수 있으므로, 인체 내부의 데이터를 확보하기 용이하지만 피검사자에게는 큰 고통이 따른다. 또한, 소장과 같은 장기는 피검사자의 입 또는 항문으로부터 멀리 떨어져 있을뿐더러, 장기의 체강 직경이 작아서 상술한 내시경 방법으로 검사하기 곤란하다는 문제가 있다.
이를 고려하여, 캡슐형 내시경이 이용되고 있다. 피검사자가 캡슐형 내시경을 구강을 통해 삼키면, 캡슐형 내시경은 인체 내에서 카메라 등으로 필요한 데이터를 획득하고, 획득한 데이터를 인체 외부의 수신기 (receiver) 로 전송하여 출력할 수 있도록 한다.
하지만, 캡슐 내시경이 점차 발전하면서 캡슐 내시경에서 촬영된 데이터 량의 증가하면서 의사들의 판독 시간 (Reading Time) 역시 가파르게 증가하고 있다. 예를 들어, 초당 3 프레임을 기준으로 10 시간 촬영시, 검토해야할 프레임은 108,000 프레임 (10*60*60*3) 이상이 될 수 있어, 내시경 촬영 영상의 검토에 소요되는 시간이 크게 부담되는 실정이다. 아울러, 종래 캡슐 내시경에 하나의 카메라 모듈이 장착되던 것과 달리, 근래에는 캡슐 내시경에 하나 이상의 카메라 모듈 및 추가 영상 정보 확보를 위한 부가적 모듈이 적용되는 추세에 있어, 판독 시간은 더욱 증가되고 있는 실정이다.
앞서 살핀 바와 같이 캡슐 내시경에 의한 의료 영상의 데이터 량의 증가로 의사들의 판독 시간이 늘어나고 있다. 관련하여, 캡슐 내시경의 의료 영상의 각각의 프레임에는 음식물과 같은 무효 영역이 상당히 포함되어 있으며, 이러한 무효 영역에 대해서 데이터 처리를 수행하는 과정의 프로세싱 시간 및 데이터 업로딩 시간이 낭비되는 문제점이 있다. 또한, 한 영상 내에 무효 영역의 정보가 지나치게 많이 포함되어 있을 경우, 병증 검출 알고리즘의 심층 신경망에 대한 학습 및 수행에 소요되는 시간이 증가될 뿐만 아니라, 그 정확도가 감소되는 문제점이 있다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 심층 신경망을 기반으로 캡슐 내시경 영상의 유효 영역을 결정하고 병증 의심 영역을 검출하여 관련된 서술자 정보를 생성함으로써 영상 처리 시간과 정확도를 높이는 것에 의해 의사의 판독 시간을 줄이는 것을 가능하게 하는 캡슐 내시경 영상의 서술자 생성 방법 및 장치를 제공하는 것이다.
전술한 문제점을 해결하기 위한 본 발명의 다른 목적은 심층 신경망을 기반으로 캡슐 내시경 영상의 서술자 정보를 생성함으로써 의사의 의도에 따라 환자의 캡슐 내시경 영상 중 원하는 프레임을 쉽게 검색할 수 있도록 하는 캡슐 내시경 영상의 검색 방법 및 이를 기반으로 하는 모니터링 디바이스를 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 캡슐 내시경으로부터 획득된 의료 영상에 대한 서술자 생성 방법은, 캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 수신하는 단계; 상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하는 단계; 및 상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 서술자 생성 방법은, 상기 검출된 병증 의심 영역에 대한 텍스트 기반의 서술자 정보를 생성하여 저장하는 단계; 및 상기 유효 영역을 포함하는 프레임 및 상기 서술자 정보를 모니터링 디바이스로 전송하는 단계를 더 포함할 수 있다.
일 측면에 따르면, 상기 유효 영역을 결정하는 단계는, 상기 적어도 하나의 프레임 각각에 대해서, 상기 제 1 심층 신경망 모델을 기반으로 각 프레임을 장기 영역, GI 트랙 영역 및 무효 (Invalid) 영역으로 구분하는 단계; 및 상기 GI 트랙 영역 및 무효 영역의 픽셀 값을 더미 값으로 변경하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 GI 트랙 영역은 식도 관, 위장 관, 소장 관 및 대장 관 영역 중 적어도 하나를 포함하고, 상기 무효 영역은 출혈된 피 (Bleeding), 음식물, 소화액, 버블, 물방울, 변 및 조명에 의해 하이라이트된 영역 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 유효 영역을 결정하는 단계는, 상기 장기 영역 내부에 형성된 홀을 검출하고, 상기 홀을 상기 홀 주변 텍스쳐로 채우는 단계를 더 포함할 수 있다.
일 측면에 따르면, 상기 수신하는 단계 이후에, 합성곱 신경망 (Convolutional Neural Network, CNN) 모델을 기반으로 상기 적어도 하나의 프레임 각각에 대해서, 장기 영역을 포함하는지 여부 및 포함된 장기의 종류를 결정하는 단계를 더 포함하고, 상기 유효 영역을 결정하는 단계는 장기 영역을 포함한다고 결정된 프레임에 대해서만 수행될 수 있다.
일 측면에 따르면, 상기 제 1 심층 신경망 모델 및 상기 제 2 심층 신경망 모델은, R-CNN (Regional CNN) 계열 신경망 모델을 기반으로 학습된 모델일 수 있다.
일 측면에 따르면, 상기 R-CNN 계열 신경망 모델은 Faster R-CNN, YOLO 900, SSD 및 Mask R-CNN 중 어느 하나를 포함할 수 있다.
일 측면에 따르면, 상기 서술자 정보는, 상기 CNN 모델을 기반으로 결정된 장기의 종류와, 상기 제 2 심층 신경망 모델을 기반으로 검출된 병증 의심 영역의 중심 좌표, 영역 테두리 정보, 병증 부류 정보 및 신뢰도 값을 포함할 수 있다.
일 측면에 따르면, 상기 제 1 심층 신경망 모델은, 캡슐 내시경 영상을 입력으로 하고, 상기 입력된 영상에 대한 미리 결정된 장기 영역, GI 트랙 영역 및 무효 (Invalid) 영역 중 어느 하나에 대한 영역 정보를 출력으로 하는 트레이닝 세트를 기반으로 학습된 모델일 수 있다.
일 측면에 따르면, 상기 제 2 심층 신경망 모델은, 상기 제 1 심층 신경망을 기반으로 획득된 유효 영역 영상을 입력으로 하고, 상기 입력된 유효 영역 영상에 대한 미리 결정된 병증 정보를 출력으로 하는 트레이닝 세트를 기반으로 학습된 모델일 수 있다.
본 발명의 다른 실시예에 따른 서술자를 기반으로 하는 캡슐 내시경 영상의 검색 방법은, 유효 영역을 포함하는 프레임 및 서술자 정보 - 상기 유효 영역을 포함하는 프레임 및 서술자 정보는, 캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 취득하여, 상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하고, 상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하여, 상기 검출된 병증 의심 영역에 대한 텍스트 기반의 서술자 정보를 생성하여 저장하는 것에 의해 생성 됨 - 를 수신하는 단계; 모니터링 디바이스 사용자로부터 텍스트 쿼리 또는 이미지 쿼리를 입력받는 단계; 및 상기 서술자 정보를 기반으로 상기 유효 영역을 포함하는 프레임 중 상기 텍스트 쿼리 또는 이미지 쿼리에 대응하는 영역을 포함하는 프레임을 표시하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 표시하는 단계는 상기 텍스트 쿼리 및 이미지 쿼리에 대응하는 영역을 다른 영역과 구별되게 표시할 수 있다.
일 측면에 따르면, 상기 입력받는 단계는, 모니터링 디바이스 사용자로부터 정렬 기준을 더 입력 받고, 상기 표시하는 단계는, 상기 대응하는 영역을 포함하는 프레임이 복수 개 존재하면 상기 정렬 기준을 기반으로 표시 순서를 결정할 수 있다.
본 발명의 다른 실시예에 따른 캡슐 내시경으로부터 획득된 의료 영상에 대한 서술자 생성 장치는, 프로세서 및 통신부를 포함하고, 상기 통신부는 캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 수신하고, 상기 프로세서는, 상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하고; 그리고 상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하도록 구성될 수 있다.
본 발명의 다른 실시예에 따른 서술자를 기반으로 하는 캡슐 내시경 영상의 검색을 가능하게 하는 캡슐 내시경 모니터링 디바이스는, 유효 영역을 포함하는 프레임 및 서술자 정보 - 상기 유효 영역을 포함하는 프레임 및 서술자 정보는, 캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 취득하여, 상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하고, 상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하여, 상기 검출된 병증 의심 영역에 대한 텍스트 기반의 서술자 정보를 생성하여 저장하는 것에 의해 생성 됨 - 를 수신하는 통신부; 모니터링 디바이스 사용자로부터 텍스트 쿼리 또는 이미지 쿼리를 입력받는 입력부; 상기 서술자 정보를 기반으로 상기 유효 영역을 포함하는 프레임 중 상기 텍스트 쿼리 또는 이미지 쿼리에 대응하는 영역을 포함하는 프레임을 검출하는 프로세서; 및 상기 검출된 대응하는 영역을 포함하는 프레임을 표시하는 표시부를 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
전술한 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 방법 및 장치에 따르면 심층 신경망을 기반으로 캡슐 내시경 영상의 유효 영역을 결정하고 병증 의심 영역을 검출하여 관련된 서술자 정보를 생성함으로써 영상 처리 시간과 정확도를 높이는 것에 의해 의사의 판독 시간을 줄이는 것을 가능하게 할 수 있다.
즉, 캡슐 내시경 장치로부터 수신한 의료 영상 중 유효 영역이 아닌 영역들을 사전에 검출함으로써, 불필요한 데이터 처리 시간을 감소시킬 수 있으며, 병증 검출 알고리즘의 정확도를 향상시킬 수 있다. 또한, 유효한 영역을 포함하지 않는 프레임에 대해서는 유효 영역 검출 및 병증 의심 영역 검출 절차를 수행하지 않도록 하여 영상 처리 시간을 감축시킬 수 있고, 해당 영상을 별도의 모니터링 디바이스로 전송하지 않도록 할 수 있어 업로딩 시간 역시 최소화 할 수 있다.
또한, 심층 신경망을 기반으로 병증 의심 영역을 검출하여 이에 대한 관련된 서술자 정보를 생성하여 저장하므로, 영상 데이터의 분류가 가능하고 분류된 정보를 이용하여 동영상의 요약 (summary) 를 해주는 기능을 제공하는 것이 가능하다. 따라서, 이 역시 의사들의 판독 시간을 최소화하는데 도움이 된다.
한편, 전술한 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 검색 방법 및 이를 기반으로 하는 모니터링 디바이스에 따르면, 심층 신경망을 기반으로 캡슐 내시경 영상의 서술자 정보를 생성함으로써 의사의 의도에 따라 환자의 캡슐 내시경 영상 중 원하는 프레임을 쉽게 검색할 수 있도록 할 수 있다. 즉, 프레임 데이터를 이해하여 자동으로 텍스트 서술자 정보를 생성하는 기능을 제공하고, 사용자의 쿼리 정보에 대응하는 영상들에 대한 검색을 수행하도록 할 수 있어 의사가 보다 용이하게 캡슐 내시경 영상을 검토하도록 할 수 있다.
또한, 병증 의심 영역의 검출을 위한 심층 신경망 모델의 학습에 있어서, 유효 영역의 검출을 위한 심층 신경망 모델에 의해 처리된 유효 영역 영상을 활용하도록 하여, 병증 의심 영역의 검출을 위한 심층 신경망 모델의 학습 수렴 속도와 정확도를 더 증가시킬 수 있고, 유효 영역들에 대해서 병증 의심 영역의 검출을 위한 심층 신경망 모델을 적용하므로, 병증 의심 영역의 검출에 있어서 보다 빠른 처리 속도 및 정확도를 달성할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 캡슐 내시경 시스템의 예시도이다.
도 2 는 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 방법의 정보 흐름도이다.
도 3 은 도 2 의 유효 영역 결정 단계의 상세 흐름도이다.
도 4 는 본 발명의 일 측면에 따른 텍스트 기반 서술자 정보의 예시 구성을 나타낸다.
도 5 는 본 발명의 일 실시예에 따른 유효 영역 결정을 위한 심층 신경망 모델을 학습하는 방법의 흐름도이다.
도 6 은 본 발명의 일 실시예에 따른 병증 의심 영역의 검출을 위한 심층 신경망 모델을 학습하는 방법의 흐름도이다.
도 7 은 본 발명의 일 실시예에 따른 서술자를 기반으로 하는 캡슐 내시경 영상의 검색 방법의 흐름도이다.
도 8 은 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 장치의 구성을 나타내는 블록도이다.
도 9 는 본 발명의 일 실시예에 따른 캡슐 내시경 모니터링 디바이스의 구성을 나타내는 블록도이다.
도 10 은 심층 신경망 기반 객체 검출 알고리즘의 예시도이다.
도 2 는 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 방법의 정보 흐름도이다.
도 3 은 도 2 의 유효 영역 결정 단계의 상세 흐름도이다.
도 4 는 본 발명의 일 측면에 따른 텍스트 기반 서술자 정보의 예시 구성을 나타낸다.
도 5 는 본 발명의 일 실시예에 따른 유효 영역 결정을 위한 심층 신경망 모델을 학습하는 방법의 흐름도이다.
도 6 은 본 발명의 일 실시예에 따른 병증 의심 영역의 검출을 위한 심층 신경망 모델을 학습하는 방법의 흐름도이다.
도 7 은 본 발명의 일 실시예에 따른 서술자를 기반으로 하는 캡슐 내시경 영상의 검색 방법의 흐름도이다.
도 8 은 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 장치의 구성을 나타내는 블록도이다.
도 9 는 본 발명의 일 실시예에 따른 캡슐 내시경 모니터링 디바이스의 구성을 나타내는 블록도이다.
도 10 은 심층 신경망 기반 객체 검출 알고리즘의 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
캡슐 내시경 시스템
도 1 은 본 발명의 일 실시예에 따른 캡슐 내시경 시스템을 나타낸 도면이다. 도 1 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 시스템은 캡슐 내시경 장치 (120), 수신전극 (130a, 130b) 및 수신기 (150) 를 포함할 수 있다.
도 1 을 참조하면, 피검사자의 인체 내부 (100) 의 장기 (110), 예컨대 소장 또는 대장 등을 캡슐형 내시경 (120) 이 지나가면서 해당 장기의 정보를 획득한다. 캡슐형 내시경 (120) 이 획득할 수 있는 정보는 소정의 영상 정보, 음향 정보 및/또는 인체 내 매질의 분석 정보 등을 포함한다. 특히, 캡슐 내시경 (120) 은 카메라를 이용하여 인체 내부 (110) 의 장기 (110) 를 촬영하여 적어도 하나 이상의 프레임을 가지는 캡슐 내시경 영상을 생성할 수 있다.
캡슐 내시경 영상을 포함하는 획득한 정보는 캡슐 내시경 (120) 에서 전기적 신호로 변환되고, 피검사자의 인체에 부착된 수신 전극 (130a, 130b) 에서 감지될 수 있다. 수신 전극 (130a, 130b) 은 수신한 전기적 신호를 도선 (140a, 140b) 을 통해서 수신기 (150) 에 전달한다. 다만 전술한 수신 전극 (130a, 130b) 및 도선 (140a, 140b) 는 캡슐 내시경 (120) 에서 획득한 정보 전송의 일 예시일 뿐, 유선과 무선을 포함하여 다양한 방법으로 캡슐 내시경 (120) 에서 획득한 정보가 수신기 (150) 로 전달될 수 있다.
예를 들어, 획득한 정보는 캡슐형 내시경 (120) 에서 전기적 신호로 변환되어 무선 주파수 (Radio Frequency, RF) 또는 인체 통신 (Human Body Communication, HBC) 등을 이용하여 직접 수신기(150)에 전달될 수도 있다. 무선 주파수를 이용하는 방법은 인체에 무해한 주파수 영역을 이용하여 상기 변환된 전기적 신호를 수신기 (150) 로 전달한다. 인체 통신을 이용하는 방법은 인체 내부 (100) 의 장기 (110) 의 연동 운동에 따라 캡슐형 내시경 (120) 의 외면에 구비된 전극이 인체와 접촉하면 전류가 발생하고, 이러한 전류를 이용하여 상기 변환된 전기적 신호를 수신기 (150) 로 전달할 수 있다.
캡슐 내시경 (120) 으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 수신하는 수신기 (150) 는 트레이닝 세트를 기반으로 학습된, 합성곱 신경망 (Convolution Neural Network, CNN) 이나 R-CNN (Regional CNN) 과 같은 심층 신경망 기반의 모델을 이용하여, 의료 영상의 유효 영역을 결정하여, 병증 의심 영역을 검출하고 이를 기반으로 서술자 (description) 정보를 생성하여 저장할 수 있다.
본 발명의 일 실시예에 따르면, 수신기 (150) 는 캡슐 내시경 (120) 으로부터 단순히 적어도 하나의 프레임을 포함하는 의료 영상을 수신하고, 수신된 의료 영상을 다른 영상 처리 장치(160) (예컨대, 수신기 (150) 와 유선 또는 무선으로 연결된 다른 PC, 노트북, 스마트 폰 등의 장치, 이하, '모니터링 디바이스' 라고도 함) 로 전송하여 별도의 영상 처리 장치 (160) 에서 유효 영역 결정과 병증 의심 영역 검출, 서술자 정보 생성을 처리하도록 할 수도 있다. 영상 처리 장치 (160) 는 병증 의심 영역을 다른 영역과 구별하여 표시할 수 있으며, 장치 사용자의 텍스트 또는 이미지 쿼리를 수신하여 그에 상응하는 프레임을 검출하여 표시할 수 있다.
캡슐 내시경 영상의 서술자 생성 방법
도 2 는 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 방법의 정보 흐름도이다. 이하, 도 2 를 참조하여 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 방법을 보다 구체적으로 설명한다.
도 2 에 도시된 바와 같이, 먼저 캡슐 내시경 (120) 은 신체의 내부에 대한 영상을 촬영하고, 의료 영상을 생성한다. 캡슐 내시경 (120) 이 취득한 의료 영상은 적어도 하나 이상의 프레임을 포함하며, 전술한 바와 같이 캡슐 내시경 (120) 이 취득하는 영상은 계속하여 증가하는 추세이며, 이는 의사의 판독 시간 증가로 귀결된다.
수신기 (150) 는 캡슐 내시경 (120) 으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 수신한다 (단계 210). 여기서, 도 2 에는 수신기 (150) 로 예시적으로 도시되어 있으나, 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 방법은 서술자 생성 장치에 의해 수행될 수 있으며, 서술자 생성 장치는 도 2 의 수신기 (150) 로서 구현되거나, 수신기 (150) 와 모니터링 디바이스 (160) 가 통합된 형태로 구현되거나, 수신기 (150) 는 단지 캡슐 내시경 장치 (120) 로부터 의료 영상을 수신하여 모니터링 디바이스 (160) 로 전송하도록 구성되고, 모니터링 디바이스 (160) 가 의료 영상에 대한 서술자를 생성하는 서술자 생성 장치로서 구현될 수도 있다. 이하, 도 2 를 참조로 설명의 편의를 위해 서술자 생성 장치가 수신기 (150) 로서 구현된 경우로 예시하여 서술한다.
다시 도 2 를 참조하면, 수신기 (150) 는, 캡슐 내시경 (120) 으로부터 수신된 의료 영상의 적어도 하나의 프레임 각각에 대해서, 전처리 (Pre-Processing) 알고리즘을 수행할 수 있다 (단계220). 전처리 알고리즘은 유효 영역 결정이나 병증 의심 영역 검출과 같은 프로세스를 수행하기 이전에, 입력된 의료 영상의 각 프레임에 대해 수행되는 영상 처리 절차를 나타낼 수 있으며, 예를 들어 노이즈 제거 - 상기 노이즈 제거는 예를 들어 노이즈 제거 필터를 적용하는 것에 수행될 수 있음 - , 컬러 변환, 정규화, 컬러 변환, 크기 변환 중 적어도 하나 이상을 포함할 수 있다. 상기와 같은 전처리는 미리 결정된 필터나 알고리즘을 이용하여 프로세서에 의해 수행될 수 있다. 한편, 본 발명의 실시 양태에 따라 전처리 알고리즘 수행은 생략될 수도 있다.
일 측면에 따르면, 심층 신경망 모델을 이용하여, 캡슐 내시경 (120) 으로부터 수신된 적어도 하나의 프레임 각각에 대해서, 그 프레임이 장기 영역을 포함하는지 여부를 결정하고, 아울러 그 프레임에 포함된 장기의 종류를 결정할 수 있다. 캡슐 내시경에 따른 의료 영상을 판독 함에 있어서, 그 프레임이 어떤 장기를 포함하고 있는지 여부를 결정하여 서술자 정보에 포함시켜 저장하면, 의료 영상을 판독하는 의사는 검토하고자 하는 장기 영역을 입력하는 것에 의해 간편하게 해당 장기 영역을 포함하는 프레임만을 검토 대상으로 할 수 있어 판독 시간이 현저하게 단축될 수 있다. 아울러, 캡슐 내시경 (120) 에 의해 취득된 영상은 장기 영역을 전혀 포함하지 않는 프레임 역시 포함할 수 있으므로, 심층 신경망 모델을 이용하여 각 프레임이 장기 영역을 포함하는지 여부를 결정하여, 후술하는 유효 영역 결정이나 병증 의심 영역 검출 절차를 장기 영역을 포함한다고 결정된 프레임에 대해서만 수행하도록 할 수 있어, 병증 의심 영역 검출 및 서술자 생성 절차를 보다 신속하고 정확하게 수행할 수 있다.
장기 포함 여부 및 그 장기의 종류를 결정하기 위한 심층 신경망 모델은, 장기가 포함된 이미지를 입력으로 하고, 이에 대해 미리 결정된 장기 포함 여부 및 장기 종류에 대한 정보를 출력으로 하는 트레이닝 세트를 이용하여 심층 신경망을 학습시키는 것에 의해 생성될 수 있다. 트레이닝 세트를 이용한 심층 신경망의 학습은 테스트 세트를 통한 예측 결과가 미리 결정된 임계값 이상의 정확도를 가질 때까지 수행될 수 있다. 한편, 장기 포함 여부 및 그 장기의 종류를 결정하기 위한 심층 신경망 모델은, 합성곱 신경망 (Convolutional Neural Network, CNN) 모델을 기반으로 할 수 있다. CNN 모델은 영상 내에서 객체의 검출은 불가능하지만, 장기를 포함하는지 여부와 그 장기의 종류를 결정하는 것이 가능하므로, 객체 검출이 가능한 다른 심층 신경망을 사용하는 것에 비해 심층 신경망 모델의 생성을 위한 학습에 소요되는 시간을 단축시키고 정확도를 향상시킬 수 있으며, 학습된 심층 신경망 모델을 사용하여 장기 포함 여부와 장기 종류를 결정하는 절차에 있어서도 처리 시간을 단축하고 정확도를 향상시킬 수 있다.
다시 도 2 를 참조하면, 의료 영상의 각각의 프레임에 대해서 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정할 수 있다 (단계 230). 의료 영상의 각 프레임에는 장기 영역 뿐만 아니라, 무효 영역 (Invalid region) 또는 비관심 영역 (Non-Region of Interest) 이 포함될 수 있다. 이처럼, 무효 영역이나 비관심 영역을 구분하여 유효 영역을 결정함으로써, 병증이 발생할 수 있는 장기 이외의 부분에 대해서는 병증 영역 검출을 수행하지 않도록 할 수 있다. 따라서, 병증 의심 영역 검출을 위한 절차가 보다 빠르게 수행될 수 있으며, 더 높은 정확도를 가지도록 할 수 있다.
도 3 은 도 2 의 유효 영역 결정 단계의 상세 흐름도이다. 도 3 을 참조하여, 상기 유효 영역 결정 (단계 230) 을 보다 상세히 설명한다. 도 3 에 도시된 바와 같이, 먼저 캡슐 내시경 의료 영상의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 각 프레임을 장기 영역, GI 트랙 영역 및 무효 (Invalid) 영역으로 구분할 수 있다 (단계 241).
장기 영역은 의료 영상의 각 프레임 내부에서 신체의 장기가 촬영된 영역을 나타낸다. GI 트랙 영역은 식도 관, 위장 관, 소장 관 및 대장 관 영역 중 적어도 하나를 포함하는 영역을 나타내며, 무효 영역은 예를 들어 출혈된 피 (Bleeding), 음식물, 소화액, 버블, 물방울, 변 및 조명에 의해 하이라이트된 영역 중 적어도 하나를 포함하는 영역을 나타낸다. 장기 영역에는 병증 영역이 포함될 수 있으며, 병증 영역은 출혈 (Bleeding), 궤양 (Ulceration), 혈관 장애 (Vascular Lesion) 및 폴립 (polyp) 중 적어도 하나를 포함하는 영역을 나타낸다.
의료 영상의 프레임 내에서, 무효 영역 및 GI 트랙 영역은 유효 영역에서 제외되도록 설정할 수 있다. 예를 들어, 도 3 에 도시된 바와 같이, 의료 영상의 각 프레임 내에서 GI 트랙 영역 및 무효 영역로 결정된 영역은 픽셀 값을 더미 값으로 변경하는 것에 의해 유효 영역에서 제외되도록 하여, 유효 영역만 포함된 프레임들을 획득할 수 있다 (단계 243). 여기서, 더미 값은 0 또는 1, -1 과 같은 미리 결정된 임의의 값으로 설정될 수 있다.
한편, 장기 영역 내부에도 홀이 형성될 수 있으므로, 학습된 심층 신경망을 기반으로 장기 영역 내부에 형성된 홀을 검출 (단계 245) 하고, 검출된 홀을 그 홀 주변 텍스쳐로 채우는 것 (단계 247) 에 의해 최종 유효 영역을 획득할 수도 있다. 홀을 채우는 프로세스는 통상의 필링 알고리즘 중 어느 하나를 이용하는 것에 의해 구현될 수 있다.
여기서, 제 1 심층 신경망 모델은 캡슐 내시경 영상을 입력으로 하고, 상기 입력된 영상에 대한 미리 결정된 장기 영역, GI 트랙 영역 및 무효 (Invalid) 영역 중 어느 하나에 대한 영역 정보를 출력으로 하는 트레이닝 세트를 기반으로 딥러닝에 의해 학습된 심층 신경망 모델일 수 있다. 따라서, 제 1 심층 신경망 모델은 의료 영상의 각 프레임을 입력하면, 각 프레임을 장기 영역, GI 트랙 영역 및 무효 영역으로 구분하여 출력할 수 있다. 상기 제 1 심층 신경망 모델의 학습 절차에 대해서는 도 5 를 참조하여 후술한다.
다시 도 2 를 참조하면, 캡슐 내시경 (120) 으로부터 수신한 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출할 수 있다 (단계 250). 여기서, 제 2 심층 신경망 모델은, 캡슐 내시경 영상을 입력으로 하고, 상기 입력된 영상에 대한 미리 결정된 병증 정보를 출력으로 하는 트레이닝 세트를 기반으로 딥러닝에 의해 학습된 심층 신경망 모델일 수 있다. 심층 신경망 모델은 다중 객체 검출 (Multi Object Detection) 을 수행할 수 있는 심층 신경망 모델일 수 있다. 상기 입력되는 캡슐 내시경 영상은, 획득된 캡슐 내시경 영상에서 병증 영역으로 결정된 부분을 응용 프로그램에서 수동 또는 자동으로 잘라낸 부분일 수 있다. 따라서, 제2 심층 신경망 모델은 의료 영상의 각 프레임을 입력하면, 각 프레임에서 병증 의심 영역을 자동으로 검출할 수 있다. 예를 들어, 각 프레임에 포함된 병증 의심 영역과 훈련된 병증 영역과의 일치도를 기반으로, 각 병증 의심 영역의 신뢰도 값을 결정할 수도 있다. 검출된 병증 의심 영역에 대해서는, 병증 의심 영역의 중심 좌표, 그 중심 좌표를 기준으로 하는 영역 테두리 정보, 검출된 병증의 부류에 대한 정보가 함께 결정될 수 있다.
한편, 상기 제 2 심층 신경망 모델의 훈련에 있어서, 앞서 설명한 제 1 심층 신경망을 기반으로 획득된 유효 영역 영상을 입력으로 하고, 상기 입력된 유효 영역 영상에 대한 미리 결정된 병증 정보를 출력으로 하는 트레이닝 세트를 기반으로 학습하는 것이 가능하다. 따라서, 심층 신경망 모델의 학습에 있어서 수렴 속도가 단축될 수 있으며, 정확도 역시 향상될 수 있다. 또한, 학습된 모델을 적용하여 병증 의심 영역을 검출함에 있어서도, 앞서 설명한 제 1 심층 신경망을 기반으로 획득된 유효 영역 영상을 입력하는 것에 의해, 병증 의심 영역 검출 절차의 소요 시간을 단축시킬 수 있으며, 검출 정확도를 향상시킬 수 있다.
한편, 제 1 심층 신경망 모델 및 제 2 심층 신경망 모델은 전술한 바와 같이 다중 객체 검출을 수행할 수 있는 심층 신경망을 기반으로 할 수 있다. 예를 들어, 제 1 심층 신경망 및 제 2 심층 신경망 모델은 R-CNN (Regional CNN) 계열 신경망 모델을 기반으로 학습된 모델일 수 있으며, 상기 R-CNN 계열 신경망 모델은 Faster R-CNN, YOLO 9000, SSD 및 Mask R-CNN 중 어느 하나를 포함할 수 있으며, 영상 프레임 내에서 복수의 객체를 검출할 수 있는 임의의 인공 신경망 (Artifictial Neural Network, ANN) 모델이 사용될 수 있다. 제 1 심층 신경망 모델 및 제 2 심층 신경망 모델은 동일 심층 신경망을 기반으로 할 수도 있고, 서로 상이한 심층 신경망을 기반으로 구현될 수도 있다.
도 10 은 심층 신경망 기반 객체 검출 알고리즘의 예시도이다. 도 10 에 도시된 바와 같이, 다중 객체 검출을 수행하는 인공 신경망을 입력되는 영상 내에서 Cow, Grass 와 같은 다중의 객체를 검출할 수 있으며, 그 객체의 부류를 파악할 수 있다. 본 발명의 일 실시예에 따른 제 1 심층 신경망 모델은 캡슐 내시경 의료 영상의 각 프레임에 대해서 장기 영역, 무효 영역 및 GI 트랙 영역을 검출하여 분리할 수 있으며, 제 2 심층 신경망 모델은 유효한 장기 영역 내에서 적어도 하나 이상의 병증 의심 영역을 검출하고 해당 병증 부류를 파악할 수 있다.
다시 도 2 를 참조하면, 앞서 검출된 병증 의심 영역에 대해서 텍스트 기반의 서술자 정보를 생성하여 저장할 수 있다 (단계 260). 앞서 살핀 바와 같이, 검출된 병증 의심 영역에 대해서는 부가 정보가 함께 결정되므로, 이러한 부가 정보를 포함하는 텍스트 기반의 서술자 (Description) 정보의 생성 및 저장이 가능하다. 도 4 는 본 발명의 일 측면에 따른 텍스트 기반 서술자 정보의 예시 구성을 나타낸다. 도 4 에 도시된 바와 같이, 서술자 정보는 장기 종류 (410), 중심 좌표 (420), 영역 테두리 정보 (430), 병증 부류 정보 (440) 및 신뢰도 값 (450) 을 포함할 수 있다. 여기서, 장기 종류 (410) 는 전술한 CNN 모델을 기반으로 결정된 장기 종류에 대한 정보를 기반으로 취득될 수 있고, 나머지 정보는 제 1 심층 신경망 모델 또는 제 2 심층 신경망 모델을 기반으로 취득될 수 있다. 한편, 도 4 에는 도시되지 않았으나, 서술자 정보에는 해당 의료 영상과 연관된 환자 정보, 캡슐 정보, 동영상 정보, ID, 프레임 번호, 특징 값 중 적어도 하나 이상을 더 포함될 수 있으며, 따라서 향후 검색 시스템에서 용이하게 의료 영상을 검색하여 사용하도록 할 수 있다. 상기와 같은 서술자 정보는 저장부에 저장되어 데이터베이스를 구성할 수 있다.
다시 도 2 를 참조하면, 수신기 (150) 는 앞서 획득된 유효 영역을 포함하는 프레임 및 서술자 정보를 모니터링 디바이스 (160) 로 전송할 수 있다. 유효 영역을 포함하는 프레임만을 전송하는 것에 의해, 의료 영상의 모니터링 디바이스로의 업로딩 시간을 현저하게 단축시킬 수 있으며, 의사의 판독 시간 역시 감소시킬 수 있다. 또한 서술자 정보는 모니터링 디바이스 (160) 에서 의사가 원하는 의료 영상의 부분을 용이하게 검색하여 판독하도록 할 수 있다.
한편, 전술한 바와 같이 본 발명의 일 실시에에 따른 캡슐 내시경 영상의 서술자 생성 장치가 수신기 (150) 및 모니터링 디바이스 (160) 가 통합되어 구현되거나, 수신기 (150) 는 캡슐 내시경 영상의 수신 및 전송만을 수행하고 모니터링 디바이스 (160) 가 캡슐 내시경 영상의 서술자 생성 장치로서 구현되는 경우에는, 상기 전송 단계 (단계 270) 는 생략될 수 있다.
제 1 심층 신경망 모델 학습
도 5 는 본 발명의 일 실시예에 따른 유효 영역 결정을 위한 심층 신경망 모델을 학습하는 방법의 흐름도이다. 도 5 에 도시된 바와 같이, 유효 영역 결정을 위한 심층 신경망 모델 (예를 들어, 도 2 의 제 1 심층 신경망 모델) 을 학습하기 위한 방법은, 캡슐 내시경의 영상 및 미리 결정된 유효 영역에 대한 정보를 포함하는 트레이닝 세트와 테스트 세트를 생성 (단계 510) 하여, 트레이닝 세트를 기반으로 제 1 심층 신경망 모델을 딥러닝 기반으로 트레이닝 (학습) 시킨다 (단계 520).
전술한 바와 같이, 제 1 심층 신경망 모델의 학습을 위한 트레이닝 세트 및 테스트 세트는 각각 캡슐 내시경 영상을 입력으로 하고, 상기 입력된 영상에 대한 미리 결정된 장기 영역, GI 트랙 영역 및 무효 (Invalid) 영역 중 어느 하나에 대한 영역 정보를 출력으로 할 수 있다. 트레이닝 세트를 기반으로 딥러닝에 의해 학습하는 것에 의해, 제 1 심층 신경망 모델은 의료 영상의 각 프레임을 입력하면, 각 프레임을 장기 영역, GI 트랙 영역 및 무효 영역으로 구분하여 출력할 수 있도록 학습될 수 있다.
트레이닝 이후, 테스트 세트를 기반으로 테스트 세트의 입력에 대한 출력을 산출하는 것에 의해 예측을 수행하고 (단계 530), 예측된 결과의 정확도를 측정하며 (단계 540), 정확도가 미리 결정한 정확도의 임계값을 만족하는지 여부를 판단하여 (단계 550), 임계 값 이상일 경우에는 학습을 종료한다. 다만, 임계값을 만족하지 못하면, 추가적인 트레이닝 세트를 기반으로 학습 절차 (단계 520) 를 반복한다.
제 2 심층 신경망 모델 학습
도 6 은 본 발명의 일 실시예에 따른 병증 의심 영역의 검출을 위한 심층 신경망 모델을 학습하는 방법의 흐름도이다. 도 6 에 도시된 바와 같이, 병증 의심 영역의 검출을 위한 심층 신경망 모델 (예를 들어, 도 2 의 제 2 심층 신경망 모델) 을 학습하기 위한 방법은, 앞서 설명한 제 1 심층 신경망을 기반으로 획득된 유효 영역 영상을 입력으로 하고, 상기 입력된 유효 영역 영상에 대한 미리 결정된 병증 정보를 출력으로 하는 트레이닝 세트를 생성 (단계 605) 하여, 이를 기반으로 심층 신경망을 학습시키는 것이 가능하다. 따라서, 심층 신경망 모델의 학습에 있어서 수렴 속도가 단축될 수 있으며, 정확도 역시 향상될 수 있다. 한편, 캡슐 내시경 영상을 입력으로 하고, 상기 입력된 영상에 대한 미리 결정된 병증 정보를 출력으로 하는 테스트 세트를 생성할 수 있다 (단계 610). 여기서, 트레이닝 세트 및 테스트 세트의 입력되는 캡슐 내시경 영상 또는 유효 영역 영상은, 획득된 캡슐 내시경 영상에서 병증 영역으로 결정된 부분을 응용 프로그램에서 수동 또는 자동으로 잘라낸 부분일 수 있다. 전술한 트레이닝 세트를 기반으로 제 2 심층 신경망 모델을 딥러닝 기반으로 트레이닝 (학습) 시킨다 (단계 620).
전술한 바와 같이, 제 2 심층 신경망 모델의 학습을 위한 트레이닝 세트 및 테스트 세트는 각각 캡슐 내시경 영상 (또는 유효 영역 영상) 을 입력으로 하고, 이러한 영상에 대해 미리 결정된 병증 영역 정보를 출력으로 가지는 바, 트레이닝 세트를 기반으로 딥러닝에 의해 학습하는 것에 의해, 제 2 심층 신경망 모델은 의료 영상의 각 프레임을 입력하면, 각 프레임에서 복수의 객체 (병증 의심 영역) 을 검출하여 출력할 수 있게 된다.
트레이닝 이후, 테스트 세트를 기반으로 테스트 세트의 입력에 대한 출력을 산출하는 것에 의해 예측을 수행하고 (단계 630), 예측된 결과의 정확도를 측정하며 (단계 640), 정확도가 미리 결정한 정확도의 임계값을 만족하는지 여부를 판단하여 (단계 650), 임계 값 이상일 경우에는 학습을 종료한다. 다만, 임계값을 만족하지 못하면, 추가적인 트레이닝 세트를 기반으로 학습 절차 (단계 620) 를 반복한다.
캡슐 내시경 영상의 검색 방법
도 7 은 본 발명의 일 실시예에 따른 서술자를 기반으로 하는 캡슐 내시경 영상의 검색 방법의 흐름도이다. 이하 도 7 을 참조하여, 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 검색 방법을 설명한다.
도 7 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 검색 방법은, 먼저 유효 영역을 포함하는 프레임 및 서술자 정보를 취득할 수 있다 (단계 710). 여기서, 유효 영역을 포함하는 프레임 및 서술자 정보는, 전술한 본 발명의 실시예들에 따른 캡슐 내시경 영상의 서술자 생성 방법 중 어느 한 양태에 의해 생성된 것일 수 있다.
이후, 모니터링 디바이스 사용자 (예를 들어, 의사) 로부터 텍스트 쿼리 또는 이미지 쿼리를 입력받을 수 있다 (단계 720). 여기서, 텍스트 쿼리는 그 자체로서 캡슐 내시경 영상의 검색을 위한 쿼리로서 사용될 수 있으며, 이미지 쿼리는 해당 이미지 쿼리와 대응되는 캡슐 내시경 영상을 검색하기 위한 또 다른 신경망 모델을 통한 쿼리로서 사용될 수도 있다.
취득된 서술자 정보를 기반으로, 유효 영역을 포함하는 프레임 중 텍스트 쿼리 또는 이미지 쿼리에 대응하는 영역을 검색하여 (단계 730), 대응하는 프레임이 존재할 경우에는 텍스트 쿼리 또는 이미지 쿼리에 대응하는 프레임을 표시하고 (단계 740), 대응하는 프레임이 존재하지 않을 경우에는 다시 쿼리를 입력받을 수 있다 (단계 720). 대응되는 프레임을 표시함에 있어서, 프레임 내의 텍스트 쿼리 및 이미지 쿼리에 대응하는 영역을 다른 영역과 구별되게 표시할 수 있다. 구별하여 표시하기 위해서는, 예를 들어 입력된 병증 부류와 대응되는 병증 의심 영역의 외곽선은 상이한 색상의 굵은 선 처리하는 방법, 해당하는 병증 의심 영역을 하이라이트 처리하는 방법 중 어느 하나가 사용될 수도 있다.
한편, 모니터링 디바이스 사용자 (예를 들어, 의사) 로부터 정렬 기준을 더 입력 받을 수 있으며, 대응하는 프레임을 표시함에 있어서는, 대응하는 영역을 포함하는 프레임이 복수 개 존재하면 상기 입력받은 정렬 기준을 기반으로 표시 순서를 결정할 수 있다. 예를 들어, "궤양"의 병증 부류를 쿼리로서 입력받고 신뢰도를 정렬 기준으로서 입력받은 경우, 복수의 프레임들 중 "궤양"으로 의심되는 병증 의심 영역을 포함하는 프레임들을 검색하고, 해당 병증 의심 영역의 신뢰도 값이 높거나 낮은 순서대로 해당 프레임을 먼저 표시할 수 있다. 따라서, 의사는 원하는 병증 부류가 의심되는 영상을 높은 신뢰도 순서대로 검토할 수 있어 특정 상황에서 판독 시간을 현저하게 단축시킬 수 있다.
캡슐 내시경 영상의 서술자 생성 장치
도 8 은 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 장치의 구성을 나타내는 블록도이다. 도 8 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 장치 (150) 는 통신부 (151), 프로세서 (152) 및 저장부 (153) 를 포함할 수 있다.
통신부 (152) 는 캡슐 내시경 (120) 으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 수신할 수 있다. 프로세서 (152) 는, 캡슐 내시경 의료 영상에 대해서 유효 영역 결정과 병증 의심 영역 검출의 절차를 수행할 수 있다. 도 8 에 도시된 바와 같이, 프로세서 (152) 는 유효 영역 결정부 (155), 병증 의심 영역 검출부 (156) 및 서술자 정보 생성부 (157) 를 포함할 수 있으며, 유효 영역 결정부 (155) 가 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정할 수 있고, 병증 의심 영역 검출부 (156) 가 적어도 하나의 프레임 각각에 포함된 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하도록 구성될 수 있다. 또한, 서술자 정보 생성부 (157) 는 검출된 병증 의심 영역에 대한 텍스트 기반의 서술자 정보를 생성하여 저장부 (153) 에 저장할 수 있다. 다만, 상기의 유효 영역 결정부 (155), 병증 의심 영역 검출부 (156) 및 서술자 정보 생성부 (157) 는 별도의 하드웨어 모듈로서 구현되거나, 논리적인 소프트웨어 모듈로서 프로세서 내에서 구현될 수 있다. 즉, 프로세서 (152) 는 도 8 에 도시된 모듈 구조에 한정되지 않고, 전술한 본 발명의 일 실시예에 따른 캡슐 내시경 영상의 서술자 생성 방법을 구현하도록 구성될 수 있다.
도 8 에 도시된 바와 같이, 저장부 (153) 은 캡슐 내시경 영상 서술자 생성 장치와 별도로 구성되어 유선 또는 무선으로 통신하는 저장 매체일 수 있으며, 캡슐 내시경 영상 서술자 생성 장치에 포함된 저장 매체일 수도 있다.
통신부 (151) 는 유효 영역을 포함하는 프레임 및 서술자 정보를 모니터링 디바이스 (160) 로 전송할 수 있다.
캡슐 내시경 모니터링 디바이스
도 9 는 본 발명의 일 실시예에 따른 캡슐 내시경 모니터링 디바이스의 구성을 나타내는 블록도이다. 도 9 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 모니터링 디바이스 (160) 는 통신부 (161), 입력부 (162), 프로세서 (163) 및 표시부 (164) 를 포함할 수 있다.
통신부 (161) 는 유효 영역을 포함하는 프레임 및 서술자 정보를 수신할 수 있다. 여기서, 유효 영역을 포함하는 프레임 및 서술자 정보는, 전술한 본 발명의 일 실시예에 따른 캡슐 내시경 의료 영상의 서술자 생성 방법에 의해 생성된 것일 수 있다. 입력부 (162) 는 모니터링 디바이스 사용자 (예를 들어, 의사) 로부터 텍스트 쿼리 또는 이미지 쿼리를 입력을 수 있다. 또한, 프로세서 (163) 는 서술자 정보를 기반으로 유효 영역을 포함하는 프레임 중 텍스트 쿼리 또는 이미지 쿼리에 대응하는 영역을 포함하는 프레임을 검출하도록 구성될 수 있다. 표시부 (164) 는, 검출된 대응하는 영역을 포함하는 프레임을 표시하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 캡슐 내시경 모니터링 디바이스 (160) 의 구체적인 동작 양태는, 전술한 본 발명의 실시예에 따른 캡슐 내시경 영상의 검색 방법에 따를 수 있다.
상술한 본 발명에 따른 방법들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상, 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
구체적으로, 설명된 특징들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 또는 그들의 조합들 내에서 실행될 수 있다. 특징들은 예컨대, 프로그래밍 가능한 프로세서에 의한 실행을 위해, 기계 판독 가능한 저장 디바이스 내의 저장장치 내에서 구현되는 컴퓨터 프로그램 제품에서 실행될 수 있다. 그리고 특징들은 입력 데이터 상에서 동작하고 출력을 생성함으로써 설명된 실시예들의 함수들을 수행하기 위한 지시어들의 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 설명된 특징들은, 데이터 저장 시스템으로부터 데이터 및 지시어들을 수신하기 위해, 및 데이터 저장 시스템으로 데이터 및 지시어들을 전송하기 위해 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램들 내에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과에 대해 특정 동작을 수행하기 위해 컴퓨터 내에서 직접 또는 간접적으로 사용될 수 있는 지시어들의 집합을 포함한다. 컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하는 프로그래밍 언어 중 어느 형태로 쓰여지고, 모듈, 소자, 서브루틴(subroutine), 또는 다른 컴퓨터 환경에서 사용을 위해 적합한 다른 유닛으로서, 또는 독립 조작 가능한 프로그램으로서 포함하는 어느 형태로도 사용될 수 있다.
지시어들의 프로그램의 실행을 위한 적합한 프로세서들은, 예를 들어, 범용 및 특수 용도 마이크로프로세서들 둘 모두, 및 단독 프로세서 또는 다른 종류의 컴퓨터의 다중 프로세서들 중 하나를 포함한다. 또한 설명된 특징들을 구현하는 컴퓨터 프로그램 지시어들 및 데이터를 구현하기 적합한 저장 디바이스들은 예컨대, EPROM, EEPROM, 및 플래쉬 메모리 디바이스들과 같은 반도체 메모리 디바이스들, 내부 하드 디스크들 및 제거 가능한 디스크들과 같은 자기 디바이스들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 비휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 ASIC들(application-specific integrated circuits) 내에서 통합되거나 또는 ASIC들에 의해 추가되어질 수 있다.
이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐 아니라 다양한 형태의 조합이 제공될 수 있다.
전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
Claims (15)
- 캡슐 내시경으로부터 획득된 의료 영상에 대한 서술자 생성 방법으로서,
캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 수신하는 단계;
상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하는 단계; 및
상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하는 단계를 포함하는, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 1 항에 있어서,
상기 검출된 병증 의심 영역에 대한 텍스트 기반의 서술자 정보를 생성하여 저장하는 단계; 및
상기 유효 영역을 포함하는 프레임 및 상기 서술자 정보를 모니터링 디바이스로 전송하는 단계를 더 포함하는, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 1 항에 있어서,
상기 유효 영역을 결정하는 단계는,
상기 적어도 하나의 프레임 각각에 대해서, 상기 제 1 심층 신경망 모델을 기반으로 각 프레임을 장기 영역, GI 트랙 영역 및 무효 (Invalid) 영역으로 구분하는 단계; 및
상기 GI 트랙 영역 및 무효 영역의 픽셀 값을 더미 값으로 변경하는 단계를 포함하는, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 3 항에 있어서,
상기 GI 트랙 영역은 식도 관, 위장 관, 소장 관 및 대장 관 영역 중 적어도 하나를 포함하고,
상기 무효 영역은 출혈된 피 (Bleeding), 음식물, 소화액, 버블, 물방울, 변 및 조명에 의해 하이라이트된 영역 중 적어도 하나를 포함하는, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 3 항에 있어서,
상기 유효 영역을 결정하는 단계는,
상기 장기 영역 내부에 형성된 홀을 검출하고, 상기 홀을 상기 홀 주변 텍스쳐로 채우는 단계를 더 포함하는, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 1 항에 있어서,
상기 수신하는 단계 이후에, 합성곱 신경망 (Convolutional Neural Network, CNN) 모델을 기반으로 상기 적어도 하나의 프레임 각각에 대해서, 장기 영역을 포함하는지 여부 및 포함된 장기의 종류를 결정하는 단계를 더 포함하고,
상기 유효 영역을 결정하는 단계는 장기 영역을 포함한다고 결정된 프레임에 대해서만 수행되는, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 6 항에 있어서,
상기 제 1 심층 신경망 모델 및 상기 제 2 심층 신경망 모델은, R-CNN (Regional CNN) 계열 신경망 모델을 기반으로 학습된 모델인, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 6 항에 있어서,
상기 서술자 정보는,
상기 CNN 모델을 기반으로 결정된 장기의 종류와, 상기 제 2 심층 신경망 모델을 기반으로 검출된 병증 의심 영역의 중심 좌표, 영역 테두리 정보, 병증 부류 정보 및 신뢰도 값을 포함하는, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 1 항에 있어서,
상기 제 1 심층 신경망 모델은, 캡슐 내시경 영상을 입력으로 하고, 상기 입력된 영상에 대한 미리 결정된 장기 영역, GI 트랙 영역 및 무효 (Invalid) 영역 중 어느 하나에 대한 영역 정보를 출력으로 하는 트레이닝 세트를 기반으로 학습된 모델인, 캡슐 내시경 영상의 서술자 생성 방법.
- 제 1 항에 있어서,
상기 제 2 심층 신경망 모델은, 상기 제 1 심층 신경망을 기반으로 획득된 유효 영역 영상을 입력으로 하고, 상기 입력된 유효 영역 영상에 대한 미리 결정된 병증 정보를 출력으로 하는 트레이닝 세트를 기반으로 학습된 모델인, 캡슐 내시경 영상의 서술자 생성 방법.
- 서술자를 기반으로 하는 캡슐 내시경 영상의 검색 방법으로서,
유효 영역을 포함하는 프레임 및 서술자 정보 - 상기 유효 영역을 포함하는 프레임 및 서술자 정보는, 캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 취득하여, 상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하고, 상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하여, 상기 검출된 병증 의심 영역에 대한 텍스트 기반의 서술자 정보를 생성하여 저장하는 것에 의해 생성 됨 - 를 수신하는 단계;
모니터링 디바이스 사용자로부터 텍스트 쿼리 또는 이미지 쿼리를 입력받는 단계; 및
상기 서술자 정보를 기반으로 상기 유효 영역을 포함하는 프레임 중 상기 텍스트 쿼리 또는 이미지 쿼리에 대응하는 영역을 포함하는 프레임을 표시하는 단계를 포함하는, 서술자 기반 캡슐 내시경 영상 검색 방법.
- 제 11 항에 있어서,
상기 표시하는 단계는 상기 텍스트 쿼리 및 이미지 쿼리에 대응하는 영역을 다른 영역과 구별되게 표시하는, 서술자 기반 캡슐 내시경 영상 검색 방법.
- 제 11 항에 있어서,
상기 입력받는 단계는, 모니터링 디바이스 사용자로부터 정렬 기준을 더 입력 받고,
상기 표시하는 단계는, 상기 대응하는 영역을 포함하는 프레임이 복수 개 존재하면 상기 정렬 기준을 기반으로 표시 순서를 결정하는, 서술자 기반 캡슐 내시경 영상 검색 방법.
- 캡슐 내시경으로부터 획득된 의료 영상에 대한 서술자 생성 장치로서, 상기 서술자 생성 장치는 프로세서 및 통신부를 포함하고,
상기 통신부는 캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 수신하고,
상기 프로세서는,
상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하고; 그리고
상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하도록 구성되는, 캡슐 내시경 영상의 서술자 생성 장치.
- 서술자를 기반으로 하는 캡슐 내시경 영상의 검색을 가능하게 하는 캡슐 내시경 모니터링 디바이스로서,
유효 영역을 포함하는 프레임 및 서술자 정보 - 상기 유효 영역을 포함하는 프레임 및 서술자 정보는, 캡슐 내시경으로부터 적어도 하나의 프레임을 포함하는 의료 영상을 취득하여, 상기 적어도 하나의 프레임 각각에 대해서, 제 1 심층 신경망 모델을 기반으로 유효 영역을 결정하고, 상기 적어도 하나의 프레임 각각에 포함된 상기 유효 영역 중에서, 제 2 심층 신경망 모델을 기반으로 병증 의심 영역을 검출하여, 상기 검출된 병증 의심 영역에 대한 텍스트 기반의 서술자 정보를 생성하여 저장하는 것에 의해 생성 됨 - 를 수신하는 통신부;
모니터링 디바이스 사용자로부터 텍스트 쿼리 또는 이미지 쿼리를 입력받는 입력부; 및
상기 서술자 정보를 기반으로 상기 유효 영역을 포함하는 프레임 중 상기 텍스트 쿼리 또는 이미지 쿼리에 대응하는 영역을 포함하는 프레임을 검출하는 프로세서; 및
상기 검출된 대응하는 영역을 포함하는 프레임을 표시하는 표시부를 포함하하는, 캡슐 내시경 모니터링 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180008633A KR20190090150A (ko) | 2018-01-24 | 2018-01-24 | 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180008633A KR20190090150A (ko) | 2018-01-24 | 2018-01-24 | 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190090150A true KR20190090150A (ko) | 2019-08-01 |
Family
ID=67615797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180008633A KR20190090150A (ko) | 2018-01-24 | 2018-01-24 | 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190090150A (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862095A (zh) * | 2020-08-25 | 2020-10-30 | 首都医科大学附属北京朝阳医院 | 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 |
| KR20210063522A (ko) * | 2019-11-22 | 2021-06-02 | 가천대학교 산학협력단 | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 |
| WO2021261727A1 (ko) * | 2020-06-25 | 2021-12-30 | 가톨릭대학교 산학협력단 | 캡슐 내시경 영상 판독 시스템 및 방법 |
| WO2022114357A1 (ko) * | 2020-11-25 | 2022-06-02 | 주식회사 아이도트 | 영상 병변 진단 시스템 |
| WO2022119364A1 (ko) * | 2020-12-03 | 2022-06-09 | 주식회사 서르 | 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램 |
| WO2023090531A1 (ko) * | 2021-11-16 | 2023-05-25 | 주식회사 아이도트 | 캡슐 내시경 영상 판독 시스템 |
| WO2023229100A1 (ko) * | 2022-05-24 | 2023-11-30 | 주식회사 아이도트 | 내시경 검사 판독 보조 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160070353A (ko) | 2014-12-10 | 2016-06-20 | 주식회사 인트로메딕 | 캡슐내시경의 영상처리장치 |
-
2018
- 2018-01-24 KR KR1020180008633A patent/KR20190090150A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160070353A (ko) | 2014-12-10 | 2016-06-20 | 주식회사 인트로메딕 | 캡슐내시경의 영상처리장치 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210063522A (ko) * | 2019-11-22 | 2021-06-02 | 가천대학교 산학협력단 | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 |
| WO2021261727A1 (ko) * | 2020-06-25 | 2021-12-30 | 가톨릭대학교 산학협력단 | 캡슐 내시경 영상 판독 시스템 및 방법 |
| CN111862095A (zh) * | 2020-08-25 | 2020-10-30 | 首都医科大学附属北京朝阳医院 | 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 |
| CN111862095B (zh) * | 2020-08-25 | 2024-03-08 | 首都医科大学附属北京朝阳医院 | 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 |
| WO2022114357A1 (ko) * | 2020-11-25 | 2022-06-02 | 주식회사 아이도트 | 영상 병변 진단 시스템 |
| WO2022119364A1 (ko) * | 2020-12-03 | 2022-06-09 | 주식회사 서르 | 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램 |
| WO2023090531A1 (ko) * | 2021-11-16 | 2023-05-25 | 주식회사 아이도트 | 캡슐 내시경 영상 판독 시스템 |
| WO2023229100A1 (ko) * | 2022-05-24 | 2023-11-30 | 주식회사 아이도트 | 내시경 검사 판독 보조 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190090150A (ko) | 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 | |
| JP7335552B2 (ja) | 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム | |
| Li et al. | Colonoscopy polyp detection and classification: Dataset creation and comparative evaluations | |
| Du et al. | Review on the applications of deep learning in the analysis of gastrointestinal endoscopy images | |
| Yogapriya et al. | Gastrointestinal tract disease classification from wireless endoscopy images using pretrained deep learning model | |
| US9445713B2 (en) | Apparatuses and methods for mobile imaging and analysis | |
| US8423123B2 (en) | System and method for in-vivo feature detection | |
| US10957043B2 (en) | AI systems for detecting and sizing lesions | |
| WO2020103676A1 (zh) | 图像识别方法、装置、系统及存储介质 | |
| US20180263568A1 (en) | Systems and Methods for Clinical Image Classification | |
| CN113544743B (zh) | 内窥镜用处理器、程序、信息处理方法和信息处理装置 | |
| US20220172828A1 (en) | Endoscopic image display method, apparatus, computer device, and storage medium | |
| US7577283B2 (en) | System and method for detecting content in-vivo | |
| US20070078300A1 (en) | System and method for detecting content in-vivo | |
| US20220058821A1 (en) | Medical image processing method, apparatus, and device, medium, and endoscope | |
| EP1997074A2 (en) | Device, system and method for automatic detection of contractile activity in an image frame | |
| JPWO2019130924A1 (ja) | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム | |
| CN109460717A (zh) | 消化道共聚焦激光显微内镜病变图像识别方法及装置 | |
| KR102261408B1 (ko) | 의료영상을 이용한 질환정보 제공 방법 | |
| US11935239B2 (en) | Control method, apparatus and program for system for determining lesion obtained via real-time image | |
| CN112967276A (zh) | 对象检测方法、装置、内窥镜系统、电子设备及存储介质 | |
| US20240016366A1 (en) | Image diagnosis system for lesion | |
| US20230298306A1 (en) | Systems and methods for comparing images of event indicators | |
| Kanakatte et al. | Precise Bleeding and Red lesions localization from Capsule Endoscopy using Compact U-Net | |
| CN112288683A (zh) | 基于多模态融合的肺结核病判定装置和方法 |