KR102625668B1 - 캡슐 내시경 장치 및 병변 진단 지원 방법 - Google Patents
캡슐 내시경 장치 및 병변 진단 지원 방법 Download PDFInfo
- Publication number
- KR102625668B1 KR102625668B1 KR1020210089323A KR20210089323A KR102625668B1 KR 102625668 B1 KR102625668 B1 KR 102625668B1 KR 1020210089323 A KR1020210089323 A KR 1020210089323A KR 20210089323 A KR20210089323 A KR 20210089323A KR 102625668 B1 KR102625668 B1 KR 102625668B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- capsule endoscope
- endoscope device
- lesion
- capsule
- Prior art date
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 329
- 230000003902 lesion Effects 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 121
- 238000001839 endoscopy Methods 0.000 claims abstract description 111
- 238000003745 diagnosis Methods 0.000 claims abstract description 100
- 230000006854 communication Effects 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 74
- 238000004891 communication Methods 0.000 claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 29
- 210000000746 body region Anatomy 0.000 claims description 26
- 238000007781 pre-processing Methods 0.000 claims description 17
- 239000000853 adhesive Substances 0.000 claims description 8
- 230000001070 adhesive effect Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000010521 absorption reaction Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000002336 sorption--desorption measurement Methods 0.000 claims description 4
- 238000004148 unit process Methods 0.000 claims description 2
- 210000000813 small intestine Anatomy 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 210000002784 stomach Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 210000002429 large intestine Anatomy 0.000 description 11
- 238000001179 sorption measurement Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000002405 diagnostic procedure Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 238000003795 desorption Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000007788 liquid Substances 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 210000003238 esophagus Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002572 peristaltic effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000002249 digestive system Anatomy 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000008855 peristalsis Effects 0.000 description 2
- 208000021795 small intestine disease Diseases 0.000 description 2
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 241000167880 Hirundinidae Species 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000007655 standard test method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00097—Sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0625—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for multiple fixed illumination angles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Abstract
본 발명은 병변 진단 지원을 위한 캡슐 내시경 장치 및 이를 이용한 병변 진단 지원 방법을 제공할 수 있다. 일 실시 예에 따르면, 병변 진단 지원을 위한 캡슐 내시경 장치는 하나 이상의 체내 이미지를 촬영하는 촬영부, 상기 이미지 내에서 병변 의심 영역을 검출하고, 소정의 임계치 이상의 병변 의심 영역이 검출되는 경우 정밀 진단 절차를 수행하는 제어부, 상기 정밀 진단 절차에서, 상기 이미지를 가공 처리하는 영상 처리부 및 무선 통신 방식으로 상기 가공 처리된 이미지를 다른 캡슐 내시경 장치 또는 단말에 송수신하는 통신모듈을 포함할 수 있다.
Description
본 발명은 캡슐 내시경 장치를 이용해서 병변 진단을 지원하는 것에 관한 발명이다.
종래의 캡슐 내시경은 세대별로 1세대, 2세대, 3세대로 구분할 수 있다. 1세대는 현재 상용화된 방식으로 캡슐이 장의 연동 운동으로 움직이며, 소장 질환 검사 정확도는 60~70% 정도이다. 그러나 연동 운동에 의존하기 때문에 이를 보완하기 위한 2세대 캡슐 내시경이 등장하였다. 2세대 캡슐 내시경은 이동 한계점을 보완하고자 자기장을 이용하였고, 신체 외부에서 자기장으로 캡슐을 이동시키며 검사를 진행한다. 1세대 및 2세대 캡슐내시경이 검사에 그쳤다면, 더욱 진화된 3세대 캡슐 내시경은 진단과 동시에 치료가 가능한 캡슐 내시경으로 진화하고자 하고 있다.
그러나 종래의 캡슐 내시경은 일반적으로 한 개의 캡슐만 사용하기 때문에 한 캡슐 내에 촬영 및 치료 등 모든 기능이 포함되어야 했다. 캡슐 내시경은 신체 내부로 들어가기 때문에 최대 크기에 한계가 존재하여 전력 소모로 인한 배터리 문제나 다기능을 접목시키기 어려운 한계점이 존재한다. 또한 신체 내부에서 캡슐 내시경 자세 및 위치 제어가 어려워서 정확한 영상 촬영이 어렵다.
본 기술은 다수의 캡슐 내시경을 사용하여 종래 캡슐 내시경 한계점의 원인을 근본적으로 해결하고자 한다. 다수의 캡슐 내시경을 활용해 역할을 분산시켜 각 역할을 수행함으로써 부담을 감소시키고, 촬영 사각지대를 줄일 수 있는 장점이 있으며, 자세 및 위치 제어 기능을 제공한다.
본 발명은 병변 진단 지원을 위한 캡슐 내시경 장치 및 이를 이용한 병변 진단 지원 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시 예에 따르면, 병변 진단 지원을 위한 캡슐 내시경 장치는 하나 이상의 체내 이미지를 촬영하는 촬영부, 이미지 내에서 병변 의심 영역을 검출하고, 소정의 임계치 이상의 병변 의심 영역이 검출되는 경우 정밀 진단 절차를 수행하는 제어부, 정밀 진단 절차에서, 이미지를 가공 처리하는 영상 처리부, 및 무선 통신 방식으로 가공 처리된 이미지를 다른 캡슐 내시경 장치 또는 단말에 송수신하는 통신모듈을 포함할 수 있다.
여기서, 영상 처리부는, 정밀 진단 절차에서, 촬영부에서 촬영한 이미지에 대해 전처리를 수행하고, 제어부는 체내 구역별로 병변 의심 영역을 분석하여 병변 해당 여부를 진단하는 진단부를 더 포함할 수 있다.
또한, 제어부는 전처리 결과 이미지의 밝기 조절이 필요하다고 판단되면 촬영부의 조명을 조절하는 것을 더 포함할 수 있다.
통신모듈은 정밀 진단 절차에서 다른 캡슐 장치로부터 가공 처리된 하나 이상의 제1 이미지를 수신하고, 영상 처리부는 하나 이상의 제1 이미지를 병변 의심 영역에 관한 정보를 포함하는 제2 이미지로 정합하는 가공을 처리할 수 있다.
일 예로, 영상 처리부는 하나 이상의 제1 이미지를 다운 샘플링하여 특징점을 추출하고, 추출된 특징점을 기본 이미지의 특징과 매칭하는 방법으로 제2 이미지를 정합할 수 있다.
또한, 지자계 센서, 가속도 센서 및 타이머 센서 중 하나 이상을 포함할 수 있다. 여기서, 제어부는, 센서부의 센싱 결과를 기초로 체내 구역별 위치 정보를 계산하는 것을 더 포함할 수 있다.
다른 예로, 제어부는 정밀 진단 절차에서, 체내 구역별 위치 정보를 기초로 기 설정된 리더 모드 또는 팔로우 모드로 전환하고, 통신모듈은, 리더 모드인 경우 다른 캡슐 내시경 장치로부터 1차 가공된 제1이미지를 수신하고, 팔로우 모드인 경우 다른 캡슐 내시경 장치에 1차 가공된 제1 이미지를 송신할 수 있다.
여기서, 촬영부는 서로 다른 위치에 배치되어 다시점 이미지를 촬영하는 멀티 카메라 모듈을 포함하고, 영상 처리부는 다시점을 가지는 복수개의 이미지로부터 옴니뷰(Omni-view) 이미지를 생성할 수 있다.
또한, 체내 내벽으로부터 수분을 흡착하거나 저장된 수분을 배출하는 방식으로 체내 내벽에 흡탈착될 수 있는 흡탈착부를 더 포함할 수 있다.
다른 실시 예에 따르면, 캡슐 내시경 장치를 이용한 병변 진단 지원 방법은 하나 이상의 체내 이미지를 촬영하는 단계, 이미지 내에서 병변 의심 영역을 검출하고, 소정의 임계치 이상의 병변 의심 영역이 검출되는 경우 정밀 진단 절차를 수행하는 단계, 정밀 진단 절차에서, 이미지를 가공 처리하는 단계 및 무선 통신 방식으로 가공 처리된 이미지를 다른 캡슐 내시경 장치 또는 단말에 송수신하는 단계를 포함할 수 있다.
여기서, 이미지를 가공 처리하는 단계는, 촬영한 이미지에 대해 전처리를 수행하는 단계이고, 체내 구역별로 병변 의심 영역을 분석하여 병변 해당 여부를 진단하는 단계를 더 포함할 수 있다.
또한, 전처리 결과 이미지의 밝기 조절이 필요하다고 판단되면 촬영부의 조명을 조절하는 단계를 더 포함할 수 있다.
다른 예로, 정밀 진단 절차에서, 체내 구역별 위치 정보를 기초로 기 설정된 리더 모드 또는 팔로우 모드로 전환하는 단계, 리더 모드인 경우 다른 캡슐 내시경 장치로부터 1차 가공된 제1 이미지를 수신하는 단계, 및 수신한 하나 이상의 제1 이미지를 병변 의심 영역에 관한 정보를 포함하는 제2 이미지로 정합하는 단계를 더 포함할 수 있다.
여기서, 제2 이미지로 정합하는 단계는, 제1 이미지를 다운 샘플링하여 특징점을 추출하고, 추출된 특징점을 기본 이미지의 특징과 매칭하는 방법으로 제2 이미지를 정합하는 단계인 것을 특징으로 할 수 있다.
전술한 본 개시의 과제 해결 수단에 의하면, 본 발명은 다수의 캡슐 내시경 장치간 협업 프로세스를 통해 진단 지원 방법의 자동화를 구현할 수 있다. 예를 들어, 종래 캡슐 내시경 장치의 경우 여전히 의사의 실시간 제어를 기반으로 진단이 이루어지는 방식이지만, 본 발명은 캡슐 내시경 장치 각각에서 촬영한 영상을 하나의 영상으로 정합함으로써 병변 진단 결과에 대한 정확도를 높이고, 내시경 진단 전 과정을 통해 별도의 의료진 없이도 진단 결과를 제공할 수 있어 진단 편의성을 극대화하였다.
또한, 본 발명은 인공지능 기반으로 사전에 학습된 병변 데이터 진단 기술을 적용하였고 캡슐 내시경 장치가 자체적으로 체내 구역을 판단이 가능함에 따라 캡슐 내시경 장치의 지능화에 큰 기여를 할 수 있다. 예를 들어, 캡슐 내시경 장치 여러 개가 서로 협업하여 하나의 결과물을 만들어내는 과정은 병변 진단에 대한 정확도를 크게 개선할 수 있다.
또한, 본 발명은 캡슐 내시경 장치의 진단 및 검사에 있어 효율성을 극대화할수 있다. 예를 들어, 본 발명에 따른 캡슐 내시경 장치는 다른 종래 캡슐 내시경 장치가 실시간으로 데이터를 체외에 전송함으로써 소모하는 전력 사용량을 줄일 수 있다. 본 발명의 일 실시 예에 따르면 다수의 캡슐 내시경 장치간 최소한의 협업 통신을 기반으로 정밀 진단 지원 절차를 수행하고, 이후 가공 처리된 정밀 진단 결과를 사용자 단말 또는 의료기관에 전송함으로써 진단 단계별 전력 소모를 최소화할 수 있다. 또한, 다른 실시 예로써 본 발명은 병변이 검출되지 않는 이미지는 바로 삭제하거나, 병변 의심 영역이 검출되더라도 이를 리더 모드의 캡슐 내시경 장치가 데이터를 취합, 가공함으로써 데이터 관리에 있어 역할 분담 및 효율화를 구현하였다.
본 발명의 실시 예들에 따르면, 본 발명은 1차 이미지 가공에서 조명 제어를 통해 밝기 조절된 이미지를 획득할 수 있고, 2차 이미지 가공에서 다수의 캡슐이 촬영한 데이터를 공유함으로써 다이버시티(diversity) 효과를 통한 화질 개선을 제공한다. 이는 종래 캡슐 내시경 장치에 비해 현저히 개선된 이미지 가공 처리를 수행할 수 있으며, 이는 병변 진단의 정확도를 크게 향상시킬 수 있다.
본 발명은 다수의 캡슐 내시경 장치의 협업 프로세스에 초점을 맞춤으로써, 종래 캡슐 내시경 장치가 체내 통신에 초점을 맞춘 연구개발을 수행하던 것과 차별화된다. 본 발명은 종래 캡슐 내시경 장치가 체외로 실시간 통신에 집중하던 것과 달리, 내시경 촬영의 촬영부의 카메라 모듈을 달리 구성하여 옴니뷰(Omni-view) 형태의 영상을 획득하거나, 조명을 제어하는 등으로 영상을 획득하는 시점에 이미 근본적인 방법으로 고품질 영상을 획득하기 위한 실시 예를 제안하였다.
사회적 측면에서, 기존 내시경 장치를 이용한 진단 지원 기술은 근원적으로 의료진(사람)에 의해 전 과정이 제어되는 만큼 사용자 편의성 측면에서 문제가 있었다. 그러나 본 발명은 전 과정이 다수의 캡슐 내시경 장치에 의해 자동적으로 수행될 수 있고, 진단 결과는 사용자 단말 또는 의료기관에 직접적으로 전달됨으로써 사용자가 내시경 검사를 수행하는 동안 병원에서 검사 또는 대기를 하고 있을 필요가 없어, 내시경 장치를 통한 병변 진단 기술의 상용화에 크게 기여할 수 있다.
도 1은 일 실시 예에 따른 캡슐 내시경 장치를 이용한 병변 진단 지원 시스템에 관한 일 예이다.
도 2는 일 실시 예에 따른 캡슐 내시경 장치를 이용한 병변 진단 방법에 관한 흐름도이다.
도 3은 일 실시 예에 따른 캡슐 내시경 장치가 정밀 진단 절차를 수행하는 방법에 관한 일 예이다.
도 4a 및 도 4b는 다른 실시예에 따른 캡슐 내시경 장치가 정밀 진단 절차를 수행하는 방법에 관한 일 예이다.
도 5는 일 실시 예에 따른 캡슐 내시경 장치의 구성 요소에 관해 설명하는 도면이다.
도 6a 내지 도 6d는 일 실시 예에 따른 캡슐 내시경 장치의 카메라 모듈에 관한 일 예이다.
도 7은 다른 실시 예에 따른 캡슐 내시경 장치가 360도 카메라를 사용하거나 복수 개의 카메라를 이용해 복수 개의 영상을 정합하여 얻은 옴니뷰(Omni-view) 영상을 설명하는 일 예이다.
도 8a 내지 도 8c는 일 실시 예에 따른 복수의 캡슐 내시경 장치 간 협업 프로세스에 관해 설명하는 일 예이다.
도 9a 및 도 9b는 일 실시 예에 따른 캡슐 내시경 장치의 이동에 관해 설명하는 개념도이다.
도 10a 내지 도 10d는 다른 실시 예에 따른 캡슐 내시경 장치가 정밀 진단을 수행하기 위해 내벽으로 이동, 고정하는 방법을 설명하는 일 예이다.
도 11은 일 실시 예에 따른 캡슐 내시경 장치가 병변 진단을 지원하는 방법에 관해 설명하는 일 예이다.
도 12a 내지 도 12c는 캡슐 내시경 장치가 다른 캡슐 내시경 장치 또는 단말과 무선 통신을 수행하는 방법에 관한 일 예이다.
도 13은 일 실시 예에 따른 캡슐 내시경 장치가 데이터를 메모리에 저장하는 방법에 관해 설명하는 일 예이다.
도 14a 및 도 14b는 다른 실시 예에 따른 데이터 통신에서 암호화 기술을 적용하는 것을 설명하는 개념도이다.
도 15는 다른 실시 예에 따른 신체의 바디맵을 작성하는 것에 대해 설명하는 일 예이다.
도 16은 다른 실시 예에 따른 모바일 플랫폼과 연동을 통해 사용자에 진단 결과를 제공하는 것을 설명하는 개념도이다.
도 2는 일 실시 예에 따른 캡슐 내시경 장치를 이용한 병변 진단 방법에 관한 흐름도이다.
도 3은 일 실시 예에 따른 캡슐 내시경 장치가 정밀 진단 절차를 수행하는 방법에 관한 일 예이다.
도 4a 및 도 4b는 다른 실시예에 따른 캡슐 내시경 장치가 정밀 진단 절차를 수행하는 방법에 관한 일 예이다.
도 5는 일 실시 예에 따른 캡슐 내시경 장치의 구성 요소에 관해 설명하는 도면이다.
도 6a 내지 도 6d는 일 실시 예에 따른 캡슐 내시경 장치의 카메라 모듈에 관한 일 예이다.
도 7은 다른 실시 예에 따른 캡슐 내시경 장치가 360도 카메라를 사용하거나 복수 개의 카메라를 이용해 복수 개의 영상을 정합하여 얻은 옴니뷰(Omni-view) 영상을 설명하는 일 예이다.
도 8a 내지 도 8c는 일 실시 예에 따른 복수의 캡슐 내시경 장치 간 협업 프로세스에 관해 설명하는 일 예이다.
도 9a 및 도 9b는 일 실시 예에 따른 캡슐 내시경 장치의 이동에 관해 설명하는 개념도이다.
도 10a 내지 도 10d는 다른 실시 예에 따른 캡슐 내시경 장치가 정밀 진단을 수행하기 위해 내벽으로 이동, 고정하는 방법을 설명하는 일 예이다.
도 11은 일 실시 예에 따른 캡슐 내시경 장치가 병변 진단을 지원하는 방법에 관해 설명하는 일 예이다.
도 12a 내지 도 12c는 캡슐 내시경 장치가 다른 캡슐 내시경 장치 또는 단말과 무선 통신을 수행하는 방법에 관한 일 예이다.
도 13은 일 실시 예에 따른 캡슐 내시경 장치가 데이터를 메모리에 저장하는 방법에 관해 설명하는 일 예이다.
도 14a 및 도 14b는 다른 실시 예에 따른 데이터 통신에서 암호화 기술을 적용하는 것을 설명하는 개념도이다.
도 15는 다른 실시 예에 따른 신체의 바디맵을 작성하는 것에 대해 설명하는 일 예이다.
도 16은 다른 실시 예에 따른 모바일 플랫폼과 연동을 통해 사용자에 진단 결과를 제공하는 것을 설명하는 개념도이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과 학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문 구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 개시에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성 요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명될 수 있다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재된 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위 또는 당해 기술 분야에 속한 통상의 기술자가 자명하 게 이해할 수 있는 범위 내에서 구체적인 설명은 생략될 수 있다.
이하, 본 개시의 실시예에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 1은 일 실시 예에 따른 캡슐 내시경 장치를 이용한 병변 진단 지원 시스템에 관한 일 예이다. 도 1을 참조하면, 본 발명의 캡슐 내시경 장치를 이용한 병변 진단 시스템은 크게 검사 시작 후 촬영 및 진단 단계, 이미지 처리 단계, 데이터 송신 단계, 결과 분석 및 전송 단계로 나뉠 수 있다.
캡슐 내시경은 카메라가 장착되고, 사용자가 삼킬 수 있는 정도의 소형 기기로서 제작될 수 있다. 피검사자가 입을 통해 캡슐 내시경을 삼키면서 검사가 시작되며, 캡슐 내시경은 피검사자(사용자)의 신체내 각 구역을 이동하며 영상을 촬영한다. 일 예로 캡슐 내시경은 약 1초당 0.5~6개 프레임 정도의 연속되는 이미지를 촬영할 수 있다. 여기서, 초당 촬영 프레임 수는 기술의 발전에 따라 가변될 수 있다. 소정의 길이의 영상에는 다수의 이미지 프레임이 있을 수 있으며, 이하 각 영상의 단위인 이미지 프레임별로 세부 동작을 설명하도록 하겠다.
종래 일반적인 캡슐 내시경의 경우 장의 연동 운동에 의존하는 수동적인 움직임을 가졌으며, 이를 보완하여 신체 외부에서 의료진이 자기장을 이용하여 캡슐을 이동시키는 방법 등으로 검사를 진행해 왔다.
그러나 본 발명은 종래 발명에 비해 촬영 및 진단 단계와 이미지 처리 단계 등에서 기존 기술에 비해 개선된 방법으로 캡슐 내시경 장치를 활용할 수 있으며, 각 단계별 자세한 동작에 관하여는 후술한다.
캡슐 내시경이 체외로 배출된 이후에는, 관련 데이터 송신 단계가 시작되고, 캡슐 내시경이 가공 처리한 이미지 등은 사용자 단말을 통하여 의료기관 또는 의료 진단을 지원하는 서비스 플랫폼에 전송될 수 있다. 그리고 의료기관 또는 의료 진단 서비스를 제공하는 플랫폼은 캡슐 내시경 장치의 진단 결과를 분석하고 이를 사용자에게 전송할 수 있다.
이때, 캡슐 내시경에 남아있는 원본 데이터는 개인 정보 보호를 위해 바로 파기되는 형태로 프로세스가 구현될 수 있다. 다만, 본 발명의 실시 예가 여기에 기재된 내용으로 한정적으로 기술되는 것은 아니며, 필요에 따라 데이터 보관 및 폐기에 관하여는 다른 방법으로 구현될 수도 있다.
여기서, 캡슐 내시경은 피검사자(사용자)의 신체에 투입된 이후부터 배출되기까지 피검사자 장기 내부의 이미지를 촬영할 수 있으며, 선행적으로 학습된 진단 모델에 기초하여 병변 여부를 진단 또는 진단 지원할 수 있다. 이는 향후 의료기관 또는 의료 진단 서비스를 제공하는 플랫폼 등에서 진단 모델을 학습시키는 데이터로 활용될 수 있으며, 사용자(피검사자)에게 보다 편리한 서비스를 제공하기 위해 모바일과 연동 또는 바디맵과 같은 실시예 또한 구현될 수 있다. 이에 관하여는 도 15 내지 도 16을 통해 후술한다.
도 2는 일 실시 예에 따른 캡슐 내시경 장치를 이용한 병변 진단 방법에 관한 흐름도이고, 도 3은 캡슐 내시경 장치가 정밀 진단 절차를 수행하는 방법에 관한 일 예이다. 도 2 및 도 3을 참고하면, 캡슐 내시경 장치는 아래와 같은 단계를 통해 병변을 진단할 수 있다.
먼저, 캡슐 내시경 장치는 하나 이상의 체내 이미지를 촬영할 수 있다(210). 여기서 이미지는 연속되는 동영상 촬영 결과물 중 한 프레임을 가리킨다. 이에 동영상이 촬영되는 동안 수많은 프레임의 이미지가 저장될 수 있으며, 본 발명의 진단모델은 각 이미지별 병변 의심 영역을 판단하고, 연속되는 프레임간 병변 의심 영역의 변화량 등에 기초하여 병변 영역을 진단할 수 있다.
캡슐 내시경 장치는 경구를 통해 투여되므로 식도, 위장, 소장, 대장 등 체내 각 구역별로 이미지를 촬영할 수 있다.
종래 캡슐 내시경 장치는 소장에 특화된 검사 방법으로만 많이 사용되어 왔는데, 이는 위장이나 대장의 경우 내경이 넓은 편이고 구조도 소장보다 복잡하여 캡슐 내시경의 시야각만으로 해당 장기에 대한 검사가 충분히 이루어질 수 없기 때문이다. 예를 들어, 캡슐 내시경으로 위장이나 대장을 일부 관찰할 수는 있겠지만, 카메라가 일부 방향만을 촬영하기 때문에 위장이나 대장에 대한 전체적인 검사가 불가하고, 근접촬영이나 샘플 채취 등도 불가하기 때문에 종래 캡슐 내시경은 주로 소장에 대한 표준 검사 방법으로 특화되어 사용되어 왔다. 종래 캡슐 내시경으로 소장 질환을 찾을 확률은 약 60% ~70% 정도로 알려져 있다.
이와 달리, 본 발명의 캡슐 내시경 장치는 캡슐 내시경 장치가 병변 의심 영역을 검출하면, 정밀 진단 절차에서 화질 개선, 근접 촬영이 가능하도록 이동 및 흡탈착하는 내용에 관해 개시하고 있어 이 부분 종래 기술과 차별화된다.
그 다음, 캡슐 내시경 장치는 이미지 내에서 병변 의심 영역을 검출할 수 있다(220). 캡슐 내시경 장치는 사전에 학습된 진단 모델을 통해 이미지 내 병변 의심 영역을 검출하고, 병변인지 여부를 진단할 수 있다. 일 예로, 캡슐 내시경 장치는 이미지로부터 특징값을 추출하고 이 데이터를 기존 DB에 저장된 병변의 특징과 비교하여 병변 의심 영역을 검출할 수 있다. 그 다음, 캡슐 내시경 장치는 소정의 임계치 이상의 병변 의심 영역이 검출되는 경우(230) 정밀 진단 절차를 개시할 수 있다(250). 본 발명에 정밀 진단 절차는 고품질의 영상을 획득하고, 진단 결과의 정확성을 높일 수 있도록 이미지 가공 처리를 수행하는 것을 포함하고, 나아가서는 진단 모델에 기 입력된 사용자의 병력, 체내 구역별 병변 영역에 대한 특징, 병변으로 검출할 확률 등에 관하여, 종래 기술에 비해 개선된 방식으로 진단을 수행하는 것을 말한다.
여기서, 진단 모델은 네트워크의 학습으로 비선형 회귀(non-linear regression)나 심층신경망(deep neural network) 중 적어도 하나의 알고리즘을 이용할 수 있으나 이 외 다양한 진단 모델이 있을 수 있으므로 병변 검출 및 진단 방법은 여기에 기재된 내용에 한정되어 해석되어야 하는 것은 아니다.
만일, 캡슐 내시경 장치가 병변 의심 영역을 검출했다 하더라도, 진단 모델에 의해 소정의 임계치 이하로 병변 의심 영역을 판단하는 경우, 캡슐 내시경 장치는 이에 관한 이미지를 삭제(240)하고, 체내 이미지를 촬영하는 단계를 진행할 수 있다.
정밀 진단 절차에서, 캡슐 내시경 장치는 이미지를 가공 처리할 수 있다(260). 이미지 가공에 관한 구체적인 실시 예는 도 3을 참조하여 설명하도록 하겠다.
도 3을 참조하면, 캡슐 내시경 장치가 정밀 진단 절차를 개시하면(310), 먼저 이미지 전처리를 수행(320)할 수 있다. 이 때 전처리된 이미지를 제1 이미지로 일컫을 수 있다. 이때, 만일 이미지의 밝기가 적절하면(330) 다음 단계로 넘어가고, 그렇지 않으면 캡슐 내시경 장치의 제어부는 촬영용 조명을 조절할 수 있다(340). 그러면 다음 프레임의 이미지부터는 밝기가 조절된 촬영 이미지 획득이 가능하다(350).
일반적으로 심층신경망 기반의 이미지 처리 방법은 여러 전처리에 의해 화질을 개선할 수 있지만, 학습을 위한 원본 이미지 화질이 현저히 저하되어 있을 경우 유용한 데이터를 추출해내기 어려운 한계점도 있다. 신체 내부와 같이 어두운 환경에서 촬영된 영상이라면 더욱 그러할 것이다. 이에, 본 발명에서는 조명 세기를 조절하여 보다 밝은 촬영 이미지 획득이 가능하고, 이는 병변 의심 영역에 대한 보다 나은 유의미한 데이터를 추출할 수 있게 한다.
한편, 조명 제어는 단순히 밝기 증가만이 아니라, 획득된 이미지의 품질과 파워소모량을 고려하여 최적화된 조명 세기로 조절하는 것을 포함할 수도 있다. 예를 들어, 캡슐 내시경 장치는 정밀 진단 절차에서 촬영부 내 존재하는 조명의 세기를 다양하게 변경하여 촬영을 진행하고, 조명 세기별 이미지 데이터의 손실함수를 최소화한 평균값을 적용하여 최적의 화질 개선을 수행할 수 있다.
그 다음 단계에서, 캡슐 내시경 장치는 해당 체내 구역에서 리더 모드인지 판단할 수 있다(260). 본 발명의 캡슐 내시경 장치는 단지 소장에만 특화된 것이 아니라, 체내 다양한 장기별로 특화된 진단 모델을 가지고 있을 수 있다. 이를 위해, 본 발명의 캡슐 내시경 장치는 지자계 센서, 가속도 센서, 타이머 등으로부터 이동 속도, 방향, 시간에 관한 데이터를 구하고, 거리 계산을 통해 대략적인 체내 위치를 계산할 수 있다. 이러한 위치 정보는 이미지 프레임별 메타 데이터로 기록될 수 있다.
일반적으로 신체에서 캡슐 내시경 장치가 이동하는 대략적인 시간도 일정 범위내에서 정해져 있을 수 있다. 이에 본 발명의 캡슐 내시경 장치는 타이머를 포함하여, 캡슐 내시경 장치가 경구로 투입된 시간을 기점으로 식도, 위장, 소장, 대장 등 장기에 머무는 일반적인 시간을 기준으로 대략적인 체내 위치를 추정할 수 있다.
다른 실시 예에 따르면, 외부의 기기에서 캡슐 내시경 장치의 위치를 스캐닝 장치로 기록하고, 이 스캐닝 장치와 본 발명의 캡슐 내시경 장치의 시간을 동기화하여, 캡슐 내시경으로 촬영한 이미지의 위치를 시간 정보에 기반하여 정확히 추정할 수 있다.
그 외에도, 식도, 위장, 소장, 대장 등의 장기의 특징으로부터 한 장기에서 다른 장기로 이동하고 있음을 알 수 있는 특정한 지표가 있다면, 진단 모델을 통해 촬영된 이미지로부터 특정 장기에 진입하였음을 알 수도 있다. 본 발명에서 기술한 내용 이외에도 캡슐 내시경 장치가 체내 위치 정보를 파악하는 다양한 방법이 있을 수 있으며, 본 발명의 기재로 이를 한정하여 해석할 것은 아니다.
복수의 캡슐 내시경 장치를 같이 이용하는 진단 방법의 경우, 특정 장기에서 주도적 역할을 수행할 캡슐 내시경 장치를 사전에 등록해 놓을 수 있다. 예를 들어, 캡슐 내시경 장치 1 내지 3이 있을 때, 검사자는 캡슐 내시경 장치1은 소장에서, 캡슐 내시경 장치 2는 대장에서, 캡슐 내시경 장치 3은 위장에서 리더 역할을 수행하도록 각각 설정할 수 있다. 이 경우, 각 캡슐 내시경 장치에 걸리는 이미지 가공 처리에 대한 부하를 각 캡슐 내시경 장치에 분담하고, 또 캡슐 내시경 장치간 통신을 통해 각 장치가 획득한 데이터를 공유하는 방식으로 협업하는 프로세스를 구축할 수 있다.
복수의 캡슐 내시경 장치를 이용하는 장점은 다양하게 있을 수 있는데, 먼저 다수의 캡슐 내시경 장치에서 다양한 시점과 각도에서 병변 의심 영역에 대해 촬영할 수 있다는 점과, 각 장치에서 획득한 복수의 이미지를 하나의 이미지로 정합함으로써 병변 의심 영역의 개략적인 위치, 크기, 형태 등을 사용자가 편하게 볼 수 있는 이미지로써 가공이 가능하다는 점이다.
도 3을 참조하면, 캡슐 내시경 장치는 해당 체내 구역에서 리더 모드인 경우, 다른 캡슐 내시경 장치로부터 1차 가공된 제1 이미지를 수신할 수 있다. 이때, 각 캡슐 내시경 장치는 일방향 또는 쌍방향으로 각 무선 통신 방식으로 데이터를 송수신 할 수 있다. 예를 들어, 캡슐 내시경 장치 1이 소장에서 리더 역할을 수행하도록 사전에 설정되었고, 캡슐 내시경 장치 1이 소장에서 병변 의심 영역을 검출하여 정밀 진단 절차를 개시하였다면, 캡슐 내시경 장치 1은 소장에서 리더 모드이고, 이 경우 다른 캡슐 내시경 장치 2, 3으로부터 1차 가공된 제1 이미지를 수신할 수 있다(380).
그 다음, 캡슐 내시경 장치 1은 수신한 하나 이상의 제1 이미지를, 병변 의심 영역에 관한 정보를 포함하는 제2 이미지로 정합할 수 있다(390). 일 예로, 캡슐 내시경 장치 1은 제1 이미지를 다운 샘플링하여 특징점을 추출하고, 상기 추출된 특징점을 기본 이미지의 특징과 매칭하는 방법으로, 다수의 이미지로부터 하나의 이미지(제2 이미지)를 정합하는 것일 수 있다. 이때, 제2 이미지에는 위치 정보 등의 메타 데이터와, 병변 의심 영역에 관한 특징점 등 병변 의심 영역에 관한 정보를 포함할 수 있다.
한편, 도 3을 참조하면, 만일 해당 체내 구역에서 리더 모드가 아닌 경우(360), 해당 캡슐은 그 체내 구역에서 팔로우 모드로 전환될 수 있고, 다른 캡슐 내시경 장치에 1차 가공된 제1 이미지를 전송할 수 있다(370).
다시 도 2로 돌아와서, 캡슐 내시경 장치가 이미지 가공 처리를 마치면(260), 이를 메모리에 저장(270)할 수 있다. 이때 캡슐 내시경 장치는 가공 처리된 이미지만 저장하고, 그 외 원본 데이터는 파기하는 등으로 메모리 저장에 대한 부담을 줄일 수 있다.
일 예로, 캡슐 내시경 장치가 한번 투입되면, 인체의 소화 기관을 거쳐 배출되기까지 상당한 시간이 소요된다. 예를 들어, 한 번의 캡슐 내시경 검사에서 약 8~9시간이 소요된다고 하면, 그 기간 동안 촬영되는 이미지는 약 5~6만여 개 정도가 될 수 있다. 본 발명에서 검사가 끝나면 캡슐 내시경 장치가 저장한 영상들은 무선 통신 방식으로 사용자 단말 또는 의료기관에 전송될 수 있으며, 본 발명은 메모리 저장 및 전송에 효율화를 위해 위와 같이, 이미지 가공 처리된 중요 데이터만을 저장하는 방법으로 수행될 수 있다. 단, 이는 어디까지나 선택적인 실시 예로써, 필요에 따라, 그리고 기술의 발전에 따라 어떤 데이터를 저장할 지에 대한 부분은 다른 방법으로 구현될 수도 있다.
그 다음, 캡슐 내시경 장치는 무선통신 방식으로, 가공 처리된 이미지를 다른 캡슐 내시경 장치 또는 단말에 송수신 할 수 있다(280). 캡슐 내시경 장치는 검사가 종료되면(체외로 배출), 메모리에 저장된 데이터를 단말에 전송할 수 있다. 여기서 단말은 피검사자의 스마트폰, PC 등일 수 있고, 다른 실시 예로 의료기관의 의료기록 관리 플랫폼 또는 장치 제조사의 의료 서비스 제공 플랫폼일 수도 있다.
캡슐 내시경 장치가 무선 통신 방식으로 가공 처리된 이미지를 다른 캡슐 내시경 자치에 송수신하는 실시 예는 이하 도 4a 및 도 4b를 통해 후술하겠다.
도 4a 및 도 4b는 다른 실시예에 따른 캡슐 내시경 장치가 정밀 진단 절차를 수행하는 방법에 관한 일 예이다. 구체적으로 복수개의 캡슐 내시경 장치가 데이터를 취합하는 장소가 체내인지 또는 체외인지에 따라 실시예를 달리 기술할 수 있다.
도 4a는 체내에서 이미지 가공 처리가 완료되는 상황에 대한 실시 예이다. 일 예로, 캡슐 내시경 장치가 투입(410)되고, 체내 이미지 촬영을 할 수 있다(420). 그 다음, 체내 이미지 중 병변 의심 영역이 검출되고, 검출된 병변 의심 영역이 소정의 임계치 이상일 경우 캡슐 내시경 장치는 정밀 진단 절차를 개시할 수 있다(430). 그 다음, 캡슐 내시경 장치는 이미지 전처리를 통한 이미지 1차 가공을 수행할 수 있다(431). 편의상, 여기서 1차 가공 처리된 이미지를 제1 이미지라 칭할 수 있다.
그 다음, 캡슐 내시경 장치는 체내 구역별 위치 정보를 계산(432)하여, 캡슐 내시경 장치가 신체 어느 장기에 위치해 있는지 파악할 수 있고, 해당 체내 구역에서 리더 모드인지 판단할 수 있다(433). 여기서, 만일 캡슐 내시경 장치가 팔로우 모드일 경우 다른 캡슐 내시경 장치에 1차 가공된 제1 이미지를 전송할 수 있다(434).
만일, 캡슐 내시경 장치가 리더 모드인 경우, 다른 캡슐 내시경 장치로부터 1차 가공된 제1 이미지를 수신할 수 있다(435). 그리고 캡슐 내시경 장치는 수신한 하나 이상의 제1 이미지를 병변 의심 영역에 관한 정보를 포함하는 제2 이미지로 정합할 수 있다.
여기서 병변 의심 영역에 관한 정보는 특징점의 형태일 수 있고, 또는 위 정밀 진단 절차가 단계에서 판단된 병변 의심 영역이 병변일 확률에 관한 정보일 수 있다. 또는, 병변 의심 영역이 어느 위치에서 발견되었는지에 관한 위치 정보가 될 수 있다.
캡슐 내시경 장치는 다수의 제1 이미지를 하나의 제2 이미지로 정합함으로써, 사용자가 해당 이미지 내에서 병변에 관한 정보만 쉽게 파악할 수 있도록 이미지를 보강하는 형식으로 이미지 가공을 수행할 수 있다. 예를 들어, 하나의 이미지는 특정한 촬영 시점에서 해당 병변을 단편적으로 바라본 이미지 일 수 있다. 그러나 여러 개의 이미지를 정합하게 되는 경우 하나의 이미지로는 파악할 수 없었던 병변의 3차원적인 좌표를 계산하고, 이를 하나의 이미지에 표현함으로써 병변의 개략적인 크기와 위치, 형태까지도 하나의 이미지에서 파악할 수 있다.
캡슐 내시경 장치는 사전에 학습된 진단 모델을 이용하여, 이미지를 가공하는 영상 처리를 수행할 수 있고, 해당 병변 의심 영역이 병변일 확률을 구할 수 있다. 이러한 진단 모델로는 딥러닝 모델 또는 심층신경망 모델이 이용될 수 있다. 여기서, "진단"이라는 용어를 사용하였지만, 병변에 대한 최종적인 판단은 의료진인 사람이 하는 것으로, 본 캡슐 내시경 장치에서 말하는 진단은 의료진의 판단을 위한 참조 모델로서 "진단 지원"의 의미를 가질 수 있다.
도 4a의 실시 예에서, 캡슐 내시경 장치가 이미지 가공 처리(제2 이미지)를 마쳤으면, 이를 메모리에 저장(437)할 수 있다. 이 때 가공 처리된 제2 이미지는 여러장 일 수 있으며, 여러 장의 가공된 제2 이미지가 연속되는 동영상 형태로 저장될 수 있다.
캡슐 내시경 장치는 해당 병변 의심 영역이 검출되는 구간을 지나 정밀 진단 절차가 종료되면, 캡슐 내시경 장치의 위치에 따라 다른 체내 구역으로 진입하였는지 다시 판단할 수 있다(440). 만일, 다른 체내 구역으로 진입하였다면 다시 체내 이미지를 촬영하는 일반 검사 단계로 전환할 수 있다(420). 만일, 다른 체내 구역이 아닌, 체외로 캡슐 내시경 장치가 배출되는 경우(450), 내시경 검사는 종료된다.
도 4b는 체외에서 이미지 가공 처리가 완료되는 상황에 대한 실시 예이다. 일 예로, 캡슐 내시경 장치는 캡슐 내시경 장치가 체외로 배출된 이후 이미지 가공 처리를 완료할 수도 있다.
도 4b를 참조하면, 캡슐 내시경 장치가 투입되고(410), 체내 이미지를 촬영할 수 있다(420). 그리고 정밀 진단 절차가 개시되면(460), 캡슐 내시경 장치는 이미지 1차 가공을 수행할 수 있다(이하 제1 이미지라 칭함). 도 3의 실시 예를 참고하면, 여기서의 이미지 가공은, 병변이 검출되는 정밀 진단 절차에서 촬영부의 조명을 조절함으로써 밝기가 개선된 이미지를 획득하는 것일 수 있다. 엄밀하게는 해당 이미지 프레임이 아닌 다음 프레임에서 개선된 이미지를 획득하는 것일 수 있지만, 캡슐 내시경 장치가 획득한 이미지 프레임을 획득하는 환경을 제어한다는 점과, 연속되는 다음 프레임에서 밝기가 조절된 이미지를 획득할 수 있다는 점에서 1차 이미지 가공이라 볼 수 있을 것이다.
도 3의 실시 예 이외에도, 캡슐 내시경 장치가 1차 이미지 가공을 처리하는 방법은 다양하게 구현될 수 있다. 예를 들어, 캡슐 내시경 장치가 획득한 이미지에 대해 전처리를 수행하고, 이로부터 병변 의심 영역이 병변일 확률을 구하여, 이를 해당 이미지에 대한 메타 정보로 태그할 수 있다.
캡슐 내시경 장치는 위 이미지 가공 처리 결과를 기초로, 병변 의심 영역과 기 학습된 병변 데이터를 비교하여 병변인지 여부를 진단할 수 있다.
캡슐 내시경 장치가 1차 이미지 가공 및 진단을 마치면, 해당 데이터는 메모리에 저장될 수 있고(462), 다른 체내 구역으로 진입하였는지 여부(470)에 따라, 체내 이미지를 촬영하는 일반 검사로 돌아갈 수 있다. 마찬가지로, 소정의 임계치 이상의 병변 의심 영역이 검출되는 경우 정밀 진단 절차를 다시 수행할 수도 있다.
도 4b의 실시 예에서, 캡슐 내시경 장치가 이미지 2차 가공을 수행하는 것은 체외로 캡슐 내시경 장치가 배출(480)된 이후가 될 수도 있다.
일 실시 예에 따르면, 캡슐 내시경 장치는 체외로 배출된 후 구역별 데이터 진단을 개시할 수 있다(490). 그리고, 해당 캡슐 내시경 장치가 리더 모드로 작동하는 체내 구역을 찾을 수 있다.
만일, 해당 캡슐 내시경 장치가 팔로우 모드로 작동하는 체내 구역의 경우, 리더 모드인 다른 캡슐 내시경 장치에 메모리에 저장된 1차 가공된 제1 이미지를 전송할 수 있다(492).
캡슐 내시경 장치가 특정 장기에서 리더 모드로 설정된 경우, 팔로우 모드의 다른 캡슐 내시경 장치로부터 1차 가공된 제1 이미지를 수신하고(493), 이미지 가공 처리를 수행할 수 있다. 편의상 이를 2차 가공이라 칭할 수 있고, 2차 가공 처리된 이미지를 제2 이미지라 칭할 수 있다(494).
일 실시 예에 따르면, 여기서 2차 가공은 다른 캡슐 내시경 장치로부터 수신한 하나 이상의 제1 이미지를 병변 의심 영역에 관한 정보를 포함하는 제2 이미지로 정합하는 가공일 수 있다. 보다 구체적으로, 캡슐 내시경 장치는 하나 이상의 제1 이미지를 다운 샘플링하여 특징점을 추출하고, 추출된 특징점을 기본 이미지의 특징과 매칭하는 방법으로 제2 이미지를 정합하는 것일 수 있다.
그 다음, 캡슐 내시경 장치는 가공 처리된 이미지를 메모리에 저장하고 검사를 종료할 수 있다.
도 4a 및 도 4b는 체내 또는 체외에서 이미지 가공 처리를 수행하는 방법에 관한 흐름도를 설명하였다. 다만, 여기서 캡슐 내시경 장치는 복수개의 캡슐 내시경 장치가 협업하는 환경에서 수행될 수 있는 이미지 가공에 대해 기술한 것이며, 캡슐 내시경 장치는 단독으로도 사용될 수 있으므로, 이에 대해서는 도 5의 실시 예를 통해 후술하도록 하겠다.
도 5를 참조하면, 도 5는 일 실시 예에 따른 캡슐 내시경 장치의 구성 요소에 관해 설명하는 도면이다. 일 실시 예에 따르면, 캡슐 내시경 장치(500)는 촬영부(510), 영상처리부(520), 저장부(540), 진단 지원 모델(550), 제어부(560)을 포함할 수 있고, 여기에 센서부(512), 조명(515), 흡탈착부(570) 등을 더 포함할 수 있다.
촬영부(510)는, 하나 이상의 체내 이미지를 촬영할 수 있다. 촬영부는 약 0.5 내지 6 FPS(초당 프레임) 정도의 연속되는 이미지를 획득할 수 있으며, 여기서 기술이 더 발전한다면 일 초당 더 많은 프레임을 획득하는 카메라가 장착될 수도 있다.
다른 실시 예에 따르면, 촬영부의 카메라는 옴니뷰(Omni-view)를 지원하는 멀티 카메라 모듈일 수 있다. 예를 들어, 옴니뷰 카메라 모듈은 단 카메라보다 넓은 시야로 체내 이미지를 촬영하여, 기존 캡슐 내시경의 촬영 사각지대에 대한 한계점을 개선할 수 있다. 일 예로, 옴니뷰 렌즈를 1개 내지 2개 사용할 수도 있고, 그보다 많은 카메라를 장착하는 멀티 카메라 모듈로도 사용될 수 있다.
본 발명의 촬영부가 단일 카메라를 사용할 수도 있지만, 다수의 카메라 모듈을 부착하거나, 여러 방향 또는 전방향 촬영이 가능한 구조로 촬영부가 구현된다면, 본 검사의 목적인 병변 검출에 있어 검사의 신뢰도와 정확도를 향상시킬 수 있을 것이다. 그 실시 예로, 이하 최대 360도의 시야각을 가지는 영상을 획득하는 다음과 같은 방법에 관해 설명한다.
도 6a를 참조하면, 촬영부는 구면 형태로 전방향(360도)을 촬영할 수 있도록 여러 개의 카메라 렌즈를 부착한 일 예일 수 있다. 관련하여, 광각의 시야각을 가지는 여러 대의 카메라를 포함하는 디스플레이 모듈을 부착하여 360도 촬영을 구현할 수도 있다.
도 6b를 참조하면, 촬영부는 광각 렌즈를 다수 부착함으로써 상하 360도를 전방향으로 촬영할 수도 있다. 이 경우 도 6a보다 상하 방향으로도 넓은 시야각을 가지는 촬영 영상을 획득할 수 있을 것이다.
도 6c를 참조하면, 광각 렌즈가 아니어도, 렌즈를 캡슐의 긴 두 개의 면에 부착함으로써 360 전방향을 볼 수 있는 옴니뷰 영상을 구현할 수 있다. 다만 이 경우 각 렌즈가 정확히 180도를 커버하는 것이 아니기 때문에 일부 사각지대 영역이 생길 수 있다.
이를 보완하여, 도 6d를 참조하면, 다수 개의 카메라 모듈을 장착하여 360도의 시야각을 구현할 수도 있다. 도 6d를 참조하면 시야각 크기가 90도인 각 카메라 모듈을 사용할 때 8개의 카메라 모듈을 부착하여 360도 시야각을 구현할 수도 있다.
다만 이는 어디까지나 일 실시 예를 설명한 것으로, 본 발명은 위에 기술한 카메라 대수에 한정하여 구현되지 않으며, 카메라 배치 위치와 방향 등만을 달리하는 것은 본 발명의 균등 범위내의 실시로 볼 수 있을 것이다.
도 7은 360도 시야각의 카메라를 이용하여 촬영했을 때 얻을 수 있는 이미지의 일 예이다. 예를 들어, 곡면 렌즈를 기반으로 한 돔형 카메라 형태로 360도 시야각으로 파노라마 화상 촬영 방식도 구현 가능하다. 이 경우, 빛이 렌즈에 입사 시 내부에서의 반사가 수평 화각 360도의 시야로 받아들여지면서 전방위 촬영을 할 수 있다.
조명(515)은 촬영부(510) 근방에 배치되어 있으며, 제어부(560)에 의해 온/오프, 세기가 조절될 수 있다. 도 5를 참고하면, 4개의 조명(515)이 일저한 간격을 두고 배치되어 있음을 볼 수 있다. 다만, 이는 어디까지나 일 실시예로서 조명의 개수와 배치는 위 기재에 한정되지 않는다.
센서부(512)는 지자계 센서, 가속도 센서, 타이머 등을 포함할 수 있다. 제어부(560)는 센서부(512)로부터 얻은 데이터를 기초로 캡슐 내시경 장치(500)의 위치 정보를 계산할 수 있다.
본 발명의 캡슐 내시경 장치는 여러 대가 협업하여 다양한 시점, 시야에서 병변 의심 영역에 대한 영상을 획득할 수 있는 것을 장점으로 한다. 이때, 1회의 검사에서 여러 대의 캡슐 내시경 장치가 사용되는 경우 각 장치에 대한 역할 및 데이터 처리에 관한 별도의 프로세스가 필요하고, 이에 관하여 도 8a 내지 도 8c에서 설명한다.
또한, 본 발명의 캡슐 내시경 장치는 단순히 소화기관의 연동 운동 등에 의해 수동적으로 이동하는 것이 아니라, 특정 위치에 장착할 수 있는 이동 수단 및 흡탈착 수단을 포함할 수 있다. 그리고 이때, 각 캡슐 내시경 장치간 자신의 위치 정보와, 안착 여부, 다음 구역으로 이동 여부에 관한 통신을 수행할 수 있다.
예를 들어, 도 8a 및 도 8b를 참조하면, 위장에서 하나의 리더 캡슐 내시경 장치와, 세 개의 팔로우 캡슐 내시경 장치가 있을 수 있다. 일 실시 예에 따르면, 본 발명에서 캡슐 내시경 장치는 일반적인 검사에서 체내를 부유하는 형태로 이동을 하다가, 집중 진단이 필요하다고 판단되는 정밀 진단 절차가 개시되면, 병변 의심 영역을 더 관찰하기 위해 해당 위치에 안착할 수 있다.
예를 들어, 리더 모드의 캡슐 내시경 장치는 다수의 캡슐 내시경 장치로부터 이미지가 수신되면, 수신한 이미지의 개수로 해당 영역이 정밀 진단이 필요한 것으로 판단할 수도 있다. 그리고 리더 모드의 캡슐 내시경 장치는 자신 그리고 다른 캡슐 내시경 장치에 안착 명령을 지시할 수도 있다. 위와 같이 각 리더 캡슐 내시경 장치와 팔로우 캡슐 내시경 장치는 캡슐간 통신을 수행할 수 있으며, 이를 통해 이미지의 송수신, 위치 정보의 공유 및 리더의 명령에 따라 안착 위치를 결정하기도 한다.
도 8c는 캡슐 내시경 장치 01(110), 캡슐 내시경 장치 02(120), 캡슐 내시경 장치 03(130)이, 신체 각 부위별로 데이터를 처리하는 것에 관해 설명하는 도면이다.
도 8c를 참고하면, 캡슐 내시경 장치 01(110)은 위장에서 리더 모드, 캡슐 내시경 장치 02(120)는 소장에서 리더 모드, 캡슐 내시경 장치 03(130)은 대장에서 각각 리더 모드이고, 병변 의심 영역이 위장에서 검출되었을 때를 가정해보자.
캡슐 내시경 장치 01(110)은 체내 구역별 위치 정보를 계산(610)하여, 체내 구역이 위장이라 판단되면 리더 모드로 전환할 수 있다(611). 그리고, 병변 의심 영역을 검출하면 정밀 진단 절차를 수행할 수 있다(612). 이때, 캡슐 내시경 장치 01(110)은 일단 병변 의심 영역이 검출되면, 이에 관해 1차 이미지 가공 처리를 바로 수행할 수 있다(613). 그리고 추가적으로 다른 캡슐 내시경 장치 02(120) 및 캡슐 내시경 장치 03(130)으로부터 데이터를 수신하면, 캡슐 내시경 장치 01(110)는 다른 캡슐 내시경 장치로부터 수신한 하나 이상의 제1 이미지를 하나의 제2 이미지로 정합할 수 있다. 이 때, 제2 이미지에는 병변 의심 영역에 관한 정보가 포함되어 있을 수 있다. 캡슐 내시경 장치 01(110)은 위와 같이 2차 이미지 가공처리(614)를 수행하면, 이를 메모리(저장부(540))에 저장할 수 있다. 캡슐 내시경 장치 01(110)은 이후 병변 의심 영역이 검출되는 구간을 지나면 일반 검사 절차를 수행하며, 체내 구역별 위치 정보를 계산(616)하고, 체내 위치가 소장으로 판단되면 팔로우 모드로 전환한다. 이 때, 모드 전환과 별개로 계속 촬영은 진행되고 있으며, 다만 일반 검사에서 촬영한 이미지는 별도로 저장하지 않고 삭제하는 등으로 메모리 관리를 할 수도 있다. 마찬가지로, 캡슐 내시경 장치 01(110) 체내 구역별 위치 정보를 계산(618)하여, 대장일 경우 팔로우 모드로 전환(619), 그리고 별도의 병변 의심 영역이 검출되지 않으면 일반 검사 절차만을 수행할 수 있다.
한편, 캡슐 내시경 장치 02(120)와 캡슐 내시경 장치 03(130)도 체내 구역별 위치 정보를 계산하여(620,630), 체내 구역이 위장이라고 판단되는 경우 팔로우 모드로 전환할 수 있다(621, 631), 그리고, 캡슐 내시경 장치 02(120) 및 캡슐 내시경 장치 03(130)은 병변 의심 영역이 검출되면, 정밀 진단 절차를 수행한다(622, 632). 이때, 각 캡슐 내시경 장치(120, 130)는 각각 1차 이미지 가공 처리(623, 633)를 수행한 후, 1차 가공된 이미지를 리더 모드인 캡슐 내시경 장치(110)에 전송한다. 이외, 소장 및 대장에서는 각각 캡슐 내시경 장치 02(120), 캡슐 내시경 장치 03(130)이 리더 모드이지만 병변 의심 영역이 검출되지 않으므로 일반 검사 모드로 촬영을 진행할 수 있다.
다시 도 5를 참조하면, 제어부(560)는 이미지 내에서 병변 의심 영역을 검출하고, 소정의 임계치 이상의 병변 의심 영역이 검출되는 경우 정밀 진단 절차를 수행할 수 있다. 일 예로, 제어부(560)는 진단지원모델(550)을 통해 체내 구역별로 병변 의심 영역을 분석하여 병변 해당 여부를 진단하는 진단부를 포함할 수도 있다.
또한, 제어부(560)는 영상처리부(520)의 전처리 결과 이미지의 밝기 조절이 필요하다고 판단되면 촬영부(510)의 조명을 조절할 수 있다.
제어부(560)는 센서부(512)의 센싱 결과를 기초로 체내 구역별 위치 정보를 계산할 수 있다. 또한, 제어부(560)는 체내 구역별 위치 정보를 기초로 기 설정된 리더 모드 또는 팔로우 모드로 전환할 수 있다.
다른 실시 예에 따르면, 본 발명에서는 캡슐 내시경 장치의 진단 수행 능력을 향상시키기 위해 캡슐 내시경 장치가 이동하는 수단 및 흡탈착하는 수단을 더 포함할 수 있다.
일 실시 예에 따르면, 도 9a를 참조하면, 먼저, 캡슐 내시경 장치는 체내를 부유하면서 이동할 수 있다. 이때, 리더 캡슐 내시경 장치가 병변이 검출되는지 여부를 기준으로 안착 여부를 판단하고, 다른 캡슐 내시경 장치에 다음 구역으로 이동 또는 정착 신호를 전송할 수 있다. 여기서, 리더 캡슐 내시경 장치가 안착이 필요하다고 판단하는 경우, 각 캡슐 내시경 장치는 자기의 위치 정보를 공유하고, 특정 지점에 안착하여 병변 의심 영역으로 보이는 곳을 집중 촬영할 수 있다.
도 9b를 참조하면, 검사 경과 시간대 별 캡슐 내시경 장치가 병변 영역이라고 판단하는 구간을 촬영하는 일 예이다. 여기서, 각 캡슐 내시경 장치는 검사 시간 동안 각각 다른 시간대에 다른 위치와 각도에서 병변을 촬영할 수 있다. 즉, 같은 구역이라도 도 9b와 같이 각 캡슐이 모두 다양한 시점에서 촬영을 수행할 수도 있다. 이 경우 각 캡슐 내시경 장치는 이미지를 촬영한 시점과, 위치 정보 등을 메타 데이터 등으로 하여 병변 의심 영역에 관한 정보를 기록할 수 있으며, 정밀 진단 절차에서 특정 구역에 안착하여 집중 촬영을 수행할 수도 있다.
한편, 도 9b를 참조하면, 각 캡슐 내시경 장치는 1차 이미지 가공의 일 예로, 조명 제어를 통한 화질 개선을 수행할 수도 있다. 각 캡슐 내시경 장치가 안착한 위치별로 보다 어둡거나 밝은 곳이 있을 수 있으며, 각 캡슐 내시경 장치는 촬영을 통해 획득한 이미지의 밝기가 충분치 않다고 판단한 경우, 적절한 정도로 조명을 제어하여 보다 개선된 화질의 이미지를 촬영할 수 있다.
다른 실시 예에 따르면, 각 캡슐 내시경 장치는 서로간 역할 배분을 통해 조명 제어나 촬영을 나누어 수행하는 협업 프로세스를 수행할 수 있다. 예를 들어, 캡슐 내시경 장치는 사전에 설정된 협업 프로세스에 따라, 촬영, 조명 제어, 영상처리 중 하나 이상의 기능만 독립적으로 수행하고, 추후 무선 통신을 통해 여러 대의 캡슐 내시경 장치에서 수행한 결과물을 취합하는 방법으로 협업 진단 프로세스를 수행할 수 있다. 예를 들어, 하나의 캡슐 내시경 장치가 조명을 조절하여 특정 영역을 비추면, 다른 캡슐 내시경 장치가 그 특정 영역을 촬영하는 방식으로 협업을 수행할 수 있다.
다른 실시 예로 도 10a내지 d는 캡슐 내시경 장치의 이동, 흡탈착 수단에 대해 설명한다. 도 5를 참조하면, 캡슐 내시경 장치는 흡탈착부(570)와 흡착 부위를 가질 수 있으며, 도 10d와 같이 이동 수단을 가질 수 있다(도 5에서 미도시).
흡탈착부(570)는 체내 내벽으로부터 수분을 흡착하거나 저장된 수분을 배출하는 방식으로 체내 내벽에 흡탈착될 수 있다. 일 예로, 도 10a를 참조하면, 캡슐 내시경 장치(500)는 진공 흡착을 위한 부착면과, 압착 고무를 가지고 있을 수 있다. 이 경우, 캡슐 내시경 장치는 도 10c에서와 같은 흐름으로 동작을 수행한다. 먼저 캡슐 내시경 장치(500)는 수분 저장부와 수분 배출부를 가지고 있고(미도시), 수분 저장부에서 부착면의 액체를 흡수하며 공기가 주입되지 않도록 진공 흡착 방식으로 체내에 흡착할 수 있다. 또한, 캡슐 내시경 장치는 진단 데이터가 수집되고 나면, 수분 배출부에서 액체를 분사해 부착면에서 탈착할 수 있다.
다른 예로, 액체가 많이 있는 체내 환경의 특성을 고려하여, 습식방식의 흡,탈착도 가능하다. 액체가 많은 체내의 경우 물 분자가 표면 사이의 틈에 쉽게 주입되기 때문에 수화 작용으로 인해 접착이 어렵다는 점에서, 도 10b를 참조하면, 본 발명은 접착 표면에 볼록하게 솟은 미세구조들이 맞물리기 위한 흡탈착부를 가지고 있을 수 있다. 또한, 도 10c를 참조하면, 본 발명의 캡슐 내시경 장치는 흡착 후 진단 데이터를 수집하고, 수분저장부에서 수분 흡수를 통해 물기가 제거되고, 수분배출부에서 수분을 배출하면서 본래 모양으로 돌아가는 원리로 상처없이 안전하게 흡,탈착될 수 있다. 이는 앞에서 설명한 진공 흡,탈착 동작에 비해, 흡착시 별도의 물기를 제거하지 않고 바로 흡착을 진행한다는 점에서 차이가 있다.
캡슐 내시경 장치(500)에서 흡,탈착을 수행함으로써, 정밀 진단이 필요한 곳에서 안착하여, 병변 의심 영역이 검출되는 곳에 대해 충분한 데이터를 수집할 수 있다. 다만, 위에서 설명한 흡,탈착 방법은 어디까지나 일 예로써 이해되어야 하며, 그 외 다양한 방식의 실시예도 있을 수 있어, 본 발명이 위 기재 내용으로 한정하여 해석되어서는 안 될 것이다.
다른 실시 예로, 본 발명의 캡슐 내시경 장치(500)는 보다 적극적인 이동 수단을 활용할 수 있다. 도 10d를 참조하면, 캡슐 내시경 장치는 이동을 수행할 수 있는 다리를 가지는 형태로 구현될 수도 있다. 이 경우 캡슐 내시경 장치가 스스로 기어다니는 형태로 이동을 수행할 수 있다. 이때, 캡슐 내시경 장치를 경구를 통해 투여하기 전에는 다리가 접혀있다가, 캡슐이 체내에 들어가면서부터 해당 다리가 나타나는 구조로 설계될 수 있다. 이 경우, 종래 캡슐 내시경 장치가 소화기관의 연동 운동으로만 움직이던 것에 비하여, 보다 적극적인 움직임이 가능하게 한다. 여기서, 캡슐 내시경은 장기 내부를 돌아다닐 수 있으므로, 신체 내벽에 상처를 방지하고자 고무 발판이나, 흡착판 등이 이용될 수 있다.
다시 도5를 참조하면, 캡슐 내시경 장치(500)는 진단 지원 모델(550)을 포함할 수 있다. 본 발명에서는 방대한 양의 이미지를 의료적 의의가 있는 데이터로 추출, 가공해야 하기 때문에, 이를 위해 사전에 학습된 진단 지원 모델(550)이 필요하다. 본 발명은 기계학습 기반 모델링 방식을 통해 병변 이미지 데이터를 학습시키고, 이를 토대로 캡슐 내시경이 자체적으로 촬영한 이미지 데이터를 학습 모델을 기반으로 판별하여 가공할 수 있다.
이를 위해 영상처리부(520)는 정밀 진단 절차에서 이미지를 가공 처리할 수 있다. 일 예로, 영상처리부(520)는 촬영부(510)에서 획득한 이미지에 대한 전처리를 수행할 수 있다. 그리고 영상처리부(520)는 입력된 이미지를 분류하여 위장, 소장, 대장 등 신체 각 구역으로 나누어 해당 이미지를 분류할 수 있다. 또한, 영상처리부(520)는 병변 의심 영역을 포함하는 이미지 데이터와 병변 의심 영역이 없는 이미지를 분류하여 각 데이터의 전처리 작업을 수행한다. 전처리 작업은 오래된 데이터, 심각한 이상치를 보유한 데이터, 누락된 데이터 들을 검사하여 데이터 세트에서 제외시키거나 가공할 수 있으며, 신체별 각 장기마다 고유한 전처리 작업을 수행해야할 수도 있다.
다른 예로, 영상처리부(520)는 하나 이상의 제1 이미지를 병변 의심 영역에 관한 정보를 포함하는 제2 이미지로 정합하는 가공을 처리할 수 있다. 구체적으로 여기서, 영상처리부(520)는 하나 이상의 제1 이미지를 다운 샘플링하여 특징점을 추출하고, 상기 추출된 특징점을 기본 이미지의 특징과 매칭하는 방법으로 이미지를 가공처리할 수 있다.
또 다른 예로, 영상처리부(520)는 다시점을 가지는 복수개의 이미지로부터 옴니뷰(Omni-view) 이미지를 생성할 수 있다.
그 다음, 캡슐 내시경 장치(500)의 진단 지원 모델(550)은 도 11과 같이 K-겹 교차 검증 기법을 진단 모델을 수립하고 평가하는데 사용할 수 있다. 도 11은 전처리된 이미지 데이터를 5개의 데이터 폴드로 나눈 개념도이다. Fold 별로 각 Train set이 있을 수 있으며, K-겹 교차검증 기법은 모델의 정확도를 높이기 위해 train 데이터와 데이터의 비율을 조합하고 교차 평가하여 최적의 모델을 구할 수 있다. 본 발명은 모든 데이터 셋을 평가 및 훈련에 활용함으로써 데이터셋의 활용도를 높이고 정확성을 높여 병변 영역을 보다 정확하게 판단할 수 있다. 도 11의 실시 예에서는 5개 Fold로 나누어 설명하였으나, K의 계수는 이에 한정되지 않고 학습하고자 하는 병변의 위치나 이용하는 캡슐 내시경 모델 등 환경 변수에 따라 다르게 나누어져 학습될 수 있다.
또한, 본 기술에서는 K-겹 교차검증 모델을 예시로 설명하였으나, 본 발명이 이에 한정되는 것은 아니며, 본 발명의 목적을 구체적으로 구현하는 기법이라면 위와 일부 상이한 점이 있다하더라도 본 발명의 균등 범위 내 실시라고 보아야 할 것이다.
도 12은 일 실시 예에 따른 캡슐 내시경 장치가 데이터를 메모리에 저장하는 방법에 관해 설명하는 일 예이다. 일 예로, 본 발명의 캡슐 내시경 장치는 저장부(540)를 가질 수 있다. 또는 데이터를 저장하고 보관하는 역할을 수행한다는 점에서 이는 메모리라고 불릴 수도 있다.
도 12을 참조하면, 저장부(540)는 체내 구역별로 이미지를 분류할 수 있으며, 이를 폴더별로 구분하여 저장할 수 있다. 다른 예로, 복수의 캡슐 이미지 장치간 수많은 이미지가 송수신 될 수 있으며, 캡슐 내시경 장치는 다른 캡슐 내시경 장치로부터 수신한 다수의 이미지(또는 영상)를 중복도에 따라 분류하고, 저장하여, 이를 이미지 가공을 위한 데이터로 활용할 수 있다. 또 다른 예로, 캡슐 내시경 장치는 자신이 해당 구역에서 리더 모드일 때만 영상처리부(520)에서 가공된 이미지를 저장할 수 있다. 이러한 메모리 관리 방법으로 인해, 캡슐 내시경 장치는 장기간 촬영되는 이미지로부터 의료적 정보를 가지는 이미지 데이터만을 저장할 수 있으며, 이를 체내 구역별로 구분하여 관리함으로써 메모리 관리의 효율화, 최적화를 수행할 수 있다. 여기서, "폴더"라는 용어를 사용하였으나, 이와 같이 지칭하지 않더라도 촬영 이미지를 분류하고 저장하는데 적합한 방식이라면, 그 용어를 불문하고 본 발명과 유사한 기술적 의의를 가지고 있다고 할 것이다.
도 5 및 도 13을 참조하면, 캡슐 내시경 장치(500)의 통신모듈(530)은 무선 통신 방식으로 가공 처리된 이미지를 다른 캡슐 내시경 장치 또는 단말에 송수신할 수 있다.
통신모듈(530)은 무선 통신 방식으로 가공 처리된 이미지를 다른 캡슐 내시경 장치 또는 단말에 송수신할 수 있다. 예를 들어, 통신모듈(530)은 체내에서 다른 캡슐 내시경 장치와 데이터를 송수신 할 수 있다. 여기서 데이터는 가공 처리된 이미지, 위치 정보, 메타 정보 등을 포함할 수 있다. 다른 예로, 통신모듈(530)은 정밀 진단 절차에서 다른 캡슐 장치로부터 가공 처리된 하나 이상의 제1 이미지를 수신할 수 있다.
일 예로, 무선 통신 방식은 RF 통신, 체내신체통신(HBC) 방식 등이 있을 수 있다. RF 통신은 RF 통신 방식은 안정적으로 데이터를 통신할 수 있는 장점이 있는 반면, 많은 데이터가 빠른 속도로 전송되기 위해서는 많은 전력 소모가 일어난다는 단점이 존재한다. 신체 통신은 저전력으로 빠르게 데이터 전송이 가능하다는 장점이 있으나, 전극이 신체와 안정적으로 접촉이 되어야만 안정적인 통신이 가능하다는 문제점이 존재한다. 이에 RF 통신과 신체 통신 방식을 함께 사용하는 방식도 있을 수 있다.
또한, 통신모듈(530)은, 검사가 완료되어 캡슐이 배출되면, 무선 통신을 통해 캡슐 내시경 장치에 저장된 데이터를 사용자 단말 또는 의료 서비스 플랫폼에 전송할 수 있다.
도 13b는 캡슐 내시경 장치가 사용자의 단말 또는 의료기관 관리 서버에 단방향으로 통신을 수행하는 구조에 대해 설명한다. 도 13c는 캡슐 내시경 장치가 수집한 데이터를 의료기관에 전송하는 것에 대한 개념도이다.
도 13a는 신체 내부에서 캡슐 내시경 장치간 통신을 수행하는 포맷을 나타낸다. 캡슐 내시경 장치 A와 캡슐 내시경 장치 B는 각 통신 모듈을 통해 양방향 통신을 할 수 있다. 이 때, 데이터 포맷은 start, end 포인트를 기점으로 내부에 컨트롤 필드, 메타 데이터, 데이터 블록, FCS 등을 포함할 수 있다. 여기서, 메타데이터에는 캡슐 내시경 장치의 위치 정보, 촬영 시점 및 병변에 관한 데이터 등이 포함될 수 있다.
통신모듈(530)는 송신과 수신이 동시에 가능한 전이중 통신 방식을 사용할 수 있으며, 이로 인해 통신 채널에 접속되어 있는 다수의 캡슐 내시경 장치와 통신할 수 있다. 또한, 통신모듈(530)은 송신과 수신을 시간에 따라 전송할 수 있는 저전력 장치인 반이중 통신 방식을 사용할 수도 있다.
통신모듈(530)의 양방향 통신 방식은, 다수의 캡슐 내시경 장치가 각 장치가 검출한 병변 의심 영역에 관한 데이터 및 가공 처리한 이미지 등을 서로 전송하고 공유하는 협력 관계를 가질 수 있게 한다. 또한, 각 캡슐 내시경 장치는 자신의 위치 정보를 다른 캡슐 내시경 장치에 전송함으로써, 정밀 진단 절차에서 보다 다양한 각도에서 보다 많은 촬영 데이터를 얻을 수 있도록 서로 협력할 수 있다. 또한 통신모듈(530)은 통신 과정에서 시차가 존재할 경우 데이터 교환에 오류가 발생할 가능성이 있기 때문에 시차를 맞추어 수신이 가능한 동기식 전송 방법을 사용할 수도 있다. 예를 들어, 비트 지향 동기화 방법으로 전송 데이터의 시작과 끝을 알리는 flag를 사용함으로써 블록단위로 비트를 전송할 수 있다. 양방향 통신 방식에서는 저가 저전력 장치로 데이터 송수신이 가능하게 하는 통신 방식이라면 전이중 통신 방식, 반이중 통신 방식에 한정하지 않고 사용 가능하다. 전술한 통신 방법 이외에도, 신체 내부에서 캡슐 내시경 장치간 통신 방식은 다양한 방법으로 구현될 수 있다.
캡슐 내시경 장치(500)는 체내를 순회하는 동안 촬영, 진단, 이미지 가공 처리 과정을 반복적으로 진행하고, 캡슐 내시경 장치가 배출된 후엔 저장된 데이터를 사용자 단말 또는 의료기관의 플랫폼에 전송할 수 있다. 도 13b 및 도 13c는 본 발명의 캡슐 내시경 장치(500)가 무선 통신 방식으로 의료기관의 플랫폼 또는 서버로 전송하는 것을 나타내는 통신구조와 개념도를 나타낸 것이다.
종래 캡슐 내시경 검사가 의료기관에서만 이루어지던 것에 비해, 본 발명의 캡슐 내시경 장치는 의료진 없이도 병변 진단을 일부 자동적으로 수행할 수 있고, 이미지에 대한 가공 처리까지 완료되기 때문에, 꼭 의료기관에서 결과를 확인해야 할 필요가 없다. 이에, 본 발명의 캡슐 내시경 장치는 피검사자가 병원을 퇴원하고 나서도 해당 의료기관의 플랫폼 또는 사용자 단말을 통해 이미지 가공 처리로 정제된 데이터를 전송할 수 있다. 이 경우, 피검사자는 오랜 시간 병원에서 캡슐 내시경 장치가 배출되기만을 기다리지 않아도 되며, 진단의 편의성 측면을 크게 개선할 수 있다.
이를 위해, 캡슐 내시경 장치(500)의 통신모듈(530)은 도 13b와 같은 단방향 통신을 수행할 수 있으며, 캡슐 내시경 장치가 의료기관의 플랫폼(또는 관리 서버) 또는 사용자 단말에 데이터를 무선으로 전송할 수 있다. 일 예로, 통신모듈(530)은 저장부(540)에 저장된 데이터를 디지털 신호로 변환하고, 변조를 위한 고주파 변조 과정을 통해 장거리 무선 통신을 수행할 수 있다. 이때는 이미 캡슐 내시경 장치가 체외로 배출된 시점으로, 장거리 무선 통신 방식을 수행해도 되며, 한 번에 많은 양의 데이터를 손상없이 안전하게 전송할 수 있는 다양한 통신 방식이 사용될 수 있다.
다른 실시 예에 따르면, 본 발명의 캡슐 내시경 장치는 개인 의료 정보 등 민감한 데이터를 다루고 있으므로, 데이터 전송에 있어 암호화 방식이 적용될 수 있다. 예를 들어, 데이터의 신뢰성을 보장하기 위하여 ACK로 데이터 전송을 확인할 수 있는 양방향 통신 기법 또는 전송 제어 프로토콜에서 통신을 수행하는 장치간 연결 상태를 확인하는 과정에서 3-way handshaking 방식과 같이 다양한 방식이 적용될 수 있다.
또 다른 예로, 데이터 전송 단계에서 안전한 정보 전달을 위해 도 14a 및 도14b와 같이 종단간 암호화, VPN 등의 기술이 사용될 수 있다.
도 14a 및 도 14b는 다른 실시 예에 따른 데이터 통신에서 암호화 기술을 적용하는 것을 설명하는 개념도이다. 도 14a를 참조하면, 캡슐 내시경 장치(500)의 통신모듈(530)은 캡슐 내시경 장치(500)가 배출된 곳의 위치 정보를 파악하고, 저장부(540)에 저장된 데이터를 암호화하여, 암호화된 데이터를 관리 서버에 전송할 수 있다. 이러한 암호화 기법은 캡슐 내시경 장치에 저장된 키(개인키, 공개키, 비밀키 등)에 관한 정보가 없이는 복호화할 수 없기 때문에, 데이터 전송의 안전성, 신뢰성을 담보한다. 도 14b를 참조하면, 캡슐 내시경 장치(500)의 통신모듈(530)은 VPN을 이용하여 암호화된 데이터를 VPN을 통해 한번 더 보안화함으로써 보다 안전한 데이터 전송을 수행할 수 있다.
데이터 전송 시작 단계에서부터 암호화된 데이터를 전달하는 경우 스니핑 등의 공격으로 정보가 탈취되어도 캡슐 내시경 장치에 저장된 키 정보 없이는 복호화를 할 수 없어 안전하다.
도 15는 다른 실시 예에 따른 신체의 바디맵을 작성하는 것에 대해 설명하는 일 예이다. 본 발명의 캡슐 내시경 장치를 이용한 검사는 체내 구역에 관한 위치 정보를 산출할 수 있다. 이를 이용하여 의료기관 또는 장치의 의료 서비스 플랫폼은 이를 사람의 바디맵에 매핑하여 사용자 맞춤형 바디맵을 작성할 수 있다. 도 15a를 참조하면, 의료 서비스 플랫폼은 주요 장기를 기준으로 약 3개의 구역(구역 A, 구역 B, 구역 C)으로 나눌 수 있다. 검사자 및 피검사자는 바디맵을 기준으로, 병변 의심 영역 검출 지점을 보다 신속하고 편리하게 확인 가능하다. 또한, 이러한 캡슐 내시경 장치를 이용한 내시경 검사를 여러 번 누적하여 받는 경우, 누적된 데이터를 바탕으로 병변의 상태 변화를 보다 쉽게 추적할 수 있다. 만일, 의료진의 진단에 의해 해당 병변이 단순한 용종 등으로 진단받는 경우, 관련된 질환이나 건강 상태에 관한 정보를 사용자에게 제공해줄 수 있다. 도 15b는 1년전, 현재의 병변 발생 위치를 기준으로, 차년도 예상 병변 위치 등을 예측할 수 있음을 설명하는 그림이다.
또 다른 실시 예에 따르면, 도 16은 다른 실시 예에 따른 모바일 플랫폼과 연동을 통해 사용자에 진단 결과를 제공하는 것을 설명하는 개념도이다. 도 16을 참조하면, 본 발명의 캡슐 내시경 장치가 병변 진단을 지원한 결과는, 의료 서비스 플랫폼을 통해 사용자에게 전달될 수 있다. 예를 들어, 의료 서비스 플랫폼이 모바일 장치를 통해 사용자에게 정보를 제공하는 경우, 도 16에서와 같이 검사 현황, 진료기록 및 그와 관련된 팁, 건강관리에 관한 정보 등이 본 발명의 캡슐 내시경 장치를 이용한 진단 결과와 함께 제공될 수 있다. 일 예로, 이러한 경우 피검사자는 의료기관에 방문하지 않아도 캡슐 내시경 장치의 병변 진단 결과를 바로 의료 서비스 플랫폼을 통해 확인할 수 있고, 추후 의료진이 의료 소견을 해당 의료 서비스 플랫폼을 통해 입력하는 경우 원격 의료 서비스 등이 지원될 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서 (parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능 하다.
500: 캡슐 내시경 장치
510: 촬영부
520: 영상처리부
530: 통신모듈
540: 저장부
550: 진단지원모델
560: 제어부
570: 흡탈착부
512: 센서부
515: 조명
510: 촬영부
520: 영상처리부
530: 통신모듈
540: 저장부
550: 진단지원모델
560: 제어부
570: 흡탈착부
512: 센서부
515: 조명
Claims (14)
- 하나 이상의 체내 이미지를 촬영하는 촬영부;
상기 이미지 내에서 병변 의심 영역을 검출하고, 소정의 임계치 이상의 병변 의심 영역이 검출되는 경우 정밀 진단 절차를 수행하는 제어부;
접착표면의 미세구조와 맞물려 체내 내벽에 흡착하고, 접착표면의 수분 흡수를 통해 물기를 제거하고 수분 배출을 통해 접착표면을 복원함으로써 탈착하는 흡탈착부;
상기 정밀 진단 절차에서, 상기 이미지를 가공 처리하는 영상 처리부; 및
무선 통신 방식으로 상기 가공 처리된 이미지를 다른 캡슐 내시경 장치 또는 단말에 송수신하는 통신모듈;을 포함하는, 병변 진단 지원을 위한 캡슐 내시경 장치. - 제1항에 있어서,
영상 처리부는, 상기 정밀 진단 절차에서, 상기 촬영부에서 촬영한 이미지에 대해 전처리를 수행하고,
제어부는 체내 구역별로 병변 의심 영역을 분석하여 병변 해당 여부를 진단하는 진단부를 더 포함하는, 병변 진단 지원을 위한 캡슐 내시경 장치. - 제2항에 있어,
제어부는 상기 전처리 결과 이미지의 밝기 조절이 필요하다고 판단되면 상기 촬영부의 조명을 조절하는 것을 더 포함하는, 병변 진단 지원을 위한 캡슐 내시경 장치. - 제1항에 있어서,
통신모듈은 상기 정밀 진단 절차에서 다른 캡슐 장치로부터 가공 처리된 하나 이상의 제1 이미지를 수신하고,
영상 처리부는 상기 하나 이상의 제1 이미지를 상기 병변 의심 영역에 관한 정보를 포함하는 제2 이미지로 정합하는 가공을 처리하는, 병변 진단 지원을 위한 캡슐 내시경 장치. - 제4항에 있어서,
영상 처리부는 상기 하나 이상의 제1 이미지를 다운 샘플링하여 특징점을 추출하고, 상기 추출된 특징점을 기본 이미지의 특징과 매칭하는 방법으로 상기 제2 이미지를 정합하는, 병변 진단 지원을 위한 캡슐 내시경 장치. - 제1항에 있어서,
지자계 센서, 가속도 센서 및 타이머 센서 중 하나 이상을 포함하는 센서부를 더 포함하고,
제어부는, 상기 센서부의 센싱 결과를 기초로 체내 구역별 위치 정보를 계산하는 것을 더 포함하는, 병변 진단 지원을 위한 캡슐 내시경 장치. - 제6항에 있어서,
제어부는, 상기 정밀 진단 절차에서, 상기 체내 구역별 위치 정보를 기초로 기 설정된 리더 모드 또는 팔로우 모드로 전환하고,
통신모듈은, 리더 모드인 경우 다른 캡슐 내시경 장치로부터 1차 가공된 제1이미지를 수신하고, 팔로우 모드인 경우 다른 캡슐 내시경 장치에 1차 가공된 제1 이미지 송신하는, 병변 진단 지원을 위한 캡슐 내시경 장치. - 제1항에 있어서,
촬영부는 서로 다른 위치에 배치되어 다시점 이미지를 촬영하는 멀티 카메라 모듈을 포함하고,
영상 처리부는 상기 다시점을 가지는 복수개의 이미지로부터 옴니뷰(Omni-view) 이미지를 생성하는, 병변 진단 지원을 위한 캡슐 내시경 장치. - 삭제
- 하나 이상의 체내 이미지를 촬영하는 단계;
상기 이미지 내에서 병변 의심 영역을 검출하고, 소정의 임계치 이상의 병변 의심 영역이 검출되는 경우 정밀 진단 절차를 수행하는 단계;
접착표면의 미세구조와 맞물려 체내 내벽에 흡착하고, 접착표면의 수분 흡수를 통해 물기를 제거하고 수분 배출을 통해 접착표면을 복원함으로써 탈착하는 단계;
상기 정밀 진단 절차에서, 상기 이미지를 가공 처리하는 단계 및
무선 통신 방식으로 상기 가공 처리된 이미지를 다른 캡슐 내시경 장치 또는 단말에 송수신하는 단계;를 포함하는, 캡슐 내시경 장치를 이용한 병변 진단 지원 방법. - 제10항에 있어서,
상기 이미지를 가공 처리하는 단계는, 상기 촬영한 이미지에 대해 전처리를 수행하는 단계이고,
체내 구역별로 병변 의심 영역을 분석하여 병변 해당 여부를 진단하는 단계를 더 포함하는, 캡슐 내시경 장치를 이용한 병변 진단 지원 방법. - 제11항에 있어서,
전처리 결과 이미지의 밝기 조절이 필요하다고 판단되면 촬영부의 조명을 조절하는 단계를 더 포함하는, 캡슐 내시경 장치를 이용한 병변 진단 지원 방법. - 제10항에 있어서,
상기 정밀 진단 절차에서, 체내 구역별 위치 정보를 기초로 기 설정된 리더 모드 또는 팔로우 모드로 전환하는 단계;
리더 모드인 경우 다른 캡슐 내시경 장치로부터 1차 가공된 제1 이미지를 수신하는 단계; 및
수신한 하나 이상의 제1 이미지를 상기 병변 의심 영역에 관한 정보를 포함하는 제2 이미지로 정합하는 단계를 더 포함하는, 캡슐 내시경 장치를 이용한 병변 진단 지원 방법. - 제13항에 있어서,
상기 제2 이미지로 정합하는 단계는,
상기 제1 이미지를 다운 샘플링하여 특징점을 추출하고, 상기 추출된 특징점을 기본 이미지의 특징과 매칭하는 방법으로 상기 제2 이미지를 정합하는 단계인 것을 특징으로 하는, 캡슐 내시경 장치를 이용한 병변 진단 지원 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210089323A KR102625668B1 (ko) | 2021-07-07 | 2021-07-07 | 캡슐 내시경 장치 및 병변 진단 지원 방법 |
| US17/857,583 US20230008154A1 (en) | 2021-07-07 | 2022-07-05 | Capsule endoscope apparatus and method of supporting lesion diagnosis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210089323A KR102625668B1 (ko) | 2021-07-07 | 2021-07-07 | 캡슐 내시경 장치 및 병변 진단 지원 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230008959A KR20230008959A (ko) | 2023-01-17 |
| KR102625668B1 true KR102625668B1 (ko) | 2024-01-18 |
Family
ID=84799445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210089323A KR102625668B1 (ko) | 2021-07-07 | 2021-07-07 | 캡슐 내시경 장치 및 병변 진단 지원 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230008154A1 (ko) |
| KR (1) | KR102625668B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116965765B (zh) * | 2023-08-01 | 2024-03-08 | 西安交通大学医学院第二附属医院 | 基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
| CN117204790B (zh) * | 2023-09-12 | 2024-01-30 | 南京诺源医疗器械有限公司 | 一种内窥镜的图像处理方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102058192B1 (ko) * | 2018-06-12 | 2019-12-20 | 아주대학교산학협력단 | 캡슐내시경의 촬영 제어 시스템 및 방법 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4832724B1 (ko) * | 1969-08-18 | 1973-10-08 | ||
| JPS5720168Y2 (ko) * | 1973-05-31 | 1982-04-30 | ||
| US20020099310A1 (en) * | 2001-01-22 | 2002-07-25 | V-Target Ltd. | Gastrointestinal-tract sensor |
| US20020109774A1 (en) * | 2001-01-16 | 2002-08-15 | Gavriel Meron | System and method for wide field imaging of body lumens |
| CA2435205A1 (en) * | 2001-01-22 | 2002-08-01 | V-Target Technologies Ltd. | Ingestible device |
| KR100417163B1 (ko) | 2001-11-12 | 2004-02-05 | 한국과학기술연구원 | 마이크로 캡슐형 로봇 |
| CN101264001B (zh) * | 2003-04-25 | 2010-11-10 | 奥林巴斯株式会社 | 图像显示装置 |
| JP4388318B2 (ja) * | 2003-06-27 | 2009-12-24 | オリンパス株式会社 | 画像処理装置 |
| JP4349856B2 (ja) * | 2003-07-07 | 2009-10-21 | Ｈｏｙａ株式会社 | 自動調光可能な電子内視鏡装置 |
| US7319781B2 (en) * | 2003-10-06 | 2008-01-15 | Carestream Health, Inc. | Method and system for multiple passes diagnostic alignment for in vivo images |
| WO2005039399A1 (ja) * | 2003-10-27 | 2005-05-06 | Olympus Corporation | 画像処理装置、画像処理方法及び画像処理プログラム |
| US7998060B2 (en) * | 2004-04-19 | 2011-08-16 | The Invention Science Fund I, Llc | Lumen-traveling delivery device |
| KR100702155B1 (ko) * | 2005-05-12 | 2007-04-02 | 한국과학기술연구원 | 캡슐형 마이크로 로봇 구동 시스템 |
| JP4418400B2 (ja) * | 2005-05-20 | 2010-02-17 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
| US20070161854A1 (en) * | 2005-10-26 | 2007-07-12 | Moshe Alamaro | System and method for endoscopic measurement and mapping of internal organs, tumors and other objects |
| JP4789607B2 (ja) * | 2005-12-05 | 2011-10-12 | オリンパスメディカルシステムズ株式会社 | 受信装置 |
| EP1969992B1 (en) * | 2005-12-28 | 2012-05-02 | Olympus Medical Systems Corp. | Image processing device and image processing method in the image processing device |
| US8672836B2 (en) * | 2007-01-31 | 2014-03-18 | The Penn State Research Foundation | Method and apparatus for continuous guidance of endoscopy |
| KR100868339B1 (ko) * | 2007-11-15 | 2008-11-12 | 주식회사 인트로메딕 | 의료용 영상 데이터의 디스플레이 방법과 의료용 영상데이터를 이용한 캡쳐 영상 제공 시스템 및 그 방법 |
| WO2010005571A2 (en) * | 2008-07-09 | 2010-01-14 | Innurvation, Inc. | Displaying image data from a scanner capsule |
| KR101203719B1 (ko) * | 2008-12-16 | 2012-11-21 | 한국전자통신연구원 | 캡슐형 내시경 시스템, 의료용 시스템 및 의료용 시스템의 동작방법 |
| US20100165088A1 (en) * | 2008-12-29 | 2010-07-01 | Intromedic | Apparatus and Method for Displaying Capsule Endoscope Image, and Record Media Storing Program for Carrying out that Method |
| WO2011005865A2 (en) * | 2009-07-07 | 2011-01-13 | The Johns Hopkins University | A system and method for automated disease assessment in capsule endoscopy |
| JPWO2011024999A1 (ja) * | 2009-08-28 | 2013-01-31 | 北海道公立大学法人 札幌医科大学 | 浸潤性大腸腫瘍検出用の検体 |
| WO2012123881A2 (en) * | 2011-03-16 | 2012-09-20 | Koninklijke Philips Electronics N.V. | Medical instrument for examining the cervix |
| US8896679B2 (en) * | 2011-09-16 | 2014-11-25 | The Invention Science Fund I, Llc | Registering a region of interest of a body part to a landmark subsurface feature of the body part |
| US9795330B2 (en) * | 2011-12-15 | 2017-10-24 | Given Imaging Ltd. | Device, system and method for in-vivo detection of bleeding in the gastrointestinal tract |
| US9854958B1 (en) * | 2013-03-23 | 2018-01-02 | Garini Technologies Corporation | System and method for automatic processing of images from an autonomous endoscopic capsule |
| US11324451B2 (en) * | 2017-06-26 | 2022-05-10 | Bruce Reiner | Nanobots with embedded biosensors |
| US11055843B2 (en) * | 2017-06-14 | 2021-07-06 | Electronics And Telecommunications Research Institute | Capsule endoscope for determining lesion area and receiving device |
| WO2019008565A1 (en) * | 2017-07-03 | 2019-01-10 | Check-Cap Ltd. | CAPSULE FOR SAMPLING AND DISPERSION OF BACTERIA |
| KR102237441B1 (ko) | 2018-02-28 | 2021-04-07 | 이화여자대학교 산학협력단 | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 |
| EP3826527B1 (en) * | 2018-07-25 | 2023-12-13 | Check-Cap Ltd. | System and method for polyp detection through capsule dynamics |
| KR102292404B1 (ko) * | 2019-08-12 | 2021-08-20 | 아주대학교산학협력단 | 캡슐 내시경, 캡슐 내시경과 연동하는 수신 장치 및 캡슐 내시경 제어 방법 |
-
2021
- 2021-07-07 KR KR1020210089323A patent/KR102625668B1/ko active IP Right Grant
-
2022
- 2022-07-05 US US17/857,583 patent/US20230008154A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102058192B1 (ko) * | 2018-06-12 | 2019-12-20 | 아주대학교산학협력단 | 캡슐내시경의 촬영 제어 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230008959A (ko) | 2023-01-17 |
| US20230008154A1 (en) | 2023-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8396327B2 (en) | Device, system and method for automatic detection of contractile activity in an image frame | |
| US20230008154A1 (en) | Capsule endoscope apparatus and method of supporting lesion diagnosis | |
| CN1284505C (zh) | 医用无线电胶囊式内窥系统 | |
| WO2020147196A1 (zh) | 智能控制胶囊式内窥镜在消化道不同部位工作方法及装置 | |
| CN201870615U (zh) | 医用大广角检查镜 | |
| JP5873230B2 (ja) | 生体内撮像デバイスおよび生体内撮像デバイスの作動方法 | |
| US20170020374A1 (en) | Controlled image capturing method including position tracking and system used therein | |
| US20100152534A1 (en) | Capsule endoscopy system, medical system, and operation method of medical system | |
| JP2017534322A (ja) | 膀胱の診断的マッピング方法及びシステム | |
| CN1647749A (zh) | 双工多通道智能胶囊无线内窥镜系统 | |
| KR20180128215A (ko) | 캡슐내시경의 촬영 제어 방법 및 시스템 | |
| CN110772210B (zh) | 一种诊断交互系统及方法 | |
| CN102160773B (zh) | 基于数字图像导航的体外磁控制取样胶囊系统 | |
| CN202654130U (zh) | 具有超声功能的胶囊内镜系统 | |
| KR102058192B1 (ko) | 캡슐내시경의 촬영 제어 시스템 및 방법 | |
| CN102525394A (zh) | 具有电子ccd摄像系统和夜视摄像头的胶囊小肠镜系统 | |
| JP2005021516A (ja) | 電子内視鏡システム | |
| CN202015159U (zh) | 有线数据传输型胶囊内镜系统 | |
| CN2766769Y (zh) | 双工多通道智能胶囊无线内窥镜系统 | |
| CN202191263U (zh) | 胶囊形内窥镜系统 | |
| KR20180128216A (ko) | 지능형 캡슐내시경 및 이를 이용한 촬영 방법 | |
| CN2706123Y (zh) | 医用无线电胶囊式内窥系统 | |
| CN202437057U (zh) | 具有双向光学相干层析成像功能的胶囊小肠镜系统 | |
| CN202408823U (zh) | 具有夜视功能的胶囊小肠镜系统 | |
| CN202408818U (zh) | 具有电子ccd摄像系统和夜视摄像头的胶囊小肠镜系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |