KR20180128215A - 캡슐내시경의 촬영 제어 방법 및 시스템 - Google Patents

캡슐내시경의 촬영 제어 방법 및 시스템 Download PDF

Info

Publication number
KR20180128215A
KR20180128215A KR1020170063457A KR20170063457A KR20180128215A KR 20180128215 A KR20180128215 A KR 20180128215A KR 1020170063457 A KR1020170063457 A KR 1020170063457A KR 20170063457 A KR20170063457 A KR 20170063457A KR 20180128215 A KR20180128215 A KR 20180128215A
Authority
KR
South Korea
Prior art keywords
capsule endoscope
image
intelligent terminal
lesion
endoscope
Prior art date
Application number
KR1020170063457A
Other languages
English (en)
Other versions
KR102010000B1 (ko
Inventor
선우명훈
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020170063457A priority Critical patent/KR102010000B1/ko
Publication of KR20180128215A publication Critical patent/KR20180128215A/ko
Application granted granted Critical
Publication of KR102010000B1 publication Critical patent/KR102010000B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass
    • G06N99/005
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)

Abstract

캡슐내시경의 촬영을 제어하는 시스템이 개시된다.
본 발명의 일 실시예에 따른 캡슐내시경의 촬영 제어 시스템은 지능형 단말로부터 제어 신호를 수신하고, 상기 제어 신호에 따라 복수 개의 촬영 모드 중에서 어느 하나의 촬영 모드를 선택하여 촬영을 수행하고, 촬영한 영상을 상기 지능형 단말로 송신하는 캡슐내시경; 및 상기 영상이 촬영된 부위의 위치를 추정하고, 상기 영상이 촬영된 부위의 병변 의심 여부를 판단하고, 상기 위치 추정 결과 및 상기 병변 의심 여부 판단 결과 중 적어도 하나에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 제어 신호를 상기 캡슐내시경으로 전송하는 지능형 단말을 포함할 수 있다.

Description

캡슐내시경의 촬영 제어 방법 및 시스템 {Method and system for shooting control of capsule endoscope}
본 발명은 캡슐내시경의 촬영을 제어하는 방법 및 그 시스템에 관한 것이다. 보다 자세하게는 캡슐내시경의 위치를 분석하고, 병변이 의심되는 부위는 보다 정밀하게 촬영을 수행하여, 클리어 뷰(CV; Clear View)를 촬영하도록 제어하는 방법 및 그 방법을 수행하는 시스템에 관한 것이다.
캡슐내시경(Capsule Endoscope)은 두께 11mm, 길이 26mm, 무게 4g으로 우리가 흔히 보는 비타민 정제 정도의 크기로 주로 소장 검사용으로 개발되었다. 허리에 수신기를 착용하고 공복 상태에서 캡슐을 먹으면 수신기는 캡슐로부터 영상 정보를 수신하여 저장한다.
수신기는 캡슐이 1초당 2~3장씩 촬영한 영상 정보(2~3 fps)를 받아서 저장해 둔다. 8~12시간 동안 검사가 진행되는데, 검사 받는 사람은 그 동안 자연스럽게 일상생활이 가능하다. 캡슐을 삼킨 후 2시간부터 물을 마실 수 있고, 4시간 후부터 식사도 가능하다. 검사가 끝나면 의사는 수신기를 컴퓨터에 연결해 기록된 정보를 확인한다.
이처럼 캡슐내시경은 피검자가 구강을 통해 삼킨 후 자연배출 되는 시간 동안 소화기관에 걸쳐 소장까지 6-12만 장의 방대한 영상을 촬영한다. 무선 RF 통신 또는 인체 통신 방식으로 수신기에 전송 및 저장되는 방대한 영상들은 컴퓨터에 내려 받은 후 검사자(의사, 영상의학 의료진 등)에 의해 판독이 이루어진다.
이러한 종래의 캡슐내시경 시스템은 실시간으로 영상을 확인하고, 캡슐을 직접 제어할 수 없기 때문에 중요도가 높은 병변 의심 부위의 충분한 클리어 뷰(CV; Clear View)를 얻는데 어려움이 있다. 또한, 방대한 양의 영상을 의료진이 진단하려면 상당한 시간이 소모된다.
이를 해결하기 위해 종래의 캡슐내시경 판독 프로그램은 촬영된 전체 캡슐내시경 영상을 한 번에 조망할 수 있는 맵 뷰(map view), 전체 내시경 영상의 특정 범위를 자세히 관찰할 수 있는 레인지 뷰(range view)와 같은 기술을 제공한다. 하지만 이러한 기술들을 활용해 정확한 진단을 수행하기 위해서는 병변 의심 부위에 대한 충분한 클리어 뷰 확보가 선행되어 한다.
이에 병변 의심 부위는 보다 고화질의 선명한 영상을 얻을 수 있는 캡슐내시경 촬영 제어 방법 및 그 방법을 수행하는 시스템에 대한 필요성이 점차 커지고 있다.
본 발명이 해결하고자 하는 기술적 과제는 캡슐내시경의 촬영을 제어하는 방법 및 그 방법을 수행하는 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 캡슐내시경의 촬영 제어 시스템은 지능형 단말로부터 제어 신호를 수신하고, 상기 제어 신호에 따라 복수 개의 촬영 모드 중에서 어느 하나의 촬영 모드를 선택하여 촬영을 수행하고, 촬영한 영상을 상기 지능형 단말로 송신하는 캡슐내시경; 및 상기 영상이 촬영된 부위의 위치를 추정하고, 상기 영상이 촬영된 부위의 병변 의심 여부를 판단하고, 상기 위치 추정 결과 및 상기 병변 의심 여부 판단 결과 중 적어도 하나에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 제어 신호를 상기 캡슐내시경으로 전송하는 지능형 단말을 포함할 수 있다.
바람직하게는, 상기 지능형 단말은, 상기 위치 추정 결과가 기 설정된 소화기관이거나 상기 병변 의심 여부 판단 결과가 병변 의심으로 판단된 경우에는, 상기 캡슐내시경이 정밀 촬영 모드로 촬영을 수행하도록 제어 신호를 송신하는 것이다.
바람직하게는, 상기 지능형 단말은, 상기 캡슐내시경이 프레임, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 정밀 촬영 모드로 촬영을 수행하도록 제어 신호를 송신하는 것이다.
바람직하게는, 상기 지능형 단말은, 피검사자에게 상기 캡슐내시경이 투입된 후 경과한 시간에 따른 캡슐내시경의 위치에 대한 학습 모델에 기초하여 상기 영상이 촬영된 부위의 위치를 추정하는 것이다.
바람직하게는, 상기 지능형 단말은, 상기 캡슐내시경에 내장된 가속 센서의 제1 측정값을 더 수신하고, 상기 제1 측정값에 기초하여 상기 영상이 촬영된 부위의 위치를 추정하는 것이다.
바람직하게는, 상기 지능형 단말은, 상기 지능형 단말에 내장된 가속 센서의 제2 측정값을 이용하여 상기 제1 측정값을 보정하고, 상기 보정된 제1 측정값에 기초하여 상기 영상이 촬영된 부위의 위치를 추정하는 것이다.
바람직하게는, 상기 지능형 단말은, 상기 캡슐내시경에 내장된 속도 센서의 측정값을 더 수신하고, 상기 측정값과 각 소화기관별로 기 측정된 속도의 범위를 비교하여, 상기 영상이 촬영된 부위의 위치를 추정하는 것이다.
바람직하게는, 상기 지능형 단말은, 캡슐내시경이 촬영한 영상이 어느 소화기관을 촬영한 영상인지 분류하는 학습 모델에 기초하여 상기 영상이 촬영된 부위의 위치를 추정하는 것이다.
바람직하게는, 상기 지능형 단말은, 상기 캡슐내시경이 촬영한 영상에 제1 색상이 기 설정된 값 이상으로 분포하는 경우에는 병변 의심으로 판단하는 것이다.
바람직하게는, 상기 지능형 단말은, 캡슐내시경이 촬영한 영상이 정상 부위를 촬영한 영상인지 병변 부위를 촬영한 영상인지 분류하는 학습 모델에 기초하여 상기 영상이 촬영된 부위의 병변 의심 여부를 판단하는 것이다.
바람직하게는, 상기 지능형 단말은, 상기 수신한 영상에 상기 위치 추정 결과, 상기 병변 의심 여부 판단 결과 및 상기 영상이 촬영된 모드 중 적어도 하나를 메타 정보로 추가하여 저장하는 것이다.
바람직하게는, 복수 개의 지능형 단말로부터 영상을 수신하여 저장하고, 복수 개의 영상을 기계 학습하여 캡슐내시경이 촬영한 영상이 정상 부위를 촬영한 영상인지 병변 부위를 촬영한 영상인지 분류하는 학습 모델을 생성하는 서버를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 캡슐내시경의 촬영 제어 방법은 지능형 단말이, 캡슐내시경으로부터 상기 캡슐내시경이 촬영한 영상을 수신하는 단계; 상기 지능형 단말이, 상기 영상이 촬영된 부위의 위치를 추정하는 단계; 상기 지능형 단말이, 상기 영상이 촬영된 부위의 병변 의심 여부를 판단하는 단계; 및 상기 지능형 단말이, 상기 위치 추정 결과 및 상기 병변 의심 여부 판단 결과 중 적어도 하나에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 제어 신호를 상기 캡슐내시경으로 전송하는 단계를 포함할 수 있다.
바람직하게는, 상기 제어 신호를 상기 캡슐내시경으로 전송하는 단계는, 상기 위치 추정 결과가 기 설정된 소화기관이거나 상기 병변 의심 여부 판단 결과가 병변 의심으로 판단된 경우에는, 상기 캡슐내시경이 정밀 촬영 모드로 촬영을 수행하도록 제어 신호를 송신하는 단계를 포함하되, 상기 정밀 촬영 모드는, 상기 캡슐내시경이 프레임, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 촬영을 수행하는 모드이다.
바람직하게는, 상기 영상이 촬영된 부위의 위치를 추정하는 단계는, 피검사자에게 상기 캡슐내시경이 투입된 후 경과한 시간 또는 상기 캡슐내시경에 내장된 가속 센서의 측정값 또는 상기 영상 중에서 하나 이상을 이용하여 상기 영상이 촬영된 부위의 위치를 추정하는 단계를 포함할 수 있다.
본 발명에 따른 효과는 다음과 같다.
본 발명에서 제안하는 캡슐내시경의 촬영을 제어하는 방법을 이용하면, 자연 배출되기까지 촬영만 수행할 뿐 체내에서 제어할 수 없어 병변으로 의심되는 부위의 영상을 충분히 확보할 수 없는 기존 캡슐내시경의 문제점을 해결할 수 있다. 즉 본 발명을 이용하면 캡슐내시경이 병변 의심 부위에서 충분한 영상을 촬영하여, 병변 의심 부위의 클리어 뷰를 얻을 수 있다.
또한 본 발명에서 제안하는 캡슐내시경의 촬영을 제어하는 방법을 이용하면, 캡슐내시경의 방대한 영상데이터 분석을 위해 소요되는 시간과 많은 전문 인력투입으로 발생하는 비용을 줄일 수 있다. 이를 통해 최종적으로는, 비용적인 부담으로 의료 혜택을 받지 못하는 환자들에게 양질의 의료 서비스를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 방법을 캡슐내시경 측면에서 살펴본 순서도이다.
도 4는 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 방법을 지능형 단말 측면에서 살펴본 순서도이다.
도 5a 내지 도 5b는 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경의 위치를 추정하는 알고리즘을 설명하기 위한 도면이다.
도 6a 내지 도 6c는 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경이 촬영한 영상을 분석하여 병변 의심 여부를 판단하는 알고리즘을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 신호 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경을 설명하기 위한 도면이다.
캡슐내시경(200)은 우리가 일상적으로 먹는 비타민 알약 크기의 전자장치이다. 피검사자가 캡슐내시경(200)을 삼키면 캡슐내시경(200)은 소화기관의 연동운동과 중력에 의해 이동하여 인체 소화기관 내부를 촬영하고 촬영된 정보를 통신을 통해 외부로 전달한다.
이처럼 캡슐내시경(200)은 사람이 삼켜도 될 만큼의 안정성을 가지는 바이오 기술(BT; Bio Technology)과 작은 캡슐에 다양한 소형 전자 부품이 결합된 나노 기술(NT; Nano Technology) 및 촬영한 영상을 전송하는 정보 통신 기술(IT; Information Technology)이 접목된 전자장치이다.
도 1을 참고하면 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경(200)은 광학 돔, LED를 포함한 광학계, 초소형 렌즈, 배터리, 텔레메트리(Telemetry), 안테나 등을 포함할 수 있다.
초소형 렌즈는 광학 돔을 통해 LED가 비춘 조명에 반사되는 신체 내부의 장기를 촬영한다. 이때 촬영된 영상 정보는 JPEG(Joint Photographic Coding Experts Group) 또는 이에 준하는 압축규격으로 압축된다. 이때 캡슐내시경(200)의 렌즈는 보다 넓은 영역을 촬영할 수 있도록 넓은 광각(FOV; Field of View)을 가지는 것이 바람직하며 일반적으로 최소 140도 이상으로 구현되고 있다.
그 이후 캡슐내시경 영상의 획득시간, 인체내 위치 정보, 캡슐 고유번호, 캡슐 내시경 수신부 번호, 검사고유번호, 환자번호, 환자명, 성별, 검사장소 등의 정보를 포함하는 헤더를 추가하여 국제 의료영상 표준인 DICOM(Digital Imaging and Communications in Medicine) 또는 이에 준하는 표준형식으로 변환시킨 후 수신기로 전송된다.
이러한 캡슐내시경(200)은 두께 11mm, 길이 26mm, 무게 4g 정도로 초소형이기 때문에 제한적인 배터리를 효율적으로 사용하는 것이 매우 중요하다. 하지만, 종래에는 캡슐내시경(200)이 배출되기까지 평균 12시간 정도의 시간동안 3fps 정도로 일정하게 신체 내부 장기를 촬영하였다.
1초당 3장 정도의 사진을 촬영하므로 12시간 동안에는 12 * 60 * 60 * 3 = 129,600의 수식에서 볼 수 있는 것처럼 대략 13만장의 사진을 촬영한다. 이처럼 캡슐내시경(200)이 촬영한 영상 정보의 수가 너무 많기 때문에 이를 모두 사람이 하나하나 검사하기란 불가능에 가깝다.
그렇기 때문에 캡슐내시경(200)이 촬영한 영상정보를 의료진에 제공하는 프로그램은 반복되는 영상 정보는 제거를 한다거나, 영상 정보를 한번에 조망할 수 있는 맵 뷰(map view)나 전체 내시경 영상의 특정 범위를 자세히 관찰할 수 있는 레인지 뷰(range view)와 같은 모드를 제공한다.
그러나 이러한 기술들을 활용해 정확한 진단을 수행하기 위해서는 병변 의심 부위에 대한 충분한 클리어 뷰 확보가 선행되어 한다. 이에 배터리를 효율적으로 사용하는 한편, 병변 의심 부위는 보다 선명한 영상을 확보할 수 있는 캡슐내시경(200)의 촬영을 제어하는 방법 및 그 시스템이 필요하다.
도 2는 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 캡슐내시경(200)의 촬영을 제어하는 시스템은 캡슐내시경(200)과 지능형 단말(300)을 포함할 수 있다. 또한 선택적으로 병원 서버(400)를 더 포함할 수 있다.
캡슐내시경(200)은 크기의 제약상 저장장치까지 내장하기는 어렵다. 캡슐내시경(200)이 촬영하는 영상은 촬영속도와 화질에 따라 달라질 수 있지만 최소 수 기가 바이트에서 최대 수십 기가 바이트에 이르기까지 큰 용량을 필요로 한다. 이에 대부분의 캡슐내시경(200)은 다양한 통신 방법을 통해 촬영한 영상을 수신기(Receiver)로 전송한다.
캡슐내시경(200)과 수신기는 RF 방식(Radio Frequency) 또는 HBC 방식(Human Body Communication) 등으로 통신을 수행할 수 있다. RF 방식의 주파수 대역은 402~405 MHz와 ISM(Industrial Scientific and Medical) 대역인 433.92 MHz가 대표적이다. 즉, RF 방식은 이미지 센서로부터 촬영된 정지 영상 데이터를 RF 모듈 및 송신 안테나를 거쳐 인체 밖으로 무선 송신하고 수신기는 이를 수신 안테나로 RF 수신하고 복조하여 데이터를 저장한다.
HBC 방식 또는 인체 통신 방식이라고 불리는 무선 통신 방식은 인체도 하나의 도전체임을 이용하여 캡슐내시경(200)에서 획득한 영상 디지털 정보를 미세 전압/전류 신호로 변환한 뒤 인체를 채널로 전송하면 몸에 부착한 패치가 전계 신호를 감지하여 검출한 뒤 복조하는 기술을 말한다. 이 기술은 IEEE 802.15.6 WPAN 산하 TG BAN(Body Area Network)에서 논의되고 있으며, 인체 채널 모델 중 인체 내부에서 인체 외부로의 통신 모델인 CM(Channel Model) 2에 해당하는 기술이다.
본 발명에서는 이러한 수신기의 역할을 지능형 단말(300)이 대신한다. 다만, 종래의 수신기가 단순히 캡슐내시경(200)과 무선 통신을 통해 촬영한 영상 정보를 수신하고 저장하는 것에 그쳤다면, 본 발명의 지능형 단말(300)은 수신한 영상을 분석하고 이를 피드백으로 캡슐내시경(200)에 제어 신호를 전송할 수 있다.
그리고 지능형 단말(300)은 유/무선 통신을 통해서 캡슐내시경(200)이 전송한 영상 정보를 병원 서버(400)에 전송할 수 있다. 병원 내의 의료진은 병원 서버(400)에 접속하여 캡슐내시경(200)이 촬영한 영상을 통해 병변이 있는지를 판독한다.
이때 비디오 동영상과 같은 편의 기능도 제공되며, 전방향 및 역방향 탐색도 가능하다. 판독시간 단축을 위해 병변이 의심되는 지점을 자동으로 알리는 기술이 개발되고 있으며, 아울러 병변이 어느 지점에서 발생했는지 보다 정밀하게 알 수 있는 기술도 개발되고 있다.
본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템에서 종래의 수신기와 지능형 단말(300)이 가지는 가장 큰 차이점은 캡슐내시경(200)이 촬영한 영상을 단순히 저장하기만 하는지 아니면 수신한 영상을 분석하여 캡슐내시경(200)에 제어 신호를 전송할 수 있는지에 있다. 본 발명의 지능형 단말(300)은 스마트폰과 같이 피검사자(100)가 휴대 가능한 소형 기기임에도 복잡한 연산의 처리가 가능한 기기이다.
물론 지능형 단말(300)은 병원 서버(400)에 비해서는 연산 능력이 떨어질 수 밖에 없다. 그러나 병원 서버(400)는 10만장에 달하는 영상 정보를 분석하기 위한 높은 연산 능력이 필요한 기기이고, 지능형 단말(300)은 캡슐내시경(200)이 촬영한 영상을 간소화된 알고리즘으로 분석하고 병변 의심 부위인지 판단하는 정도의 낮은 연산 능력으로 충분한 기기이다.
본 발명의 지능형 단말(300)은 캡슐내시경(200)에서 촬영한 영상을 이용해 병변 의심 부위를 실시간으로 판별하는 CAD(Computer-Aided Diagnosis)로서의 기능을 수행하고, 분석 결과 병변이 검출된 때에는, 캡슐내시경(200)에 고화질/고프레임 촬영을 지시한다. 또한, 캡슐의 영상 촬영 위치를 추정하여 위, 십이지장, 대장 등 기관별로 영상을 분류한다.
캡슐내시경 검사를 마친 후, 병원 서버(400)에 분류되어 전송되는 병변 의심 부위에 집중된 고프레임의 클리어 뷰와 촬영 위치 정보는 정밀한 진단의 보조도구로 사용되어 종래의 캡슐내시경 시스템 대비 진단율을 더욱 높이는 효과를 나타낼 수 있다. 또한, 방대한 영상의 분석과 분류에 소요되는 시간을 줄임으로써 전문 인력투입 측면의 부담을 줄여 비용 부담으로 의료 혜택을 받기 힘든 사람들에게 수준 높은 의료 서비스를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 방법을 캡슐내시경 측면에서 살펴본 순서도이다.
도 3을 참고하면 캡슐내시경(200) 측면에서 살펴본 촬영 제어 방법을 볼 수 있다. 본 발명의 캡슐내시경(200)은 지능형 단말(300)과 주기적으로 통신을 하면서 제어 신호를 수신하고 확인한다(S1100). 해당 제어 신호는 캡슐내시경(200)의 촬영과 관련된 제어 신호이다.
예를 들면 캡슐내시경(200)의 LED의 세기나 카메라의 촬영 프레임 또는 해상도와 관련된 제어 신호이다. 캡슐내시경(200)은 제어 신호를 수신한 후 고화질 또는 고프레임으로 촬영하라는 제어 신호인 경우(S1200), 캡슐내시경(200)의 카메라 설정을 변경하여 고화질 또는 고프레임으로 촬영을 수행한다(S1300).
반면에 고화질 또는 고프레임으로 촬영하라는 제어 신호가 아닌 경우에는 일반 촬영 모드로 촬영을 수행한다(S1350). 고화질 또는 고프레임보다는 낮은 저화질 및 저프레임으로 촬영을 수행한다. 즉 본 발명의 일 실시예에 따른 캡슐내시경(200)은 최소 2가지 이상의 촬영 모드를 가지고 있다.
하나는 일반 촬영 모드라고 불리는 촬영 모드로써, 배터리의 소모를 최소화할 수 있으나 상대적으로 선명하지 못한 영상을 확보하는 촬영 모드이다. 그리고 다른 하나는 고화질 촬영 모드로 일반 촬영 모드보다 배터리는 더 소모하나 선명한 클리어 뷰의 확보가 가능한 촬영 모드이다.
본 발명은 최소 2가지 이상의 촬영 모드를 통해 때로는 일반 촬영 모드로 때로는 고화질 촬영 모드로 상황에 따라 다르게 촬영을 수행할 수 있다. 특히 병변 의심 부위는 고화질 촬영 모드로 촬영을 수행하고, 클리어 뷰를 확보하여 캡슐내시경(200)의 영상을 피검진자(100)의 진단에 보다 효율적으로 활용할 수 있다.
즉 종래의 캡슐내시경(200)은 동일한 설정으로 일정하게 배터리를 소모한 반면, 본 발명의 캡슐내시경(200)은 일반 촬영 모드와 고화질 촬영 모드를 적절히 배분하여 촬영함으로써 종래의 캡슐내시경(200)과 동일하거나 그보다 적은 베터리 소모량을 보이면서도 병변 의심 부위는 선명한 클리어 뷰의 확보가 가능하다는 장점이 있다.
이를 표로 정리하면 다음의 표 1과 같다.
구분 정상 부위 병변 의심 부위
종래의 방법 3 fps / 320x240 3 fps / 320x240
제안 방법 1 fps / 160x120 6 fps / 640x480
즉 종래의 방법은 정상 부위나 병변 의심 부위나 동일하게 촬영을 수행하였지만, 본 발명의 캡슐내시경(200)의 촬영 제어 방법을 이용하면 정상 부위는 보다 낮은 화질이나 프레임으로 촬영하고, 병변 의심 부위는 보다 높은 화질이나 프레임으로 촬영할 수 있다.
이를 통해 캡슐내시경(200)이 전체 촬영하는 영상 데이터의 양을 줄일 수 있으며, 이는 병원 서버(400)가 분석해야 하는 영상 정보의 절대적인 양이 줄어드는 것을 의미한다. 영상 정보의 절대적인 양이 감소하면 병원 서버(400)를 통해서 캡슐내시경(200)이 촬영한 영상을 보고 검진을 수행하는 의료진이 보다 효율적으로 진료를 할 수 있다.
다만 표 1에 예시한 정상 부위를 촬영하는 일반 촬영 모드의 설정과 병변 의심 부위를 촬영하는 고화질 촬영 모드의 설정은 발명의 이해를 돕기 위한 일종의 예시이며 반드시 해당 설정으로 한정되는 것은 아니다. 경우에 따라서는 프레임만 조절을 하거나 해상도만 조절하거나 또는 LED의 광량만 조절할 수도 있으며 해상도와 프레임 및 광원의 세기 중에서 하나 이상을 선택해서 조절할 수 있다.
다시 도 3으로 돌아와서 캡슐내시경(200)은 일반 촬영 모드로 촬영된 영상 또는 고화질 촬영 모드로 촬영된 영상을 지능형 단말(300)로 송신한다(S1400). 이처럼 캡슐내시경(200)이 지능형 단말(300)의 제어 신호에 따라 다양한 모드로 촬영을 수행하는 단계는 캡슐내시경(200)이 체외로 배출되기 전까지 반복된다(S1500).
이처럼 본 발명의 캡슐내시경(200)은 자연배출 되는 기간 동안 지속적으로 체내 기관을 촬영하며 지능형 단말(300)과 통신하기 때문에 저전력화가 반드시 필요하다. 따라서 저전력 동작을 위한 Power Management Unit 및 초저전력 Digital/Baseband 모뎀기술이 필요하다.
도 4는 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 방법을 지능형 단말 측면에서 살펴본 순서도이다.
도 4를 참고하면 지능형 단말(300) 측면에서 살펴본 촬영 제어 방법을 볼 수 있다. 지능형 단말(300)은 캡슐내시경(200)과 주기적으로 통신을 수행하면서 영상을 수신한다(S2100). 그리고 캡슐내시경(200)의 위치를 분석한다(S2200). 또한 수신한 영상 정보에 기초하여 병변 의심 부위인지 판단한다(S2300).
만약 현재 캡슐내시경(200)의 영상에서 병변이 검출된 경우(S2400), 캡슐내시경(200)에 고화질/고프레임으로 촬영을 수행하도록 제어 신호를 송신한다(S2500). 반대로 현재 촬영중인 영상이 정상 부위의 영상인 경우에는 일반 촬영 모드로 촬영을 수행하도록 제어 신호를 송신한다(S2550).
캡슐내시경(200)은 지능형 단말(300)로부터 촬영 모드에 관한 제어 신호를 수신하면 도 3에서 볼 수 있듯이, 제어 신호에 따라 촬영을 수행하고 촬영한 영상을 다시 지능형 단말(300)로 송신한다. 영상을 수신한 지능형 단말(300)은 영상이 촬영된 모드에 따라 병변 영상으로 구분해서 저장하거나(S2600) 또는 일반 영상으로 구분해서 저장한다(S2650).
캡슐내시경(200)이 체외로 배출되거나 신체 내부의 대부분의 장기를 촬영하였거나 또는 배터리가 모두 방전되면 촬영 종료 신호를 지능형 단말(300)로 송신한다. 지능형 단말(300)은 촬영 종료 신호를 수신하기 전까지는 계속해서 캡슐내시경(200)과 통신을 수행하면서 영상을 분석하고, 정상 부위인지 병변 의심 부위인지 판단하고, 판단 결과에 따라 촬영 모드를 제어하는 신호를 송신한다.
지능형 단말(300)로부터 영상 정보를 유/무선 통신을 통해서 수신한 병원 서버(400)는 병변 영상으로 구분된 영상만 우선하여 분석을 수행할 수 있다. 즉 지능형 단말(300)이 1차적으로 병변 여부를 판단하고, 병원 서버(400)가 2차적으로 병변 여부를 판단하여, 캡슐내시경(200)이 촬영한 영상을 보다 효율적으로 분석할 수 있다.
정리하면 지능형 단말(300)은 실시간으로 영상 데이터를 분석하여 위치 추정 및 병변 유무를 검출하고, 병변 검출 시 캡슐내시경(200)에 고화질/고프레임 촬영을 지시한다. 이를 위해서는, 의료 빅데이터를 활용한 경량화된 영상 기반 캡슐내시경(200)의 위치 추정 알고리즘과 딥 러닝(Deep Learning)을 이용한 병변 검출 및 영상 처리 알고리즘이 요구된다.
도 5a 내지 도 5b는 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경의 위치를 추정하는 알고리즘을 설명하기 위한 도면이다.
도 5a를 참고하면 식도부터 직장까지의 소화기관이 도시되어 있다. 캡슐내시경(200)을 피검사자(100)가 삼키면 식도를 거처 위, 십이지장, 소장, 대장, 직장을 거쳐서 체외로 배출된다. 종래의 입으로 삽입되는 위 내시경이나 항문으로 삽입되는 대장 내시경을 통해서 식도에서 위까지 또한 대장까지는 자유로운 촬영이 가능하다.
하지만 소장은 다른 소화기관에 비해서 직경이 매우 작고 길이가 길다는 특성으로 인해 기존의 내시경으로는 촬영이 어려운 소화기관이다. 이에 캡슐내시경(200)을 이용하여 소장의 병변 부위를 효율적으로 촬영할 수 있다. 즉 지금까지의 대부분의 캡슐내시경(200)은 소장을 촬영하는 것을 주된 목적으로 개발이 되어 왔다.
이에 본 발명에서 제안하는 캡슐내시경(200)은 병변 부위인 경우에 고화질로 촬영하는 것뿐만 아니라 캡슐내시경(200)의 위치에 따라 고화질로 촬영을 수행할 수 있다. 예를 들면 식도에서 위까지는 일반 촬영 모드로 촬영을 진행하고, 소장은 고화질 촬영 모드로 촬영을 진행하고, 대장은 다시 일반 촬영 모드로 촬영을 진행할 수 있다.
또한 캡슐내시경(200)의 위치와 병변 여부에 따라 촬영 모드를 달리할 수도 있다. 예를 들면 위의 정상 부위를 촬영하는 제1 촬영 모드, 위의 병변 의심 부위를 촬영하는 제2 촬영 모드, 소장의 정상 부위를 촬영하는 제3 촬영 모드, 소장의 병변 의심 부위를 제4 촬영 모드가 있다고 가정할 때, 제1 촬영 모드 < 제3 촬영 모드 < 제2 촬영 모드 < 제4 촬영 모드와 같은 순서대로 화질의 우선 순위를 정할 수 있다.
화질의 우선 순위라 함은 곧 배터리의 소모 전력과 즉결되므로 캡슐내시경(200)을 통해서 어느 위치의 어떠한 부위를 더 우선해서 촬영하고 싶은지를 사전에 촬영 모드 등으로 설정할 수 있다. 이는 제한된 배터리를 더욱 효율적으로 사용하고자 함이다.
다시 도 5a로 돌아가서 캡슐내시경(200)이 피검사자(100)에 의해 삽입되어서 식도를 거쳐 대장으로 배출되기까지 소요되는 시간은 일정하지가 않다. 이는 캡슐내시경(200)이 중력과 소화기관의 연동 운동에 의해서만 이동하기 때문이다. 물론 피검사자(100)의 신체에 복수 개의 패드를 부착하고 전기적 신호의 크기를 이용하여 캡슐내시경(200)의 위치를 추정할 수도 있지만 이는 간편함을 특징으로 하는 캡슐내시경(200)의 활용과 어울리지 않는다.
이에 본 발명에서는 캡슐내시경(200)의 위치를 추정할 수 있는 간편한 방법을 제안하고자 한다. 도 5b를 참고하면 복수의 사용자가 캡슐내시경(200)을 삼킨 후 배출되기까지의 시간을 그래프로 도시한 것을 볼 수 있다. 사용자마다 차이는 있지만 대략 10시간을 전후로 해서 촬영 시간이 표시되어 있다.
도 5b를 참고하면 사용자 1은 캡슐내시경(200)이 식도를 통과하는데 대략 2시간 내외, 위와 십이지장을 통과하는데 대략 3시간 내외, 소장을 통과하는데 대략 4시간 내외, 대장을 통과하는데 대략 3시간 내외 합계 총 12시간 정도를 걸쳐서 캡슐내시경(200)이 소화기관을 촬영한 것을 볼 수 있다.
마찬가지로 사용자 2부터 사용자 n까지 다양한 피검사자(100)를 촬영한 캡슐내시경(200)의 영상을 분석하면 일종의 통계를 확보할 수 있다. 즉 캡슐내시경(200)이 촬영한 영상을 딥 러닝에 의한 기계 학습을 통해 분석하고, 성별, 나이, 키, 몸무게 등의 신체 정보와 캡슐내시경(200)의 위치의 상관 관계를 분석할 수 있다.
이처럼 빅데이터 분석을 통해 피검사자(100)의 신체 정보를 바탕으로 학습 모델을 생성하면, 다른 별도의 장치 없이도 시간에 따른 캡슐내시경(200)의 위치를 추정할 수 있다. 이러한 빅데이터 분석은 병원 서버(400)나 별도의 고성능 컴퓨팅 장치에서 수행되고 그 결과인 학습 모델은 지능형 단말(300)에 탑재되어 캡슐내시경(200)의 위치를 추정하는데 활용될 수 있다.
또한 이러한 시간을 기반으로 한 캡슐내시경(200)의 위치 추정 외에도, 캡슐내시경(200)에 3축 가속도 센서를 내장하여 캡슐내시경(200)이 이동한 거리를 추정할 수도 있다. 다만 이 경우에는 피검사자(200)가 캡슐내시경(200)을 삼킨 후에 이동하는 경우도 있으므로 이를 보정할 필요가 있다.
즉 캡슐내시경(200)의 3축 가속도 센서를 이용하여 측정한 값과 사용자가 부착하고 이동을 자유롭게 할 수 있는 지능형 단말(300)의 3축 가속도 센서를 이용하여 측정한 값을 비교하여, 캡슐내시경(200)이 이동한 결과만을 추출하여 캡슐내시경(200)의 정확한 위치를 추정할 수 있다.
또한 속도 센서를 이용하여 캡슐내시경(200)의 이동 속도를 측정하여 캡슐내시경(200)의 위치를 추정할 수 있다. 각 소화기관은 소화기관마다 소화의 속도 차이가 있다. 즉 캡슐내시경이 식도를 통과하는 속도, 위를 통과하는 속도, 소장을 통과하는 속도, 대장을 통과하는 속도는 각 소화기관의 특성에 따른 차이가 있다. 이를 이용하는 방법으로 각 소화기관마다 캡슐내시경(200)이 통과하는 속도의 분포를 구하고 이를 범위로 표현하면 캡슐내시경(200)의 속도에 따라 어느 소화기관을 지나고 있는지 판단할 수 있다.
또한 가속도 센서나 속도 센서를 이용하는 방법 외에도 캡슐내시경(200)이 촬영하여 지능형 단말(300)에 전송한 영상 정보를 분석하여 캡슐내시경(200)의 위치를 추정할 수도 있다. 도 5b에서 복수의 사용자를 대상으로 캡슐내시경(200)이 촬영한 영상을 분석하는 과정을 볼 수 있다.
캡슐내시경(200)이 촬영한 영상을 분석하여 캡슐내시경(200)의 위치를 추정할 수 있는 학습 모델을 생성하고, 생성한 학습 모델을 이용하면, 현재 피검사자(100)의 신체 내부에서 캡슐내시경(200)이 촬영한 영상이 어느 부위의 영상인지 분류할 수 있다. 즉 영상 정보의 색상, 채도, 명도(HSV; Hue, Saturation, Value)를 바탕으로 분류 모델을 설정하고 기계 학습을 수행하면, 현재 피검사자(100)의 영상이 어느 신체 부위인지 해당 학습 모델을 통해서 분류가 가능하다.
도 6a 내지 도 6c는 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경이 촬영한 영상을 분석하여 병변 의심 여부를 판단하는 알고리즘을 설명하기 위한 도면이다.
도 6a는 캡슐내시경(200)이 촬영한 소장의 영상 데이터이며, 도 6b는 캡슐내시경(200)이 촬영한 대장의 영상 데이터이다. 도 6a와 도 6b에서 볼 수 있듯이 캡슐내시경(200)이 촬영한 소장과 대장의 영상은 해당 촬영 부위가 정상 부위인 경우 비슷한 색상과 명도 및 채도를 보이게 된다.
그러나 소장의 특정 부위에 출혈이 발생한다거나 종양이 발견되는 경우에는 색상이나 명도 및 채도가 달라질 수 있다. 그러므로 피검사자(100)의 신체 내부에서 캡슐내시경(200)이 촬영한 영상끼리 유사도를 구하고, 기존에 촬영한 영상과 기설정된 값 이상의 유사도 차이를 보이는 부위는 병변 의심 부위로 판단하고 촬영 모드를 변경할 수 있다.
즉 피검사자가 캡슐내시경(200)을 삼킨 후 촬영한 제1 영상과, 제1 영상이 촬영된 시점으로부터 일정한 시간이 경과한 후 촬영한 제2 영상의 유사도를 구하고 두 영상의 유사도가 임계치를 초과하는지를 기준으로 병변이 의심되는지 여부를 간단하게 판단할 수 있다. 병변으로 의심되는 경우에는 카메라의 촬영 모드를 변경하여 클리어 뷰를 확보할 수 있다.
또는 피검사자(100)의 신체 내부에서 캡슐내시경(200)이 촬영한 영상과 기존에 다른 사용자의 신체 내부에서 캡슐내시경(200)이 촬영한 영상에 기초하여 만든 분류 모델과 비교하여 현재 피검사자(100)의 신체 내부의 촬영된 부위가 병변 의심 부위인지 판단할 수 있다.
도 6c를 참고하면 캡슐내시경(200)이 병변 의심 부위를 발견하기 전까지는 3 fps로 촬영을 수행하다가 종양으로 의심되는 부위(110)를 발견한 경우에는 10 fps로 촬영을 수행하고, 다시 병변 의심 부위를 벗어난 이후에는 3 fps로 촬영을 수행하는 것을 볼 수 있다.
그러다가 다시 출혈이 발생하여 병변으로 의심되는 부위(120)를 발견한 경우에 10 fps로 촬영을 수행한다. 이처럼 본 발명에서 제안하는 캡슐내시경(200)의 촬영을 제어하는 방법을 이용하면 정상 부위인지 병변 의심 부위인지 여부에 따라 캡슐내시경(200)의 촬영 모드를 다양하게 가져갈 수 있다.
이처럼 소장 내부에서 출혈이 발생하는 경우에는 캡슐내시경(200)이 촬영한 영상에서 빨간색의 비중이 급격히 증가하게 된다. 또는 소장 내부에서 종양이 발견되는 경우에는 어두운 색의 비율이 급격히 증가하게 된다. 그러므로 캡슐내시경(200)이 촬영한 영상에서 특정 색상의 비율이 급격하게 증가하면 병변 의심 부위로 판단하고 카메라의 모드를 변경할 수 있다.
이를 통해 배터리 소모도 줄이는 한편 전체 촬영되는 영상 데이터의 절대적인 양도 줄이고, 병변 의심 부위는 보다 선명한 화질의 클리어 뷰를 확보하여 진단에 활용할 수 있다. 이를 통해 보다 효율적으로 피검사자(100)를 검진할 수 있다.
본 발명에서는 캡슐내시경(200)이 촬영한 영상을 분석하여 캡슐내시경(200)이 촬영한 부위의 위치를 추정하는 단계나, 촬영된 부위의 병변 의심 여부를 판단하는 단계에서 기계 학습을 사용할 수 있다. 예를 들면, 영상의 색상, 명도, 채도를 기준으로 3차원상에 영상의 분포를 K-Means 클러스터링하여 소화기관을 분류할 수 있다.
또는 서포트 벡터 머신(SVM; Support Vector Machine)을 적용하여 분류기를 생성할 수 있다. 이를 통해 캡슐내시경(200)이 촬영한 부위의 위치나 병변 의심 여부를 분류할 수 있다. 다만 이는 발명의 이해를 돕기 위한 것이므로 기계학습의 다양한 알고리즘을 적용하여 영상을 기반으로 한 위치 추정이나 병변 여부를 판단할 수 있다.
도 7은 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 신호 흐름도이다.
도 7을 참고하면 캡슐내시경(200)은 지능형 단말(300)에 영상 데이터를 송신하고 제어 신호를 수신한다. 제어 신호에 따라 일반 촬영 모드로 촬영을 하거나 고화질 촬영 모드 내지 정밀 촬영 모드로 촬영을 수행할 수 있다. 정밀 촬영 모드에서는 프레임을 증가시키거나 해상도를 증가시키거나 LED 광원의 세기를 증가시킬 수 있다.
지능형 단말(300)은 캡슐내시경(200)으로부터 영상 데이터를 수신하고 형상 데이터를 분석하여 캡슐내시경(200)의 위치와 병변 의심 부위 여부를 판단한다. 만약 캡슐내시경(200)의 위치가 소장과 같이 보다 정밀한 촬영을 필요로 하는 곳이거나 또는 병변 의심 부위가 발견되는 경우에는 캡슐내시경(200)으로 정밀 촬영을 위한 제어 신호를 송신한다.
병원 서버(400)는 지능형 단말(300)과 유/무선 통신을 통해 영상 데이터를 수신하고 분석 데이터를 제공한다. 복수의 피검사자의 영상 데이터를 수신하고 영상 처리 및 기계 학습을 적용하여 캡슐 내시경(200)의 위치를 추정할 수 있는 학습 모델과 병변 의심 여부를 판단할 수 있는 학습 모델을 생성하여 지능형 단말(300)로 제공한다.
도 8은 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 도면이다.
도 8을 참고하면 캡슐내시경(200)은 지능형 단말(300)과 영상 데이터 및 제어 신호를 송수신하기 위한 통신 모듈(210), 지능형 단말(300)로부터 수신한 제어 신호에 따라 촬영 모듈(230)을 제어하고, 촬영 모듈(230)에서 촬영한 영상을 지능형 단말(300)로 전송하기 위한 제어 모듈(220) 및 캡슐내시경(200)에 전원을 공급하기 위한 전력 모듈(240)을 포함할 수 있다.
지능형 단말(300)은 캡슐내시경(200)과 영상 데이터 및 제어 신호를 송수신하고, 병원 서버(400)와 영상 데이터 및 분석 데이터를 송수신하기 위한 통신 모듈(310), 캡슐내시경(200)으로부터 수신한 영상을 분석하여 캡슐내시경의 위치를 추정하는 위치 추정 모듈(330), 병변 의심 부위인지 여부를 판단하는 병변 분석 모듈(340) 및 이를 제어하는 제어 모듈(320)을 포함할 수 있다.
병원 서버(400)는 지능형 단말(300)과 통신하기 위한 통신 모듈(410), 빅데이터 분석을 통해 캡슐내시경(200)의 위치를 추적하기 위한 기계 학습을 수행하는 빅데이터 분석 모듈(440), 영상 처리에 기반하여 병변 의심 부위인지 판단할 수 있는 모델을 제공하는 영상 분석 모듈(430) 및 이를 제어하는 제어 모듈(420)을 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 지능형 단말로부터 제어 신호를 수신하고, 상기 제어 신호에 따라 복수 개의 촬영 모드 중에서 어느 하나의 촬영 모드를 선택하여 촬영을 수행하고, 촬영한 영상을 상기 지능형 단말로 송신하는 캡슐내시경; 및
    상기 영상이 촬영된 부위의 위치를 추정하고, 상기 영상이 촬영된 부위의 병변 의심 여부를 판단하고, 상기 위치 추정 결과 및 상기 병변 의심 여부 판단 결과 중 적어도 하나에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 제어 신호를 상기 캡슐내시경으로 전송하는 지능형 단말을 포함하는,
    캡슐내시경의 촬영 제어 시스템.
  2. 제1항에 있어서,
    상기 지능형 단말은,
    상기 위치 추정 결과가 기 설정된 소화기관이거나 상기 병변 의심 여부 판단 결과가 병변 의심으로 판단된 경우에는, 상기 캡슐내시경이 정밀 촬영 모드로 촬영을 수행하도록 제어 신호를 송신하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  3. 제2항에 있어서,
    상기 지능형 단말은,
    상기 캡슐내시경이 프레임, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 정밀 촬영 모드로 촬영을 수행하도록 제어 신호를 송신하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  4. 제1항에 있어서,
    상기 지능형 단말은,
    피검사자에게 상기 캡슐내시경이 투입된 후 경과한 시간에 따른 캡슐내시경의 위치에 대한 학습 모델에 기초하여 상기 영상이 촬영된 부위의 위치를 추정하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  5. 제1항에 있어서,
    상기 지능형 단말은,
    상기 캡슐내시경에 내장된 가속 센서의 제1 측정값을 더 수신하고, 상기 제1 측정값에 기초하여 상기 영상이 촬영된 부위의 위치를 추정하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  6. 제5항에 있어서,
    상기 지능형 단말은,
    상기 지능형 단말에 내장된 가속 센서의 제2 측정값을 이용하여 상기 제1 측정값을 보정하고, 상기 보정된 제1 측정값에 기초하여 상기 영상이 촬영된 부위의 위치를 추정하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  7. 제1항에 있어서,
    상기 지능형 단말은,
    상기 캡슐내시경에 내장된 속도 센서의 측정값을 더 수신하고, 상기 측정값과 각 소화기관별로 기 측정된 속도의 범위를 비교하여, 상기 영상이 촬영된 부위의 위치를 추정하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  8. 제1항에 있어서,
    상기 지능형 단말은,
    캡슐내시경이 촬영한 영상이 어느 소화기관을 촬영한 영상인지 분류하는 학습 모델에 기초하여 상기 영상이 촬영된 부위의 위치를 추정하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  9. 제1항에 있어서,
    상기 지능형 단말은,
    상기 캡슐내시경이 촬영한 영상에 제1 색상이 기 설정된 값 이상으로 분포하는 경우에는 병변 의심으로 판단하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  10. 제1항에 있어서,
    상기 지능형 단말은,
    캡슐내시경이 촬영한 영상이 정상 부위를 촬영한 영상인지 병변 부위를 촬영한 영상인지 분류하는 학습 모델에 기초하여 상기 영상이 촬영된 부위의 병변 의심 여부를 판단하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  11. 제1항에 있어서,
    상기 지능형 단말은,
    상기 수신한 영상에 상기 위치 추정 결과, 상기 병변 의심 여부 판단 결과 및 상기 영상이 촬영된 모드 중 적어도 하나를 메타 정보로 추가하여 저장하는 것인,
    캡슐내시경의 촬영 제어 시스템.
  12. 제1항에 있어서,
    복수 개의 지능형 단말로부터 영상을 수신하여 저장하고, 복수 개의 영상을 기계 학습하여 캡슐내시경이 촬영한 영상이 정상 부위를 촬영한 영상인지 병변 부위를 촬영한 영상인지 분류하는 학습 모델을 생성하는 서버를 더 포함하는,
    캡슐내시경의 촬영 제어 시스템.
  13. 지능형 단말이, 캡슐내시경으로부터 상기 캡슐내시경이 촬영한 영상을 수신하는 단계;
    상기 지능형 단말이, 상기 영상이 촬영된 부위의 위치를 추정하는 단계;
    상기 지능형 단말이, 상기 영상이 촬영된 부위의 병변 의심 여부를 판단하는 단계; 및
    상기 지능형 단말이, 상기 위치 추정 결과 및 상기 병변 의심 여부 판단 결과 중 적어도 하나에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 제어 신호를 상기 캡슐내시경으로 전송하는 단계를 포함하는,
    캡슐내시경의 촬영 제어 방법.
  14. 제13항에 있어서,
    상기 제어 신호를 상기 캡슐내시경으로 전송하는 단계는,
    상기 위치 추정 결과가 기 설정된 소화기관이거나 상기 병변 의심 여부 판단 결과가 병변 의심으로 판단된 경우에는, 상기 캡슐내시경이 정밀 촬영 모드로 촬영을 수행하도록 제어 신호를 송신하는 단계를 포함하되,
    상기 정밀 촬영 모드는,
    상기 캡슐내시경이 프레임, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 촬영을 수행하는 모드인,
    캡슐내시경의 촬영 제어 방법.
  15. 제13항에 있어서,
    상기 영상이 촬영된 부위의 위치를 추정하는 단계는,
    피검사자에게 상기 캡슐내시경이 투입된 후 경과한 시간 또는 상기 캡슐내시경에 내장된 가속 센서의 측정값 또는 상기 영상 중에서 적어도 하나를 이용하여 상기 영상이 촬영된 부위의 위치를 추정하는 단계를 포함하는,
    캡슐내시경의 촬영 제어 방법.
KR1020170063457A 2017-05-23 2017-05-23 캡슐내시경의 촬영 제어 방법 및 시스템 KR102010000B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170063457A KR102010000B1 (ko) 2017-05-23 2017-05-23 캡슐내시경의 촬영 제어 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170063457A KR102010000B1 (ko) 2017-05-23 2017-05-23 캡슐내시경의 촬영 제어 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180128215A true KR20180128215A (ko) 2018-12-03
KR102010000B1 KR102010000B1 (ko) 2019-08-12

Family

ID=64743335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063457A KR102010000B1 (ko) 2017-05-23 2017-05-23 캡슐내시경의 촬영 제어 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102010000B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998456A (zh) * 2019-04-12 2019-07-12 安翰科技(武汉)股份有限公司 胶囊型内窥镜及其控制方法
KR20210019338A (ko) * 2019-08-12 2021-02-22 아주대학교산학협력단 캡슐 내시경, 캡슐 내시경과 연동하는 수신 장치 및 캡슐 내시경 제어 방법
WO2022124705A1 (ko) * 2020-12-11 2022-06-16 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
CN115251808A (zh) * 2022-09-22 2022-11-01 深圳市资福医疗技术有限公司 基于场景指导的胶囊内窥镜控制方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080084189A (ko) * 2007-03-15 2008-09-19 주식회사 인트로메딕 미디어 신호 재생 방법 및 장치
KR20150128297A (ko) * 2014-05-09 2015-11-18 동국대학교 산학협력단 캡슐내시경을 이용한 의료 정보 처리 방법
JP2016019707A (ja) * 2014-07-16 2016-02-04 オリンパス株式会社 カプセル型内視鏡、内視鏡システム及びカプセル型内視鏡の作動方法
WO2017047112A1 (ja) * 2015-09-17 2017-03-23 オリンパス株式会社 カプセル内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080084189A (ko) * 2007-03-15 2008-09-19 주식회사 인트로메딕 미디어 신호 재생 방법 및 장치
KR20150128297A (ko) * 2014-05-09 2015-11-18 동국대학교 산학협력단 캡슐내시경을 이용한 의료 정보 처리 방법
JP2016019707A (ja) * 2014-07-16 2016-02-04 オリンパス株式会社 カプセル型内視鏡、内視鏡システム及びカプセル型内視鏡の作動方法
US20170105610A1 (en) * 2014-07-16 2017-04-20 Olympus Corporation Capsule endoscope, endoscope system, and method for operating capsule endoscope
WO2017047112A1 (ja) * 2015-09-17 2017-03-23 オリンパス株式会社 カプセル内視鏡システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998456A (zh) * 2019-04-12 2019-07-12 安翰科技(武汉)股份有限公司 胶囊型内窥镜及其控制方法
KR20210019338A (ko) * 2019-08-12 2021-02-22 아주대학교산학협력단 캡슐 내시경, 캡슐 내시경과 연동하는 수신 장치 및 캡슐 내시경 제어 방법
WO2022124705A1 (ko) * 2020-12-11 2022-06-16 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
CN115251808A (zh) * 2022-09-22 2022-11-01 深圳市资福医疗技术有限公司 基于场景指导的胶囊内窥镜控制方法、装置及存储介质

Also Published As

Publication number Publication date
KR102010000B1 (ko) 2019-08-12

Similar Documents

Publication Publication Date Title
KR101111672B1 (ko) 의료용 무선 캡슐형 내시경 시스템
US8582853B2 (en) Device, system and method for automatic detection of contractile activity in an image frame
US8335362B2 (en) Device, system and method for measurement and analysis of contractile activity
EP1676522B1 (en) System for locating an in-vivo signal source
KR102010000B1 (ko) 캡슐내시경의 촬영 제어 방법 및 시스템
US20140022367A1 (en) Device, system and method of displaying in-vivo images at variable rate
US20070098379A1 (en) In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
CN102639049B (zh) 信息处理装置以及胶囊型内窥镜系统
JP2013529950A (ja) 生体内カメラの画像取得制御
KR102058192B1 (ko) 캡슐내시경의 촬영 제어 시스템 및 방법
EP1762171B1 (en) Device, system and method for determining spacial measurements of anatomical objects for in-vivo pathology detection
KR20180128216A (ko) 지능형 캡슐내시경 및 이를 이용한 촬영 방법
JP2005021516A (ja) 電子内視鏡システム
CN102525394A (zh) 具有电子ccd摄像系统和夜视摄像头的胶囊小肠镜系统
CN104887173A (zh) 一种无线电胶囊型医用装置
KR101466853B1 (ko) 캡슐 내시경 시스템 및 이의 데이터 처리방법
WO2012075718A1 (zh) 带ccd的红外线热扫描胶囊小肠镜系统
CN202408818U (zh) 具有电子ccd摄像系统和夜视摄像头的胶囊小肠镜系统
CN202408823U (zh) 具有夜视功能的胶囊小肠镜系统
US8155414B2 (en) Device, system and method of in-vivo varix detection
Malagelada Vilarino et a
KR20140105984A (ko) 캡슐 내시경 시스템 및 이를 이용한 질병 진단 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant