KR102058192B1 - 캡슐내시경의 촬영 제어 시스템 및 방법 - Google Patents

Abstract

캡슐내시경의 촬영을 제어하는 시스템이 개시된다.
본 발명의 일 실시예에 따른 캡슐내시경의 촬영 제어 시스템은 지능형 단말로부터 촬영 모드 제어 신호를 수신하고, 상기 촬영 모드 제어 신호에 따른 촬영 모드로 촬영을 수행하고, 촬영한 영상을 상기 지능형 단말로 송신하는 캡슐내시경, 상기 영상을 분석하여 촬영된 부위의 위치 또는 병변 의심 여부를 판단하고, 상기 판단된 위치 또는 병변 의심 여부에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 촬영 모드 제어 신호를 상기 캡슐내시경으로 전송하는 지능형 단말을 포함할 수 있다.

Description

캡슐내시경의 촬영 제어 시스템 및 방법{System and method for shooting control of capsule endoscope}

본 발명은 캡슐내시경의 촬영을 제어하는 시스템 및 그 방법에 관한 것이다. 보다 자세하게는 캡슐내시경에서 촬영된 영상을 분석하여 관심 부위 및 병변 의심 부위를 실시간으로 판단하며, 그 판단결과에 따라 촬영 모드를 다르게 촬영을 수행하여, 클리어 뷰(CV; Clear View)를 촬영하도록 제어하는 시스템 및 그 방법에 관한 것이다.

캡슐내시경(Capsule Endoscope)은 두께 11mm, 길이 26mm, 무게 4g으로 우리가 흔히 보는 비타민 정제 정도의 크기로 주로 소장 검사용으로 개발되었다. 허리에 수신기를 착용하고 공복 상태에서 캡슐을 먹으면 수신기는 캡슐로부터 영상 정보를 수신하여 저장한다.

수신기는 캡슐이 1초당 2~3장씩 촬영한 영상 정보(2~3 fps)를 받아서 저장해 둔다. 8~12시간 동안 검사가 진행되는데, 검사 받는 사람은 그 동안 자연스럽게 일상생활이 가능하다. 캡슐을 삼킨 후 2시간부터 물을 마실 수 있고, 4시간 후부터 식사도 가능하다. 검사가 끝나면 의사는 수신기를 컴퓨터에 연결해 기록된 정보를 확인한다.

이처럼 캡슐내시경은 피검자가 구강을 통해 삼킨 후 자연배출 되는 시간 동안 소화기관에 걸쳐 소장까지 6-12만 장의 방대한 영상을 촬영한다. 무선 RF 통신 또는 인체 통신 방식으로 수신기에 전송 및 저장되는 방대한 영상들은 컴퓨터에 내려 받은 후 검사자(의사, 영상의학 의료진 등)에 의해 판독이 이루어진다.

이러한 종래의 캡슐내시경 시스템은 실시간으로 영상을 확인하고, 캡슐을 직접 제어할 수 없기 때문에 중요도가 높은 병변 의심 부위의 충분한 클리어 뷰(CV; Clear View)를 얻는데 어려움이 있다. 또한, 방대한 양의 영상을 의료진이 진단하려면 상당한 시간이 소모된다.

이를 해결하기 위해 종래의 캡슐내시경 판독 프로그램은 촬영된 전체 캡슐내시경 영상을 한 번에 조망할 수 있는 맵 뷰(map view), 전체 내시경 영상의 특정 범위를 자세히 관찰할 수 있는 레인지 뷰(range view)와 같은 기술을 제공한다. 하지만 이러한 기술들을 활용해 정확한 진단을 수행하기 위해서는 병변 의심 부위에 대한 충분한 클리어 뷰 확보가 선행되어 한다.

이에 병변 의심 부위는 보다 고화질의 선명한 영상을 얻을 수 있는 캡슐내시경 촬영 제어 방법 및 그 방법을 수행하는 시스템에 대한 필요성이 점차 커지고 있다.
종래기술: 특허출원 제10-2007-7027341 (캡슐형 의료 장치)

본 발명이 해결하고자 하는 기술적 과제는 캡슐내시경의 촬영을 제어하는 시스템 및 그 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 캡슐내시경의 촬영 제어 시스템은 지능형 단말로부터 촬영 모드 제어 신호를 수신하고, 상기 촬영 모드 제어 신호에 따른 촬영 모드로 촬영을 수행하고, 촬영한 영상을 상기 지능형 단말로 송신하는 캡슐내시경, 상기 영상을 분석하여 촬영된 부위의 위치 또는 병변 의심 여부를 판단하고, 상기 판단된 위치 또는 병변 의심 여부에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 촬영 모드 제어 신호를 상기 캡슐내시경으로 전송하는 지능형 단말을 포함한다.

바람직하게는, 상기 지능형 단말은 상기 캡슐 내시경과의 통신을 위한 통신부, 상기 통신부를 통해 상기 캡슐 내시경으로부터 수신된 영상을 분석하여 촬영된 부위의 위치 또는 병변 의심 여부를 판단하는 영상 분석부, 상기 영상 분석부의 판단 결과, 병변 의심으로 판단된 경우 집중 촬영 모드, 상기 위치가 기 설정된 관심 부위인 경우 관심 촬영 모드, 나머지 위치의 경우 최소 촬영 모드로 촬영하도록 하는 촬영 모드 제어신호를 상기 통신부를 통해 상기 캡슐내시경으로 전송하는 촬영 모드 제어부를 포함할 수 있다.

바람직하게는, 상기 촬영 모드 제어 신호는, 최소 촬영 모드, 관심 촬영 모드, 집중 촬영 모드의 순으로 프레임 수, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 촬영을 수행하도록 제어 신호일 수 있다.

바람직하게는, 상기 영상 분석부는, 피검사자에게 상기 캡슐내시경이 투입된 후 경과한 시간에 따른 캡슐내시경의 위치에 대한 학습 모델 또는 상기 캡슐내시경에 내장된 가속 센서의 측정값 또는 상기 캡슐내시경이 촬영한 영상이 어느 소화기관을 촬영한 영상인지 분류하는 학습 모델 중 적어도 하나를 이용하여 상기 영상이 촬영된 부위의 위치를 추정할 수 있다.

바람직하게는, 상기 지능형 단말은, 상기 영상 분석부에서 분석된 병변 의심 여부에 기초하여 소화기관의 상태를 진단하는 진단 처리부를 더 포함할 수 있다.

바람직하게는, 캡슐내시경의 촬영 제어 시스템은 복수 개의 지능형 단말로부터 영상을 수신하여 저장하고, 복수 개의 영상을 기계 학습하여 캡슐내시경이 촬영한 영상이 정상 부위를 촬영한 영상인지 병변 부위를 촬영한 영상인지 분류하는 학습 모델을 생성하는 서버를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 캡슐내시경의 촬영 제어 방법은 지능형 단말이 캡슐내시경으로부터 상기 캡슐내시경이 촬영한 영상을 수신하는 단계, 상기 지능형 단말이 상기 영상을 분석하여 촬영된 부위의 위치 또는 병변 의심 여부를 판단하는 단계, 상기 지능형 단말이, 상기 판단된 위치 또는 병변 의심 여부에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 촬영 모드 제어 신호를 상기 캡슐내시경으로 전송하는 단계를 포함한다.

바람직하게는, 상기 영상을 수신하는 단계 이전에, 상기 지능형 단말이 사용자로부터 촬영 모드 정보를 입력받아 설정하는 단계를 더 포함하되, 상기 촬영 모드 정보는 관심 부위에 대한 관심 촬영 모드, 병변 의심 부위에 대한 집중 촬영 모드, 나머지 위치에 대한 최소 촬영 모드를 포함할 수 있다.

바람직하게는, 상기 캡슐내시경으로 전송하는 단계는, 상기 판단 결과, 병변 의심으로 판단된 경우 집중 촬영 모드, 상기 위치가 기 설정된 관심 부위인 경우 관심 촬영 모드, 나머지 위치의 경우 최소 촬영 모드로 촬영하도록 하는 촬영 모드 제어신호를 상기 캡슐내시경으로 전송하는 단계를 포함하되, 상기 촬영 모드 제어 신호는, 최소 촬영 모드, 관심 촬영 모드, 집중 촬영 모드의 순으로 프레임 수, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 촬영을 수행하도록 제어 신호일 수 있다.

본 발명에 따른 효과는 다음과 같다.

본 발명에서 제안하는 캡슐내시경의 촬영을 제어하는 시스템 및 방법을 이용하면, 자연 배출되기까지 촬영만 수행할 뿐 체내에서 제어할 수 없어 병변으로 의심되는 부위의 영상을 충분히 확보할 수 없는 기존 캡슐내시경의 문제점을 해결할 수 있다. 즉 본 발명을 이용하면 캡슐내시경이 병변 의심 부위에서 충분한 영상을 촬영하여, 병변 의심 부위의 클리어 뷰를 얻을 수 있다.

또한 본 발명에서 제안하는 캡슐내시경의 촬영을 제어하는 시스템 및 방법을 이용하면, 캡슐내시경의 방대한 영상데이터 분석을 위해 소요되는 시간과 많은 전문 인력투입으로 발생하는 비용을 줄일 수 있다. 이를 통해 최종적으로는, 비용적인 부담으로 의료 혜택을 받지 못하는 환자들에게 양질의 의료 서비스를 제공할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 캡슐 내시경의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 지능형 단말의 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 지능형 단말이 캡슐 내시경의 촬영을 제어하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 방법을 캡슐내시경 측면에서 살펴본 순서도이다.
도 7a 및 도 7b는 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경의 위치를 추정하는 알고리즘을 설명하기 위한 도면이다.
도 8a 내지 도 8c는 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경이 촬영한 영상을 분석하여 병변 의심 여부를 판단하는 알고리즘을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 신호 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경을 설명하기 위한 도면이다.

캡슐내시경(200)은 우리가 일상적으로 먹는 비타민 알약 크기의 전자장치이다. 피검사자가 캡슐내시경(200)을 삼키면 캡슐내시경(200)은 소화기관의 연동운동과 중력에 의해 이동하여 인체 소화기관 내부를 촬영하고 촬영된 정보를 통신을 통해 외부로 전달한다.

이처럼 캡슐내시경(200)은 사람이 삼켜도 될 만큼의 안정성을 가지는 바이오 기술(BT; Bio Technology)과 작은 캡슐에 다양한 소형 전자 부품이 결합된 나노 기술(NT; Nano Technology) 및 촬영한 영상을 전송하는 정보 통신 기술(IT; Information Technology)이 접목된 전자장치이다.

도 1을 참고하면 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경(200)은 광학 돔, LED를 포함한 광학계, 초소형 렌즈, 배터리, 텔레메트리(Telemetry), 안테나 등을 포함할 수 있다.

초소형 렌즈는 광학 돔을 통해 LED가 비춘 조명에 반사되는 신체 내부의 장기를 촬영한다. 이때 촬영된 영상 정보는 JPEG(Joint Photographic Coding Experts Group) 또는 이에 준하는 압축규격으로 압축된다. 이때 캡슐내시경(200)의 렌즈는 보다 넓은 영역을 촬영할 수 있도록 넓은 광각(FOV; Field of View)을 가지는 것이 바람직하며 일반적으로 최소 140도 이상으로 구현되고 있다.

그 이후 캡슐내시경 영상의 획득시간, 인체내 위치 정보, 캡슐 고유번호, 캡슐 내시경 수신부 번호, 검사고유번호, 환자번호, 환자명, 성별, 검사장소 등의 정보를 포함하는 헤더를 추가하여 국제 의료영상 표준인 DICOM(Digital Imaging and Communications in Medicine) 또는 이에 준하는 표준형식으로 변환시킨 후 수신기로 전송된다.

이러한 캡슐내시경(200)은 두께 11mm, 길이 26mm, 무게 4g 정도로 초소형이기 때문에 제한적인 배터리를 효율적으로 사용하는 것이 매우 중요하다. 하지만, 종래에는 캡슐내시경(200)이 배출되기까지 평균 12시간 정도의 시간동안 3fps 정도로 일정하게 신체 내부 장기를 촬영하였다.

1초당 3장 정도의 사진을 촬영하므로 12시간 동안에는 12 * 60 * 60 * 3 = 129,600의 수식에서 볼 수 있는 것처럼 대략 13만장의 사진을 촬영한다. 이처럼 캡슐내시경(200)이 촬영한 영상 정보의 수가 너무 많기 때문에 이를 모두 사람이 하나하나 검사하기란 불가능에 가깝다.

그렇기 때문에 캡슐내시경(200)이 촬영한 영상정보를 의료진에 제공하는 프로그램은 반복되는 영상 정보는 제거를 한다거나, 영상 정보를 한번에 조망할 수 있는 맵 뷰(map view)나 전체 내시경 영상의 특정 범위를 자세히 관찰할 수 있는 레인지 뷰(range view)와 같은 모드를 제공한다.

그러나 이러한 기술들을 활용해 정확한 진단을 수행하기 위해서는 병변 의심 부위에 대한 충분한 클리어 뷰 확보가 선행되어 한다. 이에 배터리를 효율적으로 사용하는 한편, 병변 의심 부위는 보다 선명한 영상을 확보할 수 있는 캡슐내시경(200)의 촬영을 제어하는 방법 및 그 시스템이 필요하다.

도 2는 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 캡슐내시경(200)의 촬영을 제어하는 시스템은 캡슐내시경(200)과 지능형 단말(300)을 포함할 수 있다. 또한 선택적으로 병원 서버(400)를 더 포함할 수 있다.

캡슐내시경(200)은 크기의 제약상 저장장치까지 내장하기는 어렵다. 캡슐내시경(200)이 촬영하는 영상은 촬영속도와 화질에 따라 달라질 수 있지만 최소 수 기가 바이트에서 최대 수십 기가 바이트에 이르기까지 큰 용량을 필요로 한다. 이에 대부분의 캡슐내시경(200)은 다양한 통신 방법을 통해 촬영한 영상을 수신기(Receiver)로 전송한다.

캡슐내시경(200)과 수신기는 RF 방식(Radio Frequency) 또는 HBC 방식(Human Body Communication) 등으로 통신을 수행할 수 있다. RF 방식의 주파수 대역은 402~405 MHz와 ISM(Industrial Scientific and Medical) 대역인 433.92 MHz가 대표적이다. 즉, RF 방식은 이미지 센서로부터 촬영된 정지 영상 데이터를 RF 모듈 및 송신 안테나를 거쳐 인체 밖으로 무선 송신하고 수신기는 이를 수신 안테나로 RF 수신하고 복조하여 데이터를 저장한다.

HBC 방식 또는 인체 통신 방식이라고 불리는 무선 통신 방식은 인체도 하나의 도전체임을 이용하여 캡슐내시경(200)에서 획득한 영상 디지털 정보를 미세 전압/전류 신호로 변환한 뒤 인체를 채널로 전송하면 몸에 부착한 패치가 전계 신호를 감지하여 검출한 뒤 복조하는 기술을 말한다. 이 기술은 IEEE 802.15.6 WPAN 산하 TG BAN(Body Area Network)에서 논의되고 있으며, 인체 채널 모델 중 인체 내부에서 인체 외부로의 통신 모델인 CM(Channel Model) 2에 해당하는 기술이다.

본 발명에서는 이러한 수신기의 역할을 지능형 단말(300)이 대신한다. 다만, 종래의 수신기가 단순히 캡슐내시경(200)과 무선 통신을 통해 촬영한 영상 정보를 수신하고 저장하는 것에 그쳤다면, 본 발명의 지능형 단말(300)은 수신한 영상을 분석하고 이를 피드백으로 캡슐내시경(200)에 촬영 모드 제어 신호를 전송할 수 있다.

그리고 지능형 단말(300)은 유/무선 통신을 통해서 캡슐내시경(200)이 전송한 영상 정보를 병원 서버(400)에 전송할 수 있다. 병원 내의 의료진은 병원 서버(400)에 접속하여 캡슐내시경(200)이 촬영한 영상을 통해 병변이 있는지를 판독한다.

이때 비디오 동영상과 같은 편의 기능도 제공되며, 전방향 및 역방향 탐색도 가능하다. 판독시간 단축을 위해 병변이 의심되는 지점을 자동으로 알리는 기술이 개발되고 있으며, 아울러 병변이 어느 지점에서 발생했는지 보다 정밀하게 알 수 있는 기술도 개발되고 있다.

본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템에서 종래의 수신기와 지능형 단말(300)이 가지는 가장 큰 차이점은 캡슐내시경(200)이 촬영한 영상을 단순히 저장하기만 하는지 아니면 수신한 영상을 분석하여 캡슐내시경(200)에 촬영 모드 제어 신호를 전송할 수 있는지에 있다. 본 발명의 지능형 단말(300)은 스마트 폰(smart phone), 모바일(mobile) 장치, 웨어러블(wearable) 장치 등과 같이 피검사자(100)가 휴대 가능한 소형 기기임에도 복잡한 연산의 처리가 가능한 기기이다.

물론 지능형 단말(300)은 병원 서버(400)에 비해서는 연산 능력이 떨어질 수 밖에 없다. 그러나 병원 서버(400)는 10만장에 달하는 영상 정보를 분석하기 위한 높은 연산 능력이 필요한 기기이고, 지능형 단말(300)은 캡슐내시경(200)이 촬영한 영상을 간소화된 알고리즘으로 분석하고 병변 의심 부위인지 판단하는 정도의 낮은 연산 능력으로 충분한 기기이다.

본 발명의 지능형 단말(300)은 캡슐내시경(200)에서 촬영한 영상을 이용해 병변 의심 부위 ? 관심 부위를 실시간으로 판별하는 CAD(Computer-Aided Diagnosis)로서의 기능을 수행한다. 지능형 단말(300)은 영상 분석 결과, 병변 검출 시 집중 촬영 모드, 기 설정된 관심 부위(특정 소화기관)인 경우 관심 촬영 모드 그리고 나머지 위치에서는 최소 촬영 모드로 촬영하도록 하는 촬영 모드 제어 신호를 캡슐 내시경(200)으로 전송한다. 이때, 3가지 촬영모드에 따라 촬영 프레임 수가 다르며, 프레임 수는 집중 촬영 모드일 때 가장 높고, 관심 촬영 모드는 중간 프레임 수를 유지하고, 최소 촬영 모드일 때 가장 적게 촬영하여 최대한 전력 소모를 줄일 수 있다. 또한, 촬영모드에 따라 해상도, 광원의 세기 등을 다르게 할 수 있다.

촬영 모드에 따른 프레임 수는 아래 표 1과 같다.

[표 1]

다만 표 1에 예시한 최소 촬영 모드, 관심 부위를 촬영하는 관심 촬영 모드의 설정과 병변 의심 부위를 촬영하는 집중 촬영 모드의 설정은 발명의 이해를 돕기 위한 일종의 예시이며 반드시 해당 설정으로 한정되는 것은 아니다. 경우에 따라서는 프레임만 조절을 하거나 해상도만 조절하거나 또는 LED의 광량만 조절할 수도 있으며 해상도와 프레임 및 광원의 세기 중에서 하나 이상을 선택해서 조절할 수 있다.

예를 들어, 소화기관별 시작과 끝이 아래 표 2와 같은 경우, 지능형 단말(300)이 영상의 변화를 인식하여 캡슐내시경(200)의 촬영 모드를 제어하는 방법에 대해 설명하기로 한다.

[표 2]

이 경우, 소화기관 중 하나인 소장을 주로 촬영하고 싶으면, 소장을 관심 촬영 영역으로 설정하고, 위나 대장 부분에서는 최소 촬영모드로 적은 수의 프레임으로 촬영하여 배터리 소모를 최소화하고, 십이지장구부를 지날 때 생기는 영상의 변화를 지능형 단말(300)에서 인식하여, 체내 캡슐내시경(200)에 관심 촬영을 지시하여 소장의 끝인 회장말단부에 도달할 때까지 관심 촬영 모드로 촬영하도록 제어한다. 이때, 위의 영역 혹은 그 외 영역에서 병변이 검출되면, 집중 촬영 모드로 전환하여 더 높은 프레임수로 촬영한다. 병변 지역을 지나가거나, 관심 영역이 아닐 경우 최소 촬영 모드로 전환하여 캡슐내시경(200)의 전력 소비를 최소화할 수 있다. 위와 대장을 관심촬영하는 경우 각각 분문과 맹장에 진입할 때 영상의 변화를 체외 지능형 단말(300)에서 판별하고, 인지하여, 캡슐내시경(200)으로 하여금 관심 촬영 모드로 전환하게 하며, 관심 촬영이 끝나는 유문과 항문을 지날 경우 최소 촬영 모드로 전환하여 전력의 소비를 최소화할 수 있다.

또한, 지능형 단말(300)은 캡슐내시경의 영상 촬영 위치를 추정하여 위, 십이지장, 대장 등 기관별로 영상을 분류한다.

또한, 지능형 단말(200)은 영상 판독 프로그램을 이용하여, 이미지의 확대, 연속보기, 및 편집과 같은 다양한 기능을 구현할 수 있다.

상기와 같은 지능형 단말(300)은 저소비전력, 저용량의 전송만으로도 충분한 경우에는 WiFi Modem, 블루투스 Modem 등이 장착되는 경우가 많다. 또한 UWB Modem, 블루투스 Modem 및 WiFi Modem이 동시장착될 수도 있다.

캡슐내시경 검사를 마친 후, 병원 서버(400)에 분류되어 전송되는 병변 의심 부위에 집중된 고프레임의 클리어 뷰와 촬영 위치 정보는 정밀한 진단의 보조도구로 사용되어 종래의 캡슐내시경 시스템 대비 진단율을 더욱 높이는 효과를 나타낼 수 있다. 또한, 지능형 단말(300)은 병변 의심 부위로 판별된 영상을 검사자가 우선적으로 진단할 수 있도록 병원 서버(400)에 기존의 프레임율로 촬영된 영상과 분류하여 저장한다. 이를 통해, 영상 분석과 분류에 소요되는 시간을 줄여 결과적으로, 전문 인력투입 측면의 부담을 줄일 수 있다. 또한, 검사비용의 상당수를 차지하는 인력 비용 절감을 통해 비용 부담으로 의료 혜택을 받기 힘든 사람들에게 수준 높은 의료 서비스를 제공할 수 있다. 또한, 체외 일반 터미널을 대신하여 휴대형의 지능형 단말(300)을 사용함으로써 체외 일반 터미널 개발에 들어가는 인력과 비용도 줄일 수 있다. 또한, 시간이 지남에 따라 누적되는 영상 데이터는 필요시 의사의 진단 보조수단으로 사용되어 양질의 의료서비스를 제공할 수 있다.

한편, 병원 서버(400)는 도면에는 도시하지 않았으나, 지능형 단말(300)과 통신하기 위한 통신부, 빅데이터 분석을 통해 캡슐내시경(200)의 위치를 추적하기 위한 기계 학습을 수행하는 빅데이터 분석부, 영상 처리에 기반하여 병변 의심 부위인지 판단할 수 있는 모델을 제공하는 영상 분석부 및 이를 제어하는 제어부를 포함할 수 있다.

도 3은 본 발명의 일 실시예에 따른 캡슐 내시경의 구성을 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 캡슐내시경(200)은 촬영부(210), 제어부(220), 통신부(230), 전원공급부(240)를 포함하고, 도 1에 도시된 바와 같이 캡슐형태일 수 있다.

촬영부(210)는 적어도 하나의 카메라를 통해 촬영된 체내 영상을 획득하는 기능을 수행한다. 이때, 카메라는 적어도 하나의 렌즈를 통해 들어온 영상을 촬영하여 영상신호를 획득하는 것으로서, 렌즈를 통해 입사되는 광을 수광하여 촬상 영상신호를 생성한다.

이러한 카메라는 예컨대, CCD(Charged Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등의 영상 센서 또는 기타 다른 광학기기를 포함할 수 있다.

또한, 촬영부(210)에는 카메라의 주변에 일정한 간격으로 배치되어 인체 내부에 광을 조사하는 조명원을 포함할 수도 있다. 이때, 조명원은 예컨대, 적어도 하나의 발광 다이오드(Light Emitting Diode, LED)로 이루어질 수 있으며, 발광 다이오드(LED)는 일정시간 단위로 점멸될 수 있다.

제어부(220)는 통신부(230)를 통해 촬영 모드 제어 신호를 수신하고, 촬영 모드 제어 신호에 따라 촬영부(210)의 설정을 변경하여 해당 촬영 모드로 촬영을 수행하도록 제어하며, 촬영부(210)에서 촬영된 영상을 통신부(230)를 통해 전송되도록 제어하는 기능을 수행한다. 즉, 제어부(220)는 캡슐 내시경(200)의 전체적인 제어를 담당하는 바, 촬영 모드 제어 신호에 따라 체내 영상을 촬영하도록 제어하며, 촬영부(210)로부터 획득된 체내 영상 데이터를 통신부(230)로 전달되도록 제어하는 기능을 수행한다.

구체적으로 제어부(220)는 지능형 단말로부터 수신된 촬영 모드 제어 신호가 집중 촬영 모드 제어 신호인 경우, 고화질 또는 고프레임으로 촬영하도록 촬영부 설정을 변경하여 고화질/고프레임의 집중 촬영 모드로 촬영을 수행하도록 제어한다. 또한, 제어부(220)는 촬영 모드 제어 신호가 관심 촬영 모드 제어 신호인 경우, 중화질 또는 중프레임으로 촬영하도록 촬영부 설정을 변경하여 중화질/중프레임의 관심 촬영 모드로 촬영을 수행하도록 제어한다. 또한, 제어부(220)는 촬영 모드 제어 신호가 최소 촬영 모드 제어 신호인 경우, 저화질 또는 저프레임으로 촬영하도록 촬영부 설정을 변경하여 저화질/저프레임의 최소 촬영 모드로 촬영을 수행하도록 제어한다. 여기서, 고화질/고프레임, 중화질/중프레임, 저화질/저프레임은 미리 설정된 값 또는 사용자에 의해 설정될 수 있다.

통신부(140)는 지능형 단말(300)로부터 촬영 모드 제어 신호를 수신하고, 촬영부(210)에 의해 촬영된 영상을 무선통신 방식으로 지능형 단말(300)로 전송하는 기능을 수행한다. 이때, 무선통신 방식은 예컨대, 적외선 통신(Infrared Data Association, IrDA), RFID(Radio Frequency Identification), 블루투스(Bluetooth), 지그비(ZigBee), 무선랜(Wireless LAN), UWB(Ultra Wideband) 중 적어도 어느 하나의 근거리 무선통신을 이용함이 바람직하지만, 이에 국한하지 않으며, 무선으로 통신하는 방식이라면 어떠한 것이든 상관없다.

전원 공급부(240)는 캡슐 내시경(200)의 구동을 위한 전원을 공급하는 것으로, 전원이 충전된 배터리 및 배터리의 전원을 이용하여 이미지 센서, 조명원 등의 캡슐 내시경을 구성하는 회로 부품에 구동 전원을 생성하는 전원 모듈을 포함하여 구성될 수 있다.

본 발명에 따른 캡슐내시경(200)은 촬영 모드에 따라 촬영 프레임 수가 다르며, 프레임 수는 집중 촬영 모드일 때 가장 높고, 관심 촬영 모드는 일반적인 캡슐내시경의 프레임 수를 유지하고, 최소 촬영 모드일 때 가장 적게 촬영함으로써, 최대한 전력 소모를 줄일 수 있다.

도 4는 본 발명의 일 실시예에 따른 지능형 단말의 구성을 설명하기 위한 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 지능형 단말(300)은 통신부(310), 저장부(320), 영상 분석부(330), 촬영모드 제어부(340), 제어부(350)를 포함한다.

통신부(310)는 캡슐내시경(200)과 영상 데이터 및 촬영 모드 제어 신호를 송수신한다. 또한, 통신부(310)는 병원 서버(400)와 영상 데이터 및 분석 데이터를 송수신을 수행한다.

통신부(310)는 캡슐 내시경(200)과의 통신을 위한 제1 통신부(미도시), 병원 서버(400)와의 통신을 위한 제2 통신부(미도시)를 포함할 수 있다. 제1 통신부는 예컨대, 스마트폰의 NFC, 블루투스 등과 같은 근거리 통신 모듈일 수 있고, 캡슐내시경(200)이 촬영한 영상을 수신하거나 촬영 모드 제어 신호를 송신하는데 사용된다. 제2 통신부는 예컨대, 3G, LTE와 같은 무선 통신 모듈일 수 있고, 캡슐 내시경(200)으로부터 수신받은 영상 및 그 영상의 분석 데이터를 병원 서버(400)로 전송하는데 사용된다.

저장부(320)에는 캡슐 내시경(200)이 촬영한 영상 데이터가 저장된다. 또한, 저장부(320)에는 사용자에 의해 설정된 촬영 모드 정보가 저장될 수 있다. 여기서, 촬영 모드 정보는 관심부위 등에 대한 정보를 포함할 수 있고, 사용자는 소화기관 중 주로 촬영하고 싶은 소화기관을 관심부위로 설정하여 관심 촬영 모드로 설정하고, 나머지 소화기관에 대해서는 최소 촬영 모드로 설정할 수 있다.

또한, 저장부(320)에는 영상 기반 위치추정 알고리즘과 딥러닝 등과 같은 병변 검출 및 영상 처리 알고리즘이 저장된다. 또한, 저장부(320)에는 질병 진단과 관련된 다양한 알고리즘들이 저장될 수 있다.

영상 분석부(330)는 통신부(310)를 통해 캡슐 내시경(200)으로부터 수신된 영상을 분석하여 촬영된 부위의 위치 또는 병변 의심 여부를 판단한다.

이러한 영상 분석부(330)는 위치 추정모듈(332), 병변 검출모듈(334)을 포함한다.

위치 추정 모듈(332)은 캡슐내시경(200)으로부터 수신한 영상을 분석하여 캡슐내시경의 위치를 추정한다. 이때, 위치 추정모듈(332)은 피검사자에게 캡슐내시경(200)이 투입된 후 경과한 시간에 따른 캡슐내시경(200)의 위치에 대한 학습 모델에 기초하여 영상이 촬영된 부위의 위치를 추정할 수 있다. 또한, 위치 추정모듈(332)은 캡슐내시경(200)에 내장된 가속 센서의 제1 측정값을 수신하고, 그 제1 측정값에 기초하여 영상이 촬영된 부위의 위치를 추정할 수도 있다. 이때, 위치 추정모듈(332)은 지능형 단말(300)에 내장된 가속 센서의 제2 측정값을 이용하여 제1 측정값을 보정하고, 상기 보정된 제1 측정값에 기초하여 영상이 촬영된 부위의 위치를 추정할 수 있다. 또한, 위치 추정모듈(332)은 캡슐내시경(200)에 내장된 속도 센서의 측정값을 더 수신하고, 측정값과 각 소화기관별로 기 측정된 속도의 범위를 비교하여, 영상이 촬영된 부위의 위치를 추정할 수도 있다. 또한, 위치 추정모듈(332)은 캡슐내시경(200)이 촬영한 영상이 어느 소화기관을 촬영한 영상인지 분류하는 학습 모델에 기초하여 영상이 촬영된 부위의 위치를 추정할 수 있다.

위치 추정모듈(332)은 추정된 위치가 기 설정된 관심 부위인지를 판단할 수 있다.

병변 검출모듈(334)은 캡슐 내시경(200)으로부터 수신한 영상을 분석하여 병변 의심 여부를 판단한다. 이때, 병변 검출모듈(334)은 캡슐내시경(200)이 촬영한 영상이 정상 부위를 촬영한 영상인지 병변 부위를 촬영한 영상인지 분류하는 학습 모델에 기초하여 상기 영상이 촬영된 부위의 병변 의심 여부를 판단할 수 있다. 또한, 병변 검출모듈(334)은 캡슐내시경(200)이 촬영한 영상의 제1 색상이 기 설정된 값 이상으로 분포하는 경우에는 병변 의심으로 판단할 수도 있다. 또한, 병변 검출모듈(334)은 영상을 해당 소화기관의 기준 영상과 비교하여 병변 의심 여부를 판단할 수도 있다. 또한, 병변 검출 모듈(334)은 영상의 컬러 분포 값 혹은 영상 처리에 의해서 추출된 특징 벡터(Feature Vetor) 등에 근거하여 병변 의심 여부를 판단할 수도 있다. 영상을 판독하여 병변 의심 여부를 판단하는 방법은 종래의 다양한 방법을 이용할 수 있다.

영상 분석부(330)는 수신한 영상에 대한 위치 추정 결과, 병변 의심 여부 판단 결과 및 상기 영상이 촬영된 모드 중 적어도 하나를 메타 정보로 추가하여 저장부(320)에 저장할 수 있다.

한편, 영상 분석부(330)가 촬영된 부위의 위치 또는 병변 의심 여부를 판단하는 구성은 알고리즘으로 구현될 수 있다.

또한, 영상 분석부(330)는 추후 검사자의 편의를 위해 영상을 분석하여 위, 십이지장, 대장 등 기관별로 촬영한 영상을 분류할 수 있다. 병변 의심 부위에 집중된 고프레임의 CV와 체내 캡슐위치 정보들은 정밀한 진단을 수행하는 보조도구로서 사용되어 종래의 캡슐내시경 시스템 대비 진단율을 더욱 높일 수 있다. 또한, 영상 분석부(330)는 병변 의심 부위로 판별된 영상을 검사자가 우선적으로 진단할 수 있도록 병원 서버(400)에 기존의 프레임율로 촬영된 영상과 분류하여 저장할 수 있다.

촬영모드 제어부(340)는 영상 분석부(330)에서 판단된 위치 또는 병변 의심 여부에 기초하여 캡슐내시경(200)의 촬영 모드를 제어하는 촬영 모드 제어 신호를 생성하고, 그 촬영 모드 제어 신호를 통신부(310)를 통해 캡슐내시경(200)으로 전송한다. 즉, 촬영 모드 제어부(340)는 영상 분석부(330)의 판단 결과, 병변 의심으로 판단된 경우 집중 촬영 모드, 촬영 위치가 기 설정된 관심 부위인 경우 관심 촬영 모드, 나머지 위치의 경우 최소 촬영 모드로 촬영하도록 하는 촬영 모드 제어신호를 캡슐내시경(200)으로 전송할 수 있다. 이때, 촬영 모드 제어 신호는 최소 촬영 모드, 관심 촬영 모드, 집중 촬영 모드의 순으로 프레임 수, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 촬영을 수행하도록 제어 신호일 수 있다. 예컨대, 집중 촬영 모드일 때 프레임 수가 가장 높고, 관심 촬영 모드일 때 일반적인 캡슐내시경의 프레임 수를 유지하며, 최소 촬영 모드일 때 가장 적게 촬영하여 최대한 전력 소모를 줄일 수 있다.

한편, 본 발명에 따른 지능형 단말(300)은 캡슐내시경(200)으로부터 수신한 영상을 디스플레이(display)하는 디스플레이부(360)를 더 포함할 수 있다. 디스플레이부(360)는 캡슐 내시경에서 촬영된 영상을 표시할 수 있다. 예로서, 디스플레이부(360)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 디스플레이, AMOLED(Active Matrix OLED) 디스플레이, 및 LED 중 하나로 구현될 수 있다.

또한, 본 발명에 따른 지능형 단말(300)은 영상 분석부(330)에서 분석된 병변 의심 여부에 기초하여 소화기관의 상태를 진단하는 진단 처리부(미도시)를 더 포함할 수 있다.

제어부(350)는 지능형 단말(300)의 전체적인 제어를 담당하는 바, 영상의 변화를 인식하여 촬영 모드 제어 신호를 캡슐내시경(200)으로 전송하도록 제어하는 기능을 수행한다.

도 5는 본 발명의 일 실시예에 따른 지능형 단말이 캡슐 내시경의 촬영을 제어하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 지능형 단말은 촬영 모드 정보를 설정하고(S510), 캡슐 내시경으로부터 영상을 수신한다(S520). 이때, 사용자는 소화기관 중 주로 촬영하고 싶은 소화기관을 관심부위로 설정하여 관심 촬영 모드로 설정하고, 나머지 소화기관에 대해서는 최소 촬영 모드로 설정할 수 있다. 그러면, 지능형 단말은 캡슐 내시경의 촬영 모드를 제어하는 촬영모드 제어신호를 캡슐 내시경으로 전송하고, 캡슐 내시경은 촬영모드 제어신호에 따라 해당 촬영모드로 영상을 촬영하며, 촬영된 영상을 지능형 단말로 전송한다.

단계 S520이 수행되면, 지능형 단말은 영상을 분석하여(S530), 병변이 검출되는지를 판단한다(S540). 이때, 지능형 단말은 영상을 분석하여 캡슐내시경의 위치를 추정하고, 병변 의심 부위인지 판단한다.

단계 S540의 판단결과 병변이 검출되면, 지능형 단말은 고화질/고프레임으로 촬영을 수행하도록 하는 집중 촬영 모드 제어 신호를 캡슐내시경으로 송신한다(S550).

만약, 단계 S540의 판단결과 병변이 검출되지 않으면 영상의 위치가 관심 부위로 설정된 위치인지를 판단한다(S560). 즉, 지능형 단말은 추정된 위치가 관심 부위로 설정된 위치인지를 판단할 수 있다.

단계 S560의 판단결과 영상의 위치가 관심 부위이면, 지능형 단말은 중화질/중프레임으로 촬영을 수행하도록 하는 관심 촬영 모드 제어 신호를 캡슐내시경으로 송신한다(S570).

만약, 단계 S560의 판단결과 영상의 위치가 관심 부위가 아니면, 최소로 설정된 저화질/저프레임으로 촬영을 수행하도록 하는 최소 촬영 모드 제어 신호를 캡슐내시경으로 송신한다(S580).

캡슐내시경은 지능형 단말로부터 촬영 모드 제어 신호를 수신하면, 촬영 모드 제어 신호에 따라 촬영을 수행하고 촬영한 영상을 다시 지능형 단말로 송신한다. 영상을 수신한 지능형 단말은 영상이 촬영된 모드에 따라 병변 영상, 관심 영상, 일반 영상으로 구분해서 저장할 수 있다.

지능형 단말은 캡슐내시경으로부터 촬영 종료 신호가 수신될때까지 단계 S520부터 반복하여 수행한다(S590). 즉, 캡슐내시경이 체외로 배출되거나 신체 내부의 대부분의 장기를 촬영하였거나 또는 배터리가 모두 방전되면 촬영 종료 신호를 지능형 단말로 송신한다. 지능형 단말은 촬영 종료 신호를 수신하기 전까지는 계속해서 캡슐내시경과 통신을 수행하면서 영상을 분석하고, 관심 부위인지 병변 의심 부위인지 판단하고, 판단 결과에 따라 촬영 모드를 제어하는 신호를 송신한다.

지능형 단말로부터 영상 정보를 유/무선 통신을 통해서 수신한 병원 서버는 병변 영상으로 구분된 영상만 우선하여 분석을 수행할 수 있다. 즉 지능형 단말이 1차적으로 병변 여부를 판단하고, 병원 서버가 2차적으로 병변 여부를 판단하여, 캡슐내시경이 촬영한 영상을 보다 효율적으로 분석할 수 있다.

정리하면 지능형 단말은 실시간으로 영상 데이터를 분석하여 위치 추정 및 병변 유무를 검출하고, 병변 검출 시 캡슐내시경에 고화질/고프레임 촬영을 지시하고, 관심 부위인 경우 캡슐내시경에 중화질/중프레임으로 촬영을 지시하며, 나머지 부위인 경우 캡슐내시경에 저화질/저프레임으로 촬영을 지시한다. 이를 위해서는, 의료 빅데이터를 활용한 경량화된 영상 기반 캡슐내시경의 위치 추정 알고리즘과 딥 러닝(Deep Learning)을 이용한 병변 검출 및 영상 처리 알고리즘이 요구된다.

도 6은 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 방법을 캡슐내시경 측면에서 살펴본 순서도이다.

도 6을 참조하면, 캡슐내시경은 지능형 단말과 주기적으로 통신을 하면서 촬영 모드 제어 신호를 수신하고 확인한다(S610). 해당 촬영 모드 제어 신호는 캡슐내시경의 촬영과 관련된 제어 신호이다. 예를 들면 캡슐내시경의 LED의 세기나 카메라의 촬영 프레임 또는 해상도와 관련된 제어 신호이다.

단계 S610에서 수신한 촬영 모드 제어 신호가 집중 촬영 모드 제어 신호인 경우(S620), 캡슐내시경은 고화질 또는 고프레임으로 촬영하도록 카메라 설정을 변경하여 고화질/고품질의 집중 촬영 모드로 촬영을 수행한다(S630).

만약, 단계 S610에서 수신한 촬영 모드 제어 신호가 관심 촬영 모드 제어 신호인 경우(S640), 캡슐내시은 중화질 또는 중프레임으로 촬영하도록 카메라 설정을 변경하여 중화질/중프레임의 관심 촬영 모드로 촬영을 수행한다(S650).

단계 S610에서 수신한 촬영 모드 제어 신호가 최소 촬영 모드 제어 신호인 경우, 캡슐내시경은 저화질 또는 저프레임으로 촬영하도록 카메라 설정을 변경하여 저화질/저프레임의 최소 촬영 모드로 촬영을 수행한다(S660).

본 발명에 따른 캡슐내시경의 촬영 제어 방법을 이용하면 관심 부위는 중 화질이나 중프레임으로 촬영하고, 병변 의심 부위는 보다 높은 화질이나 프레임으로 촬영할 수 있다.

이를 통해 캡슐내시경이 전체 촬영하는 영상 데이터의 양을 줄일 수 있으며, 이는 병원 서버가 분석해야 하는 영상 정보의 절대적인 양이 줄어드는 것을 의미한다. 영상 정보의 절대적인 양이 감소하면 병원 서버를 통해서 캡슐내시경이 촬영한 영상을 보고 검진을 수행하는 의료진이 보다 효율적으로 진료를 할 수 있다.

캡슐내시경은 최소 촬영 모드로 촬영된 영상, 관심 촬영 모드로 촬영된 영상 또는 집중 촬영 모드로 촬영된 영상을 지능형 단말로 송신한다(S670). 이처럼 캡슐내시경이 지능형 단말의 촬영 모드 제어 신호에 따라 다양한 모드로 촬영을 수행하는 단계는 캡슐내시경이 체외로 배출되기 전까지 반복된다(S680).

이처럼 본 발명의 캡슐내시경은 자연배출 되는 기간 동안 지속적으로 체내 기관을 촬영하며 지능형 단말과 통신하기 때문에 저전력화가 반드시 필요하다. 따라서 저전력 동작을 위한 Power Management Unit 및 초저전력 Digital/Baseband 모뎀기술이 필요하다.

도 7a 내지 도 7b는 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경의 위치를 추정하는 알고리즘을 설명하기 위한 도면이다.

도 7a를 참고하면 식도부터 직장까지의 소화기관이 도시되어 있다. 캡슐내시경을 피검사자가 삼키면 식도를 거처 위, 십이지장, 소장, 대장, 직장을 거쳐서 체외로 배출된다. 종래의 입으로 삽입되는 위 내시경이나 항문으로 삽입되는 대장 내시경을 통해서 식도에서 위까지 또한 대장까지는 자유로운 촬영이 가능하다.

하지만 소장은 다른 소화기관에 비해서 직경이 매우 작고 길이가 길다는 특성으로 인해 기존의 내시경으로는 촬영이 어려운 소화기관이다. 이에 캡슐내시경을 이용하여 소장의 병변 부위를 효율적으로 촬영할 수 있다. 즉 지금까지의 대부분의 캡슐내시경은 소장을 촬영하는 것을 주된 목적으로 개발이 되어 왔다.

이에 본 발명에서 제안하는 캡슐내시경은 병변 부위인 경우에 고화질로 촬영하는 것뿐만 아니라 캡슐내시경의 위치에 따라 중화질 또는 저화질로 촬영을 수행할 수 있다. 예를 들면 식도에서 위까지는 저화질의 최소 촬영 모드로 촬영을 진행하고, 소장은 관심 부위로 중화질의 관심 촬영 모드로 촬영을 진행하며, 대장은 다시 저화질의 최소 촬영 모드로 촬영을 진행할 수 있다.

또한 캡슐내시경의 위치와 병변 여부에 따라 촬영 모드를 달리할 수도 있다. 예를들어, 소화기관 중 하나인 소장을 주로 촬영하고 싶으면, 소장을 관심 부위로 설정하여 관심 촬영 모드로 설정하고, 병변 의심 부위를 집중 촬영 모드로 설정하며, 나머지 정상 부위를 최소 촬영모드로 설정한 경우, 최소 촬영 모드 < 관심 촬영 모드 < 집중 촬영 모드와 같은 순서대로 화질의 우선 순위를 정할 수 있다. 화질의 우선 순위라 함은 곧 배터리의 소모 전력과 즉결되므로 캡슐내시경을 통해서 어느 위치의 어떠한 부위를 더 우선해서 촬영하고 싶은지를 사전에 촬영 모드 등으로 설정할 수 있다. 이는 제한된 배터리를 더욱 효율적으로 사용하고자 함이다. 즉, 위나 대장의 정상 부위는 최소 촬영 모드로 적은 수의 프레임으로 촬영하여 배터리 소모를 최소화하고, 십이지장구부를 지날 때 생기는 영상의 변화를 지능형 단말이 인식하여, 체내 캡슐내시경에게 관심 촬영을 지시하여 소장의 끝인 회장말단부에 도달할 때까지 관심 촬영 모드로 촬영한다. 이 때, 위의 영역 혹은 그 외 영역에서 병변이 검출 되면 집중 촬영 모드로 전환하여 더 높은 프레임수로 촬영한다. 병변 지역을 지나가거나, 관심 영역이 아닐 경우 최소 촬영 모드로 전환하여 캡슐내시경의 전력 소비를 최소화한다. 위와 대장을 관심촬영하는 경우 각각 분문과 맹장에 진입할 때 영상의 변화를 체외 지능형 단말에서 판별하고, 인지하여, 캡슐내시경으로 하여금 관심 촬영 모드로 전환하게 하며, 관심 촬영이 끝나는 유문과 항문을 지날 경우 최소 촬영 모드로 전환하여 전력의 소비를 최소화한다.

다시 도 7a로 돌아가서 캡슐내시경이 피검사자에 의해 삽입되어서 식도를 거쳐 대장으로 배출되기까지 소요되는 시간은 일정하지가 않다. 이는 캡슐내시경이 중력과 소화기관의 연동 운동에 의해서만 이동하기 때문이다. 물론 피검사자의 신체에 복수 개의 패드를 부착하고 전기적 신호의 크기를 이용하여 캡슐내시경의 위치를 추정할 수도 있지만 이는 간편함을 특징으로 하는 캡슐내시경의 활용과 어울리지 않는다.

이에 본 발명에서는 캡슐내시경의 위치를 추정할 수 있는 간편한 방법을 제안하고자 한다. 도 7b를 참고하면 복수의 사용자가 캡슐내시경을 삼킨 후 배출되기까지의 시간을 그래프로 도시한 것을 볼 수 있다. 사용자마다 차이는 있지만 대략 10시간을 전후로 해서 촬영 시간이 표시되어 있다. 사용자의 나이, 성별 등 다양한 요소에 따라 캡슐내시경 검사의 진행 속도가 다르기 때문에, 검사를 통해 얻는 영상 패턴 변화(소화기관의 변화)를 체외 지능형 단말에서 인식하여 체내 캡슐내시경으로 하여금 촬영 모드 제어 신호에 따라 촬영하도록 제어한다.

도 7b를 참고하면 사용자 1은 캡슐내시경이 식도를 통과하는데 대략 2시간 내외, 위와 십이지장을 통과하는데 대략 3시간 내외, 소장을 통과하는데 대략 4시간 내외, 대장을 통과하는데 대략 3시간 내외 합계 총 12시간 정도를 걸쳐서 캡슐내시경이 소화기관을 촬영한 것을 볼 수 있다.

마찬가지로 사용자 2부터 사용자 n까지 다양한 피검사자를 촬영한 캡슐내시경의 영상을 분석하면 일종의 통계를 확보할 수 있다. 즉 캡슐내시경이 촬영한 영상을 딥 러닝에 의한 기계 학습을 통해 분석하고, 성별, 나이, 키, 몸무게 등의 신체 정보와 캡슐내시경의 위치의 상관 관계를 분석할 수 있다.

이처럼 빅데이터 분석을 통해 피검사자의 신체 정보를 바탕으로 학습 모델을 생성하면, 다른 별도의 장치 없이도 시간에 따른 캡슐내시경의 위치를 추정할 수 있다. 이러한 빅데이터 분석은 병원 서버나 별도의 고성능 컴퓨팅 장치에서 수행되고 그 결과인 학습 모델은 지능형 단말에 탑재되어 캡슐내시경의 위치를 추정하는데 활용될 수 있다.

또한 이러한 시간을 기반으로 한 캡슐내시경의 위치 추정 외에도, 캡슐내시경에 3축 가속도 센서를 내장하여 캡슐내시경이 이동한 거리를 추정할 수도 있다. 다만 이 경우에는 피검사자가 캡슐내시경을 삼킨 후에 이동하는 경우도 있으므로 이를 보정할 필요가 있다.

즉 캡슐내시경의 3축 가속도 센서를 이용하여 측정한 값과 사용자가 부착하고 이동을 자유롭게 할 수 있는 지능형 단말의 3축 가속도 센서를 이용하여 측정한 값을 비교하여, 캡슐내시경이 이동한 결과만을 추출하여 캡슐내시경의 정확한 위치를 추정할 수 있다.

또한 속도 센서를 이용하여 캡슐내시경의 이동 속도를 측정하여 캡슐내시경의 위치를 추정할 수 있다. 각 소화기관은 소화기관마다 소화의 속도 차이가 있다. 즉 캡슐내시경이 식도를 통과하는 속도, 위를 통과하는 속도, 소장을 통과하는 속도, 대장을 통과하는 속도는 각 소화기관의 특성에 따른 차이가 있다. 이를 이용하는 방법으로 각 소화기관마다 캡슐내시경이 통과하는 속도의 분포를 구하고 이를 범위로 표현하면 캡슐내시경의 속도에 따라 어느 소화기관을 지나고 있는지 판단할 수 있다.

또한 가속도 센서나 속도 센서를 이용하는 방법 외에도 캡슐내시경이 촬영하여 지능형 단말에 전송한 영상 정보를 분석하여 캡슐내시경의 위치를 추정할 수도 있다. 도 7b에서 복수의 사용자를 대상으로 캡슐내시경이 촬영한 영상을 분석하는 과정을 볼 수 있다.

캡슐내시경이 촬영한 영상을 분석하여 캡슐내시경의 위치를 추정할 수 있는 학습 모델을 생성하고, 생성한 학습 모델을 이용하면, 현재 피검사자의 신체 내부에서 캡슐내시경이 촬영한 영상이 어느 부위의 영상인지 분류할 수 있다. 즉 영상 정보의 색상, 채도, 명도(HSV; Hue, Saturation, Value)를 바탕으로 분류 모델을 설정하고 기계 학습을 수행하면, 현재 피검사자의 영상이 어느 신체 부위인지 해당 학습 모델을 통해서 분류가 가능하다.

도 8a 내지 도 8c는 본 발명의 일 실시예에서 사용될 수 있는 캡슐내시경이 촬영한 영상을 분석하여 병변 의심 여부를 판단하는 알고리즘을 설명하기 위한 도면이다.

도 8a는 캡슐내시경이 촬영한 소장의 영상 데이터이며, 도 8b는 캡슐내시경이 촬영한 대장의 영상 데이터이다. 도 8a와 도 8b에서 볼 수 있듯이 캡슐내시경이 촬영한 소장과 대장의 영상은 해당 촬영 부위가 정상 부위인 경우 비슷한 색상과 명도 및 채도를 보이게 된다.

그러나 소장의 특정 부위에 출혈이 발생한다거나 종양이 발견되는 경우에는 색상이나 명도 및 채도가 달라질 수 있다. 그러므로 피검사자의 신체 내부에서 캡슐내시경이 촬영한 영상끼리 유사도를 구하고, 기존에 촬영한 영상과 기설정된 값 이상의 유사도 차이를 보이는 부위는 병변 의심 부위로 판단하고 촬영 모드를 변경할 수 있다.

즉 피검사자가 캡슐내시경을 삼킨 후 촬영한 제1 영상과, 제1 영상이 촬영된 시점으로부터 일정한 시간이 경과한 후 촬영한 제2 영상의 유사도를 구하고 두 영상의 유사도가 임계치를 초과하는지를 기준으로 병변이 의심되는지 여부를 간단하게 판단할 수 있다. 병변으로 의심되는 경우에는 카메라의 촬영 모드를 변경하여 클리어 뷰를 확보할 수 있다.

또는 피검사자의 신체 내부에서 캡슐내시경이 촬영한 영상과 기존에 다른 사용자의 신체 내부에서 캡슐내시경이 촬영한 영상에 기초하여 만든 분류 모델과 비교하여 현재 피검사자의 신체 내부의 촬영된 부위가 병변 의심 부위인지 판단할 수 있다.

도 8c를 참고하면 캡슐내시경이 관심 부위 또는 병변 의심 부위를 발견하기 전까지는 최소 촬영 모드인 3 fps로 촬영을 수행하다가 관심 부위(A)를 발견한 경우에는 10 fps로 촬영을 수행하고, 다시 관심 부위를 벗어난 이후에는 3 fps로 촬영을 수행하는 것을 볼 수 있다.

그러다가 출혈이 발생하여 병변으로 의심되는 부위(B)를 발견한 경우에 15 fps로 촬영을 수행한다. 이처럼 본 발명에서 제안하는 캡슐내시경의 촬영을 제어하는 방법을 이용하면 관심 부위인지 병변 의심 부위인지 여부에 따라 캡슐내시경의 촬영 모드를 다양하게 가져갈 수 있다.

이처럼 소장 내부에서 출혈이 발생하는 경우에는 캡슐내시경이 촬영한 영상에서 빨간색의 비중이 급격히 증가하게 된다. 또는 소장 내부에서 종양이 발견되는 경우에는 어두운 색의 비율이 급격히 증가하게 된다. 그러므로 캡슐내시경이 촬영한 영상에서 특정 색상의 비율이 급격하게 증가하면 병변 의심 부위로 판단하고 카메라의 모드를 변경할 수 있다.

이를 통해 배터리 소모도 줄이는 한편 전체 촬영되는 영상 데이터의 절대적인 양도 줄이고, 병변 의심 부위는 보다 선명한 화질의 클리어 뷰를 확보하여 진단에 활용할 수 있다. 이를 통해 보다 효율적으로 피검사자를 검진할 수 있다.

본 발명에서는 캡슐내시경이 촬영한 영상을 분석하여 캡슐내시경이 촬영한 부위의 위치를 추정하는 단계나, 촬영된 부위의 병변 의심 여부를 판단하는 단계에서 기계 학습을 사용할 수 있다. 예를 들면, 영상의 색상, 명도, 채도를 기준으로 3차원상에 영상의 분포를 K-Means 클러스터링하여 소화기관을 분류할 수 있다.

또는 서포트 벡터 머신(SVM; Support Vector Machine)을 적용하여 분류기를 생성할 수 있다. 이를 통해 캡슐내시경이 촬영한 부위의 위치나 병변 의심 여부를 분류할 수 있다. 다만 이는 발명의 이해를 돕기 위한 것이므로 기계학습의 다양한 알고리즘을 적용하여 영상을 기반으로 한 위치 추정이나 병변 여부를 판단할 수 있다.

도 9는 본 발명의 일 실시예에 따른 캡슐내시경의 촬영을 제어하는 시스템을 설명하기 위한 신호 흐름도이다.

도 9를 참고하면 캡슐내시경(200)은 지능형 단말(300)에 영상 데이터를 송신하고 촬영 모드 제어 신호를 수신한다. 촬영 모드 제어 신호에 따라 최소 촬영 모드로 촬영, 관심 촬영 모드로 촬영 또는 집중 촬영 모드로 촬영을 수행할 수 있다. 최소 촬영 모드, 관심 촬영 모드 및 집중 촬영 모드 순으로 프레임을 증가시키거나 해상도를 증가시키거나 LED 광원의 세기를 증가시킬 수 있다.

지능형 단말(300)은 캡슐내시경(200)으로부터 영상 데이터를 수신하고 영상 데이터를 분석하여 캡슐내시경(200)의 위치와 병변 의심 부위 여부를 판단한다. 만약 캡슐내시경(200)의 위치가 관심 부위인 경우, 관심 촬영 모드로 촬영하도록 하는 관심 촬영 모드 제어 신호를 캡슐 내시경으로 전송하고, 병변 의심 부위가 발견되는 경우에는 캡슐내시경(200)으로 정밀 촬영을 위한 집중 촬영 모드 제어 신호를 송신한다. 그외의 위치에서는 최소 촬영 모드로 촬영하도록 하는 최소 촬영 모드 제어 신호를 캡슐 내시경으로 전송한다.

병원 서버(400)는 지능형 단말(300)과 유/무선 통신을 통해 영상 데이터를 수신하고 분석 데이터를 제공한다. 복수의 피검사자의 영상 데이터를 수신하고 영상 처리 및 기계 학습을 적용하여 캡슐 내시경(200)의 위치를 추정할 수 있는 학습 모델과 병변 의심 여부를 판단할 수 있는 학습 모델을 생성하여 지능형 단말(300)로 제공한다.

병원 서버(400)는 지능형 단말(300)과 통신하기 위한 통신 모듈(410), 빅데이터 분석을 통해 캡슐내시경(200)의 위치를 추적하기 위한 기계 학습을 수행하는 빅데이터 분석 모듈(440), 영상 처리에 기반하여 병변 의심 부위인지 판단할 수 있는 모델을 제공하는 영상 분석 모듈(430) 및 이를 제어하는 제어 모듈(420)을 포함할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

200 : 캡슐내시경
210 : 촬영부
220, 350 : 제어부
230, 310 : 통신부
240 : 전원공급부
300 : 지능형 단말
320 : 저장부
330 : 영상 분석부
340 : 촬영모드 제어부
400 : 병원서버

Claims (9)

1. 지능형 단말로부터 촬영 모드 제어 신호를 수신하고, 상기 촬영 모드 제어 신호에 따른 촬영 모드로 촬영을 수행하고, 촬영한 영상을 상기 지능형 단말로 송신하는 캡슐내시경; 및
   상기 영상을 분석하여 촬영된 부위의 위치 또는 병변 의심 여부를 판단하고, 상기 판단된 위치 또는 병변 의심 여부에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 촬영 모드 제어 신호를 상기 캡슐내시경으로 전송하는 지능형 단말을 포함하며,
   상기 캡슐내시경은 동일한 카메라에서 상기 촬영 모드 제어 신호에 해당하는 촬영 모드로 설정 변경을 통해 촬영을 수행하고,
   상기 지능형 단말은,
   상기 캡슐 내시경과의 통신을 위한 통신부;
   상기 통신부를 통해 상기 캡슐 내시경으로부터 수신된 영상을 분석하여 촬영된 부위의 위치 또는 병변 의심 여부를 판단하는 영상 분석부; 및
   상기 영상 분석부의 판단 결과, 병변 의심으로 판단된 경우 집중 촬영 모드, 상기 위치가 기 설정된 관심 부위인 경우 관심 촬영 모드, 나머지 위치의 경우 최소 촬영 모드로 촬영하도록 하는 촬영 모드 제어신호를 상기 통신부를 통해 상기 캡슐내시경으로 전송하는 촬영 모드 제어부;
   를 포함하며,
   상기 영상 분석부는 수신한 영상에서 기존에 촬영한 영상과 색상, 명도, 또는 채도에 있어서 기설정된 값 이상의 유사도 차이를 보이는 부위를 병변 의심 부위로 판단하고 상기 캡슐내시경으로 상기 집중 촬영 모드로 촬영하도록 촬영 모드 제어 신호를 전송하는 것을 특징으로 하는,
   캡슐내시경의 촬영 제어 시스템.
2. 삭제
3. 제1항에 있어서,
   상기 촬영 모드 제어 신호는,
   최소 촬영 모드, 관심 촬영 모드, 집중 촬영 모드의 순으로 프레임 수, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 촬영을 수행하도록 제어 신호인 것을 특징으로 하는 캡슐내시경의 촬영 제어 시스템.
4. 제1항에 있어서,
   상기 영상 분석부는,
   피검사자에게 상기 캡슐내시경이 투입된 후 경과한 시간에 따른 캡슐내시경의 위치에 대한 학습 모델 또는 상기 캡슐내시경에 내장된 가속 센서의 측정값 또는 상기 캡슐내시경이 촬영한 영상이 어느 소화기관을 촬영한 영상인지 분류하는 학습 모델 중 적어도 하나를 이용하여 상기 영상이 촬영된 부위의 위치를 추정하는 것을 특징으로 하는 캡슐내시경의 촬영 제어 시스템.
5. 제1항에 있어서,
   상기 지능형 단말은,
   상기 영상 분석부에서 분석된 병변 의심 여부에 기초하여 소화기관의 상태를 진단하는 진단 처리부를 더 포함하는, 캡슐내시경의 촬영 제어 시스템.
6. 제1항에 있어서,
   복수 개의 지능형 단말로부터 영상을 수신하여 저장하고, 복수 개의 영상을 기계 학습하여 캡슐내시경이 촬영한 영상이 정상 부위를 촬영한 영상인지 병변 부위를 촬영한 영상인지 분류하는 학습 모델을 생성하는 서버를 더 포함하는,
   캡슐내시경의 촬영 제어 시스템.
7. 지능형 단말이, 캡슐내시경으로부터 상기 캡슐내시경이 촬영한 영상을 수신하는 단계;
   상기 지능형 단말이, 상기 영상을 분석하여 촬영된 부위의 위치 또는 병변 의심 여부를 판단하는 단계;
   상기 지능형 단말이, 상기 판단된 위치 또는 병변 의심 여부에 기초하여 상기 캡슐내시경의 촬영 모드를 제어하는 촬영 모드 제어 신호를 상기 캡슐내시경으로 전송하는 단계를 포함하고,
   상기 촬영 모드 제어 신호는 병변 의심으로 판단된 경우 집중 촬영 모드, 상기 위치가 기 설정된 관심 부위인 경우 관심 촬영 모드, 나머지 위치의 경우 최소 촬영 모드로 촬영하도록 하는 촬영 모드 제어 신호를 포함하며,
   상기 병변 의심 여부를 판단하는 단계에서는, 수신한 영상에서 기존에 촬영한 영상과 색상, 명도, 또는 채도에 있어서 기설정된 값 이상의 유사도 차이를 보이는 부위를 병변 의심 부위로 판단하고,
   상기 캡슐내시경으로 전송하는 단계에서는, 상기 캡슐내시경으로 상기 집중 촬영 모드로 촬영하도록 촬영 모드 제어 신호를 전송하는 것을 특징으로 하는,
   캡슐내시경의 촬영 제어 방법.
8. 제7항에 있어서,
   상기 영상을 수신하는 단계 이전에,
   상기 지능형 단말이 사용자로부터 촬영 모드 정보를 입력받아 설정하는 단계를 더 포함하되,
   상기 촬영 모드 정보는 관심 부위에 대한 관심 촬영 모드, 병변 의심 부위에 대한 집중 촬영 모드, 나머지 위치에 대한 최소 촬영 모드를 포함하는 것을 특징으로 하는 캡슐내시경의 촬영 제어 방법.
9. 제7항에 있어서,
   상기 캡슐내시경으로 전송하는 단계는,
   상기 촬영 모드 제어 신호는, 최소 촬영 모드, 관심 촬영 모드, 집중 촬영 모드의 순으로 프레임 수, 해상도 및 광원의 세기 중에서 적어도 하나를 증가시켜 촬영을 수행하도록 제어 신호인 것을 특징으로 하는 캡슐내시경의 촬영 제어 방법.
   

Images