KR20190046530A - 캡슐내시경의 위치 추적 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 방법은, 캡슐내시경 위치 추적 장치가, 캡슐내시경이 촬영한 영상을 수신하는 단계; 상기 캡슐내시경 위치 추적 장치가, 위장관 교차점을 기반으로 기계학습된 분류 모델을 이용하여 상기 영상에서 위장관 교차점을 식별하는 단계; 및 상기 캡슐내시경 위치 추적 장치가, 상기 식별된 위장관 교차점을 기반으로 상기 캡슐내시경의 위치를 추적하는 단계를 포함할 수 있다.

Description

캡슐내시경의 위치 추적 방법 및 장치 {Method and apparatus for tracking position of capsule endoscopy}

본 발명은 캡슐내시경의 위치 추적 방법 및 그 장치에 관한 것이다. 보다 자세하게는 기계학습을 통해 캡슐내시경의 위치를 추적하는 방법 및 그 방법을 수행하는 장치에 관한 것이다.

캡슐내시경은 위장관(Gastrointestinal Tract)을 관찰하기 위해 인체에 삽입하여 체내의 영상을 촬영하는 장치이다. 기존의 내시경 검사와 다르게 이물감이나 불쾌감을 주지 않고 인체 내부에 삽입되어 위장관을 촬영할 수 있다는 이점이 있는 내시경 기기이다. 또한, 인체 내부에 삽입된 후 배출되기까지 피검사자가 자유롭게 활동할 수 있다는 편의성도 가지고 있다.

일반적으로 캡슐내시경 영상의 분석을 위해서는 캡슐이 존재하고 있는 위치(식도, 위, 공장, 회장 등)와 해당 위치에서 발견된 정보(종양, 폴립, 용종 등)에 대한 확인이 필요하다. 그러나 소화기관의 특성상 한 환자의 캡슐내시경 검사를 수행하게 되면 14~18시간 정도의 영상이 획득되기 때문에, 이에 해당되는 방대한 양의 영상을 분석하기 위해서는 시간적인 소모가 매우 크다.

이를 위해, 현재 캡슐내시경의 위치 추적에 관한 다양한 연구가 진행되고 있다. 예를 들면 KR 10-1055322 B1 "내시경 및 내시경 위치 판단 방법" 특허의 경우, 내시경의 위치를 판단하기 위해서, 내시경 몸체에 구비되어 내시경 몸체에서 전기 신호를 생성하여 터미널 기기와 통신을 통해 내시경의 위치를 파악한다. 또한 KR 10-1405416 B1 "위치 탐지기능을 구비한 내시경 시스템 및 이를 이용한 내시경의 위치탐지 방법" 특허의 경우, 내시경의 위치를 판단하기 위해서, 내시경에 장착된 가속도 센서의 값을 이용한다. 하지만, 이러한 종래의 방법은 위치가 중첩되거나 정확하지 않는 경우가 대다수로 위치 추적에 대한 어려움이 있다.

또한, 캡슐내시경의 경우 연동운동에 의하여 캡슐이 소화관을 통과하게 되는데, 사람에 따라 통과하지 못하고 일부 기관에 정체되는 현상이 발생한다. 현재로서는 캡슐에 대한 위치 추적이 이루어지지 않기 때문에 이와 같은 문제를 해결할 수 없는 상황이다. 이러한 경우에는 장시간에 걸쳐서 촬영을 진행하더라도 실질적으로 필요한 영상을 얻지 못하는 문제가 생긴다. 오히려 이러한 경우에는 정체 현상을 빨리 파악해서 캡슐내시경을 강제로 배출할 수 있도록 도움이 필요하다.

이에 캡슐내시경의 위치를 추적하고 정체 현상이 발생하는 경우에는 알람을 제공할 수 있는 방법이 필요하다.

본 발명이 해결하고자 하는 기술적 과제는 캡슐내시경의 위치 추적 방법 및 그 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 방법은, 캡슐내시경 위치 추적 장치가, 캡슐내시경이 촬영한 영상을 수신하는 단계; 상기 캡슐내시경 위치 추적 장치가, 위장관 교차점을 기반으로 기계학습된 분류 모델을 이용하여 상기 영상에서 위장관 교차점을 식별하는 단계; 및 상기 캡슐내시경 위치 추적 장치가, 상기 식별된 위장관 교차점을 기반으로 상기 캡슐내시경의 위치를 추적하는 단계를 포함할 수 있다.

바람직하게는, 상기 캡슐내시경 위치 추적 장치가, 상기 영상에서 전이 시간(transition time)을 식별하는 단계; 및 상기 캡슐내시경 위치 추적 장치가, 상기 전이 시간과 상기 캡슐내시경의 위치에 기반하여 상기 캡슐내시경의 정체(retention) 여부를 판단하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 캡슐내시경 위치 추적 장치가, 상기 캡슐내시경이 정체인 것으로 판단한 경우에는 알람을 제공하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 캡슐내시경의 정체 여부를 판단하는 단계는, 상기 캡슐내시경의 위치에 기초하여 각각의 위장관 별로 기 설정된 임계 시간을 상기 전이 시간이 초과하는 경우, 상기 캡슐내시경이 정체한 것으로 판단하는 단계를 포함할 수 있다.

바람직하게는, 상기 캡슐내시경의 정체 여부를 판단하는 단계는, 상기 캡슐내시경을 사용한 피검사자의 성별, 나이, 키 및 몸무게 중에서 하나 이상에 기초하여 상기 임계 시간을 각각의 위장관 별로 개인화하는 단계를 포함할 수 있다.

바람직하게는, 상기 캡슐내시경의 위치를 추적하는 단계는, 상기 촬영한 영상에서 제1 위장관 교차점인 Z선(Z-line)이 식별되기 전까지는 상기 캡슐내시경의 위치를 식도로 판단하는 단계를 포함할 수 있다.

바람직하게는, 상기 캡슐내시경의 위치를 추적하는 단계는, 상기 촬영한 영상에서 제1 위장관 교차점인 Z선(Z-line)이 식별되고, 제2 위장관 교차점인 유문판(pyloric valve)이 식별되기 전까지는 상기 캡슐내시경의 위치를 위로 판단하는 단계를 포함할 수 있다.

바람직하게는, 상기 캡슐내시경의 위치를 추적하는 단계는, 상기 촬영한 영상에서 제2 위장관 교차점인 유문판(pyloric valve)이 식별되고, 제3 위장관 교차점인 회맹판(ileocecal valve)이 식별되기 전까지는 상기 캡슐내시경의 위치를 소장으로 판단하는 단계를 포함할 수 있다.

바람직하게는, 상기 캡슐내시경의 위치를 추적하는 단계는, 상기 촬영한 영상에서 제3 위장관 교차점인 회맹판(ileocecal valve)이 식별된 후에는 상기 캡슐내시경의 위치를 대장으로 판단하는 단계를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 장치는, 캡슐내시경이 촬영한 영상을 수신하는 통신부; 위장관 교차점을 기반으로 기계학습된 분류 모델을 이용하여 상기 영상에서 위장관 교차점을 식별하고, 상기 식별된 위장관 교차점을 기반으로 상기 캡슐내시경의 위치를 추적하는 영상 분석부; 및 상기 영상에서 식별한 전이 시간과 상기 캡슐내시경의 위치에 기반하여 상기 캡슐내시경의 정체(retention) 여부를 판단하고, 상기 캡슐내시경이 정체인 것으로 판단한 경우에는 알람을 제공하는 영상 정보 제공부를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 시스템은, 위장관 교차점을 기반으로 기계학습된 분류 모델을 이용하여 캡슐내시경이 촬영한 영상에서 위장관 교차점을 식별하고, 상기 식별된 위장관 교차점을 기반으로 상기 캡슐내시경의 위치를 추적하는 캡슐내시경의 위치 추적 장치; 및 상기 캡슐내시경의 위치 추적 장치로부터 상기 캡슐내시경이 촬영한 영상을 수신하고, 상기 수신한 영상을 기계학습하여 위장관 교차점 분류 모델을 생성하는 서버를 포함할 수 있다.

본 발명에 따른 효과는 다음과 같다.

본 발명에서는 위장관을 분할할 수 있는 지점인 위장관 교차점(Z라인, 유문판, 회맹판)에 대한 영상 학습을 통해 캡슐내시경의 관찰 부위(해부학적 랜드마크; 식도, 위, 소장, 대장)를 추적할 수 있다. 이는 캡슐내시경에서 관찰될 수 있는 위장관 전체를 위장관 교차점으로 분할시켜 분석하는 방법으로, 캡슐의 개략적인 위치 추적을 가능케 하며 이를 통해 캡슐이 한 기관에 오래 머물러 있을 경우의 이벤트 처리(Alarming)를 수행하여 캡슐 정체(Retention) 문제를 해결할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에서 사용될 수 있는 위장관 교차점에 대해서 설명하기 위한 도면이다.
도 2 내지 도 3은 본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에서 사용될 수 있는 정체 여부 판단 과정을 설명하기 위한 도면이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에서 사용될 수 있는 정체 여부 판단 알고리즘을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 방법의 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에서 사용될 수 있는 위장관 교차점에 대해서 설명하기 위한 도면이다.

도 1을 참고하면 상단에 3개의 위장관 교차점이 도시된 것을 볼 수 있다. 제1 위장관 교차점은 식도(esophagus)와 위(stomach) 사이의 교차점으로 Z선(Z-line)이라고 부르는 지점이다. 제2 위장관 교차점은 위(stomach)와 소장(small intestine) 사이의 교차점으로 유문판(pyloric valve)이라고 부르는 지점이다. 제3 위장관 교차점은 회맹판(ileocecal valve)이라고 부르는 지점이다.

종래의 영상 분석 기반의 캡슐내시경 위치 추적 방법은 식도나 위는 그 특징이 분명해서 비교적 정확한 위치 추적이 가능하나, 소장이나 대장은 비슷한 영상이 지속적으로 반복되기 때문에 정확한 위치 추적이 어려운 단점이 있었다. 또한, 전기 신호의 세기 등으로 캡슐내시경의 위치를 추적하는 방법도 신호의 간섭이나 굴절에 의해 추적되는 위치가 중첩되거나 정확하지 않는 한계를 가지고 있다.

이러한 단점을 극복하기 위해서 본 발명에서는 기계학습에 기반하여 위장관 교차점 통과했는지 여부를 기준으로 캡슐내시경의 위치를 파악하는 방법을 제안한다. 물론 본 발명에서 제안하는 방법을 이용하더라도 캡슐내시경의 정확한 위치를 파악하는 것은 어렵지만, 최소한 캡슐내시경이 어느 위장관을 통과하고 있는지는 실시간으로 파악이 가능하다.

즉 캡슐내시경이 촬영한 영상에서 제1 위장관 교차점이 있는지 여부, 제2 위장관 교차점이 있는지 여부, 제3 위장관 교차점이 있는지 여부에 따라 캡슐내시경이 식도에 있는지 위에 있는지 소장에 있는지 대장에 있는지 여부를 파악할 수 있다. 이는 각각의 위장관 교차점은 하나의 위장관이 끝나는 동시에 새로운 위장관이 시작되는 지점이기 때문에 그 특징이 분명해서 기계학습이 용이하다는 특징에 기반한다.

일반적으로 캡슐내시경은 소장과 대장의 촬영을 주된 목적으로 한다. 식도나 위와 같은 위장관의 경우에는 캡슐내시경이 아니더라도 일반 내시경을 통해서 촬영이 가능하기 때문이다. 다만, 캡슐내시경은 크기의 제한으로 인해 한정된 배터리를 장착하고 있다. 이러한 캡슐내시경이 위에서 장시간 정체하고 있는 경우에는 제한된 배터리를 모두 소모하고 목표로 하는 소장이나 대장의 영상을 촬영하지 못하는 경우가 종종 발생한다.

이는 캡슐내시경이 순전히 피동적인 동력에 의해서 이동하기 때문이다. 즉 캡슐내시경은 별도의 동력 없이 순전히 위장관의 연동운동을 통해서 이동을 하기 때문에 각각의 위장관을 통과하는 시간이 제각각이다. 물론 일정한 경향은 존재하지만, 정체가 발생하는 경우에 이를 해결하지 않으면 피검사자의 만족도에 문제가 발생할 수 있다.

즉 캡슐내시경을 이용하면 어느정도 자유로운 활동이 가능하지만, 영상을 수신하기 위한 장치 등을 소지하고 있어야 하는데, 장시간의 캡슐내시경을 통한 검사가 끝난 후에 원하는 소장이나 대장의 영상을 얻지 못하는 경우에는 피검사자들의 캡슐내시경 검사에 대한 불만이 발생할 수 있다. 그러므로 캡슐내시경이 특정 위장관에서 장시간 정체하고 있는 경우에는 이러한 상황에 대해서 피검사자에게 안내하는 경우 피검사자의 불만족을 완화할 수 있다.

본 발명에서 제안하는 방법을 통해서 캡슐내시경의 대략적인 위치를 추적하고, 이를 통해서 캡슐내시경이 특정 위장관에 장시간 정체하고 있는 경우에는 피검사자 및 검사자에게 알람을 제공할 수 있다. 예를 들면 캡슐내시경이 위에서 장시간 정체되고 있는 경우에는, 피검사자에게 별도의 조치를 취해서 캡슐내시경을 강제로 배출할 수 있도록 도울 수 있다.

도 2 내지 도 3은 본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 장치를 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 장치는 통신부와 영상 분석부 및 영상 정보 제공부를 포함할 수 있다. 통신부는 캡슐내시경의 영상 전송부와 통신을 통해서 캡슐내시경이 촬영한 영상을 실시간으로 수신한다. 이를 위해서 캡슐내시경은 영상 촬영부와 영상 전송부를 포함한다.

종래의 캡슐내시경을 살펴보면 부피의 제약상 저장공간을 별도로 가지고 있는 경우보다는 통신을 통해서 촬영한 영상을 실시간으로 전송하는 경우가 주를 이루고 있다. 이를 위해서 피검사자는 캡슐내시경을 삼킨 후, 별도의 장치를 가방의 형태로 어깨에 메거나 허리춤에 벨트 형태로 밀착시킨다. 그러면 근거리 통신을 통해서 캡슐내시경이 촬영한 영상을 실시간으로 수신해서 저장한다.

이러한 종래의 방법은 터미널이 캡슐내시경의 영상을 수신하고 저장하는 역할에 그쳤지만, 본 발명에서 제안하는 방법은 터미널이 캡슐내시경의 영상을 수신하고 저장하는 것뿐만 아니라 캡슐내시경이 촬영한 영상을 분석하여 각각의 위장관 교차점을 통과하였는지 여부 및 정체 여부 등을 판단하고 알람을 제공할 수 있다.

본 발명에서 제안하는 캡슐내시경의 위치 추적 장치는 도 2에 터미널로 도시된 장치로, 예를 들면 스마트폰과 같은 장치일 수 있다. 블루투스 등의 근거리 통신을 통해서 캡슐내시경이 촬영한 영상을 수신하고, 수신한 영상을 분석하고, 수신한 경상을 별도의 서버에 무선 통신을 통해서 전송할 수 있다.

이를 위해서 터미널의 통신부는 기기 통신부와 서버 통신부를 포함할 수 있다. 기기 통신부는 캡슐내시경과 근거리 통신을 하기 위한 것으로 예를 들면 저전력 블루투스(BLE, Bluetooth Low Energy)와 같은 통신 모듈이다. 서버 통신부는 별도의 외부 서버로 캡슐내시경으로부터 수신한 영상을 전송하기 위한 것으로 예를 들면 3G, LTE(Long Term Evolution)와 같은 통신 모듈이다.

터미널의 통신부에서 기기 통신부를 캡슐내시경의 영상 전송부와 실시간으로 영상을 송수신하나, 서버 통신부는 실시간으로 수신한 영상을 전송할 수도 있고, 일정한 주기 또는 비주기적으로 수신한 영상을 전송할 수 있다. 서버에 전송된 영상은 추후 위장관 교차점에 기반한 캡슐내시경의 위치 추적을 위한 기계학습에 사용된다.

터미널의 영상 분석부는 기계학습된 위장관 교차점 분류기(Classifier of Gastrointestinal Tract Junction)를 서버로부터 수신하여 탑재하고 있다. 위장관 교차점 분류기는 사전에 기계학습을 통해 생성된 분류 모델로 캡슐내시경에서 실시간으로 수신한 영상을 분석하는데 활용된다. 영상 분석부는 탑재된 분류기 모델을 사용하여 영상 분석부에서는 캡슐내시경의 영상으로부터 위장관 교차점의 위치를 확인하고 이를 기반으로 개략적인 캡슐의 위치를 확인한다.

도 2를 참고하면 본 발명에서 제안하는 캡슐내시경의 위치 추적 장치의 영상 분석부는 전이 시간 분석부, 랜드마크 분석부, 내시경 위치 확인부를 포함할 수 있다. 전이 시간 분석부는 캡슐내시경이 전송한 영상의 메타 정보에서 전이 시간을 추출하여 분석한다. 전이 시간은 캡슐내시경이 피검사자의 경구를 통해 삽입된 시점으로부터 촬영된 영상이 경과한 시점으로 캡슐내시경의 정체 여부를 판단하는데 활용된다.

랜드마크 분석부는 위장관 교차점을 기반으로 기계학습된 분류 모델을 적용하여 현재 캡슐내시경이 촬영한 영상이 위장관 교차점에 해당하는지 여부를 판단한다. 즉 캡술내시경으로부터 실시간으로 영상을 수신하고 각 영상이 제1 위장관 교차점 또는 제2 위장관 교차점 또는 제3 위장관 교차점에 해당하는지 여부를 판단한다.

내시경 위치 확인부는 전이 시간 분석부의 전이 시간과 랜드마크 분석부의 위장관 교차 여부를 기준으로 캡슐내시경의 시간 대비 위치를 판단한다. 즉 제1 위장관 교차점을 통과했는지 여부를 기준으로 식도를 통과 중이라는 위치를 판단하고, 제2 위장관 교차점을 통과했는지 여부를 기준으로 위를 통과 중이라는 위치를 판단하고, 제3 위장관 교차점을 통과했는지 여부를 기준으로 소장을 통과 중인지 아니면 대장을 통과 중인지 판단한다.

이를 통해 도 2의 우측 하단과 같이 특정 프레임을 위장관 교차점으로 추출하고 각각의 위장관 교차점 프레임 사이의 구역을 분할하여 각각 식도, 위, 소장(십이지장, 공장 회장), 대장으로 분류하게 된다. 이렇게 캡슐내시경의 위치를 판단한 후에 이를 영상 정보 제공부로 전달하여 필요한 경우 알람을 발생시킬 수 있다. 이를 위해서는 캡슐내시경의 대략적인 위치와 전이 시간을 바탕으로 정체 여부를 판단할 수 있어야 한다. 이와 관련된 내용은 다음의 도 4에서 보다 자세히 살펴보기로 한다.

영상 정보 제공부는 가늠되는 위치가 일정 시간이 지나도록 계속 바뀌지 않고 머물러 있는 경우 캡슐의 정체(Retention) 현상으로 의심하여, 환자 혹은 간호사나 의사에게 알릴 수 있는 이벤트(Alarming)를 처리한다. 알림은 터미널에서 청각, 시각적인 효과를 통해서 안내할 수 있다. 예를 들면 캡슐내시경이 장시간 위에서 정체중입니다.와 같은 안내 멘트를 피검사자나 간호사에게 제공할 수 있다. 또는 터미널의 디스플레이(미도시)를 통해서 안내 메시지를 제공할 수 있다. 또는 의사나 간호사의 지정된 단말로 안내 메시지를 송신할 수 있다.

본 발명에서 제안하는 캡슐내시경의 위치 추적 장치는 서버에서 사전에 기계학습된 분류 모델을 이용한다. 서버는 영상 학습부와 학습 데이터 저장하기 위한 데이터베이스를 포함할 수 있다. 데이터베이스에는 사전에 복수의 터미널로부터 수신한 다양한 영상을 저장하고 그 중에서 위장관 교차점에 해당하는 이미지만 선별해서 기계학습에 이용할 수 있다.

영상 학습부에서는 위장관 교차점을 분류할 수 있는 학습 모델을 생성 및 고도화하는 작업을 수행한다. 위장관 교차점은 식도에서 위로 넘어가거나 위장에서 십이지장을 넘어갈 때, 괄약근에 의해 소화관이 급작스럽게 좁아지는 구간으로 도 3과 같이 촬영될 수 있다. 학습 모델을 생성하는 방법은 도 3과 같은 위장관 교차점에 대한 영상을 빅데이터로 구축하여 딥러닝 방식의 영상 학습을 수행시키는 방식으로, 이와 같이 학습된 분류기 모델은 터미널에 탑재되어 위장관 교차점에 대한 프레임이 분류해낸다.

이를 위해서, 위장관 교차점에 대한 영상을 빅데이터로 구축한다. 다음은 딥러닝 방식(예: CNN(Convolutional Neural Network)을 적용하여 위장관 교차점 영상 학습 수행하며, 학습 모델을 적용하여 위장관 교차점 영상에 대한 분류 작업을 수행한다. 이와 같이 학습된 분류기 모델은 터미널에 탑재되고, 이를 통해 위장관 교차점에 대한 프레임이 추출된다.

본 발명에서 제안하는 방법을 이용하면 캡슐내시경 영상을 영역별로 분할하기 위한 주요 지점인 위장관 교차점(Z-line, 유문판, 회맹판)에 대한 영상을 빅데이터 기반의 딥러닝 방식을 적용하여 학습시키고, 이를 통한 인식을 수행하여 캡슐내시경의 개략적인 위치를 파악함으로써, 캡슐내시경의 정체 현상에 대한 문제를 해결할 수 있게 한다.

현재 캡슐내시경 영상을 통한 임상 검사가 실패로 끝나는 원인은 대부분 캡슐이 위 또는 장에 정체되어 빠져나오지 못하는 경우에 해당된다. 이와 같은 경우는 환자에게 캡슐내시경으로 획득할 수 있는 의료 정보를 파악할 수 없는 뿐 아니라 경제적, 시간적인 손실 또한 매우 크다. 본 발명은 이와 같은 정체 현상에 대한 해결책을 제시할 수 있으므로, 피검사자의 편의성을 향상시킬 수 있다.

도 4는 본 발명의 일 실시예에서 사용될 수 있는 정체 여부 판단 과정을 설명하기 위한 도면이다.

도 4를 참고하면 각각의 위장관 교차점이 검출되어야 하는 시간이 표시되어 있다. 예를 들면 식도와 위의 경계인 제1 위장관 교차점은 수초 이내(#sec)에 검출이 되어야 하며, 위와 소장의 경계인 제2 위장관 교차점은 제1 위장관 교차점 검출 이후에 45분에서 +/- 52분 이내에 검출되어야 한다. 또한 소장과 대장의 경계인 제3 위장관 교차점은 제2 위장관 교차점 검출 이후에 3시간 37분에서 +/- 90분 이내에 검출되어야 한다. 제3 위장관 교차점이 검출된 지점은 캡슐내시경 전체 촬영 영상의 80%에 해당하는 지점이다. 그리고 배출이 되는 시점은 일반적으로 제3 위장관 교차점이 검출된 이후에 3시간 22분에서 +/- 90분 이내에 검출이 되어야 한다. 만약 검사 후 5~14일 사이에 배출이 되면 지연된 경우에 해당한다.

도 4에 도시된 각 위장관 교차점 별 검출 시간은 캡슐내시경을 이용한 환자의 500여명의 시험 데이터를 기반으로 제안한 값이나 이는 추후 경우에 따라서 구체적인 변화가 가능하다. 예를 들면 성별, 나이, 키, 몸무게 등을 고려하여 캡슐내시경 환자의 데이터를 수집하고, 빅데이터 분석에 기반하여 검출시간을 보다 세분화 할 수 있다. 이를 통해 각 사용자에게 맞게 개인화된 검출 시간을 적용하여 캡슐내시경의 정체 여부를 판단할 수 있다.

도 5a 내지 도 5d는 본 발명의 일 실시예에서 사용될 수 있는 정체 여부 판단 알고리즘을 설명하기 위한 도면이다.

도 5a 내지 도 5d를 참고하면 정체 여부를 판단하는 알고리즘의 의사코드(pseudo code)가 도시되어 있다. 우선 도 5a에서는 도 4에서 설명한 위장관 교차점의 검출에 필요한 전이 시간이 상수로 정의되어 있다. 그리고 checkGIValve 함수는 수신한 이미지를 파라미터로 전달받아서 학습 모델과 비교하고, 비슷한지 여부를 판단한다. 이를 통해 각 이미지의 프레임에서 위장관 교차점에 해당하는 이미지를 추출할 수 있다.

다음으로 도 5b 내지 도 5c를 참고하면 checkTransitionTime 함수는 현재 전이 시간과 현재 캡슐내시경의 위치를 파라미터로 받아서, 캡슐내시경의 위치에 따라 각각의 위장관 교차점 검출 시간과 전이 시간을 비교하여 정체 여부를 판단하는 자료로 사용한다. 즉 함수의 결과로 'normal'이 출력되면 정상인 경우로 'abnormal'이 출력되면 정체인 경우로 판단한다(이미지의 공간상 제약으로 인해 하나의 함수를 2개의 이미지로 표시함).

다음으로 도 5d의 main 함수를 참고하면 위장관 교차점이 검출될 때마다 다음 위장관 교차점 검출을 위한 함수를 호출하고 정체 여부를 판단한다. main 함수의 내부에서 앞서 도 5a에서 설명한 checkGIValue 함수나 도 5b 내지 도 5c에서 설명한 checkTransitionTime 함수가 호출된다.

지금까지 도 4 및 도 5a 내지 도 5d를 통해서 정체 여부를 판단하고 알람을 제공하는 과정에 대해서 살펴보았다. 이러한 과정을 순서도로 정리하면 다음의 도 6과 같다.

도 6은 본 발명의 일 실시예에 따른 캡슐내시경의 위치 추적 방법의 순서도이다.

도 6을 참고하면, 우선 캡슐내시경이 촬영한 영상을 근거리 통신 등을 통해서 수신한다(S1100). 그 후에는 해당 영상에서 전이 시간을 분석한다(S1200). 해당 영상에는 캡슐내시경이 피검사자의 경구를 통해 삽입된 후 촬영을 시작한 시점과 현재 촬영 시점이 메타 데이터에 저장되어 있다. 이를 통해서 캡슐내시경이 삽입된 후 얼마의 시간이 흘렀는지 전이 시간을 구할 수 있다. 또는 전이 시간이 캡슐내시경에서 이미 계산되어 메타 테이터에 포함되어 저장되어 있을 수 있다.

다음으로 사전에 서버로부터 수신한 학습 모델에 기초하여 수신한 영상을 분석하여 캡슐내시경이 촬영한 영상에서 제1 위장관 교차점, 제2 위장관 교차점, 제3 위장관 교차점에 해당하는 지점을 촬영한 프레임을 추출한다(S1300). 이를 통해서 캡슐내시경의 대략적인 위치를 추적한다(S1400). 즉 제1 위장관 교차점을 지나기 전에는 식도로 판단하고, 제1 위장관 교차점을 지났으나 제2 위장관 교차점을 지나기 전에는 위로 판단하고, 제2 위장관 교차점을 지났으나 제3 위장관 교차점을 지나기 전에는 소장로 판단하고, 제3 위장관 교차점을 지난 경우에는 대장으로 판단한다.

다음으로 전이 시간과 캡슐내시경의 위치를 비교하여 캡슐내시경이 정체되고 있는지 여부를 판단한다(S1500). 만일 정체된 경우에는 사전에 설정된 방법을 통해 정체 여부를 피검사자, 의사, 간호사 등에게 알림을 제공한다. 이를 통해 캡슐내시경이 정체된 현상을 해결할 수 있다. 만약 정체된 경우가 아니라면 지속적으로 캡슐내시경이 촬영한 영상을 수신하고(S1100), 이상의 과정을 반복 수행한다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (11)

1. 캡슐내시경 위치 추적 장치가, 캡슐내시경이 촬영한 영상을 수신하는 단계;
   상기 캡슐내시경 위치 추적 장치가, 위장관 교차점을 기반으로 기계학습된 분류 모델을 이용하여 상기 영상에서 위장관 교차점을 식별하는 단계; 및
   상기 캡슐내시경 위치 추적 장치가, 상기 식별된 위장관 교차점을 기반으로 상기 캡슐내시경의 위치를 추적하는 단계를 포함하는,
   캡슐내시경의 위치 추적 방법.
2. 제1항에 있어서,
   상기 캡슐내시경 위치 추적 장치가, 상기 영상에서 전이 시간(transition time)을 식별하는 단계; 및
   상기 캡슐내시경 위치 추적 장치가, 상기 전이 시간과 상기 캡슐내시경의 위치에 기반하여 상기 캡슐내시경의 정체(retention) 여부를 판단하는 단계를 더 포함하는,
   캡슐내시경의 위치 추적 방법.
3. 제2항에 있어서,
   상기 캡슐내시경 위치 추적 장치가, 상기 캡슐내시경이 정체인 것으로 판단한 경우에는 알람을 제공하는 단계를 더 포함하는,
   캡슐내시경의 위치 추적 방법.
4. 제2항에 있어서,
   상기 캡슐내시경의 정체 여부를 판단하는 단계는,
   상기 캡슐내시경의 위치에 기초하여 각각의 위장관 별로 기 설정된 임계 시간을 상기 전이 시간이 초과하는 경우, 상기 캡슐내시경이 정체한 것으로 판단하는 단계를 포함하는,
   캡슐내시경의 위치 추적 방법.
5. 제4항에 있어서,
   상기 캡슐내시경의 정체 여부를 판단하는 단계는,
   상기 캡슐내시경을 사용한 피검사자의 성별, 나이, 키 및 몸무게 중에서 하나 이상에 기초하여 상기 임계 시간을 각각의 위장관 별로 개인화하는 단계를 포함하는,
   캡슐내시경의 위치 추적 방법.
6. 제1항에 있어서,
   상기 캡슐내시경의 위치를 추적하는 단계는,
   상기 촬영한 영상에서 제1 위장관 교차점인 Z선(Z-line)이 식별되기 전까지는 상기 캡슐내시경의 위치를 식도로 판단하는 단계를 포함하는,
   캡슐내시경의 위치 추적 방법.
7. 제1항에 있어서,
   상기 캡슐내시경의 위치를 추적하는 단계는,
   상기 촬영한 영상에서 제1 위장관 교차점인 Z선(Z-line)이 식별되고, 제2 위장관 교차점인 유문판(pyloric valve)이 식별되기 전까지는 상기 캡슐내시경의 위치를 위로 판단하는 단계를 포함하는,
   캡슐내시경의 위치 추적 방법.
8. 제1항에 있어서,
   상기 캡슐내시경의 위치를 추적하는 단계는,
   상기 촬영한 영상에서 제2 위장관 교차점인 유문판(pyloric valve)이 식별되고, 제3 위장관 교차점인 회맹판(ileocecal valve)이 식별되기 전까지는 상기 캡슐내시경의 위치를 소장으로 판단하는 단계를 포함하는,
   캡슐내시경의 위치 추적 방법.
9. 제1항에 있어서,
   상기 캡슐내시경의 위치를 추적하는 단계는,
   상기 촬영한 영상에서 제3 위장관 교차점인 회맹판(ileocecal valve)이 식별된 후에는 상기 캡슐내시경의 위치를 대장으로 판단하는 단계를 포함하는,
   캡슐내시경의 위치 추적 방법.
10. 캡슐내시경이 촬영한 영상을 수신하는 통신부;
    위장관 교차점을 기반으로 기계학습된 분류 모델을 이용하여 상기 영상에서 위장관 교차점을 식별하고, 상기 식별된 위장관 교차점을 기반으로 상기 캡슐내시경의 위치를 추적하는 영상 분석부; 및
    상기 영상에서 식별한 전이 시간과 상기 캡슐내시경의 위치에 기반하여 상기 캡슐내시경의 정체(retention) 여부를 판단하고, 상기 캡슐내시경이 정체인 것으로 판단한 경우에는 알람을 제공하는 영상 정보 제공부를 포함하는,
    캡슐내시경의 위치 추적 장치.
11. 위장관 교차점을 기반으로 기계학습된 분류 모델을 이용하여 캡슐내시경이 촬영한 영상에서 위장관 교차점을 식별하고, 상기 식별된 위장관 교차점을 기반으로 상기 캡슐내시경의 위치를 추적하는 캡슐내시경의 위치 추적 장치; 및
    상기 캡슐내시경의 위치 추적 장치로부터 상기 캡슐내시경이 촬영한 영상을 수신하고, 상기 수신한 영상을 기계학습하여 위장관 교차점 분류 모델을 생성하는 서버를 포함하는,
    캡슐내시경의 위치 추적 시스템.

Images