KR20230071409A - 캡슐 내시경 영상 판독 시스템 - Google Patents

Abstract

본 발명은 캡슐을 이용해 획득된 소장 내시경 영상을 판독하는 시스템에 관한 것으로, 캡슐 내시경 영상파일의 재생을 제어하는 영상 재생 제어부와; 재생되는 캡슐 내시경 영상에 대해 사전 학습된 제1인공 신경망 모델을 이용해 소장의 시작 위치와 종료 위치를 검출하여 그 위치를 기록하는 소장 영역 검출부와; 재생되는 캡슐 내시경 영상 중 상기 소장의 시작위치와 종료 위치 사이에 존재하는 소장 영역의 내시경 영상에 대해 사전 학습된 제2인공 신경망 모델을 이용해 병변을 검출하여 그 위치를 기록하는 병변 검출부와; 상기 캡슐 내시경 영상파일의 총 재생 길이구간에 상기 소장 영역의 위치, 검출된 병변의 위치를 마킹하여 병변 검출결과와 함께 유저 인터페이스 화면에 표시해 주는 화면 표시 제어부;를 포함함을 특징으로 한다.

Description

캡슐 내시경 영상 판독 시스템{CAPSULE ENDOSCOPY IMAGE ANALYSIS SYSTEM}

본 발명은 내시경 영상 판독 시스템에 관한 것으로, 특히 캡슐을 이용해 획득된 소장 내시경 영상을 판독하는 시스템에 관한 것이다.

캡슐 내시경이란 환자가 알약처럼 삼키면 작은 창자 속으로 들어가 의사들이 영상화면이나 컴퓨터 모니터를 통해 내장의 장기나 체강의 내부를 직접 살필 수 있게 만든 캡슐 형태의 초소형 내시경을 말한다.

내시경 검사에 따르는 고통과 불쾌감 등으로 인해 많은 환자들이 내시경 검사를 회피하고, 대신 약물치료를 받으려는 경우가 있는데, 캡슐 내시경은 이러한 단점을 보완하고, 특히 위장관 가운데 가장 긴 소장 등의 질환 진단에 이용할 목적으로 개발되었다.

캡슐 내시경은 보통 렌즈, 발광소자, 영상기록장치, 배터리, 무선송신기, 안테나로 구성되며, 촬영된 영상을 무선송신기를 통해 환자가 소지하는 기록장치에 전송하여 저장하고, 검사가 끝나면 기록장치에 저장된 영상정보를 전문의 컴퓨터로 다운로드하여 질병 유무를 진단한다.

캡슐에 따라 다르기는 하지만 보통 캡슐을 삼키고 인체 밖으로 나오는데 약 6시간 이상이 소요되기에 전문의는 적어도 6시간짜리 영상을 판독해야 하거나, 빨리 감기를 수행하여 판독시간을 줄이더라도 몇 시간은 집중하여 영상을 판독해야 한다.

이와 같이 일반적인 캡슐 내시경 영상을 판독함에 있어서 전문의 등이 촬영된 영상을 수동 판독하다 보니 판독자 경험과 전문지식에 따라 판독력이 좌우되고, 몇 시간 동안 영상 판독에 집중하다 보니 정작 병변이 담긴 영상 프레임을 놓치는 경우도 발생하며, 빨리 감기 수행하여 소장 부위를 찾을 경우 병변이 담긴 영상 프레임이 스킵되는 경우도 발생하여 내시경 영상 판독의 신뢰도를 높이는데 한계가 있다.

대한민국 공개특허공보 제10-2020-0094565호 대한민국 공개특허공보 제10-2009-0099446호

이에 본 발명은 상술한 문제점을 해결하기 위해 창안된 발명으로서, 본 발명의 주요 목적은 전문의를 대신하여 캡슐 내시경 영상을 정확하고 신속하게 판독해 줄 수 있는 캡슐 내시경 영상 판독 시스템을 제공함에 있으며,

더 나아가 본 발명의 또 다른 목적은 캡슐 내시경 영상에서 진단하고자 하는 소장 부위 영상만을 찾아 신속하게 소장 부위 관련 병변을 자동 판독할 수 있는 캡슐 내시경 영상 판독 시스템을 제공함에 있다.

더 나아가 본 발명의 다른 목적은 캡슐 내시경 영상에서 병변으로 검출된 이미지에 대해 다시 한 번 병변과 이물질을 구분 판독함으로써 병변에 대한 판독 성능을 높일 수 있는 캡슐 내시경 영상 판독 시스템을 제공함에 있다.

또한 본 발명은 캡슐 내시경 소장 영상에서 병변 부위가 동일한 이미지들을 그룹화하여 판독 분량을 경량화할 수 있는 캡슐 내시경 영상 판독 시스템을 제공함에 있다.

또한 본 발명의 다른 목적은 캡슐 내시경 영상파일에서 소장의 위치와 병변의 위치를 시각화하여 특정 부위 영상에 대한 탐색이 용이하도록 한 캡슐 내시경 영상 판독 시스템을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템은 컴퓨터 시스템의 메모리에 설치되어 실행 가능한 응용 프로그램 데이터의 집합체로서,

캡슐 내시경 영상파일의 재생을 제어하는 영상 재생 제어부와;

재생되는 캡슐 내시경 영상에 대해 사전 학습된 제1인공 신경망 모델을 이용해 소장의 시작 위치와 종료 위치를 검출하여 그 위치를 기록하는 소장 영역 검출부와;

재생되는 캡슐 내시경 영상 중 상기 소장의 시작위치와 종료 위치 사이에 존재하는 소장 영역의 내시경 영상에 대해 사전 학습된 제2인공 신경망 모델을 이용해 병변을 검출하여 그 위치를 기록하는 병변 검출부와;

상기 캡슐 내시경 영상파일의 총 재생 길이구간에 상기 소장 영역의 위치, 검출된 병변의 위치를 마킹하여 병변 검출결과와 함께 유저 인터페이스 화면에 표시해 주는 화면 표시 제어부;를 포함함을 특징으로 한다.

상술한 구성 외에 본 발명의 또 다른 실시예에 따른 캡슐 내시경 영상 판독 시스템은 상기 병변 검출된 영상 프레임들에 대해 사전 학습된 제3인공 신경망 모델을 이용해 병변 및 이물질을 판독하는 병변 미세 판독부;를 더 포함하되, 상기 병변 미세 판독부는 병변 검출된 부위가 이물질로 판독된 경우 그 병변 검출된 영상 프레임을 병변 검출 이미지에서 제외시킴을 또 다른 특징으로 한다.

더 나아가 상기 병변 미세 판독부는 상기 제3인공 신경망 모델을 이용해 병변으로 판독된 영상 프레임들의 이미지 유사성을 분석하여 동일 부위에 대한 병변이 포함된 영상 프레임들을 하나로 그룹화함을 또 다른 특징으로 한다.

한편, 상술한 캡슐 내시경 영상 판독 시스템에 있어서, 상기 화면 표시 제어부는 상기 캡슐 내시경 영상파일의 총 재생 길이구간에서 사용자에 의해 선택된 위치의 영상 프레임을 표시하는 영역을 상기 유저 인터페이스 화면에 더 포함시켜 표시함을 또 다른 특징으로 하며,

상기 병변 검출결과는 상기 병변 검출부에 의해 검출된 출혈, 궤양, 혈관확장중, 암종의 검출 횟수와 각 병변의 검출 횟수에 대한 신뢰도 점수를 포함함을 특징으로 한다.

더 나아가 상기 화면 표시 제어부는 상기 소장 영역에 대한 재생 런닝 타임을 더 표시해 줌을 또 다른 특징으로 한다.

상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템은 전문의(판독의)를 대신하여 사전에 캡슐 내시경 영상을 판독하여 소장 영역을 검출하고, 검출된 소장 영역에 대해 병변이 존재하는지를 판독하여 병변 검출된 위치를 기록해 놓음으로써, 전문의 등은 병변으로 의심되는 프레임만을 선택하여 신속히 판독해 볼 수 있는 장점이 있다.

더 나아가 본 발명은 캡슐 내시경 영상에서 병변으로 검출된 이미지에 대해 병변과 이물질을 다시 판독함으로써, 이물질에 의해 병변으로 잘못 판독되는 결과를 감소시켜 판독 능력의 신뢰성을 향상시킬 수 있는 장점이 있다.

또한 본 발명은 캡슐 내시경 소장 영상에서 병변 부위가 동일한 이미지들을 그룹화하여 판독 분량을 경량화할 수 있는 장점이 있고, 캡슐 내시경 영상파일에서 소장의 위치와 병변의 위치를 시각화하여 표시함으로서, 특정 부위 영상에 대한 탐색이 용이하도록 한 장점이 있다.

도 1은 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템의 주변 구성 예시도.
도 2는 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템의 구성 예시도.
도 3 및 도 4는 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 흐름 예시도.
도 5는 본 발명의 실시예에 따라 검출되는 소장 영역의 시작과 종료 위치 표시 예시도.
도 6은 본 발명의 실시예에 따른 병변 영역 검출 및 표시 예시도.
도 7은 본 발명의 실시예에 따른 병변 검출결과가 표시되는 유저 인터페이스 화면 예시도.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.

한편, 본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

참고적으로 하기에서 언급되는 인공 신경망 모델은 인공 신경망을 다층으로 쌓은 CNN(Convolutional Neural Network) 모델일 수 있다. 이는 깊은 구조의 네트워크라는 의미로 딥 뉴럴 네트워크라 표현할 수 있다. 이러한 딥 뉴럴 네트워크에서는 다량의 데이터를 기계 학습시킴으로써 각각의 이미지의 특징을 자동 학습하고, 이를 통하여 목적 함수의 에러를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 형태이다. 이러한 CNN 모델은 이미 다양한 형태로 구현되어 여러 산업분야에 사용되고 있는 기술이므로 그에 대한 상세 설명은 생략하기로 한다.

우선 도 1은 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템(300)의 주변 구성도를 예시한 것이다. 도 1에서는 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템(300)이 내시경 영상 기록장치(200)에서 전송받은 캡슐 내시경 영상 파일을 판독하도록 컴퓨터 시스템에 설치되어 실행되는 시스템을 도시하였지만, 원격 진단을 위해 통신망을 통해 다수의 의료기관 컴퓨터 시스템과 연결될 수 있는 원격 진단 서버에도 구축되어 캡슐 내시경 영상에 대한 병변을 판독할 수도 있다.

도 1에 도시된 캡슐 내시경(100)은 피검자(환자)의 구강을 통해 삼켜진 후, 피검자의 인체로부터 자연 배출될 때까지 체강 내부를 촬상하여 외부에 위치하는 내시경 영상 기록장치(200)로 무선 전송한다.

내시경 영상 기록장치(200)에 전송되어 저장된 캡슐 내시경 영상은 하나의 파일(이하 캡슐 내시경 영상파일이라 함)로서, 캡슐 내시경 영상 판독 시스템(300)이 설치된 컴퓨터 시스템으로 전달될 수 있다. 물론 캡슐 내시경 영상파일은 별도의 저장매체 혹은 통신망을 통해 캡슐 내시경 영상 판독 시스템(300)으로 전달될 수도 있다.

이하 전달 혹은 전송받은 캡슐 내시경 영상파일을 재생하여 소장 영역에 대한 병변 여부를 자동 진단(판독)하는 캡슐 내시경 영상 판독 시스템(300)의 구성을 도 2를 참조하여 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템(300)의 구성도를 예시한 것이다. 도시한 바와 같이 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템(300)은,

캡슐 내시경 영상파일의 재생을 제어하는 영상 재생 제어부(311)와,

재생되는 캡슐 내시경 영상에 대해 사전 학습된 제1인공 신경망 모델을 이용해 소장의 시작(프레임) 위치와 종료(프레임) 위치를 검출하여 그 위치를 기록하는 소장 영역 검출부(313)와,

재생되는 프레임 단위의 캡슐 내시경 영상 중 상기 소장의 시작위치와 종료 위치 사이에 존재하는 소장 영역의 내시경 영상에 대해 사전 학습된 제2인공 신경망 모델을 이용해 병변이 있는 프레임 검출시에 그 검출 위치를 기록하는 병변 검출부(315)와,

도 7에 도시한 바와 같이 캡슐 내시경 영상파일의 총 재생 길이구간에 상기 소장 영역의 위치, 검출된 병변의 위치를 마킹하여 병변 검출결과와 함께 유저 인터페이스 화면에 표시해 주는 화면 표시 제어부(317)를 포함한다.

상술한 구성 외에 본 발명의 또 다른 실시예에 따른 캡슐 내시경 영상 판독 시스템(300)은 병변 검출된 영상 프레임들에 대해 사전 학습된 제3인공 신경망 모델을 이용해 병변 및 이물질(음식물, 거품, 변, 빛 등)을 판독하는 병변 미세 판독부(319)를 더 포함할 수도 있다. 이러한 병변 미세 판독부(319)는 병변 검출된 부위가 이물질로 판독된 경우 그 병변 검출된 영상 프레임을 병변 검출 이미지에서 제외시킬 수 있다.

상기 제3인공 신경망 모델을 상기 병변 검출부(315)에 더 포함시켜, 상기 병변 검출부(315)가 병변 검출된 영상 프레임들에 대해 병변 및 이물질을 미세 판독하여 분류할 수도 있고, 병변 검출부(315)가 병변 검출된 영상 프레임들에 대해 이물질의 특징 영상정보를 포함하고 있는지를 체크하는 방식으로 병변 및 이물질을 판독하여 분류할 수도 있다.

경우에 따라서는 캡슐 내시경 영상 판독 시스템(300)은 병변으로 판독된 영상 프레임들의 이미지 유사성을 분석하여 동일 부위(위치)에 동일 병변이 포함되어 있는 영상 프레임들을 하나로 그룹화하는 프레임 그룹화부(320)를 더 포함할 수 있다. 이러한 프레임 그룹화부(320)에 의해 동일 위치의 병변으로 검출된 동일 프레임들의 수를 슬림화할 수 있어 결과적으로 분석(진단)시간을 줄일 수 있다.

물론, 병변 미세 판독부(319)가 제3인공 신경망을 이용해 병변으로 판독된 영상 프레임들의 이미지 유사성을 분석하여 동일 부위에 대한 병변이 포함된 영상 프레임들을 하나로 그룹화할 수도 있다.

더 나아가 화면 표시 제어부(317)는 도 7에 도시한 바와 같이 캡슐 내시경 영상파일의 총 재생 길이구간에서 사용자에 의해 선택된 위치의 영상 프레임을 표시하는 영역을 유저 인터페이스 화면에 표시해 줌으로서, 전문의가 내시경 영상 혹은 선택 영상을 편리하게 모니터할 수 있도록 지원한다.

화면 표시 제어부(317)에 의해 표시되는 병변 검출결과는 상기 병변 검출부(315)에 의해 검출된 출혈, 궤양, 혈관확장중, 암종의 검출 횟수와 각 병변의 검출횟수에 대한 신뢰도 점수를 포함한다. 이러한 정보 외에 화면 표시 제어부(317)는 소장 영역에 대한 재생 러닝 타임을 더 표시해 줄 수도 있고, 그룹화된 영상이 존재하는 구간도 표시할 수 있다.

도 2에서 미설명된 데이터 송수신부(305), 유저 인터페이스부(I/F)(320), 저장부(330)는 컴퓨터 시스템의 일반 구성으로서, 데이터 송수신부(305)는 시스템 구현 방식에 따라 외부 장치와 데이터 통신하는 통신부일 수 있고, 이동매체의 접속이 가능한 인터페이스부일 수 있다. 저장부(330)에는 외부에서 전송되어 온 캡슐 내시경 영상파일이 저장될 수 있고, 유저 인터페이스부(320)는 표시부는 물론 데이터 입력장치를 포함하는 개념으로 이해하는 것이 바람직하다.

참고적으로 본 발명의 실시예에서 사용되는 용어 중 소장의 시작 위치와 종료 위치 각각은 캡슐 내시경 영상파일에서 소장이 시작되는 영상 프레임의 위치인 것으로 이해하는 것이 바람직하다.

이하 상술한 구성들을 포함하는 캡슐 내시경 영상 판독 시스템(300)의 동작을 부연 설명하기로 한다.

도 3 및 도 4는 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 흐름도를 예시한 것이며, 도 5는 본 발명의 실시예에 따라 검출되는 소장 영역의 시작과 종료 위치를 표시한 것이며, 도 6은 본 발명의 실시예에 따른 병변 영역을 검출하여 이를 표시한 화면을 예시한 것이며, 도 7은 본 발명의 실시예에 따른 병변 검출결과가 표시되는 유저 인터페이스 화면을 예시한 것이다.

도 3을 참조하면, 우선 캡슐 내시경(100)은 피검자(환자)의 구강을 통해 삼켜진 후, 피검자의 인체로부터 자연 배출될 때까지 체강 내부를 촬상하여 외부에 위치하는 내시경 영상 기록장치(200)로 무선 전송한다. 내시경 영상 기록장치(200)로 무선 전송된 캡슐 내시경 영상파일은 캡슐 내시경 영상 판독 시스템(300)이 설치된 컴퓨터 시스템으로 전송 혹은 다운로드되어 저장부(330)에 저장될 수 있다.

이어 전문의 혹은 관리자 등에 의해 캡슐 내시경 영상파일의 재생명령이 있으면, 영상 재생 제어부(311)는 캡슐 내시경 영상파일을 프레임 단위로 순차 재생(S100단계)한다.

캡슐 내시경 영상파일이 재생되면, 소장 영역 검출부(313)는 재생되는 프레임 단위의 캡슐 내시경 영상에 대해 사전 학습된 제1인공 신경망 모델을 이용해 소장의 시작 위치인지를 검출(S110단계)한다.

참고적으로, 캡슐 내시경 영상에는 식도, 위, 소장, 대장 등의 부위가 모두 포함되어 촬영되기 때문에 진단하고자 하는 소장 영역의 시작 위치 영상과 종료 위치 영상의 특징을 사전 학습하여 놓으면, 이를 이용해 소장의 시작 위치와 종료 위치를 검출할 수 있다.

즉, 전문의에 의해 소장의 시작 위치 영상으로 판별된 다수의 영상을 클래스값과 함께 입력으로 하여 제1인공 신경망 모델을 학습시키면, 그 제1인공 신경망 모델은 소장 영역의 시작 위치 영상들에 대한 특징을 학습하게 되고 그 학습한 각 영상 프레임들의 특징에 따르는 클래스값(시작 위치, 종료 위치)을 출력하게 된다.

이에 소장 영역 검출부(313)는 순차 재생되는 영상 프레임들에 대하여 제1인공 신경망 모델을 이용해 S110단계와 S120단계를 진행하여 현재 재생된 프레임 영상이 소장의 시작 위치인지를 체크한다. 만약 도 5에 도시한 바와 같이 현재 재생된 프레임 영상이 소장의 시작 위치를 나타내는 프레임이라면, 소장 영역 검출부(313)는 소장의 시작 위치로 검출된 재생 프레임에 소장의 시작 위치를 기록(S130단계)한다. 소장의 시작 위치를 기록하는 방법은 해당 프레임에 타임스탬프를 기록하거나, 플래그 세팅, 해당 프레임의 넘버와 같은 식별정보를 별도 기록 저장하는 방법을 이용할 수 있다.

한편, 소장 시작 위치가 기록되면 이후 병변 검출부(315)는 병변 검출 루틴을 실행(S140단계)한다. 즉, 병변 검출부(315)는 소장 영역의 내시경 영상에 대해 사전 학습된 제2인공 신경망 모델을 이용해 재생된 현재 프레임에 병변이 존재하는지 검출한다. 이러한 병변 검출 루틴에 대해서는 도 4에서 보다 상세히 설명하기로 한다.

재생 프레임에 대해 병변 검출 루틴이 실행 완료되면, 소장 영역 검출부(313)는 재생 프레임이 소장 종료 위치에 해당하는 영상의 특징을 담고 있는지 체크(S150단계)한다. 즉, 소장 영역 검출부(313)는 재생된 현재 프레임 영상에 대해 사전 학습된 제1인공 신경망 모델을 이용해 소장의 종료 위치를 검출(S150단계)하여 소장의 종료 위치가 검출되면 그 위치를 기록(S160단계)한다. 제1인공 신경망 모델은 소장의 시작 위치 특징을 담고 있는 영상 뿐만 아니라, 소장의 종료 위치 특징을 담고 있는 영상을 사전 학습함으로써 소장의 종료 위치를 검출할 수 있다.

이러한 소장 영역 검출부(313)에 의해 소장의 시작 위치와 종료 위치가 구분 기록되는 영상의 예를 도 5에 예시하였다. 도 5는 재생되는 캡슐 내시경 영상 파일을 프레임 단위로 도시한 것으로 소장 영역 검출부(313)에 의해 소장의 시작 위치와 종료 위치가 구분되어 있는 것을 도시한 것이다.

이하 도 4에 도시한 병변 검출 루틴에 대해 부연 설명하면,

소장 영역 검출부(313)에 의해 현재 재생된 프레임 영상이 소장 영역 내에 위치하는 영상으로 판단되면, 병변 검출부(315)는 병변 검출 루틴을 실행시켜 소장 영역의 내시경 영상에 대해 사전 학습된 제2인공 신경망 모델을 이용해 병변을 검출(S200단계)하고 병변 검출시에 해당 프레임을 병변 검출된 프레임으로 기록(S210단계)한다.

이를 위해 병변 검출부(315)는 학습모드에서 소장 영역의 영상 이미지에서 전문의에 의해 궤양, 혈관 확장증, 출혈, 암종으로 설정된 병변 영역 및 그 병변 영역에 대해 설정된 병변의 종류를 학습 데이터로 설정해 제2인공 신경망 모델을 학습시킨다.

예를 들어 전문의는 소장 영역에 속하는 하나의 프레임 영상 이미지를 판독해 도 6에 도시한 바와 같이 궤양이 과도하게 위치하는 병변 영역, 혈관 확장증이 분포해 있는 병변 영역, 출혈이 있어 보이는 병변 영역 등을 박스로 설정하고, 설정된 각 병변 영역에 대한 병변의 종류는 물론 위험도를 함께 설정해 준 후, 학습명령을 내리면 병변 검출부(315)는 병변 영역 및 병변의 종류가 설정된 소장 영상을 학습 데이터로 설정해 제2인공 신경망을 학습시킨다.

이와 같은 방식으로 제2인공 신경망의 학습이 완료되면, 추후 진단모드에서 병변 검출부(315)는 우선적으로 소장 영역의 내시경 영상에 대해 사전 학습된 제2인공 신경망 모델을 이용해 궤양, 혈관 확장증, 출혈, 암종과 같은 병변의 특징이 검출되는지 체크(S200단계)한다. 만약 궤양, 혈괄 확장증, 출혈, 암종과 같은 병변의 특징이 검출되면, 병변 검출부(315)는 S210단계로 진행하여 병변 검출된 프레임을 기록하고 도 3의 메인 루틴으로 리턴한다. 이러한 경우 병변 검출여부가 진행된 프레임 영상이 소장 종료 위치 영상인지를 체크(S150단계)하는 단계가 뒤이어 수행된다.

만약 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템(300)이 병변 미세 판독부(319)를 더 포함하고 있는 시스템이라면, 병변 미세 판독부(319)는 병변 미세 판독 루틴을 실행(S220단계)한다.

병변 미세 판독 루틴으로서, 병변 미세 판독부(319)는 S200단계에서 병변 검출된 영상 프레임에 대해 사전 학습된 제3인공 신경망 모델을 이용해 병변 및 이물질을 판독한다. 상기 이물질은 음식물, 거품, 변, 빛에 의한 영상 왜곡을 포함하는 것으로, 이러한 이물질에 의해 정상 부위가 마치 앞서 설명한 병변 영역으로 의심될 수도 있기에 이를 추출해 내기 위한 과정이 필요하다.

이에 제3인공 신경망 모델 역시 앞서 설명한 신경망 모델과 같이 학습모드에서 소장 영역에 음식물, 거품, 변, 빛에 의한 영상 왜곡이 포함된 영상들의 특징을 사전 설정해 클래스값과 함께 입력받아 학습함으로써 트레이닝될 수 있다.

제3인공 신경망의 학습이 완료되면, 추후 진단모드에서 병변 미세 판독부(319)는 병변이 검출된 내시경 영상 프레임에 대해 사전 학습된 제3인공 신경망 모델을 이용해 사전 학습된 각 이물질의 특징이 검출되는지 체크(S220단계)한다. 만약 병변이 존재하는 것으로 판명된 프레임 영상에 음식물, 거품, 변, 빛에 의한 영상 왜곡과 같은 특징이 검출되면, 병변으로 검출된 해당 프레임을 병변 검출 이미지에서 제외하고 도 3의 메인 루틴으로 리턴한다.

이에 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템(300)은 병변 검출된 프레임에 대해 병변 미세 판독과정을 한번 더 수행함으로서, 병변 검출된 부위가 진정한 병변인지 아니면 음식물, 거품 등에 의한 이물질이 병변으로 검출되었는지를 다시 한 번 판독함으로써, 소장 영역에 대한 병변 검출의 신뢰성을 높일 수 있다.

한편 도 4에 도시하지는 않았지만 프레임 그룹화부(320)는 제3인공 신경망(혹은 제2인공 신경망)을 이용해 병변으로 판독된 영상 프레임들의 이미지 유사성을 분석하여 동일 부위에 대한 동일 병변이 포함된 영상 프레임들을 하나로 그룹화하고 그 중 하나를 대표 이미지로 설정할 수도 있다.

이는 판독에서 사용되는 데이터가 보통 2시간 분량의 동영상 데이터인데 이를 15FPS의 프레임으로 환산하여 추출하였을때 평균적으로 약 12만장의 이미지 데이터가 산출된다. 만약, 특정 부위에 병변이 검출되었을 때, 같은 부위의 병변이 포함된 이미지가 수십 장이 검출될 수 있기에 이들을 그룹화화여 관리하는 것이 효율적이다. 이에 본 발명의 실시예에서는 병변으로 판독된 영상 프레임들의 이미지 유사성을 분석하여 동일 부위에 대한 병변이 포함된 영상 프레임들을 하나로 그룹화하고 그 중 하나를 대표 이미지로 설정해 관리하면 판독시간을 단축할 수 있는 효과를 기대할 수 있다. 아울러 하나의 그룹으로 묶인 영상 프레임들의 시작 프레임과 끝 프레임을 도 7에 도시한 ③번 바 구간과 같이 별도의 바 구간(4번 바 구간을 표시하여)상에 표시하면, 그룹화된 영상 프레임들의 시작과 끝을 직관적으로 인지할 수 있다.

다시 도 3을 참조하면, 소장 영역에 포함되는 각 영상 프레임에 대해 병변 검출 루틴을 수행하여 도 3의 메인 루틴으로 리턴하게 되면, 소장 영역 검출부(313)는 앞서 설명한 바와 같이 해당 영상 프레임이 소장의 종료 위치인지를 제1인공 신경망 모델을 이용해 체크한다.

만약 소장 종료 위치로 판독되면 해당 프레임을 소장 종료 위치로 기록(S160단계)하고, 소장 영역 영상들에 대한 병변 검출이 완료되었기에 화면 표시 제어부(317)는 도 7에 도시한 바와 같이 바 형태로 캡슐 내시경 영상파일의 총 재생 길이구간에 소장 영역의 위치, 검출된 병변의 위치를 마킹하여 병변 검출결과와 함께 유저 인터페이스 화면에 표시(S170단계)해 준다.

도 7에서는 소장 영역(십이지장-회맹판) 외에 식도, 위, 맹장의 위치를 함께 표시해 주었다. 이러한 장기의 위치 역시 제1인공 신경망 모델을 이용해 검출할 수 있다. 도 7에서 ①번 바 구간은 캡슐 내시경 영상파일의 총 재생 길이구간에서 장기의 검출 위치를 나타내는 구간을 표시한 것이고, ②번 바 구간은 병변(보다 구체적으로는 궤양, 혈관확장증, 암종) 검출 위치를 나타내는 구간을 표시한 것이며, ③번 바 구간은 출혈검출위치를 나타내는 구간을 표시한 것이다.

도 7에 도시한 바와 같은 유저 인터페이스 화면을 통해 전문의는 병변 검출 위치 혹은 병변 미세 판독한 결과를 선택하면, 화면 표시 제어부(317)는 사용자에 의해 선택된 위치의 영상 프레임을 도 7에 도시한 바와 같이 좌측 상단 영역에 표시해 줌으로써, 전문의 등은 이상이 있는 프레임 영상을 판독해 볼 수 있다.

더 나아가 화면 표시 제어부(317)는 소장 영역에 대한 재생 런닝 타임(play time)을 함께 표시해 줄 수 있고, 검출된 각 병변(출혈, 궤양, 혈괄 확장증 등)의 신뢰도(%)를 함께 표시해 줄 수도 있다.

이상에서 설명한 바와 같이 본 발명의 실시예에 따른 캡슐 내시경 영상 판독 시스템(300)은 전문의(판독의)를 대신하여 사전에 캡슐 내시경 영상을 판독하여 소장 영역을 검출하고, 검출된 소장 영역에 대해 병변이 존재하는지를 판독하여 병변 검출된 위치를 기록해 놓음으로서, 전문의 등은 병변으로 의심되는 프레임만을 신속히 선택하여 판독해 볼 수 있다.

더 나아가 본 발명은 캡슐 내시경 영상에서 병변으로 검출된 이미지에 대해 병변과 이물질을 다시 판독함으로써, 이물질에 의해 병변으로 잘못 판독되는 결과를 감소시켜 판독 능력의 신뢰성을 향상시킬 수 있는 장점이 있다.

또한 본 발명은 캡슐 내시경 소장 영상에서 병변 부위가 동일한 이미지들을 그룹화하여 판독 분량을 경량화할 수 있는 장점이 있고, 캡슐 내시경 영상파일에서 소장의 위치와 병변의 위치를 시각화하여 표시함으로서, 특정 부위 영상에 대한 탐색이 용이하도록 한 장점이 있다.

참고적으로, 위 실시예의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 소프트웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수도 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들이 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 사람이라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (7)

1. 캡슐 내시경 영상파일의 재생을 제어하는 영상 재생 제어부와;
   재생되는 캡슐 내시경 영상에 대해 사전 학습된 제1인공 신경망 모델을 이용해 소장의 시작 위치와 종료 위치를 검출하여 그 위치를 기록하는 소장 영역 검출부와;
   재생되는 캡슐 내시경 영상 중 상기 소장의 시작위치와 종료 위치 사이에 존재하는 소장 영역의 내시경 영상에 대해 사전 학습된 제2인공 신경망 모델을 이용해 병변을 검출하여 그 위치를 기록하는 병변 검출부와;
   상기 캡슐 내시경 영상파일의 총 재생 길이구간에 상기 소장 영역의 위치, 검출된 병변의 위치를 마킹하여 병변 검출결과와 함께 유저 인터페이스 화면에 표시해 주는 화면 표시 제어부;를 포함함을 특징으로 하는 캡슐 내시경 영상 판독 시스템.
2. 청구항 1에 있어서, 상기 병변 검출된 영상 프레임들에 대해 사전 학습된 제3인공 신경망 모델을 이용해 병변 및 이물질을 판독하는 병변 미세 판독부;를 더 포함하되, 상기 병변 미세 판독부는 병변 검출된 부위가 이물질로 판독된 경우 그 병변 검출된 영상 프레임을 병변 검출 이미지에서 제외시킴을 특징으로 하는 캡슐 내시경 영상 판독 시스템.
3. 청구항 2에 있어서, 상기 병변 미세 판독부는,
   상기 제3인공 신경망을 이용해 병변으로 판독된 영상 프레임들의 이미지 유사성을 분석하여 동일 부위에 대한 병변이 포함된 영상 프레임들을 하나로 그룹화함을 특징으로 하는 캡슐 내시경 영상 판독 시스템.
4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 화면 표시 제어부는,
   상기 캡슐 내시경 영상파일의 총 재생 길이구간에서 사용자에 의해 선택된 위치의 영상 프레임을 표시하는 영역을 상기 유저 인터페이스 화면에 표시함을 특징으로 하는 캡슐 내시경 영상 판독 시스템.
5. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 병변 검출결과는 상기 병변 검출부에 의해 검출된 출혈, 궤양, 혈관확장중, 암종의 검출 횟수와 각 병변의 검출횟수에 대한 신뢰도 점수를 포함함을 특징으로 하는 캡슐 내시경 영상 판독 시스템.
6. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 화면 표시 제어부는,
   상기 소장 영역에 대한 재생 러닝 타임을 더 표시해 줌을 특징으로 하는 캡슐 내시경 영상 판독 시스템.
7. 청구항 1에 있어서, 상기 병변 검출부는,
   상기 병변 검출된 영상 프레임들에 대해 병변 및 이물질을 판독하여 분류함을 특징으로 하는 캡슐 내시경 영상 판독 시스템.

Images