KR20230105812A

KR20230105812A - 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램

Info

Publication number: KR20230105812A
Application number: KR1020220001285A
Authority: KR
Inventors: 이항재; 권찬영; 박진배; 차성재
Original assignee: 주식회사 아이넥스코퍼레이션
Priority date: 2022-01-05
Filing date: 2022-01-05
Publication date: 2023-07-12
Also published as: KR102641492B1

Abstract

본 발명의 일 실시예에 따른, 내시경 영상을 이용한 종양 진단 방법으로서, 상기 방법은, 적어도 제1 딥러닝 모델과 제2 딥러닝 모델을 준비하는 단계와, 인체에서 촬영한 내시경 영상을 수신하는 단계와, 상기 수신한 내시경 영상에 대하여 상기 제1 딥러닝 모델과 제2 딥러닝 모델 중 하나를 이용하여 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계와, 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계와, 산출된 점수를 기초로, 내시경 영상 상의 용종 표시 여부를 결정하는 단계와, 용종 표시를 내시경 영상에 출력하는 단계를 포함하고, 상기 검출 단계에서 이용되는 딥러닝 모델은 용종 가능성 점수를 기초로 결정된다.

Description

내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램{POLYPDIAGNOSTIC METHOD, DEVICE AND COMPUTER PROGRAM USING ENDOSCOPY IMAGE}

본 발명은 내시경을 이용한 용종 진단 방법, 장치 및 프로그램에 관한 것이다. 보다 구체적으로는, 용종 검출의 실시간성은 보장하면서도 보다 정확히 용종을 검출할 수 있는, 내시경 영상으로부터의 용종 진단 방법, 장치 및 프로그램에 관한 것이다.

일반적으로 내시경 검사의 핵심 목적은 암의 전구 병변인 용종(내벽에 작게 솟은 조직의 일부로 발견이 되면 제거해야 함)을 발견하여 제거함으로써 암을 근원적으로 차단하는 것이다.

내시경 검사(특히, 대장 내시경 검사)는 의사와 환자가 1 대 1로 시술되는 검사로, 노동 집약적이고, 검사에 시간이 많이 소요되는 단점이 있다. 또한, 검사가 반복적이고, 검사 과정에서 검사자의 숙련도, 검사자의 컨디션, 피로도, 실수 등 다양한 요인으로, 용종 검출이 실패할 수 있다. 내시경 검사에 따른 용종 검출 실패율은 많게는 30% 가까이 되는 것으로 알려져 있다.

최근, 딥러닝 학습을 이용하여 내시경 영상으로부터 용종을 자동으로 검출하는 기술이 알려져 있다.

내시경은 절곡 가능한 구조로, 검사자는 내시경을 절곡시켜서, 내시경의 선단부에 설치된 촬영 장치를 용종 의심 부위에 가깝게 이동시켜서, 용종 여부를 최종 확인한다. 종래의 딥러닝 학습을 이용한 용종 검출 기술은 딥러닝 학습을 이용하여 자동으로 내시경 영상에 용종 의심 부위를 검출하여 이를 내시경 영상에 표시한다. 이를 통해, 검사자의 용종 검출 실패율을 줄일 수 있다.

그런데, 내시경 검출 기술의 목적 상 딥러닝 용종 검출 모델은 실시간으로 내시경 영상에서 용종 의심 부위를 검출하여 이를 내시경 영상 상에 표시해야 하나, 딥러닝 용종 검출 모델의 처리 속도가 늦을 경우, 이러한 실시간 처리가 어려울 수 있거나, 고가의 장비가 필요하게 되는 문제점이 있다.

KR 10-2021-0150695 A (2021. 12. 13.)

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 용종 검출의 실시간성은 보장하면서도 보다 정확히 용종을 검출할 수 있는, 내시경 영상으로부터의 용종 진단 방법, 장치 및 프로그램을 제공하고자 한다.

본 발명의 해결 과제는 위에서 언급한 내용으로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들을 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른, 내시경 영상을 이용한 종양 진단 방법은, 적어도 제1 딥러닝 모델과 제2 딥러닝 모델을 준비하는 단계와, 인체에서 촬영한 내시경 영상을 수신하는 단계와, 상기 수신한 내시경 영상에 대하여 상기 제1 딥러닝 모델과 제2 딥러닝 모델 중 하나를 이용하여 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계와, 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계와, 산출된 점수를 기초로, 내시경 영상 상의 용종 표시 여부를 결정하는 단계와, 용종 표시를 내시경 영상에 출력하는 단계를 포함하고, 상기 검출 단계에서 이용되는 딥러닝 모델은 용종 가능성 점수를 기초로 결정될 수 있다.

제2 딥러닝 모델은 제1 딥러닝 모델보다 용종 검출 처리 속도가 낮을 수 있다.

또한, 산출된 점수가 기준값 이상인 경우, 용종 표시하고, 용종 가능성 점수가 상기 기준값보다 작게 설정된 기준값 이상인 경우, 제2 딥러닝 모델이 적용될 수 있다.

본 발명의 일 실시예에 따르면, 용종 가능성 점수가 상기 기준값보다 작은 시간이 일정 시간 이상 지속되는 경우, 제2 딥러닝 모델이 적용될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계는, 당해 프레임에서 검출된 용종과 이전 프레임에서 검출된 용종을 비교하는 단계와, 이전 프레임 및 당해 프레임에서 검출된 용종에 대해서는, 이전 프레임에서의 용종 가능성 점수에 소정 점수를 가산하여 용종 가능성 점수를 산출하고, 당해 프레임에서 새롭게 검출된 용종에 대해서는, 소정 점수를 용종 가능성 점수로 산출하고, 이전 프레임에서는 검출되었으나 당해 프레임에서는 검출되지 않은 용종에 대해서는 이전 프레임에서의 용종 가능성 점수에서 소정 점수를 감산하여 용종 가능성 점수를 산출하는 단계를 포함할 수 있다.

또한, 상기 용종 가능성 점수에 따라 용종 표시의 그라디에이션이 결정되고, 용종 가능성 점수가 최상위 용종 표시에 상응하는 용종 가능성 점수보다 낮게 설정된 기준값 이상인 경우, 제2 딥러닝 모델이 적용될 수 있다.

또한, 본 발명의 또 다른 일 실시예에 따르면, 내시경 영상을 이용한 용종 진단 장치는, 인체에서 촬영한 내시경 영상을 수신하는 영상 획득부와, 상기 수신한 내시경 영상에 대하여 제1 딥러닝 모델과 제2 딥러닝 모델 중 하나를 이용하여 용종의 유무 및 상기 용종의 위치 정보를 검출하는 용종 검출부와, 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 용종 가능성 산출부와, 산출된 점수를 기초로, 내시경 영상 상의 용종 표시 여부를 결정하는 용종 표시 결정부와, 용종 표시를 내시경 영상에 출력하는 용종 표시부를 포함하고, 상기 용종 검출부에서 이용되는 딥러닝 모델은 용종 가능성 점수를 기초로 결정될 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 내시경 영상을 이용한 용종 진단 프로그램이며, 상기 용종 진단 프로그램은 프로세서와 결합되어, 컴퓨터로 판독가능한 기록 매체에 저장된 컴퓨터 프로그램이고, 상기 컴퓨터 프로그램은 상술한 용종 진단 방법을 상기 기록 매체 저장된 명령어에 의해 상기 프로세서에서 실행되도록 구성될 수 있다.

본 발명의 일 실시예에 따른 내시경 영상을 이용한 용종 진단 방법, 장치 및 프로그램에 따르면, 시간 추이에 따른 용종의 유무를 기초로 산출된 용종 가능성 점수에 따라 제1 딥러닝 모델과 제2 딥러닝 모델 중 하나가 이용되므로, 용종 검출의 실시간성은 보장하면서도 보다 정확히 용종을 검출하여 이를 표시할 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 시간 추이에 따른 용종의 유무를 기초로 산출된 용종 가능성 점수에 따라 용종 표시를 달리함에 따라, 용종 표시가 순간적으로 깜빡거리는 문제가 해결되는 효과가 있으며, 검사자는 직관적으로 잠재 용종의 용종 가능성을 인식할 수 있다. 또한, 용종 표시가 다소 많아지더라도, 검사자는 어느 부위를 내시경을 통해 진단해야 할지 쉽게 파악할 수 있으므로, 용종 판단 기준을 높여서 용종 표시를 줄일 필요가 적게 되어, 용종 검출 실패 위험이 낮아질 수 있다.

또한, 본 발명의 또 다른 일 실시예에 따르면, 최상위 용종 표시나 일정 시간 동안 지속되는 잠재 용종 표시에 대해서는 보다 정확한 딥러닝 모델을 이용함으로써, 용종 검출의 실시간성은 보장하면서도 보다 정확히 용종을 검출하여 이를 표시할 수 있다.

도1은 본 발명의 일 실시예에 따른 용종 진단 장치의 블록도이다.
도2는 영상 획득부(20)에서 획득한 내시경 영상의 예를 도시한다.
도3은 각 용종들에 대하여 산출된 용종 가능성 점수를 설명하는 예이다.
도4는 용종의 시간 추이에 따른 용종 가능성 점수를 예시적으로 설명한 도면이다.
도5는 최초 프레임 1에서 용종 유무 및 용종 위치 정보를 검출한 예를 도시한다.
도6은 최초 프레임 1의 다음 프레임인 프레임 2에서 용종 유무 및 용종 위치 정보를 검출한 예를 도시한다.
도7은 최상위 용종 표시를 한 내시경 영상의 예를 도시한다.
도8은 복수의 검출 용종이 근접하여 모여 있는 영역을 표시한 내시경 영상의 예를 도시한다.
도9는 일정 시간 이상 잠재 용종으로 판단되는 용종에 대한 추가 표시를 한 내시경 영상의 예를 도시한다.
도10은 본 발명의 일 실시예에 따른 용종 진단 방법의 순서도이다.
도11은 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계를 보다 상세히 설명하는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어 들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부 품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, "제1"및 "제2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일 반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다. 이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도1은 본 발명의 일 실시예에 따른 용종 진단 장치의 블록도이다.

도1을 참조하면, 본 발명의 일 실시예에 따른 용종 진단 장치는 영상 획득부(10), 용종 검출부(20), 용종 가능성 산출부(30), 용종 표시 결정부(40), 용종 표시부(50)를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 획득부(10)는 내시경 장비에서 촬영한 영상을 획득한다. 예컨대, 내시경 장비는 초당 60 프레임으로 영상을 촬영할 수 있으며, 반드시 이에 한정되는 것은 아니다. 본 발명의 일 실시예 따른 영상 획득부(10)는 상기 내시경 영상을 초당 20 또는 40 프레임씩 추출할 수 있으나, 반드시 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따른 용종 검출부(20)는 상기 추출된 내시경 영상에 대하여 딥러닝 모델을 이용하여 용종의 유무 및 용종 위치 정보를 자동으로 검출할 수 있다. 여기서, 딥러닝 기반의 용종 검출 모델은 다수의 내시경 영상을 학습하여 얻어진 모델로, 내시경 영상에서 용종 위치 정보를 추출할 수 있다.

예컨대, 딥러닝 용종 검출 모델은 사각형의 용종 좌표와 용종 스코어(본 명세서에서, '용종 스코어'는 당해 프레임에 대해 딥러닝 용종 검출 모델이 처리하여 제공하는 것으로서, 특정 부위가 용종일 확률을 점수화한 것을 말함)를 산출하고, 용종 스코어를 기준값(threshold)와 비교하여 용종 여부를 검출할 수 있다. 예컨대, 용종 의심 부위 판단에 대한 용종 스코어의 기준값(threshold)이, 예를 들어, 700이면, 일 프레임에서 용종 의심 부위에 대한 용종 스코어가 700 이상(예컨대, 720)이면, 상기 용종 의심 부위는 용종으로 검출된다.

본 발명의 일 실시예에 따른 용종 검출부(20)는, 시간의 추이에 따른 용종의 유무를 기초로 보다 정확히 용종 여부를 검출하는 것이 필요하다고 판단되는 경우, 보다 정확한 딥러닝 용종 검출 모델을 적용하여 용종 여부를 검출할 수 있다.

예컨대, 본 발명의 일 실시예에 따르면, 용종 검출부는(20)는 후술하는 용종 가능성 산출부(30)에 의해 산출된 용종 가능성 점수를 기초로 딥러닝 용종 검출 모델을 결정할 수 있다.

용종 가능성 산출부(30)는, 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출한다. 즉, 당해 프레임에서 검출된 용종과 이전 프레임에서 검출된 용종을 비교하여, 이러한 비교에 기초하여, 소정 점수를 적용하여 시간 추이에 따른 용종 가능성 점수를 산출할 수 있다. 예컨대, 이러한 용종 가능성 점수는, 당해 프레임에서 용종으로 검출되면 소정 점수가 가산되고, 당해 프레임에서 용종으로 검출되지 않으면 소정 점수가 감산되는 방식으로, 용종 가능성 점수가 누적 계산되는 방식으로 산출될 수 있다.

당해 프레임에서 검출된 용종의 위치 좌표를 이전 프레임에서 검출된 용종의 위치 좌표와 비교하여 검출된 용종들이 서로 동일한지 여부를 판단할 수 있다. 용종 가능성 점수 산출부(30)는, 이전 프레임 및 당해 프레임에서 검출된 용종에 대해서는, 이전 프레임에서의 용종 가능성 점수에 소정 점수를 가산하여 용종 가능성 점수를 산출하고, 당해 프레임에서 새롭게 검출된 용종에 대해서는, 소정 점수를 용종 가능성 점수로 산출하고, 이전 프레임에서는 검출되었으나 당해 프레임에서는 검출되지 않은 용종에 대해서는 이전 프레임에서의 용종 가능성 점수에서 소정 점수를 감산하여 용종 가능성 점수를 산출할 수 있다.

도2는 영상 획득부(20)에서 획득한 내시경 영상의 예를 도시한다. 최초 프레임 1에서는 제1 용종(1)과 제2 용종(2)이 제1 딥러닝 모델에 의해 용종으로 검출되고, 연속적인 다음 프레임인 프레임 2에서는 제1 용종(1)과 제3 용종(3)이 제1 딥러닝 모델에 의해 용종으로 검출되는 경우, 각 용종들에 대해 산출된 용종 가능성 점수는 아래와 같을 수 있다.

도 3은 각 용종들에 대하여 산출된 용종 가능성 점수를 설명하는 예이다.

도 3에서 알 수 있는 바와 같이, 제1 용종(1)은 프레임 1, 프레임 2에서 검출되었기 때문에, 소정 점수(예컨대, 1)가 가산되어, 프레임 2에서의 제1 용종 (1)의 용종 가능성 점수는 2이다. 제2 용종(2)은 프레임 1에서는 검출되었으나, 프레임 2에서는 검출되지 않았기 때문에, 소정 점수(예컨대, 1)가 감산되어, 프레임 2에서의 제2 용종(2)의 용종 가능성 점수는 0이다. 제3 용종(3)은 프레임 1에서는 검출되지 않았으나, 프레임 2에서는 검출되었기 때문에, 용종 가능성 점수는 1이다.

도 4는 용종의 시간 추이에 따른 용종 가능성 점수를 예시적으로 설명한 도면이다.

도 4에 도시된 바와 같이, 용종으로 검출된 횟수가 증가함에 따라 용종 가능성 점수는 증가하게 되고, 용종으로 검출되지 않은 횟수가 증가함에 따라 반대로 용종 가능성 점수는 감소하게 된다.

본 발명의 일 실시예에 따르면, 용종 가능성 점수는 상기 누적 방식을 기본으로 하되, 부가적으로 조정될 수 있다. 예컨대, 연속적으로 용종이 검출되는 경우(예컨대, 5회 이상 용종 검출), 부가적으로 용종 가능성 점수에 3을 더할 수 있으며, 연속적으로 용종이 검출되지 않는 경우(예컨대, 5회 이상 용종 미검출), 부가적으로 용종 가능성 점수에 3을 뺄 수 있다.

또한, 상기 점수는 용종 검출 여부에 따라, 동일 점수(예컨대, 1)가 가산되거나 감산되어 누적되는 것으로 설명하였지만, 상기 점수는 동일 점수가 아닐 수 있다. 예컨대, 용종 스코어와 기준값의 차이에 비례하도록 점수가 산출될 수 있고, 이 점수가 용종 검출 여부에 따라 가산되거나 감산될 수 있다. 즉, 용종 스코어가 780이고 기준값이 700인 경우, 그 차이는 80이며, 용종 스코어가 900인 경우, 그 차이는 200이다. 이 경우, 용종 가능성 점수에 가산되는 점수는 동일하지 않으며, 상기 차이에 비례하게 설정되어 용종 가능성 점수에 가산될 수 있다.

본 발명의 일 실시예에 따른 용종 검출부에서는, 제1 딥러닝 모델과 제2 딥러닝 모델이 프레임 당 처리 속도를 달리하여 준비될 수 있다. 통상적으로, 처리 속도가 낮은 딥러닝 모델일수록(즉, 처리에 시간이 걸릴수록) 보다 정확한 용종 검출이 가능하다. 따라서, 처리 속도가 낮은 딥러닝 모델을 사용하게 되는 경우, 프레임 당 처리 속도는 느려지고, 이에 따라 내시경 영상에 대한 실시간 처리가 지연될 우려가 있다. 이러한 점을 감안하여, 본 발명의 일 실시예에서는, 제1 딥러닝 모델을 적용하여 용종 유무 및 용종 위치 좌표를 검출하다가, 보다 정확한 판단이 필요한 경우에는, 제1 딥러닝 모델보다 프레임 당 처리 속도가 낮은 제2 딥러닝 모델을 적용할 수 있다. 이를 통해, 내시경 영상에 대한 실시간 처리 지연의 우려는 최소화하면서도, 확실한 용종에 대해서는 보다 엄격한 기준으로 판단하여 용종을 표시할 수 있다.

예컨대, 용종 표시 여부에 대한 기준값이 10인 경우, 용종 가능성 점수가 8 이상이면, 제2 딥러닝 모델을 적용하여 용종 여부 검출이 행해질 수 있다. 이러한 경우, 제2 딥러닝 모델을 통해서 용종 가능성 점수가 9를 넘어 10에 이르게 되면, 용종 표시 결정부(40)는 용종 표시를 결정하고, 이에 따라 용종 표시부(50)가 내시경 영상 상에 용종 표시를 출력하게 된다.

또한, 프레임에 따라 용종으로 검출되는 것과 용종으로 검출되지 않는 것이 반복되는 경우 역시, 검사자 입장에서는 용종에 대한 정확한 판단이 요구될 수 있다. 즉, 용종 가능성 점수가 일정 시간 동안 소정 점수 범위에 머무르는 경우, 제2 딥러닝 모델이 적용될 수 있다.

상술한 경우는 용종 표시가 단일인 경우를 전제로 하여 설명하였다. 본 발명의 일 실시예에 따르면, 후술하는 바와 같이 용종 표시는 시간 추이에 따른 용종의 유무를 기초로 하여 다르게 결정되어 내시경 영상에 표시될 수 있다. 즉, 용종으로 검출되면 검출된 용종을 표시하되, 시간 추이에 따른 용종의 유무를 기초로 하여 용종 표시를 다르게 결정한다. 이하에서는, 시간 추이에 따른 용종의 유무를 기초로 용종 표시가 다르게 결정되는 경우, 시간 추이에 따른 제1 딥러닝 모델과 제2 딥러닝 모델의 적용 실시예를 설명한다.

종래의 딥러닝을 이용한 용종 진단 기술에서는, 순간적으로 나타났다가 사라지는 거품이나 이물질, 촬영 각도 등 다양한 이유로 특정 부위가 용종 의심 부위로 판단되었다가, 용종 의심 부위로 판단되지 않게 되는 경우가 종종 발생한다. 예컨대, 용종 의심 부위 판단에 대한 용종 스코어의 기준값(threshold)이, 예를 들어, 700이면, 일 프레임에서는 용종 의심 부위에 대한 용종 스코어가 700 이상(예컨대, 720)이고, 상기 일 프레임에 대해 연속적인 다음 프레임에서는 용종 의심 부위에 대한 용종 스코어가 700 미만(예컨대, 650)인 경우, 내시경 영상에서 용종 의심 부위가 용종으로 사각형이 표시되었다가, 사각형은 사라지게 된다. 즉, 용종 표시가 깜빡거리게 된다(허위 양성, False Positive).

본 발명자는 용종 판단 기준을 높인다고 해서 이러한 문제를 근본적으로 해결할 수 없다는 점에 착안하였다. 즉, 용종 판단 기준을 높인다면, 허위 양성률을 줄이는 효과는 있을 수 있으나, 여전히 용종 부위 표시가 깜빡거리게 되는 문제 자체는 여전히 존재하며, 이를 완전히 해결할 수 없다. 또한, 허위 양성은 검사자 입장에서는 내시경 촬영 장치를 용종 의심 부위에 좀더 근접시켜서 최종적으로 종양 여부를 판단할 필요가 있을 수도 있는 것으로서, 이들은 노이즈로서 모두 제거 대상이 아니다. 즉, 용종 판단 기준을 높여서 허위 양성률을 줄이면, 용종 검출 실패 위험이 커지게 되는 문제가 있다.

본 발명의 일 실시예에 따르면, 용종 표시 결정부(30)는, 상기 용종 가능성 점수에 따라 용종 표시(60)를 달리할 수 있다. 예컨대, 이미지 영상 상의 용종 표시(60)의 그라데이션을 달리할 수 있다. 예컨대, 점수가 높을수록 검사자가 이를 직관적으로 인식할 수 있도록 색조를 단계적으로 또는 연속적으로 달리할 수 있다.

도5, 도6에 도시된 바와 같이, 제1 용종(1)은 시간 추이에 따라 용종 가능성 점수가 증가하는 바, 프레임 1보다 프레임 2에서는 더 짙은 색조로 표시될 수 있다. 반대로, 제2 용종(2)은 시간 추이에 따라 용종 가능성 점수가 감소하는 바, 프레임 1보다 프레임 2에서 더 옅은 색조로 표시될 수 있다. 제3 용종(3)은 프레임 2에서 새롭게 검출된 것으로서, 용종 가능성 점수인 1에 상응하는 색조로 표시될 수 있다. 여기서는, 설명을 위해 색조의 변화를 과장되게 표현한 것으로 이해되어야 할 것이다. 즉, 초당 프레임이 60인 점을 감안할 때, 프레임 1에서 프레임 2로 넘어감에 따라 도5, 도6에 도시된 바와 같이, 제1 용종(1)의 색조 변화가 눈에 띄게 변화되도록 설정되지 않을 수 있으며, 실제로는 보다 서서히 색조 변화가 일어나도록 설정될 수 있다.

도5, 도6의 개시 내용을 기초로, 기존의 내시경 진단 방식과 본 발명을 대비해 보면, 기존의 내시경 진단 방식에서 제2 용종(2)은 프레임 2에서는 검출되지 않게 됨에 따라 프레임 2에서는 용종 표시가 없게 되어, 제2 용종(2)은 내시경 영상에서 깜박거리게 된다. 반면에, 본 발명에서는 제2 용종(2)은 여전히 용종 표시가 있게 되고, 검사자는 용종 표시의 색조를 통해 제2 용종(2)의 용종 가능성을 직관적으로 인식할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 상기 용종 가능성 점수가 소정 점수 이하인 경우, 당해 용종 표시를 하지 않을 수 있다. 예컨대, 용종 가능성 점수가 -4 이하인 경우, 프레임에서 용종 표시는 하지 않을 수 있다.

본 발명의 일 실시예에 따르면, 예컨대, 용종 가능성 점수에 따라 용종 표시를 달리하는 경우, 용종 가능성 점수가 증가하더라도 더 이상 용종 표시는 달라지지 않는 최상위 용종 표시(62)가 있을 수 있다. 예컨대, 용종 가능성 점수가 10 이상인 경우에는 용종 표시는 더 이상 달라지지 않을 수 있다. 이러한 경우, 용종 가능성 점수가 10 이상인 용종에 대한 용종 표시는 검사자에게는 상당히 용종으로 의심되는 용종으로 인식되게 되는 최상위 용종 표시(62)이다.

이러한 최상위 용종 표시(62)를 하게 되는 경우, 나머지 용종 표시들의 표시 방식과는 다른 용종 표시 방식을 적용할 수 있다. 예컨대, 도7에 도시된 바와 같이, 나머지 용종 표시 방식이 색조 변화 방식이라면, 용종 가능성 점수가 10 이상인 최상위 용종 표시(62)는, 색상 자체를 달리하여 표시하거나, 용종 표시 모양을 달리(예컨대, 사각형 표시를 원형 표시로)하여 표시할 수 있다. 이를 통해, 잠재 용종과 최종 의심 용종을 검사자가 직관적으로 인식할 수 있다.

이와 같이, 최종 의심 용종과 잠재 용종을 구별하되, 잠재 용종에 대해서는 직관적으로 잠재 용종의 용종 가능성이 인식되는 바, 용종 표시가 다소 많아지더라도, 검사자는 어느 부위를 내시경을 통해 진단해야 할지 쉽게 파악할 수 있다. 이에 따라, 용종 판단 기준을 높여서 용종 표시를 줄일 필요가 적게 되므로, 용종 검출 실패 위험이 낮아질 수 있다.

이러한 최상위 용종 표시(62)는 검사자에게 상당히 용종으로 의심되는 용종으로 인식되게 되는 바, 보다 정확한 판단을 통해 최상위 용종 표시 여부가 결정되는 것이 바람직할 수 있다. 따라서, 용종 가능성 점수가 10일 때 최상 용종 표시가 제공된다면, 용종 가능성 점수가 9에 이르게 될 때까지는 제1 딥러닝 모델을 적용하다가, 용종 가능성 점수가 9 이상인 용종에 대해서는 제1 딥러닝 모델의 기준값보다 높은 기준값을 갖는 제2 딥러닝 모델이 적용할 수 있다.

또는, 잠재 용종으로서 프레임에 따라 용종으로 판단되는 것과 용종으로 판단되지 않는 것이 반복되는 경우 역시, 검사자 입장에서는 용종에 대한 정확한 판단이 요구될 수 있다. 즉, 최상위 용종 표시(62)에 상응하는 용종 가능성 점수보다 작은 시간이 일정 시간 이상 지속되는 경우, 프레임 당 처리 속도가 낮은 제2 딥러닝 모델을 적용할 수 있다.

본 발명의 일 실시예에 따르면, 복수의 검출 용종이 내시경 영상 상에 모여 있는 경우, 개별 검출 용종을 표시하는 방식이 아니라, 복수의 검출 용종이 모여 있는 영역을 표시하는 방식으로 적용될 수도 있다. 예컨대, 본 발명의 일 실시예에 따르면, 최종 의심 용종뿐만 아니라 잠재 용종에 대해서도 시간 추이에 따라 표시를 달리하여 표시하게 되는 바, 용종 표시가 많을 수 있다. 검사자 입장에서는, 용종 검출 실패 위험을 낮추기 위해, 이러한 잠재 용종이 많은 부위는 내시경 쵤영 장치를 이 부위에 접근하여 이를 확인할 필요가 있다. 따라서, 잠재 용종이 많은 부위를 검사자가 직관적으로 인식하여 내시경 이동을 유도할 수 있도록, 소정 점수 이하의 용종 가능성 점수를 갖는 복수의 검출 용종이 근접하여 모여 있을 때에는, 개별 검출 용종을 표시하는 것이 아니라, 복수의 검출 용종들이 근접하여 모여 있는 영역을 표시할 수 있다. 도8은 복수의 검출 용종이 근접하여 모여 있는 영역을 표시한 용종 표시(66)를 도시한 도면의 예이다.

본 발명의 일 실시예에 따르면, 잠재 용종으로서 프레임에 따라 용종으로 판단되는 것과 용종으로 판단되지 않는 것이 반복되는 경우가 있을 수 있다. 검사자 입장에서는, 용종 검출 실패 위험을 낮추기 위해, 이러한 잠재 용종은 내시경 카메라를 접근하여 이를 확인할 필요가 있다. 이러한 잠재 용종을 검사자가 직관적으로 인식하여 내시경 이동을 유도할 수 있도록, 일정 시간 이상 잠재 용종으로 판단되고 있는 경우(즉, 용종 가능성 점수가 일정 시간 동안 소정 범위에 머무르는 경우), 이를 나타내는 표시를 추가적으로 할 수 있다. 도 9는 일정 시간 이상 잠재 용종으로 판단되는 용종에 대한 추가 표시를 한 내시경 영상의 예이다.

도 10은 본 발명의 일 실시예에 따른 용종 진단 방법의 순서도이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 용종 진단 방법은, 적어도 제1 딥러닝 모델과 제2 딥러닝 모델을 준비하는 단계(S100)와, 인체에서 촬영한 내시경 영상을 수신하는 단계(S200)와, 상기 수신한 내시경 영상에 대하여 상기 적어도 제1 딥러닝 모델 및 제2 딥러닝 모델 중 어느 하나를 이용하여 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계(S300)와, 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계(S400)와, 산출된 점수를 기초로, 내시경 영상 상의 용종 표시 여부를 결정하는 단계(S500); 용종 표시를 내시경 영상에 출력하는 단계(S600)를 포함할 수 있다. 여기서, 단계(S300)의 이용되는 딥러닝 모델은 용종 가능성 점수를 기초로 결정된다.

도 11은 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계를 보다 상세히 설명하는 도면이다. 도11에 도시된 바와 같이, 시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계(S400)는 당해 프레임에서 검출된 용종과 이전 프레임에서 검출된 용종을 비교하는 단계(S420)와, 비교 결과에 기초하여, 소정 점수를 적용하여 시간 추이에 따른 용종 가능성 점수를 산출하는 단계(S440)로 구성될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경 우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처 리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매 체에 저장될 수 있다. 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매 체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같 은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1: 제1 용종
2: 제2 용종
3: 제3 용종
10: 영상 획득부
20: 용종 검출부
30: 용종 가능성 산출부
40: 용종 표시 결정부
50: 용종 표시부
60: 용종 표시
62: 최상위 용종 표시

Claims

내시경 영상을 이용한 종양 진단 방법으로서,
적어도 제1 딥러닝 모델과 제2 딥러닝 모델을 준비하는 단계와,
인체에서 촬영한 내시경 영상을 수신하는 단계와,
상기 수신한 내시경 영상에 대하여 상기 제1 딥러닝 모델과 제2 딥러닝 모델 중 하나를 이용하여 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계와,
시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계와,
산출된 점수를 기초로, 내시경 영상 상의 용종 표시 여부를 결정하는 단계와,
용종 표시를 내시경 영상에 출력하는 단계를 포함하고,
상기 검출 단계에서 이용되는 딥러닝 모델은 용종 가능성 점수를 기초로 결정되는,
내시경 영상을 이용한 종양 진단 방법.
제1항에 있어서,
제2 딥러닝 모델은 제1 딥러닝 모델보다 용종 검출 처리 속도가 낮은,
내시경 영상을 이용한 종양 진단 방법.
제2항에 있어서,
산출된 점수가 기준값 이상인 경우, 용종 표시하는,
내시경 영상을 이용한 종양 진단 방법.
제3항에 있어서,
용종 가능성 점수가 상기 기준값보다 작게 설정된 기준값 이상인 경우, 제2 딥러닝 모델이 적용되는,
내시경 영상을 이용한 용종 진단 방법.
제3항에 있어서,
용종 가능성 점수가 상기 기준값보다 작은 시간이 일정 시간 이상 지속되는 경우, 제2 딥러닝 모델이 적용되는,
내시경 영상을 이용한 용종 진단 방법.
제1항에 있어서,
시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 단계는,
당해 프레임에서 검출된 용종과 이전 프레임에서 검출된 용종을 비교하는 단계와,
이전 프레임 및 당해 프레임에서 검출된 용종에 대해서는, 이전 프레임에서의 용종 가능성 점수에 소정 점수를 가산하여 용종 가능성 점수를 산출하고, 당해 프레임에서 새롭게 검출된 용종에 대해서는, 소정 점수를 용종 가능성 점수로 산출하고, 이전 프레임에서는 검출되었으나 당해 프레임에서는 검출되지 않은 용종에 대해서는 이전 프레임에서의 용종 가능성 점수에서 소정 점수를 감산하여 용종 가능성 점수를 산출하는 단계를 포함하는,
내시경 영상을 이용한 용종 진단 방법.
제6항에 있어서,
상기 용종 가능성 점수에 따라 용종 표시의 그라디에이션이 결정되고, 용종 가능성 점수가 최상위 용종 표시에 상응하는 용종 가능성 점수보다 낮게 설정된 기준값 이상인 경우, 제2 딥러닝 모델이 적용되는,
내시경 영상을 이용한 용종 진단 방법.
내시경 영상을 이용한 용종 진단 장치로서,
인체에서 촬영한 내시경 영상을 수신하는 영상 획득부와,
상기 수신한 내시경 영상에 대하여 제1 딥러닝 모델과 제2 딥러닝 모델 중 하나를 이용하여 용종의 유무 및 상기 용종의 위치 정보를 검출하는 용종 검출부와,
시간 추이에 따른 용종의 유무를 기초로 검출된 용종에 대하여 용종 가능성 점수를 산출하는 용종 가능성 산출부와,
산출된 점수를 기초로, 내시경 영상 상의 용종 표시 여부를 결정하는 용종 표시 결정부와;
용종 표시를 내시경 영상에 출력하는 용종 표시부를 포함하고,
상기 용종 검출부에서 이용되는 딥러닝 모델은 용종 가능성 점수를 기초로 결정되는,
내시경 영상을 이용한 용종 진단 장치.
제8항에 있어서,
제2 딥러닝 모델은 제1 딥러닝 모델보다 용종 검출 처리 속도가 낮은,
내시경 영상을 이용한 용종 진단 장치.
제9항에 있어서,
산출된 점수가 기준값 이상인 경우, 용종 표시하는,
내시경 영상을 이용한 용종 진단 장치.
제10항에 있어서,
용종 가능성 점수가 상기 기준값보다 작게 설정된 기준값 이상인 경우, 제2 딥러닝 모델이 적용되는,
내시경 영상을 이용한 용종 진단 장치.
제10항에 있어서,
용종 가능성 점수가 상기 기준값보다 작은 시간이 일정 시간 이상 지속되는 경우, 제2 딥러닝 모델이 적용되는,
내시경 영상을 이용한 용종 진단 장치.
제8항에 있어서,
용종 가능성 산출부는,
당해 프레임에서 검출된 용종과 이전 프레임에서 검출된 용종을 비교하고,
이전 프레임 및 당해 프레임에서 검출된 용종에 대해서는, 이전 프레임에서의 용종 가능성 점수에 소정 점수를 가산하여 용종 가능성 점수를 산출하고, 당해 프레임에서 새롭게 검출된 용종에 대해서는, 소정 점수를 용종 가능성 점수로 산출하고, 이전 프레임에서는 검출되었으나 당해 프레임에서는 검출되지 않은 용종에 대해서는 이전 프레임에서의 용종 가능성 점수에서 소정 점수를 감산하여 용종 가능성 점수를 산출하는,
내시경 영상을 이용한 용종 진단 장치.
제13항에 있어서,
상기 용종 가능성 점수에 따라 용종 표시의 그라디에이션이 결정되고, 용종 가능성 점수가 최상위 용종 표시에 상응하는 용종 가능성 점수보다 낮게 설정된 기준값 이상인 경우, 제2 딥러닝 모델이 적용되는,
내시경 영상을 이용한 용종 진단 장치.
내시경 영상을 이용한 용종 진단 프로그램이며,
상기 용종 진단 프로그램은 프로세서와 결합되어, 컴퓨터로 판독가능한 기록 매체에 저장된 컴퓨터 프로그램이고,
상기 컴퓨터 프로그램은 제1항 내지 제7항 중 하나를 따르는 용종 진단 방법을 상기 기록 매체 저장된 명령어에 의해 상기 프로세서에서 실행되도록 구성되는, 내시경 영상을 이용한 용종 진단 프로그램.