KR20240079994A - 민감도 설정이 가능한 인공지능 기반의 병변 검출 방법 및 장치 - Google Patents

Abstract

본 발명의 일 양상인 적어도 하나의 프로세서에 의해 동작하는 장치가 정보를 제공하는 방법에 있어서, 객체에 삽입된 내시경으로부터 복수의 이미지를 획득하는 제 1 단계; 상기 복수의 이미지 중 적어도 하나를 기초로, 미리 지정된 상기 객체 내의 복수의 영역 중 상기 내시경이 제 1 영역에 위치하는 것을 판단하는 제 2 단계; 상기 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받는 제 3 단계; 복수의 분석 알고리즘 중 상기 제 1 영역에 대응되는 제 1 분석 알고리즘을 결정하는 제 4 단계; 상기 제 1 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 1 이상 점수(abnormality score)를 획득하는 제 5 단계; 상기 제 1 분석 알고리즘에 대해 상기 제 1 민감도를 매칭시키고, 상기 제 1 민감도의 제 1 컷오프 점수와 상기 제 1 이상 점수를 비교하는 제 6 단계; 및 상기 제 1 컷오프 점수보다 상기 제 1 이상 점수가 높은 경우, 상기 제 1 영역에 대한 추가 정보를 디스플레이부를 통해 표시하는 제 7 단계;를 포함할 수 있다.

Description

민감도 설정이 가능한 인공지능 기반의 병변 검출 방법 및 장치 {Artificial intelligence-based lesion detection methods and devices capable of setting sensitivity}

본 발명은 민감도 설정이 가능한 인공지능 기반의 병변 검출 방법 및 장치에 관한 것이다.

내시경 시술은 의사와 환자가 1 대 1 로 시술되는 검사로, 노동 집약적이고, 검사에 시간이 많이 소요되는 단점이 있다. 또한 시술이 반복적이고, 시술과정에서 의료진의 경험, 의료진의 컨디션, 피로도, 실수 등 다양한 요인들로 인해 관찰자 변동(inter observer) 또는 관찰자 내 변동(intra observer)이 존재할 수 있다.

여기서 관찰자 변동은 동일한 결과를 검사하는 둘 이상의 관찰자에 의해 얻어진 결과 사이의 변동량이고, 관찰자 내 변동은 동일한 결과를 두 번 이상 관찰할 때 관찰자가 경험하는 변동량이다.

또한, 실시간으로 입력되는 이미지를 이미지마다 독립적으로 처리하다 보면 병변이 존재하는 환자의 경우 수 백에서 수 천장의 이미지에서 병변이 검출되게 된다. 그렇기 때문에 내시경 시술 후의 결과 분석 및 확인이 용이하지 않은 실정이다.

나아가 병변 위치에 따라 문제가 되는 영역을 파악하는 민감도가 변경될 수 있는데, 현재는 동일한 민감도를 적용하여 병변을 파악/분석하는 과정이 진행되고 있어 정확한 결과가 사용자에게 제공되기 어렵다는 문제점도 존재한다.

본 발명은 전술한 문제점을 해소하기 위해, 내시경 이미지 데이터를 활용하여 자동으로 실시간 병변을 검출 및 진단하고, 필요한 정보만을 효과적으로 저장하는 방법 및 시스템을 제공하고자 한다.

구체적으로 본 발명은 AI 알고리즘이 내시경 영상을 실시간으로 분석해 위장관 암 및 종양을 자동 판독하는 방법 및 시스템을 제공하고자 한다.

또한, 본 발명은 종양 발견 및 제거 소요시간을 단축시키고, 의료진의 종양 검출률을 향상 및 일정 수준 유지함으로써, 진단의 정확도를 향상시킬 수 있는 방법과 시스템을 제안하고자 한다.

또한, 본 발명은 의료진의 숙련도 및 피로도에 따라 놓칠 수 있는 작은 종양까지 발견하고, 종양 조기진단 및 제거로 위장관 암을 예방할 수 있는 방법과 시스템을 제안하고자 한다.

특히, 본 발명은 병변을 검출 및 분석하는 기준이 되는 민감도와 관련하여, 민감도의 수동 조정, 민감도의 위장관 위치에 기반한 조정, 민감도의 검사자(사용자) 설정에 기반한 조정 및 복합 설정에 기반한 조정이 가능한 방법과 시스템을 제공하고자 한다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 적어도 하나의 프로세서에 의해 동작하는 장치가 정보를 제공하는 방법에 있어서, 객체에 삽입된 내시경으로부터 복수의 이미지를 획득하는 제 1 단계; 상기 복수의 이미지 중 적어도 하나를 기초로, 미리 지정된 상기 객체 내의 복수의 영역 중 상기 내시경이 제 1 영역에 위치하는 것을 판단하는 제 2 단계; 상기 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받는 제 3 단계; 복수의 분석 알고리즘 중 상기 제 1 영역에 대응되는 제 1 분석 알고리즘을 결정하는 제 4 단계; 상기 제 1 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 1 이상 점수(abnormality score)를 획득하는 제 5 단계; 상기 제 1 분석 알고리즘에 대해 상기 제 1 민감도를 매칭시키고, 상기 제 1 민감도의 제 1 컷오프 점수와 상기 제 1 이상 점수를 비교하는 제 6 단계; 및 상기 제 1 컷오프 점수보다 상기 제 1 이상 점수가 높은 경우, 상기 제 1 영역에 대한 추가 정보를 디스플레이부를 통해 표시하는 제 7 단계;를 포함할 수 있다.

또한, 상기 제 6 단계에서, 상기 제 1 민감도는 변경 가능하고, 상기 제 1 민감도가 변경되는 경우, 상기 제 6 단계 및 상기 제 7 단계에서는 상기 변경된 제 1 만감도에 따른 제 1 컷오프 점수를 기준으로 상기 제 1 이상 점수와 비교할 수 있다.

또한, 상기 제 1 민감도에 대한 설정 정보는 상기 장치 상에 구비된 기구를 통해 입력 받을 수 있다.

또한, 상기 제 1 민감도는 상기 장치를 사용하는 복수의 사용자 별로 구분하여 설정 가능하고, 상기 복수의 사용자 중 제 1 사용자가 상기 장치를 이용하는 경우, 상기 제 1 사용자에 매칭된 제 1 민감도가 상기 제 6 단계 및 상기 제 7 단계에 적용될 수 있다.

또한, 상기 제 7 단계 이후, 상기 객체 내의 복수의 영역 중 상기 내시경의 위치가 제 2 영역으로 변경되었음을 판단하는 제 8 단계; 상기 복수의 분석 알고리즘 중 상기 제 2 영역에 대응되는 제 2 분석 알고리즘을 결정하는 제 9 단계; 상기 제 2 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 2 이상 점수(abnormality score)를 획득하는 제 10 단계; 상기 내시경이 상기 제 2 영역에 위치한다고 판단되는 동안, 제2 민감도에 대한 설정 정보를 입력받지 않은 경우 상기 제 2 분석 알고리즘에 대해 상기 제 1 민감도를 매칭시키고, 상기 제 1 민감도의 제 2 컷오프 점수와 상기 제 2 이상 점수를 비교하는 제 11 단계; 및 상기 제 2 컷오프 점수보다 상기 제 2 이상 점수가 높은 경우, 상기 제 2 영역에 대한 추가 정보를 상기 디스플레이부를 통해 표시하는 제 12 단계;를 포함할 수 있다.

또한, 상기 제 7 단계 이후, 상기 객체 내의 복수의 영역 중 상기 내시경의 위치가 제 2 영역으로 변경되었음을 판단하는 제 8 단계; 상기 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받는 제 8-1 단계; 상기 복수의 분석 알고리즘 중 상기 제 2 영역에 대응되는 제 2 분석 알고리즘을 결정하는 제 9 단계; 상기 제 2 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 2 이상 점수(abnormality score)를 획득하는 제 10 단계; 상기 제 2 분석 알고리즘에 대해 상기 제 2 민감도를 매칭시키고, 상기 제 2 민감도의 제 2 컷오프 점수와 상기 제 2 이상 점수를 비교하는 제 11 단계; 및 상기 제 2 컷오프 점수보다 상기 제 2 이상 점수가 높은 경우, 상기 제 2 영역에 대한 추가 정보를 상기 디스플레이부를 통해 표시하는 제 12 단계;를 포함할 수 있다.

또한, 상기 제 1 분석 알고리즘에 대해 상기 제 1 민감도가 매칭되고, 상기 제 2 분석 알고리즘에 대해 상기 제 2 민감도가 매칭된다는 것에 대한 정보가 제1 사용자에 매칭되어 저장되고, 상기 복수의 사용자 중 제 1 사용자가 상기 장치를 이용하는 경우, 상기 제 1 사용자에 매칭된 제 1 민감도가 상기 제 6 단계 및 상기 제 7 단계에 적용되고, 상기 제2 민감도가 상기 제 11 단계 및 상기 제 12 단계에 적용될 수 있다.

또한, 상기 복수의 영역은, 식도 영역, 위 영역 및 십이지장 영역을 포함할 수 있다.

또한, 상기 제7 단계에서, 상기 제1 영역에 대한 추가 정보는 상기 제1 민감도에 매칭되는 표현 방식으로 표시될 수 있다.

한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 장치는, 객체에 삽입된 내시경으로부터 복수의 이미지를 획득하는 획득부; 상기 복수의 이미지 중 적어도 하나를 기초로, 미리 지정된 상기 객체 내의 복수의 영역 중 상기 내시경이 제 1 영역에 위치하는 것을 판단하고, 상기 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받고, 복수의 분석 알고리즘 중 상기 제 1 영역에 대응되는 제 1 분석 알고리즘을 결정하며, 상기 제 1 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 1 이상 점수(abnormality score)를 획득하고, 상기 제 1 분석 알고리즘에 대해 상기 제 1 민감도를 매칭시키고, 상기 제 1 분석 알고리즘에 대해 미리 매칭된 제 1 민감도를 결정하고, 상기 제 1 민감도의 제 1 컷오프 점수와 상기 제 1 이상 점수를 비교하는 제어부; 및 상기 제 1 컷오프 점수보다 상기 제 1 이상 점수가 높은 경우, 상기 제어부의 제어에 따라 상기 제 1 영역에 대한 추가 정보를 표시하는 디스플레이부; 를 포함할 수 있다.

본 발명은 내시경 이미지 데이터를 활용하여 자동으로 실시간 병변을 검출 및 진단하고, 필요한 정보만을 효과적으로 저장하는 방법 및 시스템을 제공할 수 있다.

구체적으로 본 발명은 AI 알고리즘이 내시경 영상을 실시간으로 분석해 위장관 암 및 종양을 자동 판독하는 방법 및 시스템을 제공할 수 있다.

또한, 본 발명은 종양 발견 및 제거 소요시간을 단축시키고, 의료진의 종양 검출률을 향상 및 일정 수준 유지함으로써, 진단의 정확도를 향상시킬 수 있는 방법과 시스템을 제공할 수 있다.

또한, 본 발명은 의료진의 숙련도 및 피로도에 따라 놓칠 수 있는 작은 종양까지 발견하고, 종양 조기진단 및 제거로 위장관 암을 예방할 수 있는 방법과 시스템을 제공할 수 있다.

특히, 본 발명은 병변을 검출 및 분석하는 기준이 되는 민감도와 관련하여, 민감도의 수동 조정, 민감도의 위장관 위치에 기반한 조정, 민감도의 검사자(사용자) 설정에 기반한 조정 및 복합 설정에 기반한 조정이 가능한 방법과 시스템을 제공할 수 있다.

위장관 내시경 시 육안으로 판단하기 어려운 종양 및 암이 존재하며, 특히 까다로운 조기위암 또는 보우만4형암 등의 경우나, 의료진의 숙련도에 따라 놓칠 수 있는 상황이 생길 수 있는데, 본 발명은 내시경 검사 시 실시간 종양 및 암을 감지할 수 있는 인공지능 알고리즘을 제공함으로써, 상기 종래의 문제점을 해소할 수 있다.

본 발명에 따르면, 실시간 병변 검출 및 진단이 가능하고, 블라인드 구역 검사가 가능해지며, 인공지능 진단 결과를 정리하여 사용자에게 대표 이미지를 선별하여 제공하는 것이 가능할 수 있다.

본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 병변 검출 방법은 내시경 영상으로부터 실시간으로 병변을 자동 검출, 진단 및 저장할 수 있으며, 이에 따라 이를 보조진단도구로 활용하여, 임상 의사의 병변 검출 간과율을 낮추고, 객관적 측정을 통한 병변의 진단 정확도를 높일 수 있다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 장치의 블록도를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 방법의 전체적인 과정을 구체적으로 나타낸 순서도이다.
도 4 및 도 5는 본 발명에 따른 민감도 설정이 가능한 인공지능 기반의 병변 검출 방법의 일례를 나타내는 순서도이다.
도 6a 내지 도 7b는 본 발명과 관련하여, 식도 및 위에서 병변이 검출된 일례와 검출되지 않은 일례를 나타내는 도면이다.
도 8은 본 발명의 효과를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는” 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

민감도 설정이 가능한 인공지능 기반의 병변 검출 장치

도 1 및 도 2는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 장치의 블록도를 나타낸 것이다.

도 1을 참조하면, 본 발명이 제안하는 병변 검출 장치는 영상 획득부 (10), 제어부 (20) 및 진단부 (30)를 포함할 수 있다.

먼저, 영상 획득부 (10)는 객체에 삽입된 내시경으로부터 복수의 이미지를 획득하는 기능을 제공한다.

여기서 복수의 이미지는 식도 영역, 위 영역 및 십이지장 영역을 포함하는 이미지가 될 수 있다.

다음으로 제어부 (20)는 영상처리부 (21) 및 영상분석부 (22)를 포함할 수 있다.

여기서 영상처리부 (21)는 영상분석부 (22)가 병변에 대한 관찰을 진행할 수 있도록 후 처리하는 기능을 제공한다.

즉, 영상처리부 (21)는 관찰에 불필요한 부분은 제외하고 병변 관찰에 필요한 영역만을 추출하는 기능을 제공할 수 있다.

또한, 영상분석부 (22)는 복수의 이미지 중 적어도 하나를 기초로 미리 지정된 객체 내의 복수의 영역 중 내시경이 제 1 영역에 위치하는 것을 판단할 수 있다.

또한, 영상분석부 (22)는 내시경이 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력 받을 수 있다.

또한, 영상분석부 (22)는 복수의 분석 알고리즘 중 제 1 영역에 대응되는 제 1 분석 알고리즘을 결정하며, 제 1 분석 알고리즘을 이용하여 복수의 이미지 관련 제 1 이상 점수(abnormality score)를 획득할 수 있다.

또한, 영상분석부 (22)는 제 1 분석 알고리즘에 대해 제 1 민감도를 매칭시키고, 제 1 분석 알고리즘에 대해 미리 매칭된 제 1 민감도를 결정할 수 있다.

최종적으로 영상분석부 (22)는 제 1 민감도의 제 1 컷오프 점수와 제 1 이상 점수를 비교할 수 있다.

도 2를 참조하면, 영상 분석부 (22)는 위치판단부 (110), 민감도 입력부 (120), 알고리즘 적용부 (130), 이상점수 획득부 (140), 민감도 매칭부 (150), 컷오프점수 및 이상점수 비교부 (160) 및 판단부 (170)를 포함할 수 있다.

위치판단부 (110)는 복수의 이미지 중 적어도 하나를 기초로, 미리 지정된 상기 객체 내의 복수의 영역 중 상기 내시경이 제 1 영역에 위치하는 것을 판단하고, 민감도 입력부 (120)는 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력 받으며, 알고리즘 적용부 (130)는 복수의 분석 알고리즘 중 상기 제 1 영역에 대응되는 제 1 분석 알고리즘을 결정한다.

여기서 제 1 민감도에 대한 설정 정보는 상기 장치 상에 구비된 기구를 통해 입력받을 수 있다.

또한, 이상점수 획득부 (140)는 제 1 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 1 이상 점수(abnormality score)를 획득하고, 민감도 매칭부 (150)는 제 1 분석 알고리즘에 대해 상기 제 1 민감도를 매칭시키며, 컷오프점수 및 이상점수 비교부 (160)는 제 1 민감도의 제 1 컷오프 점수와 제 1 이상 점수를 비교하게 된다.

여기서 제 1 민감도는 변경 가능하고, 제 1 민감도가 변경되는 경우, 변경된 제 1 만감도에 따른 제 1 컷오프 점수를 기준으로 제 1 이상 점수와 비교하게 된다.

이후, 제 1 컷오프 점수보다 상기 제 1 이상 점수가 높은 경우, 진단부 (30)는 제 1 영역에 대한 추가 정보를 디스플레이부 (31)를 통해 표시하게 된다.

여기서 제 1 민감도는 상기 장치를 사용하는 복수의 사용자 별로 구분하여 설정 가능하고, 복수의 사용자 중 제 1 사용자가 상기 장치를 이용하는 경우, 제 1 사용자에 매칭된 제 1 민감도가 제어부 (20) 및 진단부 (30)에 적용된다.

또한, 진단부 (30)는 제 1 영역에 대한 추가 정보를 제 1 민감도에 매칭되는 표현 방식으로 표시될 수 있다.

다시 도 1로 복귀하여, 진단부 (30)는 제 1 컷오프 점수보다 제 1 이상 점수가 높은 경우, 추적 및 분석하는 병변이 있는 것으로 판단하고, 추가 정보를 표시하도록 할 수 있다.

이때, 진단부 (30)는 디스플레이부 (31)를 포함할 수 있는데, 디스플레이부 (31)는 상기 추가 정보를 표시한다.

디스플레이부 (31)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부 (31)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다.

본 발명의 다른 측면에서 영상 획득부 (10)는 내시경 영상으로부터 복수의 프레임의 이미지를 획득할 수 있다.

본 발명에 따른 영상 획득부 (10)는 내시경 영상으로부터 복수의 프레임의 이미지를 획득한다.

일 실시예에서 상기 영상 획득부 (10)는 초당 15 프레임 내지 30 프레임을 획득할 수 있으나, 이에 제한되는 것은 아니다.

상기 영상 획득부 (10)는 상기 획득한 복수의 프레임의 이미지의 사이즈를 조정하는 단계 및 상기 획득한 복수의 프레임의 이미지의 픽셀 분포를 조정하는 단계로 이루어지는 군으로부터 선택되는 1종 이상의 단계를 수행할 수 있다.

일 실시예에서, 상기 획득한 복수의 프레임의 이미지의 사이즈를 조정하는 단계는 평균 가로, 세로 800 픽셀 내지 1200 픽셀로 이루어진 내시경 프레임 이미지를 후술할 딥러닝 모델의 조건에 맞게 이미지의 사이즈를 조정할 수 있다.

일 실시예에서, 상기 획득한 복수의 프레임의 이미지의 픽셀 분포를 조정하는 단계는 기존의 0 내지 255 사이의 픽셀 분포를 지니고 있는 8비트 이미지를 -1 내지 +1 사이의 픽셀 분포로 변환할 수 있다.

또한, 제어부 (20)는 상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하며, 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거할 수 있다.

또한, 제어부 (20)는 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하고, 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류할 수도 있다.

또한, 제어부 (20)는 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 진단부 (30)가 제시하도록 할 수 있다.

제어부 (20)는 상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있다.

또한, 제어부 (20)는 제1 딥러닝 모델을 이용하여 상기 이미지로부터 병변 영역과 병변의 악성 확률을 획득할 수 있다.

일 실시예에서 상기 제1 딥러닝 모델은 6000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.

일 실시예에서 상기 제1 딥러닝 모델은 EfficientNetB4를 Backbone으로 하는 EfficientDet 구조가 사용될 수 있다. 상기 EfficientNetB4 구조를 통해 추출된 특징들을 weighted bi-directional FPN(BiFPN)을 활용하여 병변의 좌표와 악성 확률을 획득할 수 있다.

또한, 제어부 (20)는 제1 딥러닝 모델로부터 획득한 병변의 좌표 및 악성 확률을 UI 프로그램에 전송할 수 있다.

또한, 제어부 (20)는 상기 병변의 위치를 원본 내시경 이미지 크기에 맞게 사이즈를 조정한 후 병변의 위치를 표시할 수 있다. 상기 병변의 위치는 사각형 형태나 히트맵(Heatmap) 형태의 UI로 표시될 수 있다.

또한 제어부 (20)는 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있으며, 바람직하게는 5개의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있고, 더 바람직하게는 10개의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있다.

또한, 제어부 (20)는 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거한다.

일 실시예에서 상기 제2 딥러닝 모델은 2700여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.

일 실시예에서 상기 제2 딥러닝 모델은 데이터베이스에 저장된 이미지들에 대하여 블러 이미지일 확률을 획득하고, 이로부터 블러 이미지를 분류 및 제거할 수 있다.

일 실시예에서 상기 제2 딥러닝 모델은 EfficientNetB6 구조가 사용될 수 있다.

또한, 제어부 (20)는 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별한다.

또한, 제어부 (20)는 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하게 되며, 바람직하게는 15 프레임 내지 30 프레임 연속으로 이어지는 이미지를 동일 병변에 관한 이미지로 판단할 수 있다.

또한, 제어부 (20)는 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는데, 후술한 이미지 분류부에서 상기 1차 대표 이미지들 간에 동일 병변 여부를 판단하기 위해서는 다양한 각도 및 크기의 이미지를 선별하는 것이 바람직하다.

일 실시예에서 상기 그룹 내의 1/4 분위수 프레임 이미지, 1/2 분위수 프레임 이미지, 3/4 분위수 프레임 이미지를 1차 대표 이미지로 선정할 수 있다.

또한, 제어부 (20)는 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들 간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류한다.

일 실시예에서 상기 제3 딥러닝 모델은 6000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다. 이를 통하여 내시경 이미지간 동일 병변 여부에 대한 확률을 얻을 수 있다.

일 실시예에서 상기 제3 딥러닝 모델은 상기 선별된 1차 대표 이미지들로부터 벡터를 추출하여, 상기 벡터의 유사도를 비교함으로써 상기 1차 대표 이미지들간의 동일 병변 여부를 판단할 수 있다.

일 실시예에서, 상기 제3 딥러닝 모델은 EfficientNETB6 구조의 마지막 레이어인 전결합층에서 벡터를 획득하고, 이를 Annoy 알고리즘을 통해 벡터간 유사도를 비교함으로써 동일 병변 여부를 판단할 수 있다.

또한, 제어부 (20)는 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시한다.

일 실시예에서, 제어부 (20)는 동일한 병변에 대한 1차 이미지 중 시간 순으로 가장 앞선 이미지를 2차 대표 이미지로 선별할 수 있다. 이러한 경우, 병변에 너무 근접하기 전의 이미지를 제시할 수 있으므로 병변의 구체적인 위치를 용이하게 파악할 수 있고, 불필요한 생검(biopsy) 이미지를 제시하지 않을 수 있다는 점에서 바람직하다.

이에 의하여 선별된 2차 대표 이미지는 스냅샷(Snapshot) 이미지 형태의 UI로 제시될 수 있다.

진단부 (30)가 제 1 컷오프 점수보다 제 1 이상 점수가 높은 경우, 제 1 영역에 대한 추가 정보를 디스플레이부를 통해 표시하는 첫 번째 판단을 한 이후, 내시경의 위치가 객체 내부에서 지속적으로 변경될 수 있다.

이때, 본 발명에 따른 제어부 (20) 및 진단부 (30)는 다음과 같은 기능을 제공할 수 있다.

제어부 (20)가 객체 내의 복수의 영역 중 상기 내시경의 위치가 제 2 영역으로 변경되었음을 판단할 수 있다.

이때, 제어부 (20)의 알고리즘 적용부 (130)는 복수의 분석 알고리즘 중 제 2 영역에 대응되는 제 2 분석 알고리즘을 결정한다.

또한, 이상점수 획득부 (140)는 제 2 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 2 이상 점수(abnormality score)를 획득하게 된다.

또한, 내시경이 상기 제 2 영역에 위치한다고 판단되는 동안, 제2 민감도에 대한 설정 정보를 입력받지 않은 경우, 민감도 매칭부 (150)는 제 2 분석 알고리즘에 대해 제 1 민감도를 매칭시키고, 컷오프점수 및 이상점수 비교부 (160)는 제 1 민감도의 제 2 컷오프 점수와 상기 제 2 이상 점수를 비교하게 된다.

이때, 제 2 컷오프 점수보다 제 2 이상 점수가 높은 경우, 진단부 (30)는 디스플레이부 (31)를 통해, 제 2 영역에 대한 추가 정보를 표시하게 된다.

진단부 (30)가 첫 번째 판단을 한 이후, 내시경의 위치가 객체 내부에서 지속적으로 변경되는 경우, 본 발명에 따른 제어부 (20) 및 진단부 (30)는 다음과 같은 다른 방식의 기능을 제공할 수도 있다.

제어부 (20)는 객체 내의 복수의 영역 중 상기 내시경의 위치가 제 2 영역으로 변경되었음을 판단할 수 있다.

이때, 민감도 입력부 (120)을 통해, 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력 받을 수 있다.

또한, 알고리즘 적용부 (130)는 복수의 분석 알고리즘 중 상기 제 2 영역에 대응되는 제 2 분석 알고리즘을 결정하고, 이상점수 획득부 (140)는 제 2 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 2 이상 점수(abnormality score)를 획득하게 된다.

이후, 매칭부 (150)는 제 2 분석 알고리즘에 대해 상기 제 2 민감도를 매칭시키고, 비교부 (160)는 제 2 민감도의 제 2 컷오프 점수와 상기 제 2 이상 점수를 비교하게 된다.

제 2 컷오프 점수보다 제 2 이상 점수가 높은 경우, 제 2 영역에 대한 추가 정보를 상기 디스플레이부 (31)를 통해 표시하게 된다.

이 경우, 제 1 분석 알고리즘에 대해 제 1 민감도가 매칭되고, 제 2 분석 알고리즘에 대해 상기 제 2 민감도가 매칭된다는 것에 대한 정보가 제 1 사용자에 매칭되어 저장되는 것이 가능하다.

또한, 복수의 사용자 중 제 1 사용자가 상기 장치를 이용하는 경우, 상기 제 1 사용자에 매칭된 제 1 민감도가 제어부 (20) 및 진단부 (30)에 적용되어 기준이 될 수 있다.

민감도 설정이 가능한 인공지능 기반의 병변 검출 방법

도 3은 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 방법의 전체적인 과정을 구체적으로 나타낸 순서도이다.

도 3을 참조하면, 가장 먼저, 객체에 삽입된 내시경으로부터 복수의 이미지를 획득하는 단계 (S1)가 진행된다.

일 실시예에서 상기 단계는 초당 15 프레임 내지 30 프레임을 획득(S110)할 수 있으나, 이에 제한되는 것은 아니다.

획득한 복수의 프레임의 이미지의 사이즈를 조정하는 단계 및 상기 획득한 복수의 프레임의 이미지의 픽셀 분포를 조정하는 단계로 이루어지는 군으로부터 선택되는 1종 이상의 단계를 포함할 수 있다.

일 실시예에서, 상기 획득한 복수의 프레임의 이미지의 사이즈를 조정하는 단계(S120)는 평균 가로, 세로 800 픽셀 내지 1200 픽셀로 이루어진 내시경 프레임 이미지를 후술할 딥러닝 모델의 조건에 맞게 이미지의 사이즈를 조정할 수 있다.

일 실시예에서, 상기 획득한 복수의 프레임의 이미지의 픽셀 분포를 조정하는 단계는 기존의 0 내지 255 사이의 픽셀 분포를 지니고 있는 8비트 이미지를 -1 내지 +1 사이의 픽셀 분포로 변환할 수 있다.

이후, 복수의 이미지 중 적어도 하나를 기초로, 미리 지정된 객체 내의 복수의 영역 중 내시경이 제 1 영역에 위치하는 것을 판단하는 단계 (S2)가 진행된다.

또한, 내시경이 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받는 단계 (S3)가 진행된다.

또한, 복수의 분석 알고리즘 중 제 1 영역에 대응되는 제 1 분석 알고리즘을 결정하는 단계 (S4)가 진행된다.

또한, 제 1 분석 알고리즘을 이용하여 복수의 이미지 관련 제 1 이상 점수(abnormality score)를 획득하는 단계 (S5)가 진행된다.

또한, 제 1 분석 알고리즘에 대해 제 1 민감도를 매칭시키고, 제 1 민감도의 제 1 컷오프 점수와 제 1 이상 점수를 비교하는 단계 (S6)가 진행된다.

또한, 제 1 컷오프 점수보다 제 1 이상 점수가 높은 경우, 제 1 영역에 대한 추가 정보를 디스플레이부를 통해 표시하는 단계 (S7)가 진행된다.

즉, 본 발명은 이상 예측 모델을 이용하여 입력 영상의 이상 점수(abnormality score)를 획득하고, 특정 판독 민감도가 되는 컷오프 점수를 기준으로 상기 이상 점수가 상기 컷오프 점수 이하이면, 상기 입력 영상을 강한-정상(strong normal)으로 분류하고 후속 분석하지 않도록 필터링할 수 있다.

또한, 상기 이상 점수가 상기 컷오프 점수보다 크면, 상기 입력 영상을 분류 클래스들로 구별하는 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득할 수 있다.

대표적으로 본 발명에 따른 분류 모델은, 입력을 정상, 약한-정상(weak normal) 또는 이상(abnormal)으로 구별하는 것이 가능하다.

이상점수를 이용하는 방법 이외 병변을 검출하는 S6 단계는 다음의 방법이 적용될 수도 있다.

복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 단계가 될 수 있다.

상기 단계는 상기 제1 딥러닝 모델을 이용하여 상기 이미지로부터 병변 영역과 병변의 악성 확률을 획득하는 단계를 포함할 수 있다.

일 실시예에서 상기 제1 딥러닝 모델은 6000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.

일 실시예에서 상기 제1 딥러닝 모델은 EfficientNetB4를 Backbone으로 하는 EfficientDet 구조가 사용될 수 있다. 상기 EfficientNetB4 구조를 통해 추출된 특징들을 weighted bi-directional FPN(BiFPN)을 활용하여 병변의 좌표와 악성 확률을 획득할 수 있다.

상기 단계는 상기 제1 딥러닝 모델로부터 획득한 병변의 좌표 및 악성 확률을 UI 프로그램에 전송하는 단계를 더 포함할 수 있다.

또한, 상기 단계는 상기 병변의 위치를 원본 내시경 이미지 크기에 맞게 사이즈를 조정한 후 병변의 위치를 표시할 수 있다(S230). 상기 병변의 위치는 사각형 형태나 히트맵(Heatmap) 형태의 UI로 표시될 수 있다.

또한 상기 단계는 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있으며, 바람직하게는 5개의 프레임에 서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있고, 더 바람직하게는 10개의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있다.

다음으로, 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 단계를 포함한다.

일 실시예에서 상기 제2 딥러닝 모델은 2700여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.

일 실시예에서 상기 제2 딥러닝 모델은 데이터베이스에 저장된 이미지들에 대하여 블러 이미지일 확률을 획득하고, 이로부터 블러 이미지를 분류 및 제거할 수 있다.

일 실시예에서 상기 제2 딥러닝 모델은 EfficientNetB6 구조가 사용될 수 있다.

다음으로, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 단계를 포함한다.

상기 단계에서 상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하게 되며, 바람직하게는 15 프레임 내지 30 프레임 연속으로 이어지는 이미지를 동일 병변에 관한 이미지로 판단할 수 있다.

또한, 상기 단계에서는 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는데, 후술한 단계 5에 서 상기 1차 대표 이미지들 간에 동일 병변 여부를 판단하기 위해서는 다양한 각도 및 크기의 이미지를 선별하는 것이 바람직하다.

일 실시예에서 상기 그룹 내의 1/4 분위수 프레임 이미지, 1/2 분위수 프레임 이미지, 3/4 분위수 프레임 이미지를 1차 대표 이미지로 선정할 수 있다.

다음으로, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 단계를 포함한다.

일 실시예에서 상기 제3 딥러닝 모델은 6000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다. 이를 통하여 내시경 이미지간 동일 병변 여부에 대한 확률을 얻을 수 있다.

일 실시예에서 상기 제3 딥러닝 모델은 상기 선별된 1차 대표 이미지들로부터 벡터를 추출하여, 상기 벡터의 유사도를 비교함으로써 상기 1차 대표 이미지들간의 동일 병변 여부를 판단할 수 있다.

일 실시예에서, 상기 제3 딥러닝 모델은 EfficientNETB6 구조의 마지막 레이어인 전결합층에서 벡터를 획득하고, 이를 Annoy 알고리즘을 통해 벡터간 유사도를 비교함으로써 동일 병변 여부를 판단할 수 있다.

다음으로, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시하는 단계를 포함한다.

일 실시예에서, 상기 단계는 동일한 병변에 대한 1차 이미지 중 시간 순으로 가장 앞선 이미지를 2차 대표 이미지로 선별할 수 있다. 이러한 경우, 병변에 너무 근접하기 전의 이미지를 제시할 수 있으므로 병변의 구체적인 위치를 용이하게 파악할 수 있고, 불필요한 생검(biopsy) 이미지를 제시하지 않을 수 있다는 점에서 바람직하다.

이에 의하여 선별된 2차 대표 이미지는 스냅샷(Snapshot) 이미지 형태의 UI로 제시될 수 있다.

한편, S7 단계 이후, 본 발명에서는 민감도 설정이 위치 변화에 따라 추가적으로 수행될 수 있다.

즉, 진단부 (30)가 제 1 컷오프 점수보다 제 1 이상 점수가 높은 경우, 제 1 영역에 대한 추가 정보를 디스플레이부를 통해 표시하는 첫 번째 판단을 한 이후, 내시경의 위치가 객체 내부에서 지속적으로 변경될 수 있다.

도 4 및 도 5는 본 발명에 따른 민감도 설정이 가능한 인공지능 기반의 병변 검출 방법의 일례를 나타내는 순서도이다.

도 4를 참조하면, S7 단계 이후, 객체 내의 복수의 영역 중 내시경의 위치가 제 2 영역으로 변경되었음을 판단하는 단계 (S11)가 수행된다.

이후, 복수의 분석 알고리즘 중 제 2 영역에 대응되는 제 2 분석 알고리즘을 결정하는 단계 (S12)가 진행된다.

또한, 제 2 분석 알고리즘을 이용하여 복수의 이미지 관련 제 2 이상 점수(abnormality score)를 획득하는 단계 (S13)가 수행된다.

또한, 내시경이 제 2 영역에 위치한다고 판단되는 동안, 제2 민감도에 대한 설정 정보를 입력받지 않은 경우 제 2 분석 알고리즘에 대해 제 1 민감도를 매칭시키고, 제 1 민감도의 제 2 컷오프 점수와 제 2 이상 점수를 비교하는 단계 (S14)가 진행된다.

또한, 제 2 컷오프 점수보다 제 2 이상 점수가 높은 경우, 제 2 영역에 대한 추가 정보를 디스플레이부를 통해 표시하는 단계 (S15)가 진행된다.

한편, 도 5를 참조하면, S7 단계 이후, 객체 내의 복수의 영역 중 내시경의 위치가 제 2 영역으로 변경되었음을 판단하는 단계 (S21)가 수행된다.

이후, 내시경이 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받는 단계 (S22)가 진행된다.

또한, 복수의 분석 알고리즘 중 제 2 영역에 대응되는 제 2 분석 알고리즘을 결정하는 단계 (S23)가 수행된다.

또한, 제 2 분석 알고리즘을 이용하여 복수의 이미지 관련 제 2 이상 점수(abnormality score)를 획득하는 단계 (S24)가 진행된다.

또한, 제 2 분석 알고리즘에 대해 제 2 민감도를 매칭시키고, 제 2 민감도의 제 2 컷오프 점수와 제 2 이상 점수를 비교하는 단계 (S25)가 진행된다.

이후, 제 2 컷오프 점수보다 제 2 이상 점수가 높은 경우, 제 2 영역에 대한 추가 정보를 디스플레이부를 통해 표시하는 단계 (S26)가 진행된다.

S6 단계에서, 제 1 민감도는 변경 가능하고, 제 1 민감도가 변경되는 경우, S6 단계 및 S7 단계에서는 변경된 제 1 만감도에 따른 제 1 컷오프 점수를 기준으로 상기 제 1 이상 점수와 비교한다.

또한, 제 1 민감도에 대한 설정 정보는 상기 장치 (1) 상에 구비된 기구를 통해 입력 받을 수 있다.

또한, 제 1 민감도는 장치 (1)를 사용하는 복수의 사용자 별로 구분하여 설정 가능하고, 복수의 사용자 중 제 1 사용자가 상기 장치를 이용하는 경우, 제 1 사용자에 매칭된 제 1 민감도가 S6 단계 및 S7 단계에 적용될 수 있다.

또한, 도 5에서 제 1 분석 알고리즘에 대해 제 1 민감도가 매칭되고, 제 2 분석 알고리즘에 대해 제 2 민감도가 매칭된다는 것에 대한 정보가 제1 사용자에 매칭되어 저장될 수 있다.

도 5에서 복수의 사용자 중 제 1 사용자가 상기 장치를 이용하는 경우, 상기 제 1 사용자에 매칭된 제 1 민감도가 S6 단계 및 S7 단계에 적용되고 제2 민감도가 S25 단계 및 S26 단계에 적용될 수 있다.

또한, 본 발명에 적용되는 복수의 영역은, 식도 영역, 위 영역 및 십이지장 영역 중 적어도 하나를 포함할 수 있다.

또한, S7 단계에서, 제1 영역에 대한 추가 정보는 제1 민감도에 매칭되는 표현 방식으로 표시될 수 있다.

결국 본 발명에서는 1) 민감도의 수동 조정이 가능하고, 2) 민감도의 위장관 위치에 기반한 조정이 가능하며, 3) 민감도의 검사자(사용자) 설정에 기반한 조정도 가능하고, 4) 2)+3)의 복합 설정에 기반한 조정이 가능하다.

도 6a 내지 도 7b는 본 발명과 관련하여, 식도 및 위에서 병변이 검출된 일례와 검출되지 않은 일례를 나타내는 도면이다.

도 6a는 식도와 관련된 영상 (60)을 중심으로 식도에서 병변이 검출되지 않은 일례를 도시한 것이고, 도 6b는 식도에서 병변 (61)이 발견된 일례를 도시한 것이다.

인공지능을 기반으로 본 발명에 따른 진단부 (30)는 디스플레이부 (31)를 통해 해당 병변 (61)의 위치를 표시하고 나아가 병변 (61)의 상태 및 진행정도에 따라 구분되는 정보를 표시하는 것도 가능하다.

또한, 도 7a는 위와 관련된 영상 (70)을 중심으로 식도에서 병변이 검출되지 않은 일례를 도시한 것이고, 도 7b는 위에서 병변 (71)이 발견된 일례를 도시한 것이다.

인공지능을 기반으로 본 발명에 따른 진단부 (30)는 디스플레이부 (31)를 통해 해당 병변 (71)의 위치를 표시하고 나아가 병변 (71)의 상태 및 진행정도에 따라 구분되는 정보를 표시하는 것도 가능하다.

본 발명에 따르면, 병변 표시 유무로 구분하여 표시 가능하고, 텍스트와 이미지 표시가 모두 가능하다.

본 발명이 제공하는 효과

한편, 도 8은 본 발명의 효과를 설명하기 위한 도면이다.

도 8을 참조하면, 본 발명은 내시경 이미지 데이터를 활용하여 자동으로 실시간 병변을 검출 및 진단하고, 필요한 정보만을 효과적으로 저장하는 방법 및 시스템을 제공할 수 있는데, 구체적으로 본 발명은 AI 알고리즘이 내시경 영상을 실시간으로 분석해 위장관 암 및 종양을 자동 판독하는 방법 및 시스템을 제공할 수 있다.

또한, 본 발명은 종양 발견 및 제거 소요시간을 단축시키고, 의료진의 종양 검출률을 향상 및 일정 수준 유지함으로써, 진단의 정확도를 향상시킬 수 있는 방법과 시스템을 제공할 수 있다.

또한, 본 발명은 의료진의 숙련도 및 피로도에 따라 놓칠 수 있는 작은 종양까지 발견하고, 종양 조기진단 및 제거로 위장관 암을 예방할 수 있는 방법과 시스템을 제공할 수 있다.

특히, 본 발명은 병변을 검출 및 분석하는 기준이 되는 민감도와 관련하여, 민감도의 수동 조정, 민감도의 위장관 위치에 기반한 조정, 민감도의 검사자(사용자) 설정에 기반한 조정 및 복합 설정에 기반한 조정이 가능한 방법과 시스템을 제공할 수 있다.

위장관 내시경 시 육안으로 판단하기 어려운 종양 및 암이 존재하며, 특히 까다로운 조기위암 또는 보우만4형암 등의 경우나, 의료진의 숙련도에 따라 놓칠 수 있는 상황이 생길 수 있는데, 본 발명은 내시경 검사 시 실시간 종양 및 암을 감지할 수 있는 인공지능 알고리즘을 제공함으로써, 상기 종래의 문제점을 해소할 수 있다.

본 발명에 따르면, 실시간 병변 검출 및 진단이 가능하고, 블라인드 구역 검사가 가능해지며, 인공지능 진단 결과를 정리하여 사용자에게 대표 이미지를 선별하여 제공하는 것이 가능할 수 있다.

본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 병변 검출 방법은 내시경 영상으로부터 실시간으로 병변을 자동 검출, 진단 및 저장할 수 있으며, 이에 따라 이를 보조진단도구로 활용하여, 임상 의사의 병변 검출 간과율을 낮추고, 객관적 측정을 통한 병변의 진단 정확도를 높일 수 있다.

도 8의 (a)에 도시된 것과 같이, 실시간 병변 검출 및 진단이 가능하고, (a-1)에 도시된 것과 같이, 인공지능 모델을 경량화하여 내시경 시술시 초당 30~60 프레임으로 획득되는 모든 프레임에 대하여 분석 및 진단이 가능한 실시간 처리 기능을 제공한다.

또한, 도 8의 (b)에 도시된 것과 같이, 블라인드 구역 검사가 가능하고, (a-2)에 도시된 것과 같이, 인공지능 모델을 통해 미리 학습해둔 위장관 영역을 통해, 내시경 시술자가 위장관의 모든 구역을 확인하여 블라인드 구역 (맹점) 발생을 억제하는 맹점 확인 기능을 제공한다.

또한, 도 8의 (c)에 도시된 것과 같이, 인공지능 진단 결과 정리가 가능하고, (a-3)에 도시된 것과 같이, 내시경 시술 이후 인공지능 진단 결과를 확인하고자 할 때, 수백, 수천 장의 분석 프레임 이미지 중 대표 이미지를 선별하고 제시하는 대표 이미지 선별 기능을 제공한다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령 (instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

20: 제어부
30: 진단부
31: 디스플레이부
140: 획득부
160: 비교부

Claims (10)

1. 적어도 하나의 프로세서에 의해 동작하는 장치가 정보를 제공하는 방법에 있어서,
   객체에 삽입된 내시경으로부터 복수의 이미지를 획득하는 제 1 단계;
   상기 복수의 이미지 중 적어도 하나를 기초로, 미리 지정된 상기 객체 내의 복수의 영역 중 상기 내시경이 제 1 영역에 위치하는 것을 판단하는 제 2 단계;
   상기 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받는 제 3 단계;
   복수의 분석 알고리즘 중 상기 제 1 영역에 대응되는 제 1 분석 알고리즘을 결정하는 제 4 단계;
   상기 제 1 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 1 이상 점수(abnormality score)를 획득하는 제 5 단계;
   상기 제 1 분석 알고리즘에 대해 상기 제 1 민감도를 매칭시키고, 상기 제 1 민감도의 제 1 컷오프 점수와 상기 제 1 이상 점수를 비교하는 제 6 단계; 및
   상기 제 1 컷오프 점수보다 상기 제 1 이상 점수가 높은 경우, 상기 제 1 영역에 대한 추가 정보를 디스플레이부를 통해 표시하는 제 7 단계;를 포함하는 정보 제공 방법.
2. 제 1항에 있어서,
   상기 제 6 단계에서, 상기 제 1 민감도는 변경 가능하고,
   상기 제 1 민감도가 변경되는 경우, 상기 제 6 단계 및 상기 제 7 단계에서는 상기 변경된 제 1 만감도에 따른 제 1 컷오프 점수를 기준으로 상기 제 1 이상 점수와 비교하는 정보 제공 방법.
3. 제 1항에 있어서,
   상기 제 1 민감도에 대한 설정 정보는 상기 장치 상에 구비된 기구를 통해 입력받을 수 있는 정보 제공 방법.
4. 제 2항에 있어서,
   상기 제 1 민감도는 상기 장치를 사용하는 복수의 사용자 별로 구분하여 설정 가능하고,
   상기 복수의 사용자 중 제 1 사용자가 상기 장치를 이용하는 경우,
   상기 제 1 사용자에 매칭된 제 1 민감도가 상기 제 6 단계 및 상기 제 7 단계에 적용되는 정보 제공 방법.
5. 제 1항에 있어서,
   상기 제 7 단계 이후,
   상기 객체 내의 복수의 영역 중 상기 내시경의 위치가 제 2 영역으로 변경되었음을 판단하는 제 8 단계;
   상기 복수의 분석 알고리즘 중 상기 제 2 영역에 대응되는 제 2 분석 알고리즘을 결정하는 제 9 단계;
   상기 제 2 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 2 이상 점수(abnormality score)를 획득하는 제 10 단계;
   상기 내시경이 상기 제 2 영역에 위치한다고 판단되는 동안, 제2 민감도에 대한 설정 정보를 입력받지 않은 경우 상기 제 2 분석 알고리즘에 대해 상기 제 1 민감도를 매칭시키고, 상기 제 1 민감도의 제 2 컷오프 점수와 상기 제 2 이상 점수를 비교하는 제 11 단계; 및
   상기 제 2 컷오프 점수보다 상기 제 2 이상 점수가 높은 경우, 상기 제 2 영역에 대한 추가 정보를 상기 디스플레이부를 통해 표시하는 제 12 단계;를 포함하는 정보 제공 방법.
6. 제 1항에 있어서,
   상기 제 7 단계 이후,
   상기 객체 내의 복수의 영역 중 상기 내시경의 위치가 제 2 영역으로 변경되었음을 판단하는 제 8 단계;
   상기 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받는 제 8-1 단계;
   상기 복수의 분석 알고리즘 중 상기 제 2 영역에 대응되는 제 2 분석 알고리즘을 결정하는 제 9 단계;
   상기 제 2 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 2 이상 점수(abnormality score)를 획득하는 제 10 단계;
   상기 제 2 분석 알고리즘에 대해 상기 제 2 민감도를 매칭시키고, 상기 제 2 민감도의 제 2 컷오프 점수와 상기 제 2 이상 점수를 비교하는 제 11 단계; 및
   상기 제 2 컷오프 점수보다 상기 제 2 이상 점수가 높은 경우, 상기 제 2 영역에 대한 추가 정보를 상기 디스플레이부를 통해 표시하는 제 12 단계;를 포함하는 정보 제공 방법.
7. 제 6항에 있어서,
   상기 제 1 분석 알고리즘에 대해 상기 제 1 민감도가 매칭되고, 상기 제 2 분석 알고리즘에 대해 상기 제 2 민감도가 매칭된다는 것에 대한 정보가 제1 사용자에 매칭되어 저장되고,
   상기 복수의 사용자 중 제 1 사용자가 상기 장치를 이용하는 경우, 상기 제 1 사용자에 매칭된 제 1 민감도가 상기 제 6 단계 및 상기 제 7 단계에 적용되고, 상기 제2 민감도가 상기 제 11 단계 및 상기 제 12 단계에 적용되는 정보 제공 방법.
8. 제 1항에 있어서,
   상기 복수의 영역은, 식도 영역, 위 영역 및 십이지장 영역을 포함하는 정보 제공 방법.
9. 제 1항에 있어서,
   상기 제7 단계에서, 상기 제1 영역에 대한 추가 정보는 상기 제1 민감도에 매칭되는 표현 방식으로 표시되는 정보 제공 방법.
10. 객체에 삽입된 내시경으로부터 복수의 이미지를 획득하는 획득부;
    상기 복수의 이미지 중 적어도 하나를 기초로, 미리 지정된 상기 객체 내의 복수의 영역 중 상기 내시경이 제 1 영역에 위치하는 것을 판단하고, 상기 내시경이 상기 제 1 영역에 위치한다고 판단되는 동안, 제 1 민감도에 대한 설정 정보를 입력받고, 복수의 분석 알고리즘 중 상기 제 1 영역에 대응되는 제 1 분석 알고리즘을 결정하며, 상기 제 1 분석 알고리즘을 이용하여 상기 복수의 이미지 관련 제 1 이상 점수(abnormality score)를 획득하고, 상기 제 1 분석 알고리즘에 대해 상기 제 1 민감도를 매칭시키고, 상기 제 1 분석 알고리즘에 대해 미리 매칭된 제 1 민감도를 결정하고, 상기 제 1 민감도의 제 1 컷오프 점수와 상기 제 1 이상 점수를 비교하는 제어부; 및
    상기 제 1 컷오프 점수보다 상기 제 1 이상 점수가 높은 경우, 상기 제어부의 제어에 따라 상기 제 1 영역에 대한 추가 정보를 표시하는 디스플레이부; 를 포함하는 장치.

Images