KR20220136338A - 상황별 이미지 분석을 위한 시스템 및 방법 - Google Patents

Abstract

일 구현에서, 실시간 비디오 처리를 위해 컴퓨터 구현 시스템이 제공된다. 시스템은 명령어를 저장하도록 구성된 적어도 하나의 메모리 및 동작을 수행하기 위해 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로세서는 의료 이미지 시스템에 의해 생성된 실시간 비디오- 실시간 비디오는 복수의 이미지 프레임을 포함함 -를 수신하고, 의료 이미지 시스템과 사용자의 상호작용을 나타내는 상황 정보를 획득하도록 구성된다. 적어도 프로세서는 또한 복수의 이미지 프레임에서 적어도 하나의 대상을 검출하기 위해 대상 검출을 수행하고 복수의 이미지 프레임에서 적어도 하나의 대상에 대한 분류 정보를 생성하기 위해 분류를 수행하도록 구성된다. 또한, 적어도 하나의 프로세서는 대상 검출 및 분류 중 적어도 하나에 기초하여 수신된 실시간 비디오를 수정하기 위해 비디오 조작을 수행하도록 구성된다. 더욱이, 프로세서는 상황 정보에 기초하여 대상 검출, 분류, 및 비디오 조작 중 적어도 하나를 호출하도록 구성된다.

Description

상황별 이미지 분석을 위한 시스템 및 방법

관련 출원에 대한 상호 참조

본 출원은 2020년 2월 3일자로 출원된 미국 가출원 번호 62/969,643에 대한 우선권을 주장하며, 그 전체 내용은 본 출원에 참조로 포함된다.

기술 분야

본 개시는 일반적으로 상황별 이미지 분석을 위한 컴퓨터 구현 시스템 및 방법에 관한 것이다. 더 구체적으로, 그리고 제한 없이, 본 개시는 실시간 비디오를 처리하고 상황 정보에 기초하여 이미지 처리 동작을 수행하기 위한 컴퓨터 구현 시스템 및 방법에 관한 것이다. 본 출원에 개시된 시스템 및 방법은 정확한 이미지 처리 능력으로부터 이익을 얻는 의료 이미지 분석 및 시스템과 같은 다양한 응용 및 비전 시스템(vision systems)에서 사용될 수 있다.

이미지 분석 시스템에서 이미지에서 관심 대상을 검출하는 것이 종종 바람직하다. 관심 대상은 사람, 장소 또는 사물일 수 있다. 의료 이미지 분석 및 진단을 위한 시스템과 같은 일부 응용에서는 검출된 대상(예를 들어, 인체 조직의 또는 인체 조직 상의 형성물과 같은 이상(abnormality))의 위치 및 분류도 중요하다. 그러나, 현존하는 컴퓨터 구현 시스템 및 방법은 대상을 정확하게 검출하고/하거나 검출된 대상의 위치 또는 분류를 제공할 수 없는 것을 포함하여 다수의 결점을 가지고 있다. 또한, 현존하는 시스템 및 방법은 실시간 상황이나 이미지 디바이스의 사용 여부에 무관하게 및/또는 불필요하게 무분별한 이미지 처리 동작을 수행할 수 있다는 점에서 비효율적이다. 본 출원에 사용될 때, "실시간"은 즉시 발생하거나 처리하는 것을 의미한다.

현존하는 일부 의료 이미징 시스템은 단일 검출기 네트워크에 구축된다. 검출이 이루어지고 나면, 네트워크는 단순히 검출을 예를 들어 의사나 다른 보건 의료 전문가에게 출력한다. 그러나, 이러한 검출은 내시경 검사 등에서의 비-폴립(non-polyps)과 같은 위양성일 수 있다. 이러한 시스템은 위양성과 진양성을 구별하기 위한 별도의 네트워크를 제공하지 않는다.

더욱이, 신경망에 기초한 대상 검출기는 일반적으로 신경망에 의해 식별된 특징을 검출기로 공급하며, 검출기는 제2 신경망을 포함할 수 있다. 그러나, 이러한 네트워크는 특징 검출이, 검출기 부분만이 전문화되어 있는, 일반화된 네트워크에 의해 수행되기 때문에 종종 부정확하다.

실시간 응용을 위한 현존하는 의료 이미징 시스템은 또한 다른 단점을 가지고 있다. 예를 들어, 이러한 시스템은 종종 의사 또는 다른 사용자와 처리를 위해 비디오 프레임을 생성하는 의료 이미지 디바이스 사이의 실시간 상호작용 또는 사용 상황에 무관하게 동작하도록 설계된다.

더욱이, 실시간 응용을 위한 현존하는 의료 이미징 시스템은 시간 차원을 따라 대상 검출기에 의해 식별된 대상을 집성하기 위해 의사 또는 다른 사용자와 의료 이미지 디바이스 사이의 상호작용으로부터 유도된 상황 정보를 사용하지 않는다.

더욱이, 실시간 응용을 위한 현존하는 의료 이미징 시스템은 대상을 검출하거나, 검출된 대상을 분류하거나, 대상 특성을 출력하거나, 사용자의 이익을 위해 의료 디스플레이에 정보가 시각화되는 방식을 수정하는 것 같은 특정 작업을 수행할 수 있는 특정 신경망(들)을 활성화 또는 비활성화하기 위해 사용자와 의료 이미지 디바이스 사이의 상호작용에서 유도된 상황 정보를 사용하지 않는다.

앞서 설명한 내용을 고려하여, 본 발명자는 의료 이미지 분석 및 진단을 비롯하여, 이미지 분석을 위한 개선된 시스템 및 방법에 대한 필요성이 있음을 확인하였다. 또한, 대상을 정확하고 효율적으로 검출하고 분류 정보를 제공할 수 있는 개선된 의료 이미징 시스템이 필요하다. 또한, 상황 정보를 기초로 실시간 이미지 처리 동작을 수행할 수 있는 이미지 분석 시스템 및 방법이 필요하다.

앞서 설명한 내용을 고려하여, 본 개시의 실시예는 의료 이미지 시스템과 같은 이미지 디바이스로부터 실시간 비디오를 처리하기 위한 컴퓨터 구현 시스템 및 방법을 제공한다. 개시된 시스템 및 방법은 대상 검출 및 분류와 같은 이미지 처리 동작을 수행하도록 구성될 수 있다. 개시된 시스템 및 방법은 또한 상황 정보를 사용하여 이미지 디바이스와 사용자의 상호작용을 식별하고, 예를 들어 이미지 디바이스로부터 수신된 이미지 프레임을 처리하거나 상황 정보를 기초로 디스플레이에 정보가 시각화되는 방식을 수정하도록 훈련된 하나 이상의 신경망을 적용함으로써 식별된 상호작용에 기초하여 이미지 처리를 수행하도록 구성될 수 있다. 본 개시의 시스템 및 방법은 앞서 설명된 결점 및/또는 현존하는 시스템 및 기술의 다른 단점 중 하나 이상을 해결하는 것을 비롯하여 현존하는 시스템 및 기술에 비해 이점을 제공한다.

일부 실시예에서, 이미지 디바이스로부터 수신된 이미지 프레임은 인체 장기의 이미지 프레임을 포함할 수 있다. 예를 들어, 인체 장기는 위장 장기를 포함할 수 있다. 프레임은 내시경 검사, 위내시경, 대장 내시경, 소장 내시경, 복강경 또는 외과 내시경 중 적어도 하나 동안 사용되는 의료 이미지 디바이스의 이미지를 포함할 수 있다. 다양한 실시예에서, 이미지 프레임에 함유된 관심 대상은 인체 장기의 일부, 수술 기구 또는 이상일 수 있다. 이상은 인체 조직의 또는 인체 조직 상의 형성물, 한 유형의 세포에서 다른 유형의 세포로의 인체 조직의 변화, 및/또는 인체 조직이 예상되는 위치에서 인체 조직의 부재를 포함할 수 있다. 인체 조직의 또는 인체 조직 상의 형성물은 용종 병변 또는 비-용종 병변과 같은 병변을 포함할 수 있다. 결과적으로, 개시된 실시예는 임의의 단일 질병에 특이적이지 않고 오히려 일반적으로 적용될 수 있는 방식으로 의료 상황에서 이용될 수 있다.

일부 실시예에서, 상황 정보는 어떤 이미지 처리 동작(들)이 수행되어야 하는 지를 결정하는 데 사용될 수 있다. 예를 들어, 이미지 처리 동작(들)은 대상 검출기, 이미지 분류기 또는 이미지 유사성 평가기와 같은 특정 신경망(들)의 활성화 또는 비활성화를 포함할 수 있다. 추가적으로, 이미지 처리 동작(들)은 대상의 클래스 또는 대상의 특정 특징과 같은 검출된 대상에 대한 정보를 제공하도록 적응된 특정 신경망(들)의 활성화 또는 비활성화를 포함할 수 있다.

일부 실시예에서, 상황 정보는 이미지 디바이스와의 사용자 상호작용을 식별하는 데 사용될 수 있다. 예를 들어, 상황 정보는 사용자가 이미지 프레임에서 관심 대상을 식별하기 위해 이미지 디바이스와 상호작용하고 있음을 나타낼 수 있다. 이후에, 상황 정보는 사용자가 더 이상 관심 대상을 식별하기 위해 이미지 디바이스와 상호작용하지 않는다는 것을 나타낼 수 있다. 추가적인 예로서, 상황 정보는 사용자가 이미지 프레임에서 하나 이상의 검출된 대상을 검사하기 위해 이미지 디바이스와 상호작용하고 있음을 나타낼 수 있다. 이후에, 상황 정보는 사용자가 더 이상 이미지 프레임에서 하나 이상의 검출된 대상을 검사하기 위해 이미지 디바이스와 상호작용하지 않는다는 것을 나타낼 수 있다. 그러나, 상황 정보는 디스플레이 정보의 제시 또는 은닉, 비디오 기능 수행(예를 들어, 관심 대상을 함유하는 구역으로의 확대(zooming), 이미지 컬러 분포 변경 등), 캡처된 이미지 프레임의 메모리 디바이스로의 저장, 이미지 디바이스의 전원 켜기 또는 끄기 등과 같은 이미지 디바이스 또는 의료 이미지 시스템을 구비한 관련 장비와의 임의의 다른 사용자 상호작용을 식별하기 위해 사용될 수 있다는 것을 이해하여야 한다.

일부 실시예에서, 상황 정보는 시간 차원을 따라 다수의 이미지 프레임에 걸쳐 관심 대상의 집성을 수행할지 여부를 결정하는 데 사용될 수 있다. 예를 들어, 의사의 향후 검사를 위해 폴립과 같은 관심 대상을 함유하는 모든 이미지 프레임을 캡처하는 것이 바람직할 수 있다. 이러한 상황에서, 이미지 디바이스에 의해 캡처된 관심 대상을 함유하는 모든 이미지 프레임을 그룹화하는 것이 유리할 수 있다. 라벨, 타임스탬프, 위치, 이동 거리 등과 같은 정보는 이들 서로간을 구별할 수 있도록 이미지 프레임의 각각의 그룹과 관련될 수 있다. 이미지 프레임의 컬러 분포 변경(예를 들어, 녹색을 사용하여 제1 관심 대상을 나타내고 적색을 사용하여 제2 관심 대상을 나타냄), 영숫자 정보 또는 다른 문자를 이미지 프레임에 추가하는 것(예를 들어, "1"을 사용하여 제1 관심 대상을 나타내고 "2"를 사용하여 제2 관심 대상을 나타냄) 등 같은 관심 대상의 집성을 수행하기 위해 다른 방법이 사용될 수 있다.

상황 정보는 개시된 실시예에 따른 다양한 수단에 의해 생성될 수 있다. 예를 들어, 상황 정보는 시간 경과에 따라 2개 이상의 이미지 프레임에서 검출된 대상의 위치에 대한 loU(Intersection over Union) 값을 사용하여 생성될 수 있다. loU 값은 이미지 디바이스와 사용자의 상호작용(예를 들어, 사용자는 대상을 식별하기 위해 이미지 디바이스를 탐색 조작(navigating)하고 있음)의 상황을 결정하기 위해 임계값과 비교될 수 있다. 일부 실시예에서, 미리 결정된 수의 프레임 또는 시간에 걸쳐 임계값을 충족하는 loU 값은 이미지 디바이스와의 사용자 상호작용을 결정하는 데 필요한 지속성을 설정할 수 있다.

일부 실시예에서, 상황 정보는 시간 경과에 따른 2개 이상의 이미지 프레임에서 검출된 대상의 이미지 유사성 값 또는 다른 특정 이미지 특징을 사용하여 생성될 수 있다. 검출된 대상의 이미지 유사성 값 또는 다른 특정 이미지 특징은 임계값과 비교되어 이미지 디바이스와 사용자의 상호작용의 상황(예를 들어, 사용자가 대상을 식별하기 위해 이미지 디바이스를 탐색 조작하고 있음)을 결정할 수 있다. 일부 실시예에서, 미리 결정된 수의 프레임 또는 시간에 걸쳐 임계값을 충족하는 검출된 대상의 이미지 유사성 값 또는 다른 특정 이미지 특징은 이미지 디바이스와의 사용자 상호작용을 결정하는 데 필요한 지속성을 설정할 수 있다.

개시된 실시예는 또한 동일한 이미지 프레임에 동시에 존재하는 다수의 대상의 존재 또는 분석에 기초하여 상황 정보를 획득하도록 구현될 수 있다. 개시된 실시예는 또한 전체 이미지(즉, 식별된 대상만이 아님)의 분석에 기초하여 상황 정보를 획득하도록 구현될 수 있다. 일부 실시예에서, 상황 정보는 분류 정보에 기초하여 획득된다. 추가적으로 또는 대안적으로, 상황 정보는 사용자의 상호작용을 나타내는 이미지 디바이스에 의해 수신된 사용자 입력(예를 들어, 사용자가 이미지 디바이스를 초점 맞춤 또는 확대함으로써 식별된 대상을 검사하고 있음을 나타내는 입력)에 기초하여 생성될 수 있다. 이러한 실시예에서, 미리 결정된 수의 프레임 또는 시간에 걸친 사용자 입력의 지속성이 이미지 디바이스와의 사용자 상호작용을 결정하는 데 필요할 수 있다.

본 개시의 실시예는 상황 정보에 기초하여 이미지 처리를 수행하기 위한 컴퓨터 구현 시스템 및 방법을 포함한다. 예를 들어, 일부 실시예에서, 상황 정보가 사용자가 대상을 식별하기 위해 이미지 디바이스와 상호작용하고 있음을 나타낼 때 대상 검출이 호출될 수 있다. 결과적으로, 예를 들어 관심 대상이 존재하지 않거나 달리 사용자가 검출 프로세스 또는 하나 이상의 분류 프로세스를 시작할 준비가 되지 않은 경우 대상 검출이 수행될 가능성이 감소된다. 추가적인 예로서, 일부 실시예에서, 상황 정보가 사용자가 검출된 대상을 검사하기 위해 이미지 디바이스와 상호작용하고 있음을 나타낼 때 분류가 호출될 수 있다. 따라서, 예를 들어 관심 대상이 적절하게 프레이밍되기 전에 분류가 조기에 수행되거나 사용자가 관심 대상에 대한 분류 정보를 알고 싶어하지 않을 위험이 최소화된다.

추가적으로, 본 개시의 실시예는 의료 이미징 시스템과 같은 이미지 디바이스로부터 수신된 프레임을 처리하도록 훈련된 신경망을 적용하여 이미지 처리 동작을 수행하는 것을 포함한다. 이러한 방식으로, 개시된 실시예는 다양한 응용, 예컨대, 질병 특이적이지 않은 방식의 의료 비디오의 실시간으로 처리에 적응될 수 있다.

본 개시의 실시예는 또한 실시간 비디오(예컨대, 내시경 비디오 또는 다른 의료 이미지)를 이미지 처리로 인한 대상 검출 및 분류 정보와 함께 디스플레이하도록 구성된 시스템 및 방법을 포함한다. 본 개시의 실시예는 이미지 내의 관심 특징에 대한 의사의 주의를 유도하기 위해 도입된 이미지 수정과 함께 실시간 비디오(예컨대, 내시경 비디오 또는 기타 의료 이미지)를 디스플레이하도록 및/또는 관심 특징 또는 대상에 관련한 정보를 제공하도록(예를 들어, 이미지 프레임에서 관심 대상의 위치를 나타내는 경계를 포함하는 오버레이, 관심 대상의 분류 정보, 관심 대상 또는 이미지 프레임의 특정 관심 구역의 확대된 이미지 및/또는 수정된 이미지 컬러 분포) 구성된 시스템 및 방법을 더 포함한다. 이러한 정보는 사용자(예컨대, 의사 또는 기타 보건 의료 전문가)가 관찰할 수 있게 단일 디스플레이 디바이스에 함께 제시될 수 있다. 더욱이, 일부 실시예에서, 상황 정보에 기초하여 대응하는 이미지 처리 동작이 호출되는 시기에 따라 이러한 정보가 디스플레이될 수 있다. 따라서, 본 출원에 설명된 바와 같이, 본 개시의 실시예는 이러한 검출 및 분류 정보를 효율적으로 그리고 필요할 때 제공함으로써, 디스플레이가 불필요한 정보로 과밀화되는 것을 방지한다.

일 실시예에서, 실시간 비디오 처리를 위한 컴퓨터 구현 시스템은 명령어를 저장하도록 구성된 적어도 하나의 메모리, 및 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 의료 이미지 시스템에 의해 생성된 실시간 비디오를 수신하기 위한 명령어를 실행할 수 있으며, 실시간 비디오는 복수의 이미지 프레임을 포함한다. 의료 이미지 시스템에 의해 생성된 실시간 비디오를 수신하는 동안, 적어도 하나의 프로세서는 의료 이미지 시스템과 사용자의 상호작용을 나타내는 상황 정보를 획득하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 복수의 이미지 프레임에서 적어도 하나의 대상을 검출하기 위해 대상 검출을 수행하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 분류를 수행하여 복수의 이미지 프레임에서 적어도 하나의 검출된 대상에 대한 분류 정보를 생성하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 대상 검출 및 분류 중 적어도 하나에 기초하여 수신된 실시간 비디오를 수정하기 위해 이미지 수정을 수행하고, 비디오 디스플레이 디바이스 상에 이미지 수정이 적용된 실시간 비디오의 디스플레이를 생성하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 상황 정보에 기초하여 분류 및 대상 검출 중 적어도 하나를 호출하도록 추가로 구성될 수 있다.

일부 실시예에서, 대상 검출 및 분류 중 적어도 하나는 의료 이미지 시스템으로부터 수신된 프레임을 처리하도록 훈련된 적어도 하나의 신경망을 적용함으로써 수행될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 상황 정보가 사용자가 대상을 식별하기 위해 의료 이미지 시스템과 상호작용할 수 있음을 나타낼 때 대상 검출을 호출하도록 추가로 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 상황 정보가 사용자가 더 이상 대상을 식별하기 위해 의료 이미지 시스템과 상호작용하지 않을 수 있음을 나타낼 때 대상 검출을 비활성화하도록 추가로 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 상황 정보가 사용자가 복수의 이미지 프레임에서 적어도 하나의 대상을 검사하기 위해 의료 이미지 시스템과 상호작용할 수 있음을 나타낼 때 분류를 호출하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 상황 정보가 사용자가 더 이상 복수의 이미지 프레임에서 적어도 하나의 대상을 검사하기 위해 의료 이미지 시스템과 상호작용하지 않을 수 있음을 나타낼 때 분류를 비활성화하도록 추가로 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 상황 정보가 사용자가 적어도 하나의 대상을 함유하는 복수의 이미지 프레임 내의 영역에 관심이 있을 수 있음을 나타낼 때 대상 검출을 호출하고, 상황 정보가 사용자가 적어도 하나의 대상에 관심이 있을 수 있음을 나타낼 때 분류를 호출하도록 추가로 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 적어도 하나의 대상을 함유하는 2개 이상의 프레임의 집성을 수행하도록 추가로 구성될 수 있고, 그리고 적어도 하나의 프로세서는 상황 정보에 기초하여 집성을 호출하도록 추가로 구성될 수 있다. 일부 실시예에서, 이미지 수정은 적어도 하나의 검출된 대상의 위치를 나타내는 적어도 하나의 경계를 포함하는 오버레이, 적어도 하나의 검출된 대상에 대한 분류 정보, 적어도 하나의 검출된 대상의 확대된 이미지 또는 수정된 이미지 컬러 분포 중 적어도 하나를 포함한다.

일부 실시예에서, 적어도 하나의 프로세서는 시간 경과에 따른 2개 이상의 이미지 프레임에서 적어도 하나의 검출된 대상의 위치에 대한 loU(Intersection over Union) 값에 기초하여 상황 정보를 생성하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 2개 이상의 이미지 프레임에서 이미지 유사성 값에 기초하여 상황 정보를 생성하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 복수의 이미지 프레임에서 하나 이상의 대상의 검출 또는 분류에 기초하여 상황 정보를 생성하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 사용자로부터 의료 이미지 시스템에 의해 수신된 입력에 기초하여 상황 정보를 생성하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 분류 정보에 기초하여 상황 정보를 생성하도록 추가로 구성될 수 있다. 일부 실시예에서, 복수의 이미지 프레임은 위장 장기의 이미지 프레임을 포함할 수 있다. 일부 실시예에서, 프레임은 내시경 검사, 위내시경, 대장 내시경, 소장 내시경, 복강경 또는 외과 내시경 중 적어도 하나 동안 사용되는 의료 이미지 디바이스로부터의 이미지를 포함할 수 있다. 일부 실시예에서, 적어도 하나의 검출된 대상은 이상일 수 있다. 이상은 인체 조직의 또는 인체 조직 상의 형성물, 한 유형의 세포에서 다른 유형의 세포로의 인체 조직의 변화, 인체 조직이 예상되는 위치에서 인체 조직의 부재 또는 병변일 수 있다.

또 다른 실시예에서, 실시간 비디오 처리를 위한 방법이 제공된다. 방법은 의료 이미지 시스템에 의해 생성된 실시간 비디오를 수신하는 단계를 포함하고, 실시간 비디오는 복수의 이미지 프레임을 포함한다. 방법은 적어도 하나의 신경망을 제공하는 단계- 적어도 하나의 신경망은 의료 이미지 시스템으로부터 이미지 프레임을 처리하도록 훈련됨 - 및 의료 이미지 시스템과 사용자의 상호작용을 나타내는 상황 정보를 획득하는 단계를 더 포함한다. 방법은 상황 정보에 기초하여 상호작용을 식별하는 단계 및 적어도 하나의 훈련된 신경망을 적용하여 식별된 상호작용에 기초하여 복수의 이미지 프레임에 대한 실시간 처리를 수행하는 단계를 더 포함한다.

일부 실시예에서, 실시간 처리를 수행하는 단계는 복수의 이미지 프레임에서 적어도 하나의 대상을 검출하기 위한 대상 검출, 적어도 하나의 검출된 대상에 대한 분류 정보를 생성하기 위한 분류, 및 수신된 실시간 비디오를 수정하기 위한 이미지 수정 중 적어도 하나를 수행하는 단계를 포함한다.

일부 실시예에서, 식별된 상호작용이 사용자가 대상을 식별하도록 탐색 조작하기 위해 의료 이미지 시스템과 상호작용하는 것일 때 대상 검출이 호출된다. 일부 실시예에서, 상황 정보가 사용자가 더 이상 대상을 식별하도록 탐색 조작하기 위해 의료 이미지 시스템과 상호작용하지 않는다는 것을 나타낼 때 대상 검출이 비활성화된다.

일부 실시예에서, 식별된 상호작용이 사용자가 복수의 이미지 프레임에서 적어도 하나의 검출된 대상을 검사하기 위해 사용자가 의료 이미지 시스템과 상호작용하는 것일 때 분류가 호출된다. 일부 실시예에서, 상황 정보가 사용자가 더 이상 복수의 이미지 프레임에서 적어도 하나의 검출된 대상을 검사하기 위해 의료 이미지 시스템과 상호작용하지 않는다는 것을 나타낼 때 분류가 비활성화된다.

일부 실시예에서, 상황 정보가 사용자가 적어도 하나의 대상을 함유하는 복수의 이미지 프레임 내의 영역에 관심이 있음을 나타낼 때 대상 검출이 호출되고, 그리고 분류는 상황 정보가 사용자가 적어도 하나의 대상에 관심이 있음을 나타낼 때 호출된다.

일부 실시예에서, 대상 검출 및 분류 중 적어도 하나는 의료 이미지 시스템으로부터 수신된 프레임을 처리하도록 훈련된 적어도 하나의 신경망을 적용함으로써 수행된다.

일부 실시예에서, 방법은 상황 정보에 기초하여 적어도 하나의 대상을 함유하는 2개 이상의 프레임의 집성을 수행하는 단계를 더 포함한다. 일부 실시예에서, 이미지 수정은 적어도 하나의 검출된 대상의 위치를 나타내는 적어도 하나의 경계를 포함하는 오버레이, 적어도 하나의 검출된 대상에 대한 분류 정보, 적어도 하나의 검출된 대상의 확대된 이미지 또는 수정된 이미지 컬러 분포 중 적어도 하나를 포함한다.

복수의 이미지 프레임은 위장 장기와 같은 인체 장기의 이미지 프레임을 포함할 수 있다. 예로서, 프레임은 내시경 검사, 위내시경, 대장 내시경, 소장 내시경, 복강경 또는 외과 내시경 중 적어도 하나 동안 사용되는 의료 이미지 디바이스의 이미지를 포함할 수 있다.

본 개시의 일 실시예에 따르면, 적어도 하나의 검출된 대상은 이상이다. 이상은 인체 조직의 또는 인체 조직 상의 형성물, 한 유형의 세포에서 다른 유형의 세포로의 인체 조직의 변화, 인체 조직이 예상되는 위치에서 인체 조직의 부재 또는 병변일 수 있다.

본 개시의 추가적인 목적 및 이점은 다음의 상세한 설명에서 부분적으로 설명되고, 부분적으로는 이 설명으로부터 명백해지거나, 또는 본 개시의 실시에 의해 학습될 수 있을 것이다. 본 개시의 목적 및 이점은 첨부된 청구범위에서 특정하게 적시된 요소 및 조합에 의해 실현되고 달성될 것이다.

앞서 설명한 일반적인 설명 및 다음의 상세한 설명은 단지 예시적이고 설명적이며, 개시된 실시예를 제한하지 않는다는 것을 이해하여야 한다.

본 명세서의 일부를 구성하는 첨부 도면은 여러 실시예를 예시하고 설명과 함께 개시된 실시예의 원리 및 특징을 설명하는 역할을 한다.
도 1은 본 개시의 실시예에 따른, 비디오 피드 상의 비디오 및 오버레이 정보의 실시간 처리를 위한 예시적인 컴퓨터 구현 시스템의 개략도이다.
도 2a 및 도 2b는 본 개시의 실시예에 따른, 상황 정보를 사용하는 실시간 이미지 처리를 위한 예시적인 컴퓨터 구현 시스템의 개략도이다.
도 3은 본 개시의 실시예에 따른, 이미지 디바이스로부터 수신된 실시간 비디오를 처리하기 위한 예시적인 방법의 흐름도이다.
도 4는 본 개시의 실시예에 따른, 이미지 디바이스와 사용자의 상호작용을 나타내는 상황 정보에 기초하여 이미지 처리 동작을 호출하는 예시적인 방법의 흐름도이다.
도 5는 본 개시의 실시예에 따른, 이미지 디바이스로부터 실시간 비디오 피드에 대한 오버레이 정보를 생성하기 위한 예시적인 방법의 흐름도이다.
도 6은 본 개시의 실시예에 따른, 비디오의 대상 검출 및 관련 분류 정보를 위한 오버레이를 갖는 디스플레이의 예이다.
도 7a는 본 개시의 실시예에 따른, 2개의 이미지 프레임에서 검출된 대상에 대한 loU(Intersection over Union) 값을 결정하는 시각적 표현의 예이다.
도 7b는 본 개시의 실시예에 따른, 2개의 이미지 프레임에서 검출된 대상에 대한 loU(Intersection over Union) 값을 결정하는 시각적 표현의 다른 예이다.
도 8은 본 개시의 실시예에 따라 실시간 이미지 처리를 위한 다른 예시적인 방법의 흐름도이다.

본 개시의 개시된 실시예는 일반적으로 의료 이미지 시스템과 같은 이미지 디바이스로부터 실시간 비디오를 처리하기 위한 컴퓨터 구현 시스템 및 방법에 관한 것이다. 일부 실시예에서, 개시된 시스템 및 방법은 대상 검출 및 분류와 같은 이미지 처리 동작을 수행하도록 구성될 수 있다. 본 출원에 개시된 바와 같이, 시스템 및 방법은 또한 상황 정보를 사용하여 이미지 디바이스와 사용자의 상호작용을 식별하고 식별된 상호작용에 기초하여 이미지 처리를 수행하도록 구성될 수 있다. 또한, 본 개시의 실시예는 이미지 디바이스로부터 수신된 이미지 프레임을 처리하도록 훈련된 하나 이상의 신경망과 같은 인공 지능으로 구현될 수 있다. 본 발명의 이러한 특징 및 다른 특징은 본 출원에 추가로 개시되어 있다.

본 개시로부터 이해할 수 있는 바와 같이, 개시된 실시예는 예시의 목적으로 제공되고 다양한 응용 및 비전 시스템에서 구현 및 사용될 수 있다. 예를 들어, 본 개시의 실시예는 실시간 이미지 처리 동작을 포함하는 이미지 처리를 수행하는 의료 이미지 분석 시스템 및 다른 유형의 시스템에 대해 구현될 수 있다. 본 개시의 실시예는 의료 이미지 분석 및 내시경 검사를 일반적으로 참조하여 본 출원에 설명되지만, 실시예는 내시경 검사, 위내시경, 대장 내시경, 소장 내시경, 복강경, 또는 외과 내시경과 같은 다른 의료 이미지 절차에 적용될 수 있음을 이해할 것이다. 또한, 본 개시의 실시예는 LIDAR, 감시, 자동 조종 및 기타 이미징 시스템을 위한 또는 이를 포함하는 것들과 같은 다른 환경 및 비전 시스템에 대해 구현될 수 있다.

본 개시의 양태에 따르면, 상황 정보를 사용하여 사용자 상호작용을 식별하고 식별된 상호작용에 기초하여 이미지 처리를 수행하기 위한 컴퓨터 구현 시스템이 제공된다. 시스템은 명령어를 저장하도록 구성된 적어도 하나의 메모리(예를 들어, ROM, RAM, 로컬 메모리, 네트워크 메모리 등) 및 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다(예를 들어, 도 1 및 도 2 참조). 적어도 하나의 프로세서는 이미지 디바이스에 의해 생성된 실시간 비디오를 수신할 수 있으며, 실시간 비디오는 복수의 이미지 프레임을 나타낸다. 예를 들어, 적어도 하나의 프로세서는 내시경 검사, 위내시경, 대장 내시경 또는 소장 내시경 절차 동안 사용되는 것과 같은 의료 이미징 시스템으로부터 실시간 비디오를 수신할 수 있다. 추가적으로, 또는 대안적으로, 이미지 프레임은 위장 장기 또는 다른 장기 또는 인체 조직 영역의 이미지와 같은 의료 이미지를 포함할 수 있다.

본 출원에 사용될 때, 용어 "이미지"는 장면 또는 시야의 임의의 디지털 표현을 의미한다. 디지털 표현은 JPEG(Joint Photographic Experts Group) 형식, GIF(Graphics Interchange Format), 비트맵 형식, SVG(Scalable Vector Graphics) 형식, EPS(Encapsulated PostScript) 형식 등과 같은 임의의 적절한 형식으로 인코딩될 수 있다. 유사하게, "비디오"라는 용어는 순차적인 복수의 이미지로 구성된 관심 영역 또는 장면의 임의의 디지털 표현을 의미한다. 디지털 표현은 MPEG(Moving Picture Experts Group) 형식, 플래시 비디오 형식, AVI(Audio Video Interleave) 형식 등과 같은 임의의 적절한 형식으로 인코딩될 수 있다. 일부 실시예에서, 이미지의 시퀀스는 오디오와 쌍을 이룰 수 있다.

이미지 프레임은 관심 특징(즉, 이상 또는 관심 대상)의 표현을 포함할 수 있다. 예를 들어, 관심 특징은 인체 조직의 또는 인체 조직 상의 이상을 포함할 수 있다. 일부 실시예에서, 관심 특징은 차량, 사람 또는 다른 개체와 같은 대상을 포함할 수 있다.

본 개시에 따르면, "이상"은 인체 조직의 또는 인체 조직 상의 형성물, 한 유형의 세포에서 다른 유형의 세포로의 인체 조직의 변화, 및/또는 인체 조직이 예상되는 위치에서 인체 조직의 부재를 포함할 수 있다. 예를 들어, 종양 또는 기타 조직 성장은 예상보다 더 많은 세포가 존재하기 때문에 이상을 포함할 수 있다. 유사하게, 멍이나 세포 유형의 다른 변화는 혈액 세포가 예상 위치 외부의 위치(즉, 모세혈관 외부)에 존재하기 때문에 이상을 포함할 수 있다. 유사하게, 인체 조직의 함요(depression)는 세포가 예상 위치에 존재하지 않아 함요를 초래하기 때문에 이상을 포함할 수 있다.

일부 실시예에서, 이상은 병변을 포함할 수 있다. 병변은 위장 점막의 병변을 포함할 수 있다. 병변은 조직학적으로 분류(예를 들어, NICE(Narrow-Band Imaging International Colorectal Endoscopic) 또는 비엔나 분류에 따라), 형태학적으로 분류(예를 들어, 파리 분류에 따라) 및/또는 구조적으로 분류(예를 들어, 톱니형 또는 톱니형 아님)될 수 있다. 파리 분류에는 용종 및 비-용종 병변이 포함된다. 용종 병변은 돌출, 유경성 및 돌출 또는 고착 병변을 포함할 수 있다. 비-용종 병변은 표면 융기, 평탄, 표면 얕은 함요 또는 함몰 병변을 포함할 수 있다.

검출된 이상과 관련하여, 톱니형 병변은 고착 톱니형 선종(SSA); 전통적인 톱니형 선종(TSA); 과형성 폴립(HP); 섬유모세포 폴립(FP); 또는 혼합 폴립(MP)을 포함할 수 있다. NICE 분류 시스템에 따르면 이상은 다음과 같이 세 가지 유형으로 나누어진다: (유형 1) 고착 톱니형 폴립 또는 과형성 폴립; (유형 2) 전통적 선종; 및 (유형 3) 깊은 점막하 침윤을 갖는 암. 비엔나 분류에 따르면 이상은 다음과 같이 5가지 범주로 나누어진다: (범주 1) 신생물/이형성증에 대해 음성; (범주 2) 신생물/이형성증에 대해 불명; (범주 3) 비-침습성 저등급 신생물(저등급 선종/이형성증); (범주 4) 고등급 선종/이형성증, 비-침습성 암종(제자리 암종), 또는 침습성 암종의 의심과 같은 점막 고등급 신생물; 및 (범주 5) 침습성 신생물, 점막내 암종, 점막하 암종 등.

시스템의 프로세서(들)는 하나 이상의 이미지 프로세서를 포함할 수 있다. 이미지 프로세서는 실시간 비디오를 처리하고 대상 검출 및 분류와 같은 이미지 조작(들)을 수행하도록 훈련된 하나 이상의 신경망으로 구현될 수 있다. 일부 실시예에서, 프로세서(들)는 하나 이상의 CPU 또는 서버를 포함한다. 본 개시의 일 양태에 따르면, 프로세서(들)는 또한 사용자와 이미지 디바이스의 상호작용을 나타내는 상황 정보를 획득할 수 있다. 일부 실시예에서, 상황 정보는 시간 경과에 따른 실시간 비디오의 2개 이상의 이미지 프레임을 분석함으로써 프로세서(들)에 의해 생성될 수 있다. 예를 들어, 상황 정보는 시간 경과에 따른 2개 이상의 이미지 프레임에서 검출된 대상의 위치에 대한 loU(Intersection over Union) 값으로부터 생성될 수 있다. 일부 실시예에서, loU 값은 이미지 디바이스와 사용자의 상호작용의 상황(예를 들어, 사용자는 대상을 식별하기 위해 이미지 디바이스를 탐색 조작하고 있음)을 결정하기 위해 임계값과 비교될 수 있다. 또한, 일부 실시예에서, 미리 결정된 수의 프레임 또는 시간에 걸쳐 임계값을 충족하는 loU 값의 지속성이 이미지 디바이스와의 사용자 상호작용을 결정하는 데 필요할 수 있다. 프로세서(들)는 또한 전체 이미지(즉, 식별된 대상만이 아님)의 분석에 기초하여 상황 정보를 획득하도록 구현될 수 있다. 일부 실시예에서, 상황 정보는 분류 정보에 기초하여 획득된다.

추가적으로 또는 대안적으로, 상황 정보는 사용자의 상호작용을 나타내는 이미지 디바이스에 의해 수신된 사용자 입력(예를 들어, 사용자가 이미지 디바이스를 초점 맞춤 또는 확대함으로써 식별된 대상을 검사하고 있음을 나타내는 입력)에 기초하여 생성될 수 있다. 이러한 실시예에서, 이미지 디바이스는 (예를 들어, 초점 또는 확대 버튼을 가압함으로써) 이미지 디바이스에 의해 수신된 사용자 입력을 나타내는 신호(들)를 프로세서(들)에 제공할 수 있다. 일부 실시예에서, 미리 결정된 수의 프레임 또는 시간에 걸친 사용자 입력의 지속성이 이미지 디바이스와의 사용자 상호작용을 결정하는 데 필요할 수 있다.

시스템의 프로세서(들)는 상황 정보에 기초하여 사용자 상호작용을 식별할 수 있다. 예를 들어, loU 방법을 사용하는 실시예에서, 2개의 연속적인 이미지 프레임 사이의 0.5를 초과하는(예를 들어, 약 0.6 또는 0.7 이상, 예컨대 0.8 또는 0.9) loU 값은 사용자가 관심 대상을 검사하고 있음을 식별하는 데 사용될 수 있다. 대조적으로, 0.5 미만(예를 들어, 약 0.4 이하)의 이들 사이의 loU 값은 사용자가 이미지 디바이스를 탐색 조작하거나 관심 대상으로부터 멀어지게 이동시키는 것을 식별하는 데 사용될 수 있다. 어느 경우든, 미리 결정된 수의 프레임 또는 시간에 걸쳐 loU 값(임계값 초과 또는 미만)의 지속성이 이미지 디바이스와의 사용자 상호작용을 결정하는 데 필요할 수 있다.

추가적으로 또는 대안적으로, 상황 정보는 이미지 디바이스에 대한 사용자 입력에 기초하여 획득될 수 있다. 예를 들어, 사용자가 이미지 디바이스에서 하나 이상의 버튼을 가압하는 것은 사용자가 관심 대상에 대한 클래스 정보와 같은 분류 정보를 알고 싶어함을 나타내는 상황 정보를 제공할 수 있다. 사용자가 관심 대상에 대한 더 많은 정보를 알고 싶어함을 나타내는 사용자 입력의 예는 초점 맞춤 동작, 확대 동작, 안정화 동작, 조명 제어 동작 등을 포함한다. 추가적인 예로서, 다른 사용자 입력은 사용자가 대상을 탐색 조작하고 식별하기를 원한다는 것을 나타낼 수 있다. 추가적인 예로서, 의료 이미지 디바이스의 경우, 사용자는 관심 대상을 식별하기 위해 시야를 탐색 조작하고 이동하도록 디바이스를 제어할 수 있다. 상기 실시예에서, 미리 결정된 수의 프레임 또는 시간에 걸친 사용자 입력의 지속성이 이미지 디바이스와의 사용자 상호작용을 결정하는 데 필요할 수 있다.

일부 실시예에서, 시스템의 프로세서(들)는 획득된 상황 정보 및 이미지 디바이스와의 결정된 사용자 상호작용에 기초하여 복수의 이미지 프레임에 대한 이미지 처리를 수행할 수 있다. 일부 실시예에서, 이미지 처리는 이미지 디바이스로부터 수신된 프레임을 처리하도록 훈련된 적어도 하나의 신경망(예를 들어, 적대적 네트워크)을 적용함으로써 수행될 수 있다. 예를 들어, 신경망(들)은 이미지 프레임을 입력으로 받아들이고 관심 대상의 위치 및/또는 분류 정보의 표시자를 출력하도록 구성된 하나 이상의 계층을 포함할 수 있다. 일부 실시예에서, 이미지 처리는 컨볼루션 신경망을 적용하여 수행될 수 있다.

본 개시의 실시예에 따르면, 신경망은 네트워크의 하나 이상의 노드의 가중치를 조절하고/하거나 네트워크의 하나 이상의 노드의 활성화(또는 전달) 함수를 조절함으로써 훈련될 수 있다. 예를 들어, 신경망의 가중치는 네트워크와 관련된 손실 함수를 최소화하도록 조절될 수 있다. 일부 실시예에서, 손실 함수는 제곱 손실 함수, 힌지 손실 함수, 로지스틱 손실 함수, 교차 엔트로피 손실 함수, 또는 임의의 다른 적절한 손실 함수 또는 손실 함수들의 조합을 포함할 수 있다. 일부 실시예에서, 신경망의 활성화(또는 전달) 함수는 노드(들)의 하나 이상의 모델과 노드(들)에 대한 입력 사이의 적합성을 개선하도록 수정될 수 있다. 예를 들어, 프로세서(들)는 노드(들)와 관련된 다항식 함수의 거듭제곱을 증가 또는 감소시킬 수 있거나, 관련된 함수를 한 유형에서 다른 유형으로 변경할 수 있거나(예를 들어, 다항식에서 지수 함수로, 로그 함수에서 다항식으로 등) 또는 노드(들)의 모델(들)에 대한 임의의 다른 조절을 수행한다.

일부 실시예에서, 복수의 이미지 프레임을 처리하는 것은 복수의 이미지 프레임에서 적어도 하나의 대상을 검출하기 위해 대상 검출을 수행하는 것을 포함할 수 있다. 예를 들어, 이미지 프레임 내의 대상이 비-인체 조직을 포함하는 경우, 적어도 하나의 프로세서는 (예를 들어, 텍스처, 컬러, 대비 등과 같은 특성에 기초하여) 대상을 식별할 수 있다.

일부 실시예에서, 복수의 이미지 프레임을 처리하는 것은 복수의 이미지 프레임에서 적어도 하나의 검출된 대상에 대한 분류 정보를 생성하기 위해 분류를 수행하는 것을 포함할 수 있다. 예를 들어, 검출된 대상이 병변을 포함하는 경우, 적어도 하나의 프로세서는 병변을 하나 이상의 유형(예를 들어, 암성 또는 비-암성 등)으로 분류할 수 있다. 그러나, 개시된 실시예는 대상 검출기에 의해 식별된 대상에 대한 분류를 수행하는 것으로 제한되지 않는다. 예를 들어, 이미지에서 대상을 먼저 검출하지 않고 이미지에 대해 분류가 수행될 수 있다. 추가적으로, 관심 대상을 함유할 가능성이 있는 이미지의 세그먼트 또는 구역(예를 들어, RPN(Region Proposal Network), FRCN(Fast Region-Based Convolutional Neural Network) 등과 같은 영역 제안 알고리즘에 의해 식별됨)에 대해 분류가 수행될 수 있다.

일부 실시예에서, 복수의 이미지 프레임을 처리하는 단계는 2개 이상의 이미지 프레임 또는 그 일부 사이의 이미지 유사성 값 또는 다른 특정 이미지 특징을 결정하는 단계를 포함할 수 있다. 예를 들어, 이미지 유사성 값은 복수의 이미지 프레임에서 하나 이상의 대상의 움직임, 복수의 이미지 프레임에서 하나 이상의 대상 사이의 물리적 유사성, 2개 이상의 전체 이미지 프레임 또는 그 일부 사이의 유사성, 또는 2개 이상의 이미지 프레임 사이의 임의의 다른 특징, 특성 또는 정보에 기초하여 생성될 수 있다. 일부 실시예에서, 이미지 유사성 값은 대상 검출, 분류, 및/또는 시스템에 의해 수신, 캡처 또는 계산된 임의의 다른 정보의 이력 데이터에 기초하여 결정될 수 있다. 예를 들어, 이미지 유사성 값은 시간 경과에 따른 2개 이상의 이미지 프레임에서 검출된 대상의 위치에 대한 loU(Intersection over Union) 값으로부터 생성될 수 있다. 또한, 검출된 대상이 이전에 검출된 대상과 유사한지 여부에 기초하여 이미지 유사성 값이 생성될 수 있다. 또한, 적어도 하나의 대상이 사용자가 이전에 관심을 보였던 분류의 일부인지 여부에 기초하여 이미지 유사성 값이 생성될 수 있다. 추가적으로, 이미지 유사성 값은 사용자가 이전에 수행한 행동(예를 들어, 프레임 안정화, 대상에 대한 초점 맞춤, 또는 이미지 디바이스와의 임의의 다른 상호작용)을 수행하고 있는지 여부에 기초하여 생성될 수 있다. 이러한 방식으로, 시스템은 사용자 선호도를 인식하도록 학습할 수 있으며, 이에 따라 보다 맞춤화되고 즐거운 사용자 경험을 이끌어 낼 수 있다. 앞서 설명한 바로부터 이해할 수 있는 바와 같이, 개시된 실시예는 임의의 특정 유형의 유사성 값 또는 이를 생성하는 프로세스에 제한되지 않으며, 오히려 시간 경과에 따른 정보의 집성, 시간 경과에 따른 정보 통합, 시간 경과에 따른 정보 평균화 및/또는 데이터(예를 들어, 이미지 데이터)를 처리하거나 조작하기 위한 임의의 다른 방법을 수반하는 프로세스를 비롯하여 2개 이상의 이미지 프레임 또는 그 일부 사이의 유사성 값을 결정하는 임의의 적절한 프로세스와 함께 사용될 수 있다.

일부 실시예에서, 복수의 이미지 프레임에서 적어도 하나의 대상에 대한 대상 검출, 분류, 및/또는 유사성 값 생성은 시스템에 의해 수신, 캡처 또는 생성된 정보에 기초하여 제어될 수 있다. 예를 들어, 대상 검출, 분류 및/또는 유사성 값은 상황 정보에 기초하여 호출되거나 비활성화될 수 있다(예를 들어, 대상 검출은 상황 정보가 사용자가 대상을 식별하기 위해 이미지 디바이스와 상호작용하고 있음을 나타낼 때 호출될 수 있고, 및/또는 분류는 상황 정보가 사용자가 검출된 대상을 검사하기 위해 이미지 디바이스와 상호작용하고 있음을 나타낼 때 호출될 수 있다). 예를 들어, 상황 정보가 사용자가 하나 이상의 이미지 프레임 또는 그 일부의 영역에 관심이 있음을 나타낼 때, 대상 검출은 관심 영역의 모든 대상을 검출하기 위해 호출될 수 있다. 이후에, 상황 정보가 사용자가 관심 영역의 하나 이상의 특정 대상(들)에 관심이 있음을 나타낼 때, 분류는 관심 대상(들)에 대한 분류 정보를 생성하기 위해 호출될 수 있다. 이러한 방식으로, 시스템은 실시간 또는 거의 실시간으로 사용자에게 관심 있는 정보를 지속적으로 제공할 수 있다. 또한, 일부 실시예에서, 대상 검출, 분류 및/또는 유사성 값 생성 중 적어도 하나는 지속적으로 활성 상태일 수 있다. 예를 들어, 대상 검출은 복수의 프레임에서 하나 이상의 관심 대상을 검출하기 위해 지속적으로 수행될 수 있고, 결과 출력은 시스템의 다른 프로세스(예를 들어, 분류 및/또는 유사성 값 생성, 상황 정보 생성, 또는 시스템의 임의의 다른 기능)에서 사용될 수 있다. 지속적인 활성화는 시스템에 의해 자동으로(예를 들어, 전원 켜짐 시), 사용자의 입력(예를 들어, 버튼을 가압함)의 결과로 또는 그 조합으로 제어될 수 있다.

본 출원에 개시된 바와 같이, 시스템의 프로세서(들)는 비디오 디스플레이 디바이스 상에 복수의 이미지 프레임과 함께 디스플레이하기 위해 오버레이를 생성할 수 있다. 선택적으로, 복수의 이미지 프레임에서 대상이 검출되지 않으면, 오버레이는 대상이 검출되지 않았음을 나타내는 널(null) 표시자 또는 기타 표시자를 포함할 수 있다.

오버레이는 복수의 이미지 프레임에서 적어도 하나의 검출된 대상의 위치를 나타내는 경계를 포함할 수 있다. 예를 들어, 적어도 하나의 검출된 대상의 위치가 지점을 포함하는 실시예에서, 오버레이는 지점 상에 배치된 원, 별 또는 임의의 다른 형상을 포함할 수 있다. 추가적으로, 위치가 구역을 포함하는 실시예에서, 오버레이는 구역 주변의 경계를 포함할 수 있다. 일부 실시예에서, 형상 또는 경계는 애니메이션화될 수 있다. 따라서, 복수의 프레임에 대해 형상 또는 경계가 생성되어 프레임 전체에 걸쳐 검출된 대상의 위치를 추적할 뿐만 아니라 프레임이 순서대로 제시될 때 애니메이션화되어 나타날 수 있다.

일부 실시예에서, 오버레이는 비디오 피드의 적어도 하나의 검출된 대상에 대한 분류 정보와 같은 분류 정보와 함께 디스플레이될 수 있다. 예를 들어, NICE 분류 시스템을 사용하는 실시예에서, 오버레이는 "유형 1", "유형 2", "유형 3", "폴립 없음" 또는 "불분명" 중 하나일 수 있는 라벨을 포함할 수 있다. 오버레이는 또한 신뢰도 점수(예를 들어, "90%") 등과 같은 정보를 포함할 수 있다. 일부 실시예에서 오버레이의 컬러, 형상, 패턴 또는 기타 양태는 분류에 따라 달라질 수 있다. 또한, 음향 및/또는 진동 표시자를 제공하는 실시예에서, 음향 및/또는 진동의 지속기간, 주파수 및/또는 진폭은 대상이 검출되었는지 여부 또는 분류에 따라 달라질 수 있다.

본 개시에 따르면, 시스템 프로세서(들)는 이미지 디바이스로부터 실시간 비디오를 수신하고 오버레이를 함유하는 비디오를 실시간으로 디스플레이 디바이스에 출력할 수 있다. 이미지 디바이스로부터 비디오를 수신하고 오버레이를 갖는 비디오를 디스플레이 디바이스에 출력하기 위한 적절한 실시예의 예시적인 개시는 양자 모두가 2018년 6월 13일자로 출원된 미국 출원 번호 제16/008,006호 및 제16/008,015호에 설명되어 있다. 이들 출원은 본 출원에 명시적으로 포함된다.

일부 실시예에서, 하나 이상의 신경망을 포함하는 인공 지능(AI) 시스템이 이미지 디바이스와 상호작용하는 동안 의사 또는 다른 의료 전문가의 거동을 결정하기 위해 제공될 수 있다. AI 시스템을 훈련하기 위해 몇 가지 가능한 방법을 사용할 수 있다. 일 실시예에서, 비디오 프레임은 예를 들어 작업-장기-질병의 특정 조합에 따라 그룹화될 수 있다. 예를 들어, 일련의 비디오 프레임은 선종의 결장에서의 검출 또는 바렛 증후군의 식도에서의 특성화를 위해 수집될 수 있다. 이러한 비디오 프레임에서 동일한 작업을 수행하는 다른 의사의 거동은 시스템에 의해 분석된 다차원 도메인에서 일부 공통된 특징을 가질 수 있다. 적절하게 훈련된 경우, 유사한 비디오 프레임을 제공받은 AI 시스템은 이러한 비디오 프레임에서 의사가 주어진 작업을 수행하고 있음을 주어진 정확도로 식별하는 것을 가능하게 할 수 있다. 결과적으로, 시스템은 고성능으로 비디오 프레임을 분석하도록 훈련된 적절한 인공 지능 하위 알고리즘(들)을 활성화하여 화면 상의 정보로 의사를 돕는 것을 가능하게 할 수 있다.

다른 실시예에서, 컬러의 변화, 속력, 대비, 움직임 속도, 광학 유동, 엔트로피, 바이너리 패턴, 텍스처 등 같은 이미지 특징을 분석하는, 시공간 도메인에서 이미지의 기본 특징에 대한 컴퓨터 비전 분석으로 유사한 결과가 획득될 수 있다.

본 개시에서, 실시예는 대장 내시경에서의 폴립 검출 및 특성화에 관련하여 설명된다. 전통적인 대장 내시경 동안, 비디오 카메라를 함유하는 유연한 튜브가 항문을 통과한다. 주요 목적은 대장암의 전구체를 나타낼 수 있는 작은 병변(폴립)을 식별하고, 가능하다면, 제거하기 위해 그 전체 길이의 결장을 검사하는 것이다. 의사 또는 다른 사용자는 유연한 튜브를 이동시켜 결장을 통해 탐색 조작할 수 있으면서 동시에 결장의 벽을 검사하여 잠재적 병변의 존재를 지속적으로 검색(검출)하여 할 수 있다. 의사가 폴립일 가능성이 있는 이미지의 특정 영역에 주의를 기울일 때마다, 의사는 탐색 조작 방법을 변경하여 움직임 속도를 감소시키고 의심 구역을 확대하기를 시도할 수 있다. 일단 의심 병변의 성격에 대한 판정(특성화)이 내려지면, 적절한 행동이 뒤따를 수 있다. 의사는 암의 잠재적인 전구체라고 고려되는 경우 병변의 현장 제거를 수행할 수 있거나, 그렇지 않으면, 검출을 위한 탐색 조작을 재개할 수 있다.

폴립 검출을 목적으로 훈련된 인공 지능 시스템 및 알고리즘은 검출 페이즈 동안 유용할 수 있지만, 수술 동안과 같은 다른 순간에는 방해가 될 수 있다. 유사하게, 잠재적 병변을 선종 또는 비-선종으로 특성화하도록 훈련된 인공 지능 알고리즘은 특성화 페이즈 동안은 유의미하지만 검출 페이즈 동안은 필요하지 않다. 따라서, 본 발명자는 검출 페이즈 동안에만 검출을 위한 인공 지능 시스템 또는 알고리즘을 활성화하고 특성화 페이즈 동안에만 특성화를 위한 인공 지능 시스템 또는 알고리즘을 활성화하는 것이 바람직하다는 것을 발견하였다.

이제, 도 1을 참조하면, 본 개시의 실시예에 따른, 비디오 피드 상의 비디오 및 오버레이 정보의 실시간 처리를 위한 예시적인 컴퓨터 구현 시스템(100)의 개략도가 제공된다. 도 1에 도시된 바와 같이, 시스템(100)은 이미지 디바이스(103)를 제어하는 조작자(101)를 포함한다. 비디오 피드가 의료 비디오를 포함하는 실시예에서, 조작자(101)는 의사 또는 다른 보건 의료 전문가를 포함할 수 있다. 이미지 디바이스(103)는 X선 기계, 컴퓨터 단층 촬영(CT) 기계, 자기 공명 영상(MRI) 기계, 내시경 기계, 또는 인체 또는 그 일부의 비디오 또는 하나 이상의 이미지를 생성하는 기타 의료 이미징 디바이스 같은 의료 이미징 디바이스를 포함할 수 있다. 조작자(101)는 이미지 디바이스(103)의 캡처 레이트 및/또는 예를 들어 인체를 통한 또는 인체에 대한 이미지 디바이스(103)의 움직임을 제어함으로써 이미지 디바이스(103)를 제어할 수 있다. 일부 실시예에서, 이미지 디바이스(103)는 X선 기계와 같은 외부 이미징 디바이스 또는 내시경 디바이스와 같은 인체의 공동을 통해 삽입된 이미징 디바이스 대신에 Pill-Cam™ 디바이스 또는 캡슐 내시경 디바이스의 다른 형태를 포함할 수 있다.

도 1에 추가로 도시된 바와 같이, 이미지 디바이스(103)는 캡처된 비디오를 복수의 이미지 프레임으로서 오버레이 디바이스(105)에 송신할 수 있다. 오버레이 디바이스(105)는 본 출원에 설명된 바와 같이 비디오를 처리하기 위한 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 프로세서는 오버레이 디바이스(105)의 일부가 아닌 별개의 구성요소(들)(도시되지 않음)로서 구현될 수 있다. 이러한 실시예에서, 프로세서(들)는 이미지 디바이스(103)로부터 복수의 이미지 프레임을 수신하고 오버레이 디바이스(105)와 통신하여 하나 이상의 오버레이를 생성할 목적으로 제어 또는 정보 신호를 전달할 수 있다. 또한, 일부 실시예에서, 조작자(101)는 예를 들어 오버레이 디바이스(105)의 대상 검출기(도시되지 않음)의 감도를 제어함으로써 이미지 디바이스(103)에 더하여 오버레이 디바이스(105)를 제어할 수 있다.

도 1에 도시된 바와 같이, 오버레이 디바이스(105)는 이미지 디바이스(103)로부터 수신된 비디오를 증강한 다음 디스플레이 디바이스(107)에 증강된 비디오를 송신할 수 있다. 일부 실시예에서, 증강은 본 출원에 설명된 바와 같이 비디오에 대한 하나 이상의 오버레이를 제공하는 것을 포함할 수 있다. 도 1에 추가로 도시된 바와 같이, 오버레이 디바이스(105)는 이미지 디바이스(103)로부터 디스플레이 디바이스(107)로 직접 비디오를 중계하도록 구성될 수 있다. 예를 들어, 오버레이 디바이스(105)는 생성될 증강 또는 오버레이가 없을 때와 같은 미리 결정된 조건 하에서 직접 중계를 수행할 수 있다. 추가적으로 또는 대안적으로, 오버레이 디바이스(105)는 조작자(101)가 오버레이 디바이스(105)에 그렇게 하라고 커맨드를 입력하면 직접 중계를 수행할 수 있다. 커맨드는 오버레이 디바이스(105)에 포함된 하나 이상의 버튼을 통해 및/또는 키보드 등과 같은 입력 디바이스를 통해 수신될 수 있다. 비디오 수정 또는 하나 이상의 오버레이(들)가 있는 경우에, 오버레이 디바이스(105)는 디스플레이 디바이스에 전송할 수정된 비디오 스트림을 생성할 수 있다. 수정된 비디오는 디스플레이 디바이스(107)를 통해 조작자에게 디스플레이될 오버레이 및/또는 분류 정보가 있는 원본 이미지 프레임을 포함할 수 있다. 디스플레이 디바이스(107)는 비디오 또는 수정된 비디오를 디스플레이하기 위한 임의의 적절한 디스플레이 또는 유사한 하드웨어를 포함할 수 있다. 다른 유형의 비디오 수정(예를 들어, 적어도 하나의 대상의 확대된 이미지, 수정된 이미지 컬러 분포 등)이 본 출원에 설명된다.

도 2a 및 도 2b는 본 개시의 실시예에 따른, 상황 정보를 사용하는 실시간 이미지 처리를 위한 예시적인 컴퓨터 구현 시스템(각각 200a 및 200b)의 개략도이다. 도 2a 및 도 2b는 개시된 실시예와 일치하는, 예시적인 컴퓨터 구현 시스템(각각 200a 및 200b)의 요소의 예시적인 구성을 예시한다. 다른 구성이 구현될 수 있고 구성요소가 본 개시 및 본 출원의 다양한 실시예를 고려하여 추가, 제거 또는 재배열될 수 있음을 이해하여야 한다.

도 2a 및 도 2b에서, 하나 이상의 이미지 프로세서(들)(230a 및 230b)가 제공될 수 있다. 이미지 프로세서(230a, 230b)는 이미지 디바이스(각각 210a, 210b)에서 취득한 이미지 프레임을 처리할 수 있다. 이미지 프로세서(230a, 230b)는 이미지 프레임에서 적어도 하나의 관심 대상을 검출하기 위한 대상 검출기(각각 240a, 240b) 및 적어도 하나의 관심 대상에 대한 분류 정보를 생성하기 위한 분류기(각각 250a, 250b)을 포함할 수 있다. 일부 실시예에서, 대상 검출기(240a 및 240b) 및 분류기(250a 및 250b)는 이미지 프레임을 처리하도록 훈련된 하나 이상의 신경망(들)을 사용하여 구현될 수 있다. 이미지 프로세서(230a, 230b)는 적어도 하나의 검출된 대상의 위치를 나타내는 적어도 하나의 경계를 포함하는 오버레이 생성, 적어도 하나의 대상에 대한 분류 정보 생성, 적어도 하나의 대상으로의 확대, 이미지 컬러 분포 수정 또는 하나 이상의 이미지 프레임에 대한 임의의 다른 조절 또는 변경 같은 이미지 수정을 포함하는 다른 이미지 처리 기능을 수행할 수 있다. 이미지 디바이스(210a 및 210b)(도 1의 이미지 디바이스(103)와 유사)는 의료 이미지 시스템의 이미지 디바이스 또는 다른 유형의 이미지 디바이스일 수 있다. 디스플레이 디바이스(260a, 260b)는 도 1의 디스플레이 디바이스(107)와 동일하거나 유사할 수 있고, 앞서 설명한 것과 동일하거나 유사한 방식으로 동작할 수 있다.

상황 분석기(220a 및 220b)는 이미지 프로세서(230a 및 230b)(도 2a 및 도 2b에 도시된 바와 같음)와 별도로 구현될 수 있거나 이미지 프로세서(230a 및 230b)와 통합된 구성요소(도시되지 않음)로서 구현될 수 있다. 상황 분석기(220a, 230b)는 이미지 디바이스(각각 210a, 210b)와의 조작자 또는 사용자 상호작용을 결정할 수 있고, 결정된 사용자 상호작용에 기초하여 하나 이상의 출력을 생성할 수 있다. 상황 정보가 상황 분석기(220a, 220b)에 의해 획득되거나 생성되어 이미지 디바이스(각각 210a, 210b)와의 사용자 상호작용을 결정할 수 있다. 예를 들어, 일부 실시예에서, 상황 분석기(220a, 220b)는 시간 경과에 따라 2개 이상의 이미지 프레임에서 대상의 위치와 관련된 loU(Intersection over Union) 값을 계산할 수 있다. 상황 분석기(220a, 220b)는 loU 값을 임계값과 비교하여 이미지 디바이스와의 사용자 상호작용을 결정할 수 있다. 추가적으로 또는 대안적으로, 상황 정보는 시간 경과에 따른 2개 이상의 이미지 프레임에서 검출된 대상의 이미지 유사성 값 또는 다른 특정 이미지 특징을 사용함으로써 상황 분석기(220a, 220b)에 의해 생성될 수 있다. 검출된 대상의 이미지 유사성 값 또는 다른 특정 이미지 특징은 임계값과 비교되어 이미지 디바이스와 사용자의 상호작용의 상황(예를 들어, 사용자가 대상을 식별하기 위해 이미지 디바이스를 탐색 조작하고 있음)을 결정할 수 있다. 검출된 대상의 이미지 유사성 값 또는 기타 특정 이미지 특징이 미리 결정된 수의 프레임 또는 시간에 걸쳐 임계값을 충족하는 경우, 이미지 디바이스와의 사용자 상호작용을 결정하는 데 필요한 지속성을 설정할 수 있다. 추가적으로 또는 대안적으로, 상황 정보는 본 출원에 설명된 바와 같이 사용자가 초점 또는 확대 버튼을 가압하거나 이미지 디바이스(210a, 210b)에 다른 입력을 제공하는 것과 같이 사용자에 의해 수동으로 생성될 수 있다. 이러한 실시예에서, (i) 임계값에 대한 loU 또는 이미지 유사성 값 또는 (ii) 식별된 사용자 입력은 이미지 디바이스와의 사용자 상호작용을 결정하기 위해 미리 결정된 수의 프레임 또는 시간 동안 지속될 것이 필요할 수 있다.

일부 실시예에서, 유사성 값 생성은 2개 이상의 이미지 프레임 또는 그 일부 사이의 이미지 유사성 값 또는 다른 특정 이미지 특징을 결정하도록 훈련된 하나 이상의 신경망(들)을 사용하여 수행될 수 있다. 이러한 실시예에서, 신경망(들)은 loU 값을 포함하는 2개 이상의 이미지 프레임 사이의 임의의 특징, 특성 및/또는 정보, 검출된 대상이 이전에 검출된 대상과 유사한지 여부, 적어도 하나의 대상이 사용자가 이전에 관심을 보인 분류의 부분인지 여부 및/또는 사용자가 이전에 수행된 행동을 수행하고 있는지 여부에 기초하여 유사성 값을 결정할 수 있다. 일부 실시예에서, 유사성 값 생성은 본 출원에 설명된 바와 같이 상황 정보를 포함하여 시스템에 의해 수신, 캡처 및/또는 생성된 정보에 기초하여 호출되거나 비활성화될 수 있다.

도 2a의 예시적인 구성에 따르면, 상황 분석기(220a)는 이미지 디바이스(210a)와의 조작자 또는 사용자 상호작용을 결정할 수 있고, 이미지 디바이스(210a)와의 결정된 사용자 상호작용에 기초하여 이미지 프로세서(230a)를 위한 명령어들을 생성할 수 있다. 상황 정보는 이미지 디바이스(210a)와의 사용자 상호작용을 결정하기 위해 상황 분석기(220a)에 의해 획득되거나 생성될 수 있다. 예를 들어, 일부 실시예에서, 상황 분석기(220a)는 시간 경과에 따라 2개 이상의 이미지 프레임에서 대상의 위치와 관련된 loU(Intersection over Union) 값을 계산할 수 있다. 상황 분석기(220a)는 loU 값을 임계값과 비교하여 이미지 디바이스와의 사용자 상호작용을 결정할 수 있다. 추가적으로 또는 대안적으로, 상황 정보는 앞서 설명된 바와 같이 사용자가 초점 또는 확대 버튼을 가압하거나 이미지 디바이스(210a)에 다른 입력을 제공하는 것과 같이 사용자에 의해 수동으로 생성될 수 있다. 이러한 실시예에서, (i) 임계값에 대한 loU 값 또는 (ii) 식별된 사용자 입력은 이미지 디바이스와의 사용자 상호작용을 결정하기 위해 미리 결정된 수의 프레임 또는 시간 동안 지속될 것이 필요할 수 있다.

이미지 프로세서(230a)는 상황 분석과 관련하여 상황 분석기(220a)에 의해 수신된 입력에 기초하여 이미지 프레임을 처리할 수 있다. 이미지 프로세서(230a)는 예를 들어, 대상 검출기(240a), 분류기(250a), 및/또는 다른 이미지 처리 구성요소(도시되지 않음)를 호출함으로써 하나 이상의 이미지 처리 동작을 수행할 수 있다. 일부 실시예에서, 이미지 처리는 이미지 디바이스(210a)로부터 수신된 이미지 프레임을 처리하도록 훈련된 하나 이상의 신경망을 적용함으로써 수행될 수 있다. 예를 들어, 상황 분석기(220a)는 상황 정보가 사용자가 이미지 디바이스(210a)를 사용하여 탐색 조작하고 있음을 나타낼 때 대상 검출기(240a)를 호출하도록 이미지 프로세서(230a)에 지시할 수 있다. 추가적인 예로서, 상황 분석기(220a)는 상황 정보가 사용자가 관심 대상을 검사하고 있음을 나타낼 때 분류기(250a)를 호출하도록 이미지 프로세서(230a)에 지시할 수 있다. 본 기술 분야의 숙련자라면 이해할 수 있는 바와 같이, 이미지 처리는 대상 검출 또는 분류로 제한되지 않는다. 예를 들어, 이미지 처리는 구역 제안 알고리즘(예를 들어, RPN(Region Proposal Network), FRCN(Fast Region-Based Convolutional Neural Network) 등) 적용, 관심 지점 검출 알고리즘(예를 들어, FAST(Features from Accelerated Segment Test), MSER(Harris, Maximally Stable Extremal Regions) 등) 적용, 이미지 수정 수행(예를 들어, 본 출원에 설명된 경계 또는 분류 정보 오버레이), 또는 하나 이상의 이미지 프레임에 대한 임의의 다른 조절 또는 변경을 포함할 수 있다.

도 2a에 추가로 도시된 바와 같이, 이미지 프로세서(230a)는 디스플레이 디바이스(260a)에 대한 출력을 생성할 수 있다. 디스플레이 디바이스(260a)는 도 1의 디스플레이 디바이스(107)와 동일하거나 유사할 수 있고, 앞서 설명한 것과 동일하거나 유사한 방식으로 동작할 수 있다. 출력은 예를 들어, 이미지 프레임(들)에서 검출된 대상의 위치를 나타내는 경계 및/또는 프레임(들)에서 관심 대상의 분류 정보와 같은 하나 이상의 오버레이를 갖는 원본 이미지 프레임을 포함할 수 있다.

도 2b의 예시적인 구성에서, 이미지 프로세서(230b)는 상황 분석기(220b)에 의해 제공된 정보를 사용하여 이미지 프레임을 처리할 수 있거나, 이미지 디바이스(210b)에 의해 캡처된 이미지를 직접 처리할 수 있다. 상황 분석기(220b)는 이용 가능한 경우 이미지 디바이스(210a)와의 사용자의 상호작용을 나타내는 상황 정보를 결정하고 이에 응답하여 이미지 프로세서(230b)에 명령어를 제공하기 위해 프로세스 전반에 걸쳐 일관되게 실행될 수 있다. 상황 분석기(220b)는 또한 loU 값, 유사성 결정, 및/또는 시간 경과에 따른 다른 정보를 포함하는 이력 데이터를 분석하도록 구현될 수 있다. 이미지 프로세서(230b)는 디스플레이 디바이스(260b)에 비디오 출력을 제공할 수 있고, 및/또는 상황 분석기(220b)에 그 이미지 처리 기능의 하나 이상의 출력을 제공할 수 있다. 디스플레이 디바이스(260b)로의 비디오 출력은 본 출원에 설명된 바와 같이 수정(예를 들어, 하나 이상의 오버레이, 분류 정보 등)이 있거나 없는 원본 비디오를 포함할 수 있다.

상황 분석기(220b)는 이미지 디바이스(210b)와의 조작자 또는 사용자 상호작용을 결정할 수 있고, 이미지 디바이스(210b)와의 결정된 사용자 상호작용에 기초하여 이미지 프로세서(230b)를 위한 명령어들을 생성할 수 있다. 상황 분석기(220b)는 본 출원에 개시된 바와 같이 (예를 들어, 2개 이상의 프레임 사이의 loU 값을 계산함으로써) 이미지 디바이스(210b)에 의해 캡처된 하나 이상의 이미지 프레임을 사용하여 사용자 상호작용을 결정할 수 있다. 상황 분석기(220b)는 대상 검출기(240b)에 의해 생성된 대상 검출 또는 분류기(250b)에 의해 생성된 분류와 같은 이미지 프로세서(230b)에 의해 생성된 이력 데이터를 수신할 수 있다. 상황 분석기(220b)는 본 출원에 설명된 바와 같이 이미지 디바이스(210b)와의 사용자 상호작용을 결정하기 위해 이 정보를 사용할 수 있다. 또한, 상황 분석기(220b)는 본 출원에 설명된 바와 같이 상황 분석기(220b) 자체에 의해 이전에 획득된 상황 정보(예를 들어, 이전에 계산된 loU 값, 유사성 값, 사용자 상호작용, 및/또는 상황 분석기(220b)에 의해 생성된 다른 정보)에 기초하여 조작자 또는 사용자 상호작용을 결정할 수 있다.

일부 실시예에서, 상황 분석기(220b)는 이미지 디바이스(210b)로부터의 복수의 이미지 프레임을 처리하고 사용자가 이미지 프레임의 특정 영역에 관심이 있다고 결정할 수 있다. 상황 분석기(220b)는 그 다음 대상 검출기(240b)가 식별된 관심 영역 내의 모든 대상을 검출하기 위해 대상 검출을 수행하게 하는 명령어를 이미지 프로세서(230b)에 제공할 수 있다. 이후에, 상황 정보가 사용자가 관심 영역의 대상(들)에 관심이 있음을 나타낼 때, 상황 분석기(220b)는 이미지 프로세서(230b)에 명령어를 제공하여 분류기(250b)가 관심 대상(들)에 대한 분류 정보를 생성하게 할 수 있다. 이러한 방식으로, 시스템은 실시간 또는 거의 실시간으로 사용자에게 관심 있는 정보를 지속적으로 제공할 수 있고, 동시에 관심이 없는 대상에 대한 정보의 디스플레이를 방지한다. 유리하게는, 이러한 방식으로 상황 정보를 사용하는 것은 또한 상황 정보로부터 유도된 바에 따라 관심 영역 및 해당 영역 내의 관심 대상(들)에 대해서만 처리가 수행되기 때문에 대상 검출기(240b) 및 분류기(250b)에 의한 과도한 처리를 방지한다.

이미지 프로세서(230b)는 상황 분석과 관련하여 상황 분석기(220b)에 의해 수신된 입력에 기초하여 이미지 프레임을 처리할 수 있다. 또한, 이미지 프로세서(230b)는 상황 분석기(220b)로부터 명령어를 먼저 수신하지 않고 이미지 디바이스(210b)에 의해 캡처된 이미지 프레임을 직접 처리할 수 있다. 이미지 프로세서(230b)는 예를 들어, 대상 검출기(240b), 분류기(250b), 및/또는 다른 이미지 처리 구성요소(도시되지 않음)를 호출함으로써 하나 이상의 이미지 처리 동작을 수행할 수 있다. 일부 실시예에서, 이미지 처리는 이미지 디바이스(210b)로부터 수신된 이미지 프레임을 처리하도록 훈련된 하나 이상의 신경망을 적용함으로써 수행될 수 있다. 예를 들어, 상황 분석기(220b)는 상황 정보가 사용자가 이미지 디바이스(210b)를 사용하여 탐색 조작하고 있음을 나타낼 때 대상 검출기(240b)를 호출하도록 이미지 프로세서(230b)에 지시할 수 있다. 추가적인 예로서, 상황 분석기(220b)는 상황 정보가 사용자가 관심 대상 또는 특징을 검사하고 있음을 나타낼 때 분류기(250b)를 호출하도록 이미지 프로세서(230b)에 지시할 수 있다. 본 기술 분야의 숙련자라면 이해할 수 있는 바와 같이, 이미지 처리는 대상 검출 및 분류로 제한되지 않는다. 예를 들어, 이미지 처리는 구역 제안 알고리즘(예를 들어, RPN(Region Proposal Network), FRCN(Fast Region-Based Convolutional Neural Network) 등) 적용, 관심 지점 검출 알고리즘(예를 들어, FAST(Features from Accelerated Segment Test), MSER(Harris, Maximally Stable Extremal Regions) 등) 적용, 이미지 수정 수행(예를 들어, 본 출원에 설명된 경계 또는 분류 정보 오버레이), 또는 하나 이상의 이미지 프레임에 대한 임의의 다른 조절 또는 변경을 포함할 수 있다.

도 2b에 추가로 도시된 바와 같이, 이미지 프로세서(230b)는 디스플레이 디바이스(260b)에 대한 출력을 생성할 수 있다. 출력은 하나 이상의 이미지 수정(예를 들어, 예로서, 이미지 프레임(들)에서 검출된 대상의 위치를 나타내는 경계, 프레임(들)에서 관심 대상의 분류 정보, 대상의 확대된 이미지(들), 수정된 이미지 컬러 분포 등과 같은 오버레이)을 갖는 원본 이미지 프레임을 포함할 수 있다. 또한, 이미지 프로세서(230b)는 이미지 처리 정보를 상황 분석기(220b)에 제공할 수 있다. 예를 들어, 이미지 프로세서(230b)는 대상 검출기(240b)에 의해 검출된 대상과 관련된 정보 및/또는 분류기(250b)에 의해 생성된 분류 정보를 제공할 수 있다. 결과적으로, 상황 분석기(220b)는 본 출원에 설명된 바와 같이 조작자 또는 사용자 상호작용을 결정하기 위해 이 정보를 이용할 수 있다.

도 3은 본 개시의 실시예에 따른, 이미지 디바이스로부터 수신된 실시간 비디오를 처리하기 위한 예시적인 방법의 흐름도이다. 도 3의 실시예는 하나 이상의 프로세서 및 (도 1 또는 도 2의 예시적인 시스템에 도시된 것과 같은) 다른 구성요소에 의해 구현될 수 있다. 도 3에서 비디오는 상황 정보를 기초로 처리된다. 단계 301에서, 비디오가 의료 이미지 시스템과 같은 이미지 디바이스로부터 수신된다. 비디오는 하나 이상의 관심 대상을 함유할 수 있는 복수의 이미지 프레임을 포함할 수 있다. 단계 303에서, 이미지 프레임을 처리하도록 훈련된 하나 이상의 신경망이 제공될 수 있다. 예를 들어, 관심 대상(예를 들어, 폴립)의 존재를 식별하기 위해 적대적 신경망이 제공될 수 있다. 추가적인 예로서, 하나 이상의 클래스(예를 들어, 암성 또는 비-암성)에 기초하여 텍스처, 컬러 등에 기초하여 이미지를 분류하기 위해 컨볼루션 신경망이 제공될 수 있다. 이러한 방식으로, 이미지 프레임은 원하는 응용에 맞춤화되면서 효율적이고 정확한 방식으로 처리될 수 있다.

단계 305에서, 상황 정보가 획득될 수 있다. 상황 정보는 본 출원에 설명된 바와 같이 이미지 디바이스와 사용자의 상호작용을 나타낼 수 있다. 단계 307에서, 상황 정보는 사용자의 상호작용을 식별하는 데 사용될 수 있다. 예를 들어, loU 또는 이미지 유사성 값은 사용자가 관심 대상을 식별하기 위해 탐색 조작하거나, 관심 대상을 검사하거나, 관심 대상에서 멀어지게 이동하는 것을 식별하는 데 사용될 수 있다. 추가적으로 또는 대안적으로, 이미지 디바이스에 대한 사용자 입력은 이미지 디바이스와의 사용자 상호작용을 결정하는 데 사용될 수 있는 상황 정보를 제공할 수 있다. 단계 307의 일부로서, 임계값에 대한 loU 또는 유사성 값 및/또는 사용자 입력의 존재는 프로세서(들)가 특정 사용자가 이미지 디바이스와의 특정 사용자 상호작용이 존재한다는 것을 식별하기 전에 미리 결정된 수의 프레임 또는 시간에 걸쳐 지속되는 것을 필요로 할 수 있다. 단계 309에서, 앞서 설명한 바와 같이, 하나 이상의 훈련된 신경망을 사용하여 식별된 상호작용(상황 정보)에 기초하여 이미지 처리가 수행될 수 있다. 예를 들어, 식별된 상호작용이 탐색 조작 중인 경우, 이미지 프로세서는 대상 검출을 수행할 수 있다. 다른 예로서, 식별된 상호작용이 검사 중인 경우, 이미지 프로세서는 분류를 수행할 수 있다. 단계 311에서, 수신된 비디오에 대한 이미지 수정은 이미지 처리에 기초하여 수행될 수 있다. 예를 들어, 단계 311의 일부로서, 하나 이상의 오버레이(들) 및/또는 분류 정보가 단계 309에서 수행된 이미지 처리에 기초하여 생성될 수 있다. 본 출원에 개시된 바와 같이, 오버레이(들)는 디스플레이 디바이스를 통해 사용자 또는 조작자에게 디스플레이될 수 있다. 예를 들어, 디스플레이되는 비디오 출력은 이미지 프레임의 검출된 대상을 나타내는 경계(예를 들어, 상자 또는 별) 및/또는 이미지 프레임의 관심 대상의 분류 정보(예를 들어, "유형 1", "유형 2" 또는 "유형 3" 같은 텍스트 라벨)를 포함할 수 있다.

도 4는 본 개시의 실시예에 따른, 이미지 디바이스와의 사용자 상호작용을 나타내는 상황 정보에 기초하여 이미지 처리 동작을 호출하는 예시적인 방법의 흐름도이다. 도 4의 실시예는 하나 이상의 프로세서 및 (도 1 또는 도 2의 예시적인 시스템에 도시된 것과 같은) 다른 구성요소에 의해 구현될 수 있다. 도 4에서 대상 검출 및 분류 동작은 이미지 디바이스와의 식별된 사용자 상호작용을 기초로 호출된다. 단계 401에서, 프로세서(들)는 사용자가 이미지 디바이스를 사용하여 탐색 조작(예를 들어, 관심 대상을 식별하기 위해 대장 내시경 검사 동안 신체 부위를 통해 탐색 조작)하는지 결정할 수 있다. 사용자가 탐색 조작 중인 것으로 결정된 경우, 단계 403에서 대상 검출기가 호출될 수 있다. 예를 들어, 결장에서 선종을 검출하도록 훈련된 신경망이 호출될 수 있다. 단계 405에서, 프로세서(들)는 사용자가 관심 대상을 검사하고 있는지(예를 들어, 프레임에서 관심 대상을 분석하기 위해 이미지 디바이스를 고정적으로 유지하고 있는지) 여부를 결정할 수 있다. 사용자가 검사 중인 것으로 결정된 경우, 단계 407에서, 분류기가 호출될 수 있다. 예를 들어, 식도에서 바렛 증후군의 징후를 특성화하도록 훈련된 신경망이 호출될 수 있다. 단계 409에서, 사용자가 관심 대상으로부터 멀어지게 이동하는지 여부를 검출할 수 있다. 사용자가 이동하는 것으로 결정되면, 단계 411에서 분류기를 중지시킬 수 있다.

도 5는 본 개시의 실시예에 따른, 이미지 디바이스로부터 실시간 비디오 피드에 대한 오버레이 정보를 생성하기 위한 예시적인 방법의 흐름도이다. 도 5의 실시예는 하나 이상의 프로세서 및 (도 1 또는 도 2의 예시적인 시스템에 도시된 것과 같은) 다른 구성요소에 의해 구현될 수 있다. 도 5에서, 오버레이는 상황 정보 분석을 기초로 생성되고, 오버레이 디스플레이는 예를 들어, 이미지 프레임에서 대상의 위치 및 분류 정보를 제공한다. 단계 501에서, 프로세서(들)는 실시간 비디오 피드의 복수의 이미지 프레임에서 대상을 검출할 수 있다. 이는 앞서 설명한 것처럼 대상 검출 알고리즘 또는 훈련된 신경망을 적용하여 수행할 수 있다. 단계 503에서, 이미지 프레임에서 검출된 대상의 위치를 나타내는 경계를 포함하는 제1 오버레이 디스플레이가 생성될 수 있다. 예를 들어, 제1 오버레이 디스플레이는 검출된 대상의 지점 위치를 지정하기 위해 원, 별 또는 다른 형상을 포함할 수 있다. 추가적인 예로서, 대상의 위치가 구역을 포함하는 경우, 제1 오버레이 디스플레이는 구역 위에 배치된 상자, 직사각형, 원 또는 다른 형상을 포함할 수 있다. 단계 505에서, 프로세서(들)는 사용자 상호작용을 나타내는 상황 정보를 획득할 수 있다. 앞서 설명된 바와 같이, 상황 정보는 비디오(즉, IoU 또는 이미지 유사성 방법) 및/또는 사용자 입력(즉, 초점 맞춤 또는 확대 동작)을 분석함으로써 획득될 수 있다. 단계 506에서, 본 출원에 설명된 바와 같이 분류기 또는 분류 알고리즘을 호출함으로써 이미지 프레임에서 관심 대상의 분류 정보가 생성될 수 있다. 단계 504에서, 분류 정보를 포함하는 제2 오버레이 디스플레이가 생성될 수 있다. 예를 들어, 제2 오버레이 디스플레이는 관심 대상의 위치를 나타내는 경계와 분류 정보를 제공하는 텍스트 라벨(예를 들어, "폴립" 또는 "비-폴립")을 갖는 오버레이를 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서 제1 및/또는 제2 오버레이의 컬러, 형상, 패턴, 또는 다른 양태는 대상의 검출 및/또는 분류에 따라 달라질 수 있다.

도 6은 본 개시의 실시예에 따른, 대상 검출 및 분류에 기초한 비디오의 오버레이를 갖는 디스플레이의 예이다. 도 6(그리고, 또한, 도 7a 및 도 7b)의 예에서, 예시된 비디오 샘플(600a, 600b, 600c)은 대장 내시경 절차로부터 유래된다. 본 개시의 실시예를 구현할 때, 다른 절차 및 이미징 디바이스로부터의 비디오가 이용될 수 있다는 것을 본 개시로부터 이해할 것이다. 따라서, 비디오 샘플(600a, 600b, 600c)(그리고, 또한 도 7a 및 도 7b)은 본 개시의 비제한적인 예이다. 또한, 예로서, 도 6(그리고, 또한 도 7a 및 도 7b)의 비디오 디스플레이는 도 1의 디스플레이 디바이스(107)와 같은 디스플레이 디바이스 상에 제시될 수 있다.

제1 오버레이(601)는 비디오에서 검출된 대상(예를 들어, 이상)에 대한 표시자로 사용되는 그래픽 경계의 일 예를 나타낸다. 도 6의 예에서, 제1 오버레이(601)는 실선 직사각형 경계 형태의 표시자를 포함한다. 다른 실시예에서, 제1 오버레이(601)는 상이한 형상(규칙 형상이든 불규칙 형상이든)일 수 있다. 또한, 제1 오버레이(601)는 미리 결정된 컬러로 디스플레이되거나, 제1 컬러에서 다른 컬러로 전이될 수 있다. 제1 오버레이(601)는 비디오 프레임(600b 및 600c)에 나타나며, 이는 비디오 프레임(600a)에서 순서대로 뒤따를 수 있다.

제2 오버레이(602)는 비디오에서 관심 대상(예를 들어, 이상)의 분류의 일 예를 제시한다. 도 6의 예에서, 제2 오버레이(602)는 이상의 유형(예를 들어, NICE 분류 시스템과 같은 분류 시스템에 따른 "유형 1")을 식별하는 텍스트 라벨을 포함한다. 비디오 샘플 600c에서 이해할 수 있는 바와 같이, 제2 오버레이(602)는 분류 라벨에 더하여 다른 정보를 포함할 수 있다. 예를 들어, 분류와 관련된 신뢰도 라벨(예를 들어, "95%")이 제2 오버레이(602)에 포함될 수 있다.

도 7a는 본 개시의 실시예에 따른, 2개의 이미지 프레임에서 대상에 대한 loU(Intersection over Union) 값을 결정하는 시각적 표현의 예이다. 도 7a에 도시된 바와 같이, 이미지(700a, 700b)는 관심 대상을 포함하는 비디오의 프레임을 포함한다. 도 7a는 이미지(700a) 및 이후 이미지(700b)를 도시한다. 도 7a의 예에서, 영역(701a, 701b)은 이미지(각각 700a, 700b)에서 검출된 관심 대상의 위치 및 크기를 나타낸다. 또한, 영역(702)은 이미지(700a, 700b)에서 검출된 대상에 대한 loU 값을 결정하는 시각적 표현을 나타내는 영역(701a, 701b)의 조합을 나타낸다. 일부 실시예에서, loU 값은 다음 공식을 사용하여 추정될 수 있다:

위의 IoU 공식에서 중첩 영역은 양자 모두의 이미지에 검출된 대상이 존재하는 영역이고, 결합 영역은 두 이미지에서 검출된 대상이 존재하는 전체 영역이다. 도 7a의 예에서, IoU 값은 영역(701a 및 701b) 사이의 중첩 영역(즉, 영역(702)의 중심)과 영역(701a 및 701b) 사이의 결합 영역(즉, 전체 영역(702)) 사이의 비율을 사용하여 추정될 수 있다. 도 7a의 예에서, 영역(702)의 중심이 전체 영역(702)보다 비교적 작다면 loU 값은 낮은 것으로 고려될 수 있다. 일부 실시예에서, 이는 사용자가 관심 대상으로부터 멀어지게 이동한다는 것을 나타낼 수 있다.

도 7b는 본 개시의 실시예에 따른, 2개의 이미지 프레임에서 대상에 대한 loU(Intersection over Union) 값을 결정하는 시각적 표현의 다른 예이다. 도 7b에 도시된 바와 같이, 이미지(710a, 720b)는 관심 대상을 포함하는 비디오의 프레임을 포함한다. 도 7b는 이미지(710a) 및 이후 이미지(710b)를 도시한다(이미지(700a 및 700b)와 유사함). 도 7b의 예에서, 영역(711a, 711b)은 이미지(각각 710a, 710b)에서 검출된 관심 대상의 위치 및 크기를 나타낸다. 또한, 영역(712)은 이미지(710a, 710b)에서 검출된 대상에 대한 loU 값을 결정하는 시각적 표현을 나타내는 영역(711a, 711b)의 조합을 나타낸다. 도 7a에 대해 앞서 설명된 것과 동일한 loU 공식이 loU 값을 결정하는 데 사용될 수 있다. 도 7b의 예에서, IoU 값은 영역(711a 및 711b) 사이의 중첩 영역(즉, 영역(712)의 중심)과 영역(711a 및 711b) 사이의 결합 영역(즉, 전체 영역(712)) 사이의 비율을 사용하여 추정될 수 있다. 도 7b의 예에서, 영역(712)의 중심이 전체 영역(712)과 비교적 동일하다면 loU 값은 높은 것으로 고려될 수 있다. 일부 실시예에서, 이는 사용자가 관심 대상을 검사하고 있음을 나타낼 수 있다.

도 8은 본 개시의 실시예에 따른, 상황 정보가 다수의 프레임 사이의 이미지 유사성 값에 기초하여 결정되는, 대상 검출기 및 분류기를 호출하는 예시적인 방법의 흐름도이다. 그러나, 방법은 loU 값, 이미지 프레임의 하나 이상의 대상의 검출 또는 분류, 또는 사용자로부터 의료 이미지 시스템에 의해 수신된 입력에 기초한 것들 같은 상황 정보를 결정하기 위해 다른 방식과 함께 사용될 수 있다는 것을 이해하여야 한다. 도 8의 실시예는 하나 이상의 프로세서 및 (도 1 또는 도 2의 예시적인 시스템에 도시된 것과 같은) 다른 구성요소에 의해 구현될 수 있다.

단계 801에서, 대상 검출기(예를 들어, 도 2a 및 도 2b의 대상 검출기(240a, 240b))가 호출되어 제1 이미지 프레임에서 관심 대상을 검출한다. 예를 들어, 특정 질병 또는 이상(예를 들어, 결장의 선종)을 검출하도록 훈련된 하나 이상의 신경망은 특정 질병 또는 이상이 제1 이미지 프레임에 존재하는지 여부를 결정하기 위해 호출될 수 있다. 대상 검출기는 다른 실시예와 관련하여 앞서 설명된 것과 동일하거나 유사한 이유로 호출될 수 있다. 단계 803에서, 대상 검출기는 제1 이미지 프레임에 후속하여 획득된 제2 이미지 프레임을 처리하여 제2 이미지 프레임에서 관심 대상의 존재 또는 부재를 결정한다. 예를 들어, 하나 이상의 신경망은 결장의 선종과 일치하는 폴립이 제2 이미지 프레임에 존재함을 검출할 수 있다.

단계 805에서, 상황 정보를 결정하기 위해 제1 및 제2 이미지 프레임 사이의 유사성 값이 미리 결정된 임계값보다 더 높은지 여부에 대한 결정이 이루어진다. 결정은 이미지 유사성 평가기(도시되지 않음)를 사용하여 이루어질 수 있다. 유사성 평가기는 프로세서로 구현될 수 있고 입력으로서 이미지 프레임을 처리하고 이미지 중첩, 에지, 관심 지점, 관심 영역, 컬러 분포 등과 같은 이미지 특징을 사용하여 2개 이상의 이미지 프레임 사이의 유사성 값을 출력하기 위한 하나 이상의 알고리즘을 포함할 수 있다. 일부 실시예에서, 유사성 평가기는 0과 1 사이의 숫자(예를 들어, 0.587)를 출력하도록 구성될 수 있고, 여기서, 유사성 값 1은 2개 이상의 이미지 프레임이 동일함을 의미하고 유사성 값 0은 2개 이상의 이미지 프레임에 유사성이 없음을 의미한다. 일부 실시예에서, 이미지 유사성 평가기는 상황 분석기(예를 들어, 도 2a 및 도 2b의 상황 분석기(220a, 220b)) 또는 이미지 프로세서(예를 들어, 도 2a 및 도 2b의 이미지 프로세서(230a, 230b))의 일부, 예컨대, 대상 검출기(예를 들어, 도 2a 및 도 2b의 대상 검출기(240a 및 240b)) 또는 분류기(예를 들어, 도 2a 및 도 2b의 분류기(250a 및 250b))의 일부일 수 있다.

유사성 값 계산은 제1 및 제2 이미지 프레임의 하나 이상의 특징을 사용하여 수행될 수 있다. 예를 들어, 사용자가 관심 대상을 검사하고 있음을 식별하기 위해 제1 이미지 프레임의 충분한 부분이 제2 이미지 프레임에 함유되는지 여부에 대한 결정이 내려질 수 있다. 비제한적인 예로서, 제1 이미지 프레임의 적어도 0.5(예를 들어, 약 0.6 또는 0.7 이상, 예컨대 0.8 또는 0.9)가 제2 이미지 프레임에 함유되면, 이는 사용자가 관심 대상을 검사하고 있음을 식별하는 데 사용될 수 있다. 대조적으로, 제1 이미지 프레임의 0.5 미만(예를 들어, 약 0.4 이하)이 제2 이미지 프레임에 함유되는 경우, 이는 사용자가 이미지 디바이스를 탐색 조작 중이거나 관심 대상에서 멀어지게 이동하고 있는 것을 식별하는 데 사용될 수 있다. 그러나, 결정은 에지, 관심 지점, 관심 영역, 컬러 분포 등과 같은 다른 이미지 특징을 사용하여 이루어질 수 있음을 이해하여야 한다.

단계 807에서, 상황 정보가 예컨대, 이미지 유사성 값이 미리 결정된 임계값 미만이라고 결정함으로써 사용자가 관심 대상을 검사하지 않는다는 것을 나타내면, 대상 검출기는 그 출력을 획득하고, 도 8의 예시적인 방법의 단계 803에서 다시 시작하여 다음 이미지 프레임을 처리하기 위해 호출된 채로 유지된다. 일부 실시예에서, 대상 검출기는 단계 807에서 비활성화될 수 있다. 예를 들어, 상황 정보가 사용자가 더 이상 대상을 검출하고 싶어하지 않는다는 것을 나타낼 때 대상 검출기가 비활성화될 수 있다. 이는 예를 들어 사용자가 대상 검출기를 비활성화하기 위해 입력 디바이스(예를 들어, 버튼, 마우스, 키보드 등)와 상호작용할 때 결정될 수 있다. 이러한 방식으로, 필요할 때에만 효율적으로 검출이 수행되고, 이에 따라, 예를 들어 디스플레이가 불필요한 정보로 과밀화되는 것을 방지할 수 있다.

단계 809에서, 대상 검출기의 출력에 기초하여 수신된 이미지 프레임을 수정하기 위해 이미지 수정(들)이 수행된다. 예를 들어, 본 개시의 실시예에 따라 이미지 디바이스로부터 실시간 비디오 피드에 대한 오버레이 정보가 생성될 수 있다. 오버레이 정보는, 예를 들어, 검출된 대상의 위치를 지정하기 위한 원, 별 또는 기타 형상과 같이 대상 검출기에 의해 검출된 관심 대상의 위치를 포함할 수 있다. 추가적인 예로서, 대상의 위치가 구역을 포함하는 경우, 오버레이 정보는 구역 위에 배치된 상자, 직사각형, 원 또는 다른 형상을 포함할 수 있다. 그러나, 검출된 대상의 구역으로의 확대, 이미지 컬러 분포의 변경 등 같은 다른 이미지 수정이 검출된 대상에 대한 사용자의 주의를 끌기 위해 사용될 수 있음을 이해하여야 한다.

단계 811에서, 분류기(예를 들어, 도 2a 및 도 2b의 분류기(250a 및 250b))가 호출되어 개시된 실시예에 따라 적어도 하나의 검출된 대상에 대한 분류 정보를 생성한다. 예를 들어, 검출된 대상이 병변을 포함하는 경우, 분류기는 병변을 하나 이상의 유형(예를 들어, 암성 또는 비-암성 등)으로 분류할 수 있다. 일부 실시예에서, 대상을 분류하도록 훈련된 하나 이상의 신경망(예를 들어, 적대적 신경망)은 개시된 실시예에 따라 검출된 대상을 분류하기 위해 호출될 수 있다. 단계 813에서, 대상 검출기 및 분류기 양자 모두는 다음 프레임(예를 들어, 제2 이미지 프레임에 후속하여 획득된 제3 이미지 프레임)을 처리하여 해당 이미지 프레임에서 관심 대상의 존재 또는 부재를 결정하고 관심 대상이 검출되면 분류 정보를 생성한다. 예를 들어, 하나 이상의 신경망은 결장의 선종과 일치하는 폴립이 이미지 프레임에 존재한다는 것을 검출할 수 있고, 후속하여, 신뢰도 점수(예를 들어, "90%")와 함께, 폴립이 실제로 선종인 것으로 결정된 경우 "선종"과 같은 라벨 또는 폴립이 선종이 아닌 것으로 결정된 경우 "비-선종"과 같은 라벨을 생성할 수 있다.

단계 815에서, 이미지 프레임(예를 들어, 제2 및 제3 이미지 프레임) 사이의 유사성 값이 상황 정보를 결정하기 위해 미리 결정된 임계값보다 더 높은지 여부에 대한 결정이 이루어진다. 이는 단계 805와 관련하여 앞서 설명된 것과 동일하거나 유사한 방식으로 수행될 수 있다. 단계 817에서, 상황 정보가 예컨대, 이미지 유사성 값이 미리 결정된 임계값 미만이라고 결정함으로써, 사용자가 더 이상 관심 대상을 검사하고 있지 않음을 나타내는 경우, 분류기는 비활성화되고 대상 검출기는 단계 803에서 다시 시작하여 다음 이미지 프레임을 처리하기 위해 호출 상태로 유지된다. 이러한 방식으로, 필요할 때에만 효율적으로 분류가 수행되고, 이에 따라, 예를 들어 디스플레이가 불필요한 정보로 과밀화되는 것을 방지할 수 있다. 대조적으로, 단계 819에서, 상황 정보가 사용자가 관심 대상을 계속 검사함을 나타내는 경우, 분류기는 N개의(즉, 2개 이상의) 이미지 프레임의 수를 처리하여 적어도 하나의 검출된 대상에 대한 분류 정보를 생성한다. 단일 출력을 생성하기 위해 모든 N개의 이미지 프레임에 대한 분류기의 출력에 알고리즘이 적용될 수 있다. 예를 들어, 이동 평균 계산이 시간 차원에 걸쳐 각각의 이미지 프레임에 대한 분류기의 출력을 통합하기 위해 적용될 수 있다. 특정 폴립의 클래스(예를 들어, 선종 또는 비-선종)로의 분류 정보는 서로 다른 특성(예를 들어, 텍스처, 컬러, 크기, 형상 등)의 영향을 받을 수 있기 때문에, 분류기의 출력은 폴립이 존재하는 N 프레임 중 일부에서 노이즈의 영향을 받을 수 있다. 이러한 현상을 감소시키기 위해, 마지막 N 프레임에 대한 분류기의 출력을 통합하는 이동 평균 형태를 구현할 수 있다. 비제한적인 예로서, 산술 평균이 계산될 수 있지만, 동일한 결과를 획득하기 위해 다른 수학적 및 통계적 공식이 사용될 수 있다.

단계 821에서, 분류기의 출력에 기초하여 수신된 이미지 프레임을 수정하기 위해 이미지 수정(들)이 수행된다. 예를 들어, 이미지 디바이스로부터의 실시간 비디오 피드에 대한 오버레이 정보가 단계 809와 관련하여 앞서 설명된 것과 동일하거나 유사한 방식으로 검출된 대상에 대해 생성될 수 있다. 또한, 오버레이 정보는 검출된 대상에 대해 분류기에 의해 생성된 분류 정보와 함께 디스플레이될 수 있다. 분류 정보는 단계 813과 관련하여 앞서 설명된 동일하거나 유사한 정보를 포함할 수 있다. 823a, 823b, 823c 단계에서, 예를 들어, 분류에 따라 검출된 대상에 대해 서로 다른 분류 정보가 생성된다. 단계 823a에서, 검출된 대상이 분류기에 의해 선종으로 분류된 폴립인 경우 "선종"이라는 라벨이 검출된 대상 주변에 적색 상자와 함께 생성될 수 있다. 단계 823b에서, 검출된 대상이 분류기에 의해 비-선종으로 분류된 폴립인 경우 "비-선종"이라는 라벨이 검출된 대상 주변에 백색 상자와 함께 생성될 수 있다. 단계 823c에서, 검출된 대상이 예를 들어 초점의 결여, 손상된 이미지 데이터 등의 결과로 분류기에 의해 분류될 수 없는 경우, 검출된 대상 주변에 회색 상자와 함께 "미분류" 라벨이 생성될 수 있다.

단계 825에서, 대상 검출기와 분류기 양자 모두는 도 8의 방법의 단계 815에서 다시 시작하여 다음 이용 가능한 이미지 프레임을 처리하여 관심 대상의 존재 또는 부재를 결정하고, 관심 대상이 검출되면 분류 정보를 생성한다.

본 개시는 예시의 목적으로 제시되었다. 이는 완전하지 않으며 개시된 정확한 형태 또는 실시예로 제한되지 않는다. 개시된 실시예의 명세서 및 실시를 고려하여 실시예에 대한 수정 및 적응을 명백히 알 수 있을 것이다. 예를 들어, 설명된 구현은 하드웨어를 포함하지만, 본 개시에 따른 시스템 및 방법은 하드웨어 및 소프트웨어로 구현될 수 있다. 또한, 특정 구성요소가 서로 결합되는 것으로 설명되었지만, 이러한 구성요소는 서로 통합되거나 임의의 적절한 방식으로 분산될 수 있다.

더욱이, 예시적인 실시예가 본 출원에 설명되었지만, 그 범위는 본 개시에 기초한 등가의 요소, 수정, 생략, 조합(예를 들어, 다양한 실시예에 걸친 양태들의 조합), 적응 및/또는 변경을 갖는 임의의 그리고 모든 실시예를 포함한다. 청구범위의 요소는 청구범위에 사용된 언어를 기초로 광범위하게 해석되어야 하며 본 명세서에 설명된 또는 본 출원의 수속 동안 설명되는 예에 제한되지 않고, 이러한 예는 배타적이지 않은 것으로 해석되어야 한다. 또한, 개시된 방법의 단계는 단계 순서변경 및/또는 단계 삽입 또는 삭제를 포함하는 임의의 방식으로 수정될 수 있다.

본 개시의 특징 및 이점은 상세한 명세서로부터 명백하고, 따라서 첨부된 청구범위는 본 개시의 진정한 사상 및 범위 내에 속하는 모든 시스템 및 방법을 포함하는 것을 의도한다. 본 출원에 사용된 부정관사("a" 및 "an")는 "하나 이상"을 의미한다. 유사하게, 복수형 용어의 사용은 주어진 문맥에서 자명하지 않는 한 반드시 복수를 나타내는 것은 아니다. "및" 또는 "또는"과 같은 단어는 구체적으로 달리 지시되지 않는 한 "및/또는"을 의미한다. 또한, 본 개시를 연구함으로써 수많은 수정 및 변형을 용이하게 안출할 수 있을 것이기 때문에, 본 개시를 예시 및 설명된 정확한 구성 및 동작에 제한하기를 원하지 않으며, 따라서, 그에 대한 모든 적절한 수정 및 균등물이 본 개시의 범위 내에 속한다.

다른 실시예는 본 출원에 개시된 실시예의 명세서 및 실시를 고려함으로써 명백히 알 수 있을 것이다. 명세서 및 예는 단지 예로서 고려되고, 개시된 실시예의 진정한 범위 및 사상은 다음의 청구범위에 의해 표시되는 것을 의도한다.

일부 실시예에 따르면, 본 출원에 설명된 동작, 기술 및/또는 구성요소는 디바이스 또는 시스템에 의해 구현될 수 있으며, 여기에는 하나 이상의 특수 목적 컴퓨팅 디바이스가 포함될 수 있다. 특수 목적 컴퓨팅 디바이스는 본 출원에 설명된 동작, 기술 및/또는 구성요소를 수행하기 위해 고정 배선(hard-wired)될 수 있거나 또는 디지털 전자 디바이스, 예컨대, 본 출원에 설명된 동작, 기술 및/또는 구성요소를 수행하도록 영구적으로 프로그램된 하나 이상의 주문형 집적 회로(ASIC) 또는 현장 프로그램 가능 게이트 어레이(FPGA)를 포함할 수 있거라, 펌웨어, 메모리, 기타 저장소 또는 조합의 프로그램 명령어에 따라 본 개시내용의 이러한 특징을 수행하도록 프로그램된 하나 이상의 하드웨어 프로세서를 포함할 수 있다. 이러한 특수 목적 컴퓨팅 디바이스는 또한 본 개시의 기술 및 다른 특징을 달성하기 위해 사용자 정의 하드와이어드 로직, ASIC 또는 FPGA를 사용자 정의 프로그래밍과 조합할 수 있다. 특수 목적 컴퓨팅 디바이스는 데스크탑 컴퓨터 시스템, 휴대용 컴퓨터 시스템, 핸드헬드 디바이스, 네트워킹 디바이스, 또는 본 개시의 기술 및 다른 특징을 구현하기 위해 하드와이어드 및/또는 프로그램 로직을 통합할 수 있는 임의의 다른 디바이스일 수 있다.

하나 이상의 특수 목적 컴퓨팅 디바이스는 일반적으로 iOS, Android, Blackberry, Chrome OS, Windows XP, Windows Vista, Windows 7, Windows 8, Windows Server, Windows, CE, Unix, Linux, SunOS, Solaris, VxWorks 또는 기타 호환 가능한 운영 체제와 같은 운영 체제 소프트웨어에 의해 제어 및 조절될 수 있다. 다른 실시예에서, 컴퓨팅 디바이스는 독점 운영 체제에 의해 제어될 수 있다. 운영 체제는 무엇보다도 실행을 위한 컴퓨터 프로세스를 제어 및 예약하고, 메모리 관리를 수행하고, 파일 시스템, 네트워킹, I/O 서비스를 제공하고, 그래픽 사용자 인터페이스("GUI")와 같은 사용자 인터페이스 기능을 제공할 수 있다.

더욱이, 개시된 실시예의 양태가 메모리 및 기타 유형의 컴퓨터 판독 가능 저장 매체에 저장된 데이터와 관련되는 것으로 설명되지만, 본 기술 분야의 숙련자는 이러한 양태가 또한 여러 타입의 유형의 컴퓨터 판독 가능 매체, 예컨대, 하드 디스크, 플로피 디스크 또는 CD-ROM과 같은 보조 저장 디바이스 또는 다른 형태의 RAM 또는 ROM에 저장되고 그로부터 실행될 수 있음을 인식할 것이다. 따라서, 개시된 실시예는 앞서 설명된 예에 제한되지 않고, 대신에 그 전체 범위의 균등물을 감안하여 첨부된 청구범위에 의해 정의된다.

더욱이, 예시적인 실시예가 본 출원에 설명되었지만, 그 범위는 본 개시에 기초한 등가의 요소, 수정, 생략, 조합(예를 들어, 다양한 실시예에 걸친 양태들의 조합), 적응 또는 변경을 갖는 임의의 그리고 모든 실시예를 포함한다. 청구범위의 요소는 청구범위에 사용된 언어를 기초로 광범위하게 해석되어야 하며 본 명세서에 설명된 또는 본 출원의 수속 동안 설명되는 예에 제한되지 않고, 이러한 예는 배타적이지 않은 것으로 해석되어야 한다. 또한, 개시된 방법의 단계는 단계 순서변경 또는 단계 삽입 또는 삭제에 의한 것을 비롯한 임의의 방식으로 수정될 수 있다.

따라서, 명세서 및 예는 단지 예로서 고려되어야 하며, 진정한 범위와 사상은 다음 청구범위 및 그 균등물의 전체 범위에 의해 표시되는 것을 의도한다.

Claims (32)

1. 실시간 비디오 처리를 위한 컴퓨터 구현 시스템에 있어서,
   명령어를 저장하도록 구성된 적어도 하나의 메모리; 및
   동작을 수행하기 위해 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 동작은
   의료 이미지 시스템에 의해 생성된 실시간 비디오를 수신하되, 상기 실시간 비디오는 복수의 이미지 프레임을 포함하고;
   상기 의료 이미지 시스템에 의해 생성된 상기 실시간 비디오를 수신하는 동안,
   사용자와 상기 의료 이미지 시스템의 상호작용을 나타내는 상황 정보를 획득하고;
   상기 복수의 이미지 프레임에서 적어도 하나의 대상을 검출하기 위해 대상 검출을 수행하고;
   상기 복수의 이미지 프레임에서 상기 적어도 하나의 검출된 대상에 대한 분류 정보를 생성하기 위해 분류를 수행하고;
   상기 대상 검출 및 상기 분류 중 적어도 하나에 기초하여 상기 수신된 실시간 비디오를 수정하기 위해 이미지 수정을 수행하고, 비디오 디스플레이 디바이스 상에서 상기 이미지 수정을 갖는 상기 실시간 비디오의 디스플레이를 생성하는 것을 포함하고;
   상기 적어도 하나의 프로세서는 상기 상황 정보에 기초하여 상기 대상 검출 및 상기 분류 중 적어도 하나를 호출하도록 추가로 구성되는, 시스템.
2. 청구항 1에 있어서, 상기 대상 검출 및 상기 분류 중 적어도 하나는 상기 의료 이미지 시스템으로부터 수신된 프레임을 처리하도록 훈련된 적어도 하나의 신경망을 적용하여 수행되는, 시스템.
3. 청구항 1 또는 2에 있어서, 상기 적어도 하나의 프로세서는 상기 상황 정보가 상기 사용자가 대상을 식별하기 위해 상기 의료 이미지 시스템과 상호작용하고 있음을 나타낼 때 상기 대상 검출을 호출하도록 구성되는, 시스템.
4. 청구항 3에 있어서, 상기 적어도 하나의 프로세서는 상기 상황 정보가 사용자가 더 이상 대상을 식별하기 위해 상기 의료 이미지 시스템과 상호작용하지 않는다는 것을 나타낼 때 상기 대상 검출을 비활성화하도록 추가로 구성되는, 시스템.
5. 청구항 1 내지 4 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 상황 정보가 상기 사용자가 상기 복수의 이미지 프레임에서 상기 적어도 하나의 대상을 검사하기 위해 상기 의료 이미지 시스템과 상호작용하고 있음을 나타낼 때 상기 분류를 호출하도록 구성되는, 시스템.
6. 청구항 5에 있어서, 상기 적어도 하나의 프로세서는 상기 상황 정보가 상기 사용자가 더 이상 상기 복수의 이미지 프레임에서 상기 적어도 하나의 대상을 검사하기 위해 상기 의료 이미지 시스템과 상호작용하지 않는다는 것을 나타낼 때 상기 분류를 비활성화하도록 추가로 구성되는, 시스템.
7. 청구항 1 내지 6 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 상황 정보가 상기 사용자가 적어도 하나의 대상을 함유하는 상기 복수의 이미지 프레임 내의 영역에 관심이 있음을 나타낼 때 상기 대상 검출을 호출하도록 추가로 구성되고, 상기 적어도 하나의 프로세서는 상기 상황 정보가 상기 사용자가 상기 적어도 하나의 대상에 관심이 있음을 나타낼 때 상기 분류를 호출하도록 추가로 구성되는, 시스템.
8. 청구항 1 내지 7 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 대상을 함유하는 2개 이상의 프레임의 집성을 수행하도록 추가로 구성되고, 상기 적어도 하나의 프로세서는 상기 상황 정보에 기초하여 상기 집성을 호출하도록 추가로 구성되는, 시스템.
9. 청구항 1 내지 8 중 어느 한 항에 있어서, 상기 이미지 수정은 상기 적어도 하나의 검출된 대상의 위치를 나타내는 적어도 하나의 경계를 포함하는 오버레이, 상기 적어도 하나의 대상에 대한 분류 정보, 상기 적어도 하나의 대상의 확대된 이미지, 또는 수정된 이미지 컬러 분포 중 적어도 하나를 포함하는, 시스템.
10. 청구항 1 내지 9 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 시간 경과에 따른 2개 이상의 이미지 프레임에서 상기 적어도 하나의 검출된 대상의 위치에 대한 loU(Intersection over Union) 값에 기초하여 상기 상황 정보를 생성하도록 구성되는, 시스템.
11. 청구항 1 내지 10 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 2개 이상의 이미지 프레임의 이미지 유사성 값에 기초하여 상기 상황 정보를 생성하도록 구성되는, 시스템.
12. 청구항 1 내지 11 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 복수의 이미지 프레임에서 하나 이상의 대상의 검출 또는 분류에 기초하여 상기 상황 정보를 생성하도록 구성되는, 시스템.
13. 청구항 1 내지 12 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 사용자로부터 상기 의료 이미지 시스템에 의해 수신된 입력에 기초하여 상기 상황 정보를 생성하도록 구성되는, 시스템.
14. 청구항 1 내지 13 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 분류 정보에 기초하여 상기 상황 정보를 생성하도록 추가로 구성되는, 시스템.
15. 청구항 1 내지 14 중 어느 한 항에 있어서, 상기 복수의 이미지 프레임은 위장 장기의 이미지 프레임을 포함하는, 시스템.
16. 청구항 1 내지 15 중 어느 한 항에 있어서, 상기 프레임은 내시경 검사, 위내시경, 대장 내시경, 소장 내시경, 복강경 또는 외과 내시경 중 적어도 하나 동안 사용되는 상기 의료 이미지 디바이스로부터의 이미지를 포함하는, 시스템.
17. 청구항 1 내지 16 중 어느 한 항에 있어서, 상기 적어도 하나의 검출된 대상은 이상(abnormality)인, 시스템.
18. 청구항 17에 있어서, 상기 이상은 인체 조직의 또는 인체 조직 상의 형성물, 한 유형의 세포에서 다른 유형의 세포로의 인체 조직의 변화, 인체 조직이 예상되는 위치로부터의 인체 조직의 부재 또는 병변 중 적어도 하나를 포함하는, 시스템.
19. 실시간 비디오 처리 방법에 있어서,
    의료 이미지 시스템에 의해 생성된 실시간 비디오를 수신하는 단계로서, 상기 실시간 비디오는 복수의 이미지 프레임을 포함하는, 상기 수신하는 단계;
    적어도 하나의 신경망을 제공하는 단계로서, 상기 적어도 하나의 신경망은 상기 의료 이미지 시스템으로부터의 이미지 프레임을 처리하도록 훈련되는, 상기 제공하는 단계;
    사용자와 상기 의료 이미지 시스템의 상호작용을 나타내는 상황 정보를 획득하는 단계;
    상기 상황 정보에 기초하여 상기 상호작용을 식별하는 단계; 및
    상기 적어도 하나의 훈련된 신경망을 적용하여 상기 식별된 상호작용에 기초하여 상기 복수의 이미지 프레임에 대해 실시간 처리를 수행하는 단계를 포함하는, 방법.
20. 청구항 19에 있어서, 상기 실시간 처리를 수행하는 단계는 상기 복수의 이미지 프레임에서 적어도 하나의 대상을 검출하기 위한 대상 검출, 상기 적어도 하나의 검출된 대상에 대한 분류 정보를 생성하기 위한 분류, 및 상기 수신된 실시간 비디오를 수정하기 위한 이미지 수정 중 적어도 하나를 수행하는 단계를 포함하는, 방법.
21. 청구항 20에 있어서, 상기 식별된 상호작용이 상기 사용자가 대상을 식별하도록 탐색 조작하기 위해 상기 의료 이미지 시스템과 상호작용하는 것일 때 상기 대상 검출이 호출되는, 방법.
22. 청구항 21에 있어서, 상기 상황 정보가 상기 사용자가 더 이상 대상을 식별하도록 탐색 조작하기 위해 상기 의료 이미지 시스템과 상호작용하지 않는다는 것을 나타낼 때 상기 대상 검출이 비활성화되는, 방법.
23. 청구항 20 내지 22 중 어느 한 항에 있어서, 상기 식별된 상호작용이 상기 사용자가 상기 복수의 이미지 프레임에서 상기 적어도 하나의 검출된 대상을 검사하기 위해 상기 의료 이미지 시스템과 상호작용하는 것일 때 상기 분류가 호출되는, 방법.
24. 청구항 20 내지 23 중 어느 한 항에 있어서, 상기 상황 정보가 상기 사용자가 더 이상 상기 복수의 이미지 프레임에서 적어도 하나의 검출된 대상을 검사하기 위해 상기 의료 이미지 시스템과 상호작용하지 않는다는 것을 나타낼 때 상기 분류가 비활성화되는, 방법.
25. 청구항 20 내지 24 중 어느 한 항에 있어서, 상기 상황 정보가 상기 사용자가 적어도 하나의 대상을 함유하는 상기 복수의 이미지 프레임 내의 영역에 관심이 있음을 나타낼 때 상기 대상 검출이 호출되고, 상기 상황 정보가 상기 사용자가 상기 적어도 하나의 대상에 관심이 있음을 나타낼 때 상기 분류가 호출되는, 방법.
26. 청구항 20 내지 25 중 어느 한 항에 있어서, 상기 대상 검출 및 상기 분류 중 적어도 하나는, 상기 의료 이미지 시스템으로부터 수신된 프레임을 처리하도록 훈련된 적어도 하나의 신경망을 적용하여 수행되는, 방법.
27. 청구항 20 내지 26 중 어느 한 항에 있어서, 상기 이미지 수정은 상기 적어도 하나의 검출된 대상의 위치를 나타내는 적어도 하나의 경계를 포함하는 오버레이, 상기 적어도 하나의 검출된 대상에 대한 분류 정보, 상기 적어도 하나의 검출된 대상의 확대된 이미지 또는 수정된 이미지 컬러 분포 중 적어도 하나를 포함하는, 방법.
28. 청구항 20 내지 27 중 어느 한 항에 있어서, 상기 적어도 하나의 검출된 대상은 이상인, 방법.
29. 청구항 28에 있어서, 상기 이상은 인체 조직의 또는 인체 조직 상의 형성물, 한 유형의 세포에서 다른 유형의 세포로의 인체 조직의 변화, 인체 조직이 예상되는 위치로부터의 인체 조직의 부재 또는 병변 중 적어도 하나를 포함하는, 방법.
30. 청구항 19 내지 29 중 어느 한 항에 있어서, 상기 상황 정보에 기초하여 적어도 하나의 대상을 함유하는 2개 이상의 프레임의 집성을 수행하는 단계를 더 포함하는, 방법.
31. 청구항 19 내지 30 중 어느 한 항에 있어서, 상기 복수의 이미지 프레임은 위장 장기의 이미지 프레임을 포함하는, 방법.
32. 청구항 19 내지 31 중 어느 한 항에 있어서, 상기 프레임은 내시경 검사, 위내시경, 대장 내시경, 소장 내시경, 복강경 또는 외과 내시경 중 적어도 하나 동안 사용되는 상기 의료 이미지 디바이스로부터의 이미지를 포함하는, 방법.

Images