KR102140437B1 - 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스 - Google Patents

Abstract

본 발명은, 목적 부위에 대한 초음파 이미지를 수신하는 단계, 초음파 이미지를 기초로 암 의심 영역을 결정하도록 학습된 제1 암 의심 영역 예측 모델 및 제1 암 의심 영역 예측 모델과 상이한 제2 암 의심 영역 예측 모델을 이용하여, 초음파 이미지 내에서 암 의심 영역을 결정하는 단계, 및 초음파 이미지 내에서 결정된 암 의심 영역을 제공하는 단계를 포함하는 암 의심 영역의 예측 방법 및 이를 이용한 디바이스를 제공한다.

Description

암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스 {METHOD FOR PREDICTING CANCER SUSPICIOUS AREA AND DEVICE FOR PREDICTING CANCER SUSPICIOUS AREA USING THE SAME}

본 발명은 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에 관한 것으로, 보다 구체적으로 목적 부위에 대한 초음파 이미지 내에서의 암 의심 영역을 예측하는 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에 관한 것이다.

초음파 장치는 피검사체에 쏘아진 초음파의 반사파를 이용하여 피검사체의 내부 조직을 이미지화 시키는 장치이다. 초음파는 서로 다른 두 물질의 경계에서 반사율이 다른 특성을 가지는데, 이러한 초음파의 특성을 이용하면 피검사체의 목적 부위에 대한 이미지화가 가능할 수 있다.

이때, 초음파 장치는, 프로브 (probe) 라고 불리는 초음파 탐촉자를 이용하여 피검사체의 내부로 초음파를 송신하고, 피검자 내의 목적 부위의 조직에서 반사되어 되돌아오는 응답 신호를 상기 초음파 탐촉자를 통해 수신한다. 그리고, 초음파 장치는, 초음파 탐촉자가 수신한 응답 신호를 분석하여 피검사체의 목적 부위에 대한 이미지를 구성하고, 이 내부 조직의 이미지를 나타낼 수 있는 디스플레이부로 출력한다. 이러한 초음파 시스템은 초음파 장치에 의해 피검자의 목적 부위의 내부 조직을 확인할 수 있고, 다른 방법보다 간편하게 목적 부위에 대한 상태를 확인 할 수 있다.

한편, 질환의 진단에 있어서 이상의 초음파 시스템을 이용할 경우, 사용자는 피검자에 대하여 획득된 목적 부위가 포함된 초음파 이미지를 통해 이의 상태, 위치, 크기 등을 판단할 수 있다. 예를 들어, 초음파 장치를 이용하여 목적 부위의 연 조직 내에 존재하는 암 또는 종양의 유무를 진단하는 할 때, 사용자는 육안으로 종양과 같은 비 정상 조직을 판단한다. 다음으로, 이들의 윤곽선 상의 점을 선택하고 점 사이의 거리를 산출하여 그 크기를 산출한다. 그러나, 초음파 이미지는 잡음 등으로 인해 화질이 저하되기 쉽고, 암이나 종양은 초음파 이미지 내에서 그 경계가 불분명하다. 이에, 기존의 초음파 시스템을 이용한 진단, 특히 암의 진단은 세밀한 작업을 위해 많은 시간이 요구될 뿐만 아니라, 사용자의 숙련도에 따라 그 결과가 달라질 수 있다.

의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 초음파를 이용한 진단, 특히 암 진단의 정확도를 높일 수 있는 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.

한편, 초음파 시스템을 이용한 진단에 있어서 목적 부위에 대하여 선명한 해상도를 갖는 최적의 초음파 이미지를 획득하기 위한 방법으로, 이미지 파라미터 (게인, DR (Dynamin Range), TGC (Time Gain Compensation)) 의 설정값을 조절하여 초음파 이미지의 밝기 (brightness), 해상도 (resolution), 대조도 (contrast) 등을 조절하는 방법이 제안되었다.

그러나, 이러한 방법은 사용자가 파라미터를 직접 미세 조정해야 하기 때문에 사용자로 하여금 높은 작업 피로도를 유발할 뿐만 아니라, 복잡한 조정 절차로 인해 초음파 이미지 획득 시간이 증대될 수 있는 문제가 야기될 수 있다.

한편, 본 발명의 발명자들은 종래의 초음파 시스템을 이용한 진단, 특히 암 진단법이 갖는 문제점을 해결하기 위해, 초음파 영상 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.

그 결과, 본 발명의 발명자들은 환자의 초음파 영상 내에서 존재하는 암 영역의 검출에 대한 정확도를 높일 수 있는, 서로 상이한 조건으로 학습된 두 개의 예측 모델을 적용한 새로운 암 진단 방법을 개발하기에 이르렀다.

보다 구체적으로 본 발명의 발명자들은, 초음파 검사 및 조직 검사에 의해 암으로 확진된 영역을 포함하는 초음파 이미지, 및 초음파 검사를 통해 암으로 의심되었으나 조직 검사에서 정상으로 결정된 암 의심 영역을 포함하는 초음파 이미지를 기초로 학습된, 두 개의 암 의심 영역 예측 모델을 이용함으로써 초음파 이미지 내에서의 암 의심 영역을 높은 정확도로 예측하는 것을 확인할 수 있었다.

특히, 본 발명의 발명자들은 두 개의 암 의심 영역 예측 모델이 초음파 이미지 내에서 암 의심 영역에 대한 픽셀값, 질감 (texture) 또는 주변 영역과의 픽셀값의 차이 정도를 기초로 목적 부위에 대한 초음파 이미지 내에서 암 의심 영역을 예측하도록 구성함으로써, 암 의심 영역의 검출의 정확도를 높일 수 있었다.

이에, 본 발명이 해결하고자 하는 과제는 초음파 이미지를 기초로 암 의심 영역을 결정하도록 학습된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 이용하여 초음파 이미지 내에서 암 의심 영역을 결정하도록 구성된, 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 결정된 초음파 이미지 내에서 암 의심 영역에 대하여, 암인지를 예측하도록 학습된 암 예측 모델을 더 이용해 암 또는 정상인지에 대한 정보를 확률적으로 제공하여 사용자의 숙련도에 관계 없이 암의 진단의 정확도를 높일 수 있는, 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는, 초음파 이미지 내에서 사용자에 의해 선택된 영역에 대하여 암인 확률을 제공할 수 있는 암 예측 모델을 이용한, 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는, 복수개의 초음파 이미지를 수신하여 각각의 이미지에 대하여 암 의심 영역을 결정함으로써, 초음파 분석과 동시에 암 의심 영역을 검출할 수 있는, 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법이 제공된다. 본 방법은, 목적 부위에 대한 초음파 이미지를 수신하는 단계, 초음파 이미지를 기초로 암 의심 영역을 결정하도록 학습된 제1 암 의심 영역 예측 모델 및 제1 암 의심 영역 예측 모델과 상이한 제2 암 의심 영역 예측 모델을 이용하여, 초음파 이미지 내에서 암 의심 영역을 결정하는 단계, 및 초음파 이미지 내에서 결정된 암 의심 영역을 제공하는 단계를 포함한다.

본 발명의 특징에 따르면, 암 의심 영역의 예측 방법은, 암 의심 영역에 대하여 암인지를 예측하도록 학습된 암 예측 모델을 이용하여, 초음파 이미지 내의 암 의심 영역에 대하여 암 또는 정상으로 예측하는 단계를 더 포함할 수 있다.

본 발명의 다른 특징에 따르면, 암 의심 영역을 결정하는 단계는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해, 픽셀 단위로 암 의심 영역이 결정되는 단계를 포함할 수 있고, 암 의심 영역의 예측 방법은 암 의심 영역을 포함하는 복수의 픽셀 단위로 구성된 이미지 패치에 대하여 암 예측 모델을 이용하여 암 또는 정상으로 예측하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 암 의심 영역의 예측 방법은 사용자로부터 선택된 초음파 이미지 내에서 선택된 영역을 입력 받는 단계를 더 포함할 수 있고, 초음파 이미지 내에서 암 의심 영역을 결정하는 단계는 입력 받은 선택된 영역을 암 의심 영역으로 결정하는 단계를 포함하고, 암 예측 모델을 이용하여, 사용자로부터 선택된 암 의심 영역에 대하여 암인 확률을 예측하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 암 의심 영역의 예측 방법은 초음파 이미지의 대비, 명암, 해상도, 크기 및 좌우 대칭 중 적어도 하나를 조절하는, 초음파 이미지에 대한 전처리 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은 목적 부위에 대하여 암으로 확진된 영역을 포함하는 초음파 이미지, 및 암으로 의심되었으나 조직 검사를 통해 정상으로 판단되었던 암 의심 영역을 포함하는 초음파 이미지를 기초로, 암 의심 영역을 결정하도록 학습된 예측 모델일 수 있다.

본 발명의 또 다른 특징에 따르면, 제1 암 의심 영역 예측 모델은 암으로 확진된 영역을 포함하는 초음파 이미지와 암 의심 영역을 포함하는 초음파 이미지에 대하여 일정한 비율로 학습된 예측 모델이고, 제2 암 의심 영역 예측 모델은 암으로 확진된 영역을 포함하는 초음파 이미지보다 암 의심 영역을 포함하는 초음파 이미지에 대하여 높은 비율로 학습된 예측 모델일 수 있다.

본 발명의 또 다른 특징에 따르면, 초음파 이미지는 복수의 영역을 포함하고, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은 초음파 이미지 내의 복수의 영역 각각에 대한 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로, 초음파 이미지 내에서의 암 의심 영역을 결정하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 초음파 이미지 내에서 암 의심 영역을 결정하는 단계는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 통해 초음파 이미지에 대하여 공통적으로 예측된 의심 영역을, 암 의심 영역으로 결정하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 초음파 이미지에 대하여 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델 중 하나의 모델에서 예측된 의심 영역을, 암 의심 영역에 대한 후보 영역으로 결정하는 단계를 더 포함하고, 제공하는 단계는 초음파 이미지 내에서 결정된 암 의심 영역 및 후보 영역이 구별되도록 표시하여 제공하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 암 의심 영역의 예측 방법은 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해 초음파 이미지 내에서 암 의심 영역이 결정되지 않을 경우, 초음파 이미지의 재수신 요청의 표시를 제공하거나 목적 부위에 대한 초음파 측정의 가이드 라인을 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 초음파 이미지를 수신하는 단계는 목적 부위에 대한 복수개의 초음파 이미지를 수신하는 단계를 포함하고, 초음파 이미지 내에서 암 의심 영역을 결정하는 단계는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 이용하여 복수개의 초음파 이미지 각각에 대하여 암 의심 영역을 결정하는 단계를 포함할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 암 의심 영역의 예측 디바이스가 제공된다. 본 디바이스는, 목적 부위에 대한 초음파 이미지를 획득하도록 구성된 초음파 탐촉자, 초음파 탐촉자와 동작 가능하게 연결된 프로세서를 포함하고, 프로세서는 초음파 이미지를 기초로 암 의심 영역을 결정하도록 학습된 제1 암 의심 영역 예측 모델 또는 제1 암 의심 영역 예측 모델과 상이한 제2 암 의심 영역 예측 모델을 이용하여, 초음파 이미지 내에서 암 의심 영역을 결정하도록 구성될 수 있다.

본 발명의 특징에 따르면, 암 의심 영역의 예측 디바이스의 프로세서는, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해 결정된 암 의심 영역에 대하여, 암인지를 예측하도록 학습된 암 예측 모델을 이용해 암 또는 정상으로 예측하도록 더 구성될 수 있다.

본 발명의 다른 특징에 따르면, 암 의심 영역의 예측 디바이스의 프로세서는, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해, 픽셀 단위로 암 의심 영역이 결정하고, 암 의심 영역을 포함하는 복수의 픽셀 단위로 구성된 이미지 패치에 대하여, 암 예측 모델을 이용하여 암 또는 정상으로 예측하도록 더 구성될 수 있다.

본 발명은 초음파 이미지 내에서 암 의심 영역을 예측하도록 구성된 두 개의 암 의심 영역 예측 모델을 이용한, 암 의심 영역의 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 피검자의 목적 부위에 대하여 정확한 진단 정보를 제공할 수 있는 효과가 있다.

구체적으로, 본 발명은 두 개의 암 의심 영역 예측 모델 모두가 초음파 이미지 내에서 높은 확률로 결정한 영역을, 암 의심 영역으로 결정하고 이를 제공함으로써 사용자로 하여금 정확한 암 진단이 가능하게 할 수 있게 한다. 나아가, 본 발명은 두 개의 암 의심 영역 예측 모델 중 하나의 모델을 통해 결정된, 암으로 의심 되지만 가능성이 다소 낮은 암 의심 후보 영역에 대한 정보를 함께 제공할 수 있어, 암의 진단에 도움을 줄 수 있다.

본 발명은, 초음파 이미지 내에서 사용자로부터 선택된 영역에 대하여, 암인 확률을 예측하여 제공할 수 있는 효과가 있다.

또한, 본 발명은 복수개의 초음파 이미지를 수신하여 각각의 이미지에 대한 초음파 분석과 동시에 각각의 초음파 이미지 내의 암 의심 영역을 결정할 수 있는, 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스를 제공할 수 있는 효과가 있다. 이에, 본 발명은 피검자의 목적 부위에 대한 이미지를 획득과 동시에 초음파 이미지 내에서 결정된 암 의심 영역에 대한 암 또는 정상의 예측이 동시에 수행될 수 있는 효과가 있다.

나아가, 본 발명은 피검자의 목적 부위에 대하여 암 의심 영역이 결정되지 않을 경우, 이를 사용자에게 알리거나 초음파 측정 가이드라인을 더 제공할 수 있는 효과가 있다. 이에, 본 발명은 사용자의 초음파 시스템 사용의 숙련도에 관계 없이, 피검자의 목적 부위에 대한 정확한 진단 결과를 제공할 수 있는 효과가 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 암 의심 영역의 예측 디바이스의 구성을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법에 의한 초음파 이미지 내의 암 의심 영역의 결정의 절차를 예시적으로 도시한 것이다.
도 2c는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법에 의해 결정된 암 의심 영역에 대한 암 여부의 예측 절차를 예시적으로 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 두 개의 암 의심 영역 예측 모델에 대한 학습 데이터를 도시한 것이다.
도 3b 및 3c는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 두 개의 암 의심 영역 예측 모델에 대한 학습 초음파 이미지 데이터를 도시한 것이다.
도 3d는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 두 개의 암 의심 영역 예측 모델을 예시적으로 도시한 것이다.
도 4a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 두 개의 암 의심 영역 예측 모델의 성능 평가를 위한 척도를 예시적으로 도시한 것이다.
도 4b는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제1 암 의심 영역 예측 모델에 대한 평가 척도에 따른 검출률을 도시한 것이다.
도 4c는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제2 암 의심 영역 예측 모델에 대한 평가 척도에 따른 검출률을 도시한 것이다.
도 4d는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 함께 이용했을 때의 평가 척도에 따른 검출률을 도시한 것이다.
도 5a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제1 암 의심 영역 예측 모델의 이용에 따른 초음파 이미지 내에서의 암 의심 영역 예측 결과를 도시한 것이다.
도 5b는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제2 암 의심 영역 예측 모델의 이용에 따른 초음파 이미지 내에서의 암 의심 영역 예측 결과를 도시한 것이다.
도 5c는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델의 이용에 따른 초음파 이미지 내에서의 암 의심 영역 예측 결과를 도시한 것이다.
도 5d는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는 예측 모델에 대한, 암의 부위 및 악성도에 따른 미검출의 결과를 도시한 것이다.

발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.

본 명세서에서 사용되는 용어, "초음파 이미지"는 초음파 탐촉자와 같은 초음파 시스템에 의해 수신된 에코신호를 기초로 형성된 이미지를 의미할 수 있다. 나아가, 초음파 이미지는 본 명세서 내에서 "초음파 영상"과 상호 교환적으로 이용될 수 있다. 이에, 목적 부위에 대한 초음파 이미지는, 목적 부위를 포함하는 2차원 이미지, 3차원 이미지, 한 컷의 스틸 이미지, 복수개의 컷으로 구성된 동영상 이미지 등을 의미할 수 있다. 예를 들어, 초음파 이미지는 복수개의 컷으로 구성된 동영상 이미지일 경우, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법에 따라 복수개의 초음파 이미지 각각에 대한 암 의심 영역의 검출 및 이에 대한 암 또는 정상인지의 예측이 가능할 수 있다. 그 결과, 본 발명의 일 실시예에 암 의심 영역의 예측 방법 및 이를 이용한 디바이스는 초음파 탐촉자에 의한 초음파 이미지의 수신과 실질적으로 동시에 암 의심 영역의 예측 결과를 함께 제공할 수 있다.

한편, 목적 부위에 대한 초음파 이미지에 기초한 암 의심 영역의 예측은, 암의 조기 진단에 있어서 특히 중요할 수 있다. 이때, 본 명세서에서 사용되는 용어, "목적 부위"는 질환의 유무 등의 상태를 예측하고자 하는 피검자의 특정 신체 부위일 수 있다. 예를 들어, 목적 부위는, 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 갑상선 또는 유방일 수 있다. 그러나, 목적 부위는 이에 제한되는 것은 아니며 초음파 탐촉자에 의해 이미지가 획득되는 한 다양한 부위가 될 수 있다.

본 명세서에서 사용되는 용어, "암 의심 영역"은 목적 부위에 대한 초음파 이미지 내에서 암으로 의심되는 영역을 의미할 수 있다. 예를 들어, 암 의심 영역은 다른 영역에 대하여 상이한 픽셀 값, 질감을 가질 수 있다. 이때, 암 의심 영역은 목적 부위에 나타난 낭종, 염증 또는 종괴 조직에 대한 영역일 수도 있고, 정상 조직에 대한 영역을 포함할 수 있다.

한편, 초음파 이미지 내에서 낭종, 염증 또는 종괴 조직을 포함하는 암 의심 영역은 그 경계가 모호하거나 정상 조직과 유사하게 나타날 수 있어, 사용자의 숙련도에 따라 검출률이 달라질 수 있다.

이러한 문제를 해결하기 위해, 초음파 이미지 내에서 암 의심 영역을 예측하도록 학습된 예측 모델이 암 의심 영역의 예측에 이용될 수 있다.

본 명세서에서 사용되는 용어, "암 의심 영역 예측 모델"은 피검자의 목적 부위에 대하여 암 의심 영역을 예측하고, 결정하기 위해 학습된 예측 모델 일 수 있다. 예를 들어, 암 의심 영역 예측 모델은 목적 부위에 대하여 초음파 검사 및 조직 검사에 의해 암으로 확진된 영역을 포함하는 초음파 이미지, 및 초음파 검사를 통해 암으로 의심되었으나 조직 검사에서 정상으로 결정된 암 의심 영역을 포함하는 초음파 이미지를 포함하는 데이터 세트를 이용하여 학습된 모델이다. 이러한 암 의심 영역 예측 모델은 초음파 이미지 내에서 암 의심 영역을 높은 정확도로 예측하고 결정할 수 있다.

한편, 암 의심 영역 예측 모델은 학습 데이터의 비율에 따라 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델로 분리되어 사용될 수 있다. "제1 암 의심 영역 예측 모델"은 암으로 확진된 영역을 포함하는 초음파 이미지와 상기 암 의심 영역을 포함하는 초음파 이미지에 대하여 일정한 비율로 학습된 예측 모델일 수 있다. 나아가, "제2 암 의심 영역 예측 모델"은 암으로 확진된 영역을 포함하는 초음파 이미지보다 암 의심 영역을 포함하는 초음파 이미지에 대하여 높은 비율로 학습된 예측 모델일 수 있다. 이때, 제2 암 의심 영역 예측 모델은 정상 조직과 유사한 암 의심 영역에 대한 미검출의 오류를 줄이기 위해, 암과 유사한 암 의심 영역을 더 검출하도록 학습된 예측 모델일 수 있다.

전술한 바와 같이 암 의심 영역 예측 모델은, 본 명세서에서 학습 데이터의 조건에 따라 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델로 구별될 뿐, 이들의 목적, 학습 방법 등이 상이한 것을 의미하는 것을 아니다.

본 명세서에서 사용되는 용어, "암 예측 모델"은 결정된 초음파 내의 암 의심 영역에 대하여 암 또는 정상인지를 예측하도록 구성된 예측 모델일 수 있다. 이때, 암 의심 영역에 대한 암 또는 정상의 판별은, 전술한 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해서 수행될 수도 있다.

본 명세서에서 개시되는 다양한 예측 모델은, 수신된 초음파 이미지에 대하여 이의 전체 영역, 또는 이의 일부 영역을 포함하도록 전처리된 초음파 이미지를 이용할 수 있다. 즉, 신속한 분석을 위해, 예측 모델들은 일정한 픽셀 값을 갖도록 크기가 조정된 초음파 이미지를 이용하는 것이 바람직할 수 있으나, 이에 제한되는 것은 아니다.

최종적으로, 사용자는 암 의심 영역 예측 모델을 통해 결정된 암 의심 영역을 포함하는 초음파 이미지를 획득 할 수 있고, 나아가 암 예측 모델을 통해 예측된 암 의심 영역에 대한 암인 확률을 확인 할 수 있다.

이하에서는 도 1 내지 도 2c를 참조하여 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 디바이스를 설명한다.

먼저, 도 1을 참조하여, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 디바이스를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 암 의심 영역의 예측 디바이스의 구성을 도시한 것이다.

도 1을 참조하면, 암 의심 영역의 예측 디바이스 (100) 는 초음파 탐촉자 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.

구체적으로 초음파 탐촉자 (110) 는 피검자의 목적 부위에 초음파 신호를 송신하고 이로부터 반사되는 초음파 에코신호를 수신할 수 있다. 나아가, 초음파 탐촉자 (110) 는 수신된 에코신호를 기초로 형성된 피검자의 목적 부위에 대한 초음파 이미지를 더 수신할 수 있도록 구성된다. 예를 들어, 초음파 탐촉자 (110) 는 피검자의 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 갑상선 또는 유방에 대한 초음파 이미지를 수신할 수 있다. 한편, 초음파 탐촉자 (110) 를 통해 수신된 피검자의 목적 부위에 대한 초음파 이미지는 암 조직 또는 암으로 의심되는 조직에 대한 영역을 포함할 수 있다.

입력부 (120) 는 키보드, 마우스, 터치 스크린 패널 등 제한되지 않는다. 입력부 (120) 는 암 의심 영역의 예측 디바이스 (100) 를 설정하고, 암 의심 영역의 예측 디바이스 (100) 의 동작을 지시할 수 있다. 예를 들어, 사용자는 입력부 (120) 를 통해, 초음파 탐촉자 (110) 에 의해 수신된 초음파 이미지 내에서, 암 의심 영역을 직접 결정할 수 있다.

한편, 출력부 (130) 는 초음파 탐촉자 (110) 에 의해 수신된 초음파 이미지를 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 초음파 이미지 내에서 결정된 암 의심 영역, 나아가 암 의심 영역에 대하여 예측된 암인 확률의 결과를 표시하도록 구성될 수 있다. 또한, 출력부 (130) 는, 프로세서 (150) 에 의해 목적 부위의 영역이 결정되지 않은 경우, 사용자가 이 사실을 용이하게 인지할 수 있도록 알림을 표시할 수 있고, 목적 부위에 대한 초음파 측정 가이드라인을 더 표시할 수 있다.

저장부 (140) 는 초음파 탐촉자 (110) 를 통해 수신한 피검자의 목적 부위에 대한 초음파 이미지를 저장하고, 입력부 (120) 를 통해 설정된 암 의심 영역의 예측 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술될 프로세서 (150) 에 의해 결정된 암 의심 영역을 저장할 수 있고, 결정된 암 의심 영역에 대하여 예측된 암인 확률의 결과를 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는 암 의심 영역을 결정하고 이에 대한 암인 확률을 예측하기 위한 프로세서 (150) 에 의해 결정된 다양한 정보들을 저장할 수 있다.

프로세서 (150) 는 암 의심 영역의 예측 디바이스 (110) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 암 의심 영역의 예측을 위해 프로세서 (150) 는 피검자의 목적 부위에 대한 초음파 이미지 내에서 암 의심 영역을 예측하도록 구성된 예측 모델을 이용하도록 구성될 수 있다. 예를 들어, 프로세서 (150) 는 피검자의 목적 부위에 대하여 암 의심 영역을 예측하도록 구성된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 이용하여, 초음파 탐촉자 (110) 를 통해 획득한 초음파 이미지를 입력해 초음파 이미지 내에서 암 의심 영역을 결정하도록 구성될 수 있다. 또한, 프로세서 (150) 는 암인지 여부를 확률적으로 산출하도록 구성된 암 예측 모델을 이용하여, 결정된 암 의심 영역에 대하여 암 또는 정상을 결정하도록 구성될 수 있다. 이때, 초음파 이미지 내에서 암 의심 영역을 결정하도록 구성된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델과, 예측된 암 의심 영역에 대하여 암인지 정상인지 예측하도록 구성된 암 예측 모델은, 이미지를 기초로 학습되는 다양한 학습 모델에 기초할 수 있다. 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델은 DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network) 또는 U-net을 기반으로 하는 예측 모델일 수 있으나, 이에 제한되는 것은 아니다.

한편, 프로세서 (150) 는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 이용하여 픽셀 단위로 초음파 이미지 내에서 암 의심 영역이 결정하고, 암 예측 모델을 이용하여 암 의심 영역을 포함하는 복수의 픽셀 단위로 구성된 이미지 패치에 대하여 암 또는 정상으로 예측하도록 더 구성될 수 있다.

이하에서는, 도 2a 내지 도 2c를 참조하여, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법을 구체적으로 설명한다. 이때, 피검자의 전립선 부위를 예로 들어, 목적 부위에 대한 암 의심 영역의 결정 과정을 설명한다. 그러나, 이에 제한되지 않고 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법은 보다 다양한 목적 부위에 대하여 적용될 수 있다.

도 2a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법의 절차를 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법에 의한 초음파 이미지 내의 암 의심 영역의 결정의 절차를 예시적으로 도시한 것이다. 도 2c는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법에 의해 결정된 암 의심 영역에 대한 암 여부의 예측 절차를 예시적으로 도시한 것이다.

도 2a를 참조하면, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 절차는 다음과 같다. 먼저, 피검자의 목적 부위에 대한 초음파 이미지를 수신한다 (S210). 그 다음, 초음파 이미지 내에서 암 의심 영역을 예측하도록 구성된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 이용하여, 초음파 이미지 내에서 암 의심 영역을 결정한다 (S220). 마지막으로, 초음파 이미지 내에 결정된 암 의심 영역에 대한 정보를 사용자에게 제공한다 (S230).

예를 들어, 도 2b를 참조하면, 초음파 이미지를 수신하는 단계 (S210) 에서는 피검자의 목적 부위로 설정된 전립선에 대하여 반사된 초음파 에코신호를 기초로 형성된 초음파 이미지 (212) 를 획득할 수 있다.

선택적으로, 초음파를 수신하는 단계 (S210) 에서는 초음파 이미지 (212) 에 대한 빠른 분석이 가능하도록 전처리가 수행된 초음파 이미지를 더 수신할 수 있다. 그렇지 않은 경우, 초음파를 수신하는 단계 (S210) 이후에 수신된 초음파 이미지 (212) 에 대하여 일정한 픽셀 단위를 갖도록 크기를 조절하거나 대비, 해상도, 명암, 또는 좌우 대칭을 조절하는, 초음파 이미지 (212) 에 대한 전처리 단계가 더 수행될 수 있다. 전처리 단계의 결과로, 초음파 이미지 (212) 는 후술할 예측 모델에서 요구되는 해상도 또는 크기를 갖게 되고, 원본 초음파 이미지보다 해상도 또는 크기가 작아질 수 있어, 예측 모델에서의 처리 속도가 향상될 수 있다.

또한, 초음파를 수신하는 단계 (S210) 에서는 목적 부위에 대한 복수개의 초음파 이미지를 수신할 수 있다. 예를 들어, 도 2b를 참조하면 전립선 부위에 대하여, 초음파 탐촉자에 의해 실시간으로 초음파 이미지 (212) 가 획득됨으로써, 전립선 부위에 대한 복수개의 초음파 이미지가 획득될 수 있다.

도 2b를 참조하면, 암 의심 영역을 결정하는 단계 (S220) 에서는 제1 암 의심 영역 예측 모델 (222) 및 제2 암 의심 영역 예측 모델 (224) 각각에 초음파를 수신하는 단계 (S210) 에서 획득된 전립선 부위에 대한 초음파 이미지 (212) 가 입력된다. 이때, 제1 암 의심 영역 예측 모델 (222) 및 제2 암 의심 영역 예측 모델 (224) 각각은 초음파 이미지 (212) 내에 존재하는 복수의 영역들에 대한 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초 암 의심 영역을 결정할 수 있다. 제1 암 의심 영역 예측 모델 (222) 및 제2 암 의심 영역 예측 모델 (224) 은 각각 입력된 초음파 이미지 (212) 에 대한 암 의심 영역을 예측할 수 있다.

선택적으로, 암 의심 영역을 결정하는 단계 (S220) 에서는 제1 암 의심 영역 예측 모델 (222) 및 제2 암 의심 영역 예측 모델 (224) 을 통해 초음파 이미지 (212) 에 대하여 공통적으로 예측된 암 의심 영역을 최종 암 의심 영역으로 결정할 수 있다. 예를 들어, 도 2b를 참조하면, 제1 암 영역 예측 모델 (222) 에 의해 초음파 이미지 (212) 내에서 암 의심 영역 (226 (a)) 이 예측되고, 제2 암 영역 예측 모델 (224) 에 의해 초음파 이미지 (212) 내의 암 의심 영역 (228 (a) 및 228 (b)) 가 예측된다. 이때, 암 의심 영역 (226 (a)) 및 암 의심 영역 (228 (a)) 은 제1 암 의심 영역 예측 모델 (222) 및 제2 암 의심 영역 예측 모델 (224) 각각에 의해 공통적으로 예측된 암 의심 영역이다. 이에, 암 의심 영역을 결정하는 단계 (S220) 에서는 암 의심 영역 (226 (a) 및 228 (a)) 을 최종 암 의심 영역 (232 (a)) 로 결정하고, 제2 암 영역 예측 모델 (224) 에서만 예측된 암 의심 영역 (228 (b)) 에 대하여 암 의심 영역의 후보 영역 (232 (b)) 으로 결정할 수 있다.

선택적으로, 암 의심 영역을 결정하는 단계 (S220) 에서는 제1 암 의심 영역 예측 모델 (222) 및 상기 제2 암 의심 영역 예측 모델 (224) 에 의해, 픽셀 단위로 암 의심 영역 (232 (a)) 을 결정할 수 있다.

또한, 암 의심 영역을 결정하는 단계 (S220) 에서는 제1 암 의심 영역 예측 모델 (222) 및 상기 제2 암 의심 영역 예측 모델 (224) 에 의해, 복수개의 초음파 이미지 (212) 각각에 대하여 암 의심 영역 (232 (a)) 을 결정할 수 있다.

한편, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법에서는 초음파 이미지 (212) 내에서 사용자로부터 선택된 영역을 입력 받고, 암 의심 영역을 결정하는 단계 (S220) 에서는 사용자로부터 입력 받은 선택된 영역을 암 의심 영역으로 결정할 수 있다.

다음으로, 도 2b를 참조하면, 암 의심 영역을 제공하는 단계 (S230) 에서는 두 개의 암 의심 영역 예측 모델 (222, 224) 에 의해 최종적으로 결정된 암 의심 영역 (232 (a)) 을 사용자에게 제공한다. 보다 구체적으로, 암 의심 영역을 제공하는 단계 (S230) 에서는, 제1 암 의심 영역 예측 모델 (222) 및 제2 암 의심 영역 예측 모델 (224) 각각에 의해 공통적으로 예측된, 최종 암 의심 영역 (232 (a)) 이 포함된 패치 단위의 이미지가 사용자에게 제공될 수 있다. 또한, 암 의심 영역을 제공하는 단계 (S230) 에서는, 결정된 암 의심 영역 (232 (a)) 이 표시된 초음파 이미지 (232), 또는 제1 암 영역 예측 모델에 의해 결정된 암 의심 영역 (226 (a)) 를 포함하는 초음파 이미지 (226), 또는 제2 암 영역 예측 모델에 의해 결정된 암 의심 영역 (228 (a), 228 (b)) 를 포함하는 초음파 이미지 (226) 가 제공될 수 있다.

선택적으로, 암 의심 영역을 제공하는 단계 (S230) 에서는 두 개의 암 의심 영역 예측 모델 (222, 224) 에 의해 결정된 암 의심 영역 (232 (a)) 및 암 의심 영역의 후보 영역 (232 (b)) 을 포함하는 초음파 이미지 (232) 가 제공될 수 있다. 이때, 암 의심 영역 (232 (a)) 및 암 의심 영역의 후보 영역 (232 (b)) 은 서로 다른 명암, 색상으로 나타나는 등, 각각 구별되도록 초음파 이미지 (232) 내에 표시될 수 있다.

한편, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법에서는 암 의심 영역에 대하여 암인지를 예측하도록 학습된 암 예측 모델을 이용하여, 초음파 이미지 내의 암 의심 영역이 암 또는 정상인지 예측하는 단계가 더 수행될 수 있다. 예를 들어, 도 2c를 참조하면, 두 개의 암 의심 영역 예측 모델 (222, 224) 에 의해 최종적으로 결정된 암 의심 영역 (232 (a)) 은 암 예측 모델 (242) 에 입력되고, 암 의심 영역 (232 (a)) 에 대한 암인 확률이 산출될 수 있다. 이때, 암 예측 모델 (242) 에 의해 암인 확률이 50 %가 넘는 암 의심 영역 (232 (a)) 은 암으로 예측될 수 있다. 또한, 암 의심 영역의 후보 영역 (232 (b)) 과 같은 암인 가능성이 낮은 영역은, 암 예측 모델 (242) 에 입력된 후, 암인 확률이 50 %가 넘지 않아, 정상으로 예측될 수 있다. 다만, 암으로 예측 하는 것에 있어서 이의 확률은 50 %에 제한되지 않고, 사용자에 의해 보다 다양한 범위로 설정될 수 있다. 예를 들어, 사용자는 암 예측 모델에 대하여 종양의 악성도, 환자의 나이, 암의 진행 정도, 암의 종류 등에 따라 가중치를 상이하게 설정할 수 있고, 이에 암 예측 모델은 환자 개인 개인에 대하여 높은 정확도로 암을 예측할 수 있다.

한편, 암 의심 영역이 암 또는 정상인지 예측하는 단계에서는, 암 의심 영역을 포함하는, 복수의 픽셀 단위로 구성된 이미지 패치에 대하여, 암 예측 모델을 이용하여 암 또는 정상으로 예측할 수 있다. 예를 들어, 도 2c를 참조하면 암 의심 영역 (232 (a)) 만을 포함하는 이미지 패치, 또는 암 의심 영역의 후보 영역 (232 (b)) 만을 포함하는 이미지 패치는 암 예측 모델 (242) 에 의해 암 또는 정상으로 예측될 수 있다.

선택적으로, 암 의심 영역이 암 또는 정상인지 예측하는 단계에서는 암 예측 모델을 이용하여, 상기 사용자로부터 선택된 암 의심 영역에 대하여 암인 확률을 예측할 수 있고, 복수개의 초음파 이미지 각각에 대하여 결정된 암 의심 영역에 대하여 암인 확률을 예측할 수 있다.

본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법에서는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 모델에 의해 상기 초음파 이미지 내에서 암 의심 영역이 결정되지 않을 경우, 초음파 이미지의 재수신 요청의 표시를 제공하거나 상기 목적 부위에 대한 초음파 측정의 가이드 라인을 제공하는 단계가 더 수행될 수 있다. 이에, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법은 사용자의 숙련도에 관계 없이 보다 높은 정확도를 갖는 암 진단의 결과를 제공할 수 있다.

이하에서는, 도 3a 내지 도 3d를 참조하여, 두 개의 암 의심 영역 예측 모델의 학습 방법을 설명한다. 이때, 학습에 이용된 초음파 이미지는 전립선 부위에 대하여 암 또는 정상으로 판별된 환자에 대한 이미지가 이용되었으나, 이에 제한되지 않고 목적에 따라 다양한 초음파 이미지가 학습에 이용될 수 있다.

도 3a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 두 개의 암 의심 영역 예측 모델에 대한 학습 데이터를 도시한 것이다. 도 3b 및 3c는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 두 개의 암 의심 영역 예측 모델에 대한 학습 초음파 이미지 데이터를 도시한 것이다. 도 3d는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 두 개의 암 의심 영역 예측 모델을 예시적으로 도시한 것이다.

도 3a를 참조하면, 본 발명의 다양한 실시예에서 이용되는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은, 초음파 검사 및 조직 검사에 의해 암으로 확진된 영역을 포함하는 초음파 이미지 (암), 및 초음파 검사를 통해 암으로 확진되었으나 조직 검사에서 정상으로 결정된 암 의심 영역을 포함하는 초음파 이미지 (정상) 데이터를 기초로 학습된다.

보다 구체적으로, 제1 암 의심 영역 예측 모델은 암으로 확진된 영역을 포함하는 초음파 이미지 (암) 와 암 의심 영역을 포함하는 초음파 이미지 (정상) 에 대하여 약 1:1의 비율로 학습된다. 또한, 제1 암 의심 영역 예측 모델 의 검증 및 평가에서도 두 종류의 이미지에 대하여 동일한 비율이 적용된다.

제2 암 의심 영역 예측 모델은, 암으로 확진된 영역을 포함하는 초음파 이미지 (암) 보다 암 의심 영역을 포함하는 초음파 이미지 (정상) 가 높은 비율로 학습에 이용된다. 또한, 제2 암 의심 영역 예측 모델의 검증 및 평가에서도 두 종류의 이미지에 대하여, 암 의심 영역을 포함하는 초음파 이미지 (정상) 가 높은 비율로 이용될 수 있다. 이때, 제2 암 의심 영역 예측 모델은 정상 조직과 유사한 암 의심 영역에 대한 미검출의 오류를 줄이기 위해, 암과 유사한 암 의심 영역을 더 검출하도록 학습된 모델일 수 있다.

본 발명의 일 실시예에 따른, 암 의심 영역의 예측 방법 및 암 의심 영역의 예측 디바이스는, 서로 상이한 조건으로 학습된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 함께 이용함으로써, 보다 높은 정확도로 초음파 이미지 내에서 암 의심 영역을 예측할 수 있다.

보다 구체적으로, 도 3b를 참조하면, 학습에 이용되는 암으로 확진된 영역을 포함하는 초음파 이미지와 암 의심 영역을 포함하는 초음파 이미지는, 암으로 확진된 영역 및 암과 유사한 암 의심 영역이 정답으로 마스킹 (masking) 되고, 정상 조직 영역이 검은색의 배경으로 처리된다. 이때, 학습에 이용되는 초음파 이미지는 388 x 388 픽셀 (pixel) 을 갖는 초음파 이미지가 이용될 수 있으나, 이에 제한되는 것은 아니다. 나아가, 도 3c의 (a) 내지 (d)를 참조하면, 학습에 이용되는 암으로 확진된 영역을 포함하는 초음파 이미지 와 암 의심 영역을 포함하는 초음파 이미지는, 이미지의 좌우 반전, 확대, 회전, 변형을 적용하여 보다 다양한 학습 데이터로 이용될 수 있다.

도 3d를 참조하면, 본 발명의 본 발명의 다양한 실시예에서 이용되는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은, U-net이 이용될 수 있다. 이때, U-net 기반의 본 발명의 암 의심 영역 예측 모델은 입력된 초음파 이미지에 대하여 의미 있는 부분을 픽셀 단위로 예측 할 수 있다. 그러나, 본 발명의 다양한 실시예에서 이용되는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은 이에 제한되는 것은 아니며, 초음파 이미지에 대한 암 의심 영역의 예측을 위해 다양한 모델을 기반으로 할 수 있다.

보다 구체적으로, 도 3d의 U 형태의 암 의심 영역 예측 모델에서 왼쪽 영역은 컨볼루션 (convolutional) 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서는 커다란 초음파 이미지가 지역적 특징에서 전역적 특징으로 표현될 수 있다. 나아가, 암 의심 영역 예측 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 이미지가 확대되고, 결과적으로 특정 픽셀에서 0 또는 1의 값이 출력될 수 있다. 결과적으로, 암 의심 영역 예측 모델을 통해 초음파 이미지 내에서 예측된 암 의심 영역에서는 1이, 정상 조직과 같은 배경 영역에서는 0이 출력될 수 있고, 픽셀 단위의 예측이 가능할 수 있다.

이때, U 형태의 암 의심 영역 예측 모델에서 왼쪽에서 오른쪽으로 연결된 선은 커다란 초음파 영상이 작아지면서 해당 영역의 특징이 손실될 수 있어, 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이에, 예측 동안 입력된 초음파 이미지 내에서 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다.

한편, 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은 전술한 것에 제한되지 않고 보다 다양한 학습 데이터를 이용하는 등의 다양한 방법으로 학습될 수 있다. 나아가, 암 의심 영역에 대하여 암의 확률을 예측하도록 구성된, 암 예측 모델 또한 전술한 바와 같은 초음파 이미지 데이터를 이용하여 암 또는 정상을 예측하도록 학습될 수 있다.

실시예 1: 암 의심 영역 예측 모델의 평가

이하의 실시예 1에서는 본 발명의 다양한 실시예에 이용되는 예측 모델의 평가 방법 및 결과를 설명한다.

먼저, 도 4a 내지 도 4d를 참조하여, 두 개의 암 의심 영역 예측 모델의 평가 방법 및 그 결과를 설명한다.

도 4a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 두 개의 암 의심 영역 예측 모델의 성능 평가를 위한 척도를 예시적으로 도시한 것이다. 도 4b는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제1 암 의심 영역 예측 모델에 대한 평가 척도에 따른 검출률을 도시한 것이다. 도 4c는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제2 암 의심 영역 예측 모델에 대한 평가 척도에 따른 검출률을 도시한 것이다. 도 4d는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 함께 이용했을 때의 평가 척도에 따른 검출률을 도시한 것이다.

도 4a를 참조하면, 본 발명의 다양한 실시예에 이용되는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은, 미리 초음파 이미지 내에 마스킹된 정답 영역 (A) 과 1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해 초음파 이미지 내에서 예측된 예측 영역 (B) 에 대한 중첩률을 기초로 평가될 수 있다. 이때, 중첩률은 중첩 영역 (A∩B, C) 의 비율일 수 있다.

이때, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델의 평가에 있어서, 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해 예측된 결과가 얼마나 정답에 가깝게 예측한 것인지에 대한 평가에 고려될 수 있다. 한편, 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 는 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해 예측되지 않은 영역 (A-C) 을 더 고려한 평가에 이용될 수 있다. 이때, 암 또는 암 의심 부위를 포함하는, 암 의심 영역의 예측에 대한 평가에 있어서, 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 를 고려하는 것이, 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 만을 고려하는 것 보다 정확할 수 있다.

한편, 중첩 영역 (C) 의 비율인 예측 영역 및 정답 영역의 중첩률은 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에의 성능 평가에 있어서 다양한 척도로 설정될 수 있다. 예를 들어, 예측 영역 및 정답 영역의 중첩률이 10 % 로 설정된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은, 예측 영역 (B) 에 정답 영역 (A) 이 10 % 이상 포함되면, 암 의심 영역을 정확하게 찾은 것으로 평가할 수 있다. 나아가, 예측 영역 및 정답 영역의 중첩률이 30 % 로 설정된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은, 예측 영역 (B) 에 정답 영역 (A) 이 30 % 이상 포함되면, 암 의심 영역을 정확하게 찾은 것으로 평가할 수 있다. 즉, 예측 영역 및 정답 영역의 중첩률이 10 % 로 설정된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은 예측 영역 및 정답 영역의 중첩률이 30 % 로 설정된 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델보다 높은 성능을 보이는 것으로 평가될 수 있다.

도 4b의 (a)를 참조하면, 제1 암 의심 영역 예측 모델에 대한 평가 척도 (A∪B/C, 또는 B/C) 에 따른 암 영역 (초음파 및 조직 검사상 암으로 확진) 의 검출률이 도시된다. 도 4b의 (b)를 참조하면, 제1 암 의심 영역 예측 모델에 대한 평가 척도 (A∪B/C, 또는 B/C) 에 따른 암 의심 영역 (조직 검사상 정상) 의 검출률이 도시된다.

보다 구체적으로, 제1 암 의심 영역 예측 모델의 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는, 예측 영역 및 정답 영역의 중첩률인 중첩 영역 (C) 의 비율을 높게 설정할수록 정답의 검출률이 낮아지는 것으로 나타난다. 특히, 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 는 예측 영역 및 정답 영역의 중첩률이 높아질수록 이에 대한 검출의 정확도가 크게 낮아지는 것으로 나타난다.

도 4c의 (a)를 참조하면, 제2 암 의심 영역 예측 모델에 대한 평가 척도 (A∪B/C, 또는 B/C) 에 따른 암 영역 (초음파 및 조직 검사상 암으로 확진) 의 검출률이 도시된다. 도 4c의 (b)를 참조하면, 제2 암 의심 영역 예측 모델에 대한 평가 척도 (A∪B/C, 또는 B/C) 에 따른 암 의심 영역 (조직 검사상 정상) 의 검출률이 도시된다.

보다 구체적으로, 제2 암 의심 영역 예측 모델의 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는, 도 4b의 결과와 마찬가지로 예측 영역 및 정답 영역의 중첩률인 중첩 영역 (C) 의 비율을 높게 수록 정답의 검출률이 낮아지는 것으로 나타난다. 이때, 제2 암 의심 영역 예측 모델의 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 는, 전술한 도 4b의 (a) 및 (b)의 제1 암 의심 영역 예측 모델보다, 예측 영역 및 정답 영역의 중첩률 증가에 따른 정답의 검출률의 감소가 적은 것으로 나타난다. 한편, 제2 암 의심 영역 예측 모델의 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는, 전술한 도 4b의 (a) 및 (b)의 제1 암 의심 영역 예측 모델과 유사한 수준으로 나타난다.

도 4d의 (a)를 참조하면, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 함께 이용했을 때의 평가 척도 (A∪B/C, 또는 B/C) 에 따른 암 영역 (초음파 및 조직 검사상 암으로 확진) 의 검출률이 도시된다. 도 4d의 (b)를 참조하면, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 함께 이용했을 때의 평가 척도 (A∪B/C, 또는 B/C) 에 따른 암 의심 영역 (조직 검사상 정상) 의 검출률이 도시된다.

보다 구체적으로, 두 가지 예측 모델을 이용했을 때의 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는, 도 4b 및 4c의 결과와 마찬가지로 예측 영역 및 정답 영역의 중첩률인 중첩 영역 (C) 의 비율을 높게 설정할수록 정답의 검출률이 낮아지는 것으로 나타난다. 이때, 두 모델에 의한 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 는, 전술한 도 4b 및 도 4c의 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 단독으로 이용했을 때 보다, 예측 영역 및 정답 영역의 중첩률 증가에 따른 정답의 검출률의 감소가 적은 것으로 나타난다. 한편, 두 가지 예측 모델을 이용했을 때의 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는, 전술한 도 4b 및 도 4c의 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 단독으로 이용했을 때와 유사한 수준으로 나타난다.

이상의 결과로, 두 가지 예측 모델인 제1 암 의심 예측 모델 및 제2 암 의심 예측 모델을 함께 이용하는 경우, 한 가지의 모델을 단독으로 이용했을 때보다, 초음파 이미지 내에서 암 의심 영역을 높은 정확도로 예측할 수 있다. 나아가, 두 가지 예측 모델을 이용했을 때, 예측 영역 및 정답 영역의 중첩률이 높게 설정되었을 때, 암 의심 영역의 예측에 있어서 높은 성능을 나타낼 수 있 다. 또한, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해 예측되지 않은 영역 (A-C) 을 더 고려한 평가 (A∪B/C) 에서도 두 가지 모델을 함께 이용하는 것이 바람직할 수 있다.

다음으로, 5a 내지 도 5c를 참조하여, 두 개의 암 의심 영역 예측 모델에 대한 평가 결과를 설명한다.

도 5a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제1 암 의심 영역 예측 모델의 이용에 따른 초음파 이미지 내에서의 암 의심 영역 예측 결과를 도시한 것이다. 도 5b는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제2 암 의심 영역 예측 모델의 이용에 따른 초음파 이미지 내에서의 암 의심 영역 예측 결과를 도시한 것이다. 도 5c는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 암 의심 영역의 예측 디바이스에서 이용되는, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델의 이용에 따른 초음파 이미지 내에서의 암 의심 영역 예측 결과를 도시한 것이다.

도 5a를 참조하면, 제1 암 의심 영역 예측 모델에 의해 전립선 부위에 대한 초음파 이미지 내에서 예측된 암 의심 영역 및 정답으로 미리 마스킹된 영역이 함께 도시된다. 보다 구체적으로, 제1 암 의심 영역 예측 모델에 의해 예측된 암 의심 영역은, 미리 마스킹된 영역과 높은 수준으로 중첩된 것으로 나타난다. 다만, 제1 암 의심 영역 예측 모델은 초음파 이미지 내에서 정상 조직에 대한 영역을 암 의심 영역으로 예측한 것으로 나타난다. 이에, 제1 암 의심 영역 예측 모델은 실제 암 의심 영역 (정답) 과 함께 정상 조직에 대한 영역 (오검출) 을, 암 의심 영역으로 결정하여 제공하게 된다.

도 5b를 참조하면, 제2 암 의심 영역 예측 모델에 의해 전립선 부위에 대한 초음파 이미지 내에서 예측된 암 의심 영역 및 정답으로 미리 마스킹된 영역이 함께 도시된다. 보다 구체적으로, 제2 암 의심 영역 예측 모델에 의해 예측된 암 의심 영역은, 미리 마스킹된 영역과 높은 수준으로 중첩된 것으로 나타난다. 이에, 제2 암 의심 영역 예측 모델은 실제 암 의심 영역 (정답) 만을, 암 의심 영역으로 결정하여 제공하게 된다.

도 5c를 참조하면, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델에 의해 전립선 부위에 대한 초음파 이미지 내에서 예측된 암 의심 영역 및 정답으로 미리 마스킹된 영역이 함께 도시된다. 보다 구체적으로, 제 1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델 모두에서 예측된 영역이 암 의심 영역으로 결정된다. 이때, 제1 암 의심 영역 예측 모델에서만 결정된 영역이, 암 의심 영역에 대한 후보 영역으로 결정될 수 있다. 이에, 제1 암 의심 영역 결정 모델 및 제2 암 의심 영역 예측 모델에 의해, 실제 암 의심 영역 (정답) 과 함께, 암 의심 영역에 대한 후보 영역이 함께 제공된다. 이때, 초음파 이미지 내에서의 후보 영역은, 최종적으로 결정된 암 의심 영역과 다른 색상 또는 명암 등을 가질 수 있어, 사용자로 하여금 용이하게 구별될 수 있다.

다음으로, 도 5d를 참조하여 암의 위치 및 악성도에 따른, 두 개의 암 의심 영역 예측 모델에 대한 평가 결과를 설명한다. 본 평가를 위해, 전립선 암이 바깥쪽에 위치하고 악성도가 6인 9 장의 초음파 이미지, 전립선 암이 바깥쪽에 위치하고 악성도가 7인 7 장의 초음파 이미지, 전립선 암이 바깥쪽에 위치하고 악성도가 8인 2 장의 초음파 이미지와, 전립선 암이 안쪽에 위치하고 악성도가 6인 19 장의 초음파 이미지, 전립선 암이 안쪽에 위치하고 악성도가 7인 13 장의 초음파 이미지가 이용되었다.

도 5d를 참조하면, 암의 위치 및 악성도가 상이한 이미지로 구성된 평가 데이터의 입력에 따른, 제1 암 의심 영역 예측 모델, 제2 암 의심 영역 예측 모델, 및 제1 암 의심 영역 예측 모델 + 제2 암 의심 영역 예측 모델에 대한 미검출 이미지의 개수 (미검출률) 가 나타난다. 전술한 바와 같이, 제1 암 의심 영역 예측 모델, 제2 암 의심 영역 예측 모델, 및 제1 암 의심 영역 예측 모델 + 제2 암 의심 영역 예측 모델 모두에서, 미검출 이미지의 개수 (미검출률) 는 예측 영역 및 정답 영역의 중첩률이 30 %로 설정되었을 때보다 10 %로 설정되었을 때, 보다 적은 것으로 나타난다.

보다 구체적으로, 바깥쪽 영역에 암이 위치하고 악성도가 6인 9 장의 이미지에 대하여, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 함께 이용했을 때의 미검출 이미지의 개수 (미검출률) 은 단독 모델을 이용했을 때보다 적다. 나아가, 50 장의 전체 이미지에 대하여, 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 함께 이용했을 때의 미검출 이미지의 개수 (미검출률) 는, 30 % 및 10 %의 중첩률에서 각각 11 장 (22 %), 7 장 (14 %) 으로, 단독의 예측 모델을 이용했을 때보다 미검출 이미지의 개수 (미검출률) 가 적다.

이상의 실시예 1의 결과로, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 디바이스는 높은 정확도로 피검자의 목적 부위에 대한 초음파 이미지 내에서 암 의심 영역을 예측할 수 있는 효과가 있다. 특히, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 디바이스는 서로 상이한 조건으로 학습된 두 개의 암 의심 영역 예측 모델을 이용함으로써, 사용자의 숙련도에 따라 암 진단의 오차율이 높은 목적 부위에 대하여, 정확한 예측의 결과를 제공할 수 있다.

한편, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 디바이스의 이용 범위 및 효과에 제한되지 않는다. 예를 들어, 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 디바이스는, 피검자 목적 부위에 대하여 복수개의 초음파 이미지를 수신하고, 복수개의 초음파 이미지 각각에 대하여 목적 부위에 대한 암 의심 영역을 결정하고, 이에 대한 암인 확률을 산출하여 제공할 수 있음에 따라, 초음파 탐촉자에 의한 피검자의 초음파 이미지의 수신과 동시에 예측의 결과를 함께 제공할 수 있다. 또한, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 디바이스는, 사용자로부터 선택된 초음파 이미지 내의 특정 영역에 대하여, 암인 확률을 제공할 수 있고, 암인 확률을 기초로 암 또는 정상으로 예측된 정보를 사용자에게 제공할 수 있다.

나아가, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 방법 및 이를 이용한 디바이스는, 전립선 부위뿐만 아니라, 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 또는 유방과 같이 초음파 검사가 수행될 수 있는 다양한 부위에 대하여, 암 의심 영역을 예측할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 암 의심 영역의 예측 디바이스
110: 초음파 탐촉자
120: 입력부
130: 출력부
140: 저장부
212: 초음파 이미지
222: 제1 암 영역 예측 모델
224: 제2 암 영역 예측 모델
226: 제1 암 영역 예측 모델에 의해 예측된 암 의심 영역을 포함하는 초음파 이미지
226 (a): 제1 암 영역 예측 모델에 의해 예측된 암 의심 영역
228: 제2 암 영역 예측 모델에 의해 예측된 암 의심 영역을 포함하는 초음파 이미지
228 (a), (b): 제2 암 영역 예측 모델에 의해 예측된 암 의심 영역
232: 최종 결정된 암 의심 영역을 포함하는 초음파 이미지
232 (a): 암 의심 영역
232 (b): 암 의심 영역의 후보 영역
242: 암 예측 모델

Claims (14)

1. 목적 부위에 대한 초음파 이미지를 수신하는 단계;
   초음파 이미지를 입력으로 하여 암 의심 영역을 출력하도록, 인공신경망에 의해 각각 학습된 제1 암 의심 영역 예측 모델 및 상기 제1 암 의심 영역 예측 모델과 상이한 제2 암 의심 영역 예측 모델을 이용하여, 상기 초음파 이미지 내에서 암 의심 영역을 결정하는 단계, 및
   상기 초음파 이미지 내에서 결정된 상기 암 의심 영역을 제공하는 단계를 포함하는, 암 의심 영역의 예측 방법.
2. 제1항에 있어서,
   암 의심 영역에 대하여 암인지를 예측하도록 학습된 암 예측 모델을 이용하여, 상기 초음파 이미지 내의 암 의심 영역이 암 또는 정상인지 예측하는 단계를 더 포함하는, 암 의심 영역의 예측 방법.
3. 제2항에 있어서,
   암 의심 영역을 결정하는 단계는,
   상기 제1 암 의심 영역 예측 모델 및 상기 제2 암 의심 영역 예측 모델에 의해, 픽셀 단위로 상기 암 의심 영역이 결정되는 단계를 포함하고,
   상기 암 의심 영역을 포함하는, 복수의 픽셀 단위로 구성된 이미지 패치에 대하여, 상기 암 예측 모델을 이용하여 암 또는 정상으로 예측하는 단계를 더 포함하는, 암 의심 영역의 예측 방법.
4. 제2항에 있어서,
   사용자로부터 선택된 상기 초음파 이미지 내에서 선택된 영역을 입력 받는 단계를 더 포함하고,
   상기 초음파 이미지 내에서 암 의심 영역을 결정하는 단계는,
   입력 받은 상기 선택된 영역을 상기 암 의심 영역으로 결정하는 단계를 포함하고,
   상기 암 예측 모델을 이용하여, 상기 사용자로부터 선택된 상기 암 의심 영역에 대하여 암인 확률을 예측하는 단계를 더 포함하는, 암 의심 영역의 예측 방법.
5. 제1항에 있어서,
   상기 초음파 이미지의 대비, 명암, 해상도, 크기 및 좌우 대칭 중 적어도 하나를 조절하는, 상기 초음파 이미지에 대한 전처리 단계를 더 포함하는, 암 의심 영역의 예측 방법.
6. 제1항에 있어서,
   상기 제1 암 의심 영역 예측 모델 및 상기 제2 암 의심 영역 예측 모델은,
   상기 목적 부위에 대하여 암으로 확진된 영역을 포함하는 초음파 이미지, 및 암으로 의심되었으나 조직 검사를 통해 정상으로 판단되었던 암 의심 영역을 포함하는 초음파 이미지를 기초로, 암 의심 영역을 결정하도록 학습된 예측 모델이고,
   상기 제1 암 의심 영역 예측 모델은,
   상기 암으로 확진된 영역을 포함하는 초음파 이미지와 상기 암 의심 영역을 포함하는 초음파 이미지에 대하여 일정한 비율로 학습된 예측 모델이고,
   상기 제2 암 의심 영역 예측 모델은,
   상기 암으로 확진된 영역을 포함하는 초음파 이미지보다 상기 암 의심 영역을 포함하는 초음파 이미지에 대하여 높은 비율로 학습된 예측 모델인, 암 의심 영역의 예측 방법.
7. 제1항에 있어서,
   상기 초음파 이미지는 복수의 영역을 포함하고,
   상기 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델은,
   상기 초음파 이미지 내의 복수의 영역 각각에 대한 픽셀 값, 질감 (texture) 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로, 상기 초음파 이미지 내에서의 암 의심 영역을 결정하도록 더 구성된, 암 의심 영역의 예측 방법.
8. 제1항에 있어서,
   상기 초음파 이미지 내에서 암 의심 영역을 결정하는 단계는,
   상기 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델을 통해 상기 초음파 이미지에 대하여 공통적으로 예측된 의심 영역을, 상기 암 의심 영역으로 결정하는 단계를 포함하는, 암 의심 영역의 예측 방법.
9. 제8항에 있어서,
   상기 초음파 이미지에 대하여 상기 제1 암 의심 영역 예측 모델 및 제2 암 의심 영역 예측 모델 중 하나의 모델에서 예측된 의심 영역을, 상기 암 의심 영역에 대한 후보 영역으로 결정하는 단계를 더 포함하고,
   상기 제공하는 단계는,
   초음파 이미지 내에서 결정된 상기 암 의심 영역 및 상기 후보 영역이 구별되도록 표시하여 제공하는 단계를 포함하는, 암 의심 영역의 예측 방법.
10. 제1항에 있어서,
    상기 제1 암 의심 영역 예측 모델 및 상기 제2 암 의심 영역 예측 모델에 의해 상기 초음파 이미지 내에서 암 의심 영역이 결정되지 않을 경우,
    상기 초음파 이미지의 재수신 요청의 표시를 제공하거나 상기 목적 부위에 대한 초음파 측정의 가이드 라인을 제공하는 단계를 더 포함하는, 암 의심 영역의 예측 방법.
11. 제1항에 있어서,
    초음파 이미지를 수신하는 단계는,
    상기 목적 부위에 대한 복수개의 초음파 이미지를 수신하는 단계를 포함하고,
    상기 초음파 이미지 내에서 암 의심 영역을 결정하는 단계는,
    상기 제1 암 의심 영역 예측 모델 또는 상기 제2 암 의심 영역 예측 모델을 이용하여, 상기 복수개의 초음파 이미지 각각에 대하여 상기 암 의심 영역을 결정하는 단계를 포함하는, 암 의심 영역의 예측 방법.
12. 목적 부위에 대한 초음파 이미지를 획득하도록 구성된 초음파 탐촉자,
    상기 초음파 탐촉자와 동작 가능하게 연결된 프로세서를 포함하고,
    상기 프로세서는,
    초음파 이미지를 입력으로 하여 암 의심 영역을 출력하도록, 인공신경망에 의해 각각 학습된 제1 암 의심 영역 예측 모델 또는 상기 제1 암 의심 영역 예측 모델과 상이한 제2 암 의심 영역 예측 모델을 이용하여, 상기 초음파 이미지 내에서 암 의심 영역을 결정하도록 구성된, 암 의심 영역의 예측 디바이스.
13. 제12항에 있어서,
    상기 프로세서는,
    상기 제1 암 의심 영역 예측 모델 및 상기 제2 암 의심 영역 예측 모델에 의해 결정된, 상기 암 의심 영역에 대하여 암인지를 예측하도록 학습된 암 예측 모델을 이용해 상기 암 의심 영역이 암 또는 정상인지 예측하도록 더 구성된, 암 의심 영역의 예측 디바이스.
14. 제13항에 있어서,
    상기 프로세서는,
    상기 제1 암 의심 영역 예측 모델 및 상기 제2 암 의심 영역 예측 모델에 의해, 픽셀 단위로 상기 암 의심 영역이 결정하고, 상기 암 의심 영역을 포함하는 복수의 픽셀 단위로 구성된 이미지 패치에 대하여 상기 암 예측 모델을 이용하여 암 또는 정상으로 예측하도록 더 구성된, 암 의심 영역의 예측 디바이스.

Images