KR20190119731A

KR20190119731A - 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스

Info

Publication number: KR20190119731A
Application number: KR1020180043056A
Authority: KR
Inventors: 장항석; 김석모; 금지수; 조준익
Original assignee: 연세대학교 산학협력단; 주식회사 셀바스에이아이
Priority date: 2018-04-13
Filing date: 2018-04-13
Publication date: 2019-10-23
Also published as: KR102205612B1

Abstract

본 발명은, 목적 부위에 대한 초음파 이미지를 수신하는 단계, 초음파 이미지를 기초로 목적 부위에 대한 영역 및 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제1 암 영역 예측 모델을 이용하여, 초음파 이미지 내에서 목적 부위에 대한 영역 및 암 영역을 제1 예측하는 단계, 및 제1 암 영역 예측 모델에 의해 결정된 목적 부위에 대한 영역 및 기 초음파 이미지를 기초로, 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제2 암 영역 예측 모델을 이용하여, 초음파 이미지 내에서 암 영역을 제2 예측하는 단계를 포함하는, 암 영역의 예측 방법 및 이를 이용한 디바이스를 제공한다.

Description

암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스 {METHOD FOR PREDICTING CANCER SUSPICIOUS AREA AND DEVICE FOR PREDICTING CANCER SUSPICIOUS AREA USING THE SAME}

본 발명은 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에 관한 것으로, 보다 구체적으로 주변 조직과의 구별이 어려워 초음파 검사의 신뢰도가 떨어질 수 있는 목적 부위에 대하여, 이의 초음파 이미지 내에서 효과적으로 암 영역을 예측하는 방법 및 이를 이용한 암 영역의 예측 디바이스에 관한 것이다.

초음파 장치는 피검사체에 쏘아진 초음파의 반사파를 이용하여 피검사체의 내부 조직을 이미지화 시키는 장치이다. 초음파는 서로 다른 두 물질의 경계에서 반사율이 다른 특성을 가지는데, 이러한 초음파의 특성을 이용하면 피검사체의 목적 부위에 대한 이미지화가 가능할 수 있다.

이때, 초음파 장치는, 프로브 (probe) 라고 불리는 초음파 탐촉자를 이용하여 피검사체의 내부로 초음파를 송신하고, 피검자 내의 목적 부위의 조직에서 반사되어 되돌아오는 응답 신호를 초음파 탐촉자를 통해 수신한다. 그리고, 초음파 장치는, 초음파 탐촉자가 수신한 응답 신호를 분석하여 피검사체의 목적 부위에 대한 이미지를 구성하고, 이 내부 조직의 이미지를 나타낼 수 있는 디스플레이부로 출력한다. 이러한 초음파 시스템은 초음파 장치에 의해 피검자의 목적 부위의 내부 조직을 확인할 수 있고, 다른 방법보다 간편하게 목적 부위에 대한 상태를 확인 할 수 있다.

한편, 질환의 진단에 있어서 이상의 초음파 시스템을 이용할 경우, 사용자는 피검자에 대하여 획득된 목적 부위가 포함된 초음파 이미지를 통해 이의 상태, 위치, 크기 등을 판단할 수 있다.

예를 들어, 갑상선 종양이나 기능 항진증 등을 검사하는 것에 있어서 초음파 시스템이 이용될 수 있다. 갑상선 진단을 위한 초음파 검사는, 피검자를 눕힌 자세에서 경부 주위를 프로브로 스캔하면서 수행된다. 이때, 초음파 진단 시 갑상선과 같은 굴곡이 있는 부위는 관찰하는 면적에 비하여 프로브가 영상으로 표시하는 범위가 좁고 경부가 곡선 형태임에 따라, 사용자는 프로브를 잡고 경부를 따라 이동하면서 갑상선을 스캔하게 된다. 이러한 경우, 갑상선의 초음파 이미지가 사용자의 숙련도에 따라 상이할 수 있어 진단의 신뢰도가 떨어지게 된다. 또한, 갑상선은 주변 조직과의 구별이 어려운 진단 부위이고, 갑상선 조직 내에 종양과 같은 곡면이 형성될 경우 프로브가 이동하는 중에 프로브와 대상물 사이에 공간이 형성될 수 있어, 갑상선 내 종양의 진단에 큰 어려움이 있다.

의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 초음파를 이용한 진단, 특히 사용자에 의한 초음파 진단이 어려운 목적 부위에 대하여 진단의 정확도를 높일 수 있는 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.

한편, 초음파 시스템을 이용한 진단에 있어서 목적 부위에 대하여 선명한 해상도를 갖는 최적의 초음파 이미지를 획득하기 위한 방법으로, 이미지 파라미터 (게인, DR (Dynamin Range), TGC (Time Gain Compensation)) 의 설정값을 조절하여 초음파 이미지의 밝기 (brightness), 해상도 (resolution), 대조도 (contrast) 등을 조절하는 방법이 제안되었다.

그러나, 이러한 방법은 사용자가 파라미터를 직접 미세 조정해야 하기 때문에 사용자로 하여금 높은 작업 피로도를 유발할 뿐만 아니라, 복잡한 조정 절차로 인해 초음파 이미지 획득 시간이 증대될 수 있는 문제가 야기될 수 있다.

한편, 본 발명의 발명자들은 종래의 초음파 시스템을 이용한 진단, 특히 암 진단법이 갖는 문제점을 해결하기 위해, 초음파 이미지 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.

그 결과, 본 발명의 발명자들은 환자의 초음파 이미지 내에서 존재하는 목적 부위에 대한 영역과 그 안에 존재하는 암 영역에 대한 검출의 정확도를 높일 수 있는, 예측 모델을 적용한 새로운 암 진단 방법을 개발하기에 이르렀다.

이때, 본 발명의 발명자들은, 예측 모델을 이용한 예측에 있어서, 전체 초음파 이미지 내에서 극히 일부의 영역을 차지하는 암 영역만을 예측하도록 구성할 경우, 암 영역이 배경으로 예측되는 가능성이 높다는 것에 주목하였다.

이에, 본 발명의 발명자들은 예측 모델을 목적 부위에 대한 영역을 예측과 함께 목적 부위에 대한 영역 내에 존재하는 암 영역을 예측하도록 구성하였고, 그 결과 암 영역 및 암 영역을 제외한 그 외의 영역만을 구별하도록 예측 모델을 구성할 때 발생되는 데이터의 불균형을 최소화할 수 있었다.

나아가, 본 발명의 발명자들은 목적 부위에 대한 영역과 목적 부위 내에 존재하는 암 영역을 포함하는 초음파 이미지를 기초로 학습된, 두 개의 암 영역 예측 모델을 이용함으로써 초음파 이미지 내에서의 암 영역을 높은 정확도로 예측하는 것을 확인할 수 있었다.

이때, 본 발명의 발명자들은, 두 개의 암 영역 예측 모델이 초음파 이미지 내에서 암 영역에 대한 픽셀값, 질감 (texture) 또는 주변 영역과의 픽셀값의 차이 정도를 기초로 목적 부위에 대한 초음파 이미지에 대하여 픽셀 단위로 암 영역을 예측하도록 구성함으로써, 암 영역의 예측의 정확도를 높일 수 있었다.

나아가, 본 발명의 발명자들은 목적 부위에 대한 촬상 방향에 따른 초음파 이미지의 종류에 따라 암 영역을 예측하도록 학습된 예측 모델을 이용함으로써, 초음파 이미지의 종류에 상관 없이 높은 정확도로 암 영역을 예측하는 것을 확인할 수 있었다.

이에, 본 발명이 해결하고자 하는 과제는 수신된 초음파 이미지를 기초로 목적 부위에 대한 영역과 암 영역을 결정하도록 학습된 제1 암 영역 예측 모델과, 제1 암 영역 예측 모델에 의해 결정된 목적 부위 내에서 암 영역을 결정하도록 학습된 제2 암 영역 예측 모델을 이용한, 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 목적 부위에 대한 촬상 방향의 종류에 따라 학습된 예측 모델을 더 이용해, 촬상 방향을 고려하여 암 영역을 결정하여 제공함에 따라 초음파 이미지의 종류에 관계 없이 암의 진단의 정확도를 높일 수 있는, 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는, 복수개의 초음파 이미지를 수신하여 각각의 이미지에 대하여 암 영역을 결정함으로써, 초음파 분석과 동시에 암 영역을 검출할 수 있는, 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 암 영역의 예측 방법이 제공된다. 본 방법은, 목적 부위에 대한 초음파 이미지를 수신하는 단계, 초음파 이미지를 기초로 목적 부위에 대한 영역 및 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제1 암 영역 예측 모델을 이용하여, 초음파 이미지 내에서 목적 부위에 대한 영역 및 암 영역을 제1 예측하는 단계, 및 제1 암 영역 예측 모델에 의해 결정된 목적 부위에 대한 영역 및 초음파 이미지를 기초로 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제2 암 영역 예측 모델을 이용하여 초음파 이미지 내에서 암 영역을 제2 예측하는 단계를 포함한다.

본 발명의 특징에 따르면, 제1 암 영역 예측 모델은 초음파 이미지 내에서 목적 부위에 대한 영역 및 암 영역을 제외한 배경 영역을 더 예측하도록 구성되고, 제2 암 영역 예측 모델은, 목적 부위에 대한 영역을 더 예측하도록 구성되고, 제1 예측하는 단계는 암 영역 예측 모델을 이용하여 초음파 이미지에 대하여 픽셀 단위로 목적 부위인 확률, 암인 확률, 및 배경인 확률을 각각 산출하는 단계, 및 목적 부위인 확률, 암인 확률, 및 배경인 확률을 기초로, 초음파 이미지 내에서 목적 부위에 대한 영역, 암 영역, 및 배경 영역을 예측하는 단계를 포함하고, 제2 예측하는 단계는 제2 암 영역 예측 모델을 이용하여 제1 암 영역 예측 모델에 의해 결정된 목적 부위에 대한 영역 및 초음파 이미지에 대하여 픽셀 단위로 목적 부위인 확률 및 암인 확률을 각각 산출하는 단계, 및 각각 산출된 목적 부위인 확률 및 암인 확률을 기초로, 암 영역을 재 예측하는 단계를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 본 발명의 암 영역의 예측 방법은, 제1 암 영역 예측 모델에 의해 산출된 목적 부위인 확률, 암인 확률 및 배경인 확률과 제2 암 영역 예측 모델에 의해 산출된 목적 부위인 확률 및 암인 확률을 픽셀 단위로 각각 비교하는 단계, 픽셀 단위 별로 최대 확률을 갖는 영역을 최종 영역으로 결정하는 단계, 및 픽셀 단위로 영역이 각각 분할된 초음파 이미지를 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 사용자로부터 선택된 초음파 이미지 내에서 선택된 영역을 입력 받는 단계를 더 포함하고, 제1 예측하는 단계는 입력 받은 선택된 영역을 암 영역으로 결정하는 단계를 더 포함하고, 제2 예측하는 단계는 제2 암 영역 예측 모델을 이용하여, 결정된 암 영역에 대하여 픽셀 단위로 암인 확률을 산출하는 단계, 및 암인 확률을 기초로 암 영역을 최종 예측하는 단계를 더 포함할 수 있다. 나아가, 본 발명의 암 영역의 예측 방법은 선택된 영역에 대하여 산출된 암인 확률을 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 제1 암 영역 예측 모델은 초음파 이미지 내의 목적 부위에 대한 영역, 암 영역 및 배경 영역 각각에 대하여 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로, 초음파 이미지 내에서의 목적 부위에 대한 영역, 암 영역, 및 배경 영역을 예측하도록 구성되고, 제2 암 영역 예측 모델은 초음파 이미지 및 암 영역 예측 모델에 의해 결정된 목적 부위에 대한 영역에 대하여 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로 초음파 이미지 내에서의 목적 부위에 대한 영역 및 암 영역을 재 예측하도록 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 본 발명의 암 영역 예측 방법은 제1 암 영역 예측 모델에 의해 산출된 목적 부위인 확률 및 제2 암 영역 예측 모델에 의해 산출된 목적 부위인 확률을 합산하고, 제1 암 영역 예측 모델에 의해 산출된 암인 확률 및 제2 암 영역 예측 모델에 의해 산출된 암인 확률을 합산하는 단계, 합산된 목적 부위인 확률 및 합산된 암인 확률을 기초로 초음파 이미지를 픽셀 단위로 최종 목적 부위에 대한 영역 및 최종 암 영역을 결정하는 단계, 및 픽셀 단위로 영역이 각각 분할된 초음파 이미지를 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 본 발명의 암 영역 예측 방법은 제2 암 영역 예측 모델에 의해 초음파 이미지 내에서 암 영역이 최종 결정될 경우, 초음파 이미지 내에 결정된 암 영역을 표시하여 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 본 발명의 암 영역 예측 방법은 초음파 이미지를 미리 결정된 픽셀 단위로 표준화하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 본 발명의 암 영역 예측 방법은 초음파 이미지에 대하여 제1 암 영역 예측 모델에 의해 암 영역으로 예측되었으나, 제2 암 영역 예측 모델에 의해 암 영역으로 예측되지 않은 암 영역을 암 의심 영역으로 결정하는 단계, 및 초음파 이미지 내에서 결정된 암 영역 및 암 의심 영역이 구별되도록 표시하여 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 본 발명의 암 영역 예측 방법은 제1 암 영역 예측 모델에 의해 초음파 이미지 내에서 목적 부위에 대한 영역이 결정되지 않을 경우, 초음파 이미지의 재수신 요청의 표시를 제공하거나 목적 부위에 대한 초음파 측정의 가이드 라인을 제공하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 초음파 이미지를 수신하는 단계는 목적 부위에 대한 복수개의 초음파 이미지를 수신하는 단계를 포함하고, 제1 예측하는 단계는 제1 암 영역 예측 모델을 이용하여 복수개의 초음파 이미지 각각에서 목적 부위에 대한 영역 및 암 영역을 예측하는 단계를 포함하고, 제2 예측하는 단계는 제2 암 영역 예측 모델을 이용하여 복수개의 초음파 이미지 각각에서 암 영역을 최종 예측하는 단계를 포함할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 암 영역의 예측 방법이 제공된다. 본 방법은, 목적 부위에 대한 초음파 이미지를 수신하는 단계, 목적 부위의 촬상 방향에 따른 초음파 이미지의 종류를 분류하는 단계, 촬상 방향에 따라 분류된 초음파 이미지의 종류에 따라 초음파 이미지 내에서 목적 부위에 대한 영역 및 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 예측 모델을 이용하여, 초음파 이미지에 내에서 목적 부위에 대한 영역 및 암 영역을 제1 예측하는 단계, 및 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 모델 의해 예측된 결과를 기초로, 촬상 방향에 따라 분류된 초음파 이미지 내에서 암 영역을 제2 예측하는 단계를 포함한다.

본 발명의 특징에 따르면, 분류하는 단계는 목적 부위의 촬상 방향에 따라 초음파 이미지를 분류하도록 학습된 이미지 분류 모델을 이용하여 초음파 이미지의 종류를 분류하는 단계를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 초음파 이미지는 목적 부위에 대한 정면 초음파 이미지, 좌측 초음파 이미지, 우측 초음파 이미지 및 좌-우 넓게 펼쳐진 초음파 이미지를 포함하고, 복수개의 촬상 방향에 따른 암 영역 예측 모델은, 목적 부위에 대한 정면 초음파 이미지, 좌측 초음파 이미지, 우측 초음파 이미지 및 좌-우 넓게 펼쳐진 초음파 이미지 각각에 대하여, 목적 부위에 대한 영역, 암 영역 및, 초음파 이미지 내에서 목적 부위에 대한 영역과 암 영역을 제외한 배경 영역을 각각 예측하도록 구성된 복수개의 모델일 수 있다. 또한, 제1 예측하는 단계는 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 하나의 예측 모델을 이용하여, 촬상 방향에 따라 분류된 초음파 이미지에 대하여 픽셀 단위로 목적 부위인 확률, 암인 확률 및 배경인 확률을 각각 산출하는 단계, 및 목적 부위인 확률, 암인 확률 및 배경인 확률을 기초로, 초음파 이미지 내에서 목적 부위에 대한 영역, 암 영역 및 배경 영역을 예측하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 제2 예측하는 단계는 복수개의 촬상 방향에 따른 암 영역 예측 모델에 따라 상이한 가중치를 적용하여 픽셀 단위로 촬상 방향에 따라 산출된 목적 부위인 확률, 암인 확률 및 배경인 확률을 기초로, 초음파 이미지 내에서 암 영역을 최종 예측하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 본 방법은 초음파 이미지를 기초로 목적 부위에 대한 영역 및 목적 부위 내에 존재하는 암 영역을 결정하도록 학습되고, 복수개의 촬상 방향에 따른 암 영역 예측 모델과 상이한 제1 암 영역 예측 모델을 이용하여, 초음파 이미지 내에서 목적 부위에 대한 영역 및 암 영역을 예측하는 단계, 및 제1 암 영역 예측 모델에 의한 예측 결과, 및 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 모델에 의한 예측 결과를 기초로, 초음파 이미지 내에서 암 영역을 최종 예측하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 최종 예측하는 단계는 제1 암 영역 예측 모델에 의한 예측 결과 및 복수개의 촬상 방향에 따른 암 영역 예측 모델에 의한 예측 결과 각각에 상이한 가중치를 적용하여, 초음파 이미지 내에서 목적 부위에 대한 영역 및 암 영역을 최종 예측하는 단계를 더 포함할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 암 영역의 예측 디바이스가 제공된다. 본 디바이스는, 목적 부위에 대한 초음파 이미지를 획득하도록 구성된 초음파 탐촉자, 초음파 탐촉자와 동작 가능하게 연결된 프로세서를 포함한다. 이때, 프로세서는 초음파 이미지를 기초로 목적 부위에 대한 영역 및 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제1 암 영역 예측 모델을 이용하여, 초음파 이미지 내에서 목적 부위에 대한 영역 및 암 영역을 예측하고, 암 영역 예측 모델에 의해 결정된 목적 부위에 대한 영역 및 초음파 이미지를 기초로 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제2 암 영역 예측 모델을 이용하여, 초음파 이미지 내에서 암 영역을 최종 예측하도록 구성된다.

본 발명의 특징에 따르면, 프로세서는 제1 암 영역 예측 모델을 이용하여, 초음파 이미지에 대하여 픽셀 단위로 목적 부위인 확률, 암인 확률 및 배경인 확률을 각각 산출하고, 목적 부위인 확률, 암인 확률, 및 배경인 확률을 기초로, 초음파 이미지 내에서 목적 부위에 대한 영역, 암 영역, 및 배경 영역을 예측하고, 제2 암 영역 예측 모델을 이용하여 암 영역 예측 모델에 의해 결정된 목적 부위에 대한 영역에 대하여 픽셀 단위로 암인 확률을 산출하고, 암인 확률을 기초로 암 영역을 최종 예측하도록 더 구성될 수 있다.

본 발명의 다른 특징에 따르면, 프로세서는 목적 부위의 촬상 방향에 따른 초음파 이미지의 종류를 분류하고, 촬상 방향에 따라 분류된 초음파 이미지의 종류에 따라 초음파 이미지 내에서 목적 부위에 대한 영역 및 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 예측 모델을 이용하여, 초음파 이미지에 내에서 목적 부위에 대한 영역 및 암 영역을 예측하고, 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 모델 의해 예측된 결과를 기초로, 촬상 방향에 따라 초음파 이미지 내에서 암 영역을 예측하도록 더 구성될 수 있다.

본 발명은, 초음파 이미지 내에서 목적 부위에 대한 영역과 암 영역을 예측하도록 구성된 예측 모델과, 예측된 목적 부위에 대한 영역에서 암 영역을 예측 하도록 구성된, 두 개의 예측 모델을 이용한, 암 영역의 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 목적 부위에 대하여 정확한 진단 정보를 제공할 수 있는 효과가 있다.

보다 구체적으로, 본 발명은 목적 부위에 대한 영역 예측과 함께 목적 부위에 대한 영역 내에 존재하는 암 영역을 예측하도록 구성된 예측 모델을 이용함에 따라, 암 영역 및 암 영역을 제외한 그 외의 영역만을 구별하도록 예측 모델을 구성할 때 발생되는 데이터의 불균형을 최소화할 수 있는 효과가 있다.

나아가, 본 발명은, 전체 초음파 이미지 내에서 극히 일부의 영역을 차지하는 암 영역만을 예측할 경우 발생되는 암 영역이 배경으로 예측되는 가능성을 줄일 수 있는 효과가 있다.

또한, 본 발명은 목적 부위에 대한 촬상 방향에 따른 초음파 이미지의 종류에 따라 암 영역을 예측하도록 학습된 예측 모델을 이용한 암 영역의 예측 방법 및 디바이스를 제공함으로써, 초음파 이미지의 종류에 상관 없이 높은 정확도로 암 영역을 예측할 수 있다.

본 발명은, 초음파 이미지 내에서 사용자로부터 선택된 영역에 대하여, 암인 확률을 예측하여 제공할 수 있는 효과가 있다.

또한, 본 발명은 복수개의 초음파 이미지를 수신하여 각각의 이미지에 대한 초음파 분석과 동시에 각각의 초음파 이미지 내의 암 영역을 예측할 수 있는, 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스를 제공할 수 있는 효과가 있다. 이에, 본 발명은 피검자의 목적 부위에 대한 이미지를 획득과 동시에 초음파 이미지 내에서 목적 부위에 대한 영역 및 목적 부위 내에 존재하는 암 영역에 대한 예측이 수행될 수 있는 효과가 있다.

나아가, 본 발명은 피검자의 목적 부위에 대하여 암 영역이 결정되지 않을 경우, 이를 사용자에게 알리거나 초음파 측정 가이드라인을 더 제공할 수 있는 효과가 있다. 이에, 본 발명은 사용자의 초음파 시스템 사용의 숙련도에 관계 없이, 피검자의 목적 부위에 대한 정확한 진단 결과를 제공할 수 있는 효과가 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 암 영역의 예측 디바이스의 구성을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 암 영역의 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 암 영역의 예측 방법에 의한 초음파 이미지 내의 목적 부위에 대한 영역 및 암 영역의 결정의 절차를 예시적으로 도시한 것이다.
도 3a는 본 발명의 다른 실시예에 따른 암 영역의 예측 방법의 절차를 도시한 것이다.
도 3b 및 3c는 본 발명의 다른 실시예에 따른 암 영역의 예측 방법에 의한 초음파 이미지 내의 목적 부위에 대한 영역 및 암 영역의 결정의 절차를 예시적으로 도시한 것이다.
도 4a는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 두 개의 암 영역 예측 모델에 대한 학습 초음파 이미지 데이터를 도시한 것이다.
도 4b는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 두 개의 암 영역 예측 모델을 예시적으로 도시한 것이다.
도 5a는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 두 개의 암 영역 예측 모델에 대한 평가 기준을 예시적으로 도시한 것이다.
도 5b는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제1 암 영역 예측 모델에 대한 평가 척도에 따른 목적 부위에 대한 영역 및 암 영역에 대한 검출률을 도시한 것이다.
도 5c는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제2 암 영역 예측 모델에 대한 평가 척도에 따른 목적 부위에 대한 영역 및 암 영역에 대한 검출률을 도시한 것이다.
도 5d는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제1 암 영역 예측 모델에 대하여 픽셀 단위로 평가된 검출률 (Recall) 및 정확도 (Precision) 를 도시한 것이다.
도 5e는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제2 암 영역 예측 모델에 대하여 픽셀 단위로 평가된 검출률 및 정확도를 도시한 것이다.
도 5f 내지 도 5h는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델 각각에 의해 예측된, 초음파 이미지 내에서의 목적 부위에 대한 영역 및 암 영역의 예측 결과를 도시한 것이다.
도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제1 암 영역 예측 모델 및 촬상 방향에 따른 예측 모델 각각에 의해 예측된, 초음파 이미지 내에서의 목적 부위에 대한 영역 및 암 영역의 예측 결과를 도시한 것이다.

발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.

본 명세서에서 사용되는 용어, "초음파 이미지"는 초음파 탐촉자와 같은 초음파 시스템에 의해 수신된 에코신호를 기초로 형성된 이미지를 의미할 수 있다. 나아가, 초음파 이미지는 본 명세서 내에서 "초음파 이미지"와 상호 교환적으로 이용될 수 있다. 이에, 목적 부위에 대한 초음파 이미지는, 목적 부위를 포함하는 2차원 이미지, 3차원 이미지, 한 컷의 스틸 이미지, 복수개의 컷으로 구성된 동영상 이미지 등을 의미할 수 있다. 예를 들어, 초음파 이미지는 복수개의 컷으로 구성된 동영상 이미지일 경우, 본 발명의 일 실시예에 따른 암 영역의 예측 방법에 따라 복수개의 초음파 이미지 각각에 대한 목적 부위에 대한 영역 및 암 영역의 예측이 가능할 수 있다. 그 결과, 본 발명의 일 실시예에 암 영역의 예측 방법 및 이를 이용한 디바이스는 초음파 탐촉자에 의한 초음파 이미지의 수신과 실질적으로 동시에 암 영역의 예측 결과를 함께 제공할 수 있다.

한편, 목적 부위에 대한 초음파 이미지에 기초한 암 영역의 예측은, 암의 조기 진단에 있어서 특히 중요할 수 있다. 이때, 본 명세서에서 사용되는 용어, "목적 부위에 대한 영역"은 초음파 이미지 내에서 질환의 유무 등의 상태를 예측하고자 하는 피검자의 특정 신체 부위에 대한 영역일 수 있다. 예를 들어, 목적 부위에 대한 영역은, 초음파 이미지 내에 존재하는 갑상선, 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계 또는 유방을 이루는 조직의 경계에 대한 영역일 수 있다. 그러나, 목적 부위 및 목적 부위에 대한 영역은 이에 제한되는 것은 아니며 초음파 탐촉자에 의해 이미지가 획득되는 한 다양한 부위 및 이에 대한 영역일 수 있다.

본 명세서에서 사용되는 용어, "암 영역"은 목적 부위에 대한 초음파 이미지 내에서 암으로 의심되는 영역을 의미할 수 있다. 예를 들어, 암 영역은 다른 영역에 대하여 상이한 픽셀 값, 질감(texture)을 가질 수 있다. 이때, 암 영역은 목적 부위에 나타난 낭종, 염증 또는 종괴 조직에 대한 영역일 수도 있고, 정상 조직에 대한 영역을 포함할 수 있다.

한편, 암 조직 대부분은 목적 부위 내에 존재할 수 있음에 따라, "암 영역"은 "목적 부위에 대한 영역" 내에 높은 확률로 존재할 수 있다. 이때, 초음파 이미지 내에서 낭종, 염증 또는 종괴 조직을 포함하는 암 영역이 다른 영역에 비하여 극히 일부의 영역으로 존재할 경우, 사용자의 숙련도에 따라 암의 검출률이 달라질 수 있다.

이러한 문제를 해결하기 위해, 초음파 이미지 내에서 목적 부위에 대한 영역과 함께 암 영역을 예측하도록 학습된 예측 모델이 암 영역의 정확한 예측에 이용될 수 있다.

본 명세서에서 사용되는 용어, "제1 암 영역 예측 모델"은 초음파 이미지 내에서 미리 결정된 목적 부위에 대한 영역과 목적 부위 내에 존재하는 암 영역, 이들을 제외한 배경 영역을 예측하도록 학습된 예측 모델 일 수 있다. 예를 들어, 제1 암 영역 예측 모델은 목적 부위에 대하여 초음파 검사 및 조직 검사에 의해 암으로 확진된 영역을 포함하는 초음파 이미지를 포함하는 데이터 세트를 이용하여, 목적 부위에 대한 영역 및 암 영역을 예측하도록 학습된 모델일 수 있다. 이러한 학습 방법에 의해, 제1 암 영역 예측 모델은, 초음파 이미지 내에서 암 영역 및 그 외의 영역만을 구별하도록 예측 모델을 구성할 때 발생되는 데이터의 불균형을 최소화할 수 있다. 나아가, 제1 암 영역 예측 모델은, 암 영역이 목적 부위에 대한 영역 내부에서 발생 한다는 조건이 학습 과정에서 반영됨에 따라, 암 영역이 그 외 영역, 예를 들어 배경 영역으로 예측되는 가능성이 줄어들 수 있다.

한편, 본 발명의 다양한 실시예에 따른 암 영역 예측 방법에서는, 제1 암 영역 예측 모델에 의해 예측된 결과를 정밀하게 재 예측하도록 구성된, 제2 암 영역 예측 모델이 더 이용될 수 있다.

본 명세서에서 사용되는 용어, "제2 암 영역 예측 모델"은 제1 암 영역 예측 모델에 의해 결정된 목적 부위에 대한 영역과 목적 부위 내에 존재하는 암 영역을 예측하도록 학습된 예측 모델 일 수 있다. 보다 구체적으로, 제2 암 영역 예측 모델은 제1 암 영역 예측 모델에 입력된 초음파 이미지 및 제1 암 영역 예측 모델에 의해 결정된 목적 부위에 대한 영역을 기초로, 목적 부위에 대한 영역 및 암 영역을 추가 예측하도록 구성될 수 있다.

이에, 본 발명의 암 영역 예측 방법 및 이를 이용한 디바이스는, 제1 암 영역 예측 모델과 제2 암 영역 예측 모델을 함께 이용함에 따라, 단일 예측 모델의 이용에 따른 암 영역이 예측되지 않거나 정상 영역을 암 영역으로 잘못 예측되는 오검출의 문제점을 해결할 수 있어, 정확한 암 영역의 진단 결과를 제공할 수 있다.

한편, 초음파 이미지는 목적 부위에 대한 촬상 방향에 따라 다양한 종류로 분류될 수 있다. 예를 들어, 초음파 이미지는 목적 부위에 대한 정면 초음파 이미지, 좌측 초음파 이미지, 우측 초음파 이미지 및 좌-우 넓게 펼쳐진 초음파 이미지를 포함할 수 있다. 이러한 초음파 이미지의 종류에 따라 목적 부위에 대한 영역 및 암 영역에 대한 형태가 상이할 수 있어, 예측 모델을 이용한 암 영역의 예측 시 촬상 방향을 고려하는 것이 정확도 높은 진단을 위해 중요할 수 있다.

본 명세서에서 사용되는 용어, "촬상 방향에 따른 암 영역 예측 모델"은 초음파 이미지 종류에 따라 각각 목적 부위에 대한 영역, 암 영역 및 배경 영역을 예측하도록 구성된 예측 모델을 의미할 수 있다. 예를 들어, 촬상 방향에 따른 암 영역 예측 모델은, 목적 부위에 대한 정면 초음파 이미지, 좌측 초음파 이미지, 우측 초음파 이미지 및 좌-우 넓게 펼쳐진 초음파 이미지 각각에 대하여 목적 부위에 대한 영역, 암 영역, 및 배경 영역을 예측 하도록 구성된 모델일 수 있다. 본 발명에서 개시된 촬상 방향에 따른 암 영역 예측 모델은 전술한 것에 제한되는 것이 아니며, 촬상 방향의 다양성에 따라 목적 부위에 대한 영역, 암 영역 및 배경 영역을 예측하도록 구성된 다양한 예측 모델일 수 있다.

이때, 촬상 방향에 따른 암 영역 예측 모델은 전술한 이미지의 종류에 상관없이 목적 부위에 대한 영역, 암 영역 및 배경 영역을 예측하도록 구성된 제1 암 영역 예측 모델과 결합되어 이용될 수 있다. 예를 들어, 목적 부위에 대한 초음파 이미지를 제1 암 영역 예측 모델에 입력하여 초음파 이미지의 종류에 관계 없이, 목적 부위에 대한 영역, 암 영역 및 배경 영역을 예측 한다. 그 다음, 초음파 이미지를 촬상 방향에 따라 분류하고, 분류된 초음파 이미지의 종류에 따라 전술한 촬상 방향에 따른 암 영역 예측 모델 중 하나의 모델을 결정하고, 이를 이용하여 목적 부위에 대한 영역, 암 영역 및 배경 영역을 예측 한다. 마지막으로, 제1 암 영역 예측 모델에 의한 예측 결과 및 촬상 방향에 따른 암 영역 예측 모델 결과에 각각 상이한 가중치를 적용하여, 초음파 이미지 내에서 목적 부위에 대한 영역과 암 영역을 최종 예측한다. 이와 같이, 본 발명의 암 영역 예측 모델 및 디바이스는, 전술한 암 영역 예측 모델들을 단일로 또는 이들의 조합으로 다양하게 이용할 수 있다.

나아가, 촬상 방향에 따른 암 영역 예측 모델에 의해 예측된 암 영역의 예측 결과는, 하나의 목적 부위에 대한 촬상 방향에 따라 상이한 가중치를 갖도록 구성될 수 있다. 예를 들어, 목적 부위의 특정한 영역에 대하여 촬영된 정면 초음파 이미지' 및 '좌-우 넓게 펼쳐진 초음파 이미지' 각각에 대하여, '정면 초음파 이미지'에 대한 암 영역 예측 모델에 의해 암 영역이 예측되었으나, '좌-우 넓게 펼쳐진 초음파 이미지'에 대한 예측 모델에 의해 암 영역이 예측되지 않을 수 있다. 이때, 최종 암 영역의 예측 단계에서, '정면 초음파 이미지'에 대한 암 영역 예측 모델에 의해 예측된 결과에 대한 신뢰도가 '좌-우 넓게 펼쳐진 초음파 이미지'에 대한 예측 모델보다 높게 설정될 수 있다. 이에, 본 발명은 촬상 방향에 따른 암 영역 예측 모델을 이용한 암 예측에 있어서, 목적 부위에 대하여 다양한 방향에서 촬영된 초음파 이미지를 한 번에 예측했을 때 보다 높은 성능으로 암 영역을 예측할 수 있다.

전술한 바와 같이 본 발명의 다양한 실시예에서 이용되는 암 영역 예측 모델들은, 본 명세서에서 학습 조건에 따라 제1 암 영역 예측 모델, 제2 암 영역 예측 모델, 및 촬상 방향에 따른 암 영역 예측 모델로서 구별되어 개시될 뿐, 이들의 목적이 상이한 것을 의미하는 것은 아니다.

본 명세서에서 개시되는 다양한 예측 모델은, 픽셀 단위로 복수의 영역에 대한 확률, 예를 들어 목적 부위일 확률, 암일 확률 또는 배경일 확률을 각각 확률을 산출하여, 최종 영역을 예측하도록 구성될 수 있다. 이때, 수신된 초음파 이미지에 대하여 이의 전체 영역, 또는 이의 일부 픽셀을 포함하도록 전처리된 초음파 이미지를 이용할 수 있다. 즉, 신속한 분석을 위해, 예측 모델들은 일정한 픽셀 값을 갖도록 크기가 조정된 초음파 이미지를 이용하는 것이 바람직할 수 있으나, 이에 제한되는 것은 아니다.

이하에서는 도 1을 참조하여, 본 발명의 일 실시예에 따른 암 영역의 예측 디바이스를 설명한다.

먼저, 도 1을 참조하여, 본 발명의 일 실시예에 따른 암 영역의 예측 디바이스를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 암 영역의 예측 디바이스의 구성을 도시한 것이다.

도 1을 참조하면, 암 영역의 예측 디바이스 (100) 는 초음파 탐촉자 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.

구체적으로 초음파 탐촉자 (110) 는 피검자의 목적 부위에 초음파 신호를 송신하고 이로부터 반사되는 초음파 에코신호를 수신할 수 있다. 나아가, 초음파 탐촉자 (110) 는 수신된 에코신호를 기초로 형성된 피검자의 목적 부위에 대한 초음파 이미지를 더 수신할 수 있도록 구성된다. 예를 들어, 초음파 탐촉자 (110) 는 피검자의 갑상선, 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계 또는 유방에 대한 초음파 이미지를 수신할 수 있다. 한편, 초음파 탐촉자 (110) 를 통해 수신된 초음파 이미지는 목적 부위를 이루는 조직에 대한 '목적 부위에 대한 영역'과 암 조직에 대한 '암 영역'을 포함할 수 있다. 이때, 암 영역은 목적 부위에 대한 영역 내에 존재할 수 있으나, 이에 제한되는 것은 아니다.

입력부 (120) 는 키보드, 마우스, 터치 스크린 패널 등 제한되지 않는다. 입력부 (120) 는 암 영역의 예측 디바이스 (100) 를 설정하고, 암 영역의 예측 디바이스 (100) 의 동작을 지시할 수 있다. 예를 들어, 사용자는 입력부 (120) 를 통해, 초음파 탐촉자 (110) 에 의해 수신된 초음파 이미지 내에서, 암 영역을 직접 결정할 수 있다.

한편, 출력부 (130) 는 초음파 탐촉자 (110) 에 의해 수신된 초음파 이미지를 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 초음파 이미지 내에서 결정된 목적 부위에 대한 영역, 암 영역, 배경 영역과 각각의 영역에 대하여 예측된 확률의 결과를 표시하도록 구성될 수 있다. 또한, 출력부 (130) 는, 프로세서 (150) 에 의해 목적 부위의 영역이 결정되지 않은 경우, 사용자가 이 사실을 용이하게 인지할 수 있도록 알림을 표시할 수 있고, 목적 부위에 대한 초음파 측정 가이드라인을 더 표시할 수 있다.

저장부 (140) 는 초음파 탐촉자 (110) 를 통해 수신한 피검자의 목적 부위에 대한 초음파 이미지를 저장하고, 입력부 (120) 를 통해 설정된 암 영역의 예측 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술될 프로세서 (150) 에 의해 결정된 목적 부위에 대한 영역, 암 영역 및 배경 영역을 저장할 수 있고, 결정된 각각의 영역에 대하여 예측된 확률의 결과를 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는, 암 영역 예측을 위해 프로세서 (150) 에 의해 결정된 다양한 정보들을 저장할 수 있다.

프로세서 (150) 는 암 영역의 예측 디바이스 (110) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 암 영역의 예측을 위해 프로세서 (150) 는 피검자의 목적 부위에 대한 초음파 이미지 내에서 목적 부위에 대한 영역, 암 영역과 이들 영역을 제외한 배경 영역을 각각 예측하도록 구성된 예측 모델을 이용하도록 구성될 수 있다. 예를 들어, 프로세서 (150) 는 피검자의 목적 부위에 대한 초음파 이미지를 기초로 목적 부위에 대한 영역, 암 영역 및 배경 영역을 예측하도록 구성된 제1 암 영역 예측 모델을 이용할 수 있다. 나아가, 프로세서 (150) 는, 초음파 이미지 및 제1 암 영역 예측 모델에 의해 결정된 목적 부위를 기초로 목적 부위에 대한 영역과 암 영역을 재 예측하도록 구성된 제2 암 영역 예측 모델을 이용할 수 있다. 이에, 프로세서 (150) 는 초음파 탐촉자 (110) 로부터 수신한 초음파 이미지 내에서 보다 정확하게 목적 부위에 대한 영역과 그 안에 존재하는 암 영역을 예측할 수 있다. 또한, 프로세서 (150) 는 목적 부위에 대한 촬상 방향에 따른 초음파 이미지의 종류 각각에 따라 목적 부위에 대한 영역, 암인 영역 및 배경인 영역을 예측하도록 학습된 촬상 부위에 따른 암 영역 예측 모델을 더 이용할 수 있다. 이때, 초음파 이미지 내에서 암 영역을 높은 정확도로 예측하도록 구성된 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델과, 촬상 방향에 따른 암 영역 예측 모델은, 이미지를 기초로 학습되는 다양한 학습 모델에 기초할 수 있다. 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들은 DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수 있으나, 이에 제한되는 것은 아니다.

이하에서는, 도 2a 내지 도 2b를 참조하여, 본 발명의 일 실시예에 따른 암 영역의 예측 방법을 구체적으로 설명한다. 이때, 피검자의 갑상선 부위를 예로 들어, 목적 부위에 대한 암 영역의 결정 과정을 설명한다. 그러나, 이에 제한되지 않고 본 발명의 일 실시예에 따른 암 영역의 예측 방법은 보다 다양한 목적 부위에 대하여 적용될 수 있다.

도 2a는 본 발명의 일 실시예에 따른 암 영역의 예측 방법의 절차를 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 암 영역의 예측 방법에 의한 초음파 이미지 내의 목적 부위에 대한 영역 및 암 영역의 결정의 절차를 예시적으로 도시한 것이다.

도 2a를 참조하면, 본 발명의 일 실시예에 따른 암 영역의 예측 절차는 다음과 같다. 먼저, 피검자의 목적 부위에 대한 초음파 이미지를 수신한다 (S210). 그 다음, 초음파 이미지 내에서 목적 부위에 대한 영역과 암 영역을 예측하도록 구성된 제1 암 영역 예측 모델을 이용하여, 초음파 이미지 내에서 목적 부위에 대한 영역과 암 영역을 제1 예측한다 (S220). 다음으로, 초음파 이미지 내에 결정된 목적 부위에 대한 영역과 초음파 이미지를 기초로 암 영역을 결정하도록 구성된 제2 예측 모델을 이용하여 초음파 이미지 내에서의 암 영역을 제2 예측한다 (S230).

예를 들어, 도 2b를 참조하면, 초음파 이미지를 수신하는 단계 (S210) 에서는 피검자의 목적 부위로 설정된 갑상선에 대하여 반사된 초음파 에코신호를 기초로 형성된 초음파 이미지 (212) 를 획득할 수 있다.

본 발명의 다른 실시예에 따르면, 초음파를 수신하는 단계 (S210) 에서는 초음파 이미지 (212) 에 대한 빠른 분석이 가능하도록 전처리가 수행된 초음파 이미지 (212) 를 더 수신할 수 있다. 그렇지 않은 경우, 초음파를 수신하는 단계 (S210) 이후에 수신된 초음파 이미지 (212) 에 대하여 일정한 픽셀 단위를 갖도록 크기를 조절하거나 대비, 해상도, 명암, 또는 좌우 대칭을 조절하는, 초음파 이미지 (212) 에 대한 전처리 단계가 더 수행될 수 있다. 전처리 단계의 결과로, 초음파 이미지 (212) 는 후술할 예측 모델에서 요구되는 해상도 또는 크기를 갖게 되고, 원본 초음파 이미지보다 해상도 또는 크기가 작아질 수 있어, 예측 모델에서의 처리 속도가 향상될 수 있다.

또한, 초음파를 수신하는 단계 (S210) 에서는 목적 부위에 대한 복수개의 초음파 이미지를 수신할 수 있다. 예를 들어, 도 2b를 참조하면 갑상선 부위에 대하여, 초음파 탐촉자에 의해 실시간으로 초음파 이미지 (212) 가 획득됨으로써, 갑상선 부위에 대한 복수개의 초음파 이미지가 획득될 수 있다.

다시, 도 2b를 참조하면, 제1 예측 단계 (S220) 에서는, 제1 암 영역 예측 모델 (222) 에 초음파를 수신하는 단계 (S210) 에서 획득된 갑상선 부위에 대한 초음파 이미지 (212) 가 입력된다. 이때, 제1 암 영역 예측 모델 (222) 은 초음파 이미지 (212) 내에 존재하는 복수의 영역들, 예를 들어 갑상선 영역, 암 영역 및 이들 영역을 제외한 배경 영역에 대한 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초, 갑상선 영역 암 영역 및 이들 영역을 제외한 배경 영역을 각각 예측할 수 있다.

이때, 제1 예측 단계 (S220) 에서는 제1 암 영역 예측 모델 (222) 을 이용하여, 초음파 이미지 (212) 에 대하여 픽셀 단위로 목적 부위인 확률, 암인 확률, 및 배경인 확률을 각각 산출하고, 산출된 확률값을 기초로 갑상선 영역에 대한 영역, 암 영역, 및 배경 영역 각각을 '확률맵'의 형태로 예측할 수 있다. 그 다음, 예측된 암 영역 확률맵 (223) 및 예측된 갑상선 영역 확률맵 (224) 을 기초로 암 영역이 예측된 초음파 이미지 (225) 및 갑상선 영역이 예측된 초음파 이미지 (226) 의 제1 예측 결과가 도출될 수 있다.

본 발명의 다른 실시예에 따르면, 제1 예측 단계 (S220) 에서는 제1 암 영역 예측 모델 (222) 에 의해, 복수개의 초음파 이미지 (212) 각각에 대하여 암 영역을 결정할 수 있다. 이에, 제1 예측 단계 (S220) 에서는 실시간으로 수신되는 초음파 이미지 (212) 에 대하여 목적 부위에 대한 영역, 암 영역, 및 배경 영역을 예측할 수 있다.

본 발명의 또 다른 실시예에 따르면, 본 암 영역의 예측 방법은 초음파 이미지 (212) 내에서 사용자로부터 선택된 영역을 입력 받고, 제1 예측 단계 (S220) 에서는 사용자로부터 입력 받은 선택된 영역을 암 영역으로 결정하도록 구성될 수 있다.

다음으로 도 2b를 참조하면, 제2 예측 단계 (S230) 에서는 제2 암 영역 예측 모델 (232) 에 마스킹 이미지 (227) 와 제1 암 영역 예측 모델 (222) 에 입력된 초음파 이미지 (212) 가 추가적으로 입력될 수 있다. 이때, 마스킹 이미지 (227) 는 제1 암 영역 예측 모델 (222) 에 의해 예측된 결과를 기초로 생성될 수 있다. 보다 구체적으로, 마스킹 이미지 (227) 는 제1 암 영역 예측 모델 (222) 에 의해 예측된 갑상선 영역이 마스킹된 영역 (228) 을 포함한다.

제 2 예측 단계 (S230) 의 결과로, 제2 암 영역 예측 모델 (232) 에 의해 갑상선 영역 및 암 영역이 재 예측될 수 있다. 이때, 제2 암 영역 예측 모델 (232) 은 초음파 이미지 (212) 및 마스킹 이미지 (227) 에 대하여 픽셀 단위로 목적 부위인 확률, 암인 확률을 각각 산출하고, 산출된 확률값을 기초로 갑상선 영역에 대한 영역, 암 영역을 '확률맵'의 형태로 예측할 수 있다.

본 발명의 다른 실시예에 따르면, 제2 예측 단계 (S230) 에서는 두 개의 암 영역 예측 모델의 예측된 결과를 기초로, 각각의 영역을 픽셀 단위로 예측할 수 있다. 예를 들어, 도 2b를 참조하면, 제2 예측 단계 (S230) 에서는 제1 예측 단계 (S220) 에서 제1 암 영역 예측 모델 (222) 에 의해 예측된 암 영역 확률맵 (223) 과 제2 암 영역 예측 모델 (232) 에 의해 예측된 암 영역 확률맵 (234) 을 합산하고, 제1 암 영역 예측 모델 (222) 에 의해 예측된 갑상선 영역 확률맵 (224) 과 제2 암 영역 예측 모델 (232) 에 의해 예측된 갑상선 영역 확률맵 (235) 을 합산하여, 각각의 영역에 대한 최종 확률맵을 생성할 수 있다.

본 발명의 일 실시예에 따른 예측 방법은, 제2 예측하는 단계 (S230) 에서 예측된 확률맵을 기초로 초음파 이미지 내에 예측된 각각의 이미지를 생성하여 제공하도록 구성될 수 있다. 예를 들어, 도 2b를 참조하면, 합산된 암 영역 확률맵 (242) 및 합산된 갑상선 영역 확률맵 (243) 에 기초하여 생성된 최종 암 영역이 예측된 초음파 이미지 (244) 및 최종 갑상선 영역이 예측된 초음파 이미지 (245) 가 제공될 수 있다.

본 발명의 다른 실시예에 따른 예측 방법은, 제1 암 영역 예측 모델 (222) 에 의해 산출된 목적 부위인 확률, 암인 확률 및 배경인 확률과 제2 암 영역 예측 모델 (232) 에 의해 산출된 목적 부위인 확률 및 암인 확률을 픽셀 단위로 각각 비교하도록 더 구성될 수 있다. 그 결과, 픽셀 단위 별로, 최대 확률을 갖는 영역을 최종 영역으로 결정하여, 픽셀 단위로 영역이 각각 분할된 초음파 이미지가 제공될 수 있다.

본 발명의 또 다른 실시예에 따른 예측 방법은, 초음파 이미지 (212) 에 대하여 제1 암 영역 예측 모델 (222) 에 의해 암 영역으로 예측되었으나, 제2 암 영역 예측 모델 (232) 에 의해 최종 암 영역으로 예측되지 않은 영역을 암 의심 영역으로 결정하여 제공하도록 더 구성될 수 있다.

본 발명의 또 다른 실시예에 따른 암 영역의 예측 방법은 제1 암 영역 예측 모델 (222) 에 의해 목적 부위에 대한 영역, 예를 들어 갑상선 영역이 예측되지 않을 경우, 초음파 이미지 (212) 의 재수신 요청의 표시를 제공하거나 갑상선 부위에 대한 초음파 측정의 가이드 라인을 제공하도록 더 구성될 수 있다.

이상의 본 발명의 일 실시예에 따른 암 영역의 예측 방법에 의해, 사용자의 숙련도에 관계 없이 목적 부위에 대한 영역 및 암 영역에 대한 정확한 예측이 가능함에 따라, 본 발명은 초음파 이미지에 기초한 진단 시스템에 적용될 수 있다.

이하에서는, 도 3a 내지 도 3c를 참조하여, 본 발명의 다른 실시예에 따른 암 영역의 예측 방법을 구체적으로 설명한다. 이때, 피검자의 갑상선 부위를 예로 들어, 목적 부위에 대한 암 영역의 결정 과정을 설명한다. 그러나, 이에 제한되지 않고 본 발명의 일 실시예에 따른 암 영역의 예측 방법은 보다 다양한 목적 부위에 대하여 적용될 수 있다. 나아가, 본 발명의 다른 실시예에서 이용되는, 촬상 방향에 따른 암 영역의 예측 모델은 후술할 모델에 제한되는 것은 아니다.

도 3a는 본 발명의 다른 실시예에 따른 암 영역의 예측 방법의 절차를 도시한 것이다. 도 3b 및 도 3c는 본 발명의 다른 실시예에 따른 암 영역의 예측 방법에 의한 초음파 이미지 내의 목적 부위에 대한 영역 및 암 영역의 결정의 절차를 예시적으로 도시한 것이다.

도 3a를 참조하면, 본 발명의 다른 실시예에 따른 암 영역의 예측 절차는 다음과 같다. 먼저, 피검자의 목적 부위에 대한 초음파 이미지를 수신한다 (S310). 그 다음, 목적 부위의 촬상 방향에 따라 초음파 이미지의 종류를 분류한다 (S320). 그 다음, 분류된 종류에 따라 초음파 이미지 내에서 목적 부위에 대한 영역과 암 영역을 예측하도록 구성된 복수개의 암 영역 예측 모델 중 하나의 예측 모델을 이용하여, 초음파 이미지 내에서 목적 부위에 대한 영역과 암 영역을 제1 예측한다 (S330). 다음으로, 제1 예측 결과를 기초로 암 영역을 제2 예측한다 (S230).

예를 들어, 도 3b를 참조하면, 초음파 이미지를 수신하는 단계 (S310) 에서는 피검자의 목적 부위로 설정된 갑상선에 대하여 반사된 초음파 에코신호를 기초로 형성된 다양한 촬상 방향을 갖는 복수개의 초음파 이미지 (312) 를 획득할 수 있다.

다음으로, 초음파 이미지의 종류를 분류하는 단계 (S320) 에서 복수개의 초음파 이미지가 촬상 방향에 따라 분류된다.

예를 들어, 도 3b를 참조하면, 초음파 이미지의 종류를 분류하는 단계 (S320) 에서는 복수개의 초음파 이미지 (312) 각각이 갑상선에 대한 촬상 방향에 따라, 정면 초음파 이미지 (324) 및 우측면 초음파 이미지 (326) 으로 분류될 수 있다. 이때, 초음파 이미지의 종류를 분류하는 단계 (S320) 에서는, 촬상 방향에 따라 초음파 이미지를 분류하도록 학습된 이미지 분류 모델 (322) 이 이용될 수 있으나, 이에 제한되는 것은 아니다.

다음으로, 제1 예측 단계 (S330) 에서 초음파 이미지의 촬상 방향 각각에 따른 암 영역 예측 모델에 의해 초음파 이미지 내의 목적 부위에 대한 영역, 암 영역 및 배경 영역이 각각 예측된다.

예를 들어, 도 3b를 참조하면, 제1 예측 단계 (S330) 에서는 복수개의 촬상 방향에 따른 암 영역 예측 모델 (333) 에 갑상선 부위에 대한 정면 초음파 이미지 (324) 및 우측면 초음파 이미지 (326) 가 입력된다. 보다 구체적으로, 정면 초음파 이미지 (324) 는, '정면 초음파 이미지'에 대하여 갑상선 부위에 대한 영역, 암 영역 및 배경 영역을 예측 하도록 학습된, 정면 초음파 이미지 예측 모델 (331) 에 입력되어 갑상선 부위에 대한 영역 (335), 암 영역 (336) 및 이들 영역을 제외한 배경 영역이 예측될 수 있다. 또한, 우측면 초음파 이미지 (326) 는, '우측면 초음파 이미지'에 대하여 갑상선 부위에 대한 영역, 암 영역 및 배경 영역을 예측 하도록 학습된, 우측면 초음파 이미지 예측 모델 (332) 에 입력되어 갑상선 부위에 대한 영역 (338), 암 영역 (339) 및 이들 영역을 제외한 배경 영역이 각각 예측될 수 있다.

본 발명의 다른 실시예에 따르면, 제1 예측 단계 (S330) 에서는 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 하나의 예측 모델을 이용하여, 촬상 방향에 따라 분류된 초음파 이미지에 대하여 픽셀 단위로, 목적 부위인 확률 및 암인 확률을 산출할 수 있다. 그 다음, 제1 예측 단계 (S330) 에서는 목적 부위인 확률, 및 암인 확률을 기초로, 분류된 초음파 이미지 내에서 목적 부위에 대한 영역 및 암 영역이 예측될 수 있다.

다음으로, 제1 예측 단계 (S330) 의 영역 예측 결과를 기초로 암 영역을 제2 예측한다 (S340).

예를 들어, 도 3b를 참조하면, 정면 초음파 이미지 예측 모델 (331) 및 우측면 초음파 이미지 예측 모델 (332) 에 의해 예측된 결과에 따라, 최종 암 영역 (343) 이 예측된다.

본 발명의 다른 실시예에서, 제2 예측 단계 (S340) 에서는, 복수개의 촬상 방향에 따른 암 영역 예측 모델 (333) 에 따라 상이한 가중치를 적용하여, 복수개의 촬상 방향에 따른 암 영역 예측 모델 (333) 중 적어도 하나에 의해 예측된 목적 부위에 대한 영역에 대하여 픽셀 단위로, 촬상 방향에 따른 암인 확률을 산출할 수 있다. 그 다음, 촬상 방향에 따른 암인 확률을 기초로, 초음파 이미지 내에서 암 영역이 최종 예측될 수 있다.

예를 들어, 도 3b를 참조하면, 정면 초음파 이미지 예측 모델 (331) 에 의해 예측된 암 영역 (336) 에 대한 예측의 신뢰도가 우측면 초음파 이미지 예측 모델 (332) 에 의해 예측된 암 영역 (339) 보다 높도록 설정될 수 있다.

본 발명의 다른 실시예에 따른 암 영역 예측 방법은, 초음파 이미지를 기초로 목적 부위에 대한 영역 및 암 영역을 결정하도록 학습되고, 복수개의 촬상 방향에 따른 암 영역 예측 모델과 상이한 예측 모델, 예를 들어, 전술한 제1 암 영역 예측 모델을 이용하여 초음파 이미지 내에서 목적 부위에 대한 영역 및 상기 암 영역을 예측하도록 구성될 수 있다.

나아가, 본 발명의 다른 실시예에 따른 암 영역 예측 방법은, 제1 암 영역 예측 모델에 의한 예측 결과와 복수개의 촬상 방향에 따른 암 영역 예측 모델에 의한 예측 결과를 기초로, 초음파 이미지 내에서 암 영역을 최종 예측하도록 더 구성될 수 있다.

예를 들어, 도 3c를 참조하면, 본 발명의 다른 실시예에 따른 암 영역 예측 방법에서는 먼저, 갑상선 부위에 대한 초음파 이미지 (412) 가 제1 암 영역 예측 모델 (422) 과 이미지 분류 모델 (421) 에 각각 입력된다. 제1 암 영역 예측 모델 (422) 에 의해 초음파 이미지 (412) 는 갑상선 영역, 암 영역, 배경 영역이 각각 예측된다. 나아가, 이미지 분류 모델 (421) 에 의해 초음파 이미지 (412) 는 촬상 방향에 따라 종류가 분류된다. 이때, 이미지 분류 모델 (421) 에 의한 출력값이 미리 결정된 수준 이하인 경우, 즉 이미지 분류의 신뢰도가 떨어지는 경우, 제1 암 영역 예측 모델 (422) 에 의한 예측 결과가 최종 예측 결과로서 제공될 수 있다. 한편, 종류가 분류된 좌-우 넓은면 초음파 이미지 (414) 는, 갑상선에 대하여 좌-우 넓은면으로 촬영된 이미지를 기초로 암 영역, 갑상선 영역, 배경 영역을 예측하도록 학습된 좌-우 넓은면 초음파 이미지 예측 모델 (432) 에 입력되어 갑상선 영역, 암 영역, 배경 영역이 각각 예측된다. 그 다음, 제1 암 영역 예측 모델 (422) 에 의해 예측된 결과 (예를 들어, 예측된 암 영역 확률맵 (423), 예측된 갑상선 영역 확률맵 (424)) 와 좌-우 넓은면 초음파 이미지 예측 모델 (432) 에 의해 예측된 결과 (예를 들어, 예측된 암 영역 확률맵 (433), 예측된 갑상선 영역 확률맵 (434)) 가 결합되어, 최종적으로 갑상선 영역 및 암 영역을 픽셀 단위로 예측한다. 이때, 갑상선 영역 및 암 영역의 최종 예측에 있어서, 제1 암 영역 예측 모델 (422) 에 의해 예측된 결과 및 좌-우 넓은면 초음파 이미지 예측 모델 (432) 에 의해 예측된 결과에 각각 상이한 가중치가 적용될 수 있다. 예를 들어, 좌-우 넓은면 초음파 이미지 예측 모델 (432) 에 의해 예측된 결과에 초음파 이미지의 촬상 방향에 관계 없이 영역을 예측하도록 학습된 제1 암 영역 예측 모델 (422) 보다 높은 가중치가 적용될 수 있으나, 이에 제한되는 것은 아니다. 마지막으로, 합산된 암 영역 확률맵 (442), 합산된 갑상선 영역 확률맵 (443), 최종 암 영역이 예측된 초음파 이미지 (444) 및 최종 갑상선 영역이 예측된 초음파 이미지 (445) 가 제공된다.

이상의 본 발명의 다른 실시예에 따른 암 영역의 예측 방법에 의해, 초음파 이미지의 종류에 관계 없이 목적 부위에 대한 영역 및 암 영역에 대한 정확한 예측이 가능함에 따라, 본 발명은 다양한 방향에서 촬영한 초음파 이미지에 기초한 진단 시스템에 적용될 수 있다.

한편, 전술한 실시예들에 제한되지 않고, 본 명세서에서 개시한 암 영역 예측 모델들은 암 영역의 예측을 위해 보다 다양한 조합으로 이용될 수 있다.

이하에서는, 도 4a 및 도 4b를 참조하여, 본 발명의 다양한 실시예에서 이용되는 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델의 학습 방법을 설명한다. 이때, 학습에 이용된 초음파 이미지는 갑상선 부위에 대한 이미지가 이용되었으나, 이에 제한되지 않고 목적에 따라 다양한 초음파 이미지가 학습에 이용될 수 있다.

도 4a는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 두 개의 암 영역 예측 모델에 대한 학습 초음파 이미지 데이터를 도시한 것이다. 도 4b는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 두 개의 암 영역 예측 모델을 예시적으로 도시한 것이다.

보다 구체적으로, 도 4a의 (a) 내지 (d)를 참조하면, 제1 암 영역 예측 모델의 경우, 영역 예측 학습을 위해, 갑상선 초음파 이미지 (도 4a의 (a)) 를 기초로 목적 부위인 갑상선 영역, 갑상선 영역내의 암 영역과 배경 영역이 정답으로 각각 마스킹된 초음파 이미지 (도 4a의 (b), (c) 및 (d)) 가 이용된다. 이에, 제1 암 영역 예측 모델은 초음파 이미지 내에서 목적 부위인 갑상선 영역, 암 영역, 나아가 배경 영역을 예측하도록 학습될 수 있다. 이때, 학습에 이용되는 초음파 이미지는 388 x 388 픽셀 (pixel) 을 갖는 초음파 이미지가 이용될 수 있으나, 이에 제한되는 것은 아니다.

제2 암 영역 예측 모델의 경우, 갑상선 영역과 암 영역의 예측 학습을 위해, 갑상선 영역과 암 영역이 마스킹된 초음파 이미지 (도 4a의 (b) 및 (c)) 가 이용될 수 있다. 선택적으로, 제2 암 영역 예측 모델은 제1 암 영역 예측 모델의 학습에 이용되었던 초음파 이미지를 기초로 학습될 수 있다. 이에, 제2 암 영역 예측 모델은, 전체 초음파 이미지와 제1 암 영역 예측 모델에 의해 예측된 갑상선 영역을 기초로 하여 갑상선 영역과 갑상선 영역 내에 존재하는 암 영역을 예측하도록 학습될 수 있다.

한편, 촬상 방향에 따른 암 영역 예측 모델은, 촬상 방향 각각에 따라 분리된 초음파 이미지에 대하여 전술한 방법과 동일하게 마스킹된 이미지를 기초로, 목적 부위에 대한 영역, 암 영역 및 배경 영역을 예측하도록 학습될 수 있다.

도 4b를 참조하면, 본 발명의 본 발명의 다양한 실시예에서 이용되는 제1 암 영역 예측 모델, 제2 암 영역 예측 모델 및 촬상 방향에 따른 암 영역 예측 모델은, U-net이 이용될 수 있다. 이때, U-net 기반의 본 발명의 암 영역 예측 모델은 입력된 초음파 이미지에 대하여 의미 있는 부분을 픽셀 단위로 예측 할 수 있다. 그러나, 본 발명의 다양한 실시예에서 이용되는 제1 암 영역 예측 모델, 제2 암 영역 예측 모델, 나아가 촬상 방향에 따른 암 영역 예측 모델은 이에 제한되는 것은 아니며, 초음파 이미지에 대한 암 영역의 예측을 위해 다양한 모델을 기반으로 할 수 있다.

보다 구체적으로, 도 4b의 U 형태의 암 영역 예측 모델에서 왼쪽 영역은 컨볼루션 (convolutional) 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서는 커다란 초음파 이미지가 지역적 특징에서 전역적 특징으로 표현될 수 있다. 나아가, 암 영역 예측 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 이미지가 확대되고, 결과적으로 특정 픽셀에서 0 또는 1의 값이 출력될 수 있다. 결과적으로, 암 영역 예측 모델을 통해 초음파 이미지 내에서 예측된 암 영역에서는 1에 가까운 값이, 배경 영역에서는 0이 출력될 수 있고, 갑상선 영역에서는 1과 0 사이의 값이 출력될 수 있다. 이에, 각각의 영역에 대한 픽셀 단위의 예측이 가능할 수 있다. 이때, 제1 암 영역 예측 모델의 경우, 목적 부위에 대한 초음파 이미지의 1 개의 채널이 입력되면, 목적 부위에 대한 영역, 암 영역 및 배경영역의 3 개의 채널이 출력될 수 있다. 제2 암 영역 예측 모델의 경우, 목적 부위에 대한 초음파 이미지와 제1 암 영역 예측 모델에 의해 예측된 목적 부위에 대하여 마스킹된 초음파 이미지의 2 개의 채널이 입력되면, 목적 부위에 대한 영역 및 암 영역의 2 개의 채널이 출력될 수 있다.

한편, U 형태의 암 영역 예측 모델에서 왼쪽에서 오른쪽으로 연결된 선은 커다란 초음파 이미지가 작아지면서 해당 영역의 특징이 손실될 수 있어, 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이에, 예측 동안 입력된 초음파 이미지 내에서 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다.

본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 1 암 영역 예측 모델, 제2 암 영역 예측 모델 및 촬상 방향에 따른 암 영역 예측 모델은 전술한 것에 제한되지 않고 보다 다양한 학습 데이터를 이용하는 등의 다양한 방법으로 학습될 수 있다.

실시예 1: 암 영역 예측 모델의 평가_제1 암 영역 예측 모델 및 제2 암 영역 예측 모델

이하의 실시예 1에서는 본 발명의 다양한 실시예에 이용되는 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델의 평가 방법 및 결과를 설명한다.

본 평가는 갑상선 영역 예측 및 갑상선 영역 내에 존재하는 암 영역의 예측 결과에 기초하여 수행되었으나, 본 평가 결과에 따른 본 발명의 효과는 갑상선에 제한되는 것은 아니다.

본 평가가 진행된 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델은, 323 명의 갑상선 암으로 진단된 환자에 대한 1900 장의 초음파 이미지에 대하여 각각의 영역이 태깅된 이미지를 기초로 영역들을 예측하도록 학습되었다.

도 5a는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 두 개의 암 영역 예측 모델에 대한 평가 기준을 예시적으로 도시한 것이다. 도 5b는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제1 암 영역 예측 모델에 대한 평가 척도에 따른 목적 부위에 대한 영역 및 암 영역에 대한 검출률을 도시한 것이다. 도 5c는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제2 암 영역 예측 모델에 대한 평가 척도에 따른 목적 부위에 대한 영역 및 암 영역에 대한 검출률을 도시한 것이다.

도 5a를 참조하면, 본 발명의 다양한 실시예에 이용되는 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델은, 미리 초음파 이미지 내에 마스킹된 정답 영역 (B) 와 1 암 영역 예측 모델 및 제2 암 영역 예측 모델에 의해 초음파 이미지 내에서 예측된 예측 영역 (A) 에 대한 중첩률을 기초로 평가될 수 있다. 이때, 중첩률은 중첩 영역 (A∩B, C) 의 비율일 수 있다.

이때, 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델의 평가에 있어서, 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/B) 는 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델에 의해 예측된 결과가 얼마나 정답에 가깝게 예측한 것인지에 대한 평가에 고려될 수 있다. 한편, 정답 영역 (B) 및 예측 영역 (A) 에 대한 중첩 영역 (C) 의 비 (C/A∪B) 는 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델에 의해 예측되지 않은 영역 (B-C) 을 더 고려한 평가에 이용될 수 있다.

한편, 중첩 영역 (C) 의 비율인 예측 영역 및 정답 영역의 중첩률은 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델에의 성능 평가에 있어서 다양한 척도로 설정될 수 있다. 예를 들어, 예측 영역 및 정답 영역의 중첩률이 10 % 로 설정된 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델은, 정답 영역 (B) 에 예측 영역 (A) 이 10 % 이상 포함되면, 암 영역을 정확하게 찾은 것으로 평가할 수 있다. 나아가, 예측 영역 및 정답 영역의 중첩률이 30 % 로 설정된 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델은, 정답 영역 (B) 에 예측 영역 (A) 이 30 % 이상 포함되면, 암 영역을 정확하게 찾은 것으로 평가할 수 있다. 즉, 예측 영역 및 정답 영역의 중첩률이 10 % 로 설정된 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델은 예측 영역 및 정답 영역의 중첩률이 30 % 로 설정된 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델보다 높은 성능을 보이는 것으로 평가될 수 있다.

도 5b의 (a)를 참조하면, 제1 암 영역 예측 모델에 대한 평가 척도 (C/A∪B, 또는 C/B) 에 따른 암 영역의 검출률이 도시된다. 도 5b의 (b)를 참조하면, 제1 암 영역 예측 모델에 대한 평가 척도 (C/A∪B, 또는 C/B) 에 따른 감상선 영역의 검출률이 도시된다. 도 5c의 (a)를 참조하면, 제2 암 영역 예측 모델에 대한 평가 척도 (C/A∪B, 또는 C/B) 에 따른 암 영역의 검출률이 도시된다. 도 5c의 (b)를 참조하면, 제2 암 영역 예측 모델에 대한 평가 척도 (C/A∪B, 또는 C/B) 에 따른 감상선 영역의 검출률이 도시된다. 본 예측 평가에서 중첩률은 50 %로 설정되었으나, 이에 제한되는 것은 아니다.

보다 구체적으로, 도 5b의 (a)를 참조하면, 중첩률 50 %에서의 제1 암 영역 예측 모델의 암 영역 예측에 대한, 예측 영역 (A) 및 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/A∪B) 의 백분율은 약 71 %로 나타난다. 나아가, 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/B) 에 대한 백분율은 약 80 %로 나타난다.

도 5b의 (b)를 참조하면, 중첩률 50 %에서의 제1 암 영역 예측 모델의 갑상선 영역 예측에 대한, 예측 영역 (A) 및 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/A∪B) 의 백분율은 약 78 %로 나타난다. 나아가, 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/B) 에 대한 백분율은 약 87 %로 나타난다.

도 5c의 (a)를 참조하면, 중첩률 50 %에서의 제2 암 영역 예측 모델의 암 영역 예측에 대한, 예측 영역 (A) 및 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/A∪B) 의 백분율은 약 76 %로 나타난다. 나아가, 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/B) 에 대한 백분율은 약 80 %로 나타난다.

도 5d의 (b)를 참조하면, 중첩률 50 %에서의 제2 암 영역 예측 모델의 갑상선 영역 예측에 대한, 예측 영역 (A) 및 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/A∪B) 의 백분율은 약 79 %로 나타난다. 나아가, 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/B) 에 대한 백분율은 약 87 %로 나타난다.

이상의 결과에서 제1 암 영역 예측 모델을 이용했을 때 보다, 제2 암 영역 예측 모델을 이용했을 때 암 영역 및 갑상선 영역에 대한 검출률이 높게 나타난다. 예를 들어, 예측 영역 (A) 및 정답 영역 (B) 에 대한 중첩 영역 (C) 의 비 (C/A∪B) 의 백분율만을 고려했을 때, 제1 암 영역 예측 모델에 의한 암 영역 및 갑상선 영역의 검출률은 각각 71 % 및 78 %로, 제1 암 영역 예측 모델에 의한 암 영역 및 갑상선 영역의 검출률은 각각 76 % 및 79 %로 나타난다.

즉, 이러한 결과는, 목적 부위에 대한 영역과 목적 부위 내에 존재하는 암 영역을 재 예측하도록 구성된 제2 암 영역 예측 모델을, 제1 암 영역 예측 모델과 함께 이용했을 때, 제1 암 영역 예측 모델만을 이용했을 때 보다 예측의 정확도가 높아진다는 것을 수 있음을 의미할 수 있다. 따라서, 두 개의 예측 모델을 이용하는 본 발명의 암 영역 예측 방법 및 이를 이용한 디바이스는, 단독 예측 모델을 이용하는 방법 및 디바이스보다 높은 정확도로 암 영역을 예측할 수 있다.

한편, 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델에 의해 예측되지 않은 영역 (A-C) 을 더 고려한 평가 (C/A∪B) 는, 정답 영역과 중첩 영역만을 고려한 평가 (C/B) 보다, 두 모델의 정확한 평가에 있어서 바람직할 수 있다.

도 5d는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제1 암 영역 예측 모델에 대하여 픽셀 단위로 평가된 검출률 (Recall) 및 정확도 (Precision) 를 도시한 것이다. 도 5e는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제2 암 영역 예측 모델에 대하여 픽셀 단위로 평가된 검출률 및 정확도를 도시한 것이다.

보다 구체적으로, 도 5d의 (a)를 참조하면, 픽셀 단위의 평가에서, 제1 암 영역 예측 모델의 암에 대한 검출률은 0.768, 갑상선 영역에 대한 검출률은 0.789 및 배경 영역에 대한 검출률은 0.991로 나타난다.

도 5d의 (b)를 참조하면, 픽셀 단위의 평가에서, 제1 암 영역 예측 모델의 암에 대한 예측의 정확도는 0.739, 갑상선 영역에 대한 예측의 정확도는 0.904, 배경 영역에 대한 예측의 정확도는 0.977로 나타난다.

도 5e의 (a)를 참조하면, 픽셀 단위의 평가에서, 제2 암 영역 예측 모델의 암에 대한 검출률은 0.778, 갑상선 영역에 대한 검출률은 0.790 및 배경 영역에 대한 검출률은 0.991로 나타난다.

도 5e의 (b)를 참조하면, 픽셀 단위의 평가에서, 제2 암 영역 예측 모델의 암에 대한 예측의 정확도는 0.762, 갑상선 영역에 대한 예측의 정확도는 0.904, 배경 영역에 대한 예측의 정확도는 0.977로 나타난다.

이상의 결과로, 복수의 영역들 중 특히 암 영역의 경우, 제2 암 영역 예측 모델을 이용하여 영역들을 예측했을 때의 검출률 (0.778) 및 정확도 (0.762) 는 제1 암 영역 예측 모델을 단독으로 이용했을 때의 검출률 (0.768) 및 정확도 (0.739) 보다 높게 나타나는 것을 확인할 수 있다. 이러한 결과는, 제1 암 영역 예측 모델에 의해 예측된 목적 부위에 대한 영역과 초음파 이미지를 기초로 암 영역을 재 예측하도록 구성된, 제2 암 영역 예측 모델에 의해 암 영역의 예측 능력이 향상된 것을 의미할 수 있다.

나아가, 이상의 결과에서 영역들과 경계를 이루는 영역, 예를 들어 암 영역과 갑상선 영역의 경계 영역, 또는 갑상선 영역과 배경 영역의 경계 영역의 일부 영역에서 예측의 오류가 있을 수 있으나, 암 영역과 배경 영역 각각은 정밀한 영역 구분이 가능한 것으로 나타난다.

다음으로, 5f 내지 도 5h를 참조하여, 두 개의 암 영역 예측 모델에 대한 평가 결과를 설명한다.

도 5f 내지 도 5h는 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델 각각에 의해 예측된, 초음파 이미지 내에서의 목적 부위에 대한 영역 및 암 영역의 예측 결과를 도시한 것이다.

도 5f의 (a) 및 (b)를 참조하면, 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델 각각에 의해 갑상선 부위에 대한 초음파 이미지 내에서 예측된 암 영역 및 갑상선 영역과 이들 영역에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 제1 암 영역 예측 모델 및 제2 암 영역 예측 모델에 의해 예측된 암 영역과 갑상선 영역은, 미리 마스킹된 영역과 높은 수준으로 중첩된 것으로 나타난다.

도 5g의 (a)를 참조하면, 제1 암 영역 예측 모델에 의해 갑상선 부위에 대한 초음파 이미지 내에서 예측된 암 영역 및 갑상선 영역과, 이들 영역에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 제1 암 영역 예측 모델에 의해 예측된 암 영역 및 갑상선 영역은, 미리 마스킹된 영역과 높은 수준으로 중첩된 것으로 나타난다. 다만, 제1 암 영역 예측 모델은 초음파 이미지 내에서 정상 조직에 대한 영역을 암 영역으로 예측한 것으로 나타난다

도 5g의 (b)를 참조하면 제2 암 영역 예측 모델에 의해 갑상선 부위에 대한 초음파 이미지 내에서 예측된 암 영역 및 갑상선 영역과, 이들 영역에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 제2 암 영역 예측 모델은 제1 암 영역 예측 모델에 의해 오검출된 영역을 암 영역으로 예측하지 않고, 미리 마스킹된 영역만을 암 영역으로 예측한 것으로 나타난다. 이에, 제2 암 영역 예측 모델에 의해 암 영역 및 갑상선 영역에 대한 정확도 높은 예측이 가능할 수 있다.

도 5h의 (a)를 참조하면, 제1 암 영역 예측 모델에 의해 갑상선 부위에 대한 초음파 이미지 내에서 예측된 암 영역 및 갑상선 영역과, 이들 영역에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 제1 암 영역 예측 모델은 초음파 이미지 내에서 미리 마스킹된 정답 영역을 낮은 중첩률로 예측하고, 갑상선 영역 외부의 영역을 암 영역으로 오검출한 것으로 나타난다

도 5h의 (b)를 참조하면 제2 암 영역 예측 모델에 의해 갑상선 부위에 대한 초음파 이미지 내에서 예측된 암 영역 및 갑상선 영역과, 이들 영역에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 제2 암 영역 예측 모델은 제1 암 영역 예측 모델에 의해 오검출된 영역을 암 영역으로 예측하지 않고, 미리 마스킹된 영역만을 암 영역으로 예측한 것으로 나타난다. 나아가, 제2 암 영역 예측 모델은 제1 암 영역 예측 모델에 의해 정확하게 예측되지 않은 정답 영역을, 암 영역으로 예측한 것으로 나타난다. 이에, 제2 암 영역 예측 모델에 의해 암 영역 및 갑상선 영역에 대한 정확도 높은 예측이 가능할 수 있다. 제2 암 영역 예측 모델을 더 이용하여 암 영역을 예측하는 본 발명은, 특히, 암이 갑상선과 같은 목적 부위 내에 존재하는 경우, 보다 높은 정확도로 암 영역을 예측할 수 있다.

실시예 2: 암 영역 예측 모델의 평가_제1 암 영역 예측 모델 및 촬상 방향에 따른 암 영역 예측 모델

이하의 실시예 2에서는 본 발명의 다른 실시예에 이용되는 제1 암 영역 예측 모델 및 촬상 방향에 따른 암 영역 예측 모델의 평가 결과에 대하여 설명한다.

본 평가는 전술한 실시예 1과 동일한 방법으로 수행되었다. 이때, 촬상 방향에 따른 암 영역 예측 모델은, 갑상선 부위에 대하여 좌-우 넓게 펼쳐진 초음파 이미지를 기초로 각각의 영역들을 예측하도록 구성된, 좌-우 넓게 펼쳐친 초음파 이미지 예측 모델이 이용되었으나, 보다 다양한 촬상 방향에 따른 암 영역 예측 모델이 본 발명의 암 영역 예측 방법 및 이를 이용한 디바이스에서 이용될 수 있다.

도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스에서 이용되는, 제1 암 영역 예측 모델 및 촬상 방향에 따른 예측 모델 각각에 의해 예측된, 초음파 이미지 내에서의 목적 부위에 대한 영역 및 암 영역의 예측 결과를 도시한 것이다.

도 6a의 (a)를 참조하면, 제1 암 영역 예측 모델에 의해 갑상선 부위에 대한 초음파 이미지 내에서 예측된 암 영역과, 이에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 제1 암 영역 예측 모델에 의해 예측된 암 영역은, 미리 마스킹된 영역과 높은 수준으로 중첩된 것으로 나타난다. 다만, 제1 암 영역 예측 모델은 초음파 이미지 내에서 정상 조직에 대한 영역을 암 영역으로 예측한 것으로 나타난다.

도 6a의 (b)를 참조하면 좌-우 넓게 펼쳐친 초음파 이미지 예측 모델에 의해 갑상선 부위에 대한 초음파 이미지 내에서 예측된 암 영역과, 이에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 좌-우 넓게 펼쳐친 초음파 이미지 예측 모델은 제1 암 영역 예측 모델에 의해 오검출된 영역을 암 영역으로 예측하지 않고, 미리 마스킹된 영역만을 암 영역으로 예측한 것으로 나타난다. 이에, 본 발명은, 좌-우 넓게 펼쳐친 초음파 이미지를 기초로 암 영역에 대한 정확도 높은 예측이 가능할 수 있다.

도 6b의 (a)를 참조하면, 제1 암 영역 예측 모델에 의해 갑상선 부위에 대한 초음파 이미지 내에서 예측된 결과와 함께, 이에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 제1 암 영역 예측 모델은 초음파 이미지 내에서 미리 마스킹된 정답 영역을 정확하게 예측하지 못한 것으로 나타난다.

도 6b의 (b)를 참조하면 좌-우 넓게 펼쳐친 초음파 이미지 예측 모델에 갑상선 부위에 대한 초음파 이미지 내에서 예측된 암 영역과, 이에 대하여 정답으로 미리 마스킹된 영역이 도시된다. 보다 구체적으로, 좌-우 넓게 펼쳐친 초음파 이미지 예측 모델은 제1 암 영역 예측 모델에 의해 정확하게 예측되지 않은 정답 영역을, 암 영역으로 정확하게 예측한 것으로 나타난다. 이에, 본 발명은, 좌-우 넓게 펼쳐친 초음파 이미지를 기초로 암 영역에 대한 정확도 높은 예측이 가능할 수 있다.

이상의 실시예 1 및 실시예2의 결과로, 본 발명의 다양한 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 디바이스는 높은 정확도로 피검자의 목적 부위에 대한 초음파 이미지 내에서 암 영역을 예측할 수 있는 효과가 있다. 특히, 본 발명의 다양한 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 디바이스는 목적 부위 내에 존재하는 암에 대하여 높은 정확도로 예측할 수 있다. 이에, 본 발명의 다양한 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 디바이스는 두 개의 암 영역 예측 모델을 이용함으로써, 사용자의 숙련도에 따라 임 진단의 오차율이 높은 목적 부위에 대하여, 정확한 예측의 결과를 제공할 수 있다.

한편, 본 발명의 다양한 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 디바이스의 이용 범위 및 효과에 제한되지 않는다. 예를 들어, 본 발명의 일 실시예에 따른 암 영역의 예측 방법 및 이를 이용한 디바이스는, 갑상선 부위뿐만 아니라, 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 또는 유방과 같이 초음파 검사가 수행될 수 있는 다양한 부위에 대하여, 암 영역을 예측할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 암 영역의 예측 디바이스
110: 초음파 탐촉자
120: 입력부
130: 출력부
140: 저장부
212, 412: 초음파 이미지
222, 422: 제1 암 영역 예측 모델
223, 234, 423, 433: 예측된 암 영역 확률맵
224, 235, 424, 434: 예측된 갑상선 영역 확률맵
225, 425, 435: 암 영역이 예측된 초음파 이미지
226, 426, 436: 갑상선 영역이 예측된 초음파 이미지
227: 마스킹 이미지
228: 마스킹된 영역
232: 제2 암 영역 예측 모델
242, 442: 합산된 암 영역 확률맵
243, 443: 합산된 갑상선 영역 확률맵
244, 444: 최종 암 영역이 예측된 초음파 이미지
245, 445: 최종 갑상선 영역이 예측된 초음파 이미지
312: 복수개의 초음파 이미지
322, 421: 이미지 분류 모델
324: 정면 초음파 이미지
326: 우측면 초음파 이미지
333: 복수개의 촬상 방향에 따른 암 영역 예측 모델
331: 정면 초음파 이미지 예측 모델
332: 우측면 초음파 이미지 예측 모델
334: 갑상선 영역, 암 영역 및 배경 영역이 예측된 정면 초음파 이미지
337: 갑상선 영역, 암 영역 및 배경 영역이 예측된 우측면 초음파 이미지
414: 좌-우 넓은면 초음파 이미지
432: 좌-우 넓은면 초음파 이미지 예측 모델

Claims

목적 부위에 대한 초음파 이미지를 수신하는 단계;
상기 초음파 이미지를 기초로 상기 목적 부위에 대한 영역 및 상기 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제1 암 영역 예측 모델을 이용하여, 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역 및 상기 암 영역을 제1 예측하는 단계, 및
상기 제1 암 영역 예측 모델에 의해 결정된 상기 목적 부위에 대한 영역 및 상기 초음파 이미지를 기초로, 상기 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제2 암 영역 예측 모델을 이용하여, 상기 초음파 이미지 내에서 암 영역을 제2 예측하는 단계를 포함하는, 암 영역의 예측 방법.
제1항에 있어서,
상기 제1 암 영역 예측 모델은,
상기 초음파 이미지 내에서 목적 부위에 대한 영역 및 상기 암 영역을 제외한 배경 영역을 더 예측하도록 구성되고,
상기 제2 암 영역 예측 모델은, 목적 부위에 대한 영역을 더 예측하도록 구성되고,
상기 제1 예측하는 단계는,
상기 암 영역 예측 모델을 이용하여, 상기 초음파 이미지에 대하여 픽셀 단위로 목적 부위인 확률, 암인 확률, 및 배경인 확률을 각각 산출하는 단계, 및
상기 목적 부위인 확률, 상기 암인 확률, 및 상기 배경인 확률을 기초로, 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역, 상기 암 영역, 및 배경 영역을 예측하는 단계를 포함하고,
상기 제2 예측하는 단계는,
상기 제2 암 영역 예측 모델을 이용하여, 상기 제1 암 영역 예측 모델에 의해 결정된 상기 목적 부위에 대한 영역 및 상기 초음파 이미지에 대하여 픽셀 단위로 상기 목적 부위인 확률 및 암인 확률을 각각 산출하는 단계, 및
각각 산출된 상기 목적 부위인 확률 및 상기 암인 확률을 기초로, 암 영역을 재 예측하는 단계를 포함하는, 암 영역의 예측 방법.
제2항에 있어서,
상기 제1 암 영역 예측 모델에 의해 산출된 상기 목적 부위인 확률, 상기 암인 확률 및 상기 배경인 확률과 상기 제2 암 영역 예측 모델에 의해 산출된 목적 부위인 확률 및 암인 확률을 픽셀 단위로 각각 비교하는 단계;
상기 픽셀 단위 별로, 최대 확률을 갖는 영역을 최종 영역으로 결정하는 단계, 및
픽셀 단위로 영역이 각각 분할된 상기 초음파 이미지를 제공하는 단계를 더 포함하는, 암 영역의 예측 방법.
제2항에 있어서,
사용자로부터 선택된 상기 초음파 이미지 내에서 선택된 영역을 입력 받는 단계를 더 포함하고,
상기 제1 예측하는 단계는,
입력 받은 상기 선택된 영역을 상기 암 영역으로 결정하는 단계를 더 포함하고,
상기 제2 예측하는 단계는,
상기 제2 암 영역 예측 모델을 이용하여, 결정된 상기 암 영역에 대하여 픽셀 단위로 상기 암인 확률을 산출하는 단계, 및
상기 암인 확률을 기초로, 암 영역을 예측하는 단계를 더 포함하고,
상기 선택된 영역에 대한 암인 확률을 제공하는 단계를 더 포함하는, 암 영역의 예측 방법.
제2항에 있어서,
상기 제1 암 영역 예측 모델은,
상기 초음파 이미지 내의, 상기 목적 부위에 대한 영역, 상기 암 영역 및 상기 배경 영역 각각에 대하여 픽셀 값, 질감 (texture) 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로, 상기 초음파 이미지 내에서의 상기 목적 부위에 대한 영역, 상기 암 영역, 및 상기 배경 영역을 예측하도록 구성되고,
상기 제2 암 영역 예측 모델은,
상기 초음파 이미지 및 상기 암 영역 예측 모델에 의해 결정된 상기 목적 부위에 대한 영역에 대하여 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로, 상기 초음파 이미지 내에서의 상기 목적 부위에 대한 영역 및 상기 암 영역을 재 예측하도록 구성된, 암 영역의 예측 방법.
제2항에 있어서,
상기 제1 암 영역 예측 모델에 의해 산출된 상기 목적 부위인 확률 및 상기 제2 암 영역 예측 모델에 의해 산출된 목적 부위인 확률을 합산하고, 상기 제1 암 영역 예측 모델에 의해 산출된 상기 암인 확률 및 상기 제2 암 영역 예측 모델에 의해 산출된 암인 확률을 합산하는 단계,
합산된 목적 부위인 확률 및 합산된 암인 확률을 기초로 상기 초음파 이미지를 픽셀 단위로 최종 목적 부위에 대한 영역 및 최종 암 영역을 결정하는 단계, 및
픽셀 단위로 영역이 각각 분할된 상기 초음파 이미지를 제공하는 단계를 더 포함하는, 암 영역의 예측 방법.
제1항에 있어서,
상기 제2 암 영역 예측 모델에 의해,
상기 초음파 이미지 내에서 상기 암 영역이 최종 결정될 경우,
상기 초음파 이미지 내에 결정된 상기 암 영역을 표시하여 제공하는 단계를 더 포함하는, 암 영역의 예측 방법.
제1항에 있어서,
상기 초음파 이미지를 미리 결정된 픽셀 단위로 표준화하는 단계를 더 포함하는, 암 영역의 예측 방법.
제 1항에 있어서,
상기 초음파 이미지에 대하여 상기 제1 암 영역 예측 모델에 의해 암 영역으로 예측되었으나, 상기 제2 암 영역 예측 모델에 의해 암 영역으로 예측되지 않은 영역을 암 의심 영역으로 결정하는 단계, 및
초음파 이미지 내에서 결정된 상기 암 영역 및 상기 암 의심 영역이 구별되도록 표시하여 제공하는 단계를 더 포함하는, 암 영역의 예측 방법.
제1항에 있어서,
상기 제1 암 영역 예측 모델에 의해 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역이 결정되지 않을 경우,
상기 초음파 이미지의 재수신 요청의 표시를 제공하거나 상기 목적 부위에 대한 초음파 측정의 가이드 라인을 제공하는 단계를 더 포함하는, 암 영역의 예측 방법.
제1항에 있어서,
상기 제1 암 영역 예측 모델 및 상기 제2 암 영역 예측 모델에 의해 상기 초음파 이미지 내에서 암 영역이 결정되지 않을 경우,
상기 초음파 이미지의 재수신 요청의 표시를 제공하거나 상기 목적 부위에 대한 초음파 측정의 가이드 라인을 제공하는 단계를 더 포함하는, 암 영역의 예측 방법.
목적 부위에 대한 초음파 이미지를 수신하는 단계;
상기 목적 부위의 촬상 방향에 따른 상기 초음파 이미지의 종류를 분류하는 단계;
촬상 방향에 따라 분류된 상기 초음파 이미지의 종류에 따라 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역 및 상기 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 예측 모델을 이용하여, 상기 초음파 이미지에 내에서 상기 목적 부위에 대한 영역 및 상기 암 영역을 제1 예측하는 단계, 및
상기 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 모델 의해 예측된 결과를 기초로, 촬상 방향에 따라 분류된 상기 초음파 이미지에 내에서 암 영역을 제2 예측하는 단계를 포함하는, 암 영역의 예측 방법.
제12항에 있어서,
상기 분류하는 단계는,
상기 목적 부위의 촬상 방향에 따라 상기 초음파 이미지를 분류하도록 학습된, 이미지 분류 모델을 이용하여 상기 초음파 이미지의 종류를 분류하는 단계를 포함하는, 암 영역의 예측 방법.
제12항에 있어서,
상기 초음파 이미지는 상기 목적 부위에 대한 정면 초음파 이미지, 좌측 초음파 이미지, 우측 초음파 이미지 및 좌-우 넓게 펼쳐진 초음파 이미지를 포함하고,
상기 복수개의 촬상 방향에 따른 암 영역 예측 모델은,
상기 목적 부위에 대한 정면 초음파 이미지, 좌측 초음파 이미지, 우측 초음파 이미지 및 좌-우 넓게 펼쳐진 초음파 이미지 각각에 대하여, 상기 목적 부위에 대한 영역, 상기 암 영역 및, 상기 초음파 이미지 내에서 목적 부위에 대한 영역과 상기 암 영역을 제외한 배경 영역을 각각 예측하도록 구성된 복수개의 모델이고,
상기 제1 예측하는 단계는,
상기 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 하나의 예측 모델을 이용하여, 촬상 방향에 따라 분류된 상기 초음파 이미지에 대하여 픽셀 단위로 목적 부위인 확률, 암인 확률, 및 배경인 확률을 각각 산출하는 단계, 및
상기 목적 부위인 확률, 상기 암인 확률 및 상기 배경인 확률을 기초로, 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역, 상기 암 영역 및 배경 영역을 각각 예측하는 단계를 포함하는, 암 영역의 예측 방법.
제14항에 있어서,
상기 제2 예측하는 단계는,
상기 복수개의 촬상 방향에 따른 암 영역 예측 모델에 따라 상이한 가중치를 적용하여, 픽셀 단위로 촬상 방향에 따라 산출된 상기 목적 부위인 확률, 상기 암인 확률 및 상기 배경인 확률을 기초로, 상기 초음파 이미지 내에서 암 영역을 예측하는 단계를 포함하는, 암 영역의 예측 방법.
제12항에 있어서,
상기 초음파 이미지를 기초로 상기 목적 부위에 대한 영역 및 상기 목적 부위 내에 존재하는 암 영역을 결정하도록 학습되고 상기 복수개의 촬상 방향에 따른 암 영역 예측 모델과 상이한 제1 암 영역 예측 모델을 이용하여, 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역 및 상기 암 영역을 예측하는 단계, 및
상기 제1 암 영역 예측 모델에 의한 예측 결과, 및 상기 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 모델에 의한 예측 결과를 기초로 상기 초음파 이미지 내에서, 상기 목적 부위에 대한 영역 및 상기 암 영역을 최종 예측하는 단계를 더 포함하는, 암 영역의 예측 방법.
제 16항에 있어서,
상기 최종 예측하는 단계는,
상기 제1 암 영역 예측 모델에 의한 예측 결과 및 상기 복수개의 촬상 방향에 따른 암 영역 예측 모델에 의한 예측 결과 각각에 상이한 가중치를 적용하여, 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역 및 상기 암 영역을 최종 예측하는 단계를 더 포함하는, 암 영역의 예측 방법.
목적 부위에 대한 초음파 이미지를 획득하도록 구성된 초음파 탐촉자,
상기 초음파 탐촉자와 동작 가능하게 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 초음파 이미지를 기초로 상기 목적 부위에 대한 영역 및 상기 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된, 제1 암 영역 예측 모델을 이용하여, 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역 및 상기 암 영역을 예측하고, 상기 암 영역 예측 모델에 의해 결정된 상기 목적 부위에 대한 영역 및 상기 초음파 이미지를 기초로, 상기 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 제2 암 영역 예측 모델을 이용하여, 상기 초음파 이미지 내에서 암 영역을 예측하도록 구성된, 암 영역의 예측 디바이스.
제18항에 있어서,
상기 제1 암 영역 예측 모델은,
상기 초음파 이미지 내에서 목적 부위에 대한 영역 및 상기 암 영역을 제외한 배경 영역을 더 예측하도록 구성되고,
상기 제2 암 영역 예측 모델은, 목적 부위에 대한 영역을 더 예측하도록 구성되고,
상기 프로세서는,
상기 제1 암 영역 예측 모델을 이용하여, 상기 초음파 이미지에 대하여 픽셀 단위로 상기 목적 부위인 확률, 암인 확률 및 배경인 확률을 각각 산출하고,
상기 목적 부위인 확률, 상기 암인 확률, 및 상기 배경인 확률을 기초로, 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역, 상기 암 영역 및 배경 영역을 각각 예측하고,
상기 제2 암 영역 예측 모델을 이용하여 상기 암 영역 예측 모델에 의해 결정된 상기 목적 부위에 대한 영역에 대하여 픽셀 단위로 상기 목적 부위인 확률 및 상기 암인 확률을 각각 산출하고,
상기 목적 부위인 확률 및 상기 암인 확률을 기초로 암 영역을 예측하도록 더 구성된, 암 영역의 예측 디바이스.
제19항에 있어서,
상기 프로세서는,
상기 목적 부위의 촬상 방향에 따른 상기 초음파 이미지의 종류를 분류하고, 촬상 방향에 따라 분류된 상기 초음파 이미지의 종류에 따라 상기 초음파 이미지 내에서 상기 목적 부위에 대한 영역 및 상기 목적 부위 내에 존재하는 암 영역을 결정하도록 학습된 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 예측 모델을 이용하여 상기 초음파 이미지에 내에서 상기 목적 부위에 대한 영역 및 상기 암 영역을 예측하고, 복수개의 촬상 방향에 따른 암 영역 예측 모델 중 적어도 하나의 모델 의해 예측된 결과를 기초로 촬상 방향에 따라 분류된 상기 초음파 이미지 내에서 암 영역을 예측하도록 더 구성된, 암 영역의 예측 디바이스.