KR102141363B1 - 암 의심 영역의 예측 모델의 평가 방법 - Google Patents

Abstract

본 발명은, 목적 부위에 대한 초음파 이미지를 기초로 암 의심 영역을 결정하도록 트레이닝된 암 의심 영역의 예측 모델을 이용하여, 초음파 이미지 내에서 암 의심 영역을 예측하는 단계와 초음파 이미지에 대하여 미리 결정된 정답 영역과 암 의심 영역의 예측 모델에 의해 예측된 암 의심 영역을 비교하여, 암 의심 영역의 예측 모델을 평가하는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법을 제공한다.

Description

암 의심 영역의 예측 모델의 평가 방법 {METHOD FOR EVALUATING PREDICTION MODEL FOR CANCER SUSPICIOUS AREA}

본 발명은 암 의심 영역의 예측 모델의 평가 방법에 관한 것으로, 보다 구체적으로 초음파 이미지 내에서 암 의심 영역을 예측하는 예측 모델에 대한 평가 방법에 관한 것이다.

초음파 장치는 피검사체에 쏘아진 초음파의 반사파를 이용하여 피검사체의 내부 조직을 이미지화 시키는 장치이다. 초음파는 서로 다른 두 물질의 경계에서 반사율이 다른 특성을 가지는데, 이러한 초음파의 특성을 이용하면 피검사체의 목적 부위에 대한 이미지화가 가능할 수 있다.

이때, 초음파 장치는, 프로브 (probe) 라고 불리는 초음파 탐촉자를 이용하여 피검사체의 내부로 초음파를 송신하고, 피검자 내의 목적 부위의 조직에서 반사되어 되돌아오는 응답 신호를 초음파 탐촉자를 통해 수신한다. 그리고, 초음파 장치는, 초음파 탐촉자가 수신한 응답 신호를 분석하여 피검사체의 목적 부위에 대한 이미지를 구성하고, 이 내부 조직의 이미지를 나타낼 수 있는 디스플레이부로 출력한다. 이러한 초음파 시스템은 초음파 장치에 의해 피검자의 목적 부위의 내부 조직을 확인할 수 있고, 다른 방법보다 간편하게 목적 부위에 대한 상태를 확인 할 수 있다.

한편, 질환의 진단에 있어서 이상의 초음파 시스템을 이용할 경우, 사용자는 피검자에 대하여 획득된 목적 부위가 포함된 초음파 이미지를 통해 이의 상태, 위치, 크기 등을 판단할 수 있다. 예를 들어, 초음파 장치를 이용하여 목적 부위의 연 조직 내에 존재하는 암 또는 종양의 유무를 진단하는 할 때, 사용자는 육안으로 종양과 같은 비 정상 조직을 판단한다. 다음으로, 이들의 윤곽선 상의 점을 선택하고 점 사이의 거리를 산출하여 그 크기를 산출한다. 그러나, 초음파 이미지는 잡음 등으로 인해 화질이 저하되기 쉽고, 암이나 종양은 초음파 이미지 내에서 그 경계가 불분명하다. 이에, 기존의 초음파 시스템을 이용한 진단, 특히 암의 진단은 세밀한 작업을 위해 많은 시간이 요구될 뿐만 아니라, 사용자의 숙련도에 따라 그 결과가 달라질 수 있다.

의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 초음파를 이용한 진단, 특히 암 진단의 정확도를 높일 수 있는 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.

한편, 본 발명의 발명자들은 종래의 초음파 시스템을 이용한 진단, 특히 암 진단법이 갖는 문제점을 해결하기 위해, 초음파 영상 데이터에 의해 트레이닝된 예측 모델을 이용할 수 있음을 인지할 수 있었다.

관련하여, 본 발명의 발명자들은 예측 모델을 이용한 초음파 진단을 임상에 적용하는 것에 있어서 예측 모델에 대한 다양한 평가가 수행되어야 하는 것을 인식할 수 있었다. 나아가, 본 발명의 발명자들은 예측 모델에 대한 평가 결과를 이들의 트레이닝 단계에 반영함으로써, 초음파 이미지 내에서 암 의심 영역을 예측 하는 것에 있어서 우수한 성능을 나타내는 예측 모델을 개발할 수 있음을 인지하였다.

특히, 본 발명의 발명자들은, 사용자의 숙련도에 관계 없이 암의 진단의 정확도를 높일 수 있는 예측 모델의 개발에 있어서, 초음파 이미지 내에서 실제 암 조직뿐만 아니라, 정상 조직과 유사한 암 조직 또는, 암 조직과 유사한 정상 조직에 대하여 예측 모델이 얼마나 정확하게 이를 예측할 수 있는지에 대한 평가에 주목하였다

그 결과, 본 발명의 발명자들은 예측 모델이 초음파 영상 내에서 암 의심 영역을 예측하는 것에 있어서, 목적에 맞는 다양한 조건을 고려하여 예측 모델의 성능을 평가할 수 있는 방법을 개발하기에 이르렀다.

이에, 본 발명이 해결하고자 하는 과제는, 초음파 이미지 내에서 암 의심 영역을 결정하도록 트레이닝된 암 의심 영역의 예측 모델을 이용하여 암 의심 영역을 예측하고, 초음파 이미지에 대하여 미리 결정된 정답 영역과 예측 모델에 의해 예측된 암 의심 영역을 비교하여 평가하도록 구성된, 암 의심 영역의 예측 모델의 평가 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 예측 모델에 의해 예측된 예측 영역, 미리 결정된 정답 영역에 대하여, 이들의 비율을 다양한 방법으로 산출하고 이를 기초로 예측 모델을 평가하도록 구성된, 암 의심 영역의 예측 모델의 평가 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는, 서로 상이한 조건으로 두 개의 예측 모델을 트레이닝 하고, 이들 두 개의 예측 모델에 의해 결정된 암 의심 영역에 대하여 다양한 척도로 평가하도록 구성된, 암 의심 영역의 예측 모델의 평가 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 의심 영역의 예측 모델의 평가 방법이 제공된다. 본 방법은, 목적 부위에 대한 초음파 이미지를 기초로 암 의심 영역을 결정하도록 트레이닝된 암 의심 영역의 예측 모델을 이용하여, 초음파 이미지 내에서 암 의심 영역을 예측하는 단계, 및 초음파 이미지에 대하여 미리 결정된 정답 영역과 암 의심 영역의 예측 모델에 의해 예측된 암 의심 영역을 비교하여, 암 의심 영역의 예측 모델을 평가하는 단계를 포함한다.

본 발명의 특징에 따르면, 예측 모델을 평가하는 단계는 미리 예측된, 암 의심 영역에 대한 정답 영역 및 상기 암 의심 영역이 중첩되는 중첩 영역의 비율을 산출하는 단계, 및 비율을 기초로 예측 모델의 검출률을 평가하는 단계를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 예측 모델을 평가하는 단계는 정답 영역 및 암 의심 영역을 합친 영역에 대한 중첩 영역의 비율을 산출하는 단계, 및 비율을 기초로 예측 모델의 검출률을 평가하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 예측 모델을 평가하는 단계는 정답 영역에 대한 중첩 영역의 비율을 산출하는 단계, 및 비율을 기초로 예측 모델의 정확도를 평가하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 본 발명의 일 실시예에 따른 평가 방법은 암 의심 영역의 예측 모델에 대하여 평가 척도를 결정하는 단계를 더 포함할 수 있다. 이때, 평가 척도는, 정답 영역에 대한 중첩 영역의 비율 또는 예측 영역에 대한 중첩 영역의 비율이 일정 수준 이상일 경우 이를 정답으로 결정하도록 구성된 척도일 수 있고, 예측 모델을 평가하는 단계는 평가 척도를 기초로 예측 모델의 검출률을 평가하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 본 발명의 일 실시예에 따른 평가 방법은 목적 부위에 대하여 암으로 확진된 영역을 포함하는 초음파 이미지, 및 암으로 의심되었으나 조직 검사를 통해 정상으로 판단되었던 암 의심 영역을 포함하는 초음파 이미지를 기초로, 암 의심 영역을 결정하도록 암 의심 영역의 예측 모델을 트레이닝하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 암 의심 영역의 예측 모델은 초음파 이미지를 기초로 암 의심 영역을 결정하도록 트레이닝된 제1 암 의심 영역의 예측 모델 및 제1 암 의심 영역의 예측 모델과 상이한 제2 암 의심 영역의 예측 모델을 포함할 수 있다. 나아가, 트레이닝하는 단계는 암으로 확진된 영역을 포함하는 초음파 이미지와 암 의심 영역을 포함하는 초음파 이미지에 대하여 일정한 비율로 제1 암 의심 영역의 예측 모델을 트레이닝하는 단계, 및 암으로 확진된 영역을 포함하는 초음파 이미지보다 암 의심 영역을 포함하는 초음파 이미지에 대하여 높은 비율로 제2 암 의심 영역의 예측 모델을 트레이닝하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 암 의심 영역을 예측하는 단계는 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델을 통해 초음파 이미지에 대하여 공통적으로 예측된 의심 영역을, 암 의심 영역으로 예측하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 초음파 이미지는 복수의 영역을 포함하고, 트레이닝 단계는 초음파 이미지 내의 복수의 영역 각각에 대한 픽셀 값, 질감 (texture) 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로 암 의심 영역의 예측 모델이 초음파 이미지 내에서의 암 의심 영역을 결정하도록 트레이닝하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 트레이닝 하는 단계는 암 의심 영역의 예측 모델이 초음파 이미지 내에서 암 의심 영역을 픽셀 단위로 예측할 수 있도록 트레이닝하는 단계를 포함하고, 암 의심 영역을 예측하는 단계는 암 의심 영역의 예측 모델에 의해 픽셀 단위로 암 의심 영역을 예측하는 단계를 포함하고, 예측 모델을 평가하는 단계는 예측된 암 의심 영역에 대하여 픽셀 단위의 평가가 수행되는 단계를 포함할 수 있다.

본 발명은 초음파 이미지 내에서 암 의심 영역을 예측하도록 구성된 암 의심 영역의 예측 모델에 대하여 다양한 평가 척도로 평가함으로써, 평가 결과를 반영하여 임상 적용에 보다 안정성을 갖는 암 의심 영역의 예측 모델을 개발할 수 있는 효과가 있다.

나아가, 본 발명은 사용자의 숙련도에 관계 없이 암의 진단의 정확도를 높일 수 있도록 예측 모델을 트레이닝 하는 것에 있어서, 피드백을 위한 평가 정보를 제공할 수 있는 효과가 있다.

특히, 본 발명은 예측 모델에 의해 검출되지 못한 정답의 영역을 더욱 고려한 평가 방법을 제공함으로써, 암 의심 영역의 예측 모델에 대하여 정확한 평가가 수행될 수 있는 효과가 있다. 즉, 본 발명은, 암 조직 또는 암과 유사한 정상 조직과 같은 암 의심 영역을 예측하도록 트레이닝된 예측 모델에 대하여, 다양한 조건을 고려함에 따라 예측 모델의 성능을 정확하게 평가할 수 있다.

본 발명은, 서로 상이한 조건으로 초음파 이미지 내에서 암 의심 영역을 예측하도록 트레이닝된 두 개의 예측 모델에 대하여 다양한 평가 척도로 평가할 수 있는 효과가 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법의 절차를 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서 예측 모델의 트레이닝 단계에서 이용되는 학습 데이터를 예시적으로 도시한 것이다.
도 2b 및 2c는 본 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서 예측 모델의 트레이닝 단계에서 이용되는 초음파 이미지 데이터를 도시한 것이다.
도 2d는 본 발명의 일 실시예에 따른 평가 방법에 따라, 평가의 대상이 되는 암 의심 영역의 예측 모델을 예시적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서 예측 모델에 의한 암 의심 영역의 예측 단계를 예시적으로 도시한 것이다.
도 4a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서의 평가 단계에서 고려되는, 암 의심 영역의 예측 모델의 성능 평가 척도를 예시적으로 도시한 것이다.
도 4b는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서의 암 의심 영역의 예측 모델의 성능 평가 단계를 예시적으로 도시한 것이다.
도 5a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라 산출된, 평가 척도에 따른 암 의심 영역의 예측 모델의 다양한 평가 결과를 도시한 것이다.
도 5b 내지 5d는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라 산출된, 평가 척도에 따른 암 의심 영역의 예측 모델의 검출률을 도시한 것이다.
도 5e는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라 산출된, 평가 척도, 암의 위치, 악성도에 따른 암 의심 영역의 예측 모델의 미검출률을 도시한 것이다.

발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.

본 명세서에서 사용되는 용어, "초음파 이미지"는 초음파 탐촉자와 같은 초음파 시스템에 의해 수신된 에코신호를 기초로 형성된 이미지를 의미할 수 있다. 나아가, 초음파 이미지는 본 명세서 내에서 "초음파 영상"과 상호 교환적으로 이용될 수 있다. 이에, 목적 부위에 대한 초음파 이미지는, 목적 부위를 포함하는 2차원 이미지, 3차원 이미지, 한 컷의 스틸 이미지, 복수개의 컷으로 구성된 동영상 이미지 등을 의미할 수 있다.

한편, 목적 부위에 대한 초음파 이미지에 기초한 암 의심 영역의 예측은, 암의 조기 진단에 있어서 특히 중요할 수 있다. 이때, 본 명세서에서 사용되는 용어, "목적 부위"는 질환의 유무 등의 상태를 예측하고자 하는 피검자의 특정 신체 부위일 수 있다. 예를 들어, 목적 부위는, 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 갑상선 또는 유방일 수 있다. 그러나, 목적 부위는 이에 제한되는 것은 아니며 초음파 탐촉자에 의해 이미지가 획득되는 한 다양한 부위가 될 수 있다.

본 명세서에서 사용되는 용어, "암 의심 영역"은 목적 부위에 대한 초음파 이미지 내에서 암으로 의심되는 영역을 의미할 수 있다. 예를 들어, 암 의심 영역은 다른 영역에 대하여 상이한 픽셀 값, 질감을 가질 수 있다. 이때, 암 의심 영역은 목적 부위에 나타난 낭종, 염증 또는 종괴 조직에 대한 영역일 수도 있고, 암과 유사한 형태를 갖는 정상 조직에 대한 영역을 포함할 수 있다.

한편, 초음파 이미지 내에서 낭종, 염증 또는 종괴 조직을 포함하는 암 의심 영역은 그 경계가 모호하거나 정상 조직과 유사하게 나타날 수 있어, 사용자의 숙련도에 따라 검출의 정확도가 달라질 수 있다.

이러한 문제를 해결하기 위해, 초음파 이미지 내에서 암 의심 영역을 예측하도록 트레이닝된 예측 모델이 암 의심 영역의 예측에 이용될 수 있다.

본 명세서에서 사용되는 용어, "암 의심 영역의 예측 모델"은 피검자의 목적 부위에 대하여 암 의심 영역을 예측하고, 결정하기 위해 트레이닝된 예측 모델 일 수 있다. 예를 들어, 암 의심 영역의 예측 모델은 목적 부위에 대하여 초음파 검사 및 조직 검사에 의해 암으로 확진된 영역을 포함하는 초음파 이미지, 및 초음파 검사를 통해 암으로 확진되었으나 조직 검사에서 정상으로 결정된 암 의심 영역을 포함하는 초음파 이미지를 포함하는 데이터 세트를 이용하여 트레이닝된 모델이다. 이러한 암 의심 영역의 예측 모델은 초음파 이미지 내에서 암 의심 영역을 높은 정확도로 예측하고 결정할 수 있다.

한편, 이러한 암 의심 영역의 예측 모델은 임상에 실제 적용하기 위해, 이를 정확하게 평가하는 것이 매우 중요할 수 있다. 이에, 본 발명의 일 실시예에 따른 암 의심 영역 예측 모델의 평가 방법이 제공된다.

본 발명의 일 실시예에 따라 평가되는 암 의심 영역의 예측 모델은, 학습 데이터의 비율에 따라 상이한 조건으로 트레이닝된 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델일 수 있다. "제1 암 의심 영역의 예측 모델"은 암으로 확진된 영역을 포함하는 초음파 이미지와 상기 암 의심 영역을 포함하는 초음파 이미지에 대하여 일정한 비율로 트레이닝된 예측 모델일 수 있다. 나아가, "제2 암 의심 영역의 예측 모델"은 암으로 확진된 영역을 포함하는 초음파 이미지보다 암 의심 영역을 포함하는 초음파 이미지에 대하여 높은 비율로 트레이닝된 예측 모델일 수 있다. 이때, 제2 암 의심 영역의 예측 모델은 정상 조직과 유사한 암 의심 영역에 대한 미검출의 오류를 줄이기 위해, 암과 유사한 암 의심 영역을 더 검출하도록 트레이닝된 예측 모델일 수 있다.

전술한 바와 같이 암 의심 영역의 예측 모델은, 본 명세서에서 학습 데이터의 조건에 따라 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델로 구별될 뿐, 이들의 목적, 학습 방법 등이 상이한 것을 의미하는 것을 아니다.

본 명세서에서 개시되는 다양한 예측 모델은, 수신된 초음파 이미지에 대하여 이의 전체 영역, 또는 이의 일부 영역을 포함하도록 전처리된 초음파 이미지를 이용할 수 있다. 즉, 신속한 분석을 위해, 예측 모델들은 일정한 픽셀 값을 갖도록 크기가 조정된 초음파 이미지를 이용하는 것이 바람직할 수 있으나, 이에 제한되는 것은 아니다.

한편, 본 발명의 일 실시예에 따른 평가 방법에서는, 예측 모델에 의해 예측된 암 의심 영역을 기초로 검출률, 정확도, 또는 F-ratio를 산출함으로써 예측 모델을 평가할 수 있다.

이때, 평가는 초음파 이미지 내에서 미리 정답으로 마스킹된 정답 영역과 예측된 암 의심 영역을 비교하는 것을 기초로 하여 수행될 수 있다. 보다 구체적으로, 정답 영역은 초음파 이미지 내에서 사용자에 의해 초음파 진단 및 조직 검사상 암으로 확진된 영역, 또는 사용자에 의해 초음파 진단에서 암으로 판별되었으나 조직 검사상 정상으로 진단된 암 의심 영역을 포함할 수 있다.

본 명세서에서 사용되는 용어, "검출률"은 예측 모델에 의해 예측된 영역에 대한 정답 영역의 수준을 의미할 수 있다. 이때, 검출률은 초음파 이미지 내에서 예측된 암 의심 영역에 대한, 미리 결정된 정답 영역과 암 의심 영역의 중첩된 영역의 비율로 산출될 수 있다.

한편, 예측 모델이 정상 조직과 뚜렷하게 구별될 수 있는 암 조직뿐만 아니라, 암과 유사한 정상 조직과 같은 암 의심 영역의 예측에 대하여 평가하고자 할 경우, 예측 모델에 의해 결정되지 않은 정답 영역을 더 고려할 수 있다. 이에, 본 명세서에서 기술된 "정답 영역 및 암 의심 영역을 합친 영역"은, 예측 모델에 의해 결정된 암 의심 영역과 예측 모델에 의해 결정되지 않은 정답 영역을 포함하는 영역을 의미할 수 있다.

따라서, 본 명세서에서 사용되는 용어, "검출률"은 정답 영역 및 암 의심 영역을 합친 영역에 대한 중첩 영역의 비율로서 더 산출될 수 있다.

그러나, 검출률은 전술한 산출 방법에 제한되지 않고 보다 다양한 방법으로 산출될 수 있다. 예를 들어, 검출률의 평가에 있어서, 복수개의 초음파 이미지가 이용된 경우, 검출률은 전체 초음파 이미지의 수에 대한, 정답 영역과 예측 영역이 일치하는 초음파 이미지 수의 비율로 산출될 수 있다.

본 명세서에서 사용되는 용어, "정확도"는 정답 영역에 대한 예측 모델에 의해 예측된 암 의심 영역의 수준을 의미할 수 있다. 이때, 정확도는 정답 영역에 대한 정답 영역과 암 의심 영역의 중첩된 영역의 비율로 산출될 수 있다.

그러나, 정확도는 전술한 산출 방법에 제한되지 않고 보다 다양한 방법으로 산출될 수 있다. 예를 들어, 정확도의 평가에 있어서, 복수개의 초음파 이미지가 이용된 경우, 정확도는 예측 모델에 의해 암 또는 암 의심 영역으로 예측된 초음파 이미지의 수에 대한, 정답 영역과 예측 영역이 일치하는 초음파 이미지 수의 비율로 산출될 수 있다.

한편, 본 명세서에서 사용되는 용어, "평가 척도"는 본 발명의 다양한 실시예에서 이용되는 암 의심 영역 예측 모델에 대한 평가의 기준을 의미할 수 있다. 예를 들어, 평가 척도는 미리 결정된 정답 영역과 예측 영역이 중첩된 영역의 수준을 의미하는 중첩률일 수 있다. 구체적으로, 예측 영역 및 정답 영역의 중첩률이 10 %로 설정될 경우, 암 의심 영역의 예측 모델은, 예측 영역에 정답 영역이 10 % 이상 포함되면, 암 의심 영역을 정확하게 찾은 것으로 평가될 수 있다. 또한, 예측 영역 및 정답 영역의 중첩률이 30 %로 설정될 경우, 암 의심 영역의 예측 모델은, 예측 영역에 정답 영역이 30 % 이상 포함되면, 암 의심 영역을 정확하게 찾은 것으로 평가될 수 있다. 이에, 높은 수준의 중첩률을 평가 척도로 결정된 경우, 암 의심 영역의 예측 모델에 대하여 정밀한 평가가 수행될 수 있다.

한편, 본 명세서에서 이용되는 중첩률은, 전술한 검출률과 동일한 방법으로 산출될 수 있으나, 평가가 수행되기 전에 미리 결정된 평가 척도를 의미하는 것으로, 평가 단계에서 산출된 검출된 수준을 의미하는 검출률과는 상이하게 해석되어야 한다.

이하에서는 도 1 내지 도 4b를 참조하여 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법의 절차를 구체적으로 설명한다. 이때, 전립선 초음파 이미지 내에서 전립선 암 의심 영역을 결정하도록 트레이닝된 예측 모델에 대한 평가 절차를 예를 들어 설명하나, 평가 대상 예측 모델은 이에 제한되는 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법의 절차를 도시한 것이다. 도 2a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서 예측 모델의 트레이닝 단계에서 이용되는 학습 데이터를 예시적으로 도시한 것이다. 도 2b 및 2c는 본 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서 예측 모델의 트레이닝 단계에서 이용되는 초음파 이미지 데이터를 도시한 것이다. 도 2d는 본 발명의 일 실시예에 따른 평가 방법에 따라, 평가의 대상이 되는 암 의심 영역의 예측 모델을 예시적으로 도시한 것이다. 도 3은 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서 예측 모델에 의한 암 의심 영역의 예측 단계를 예시적으로 도시한 것이다. 도 4a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서의 평가 단계에서 고려되는, 암 의심 영역의 예측 모델의 성능 평가 척도를 예시적으로 도시한 것이다. 도 4b는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에서의 암 의심 영역의 예측 모델의 성능 평가 단계를 예시적으로 도시한 것이다.

먼저, 도 1을 참조하면, 암 의심 영역의 예측 모델의 평가는, 암 의심 영역의 예측 모델을 트레이닝하는 단계 (S110), 트레이닝 된 암 의심 영역의 예측 모델을 이용하여 초음파 이미지 내에서 암 의심 영역을 예측하는 단계 (S120) 와 예측 결과를 기초로 암 의심 영역의 예측 모델을 평가하는 단계 (S130) 를 통해 수행된다. 이때, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따른 의심 영역의 예측 모델의 평가 절차는, 이에 제한되지 않으며 보다 다양한 단계로 구성될 수 있다. 특히, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따른 평가 대상은, 후술하는 방법에 의해 트레이닝된 암 의심 영역의 예측 모델에 제한되지 않고 보다 다양한 방법으로 트레이닝된 예측 모델일 수 있다.

이하에서는, 도 2a 내지 도 2d를 참조하여, 전립선 암 의심 영역의 예측 모델을 예로 들어 암 의심 영역의 예측 모델을 트레이닝하는 단계 (S110) 에 대하여 구체적으로 설명한다. 이때, 트레이닝에 이용된 초음파 이미지는 전립선 부위에 대하여 암 또는 정상으로 판별된 환자에 대한 이미지가 이용되었다. 그러나, 이에 제한되지 않고 목적에 따라 다양한 초음파 이미지가 암 의심 영역의 예측 모델을 트레이닝하는 단계 (S110) 에서 이용될 수 있으며, 보다 다양한 예측 모델을 평가하는 데 본 발명의 일 실시예에 따른 평가 방법이 적용될 수 있다.

도 2a를 참조하면, 트레이닝하는 단계 (S110) 에서는, 초음파 검사 및 조직 검사에 의해 암으로 확진된 영역을 포함하는 초음파 이미지 (암), 및 초음파 검사를 통해 암으로 확진되었으나 조직 검사에서 정상으로 결정된 암 의심 영역을 포함하는 초음파 이미지 (정상) 데이터를 기초로 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델이 트레이닝될 수 있다.

보다 구체적으로, 트레이닝하는 단계 (S110) 에서 제1 암 의심 영역의 예측 모델은 암으로 확진된 영역을 포함하는 초음파 이미지 (암) 와 암 의심 영역을 포함하는 초음파 이미지 (정상) 에 대하여 약 1:1의 비율로 트레이닝될 수 있다. 이때, 제1 암 의심 영역의 예측 모델 의 검증 및 평가에서도 두 종류의 이미지에 대하여 동일한 비율이 적용될 수 있다.

트레이닝하는 단계 (S110) 에서는, 제2 암 의심 영역의 예측 모델에 대하여, 암으로 확진된 영역을 포함하는 초음파 이미지 (암) 보다 암 의심 영역을 포함하는 초음파 이미지 (정상) 가 높은 비율로 학습에 이용될 수 있다. 또한, 제2 암 의심 영역의 예측 모델의 검증 및 평가에서도 두 종류의 이미지에 대하여, 암 의심 영역을 포함하는 초음파 이미지 (정상) 가 높은 비율로 이용될 수 있다. 이때, 제2 암 의심 영역의 예측 모델은 정상 조직과 유사한 암 의심 영역에 대한 미검출의 오류를 줄이기 위해, 암과 유사한 암 의심 영역을 더 검출하도록 트레이닝된 모델일 수 있다.

도 2b를 참조하면, 암 의심 영역의 예측 모델을 트레이닝하는 단계 (S110) 에서 이용되는 암으로 확진된 영역을 포함하는 초음파 이미지와 암 의심 영역을 포함하는 초음파 이미지는, 암으로 확진된 영역 및 암과 유사한 암 의심 영역이 정답으로 마스킹 (masking) 되고, 정상 조직 영역이 검은색의 배경으로 처리될 수 있다. 이때, 학습에 이용되는 초음파 이미지는 388 x 388 픽셀 (pixel) 을 갖는 초음파 이미지가 이용될 수 있으나, 이에 제한되는 것은 아니다. 나아가, 도 2c의 (a) 내지 (d)를 참조하면, 암 의심 영역의 예측 모델을 트레이닝하는 단계 (S110) 에 이용되는 암으로 확진된 영역을 포함하는 초음파 이미지 와 암 의심 영역을 포함하는 초음파 이미지는, 이미지의 좌우 반전, 확대, 회전, 변형을 적용하여 보다 다양한 학습 데이터로 이용될 수 있다.

도 2d를 참조하면, 본 발명의 본 발명의 다양한 실시예에서 평가 대상이 되는 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델은, U-net을 기초로한 예측 모델일 수 있다. 이때, U-net 기반의 암 의심 영역의 예측 모델은 입력된 초음파 이미지에 대하여 의미 있는 부분을 픽셀 단위로 예측할 수 있다. 그러나, 본 발명의 다양한 실시예에서 평가되는 예측 모델은 이에 제한되는 것은 아니며, 초음파 이미지에 대한 암 의심 영역의 예측을 위해 다양한 알고리즘을 기반으로 하는 다양한 예측 모델을 포함할 수 있다.

보다 구체적으로, 도 2d의 U 형태의 암 의심 영역의 예측 모델에서 왼쪽 영역은 컨볼루션 (convolutional) 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서는 커다란 초음파 이미지가 지역적 특징에서 전역적 특징으로 표현될 수 있다. 나아가, 암 의심 영역의 예측 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 이미지가 확대되고, 결과적으로 특정 픽셀에서 0 또는 1의 값이 출력될 수 있다. 결과적으로, 암 의심 영역의 예측 모델을 통해 초음파 이미지 내에서 예측된 암 의심 영역에서는 1이, 정상 조직과 같은 배경 영역에서는 0이 출력될 수 있고, 픽셀 단위의 예측이 가능할 수 있다.

이때, U 형태의 암 의심 영역의 예측 모델에서 왼쪽에서 오른쪽으로 연결된 선은 커다란 초음파 영상이 작아지면서 해당 영역의 특징이 손실될 수 있어, 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이에, 예측 동안 입력된 초음파 이미지 내에서 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다.

이하에서는, 도 3을 참조하여, 전술한 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델에 의해 초음파 이미지 내에서 암 의심 영역을 결정하는 것을 예로 들어, 암 의심 영역을 예측하는 단계 (S120) 에 대하여 구체적으로 설명한다.

도 3을 참조하면, 암 의심 영역을 예측하는 단계 (S120) 에서는 피검자의 목적 부위로 설정된 전립선에 대하여 반사된 초음파 에코신호를 기초로 형성된 초음파 이미지 (312) 를 획득할 수 있다. 이때, 초음파 이미지 (312) 는 예측 모델에 의해 빠른 분석이 가능하도록 전처리가 수행된 이미지일 수 있다.

다음으로, 제1 암 의심 영역의 예측 모델 (322) 및 제2 암 의심 영역의 예측 모델 (324) 각각에 전립선 부위에 대한 초음파 이미지 (312) 가 입력된다. 이때, 제1 암 의심 영역의 예측 모델 (322) 및 제2 암 의심 영역의 예측 모델 (324) 각각은 초음파 이미지 (312) 내에 존재하는 복수의 영역들에 대한 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초 암 의심 영역을 결정할 수 있다. 이때, 암 의심 영역을 예측하는 단계 (S120) 에서는 제1 암 의심 영역의 예측 모델 (322) 및 제2 암 의심 영역의 예측 모델 (324) 을 통해 초음파 이미지 (312) 에 대하여 공통적으로 예측된 암 의심 영역을 최종 암 의심 영역으로 결정할 수 있다.

보다 구체적으로, 제1 암 영역 예측 모델 (322) 에 의해 초음파 이미지 (312) 내에서 암 의심 영역 (326 (a)) 이 예측되고, 제2 암 영역 예측 모델 (324) 에 의해 초음파 이미지 (312) 내의 암 의심 영역 (328 (a) 및 328 (b)) 가 예측된다. 이때, 암 의심 영역 (326 (a)) 및 암 의심 영역 (328 (b)) 은 제1 암 의심 영역의 예측 모델 (322) 및 제2 암 의심 영역의 예측 모델 (324) 각각에 의해 공통적으로 예측된 암 의심 영역이다. 이에, 암 의심 영역을 예측하는 단계 (S120) 에서는 암 의심 영역 (326 (a) 및 328 (a)) 를 최종 암 의심 영역 (332 (a)) 로 결정하고, 제2 암 영역 예측 모델 (324) 에서만 예측된 암 의심 영역 (328 (b)) 에 대하여 암 의심 영역의 후보 영역 (332 (b)) 으로 결정할 수 있다.

선택적으로, 암 의심 영역을 예측하는 단계 (S120) 에서는 제1 암 의심 영역의 예측 모델 (322) 및 상기 제2 암 의심 영역의 예측 모델 (324) 에 의해, 픽셀 단위로 암 의심 영역 (332 (a)) 을 결정할 수 있다.

이하에서는, 도 4a 및 4b를 참조하여, 전술한 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델에 의해 결정된 암 의심 영역에 대하여 평가하는 것을 예로 들어, 암 의심 영역의 예측 모델을 평가하는 단계 (S130) 에 대하여 구체적으로 설명한다.

도 4a를 참조하면, 암 의심 영역의 예측 모델을 평가하는 단계 (S130) 에서 본 발명의 다양한 실시예에 이용되는 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델은, 초음파 이미지 내에 마스킹된 정답 영역 (A) 과 1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델에 의해 초음파 이미지 내에서 예측된 예측 영역 (B) 에 대한 중첩률을 기초로 다양하게 평가될 수 있다. 이때, 중첩률은 중첩 영역 (A∩B, 또는 C) 의 비율일 수 있다.

보다 구체적으로, 도 4b의 (a) 를 참조하면, 예측 모델 각각에 입력되기 전, 초음파 이미지 (312) 내에 미리 결정된 정답 영역 (412) 가 나타난다. 도 4b의 (b) 를 참조하면, 미리 결정된 정답 영역 (412) 및 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델에 의해 결정된 암 의심 영역 (332 (a)) 에 대한 중첩 영역 (414) 이 나타난다.

이때, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델의 평가에 있어서, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델의 검출률은 예측된 암 의심 영역 (332 (a)) 에 대한 중첩 영역 (414) 의 비율로 산출될 수 있다. 이렇게 산출된 검출률은, 예측 모델에 의해 예측된 결과가 얼마나 정답에 가깝게 예측한 것인지에 대한 평가에 이용될 수 있다. 한편, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델의 검출률은, 정답 영역 (412) 및 예측된 암 의심 영역 (332 (a)) 에 대한 중첩 영역 (414) 의 비율로 산출될 수 있다. 이렇게 산출된 검출률은, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델에 의해 예측되지 않은 영역 (정답 영역 (412) - 중첩 영역 (414)) 을 더 고려한 것이다. 이때, 암 또는, 암과 유사한 정상 조직과 같은 암 의심 부위를 포함하는, 암 의심 영역의 예측에 대한 검출 수준의 평가에 있어서, 정답 영역 (412) 및 암 의심 영역 (332 (a)) 에 대한 중첩 영역 (414) 의 비율을 고려하는 것이, 암 의심 영역 (332 (a)) 에 대한 중첩 영역 (414) 의 비율만을 고려하는 것 보다 정확할 수 있다.

한편, 암 의심 영역의 예측 모델을 평가하는 단계 (S130) 에서는 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델의 정확도를 산출함으로써, 예측 성능 평가가 수행될 수 있다. 도 4b의 (b)를 참조하면, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델의 정확도는 정답 영역 (414) 에 대한 중첩 영역 (414) 의 비율로 산출될 수 있다.

선택적으로, 암 의심 영역의 예측 모델을 평가하는 단계 (S130) 에서는 암 의심 영역 (332 (a)) 에 대한 중첩 영역 (414) 의 수준인 중첩률이 다양한 척도로 설정될 수 있다. 예를 들어, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델의 평가에 있어서, 예측된 암 의심 영역 (332 (a)) 및 정답 영역 (412) 의 중첩률이 10 % 로 설정될 경우, 암 의심 영역 (332 (a)) 에 정답 영역 (412) 이 10 % 이상 포함되면, 암 의심 영역 (332 (a)) 을 정확하게 찾은 것으로 평가할 수 있다. 나아가, 중첩률이 30 % 로 설정될 경우, 암 의심 영역 (332 (a)) 에 정답 영역 (412) 이 30 % 이상 포함되면, 암 의심 영역 (332 (a)) 을 정확하게 찾은 것으로 평가할 수 있다. 즉, 예측 모델의 평가에 있어서, 중첩률이 10 %로 설정되었을 때의 평가 결과는 중첩률이 30 %로 설정되었을 때 보다 높은 성능을 보이는 것으로 평가될 수 있다.

한편, 예측 모델의 평가에 있어서, 예측된 영역이 미리 결정된 중첩률보다 작은 경우, 예측된 영역은 노이즈로 처리될 수 있다. 예를 들어, 중첩률이 30 %로 설정되었을 경우, 예측 모델에 의해 예측된 암 의심 영역의 크기가 그보다 작았을 때 이는 정답을 맞춘 것이 아닌 노이즈로 판단될 수 있다.

실시예 1: 암 의심 영역의 예측 모델의 평가

이하의 실시예 1에서는 도 5a 내지 5e를 참조하여, 본 발명의 다양한 실시예에 따라 평가된, 암 의심 영역의 예측 모델의 평가 결과를 설명한다.

도 5a는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라 산출된, 평가 척도에 따른 암 의심 영역의 예측 모델의 다양한 평가 결과를 도시한 것이다.

먼저, 도 5a를 참조하면, 제2 암 의심 영역의 예측 모델의 단독 모델을 이용했을 때, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델의 두 모델을 이용했을 때의 평가 결과가 도시된다. 본 평가에서는 제2 암 의심 영역의 예측 모델의 단독 모델, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델의 두 모델에 의해 예측된 암 의심 영역에 대한 정확도, 검출률 및 F-ratio가 산출되고, 이를 기초로 평가된다. 또한, 본 평가에서는 30 % 및 10 %의 중첩률의 2 가지 평가 척도가 설정된다. 이때 암으로 확진된 영역을 포함하는 초음파 이미지 50장과, 암으로 진단되었으나 조직 검사상 정상으로 판별된 암 의심 영역을 포함하는 초음파 이미지 100장이 이용되었다.

보다 구체적으로, 참 양성의 수는 미리 결정된 정답 영역 중첩률 (30 % 또는 10 %) 의 수준으로 예측 모델에 의해 예측된 예측 영역이 정답 영역과 일치하는 초음파 이미지의 개수를 의미할 수 있다. 나아가, 거짓 음성의 수는 예측 모델이 정답 영역을 암 또는 암 의심 영역이 아닌 배경 또는 정상으로 예측한 초음파 이미지의 수를 의미할 수 있다. 나아가, 거짓 양성의 수는 예측 모델이 정답 영역이 아닌 영역을 암 또는 암 의심 영역으로 예측한 초음파 이미지의 수를 의미할 수 있다.

검출률은 참 양성과 거짓 음성을 합한 초음파 이미지 수에 대한, 참 양성의 초음파 이미지 수의 비율로 산출될 수 있다. 즉, 검출률은 전체 초음파 이미지에 대하여 정답과 일치하는 초음파 이미지 수의 비율로 산출될 수 있다.

정확도는 참 양성과 거짓 양성을 합한 초음파 이미지 수에 대한, 참 양성의 초음파 이미지 수의 비율로 산출될 수 있다. 즉, 정확도는 예측 모델에 의해 암 또는 암 의심 영역으로 예측된 초음파 이미지에 대한 정답과 일치하는 초음파 이미지 수의 비율로 산출될 수 있다.

F-ratio는 검출률과 정확도의 평균의 차이를 나타내는 값으로서, 검출률에 2배를 취함 값에 정확도를 곱하고, 이를 정확도와 검출률을 합한 값으로 나눔 (검출률+정확도/2*검출률*정확도) 으로써 산출할 수 있다.

도 5a를 참조하면, 중첩률이 30 %로 설정된 평가에서, 제1 암 의심 영역의 예측 모델과 제2 암 의심 영역의 예측 모델을 함께 이용했을 때의 검출률은 0.78 (190장/148장) 로, 제2 암 의심 영역의 예측 모델을 단독으로 이용했을 때의 검출률인 0.72 (190장/137장) 보다 높은 것으로 나타난다. 나아가, 중첩률이 10 %로 설정된 평가에서, 제1 암 의심 영역의 예측 모델과 제2 암 의심 영역의 예측 모델을 함께 이용했을 때의 검출률은 0.86 (190장/163장) 로, 제2 암 의심 영역의 예측 모델을 단독으로 이용했을 때의 검출률인 0.81 (190장/154장) 보다 높은 것으로 나타난다.

한편 제1 암 의심 영역의 예측 모델과 제2 암 의심 영역의 예측 모델을 함께 이용했을 때의 정확도는, 중첩률이 30 % 및 10 %로 각각 설정된 평가 모두에서, 제2 암 의심 영역의 예측 모델만을 이용했을 때와 유의한 차이는 없는 것으로 나타난다.

이상의 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따르면, 제2 암 의심 영역의 예측 모델은 단독으로 이용했을 때 보다 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델을 함께 이용했을 때의 검출 성능 즉, 검출률이 높은 것으로 나타난다. 나아가, 전술한 바와 같이 평가 척도로서 미리 결정된 중첩률 (30 % 또는 10 %) 에 따라 예측 모델의 평가 결과는 상이하게 나타난다.

다음으로 도 5b 내지 5d를 참조하여, 본 발명의 일 실시예에 따른 평가 방법에 따라 평가된 결과를 설명한다. 도 5b 내지 5d는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라 산출된, 평가 척도에 따른 암 의심 영역의 예측 모델의 검출률을 도시한 것이다. 이때, 설명의 편의를 위해 전술한 도 4a를 참조하여 함께 설명한다.

보다 구체적으로, 본 평가에서 산출된 검출률은 예측 영역에 대한 중첩 영역의 비율 (B/C) 또는, 정답 영역에 대하여 예측 모델에 의해 예측되지 않은 영역을 더 고려한, 예측 영역과 정답 영역을 합친 영역에 대한 중첩 영역의 비율 (A∪B/C) 로 산출될 수 있다 (도 4a 참조). 즉, 검출률의 평가 척도로서, 이상의 두 가지의 산출 방법이 이용될 수 있다.

도 5b의 (a)를 참조하면, 제1 암 의심 영역의 예측 모델에 대한 평가 척도 (B/C, 또는 A∪B/C) 에 따른 암 영역 (초음파 및 조직 검사상 암으로 확진) 의 검출률이 도시된다. 도 5b의 (b)를 참조하면, 제1 암 의심 영역의 예측 모델에 대한 평가 척도 (B/C, 또는 A∪B/C) 에 따른 암 의심 영역 (조직 검사상 정상) 의 검출률이 도시된다.

보다 구체적으로, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라, 제1 암 의심 영역의 예측 모델의 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는 (도 4a 참조), 예측 영역 및 정답 영역의 중첩률인 중첩 영역 (C) 의 비율이 높을수록 검출률이 낮아지는 것으로 나타난다. 특히, 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 는 (도 4a 참조) 예측 영역 및 정답 영역의 중첩률이 높아질수록 이에 대한 검출의 정확도가 크게 낮아지는 것으로 나타난다.

도 5c의 (a)를 참조하면, 제2 암 의심 영역의 예측 모델에 대한 평가 척도 (B/C, 또는 A∪B/C) 에 따른 암 영역 (초음파 및 조직 검사상 암으로 확진) 의 검출률이 도시된다. 도 5c의 (b)를 참조하면, 제2 암 의심 영역의 예측 모델에 대한 평가 척도 (B/C, 또는 A∪B/C) 에 따른 암 의심 영역 (조직 검사상 정상) 의 검출률이 도시된다.

보다 구체적으로, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라, 제2 암 의심 영역의 예측 모델의 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는 (도 4a 참조), 도 5b의 결과와 마찬가지로 예측 영역 및 정답 영역의 중첩률인 중첩 영역 (C) 의 비율이 높을수록 정답의 검출률이 낮아지는 것으로 나타난다. 이때, 제2 암 의심 영역의 예측 모델의 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 는 (도 4a 참조), 전술한 제1 암 의심 영역의 예측 모델보다, 예측 영역 및 정답 영역의 중첩률 증가에 따른 정답의 검출률의 감소가 적은 것으로 나타난다. 한편, 제2 암 의심 영역의 예측 모델의 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는 (도 4a 참조), 전술한 제1 암 의심 영역의 예측 모델과 유사한 수준으로 나타난다.

도 5d의 (a)를 참조하면, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델을 함께 이용했을 때의 평가 척도 (B/C, 또는 A∪B/C) 에 따른 암 영역 (초음파 및 조직 검사상 암으로 확진) 의 검출률이 도시된다. 도 5d의 (b)를 참조하면, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델을 함께 이용했을 때의 평가 척도 (B/C, 또는 A∪B/C) 에 따른 암 의심 영역 (조직 검사상 정상) 의 검출률이 도시된다.

보다 구체적으로, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라, 두 가지 예측 모델을 이용했을 때의 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는 (도 4a 참조), 도 5b 및 5c의 결과와 마찬가지로 예측 영역 및 정답 영역의 중첩률인 중첩 영역 (C) 의 비율이 높을수록 정답의 검출률이 낮아지는 것으로 나타난다. 이때, 두 모델에 의한 정답 영역 (A) 및 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (A∪B/C) 는 (도 4a 참조), 제1 암 의심 영역의 예측 모델 또는 제2 암 의심 영역의 예측 모델을 단독으로 이용했을 때 보다, 예측 영역 및 정답 영역의 중첩률 증가에 따른 정답의 검출률의 감소가 적은 것으로 나타난다. 한편, 두 가지 예측 모델을 이용했을 때의 예측 영역 (B) 에 대한 중첩 영역 (C) 의 비 (B/C) 는 (도 4a 참조), 전술한 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델을 단독으로 이용했을 때와 유사한 수준으로 나타난다.

이상의 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따른 평가 결과로, 두 가지 예측 모델인 제1 암 의심 예측 모델 및 제2 암 의심 예측 모델을 함께 이용하는 경우, 한 가지의 모델을 단독으로 이용했을 때보다, 초음파 이미지 내에서 암 의심 영역을 높은 검출률로 예측할 수 있다. 나아가, 두 가지 예측 모델을 이용했을 때, 예측 영역 및 정답 영역의 중첩률이 높게 설정되었을 때, 암 의심 영역의 예측에 있어서 높은 성능을 나타낼 수 있 다. 또한, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델에 의해 예측되지 않은 영역 (A-C) 을 더 고려한 평가 (A∪B/C) 에서도 두 가지 모델을 함께 이용하는 것이 바람직할 수 있다.

다음으로, 도 5e를 참조하여 암의 위치 및 악성도에 따른, 두 개의 암 의심 영역의 예측 모델에 대한 평가 결과를 설명한다.

도 5e는 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법에 따라 산출된, 평가 척도, 암의 위치, 악성도에 따른 암 의심 영역의 예측 모델의 미검출률을 도시한 것이다.

본 평가를 위해, 전립선 암이 바깥쪽에 위치하고 악성도가 6인 9 장의 초음파 이미지, 전립선 암이 바깥쪽에 위치하고 악성도가 7인 7 장의 초음파 이미지, 전립선 암이 바깥쪽에 위치하고 악성도가 8인 2 장의 초음파 이미지와, 전립선 암이 안쪽에 위치하고 악성도가 6인 19 장의 초음파 이미지, 전립선 암이 안쪽에 위치하고 악성도가 7인 13 장의 초음파 이미지가 이용되었다.

도 5e를 참조하면, 암의 위치 및 악성도가 상이한 이미지로 구성된 평가 데이터의 입력에 따른, 제1 암 의심 영역의 예측 모델, 제2 암 의심 영역의 예측 모델, 및 제1 암 의심 영역의 예측 모델 + 제2 암 의심 영역의 예측 모델에 대한 미검출 이미지의 개수 (미검출률) 가 나타난다. 전술한 바와 같이, 제1 암 의심 영역의 예측 모델, 제2 암 의심 영역의 예측 모델, 및 제1 암 의심 영역의 예측 모델 + 제2 암 의심 영역의 예측 모델 모두에서, 미검출 이미지의 개수 (미검출률) 는, 예측 영역 및 정답 영역의 중첩률을 30 %로 설정했을 때보다 10 %로 설정했을 때, 보다 적은 것으로 나타난다.

보다 구체적으로, 본 발명의 일 실시예에 따른 평가 방법에 따르면, 바깥쪽 영역에 암이 위치하고 악성도가 6인 9 장의 이미지에 대하여, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델을 함께 이용했을 때의 미검출 이미지의 개수 (미검출률) 는 단독 모델을 이용했을 때보다 적은 것으로 나타난다. 나아가, 50 장의 전체 이미지에 대하여, 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델을 함께 이용했을 때의 미검출 이미지의 개수 (미검출률) 는, 30 % 및 10 %의 중첩률에서 각각 11 장 (22 %), 7 장 (14 %) 으로, 단독의 예측 모델을 이용했을 때보다 미검출 이미지의 개수 (미검출률) 가 적은 것으로 나타난다.

이상의 실시예 1의 결과로, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법은, 다양한 평가 척도를 설정하여 암 의심 영역의 예측 모델에 대하여 평가할 수 있는 효과가 있다. 특히, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법은, 서로 상이한 조건으로 트레이닝된 두 개의 암 의심 영역의 예측 모델에 대한 평가 방법을 제공함으로써, 사용자의 숙련도에 따라 임 진단의 오차율이 높은 목적 부위에 대하여 정확한 예측의 결과를 제공하도록 피드백을 위한 평가 정보를 제공할 수 있다.

한편, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법의 이용 범위 및 효과는 전술한 것에 제한되지 않는다. 예를 들어, 본 발명의 일 실시예에 따른 암 의심 영역의 예측 모델의 평가 방법은 전립선 부위뿐만 아니라, 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 또는 유방과 같이 초음파 검사가 수행될 수 있는 다양한 부위에 대하여, 암 의심 영역을 예측할 수 있는 예측 모델의 평가에 적용될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

312: 초음파 이미지
322: 제1 암 영역 예측 모델
324: 제2 암 영역 예측 모델
326: 제1 암 영역 예측 모델에 의해 예측된 암 의심 영역을 포함하는 초음파 이미지
326 (a): 제1 암 영역 예측 모델에 의해 예측된 암 의심 영역
328: 제2 암 영역 예측 모델에 의해 예측된 암 의심 영역을 포함하는 초음파 이미지
328 (a), (b): 제2 암 영역 예측 모델에 의해 예측된 암 의심 영역
332: 최종 결정된 암 의심 영역을 포함하는 초음파 이미지
332 (a): 암 의심 영역
332 (b): 암 의심 영역의 후보 영역
412: 정답 영역
414: 중첩 영역

Claims (10)

1. 목적 부위에 대한 초음파 이미지를 입력으로 하여 암 의심 영역을 출력하도록, 인공지능 알고리즘에 의해 트레이닝된 암 의심 영역의 예측 모델을 이용하여, 상기 초음파 이미지 내에서 암 의심 영역을 예측하는 단계, 및
   상기 초음파 이미지에 대하여 미리 결정된 정답 영역과 상기 암 의심 영역의 예측 모델에 의해 예측된 상기 암 의심 영역을 비교하여, 상기 암 의심 영역의 예측 모델을 평가하는 단계를 포함하고,
   상기 예측 모델을 평가하는 단계는,
   미리 예측된, 상기 암 의심 영역에 대한, 상기 정답 영역 및 상기 암 의심 영역이 중첩되는 중첩 영역의 비율을 산출하는 단계, 및
   상기 비율을 기초로 상기 예측 모델의 검출률을 평가하는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법.
2. 삭제
3. 제1항에 있어서,
   상기 예측 모델을 평가하는 단계는,
   상기 정답 영역 및 상기 암 의심 영역을 합친 영역에 대한 상기 중첩 영역의 비율을 산출하는 단계, 및
   상기 비율을 기초로 상기 예측 모델의 검출률을 평가하는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법.
4. 제1항에 있어서,
   상기 예측 모델을 평가하는 단계는,
   상기 정답 영역에 대한 상기 중첩 영역의 비율을 산출하는 단계, 및
   상기 비율을 기초로 상기 예측 모델의 정확도를 평가하는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법.
5. 제1항에 있어서,
   상기 암 의심 영역의 예측 모델에 대하여 평가 척도를 결정하는 단계를 더 포함하고,
   상기 평가 척도는, 상기 예측 영역에 대한 상기 중첩 영역의 비율이 일정 수준 이상일 경우 이를 정답으로 결정하도록 구성되고,
   상기 예측 모델을 평가하는 단계는,
   상기 평가 척도를 기초로 상기 예측 모델의 검출률을 평가하는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법.
6. 제1항에 있어서,
   상기 목적 부위에 대하여 암으로 확진된 영역을 포함하는 초음파 이미지, 및 암으로 의심되었으나 조직 검사를 통해 정상으로 판단되었던 암 의심 영역을 포함하는 초음파 이미지를 기초로, 암 의심 영역을 결정하도록 상기 암 의심 영역의 예측 모델을 트레이닝하는 단계를 더 포함하는, 암 의심 영역의 예측 모델의 평가 방법.
7. 제6항에 있어서,
   상기 암 의심 영역의 예측 모델은,
   상기 초음파 이미지를 기초로 암 의심 영역을 결정하도록 트레이닝된 제1 암 의심 영역의 예측 모델 및 상기 제1 암 의심 영역의 예측 모델과 상이한 제2 암 의심 영역의 예측 모델을 포함하고,
   상기 트레이닝하는 단계는,
   상기 암으로 확진된 영역을 포함하는 초음파 이미지와 상기 암 의심 영역을 포함하는 초음파 이미지에 대하여 일정한 비율로, 상기 제1 암 의심 영역의 예측 모델을 트레이닝하는 단계, 및
   상기 암으로 확진된 영역을 포함하는 초음파 이미지보다 상기 암 의심 영역을 포함하는 초음파 이미지에 대하여 높은 비율로, 상기 제2 암 의심 영역의 예측 모델을 트레이닝하는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법.
8. 제7항에 있어서,
   상기 암 의심 영역을 예측하는 단계는,
   상기 제1 암 의심 영역의 예측 모델 및 제2 암 의심 영역의 예측 모델을 통해 상기 초음파 이미지에 대하여 공통적으로 예측된 의심 영역을, 상기 암 의심 영역으로 예측하는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법.
9. 제6항에 있어서,
   상기 초음파 이미지는 복수의 영역을 포함하고,
   상기 트레이닝 단계는,
   상기 초음파 이미지 내의 복수의 영역 각각에 대한 픽셀 값, 질감 (texture) 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로 상기 암 의심 영역의 예측 모델이 상기 초음파 이미지 내에서의 암 의심 영역을 결정하도록 트레이닝하는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법.
10. 제6항에 있어서,
    상기 트레이닝 하는 단계는,
    상기 암 의심 영역의 예측 모델이 상기 초음파 이미지 내에서 암 의심 영역을 픽셀 단위로 예측할 수 있도록 트레이닝하는 단계를 포함하고,
    상기 암 의심 영역을 예측하는 단계는,
    상기 암 의심 영역의 예측 모델에 의해, 픽셀 단위로 상기 암 의심 영역을 예측하는 단계를 포함하고,
    상기 예측 모델을 평가하는 단계는,
    예측된 상기 암 의심 영역에 대하여 픽셀 단위의 평가가 수행되는 단계를 포함하는, 암 의심 영역의 예측 모델의 평가 방법.

Images