KR102231698B1

KR102231698B1 - 정상 의료 영상을 필터링하는 방법, 이를 이용한 의료 영상 판독 방법 및 컴퓨팅 장치

Info

Publication number: KR102231698B1
Application number: KR1020200072257A
Authority: KR
Inventors: 박종찬
Original assignee: 주식회사 루닛
Priority date: 2020-06-15
Filing date: 2020-06-15
Publication date: 2021-03-24
Also published as: US11928817B2; US20210391059A1; KR20210155339A; US11574727B2; US20230128769A1; EP3926540A1

Abstract

적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 의료 영상을 판독하는 방법으로서, 이상 예측 모델을 이용하여 입력 영상의 이상 점수(abnormality score)를 획득하는 단계, 특정 판독 민감도가 되는 컷오프 점수를 기준으로 상기 이상 점수가 상기 컷오프 점수 이하이면, 상기 입력 영상을 후속 분류 분석하지 않도록 필터링하는 단계, 그리고 상기 이상 점수가 상기 컷오프 점수보다 크면, 상기 입력 영상을 분류 클래스들로 구별하는 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 단계를 포함한다.

Description

정상 의료 영상을 필터링하는 방법, 이를 이용한 의료 영상 판독 방법 및 컴퓨팅 장치{METHOD FOR FILTERING NORMAL MEDICAL IMAGE, METHOD FOR INTERPRETING MEDICAL IMAGE, AND COMPUTING DEVICE IMPLEMENTING THE METHODS}

본 개시는 인공지능 기반 의료 영상 판독 기술에 관한 것이다.

의료 분야에서 인공지능(Artificial Intelligence, AI) 기술을 활용한 제품이 다양하게 개발되고 있고, 대표적으로 AI 기반 의료 영상 판독 기술이 구현된 진단 보조 시스템이 있다. AI 기반 의료 영상 판독 기술은 의료 영상 전체를 AI 알고리즘으로 분석하고, 이상(abnormality) 병변을 시각적으로 제공할 수 있다. 판독의는 진단 보조 시스템으로부터 의료 영상의 분석 결과를 제공받고, 이를 참고하여 판독할 수 있다.

판독의는 진단 보조 시스템에서 판독된 결과와 환자 진료 기록 등을 작업리스트(Worklist)에서 확인할 수 있는데, 특정 기준(예를 들면, emergency, abnormality 등)으로 작업리스트를 정렬(Worklist sorting)해서 영상 판독 순서를 변경할 수 있다. 작업리스트 정렬 기능을 통해, 판독의는 정상으로 분석된 영상에 대한 판독보다, 긴급하게 판독이 필요한 영상이나, 이상 검출 영상을 우선적으로 판독할 수 있다. 하지만, 작업리스트 정렬은 이미 작업리스트에 포함된 영상들의 판독 순서만을 변경하는 것뿐이라서, 정상 영상에 대한 판독도 결국에는 진행해야 하므로, 판독의의 업무량(workload)은 변하지 않는다.

또한, 진단 보조 시스템의 판독 수준이 높아지고는 있으나, 민감도(sensitivity)와 특이도(Specificity)는 상충관계(trade off)가 있어서, 진단 보조 시스템의 판독 민감도가 매우 높지는 않다.

해결하고자 하는 과제는, 이상 예측 모델(abnormality prediction model)을 이용하여 입력 영상의 이상 점수(abnormality score)를 계산하고, 특정 민감도(sensitivity)로 결정된 컷오프 점수(cut-off score)를 기준으로 이상 점수가 컷오프 점수 이하인 입력 영상을 강한-정상(strong normal)으로 필터링하는 방법을 제공하는 것이다.

해결하고자 하는 과제는, 강한-정상 필터링을 포함하는 2단계 분석을 통해, 강한 정상이 아닌 영상들을 후속 분류 분석하여 작업리스트를 생성하고, 강한-정상으로 분류된 영상들을 작업리스트에서 제외하는 방법을 제공하는 것이다.

해결하고자 하는 과제는, 질병 예측 난이도 차이가 있는 다중 질병들을, 동일 민감도로 컷오프하는 방법, 그리고 이를 위한 캘리브레이션 방법을 제공하는 것이다.

한 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 의료 영상을 판독하는 방법으로서, 이상 예측 모델을 이용하여 입력 영상의 이상 점수(abnormality score)를 획득하는 단계, 특정 판독 민감도가 되는 컷오프 점수를 기준으로 상기 이상 점수가 상기 컷오프 점수 이하이면, 상기 입력 영상을 후속 분석하지 않도록 필터링하는 단계, 그리고 상기 이상 점수가 상기 컷오프 점수보다 크면, 상기 입력 영상을 분류 클래스들로 구별하는 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 단계를 포함한다.

상기 이상 점수가 상기 컷오프 점수 이하인 입력 영상은 강한-정상(strong normal)으로 분류될 수 있다.

상기 분류 모델은 입력 영상을 약한-정상(weak normal) 또는 이상(abnormal)으로 구별하는 태스크를 학습한 인공지능 모델일 수 있다.

상기 분석 결과를 판독 작업리스트에 추가하는 단계를 더 포함하고, 상기 이상 점수가 상기 컷오프 점수 이하인 입력 영상은 상기 판독 작업리스트에 추가되지 않을 수 있다.

상기 이상 점수가 상기 컷오프 점수 이하인 입력 영상의 경우, 상기 판독 작업리스트와 구분되는 별도의 보고서에 필터링 결과가 추가될 수 있다.

상기 이상 점수를 획득하는 단계는 상기 이상 예측 모델로부터 서로 다른 질병들에 대한 질병 예측 점수들을 획득하는 경우, 상기 질병 예측 점수들을 종합하여 상기 이상 점수를 결정할 수 있다.

상기 이상 점수를 획득하는 단계는 상기 특정 판독 민감도가 되는 질병별 컷오프 점수를 상기 컷오프 점수로 변환하는 캘리브레이션을 통해, 캘리브레이션된 질병 예측 점수들을 획득하고, 상기 캘리브레이션된 질병 예측 점수들 중 최대값을 상기 이상 점수로 결정할 수 있다.

상기 필터링하는 단계는 상기 이상 예측 모델로부터 서로 다른 질병들에 대한 질병 예측 점수들을 질병별 이상 점수로 획득한 경우, 상기 특정 판독 민감도가 되는 질병별 컷오프 점수를 계산하고, 상기 서로 다른 질병들 전체에 대해 질병별 이상 점수가 해당 질병의 컷오프 점수 이하이면, 상기 입력 영상을 필터링할 수 있다.

상기 이상 예측 모델은 상기 입력 영상의 특징을 출력하도록 학습된 특징 추출 모델, 그리고 상기 특징 추출 모델에서 출력된 특징들을 기초로 적어도 하나의 질병을 예측하도록 학습된 적어도 하나의 질병 예측 헤드 모델을 포함할 수 있다.

상기 이상 예측 모델은 90%~100% 사이의 민감도를 가질 수 있다.

다른 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 의료 영상을 판독하는 방법으로서, 의료 영상의 이상 점수(abnormality score)를 출력하는 이상 예측 모델에 대해, 특정 판독 민감도가 되는 컷오프 점수를 설정하는 단계, 상기 이상 예측 모델을 이용하여 입력 영상의 이상 점수를 획득하는 단계, 그리고 상기 입력 영상의 이상 점수가 상기 컷오프 점수 이하이면, 상기 입력 영상을 강한-정상(strong normal)으로 분류하고, 상기 입력 영상을 후속 분석하지 않도록 필터링하는 단계를 포함한다.

상기 판독 방법은 상기 입력 영상의 이상 점수가 상기 컷오프 점수보다 크면, 약한-정상(weak normal)과 이상(abnormal)을 구별하는 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 단계를 더 포함할 수 있다.

상기 판독 방법은 상기 분석 결과를 판독 작업리스트에 추가하는 단계를 더 포함하고, 상기 강한-정상으로 분류된 입력 영상은 상기 판독 작업리스트에 추가되지 않을 수 있다.

상기 이상 점수를 획득하는 단계는 상기 이상 예측 모델로부터 서로 다른 질병들에 대한 질병 예측 점수들을 획득하는 경우, 상기 서로 다른 질병들에 대해 상기 컷오프 점수에서 상기 특정 판독 민감도가 제공되도록 상기 질병 예측 점수들을 캘리브레이션하고, 캘리브레이션된 질병 예측 점수들 중 최대값을 상기 입력 영상의 이상 점수로 결정할 수 있다.

또 다른 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 의료 영상을 판독하는 방법으로서, 의료 영상의 이상 점수(abnormality score)를 출력하는 이상 예측 모델로 입력 영상을 입력하고, 상기 이상 예측 모델로부터 복수의 질병들에 대한 질병 예측 점수들을 획득하는 단계, 상기 복수의 질병들에 대해 동일한 컷오프 점수에서 동일한 판독 민감도가 제공되도록 상기 질병 예측 점수들을 캘리브레이션하고, 캘리브레이션된 질병 예측 점수들 중 최대값을 상기 입력 영상의 이상 점수로 결정하는 단계, 그리고 상기 입력 영상의 이상 점수가 상기 컷오프 점수 이하이면, 상기 입력 영상을 강한-정상(strong normal)으로 분류하고, 상기 입력 영상을 후속 분석하지 않도록 필터링하는 단계를 포함한다. 상기 이상 예측 모델은 상기 입력 영상의 특징을 출력하도록 학습된 특징 추출 모델, 그리고 상기 특징 추출 모델에서 출력된 특징들을 기초로 상기 복수의 질병들을 예측하도록 학습된 복수의 질병 예측 헤드 모델을 포함할 수 있다.

상기 입력 영상은 흉부 엑스레이 영상이고, 상기 복수의 질병들은 경화(consolidation), 결절(nodule), 그리고 기흉(pneumothorax) 중 적어도 2개 이상을 포함할 수 있다.

상기 판독 민감도는 90%~100% 사이의 값일 수 있다.

상기 판독 방법은 상기 입력 영상의 이상 점수가 상기 컷오프 점수보다 크면, 약한-정상(weak normal)과 이상(abnormal)을 구별하는 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 단계, 그리고 상기 분석 결과를 판독 작업리스트에 추가하는 단계를 더 포함할 수 있다. 상기 강한-정상으로 분류된 입력 영상은 상기 판독 작업리스트에 추가되지 않을 수 있다.

한 실시예에 따른 컴퓨팅 장치로서, 입력 영상의 이상 점수(abnormality score)를 출력하도록 학습된 이상 예측 모델, 그리고 입력 영상을 약한-정상(weak normal)과 이상(abnormal)을 구별하도록 학습된 분류 모델을 저장하는 메모리, 그리고 상기 이상 예측 모델을 이용하여 상기 입력 영상의 이상 점수를 획득하고, 상기 입력 영상의 이상 점수가 컷오프 점수 이하이면, 상기 입력 영상을 강한-정상(strong normal)으로 분류하고, 상기 입력 영상을 후속 분석하지 않도록 필터링하며, 상기 입력 영상의 이상 점수가 상기 컷오프 점수보다 크면, 상기 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 프로세서를 포함한다.

일반적인 영상의학 진단에서 아무런 이상이 없는 정상 케이스가 대다수를 차지하는데, 실시예에 따르면 확실한 정상 케이스에 해당하는 강한-정상 영상들을 작업리스트에서 제외하기 때문에, 판독의의 업무량을 상당히 줄일 수 있다.

실시예에 따르면 컴퓨팅 장치는 강한-정상으로 분류된 영상들을 후속 분석하지 않고, 강한-정상 이외의 영상들만을 집중 분석하므로, 컴퓨팅 효율을 높일 수 있다.

실시예에 따르면, 약한-정상과 이상을 구별하는 어려운 태스크를 학습한 인공지능 모델을 이용하여 입력 영상을 분석을 하므로, 약한-정상과 이상의 구별 성능을 높일 수 있다.

실시예에 따르면, 높은 민감도로 강한-정상 영상을 필터링할 수 있고, 특히 이상 예측 난이도 차이에 따라 다중 질병들의 이상 점수 분포가 다르더라도, 단일 컷오프 점수로 강한-정상 영상을 필터링할 수 있다.

도 1은 한 실시예에 따른 이상 예측 모델 및 분류 모델 학습을 설명하는 도면이다.
도 2는 한 실시예에 따른 강한-정상 필터링을 포함하는 2단계 분석을 도식적으로 설명하는 도면이다.
도 3은 한 실시예에 따른 이상 예측 모델의 예시이다.
도 4와 도 5 각각은 한 실시예에 따른 강한-정상 필터링 방법을 설명하는 흐름도이다.
도 6은 한 실시예에 따른 강한-정상 필터링을 포함하는 2단계 분석의 장점을 도식적으로 설명하는 도면이다.
도 7은 한 실시예에 따른 의료 영상 판독 방법의 흐름도이다.
도 8은 한 실시예에 따른 컴퓨팅 장치의 구성도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

명세서에서, 태스크(task)란, 기계 학습을 통해 해결하고자 하는 과제 또는 기계 학습을 통해 수행하고자 하는 작업을 지칭한다. 예를 들어, 의료 영상(medical image)으로부터 인식, 분류, 예측 등을 수행한다고 할 때, 인식, 분류, 예측 각각이 개별 태스크에 대응될 수 있다. 본 발명의 인공지능 모델은 적어도 하나의 태스크를 학습하는 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어/프로그램으로 구현될 수 있다. 프로그램은 저장 매체(non-transitory storage media)에 저장되고, 프로세서에 의해 본 발명의 동작을 실행하도록 기술된 명령들(instructions)을 포함한다. 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.

본 개시는 다양한 모달리티(modality)로 촬영된 다양한 부위의 의료 영상에 대해 적용될 수 있고, 예를 들면, 의료 영상의 모달리티는 엑스레이(X-ray), MRI(magnetic resonance imaging), 초음파(ultrasaound), CT(computed tomography), MMG(Mammography), DBT(Digital breast tomosynthesis) 등과 같이 다양할 수 있다. 설명에서는 흉부 엑스레이 영상을 예로 들어 설명할 수 있다.

일반적인 진단 보조 시스템은 컷오프 점수(cut-off score)를 기준으로 입력 영상을 정상(normal)/이상(abnormal)으로 분석한다. 컷오프 점수는 민감도(sensitivity)와 특이도(Specificity)의 상충관계(trade off)를 조절하여 정해진다. 민감도가 매우 높게 설정되면 위양성(false positive)이 늘어나고 특이도가 떨어져 사용자의 피로도가 증가하게 된다. 따라서 종래의 진단 보조 시스템은 판독 민감도가 매우 높지 않게 설정되어서, 정상으로 분석된 영상도 의사의 판독을 요구한다. 하지만, 결과적으로 아무런 이상이 없는 정상 케이스가 대다수를 차지하기 때문에 판독 업무의 효율을 높이는 방안이 필요하다.

이러한 문제점을 해결하기 위해, 본 개시는 의사 판독이 요구되지 않는 확실한 정상 소견을 갖는 영상을 필터링하는데, 이렇게 이상으로 의심되지 않는(non-suspicious) 확실한 정상을 강한-정상(strong normal)이라고 부른다. 정상 케이스 중에서 강한-정상이 아니라서 의사 판독이 요구되는 케이스를 약한-정상(weak-normal)이라고 부른다.

도 1은 한 실시예에 따른 이상 예측 모델 및 분류 모델 학습을 설명하는 도면이고, 도 2는 한 실시예에 따른 강한-정상 필터링을 포함하는 2단계 분석을 도식적으로 설명하는 도면이다.

도 1을 참고하면, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(10)는 학습 데이터(20) 중 적어도 일부를 이용하여, 인공지능 모델인 이상 예측 모델(abnormality prediction model)(100)을 학습시킬 수 있다. 이상 예측 모델(100)은, 의료 영상의 특징들에 대한 이상 정도(abnormality)를 예측하고, 예측 결과를 이상 점수(abnormality score)로 출력하는 태스크에 대해 학습할 수 있다. 여기서, 이상 예측 모델(100)은 입력된 영상들 중에서 확실한 정상 영상(이를 “강한-정상” 영상이라고 함)을 필터링하기 위해 사용되고, 높은 판독 민감도(sensitivity)를 가진다. 예를 들면, 이상 예측 모델(100)은 90%~100% 사이의 매우 높은 민감도를 가질 수 있고, 설명에서는 초고 민감도인 99%를 가진다고 설명한다.

컴퓨팅 장치(10)는 학습 데이터(20) 중에서 이상 영상들에 가중치를 부여하여 이상 예측 모델(100)을 학습시킬 수 있다. 컴퓨팅 장치(10)는 분류하기 어려운 이상 영상들에 가중치를 부여하여 이상 예측 모델(100)을 학습시킬 수 있고, 분류하기 어려운 이상 영상들에 대해 이상 예측 모델(100)을 반복 학습시킬 수 있다. 컴퓨팅 장치(10)는 목적 함수(objective function)에서 이상 영상이 특정 비율을 유지하도록 조절하면서 이상 예측 모델(100)을 학습시킬 수 있다.

컴퓨팅 장치(10)는 학습 데이터(20) 중 적어도 일부를 이용하여, 인공지능 모델인 분류 모델(200)을 학습시킬 수 있다. 분류 모델(200)은 강한-정상 이외의 분류 클래스들인 약한-정상 및 이상으로 어노테이션된 학습 데이터를 이용하여 분류 태스크를 학습할 수 있다. 즉, 분류 모델(200)은 입력 영상을 약한-정상 또는 이상으로 구별하는 어려운 태스크를 집중 학습할 수 있다. 분류 모델(200)은 입력 특징을 분류 클래스로 분류할 수 있는 다양한 신경망으로 구현될 수 있다. 여기서, 약한-정상은 악성으로 의심(suspicious)될 수 있지만 정상인 경우를 의미하고, 정상을 강한-정상과 그렇지 않은 정상으로 구분하기 위해 사용된다.

도 2를 참고하면, 컴퓨팅 장치(10)는 학습된 이상 예측 모델(100) 및 분류 모델(200)을 이용하여, 강한-정상 필터링을 포함하는 2단계 분석을 한다.

먼저, 컴퓨팅 장치(10)는 학습된 이상 예측 모델(100)을 이용하여 입력 영상의 이상 점수(abnormality score)를 계산하고, 특정 판독 민감도(예를 들면, 99%)가 되는 컷오프 점수(cut-off score)를 기준으로 이상 점수가 컷오프 점수(예를 들면, 0.05) 이하인 입력 영상을 강한-정상(strong normal)으로 분류 및 필터링할 수 있다. 이렇게, 컴퓨팅 장치(10)는 입력 영상들을 강한-정상 영상들과 나머지로 분류하고, 강한-정상 영상들에 대해서 후속 분류 분석을 하지 않도록 필터링한 후, 나머지 영상들에 대해서 강한-정상 이외의 분류 클래스들로의 분류/구별하는 후속 분석을 할 수 있다. 강한-정상 이외의 분류 클래스들은 예를 들면, 약한-정상(weak normal) 및 이상(abnormal)을 포함할 수 있고, 더 세분화될 수 있다.

컴퓨팅 장치(10)는 학습된 분류 모델(200)을 이용하여 필터링되지 않은 나머지 영상들을 약한-정상 또는 이상 등의 분류 클래스들로 분류한다. 약한-정상 또는 이상과 같이, 강한-정상 이외의 분류 결과를 가지는 영상들은 판독 작업리스트(간단히, 작업리스트라고 한다)에 추가된다. 이후 판독의가 작업리스트에서 어느 입력 영상을 선택하면, 분류 모델(200)을 이용하여 획득된 분석 결과(질병 위치/질병 예측 점수 등)가 입력 영상에 시각적으로 디스플레이될 수 있다. 시각적 표시 방법은 secondary capture 등 다양할 수 있다.

컴퓨팅 장치(10)는 표 1과 같이, 이상 점수에 따라 입력 영상을 필터링 및 분류한다. 강한-정상으로 분류된 영상은 후속 분석되지 않고, 작업리스트에서 제외된다. 필터링되지 않고 정상으로 분석된 영상(약한-정상)은 작업리스트에서 제외되지 않고 판독의에 의한 확인이 요구된다. 이상으로 분석된 영상에 대해서는 이상 병변의 위치, 예측값 등을 시각적으로 나타내는 히트맵이 표시될 수 있다.

Abnormality score	Case	Action
[0, 0.05)	강한-정상(strong normal)	작업리스트에서 제외
[0.05, 0.15)	정상/약한-정상 (normal/weak normal)	작업리스트에서 제외되지 않고, 판독의에 의한 확인 요구
[0.15, 1.0]	이상(abnormal)	이상 히트맵 표시 (abnormal heatmap shown)

이와 같이, 컴퓨팅 장치(10)는 이상 점수 기반의 강한-정상 필터링 및 후속 분석을 포함하는 2단계 분석을 통해, 강한-정상 영상들을 필터링하여 작업리스트에서 제외하고, 후속 분석 결과를 포함하는 나머지 영상들만을 작업리스트에 추가할 수 있다. 강한-정상으로 필터링된 영상은 이상 병변이 존재할 확률이 매우 낮기 때문에, 강한-정상이 아닌 영상들과 달리, 후속 분석을 할 필요가 없고, 판독의에 의한 판독이 요구되는 작업리스트에도 추가되지 않을 수 있다. 한편, 강한-정상으로 필터링된 영상들의 분석 결과는 작업리스트와 다른 형태의 보고서로 작성될 수 있다.

작업리스트는 판독 업무 절차에서 판독의에 의한 영상 판독이 요구되는 영상들의 리스트이며, 넓은 의미로는 의료 기관 내에서의 환자와 관련된 의료 행위를 포함하는 다양한 작업에 대한 리스트를 의미할 수 있다. 작업리스트는 강한-정상이 아닌 케이스(약한-정상, 이상)로 분류된 영상들만을 포함하므로, 명백히 정상인 강한-정상 케이스에 대한 불필요한 판독 업무를 줄일 수 있다. 영상 모달리티, 질병 종류 등에 따라 강한-정상 케이스의 비율이 달라서, 판독 업무량의 절감 비율은 다를 수 있다. 일반적으로 대다수를 차지하는 정상 케이스에서, 강한-정상 영상들을 작업리스트에서 제외하기 때문에, 실제로 판독의의 업무량을 상당히 줄일 수 있다. 이상 예측 모델(100)에 대해 99% 민감도가 되는 컷오프 점수 0.05를 설정하고, 특정 검증 셋으로 확인해 보면, 정상 영상의 절반 이상이 강한-정상으로 필터링되기 때문에, 정상 영상의 절반 이상을 작업리스트에서 제외할 수 있다.

이상 예측 모델(100)을 학습시키는 작업, 학습된 이상 예측 모델(100)을 이용한 강한-정상 필터링 작업, 분류 모델(200)을 학습시키는 작업, 분류 모델(200)을 이용한 분류/구별 작업 각각은, 복수의 컴퓨팅 장치들에서 분산 구현될 수 있으나, 설명의 편의를 위해 컴퓨팅 장치(10)가 본 발명의 동작을 수행한다고 가정한다. 예를 들어, 특정 컴퓨팅 장치가 이상 예측 모델(100) 및/또는 분류 모델(200)을 학습시키고, 병원 등에 위치하는 컴퓨팅 장치들이 학습된 이상 예측 모델(100) 및 분류 모델(200)을 탑재한 후, 2단계 분석 기반의 영상 판독을 할 수 있다. 또는, 서버 장치가 학습된 이상 예측 모델(100) 및 분류 모델(200)을 탑재하고, 병원 등에 위치하는 컴퓨팅 장치들이 서버 장치로 영상을 전송하고, 서버 장치로부터 영상 분석 결과를 수신한 후, 작업리스트에 추가할 수 있다.

도 3은 한 실시예에 따른 이상 예측 모델의 예시이다.

도 3을 참고하면, 이상 예측 모델(100)은 단일-헤드 네트워크(Single-headed network) 또는 복수-헤드 네트워크(Multi-headed Network)로 설계될 수 있다. 예를 들면, 이상 예측 모델(100)은 입력 영상의 특징을 추출하는 특징 추출 모델(Feature extractor), 그리고 하나의 이상/질병 예측 헤드 모델을 포함할 수 있다.

(a)를 참고하면, 단일-헤드 네트워크로 구성된 이상 예측 모델(100a)은 특징 추출 모델(110), 그리고 이상 예측 헤드 모델(130)을 포함할 수 있다. 특징 추출 모델(110)는 입력 영상에서 병변을 검출하기 위한 특징을 추출하도록 학습된 신경망 모델로서, 입력 영상의 특징을 출력한다. 이상 예측 헤드 모델(130)은 특징 추출 모델(110)에서 출력된 특징들에 대한 이상(abnormal) 확률을 예측하도록 학습된 신경망 모델로서, 예측 결과를 이상 점수(abnormality score)로 출력한다.

컴퓨팅 장치(10)는 학습된 이상 예측 모델(100a)을 이용하여 입력 영상의 이상 점수를 획득하는 경우, 원하는 판독 민감도(예를 들면, 99%)가 되는 컷오프 점수를 기준으로 이상 점수가 컷오프 점수 이하인 입력 영상을 강한-정상으로 분류 및 필터링할 수 있다.

(b)를 참고하면, 복수-헤드 네트워크로 구성된 이상 예측 모델(100b)은 특징 추출 모델(110), 그리고 복수의 질병 예측 헤드 모델들(140-1, 140-2, …, 140-n)을 포함할 수 있다. 각 질병 예측 헤드 모델은 해당 질병을 예측하도록 학습된 신경망 모델로서, 예측 결과를 해당 질병 예측 점수로 출력한다. 질병 예측 점수가 이상 점수에 대응할 수 있으나, 질병 예측 점수들이 통합되어 계산되는 이상 점수와 구분하기 위해, 질병 예측 헤드 모델에서 출력되는 점수를 질병 예측 점수로 부를 수 있다.

복수의 질병 예측 헤드 모델들(140-1, 140-2, …, 140-n)은 특정 모달리티로 촬영된 영상에서 분석 가능한 질병(lesion or finding) 종류에 맞게 병렬 구성될 수 있다. 예를 들면, 입력 영상이 흉부 엑스레이 영상인 경우, 경화(consolidation), 결절(nodule), 기흉(pneumothorax) 각각을 독립적으로 예측하는 질병 예측 헤드 모델들이 이상 예측 모델(100)에 포함될 수 있다.

이상 예측 모델(100b)의 경우, 복수의 질병 예측 헤드 모델들(140-1, 140-2, …, 140-n) 각각은 해당 질병에 관련된 학습 데이터를 이용하여 독립적으로 학습한다. 이때, 질병별 예측 난이도가 다르고, 해당 질병에 관련된 학습 데이터량이 다르다. 따라서, 각 질병 예측 헤드 모델에서 출력되는 질병 예측 점수 분포가 달라서, 원하는 판독 민감도(예를 들면, 99%)가 되는 질병 예측 점수가 질병마다 다르게 된다. 만약, 동일한 컷오프 점수(예를 들면, 0.05)로 강한-정상 영상들과 나머지 영상들을 분류한다면, 질병마다 판독 민감도가 달라지게 된다. 예를 들면, 검출이 쉬운 병변은 민감하게 검출되고, 검출이 어려운 병변은 덜 민감하게 검출될 수 있다. 이러한 문제를 해결하기 위해, 컴퓨팅 장치(10)가 질병 종류에 관계없이 동일한 판독 민감도(예를 들면, 99%)를 제공하도록 필터링하는 방법에 대해 다음에서 설명한다.

도 4와 도 5 각각은 한 실시예에 따른 강한-정상 필터링 방법을 설명하는 흐름도이다.

도 4를 참고하면, 컴퓨팅 장치(10)가 이상 예측 모델(100b)의 질병 예측 헤드 모델들 각각에서 출력된 입력 영상의 질병 예측 점수들(예를 들면, 경화 점수, 결절 점수, 기흉 점수)을 획득한다(S110).

컴퓨팅 장치(10)는 질병별로 특정 판독 민감도(예를 들면, 99%)가 되는 컷오프 점수(C1, C2, C3)를 각각 설정하고, 질병별 컷오프 점수와 질병 예측 점수를 비교한다(S120). 여기서, 질병별 컷오프 점수는 모두 동일하지 않을 수 있다. 질병 예측 점수가 컷오프 점수 이하이면 입력 영상이 강한 정상으로 필터링된다.

컴퓨팅 장치(10)는 비교 결과를 기초로 질병별로 입력 영상이 강한-정상(strong normal)인지 아닌지(non-strong normal) 결정하고, 복수의 질병들에 대해서 모두 강한-정상으로 분류되었는지 판단한다(S130). 컷오프 점수 이하의 질병 예측 점수를 가진 입력 영상은 강한-정상으로 분류되고, 컷오프 점수보다 큰 질병 예측 점수를 가진 입력 영상은 강한-정상이 아니라고 분류된다.

컴퓨팅 장치(10)는 복수의 질병들에 대해서 모두 강한-정상으로 분류된 경우, 입력 영상을 후속 분류 분석을 진행하지 않도록 필터링하고, 복수의 질병들에 대해서 모두 강한-정상으로 분류되지 않은 경우, 후속 분류 단계로 전달한다(S140).

즉, 컴퓨팅 장치(10)는 복수의 질병들에 대해서 모두 강한-정상으로 분류된 경우, 입력 영상을 최종적으로 강한-정상으로 분류하고, 복수의 질병들에 대해서 모두 강한-정상으로 분류되지 않은 경우, 입력 영상을 강한-정상이 아니라고 판단한다. 예를 들면, 입력 영상에 대해 예측된 경화 점수, 결절 점수, 기흉 점수 모두가 해당 질병의 컷오프 점수 이하일 때, 입력 영상은 강한-정상으로 분류된다. 강한-정상으로 분류된 입력 영상은 후속 분류 분석을 진행한 영상과 달리 작업리스트에 추가되지 않는다. 대신, 컴퓨팅 장치(10)는 강한-정상으로 분류된 입력 영상에 대해서, 작업리스트와 구분되는 별도 리포트를 생성할 수 있다.

도 5를 참고하면, 컴퓨팅 장치(10)가 이상 예측 모델(100b)의 질병 예측 헤드 모델들 각각에서 출력된 입력 영상의 질병 예측 점수들(예를 들면, 경화 점수, 결절 점수, 기흉 점수)을 획득한다(S210).

컴퓨팅 장치(10)는 모든 질병들에 대해 특정 컷오프 점수(예를 들면, 0.05)에서 특정 판독 민감도(예를 들면, 99%)가 되도록 각 질병 예측 점수를 캘리브레이션한다(S220).

컴퓨팅 장치(10)는 캘리브레이션된 질병 예측 점수들 중 최대값을 이상 점수로 결정한다(S230).

컴퓨팅 장치(10)는 특정 컷오프 점수(0.05)와 이상 점수를 비교하고, 비교 결과를 기초로 입력 영상이 강한-정상(strong normal)인지 아닌지(non-strong normal) 결정한다(S240).

컴퓨팅 장치(10)는 입력 영상이 강한-정상으로 분류된 경우, 입력 영상에 대한 후속 분류 분석을 진행하지 않도록 필터링하고, 입력 영상이 강한-정상이 아니라고 분류된 경우, 입력 영상을 후속 분류 단계로 전달한다(S250). 컴퓨팅 장치(10)는 강한-정상으로 분류된 입력 영상에 대해서, 분석 결과를 작업리스트에 추가하지 않고, 별도 리포트를 생성할 수 있다.

컴퓨팅 장치(10)는 다음과 같이 각 질병 예측 점수를 캘리브레이션할 수 있다. 특정 판독 민감도가 되는 질병별 컷오프 점수를, 동일 컷오프 점수로 변환하는 캘리브레이션을 통해, 캘리브레이션된 질병 예측 점수들이 계산될 수 있다. 이를 통해, 단일 컷오프 점수로 입력 영상을 강한-정상으로 분류하더라도, 모든 질병들에 대한 동일한 판독 민감도가 제공될 수 있다.

예를 들어, 기흉 예측 헤드 모델에서 99% 민감도가 되는 컷오프 점수가 c1인데, 컷오프 점수 c1을 특정 점수(예를 들면, 0.05)로 이동시키기 위해, 기흉 점수 y1는 수학식 1을 통해 캘리브레이션된 기흉 점수 y1'으로 변환될 수 있다.

마찬가지로, 경화 예측 헤드 모델에서 99% 민감도가 되는 컷오프 점수가 c2라면, 경화 점수 y2는 수학식 1과 같이 캘리브레이션된 경화 점수 y2'으로 변환될 수 있다.

결절 예측 헤드 모델에서 99% 민감도가 되는 컷오프 점수가 c3라면, 결절 점수 y3는 수학식 1과 같이 캘리브레이션된 결절 점수 y3'으로 변환될 수 있다.

컴퓨팅 장치(10)는 캘리브레이션된 질병 예측 점수들 y1', y2', y3' 중 최대 값을 이상 점수로 결정하고, 컷오프 점수 0.05와 이상 점수를 비교한다. 만약, 이상 점수가 컷오프 점수 0.05이하이면, 입력 영상이 강한-정상으로 분류된다.

도 6은 한 실시예에 따른 강한-정상 필터링을 포함하는 2단계 분석의 장점을 도식적으로 설명하는 도면이다.

도 6의 (a)를 참고하면, 일반적인 분류 모델은 강한-정상 및 약한-정상을 포함하는 정상과 이상을 구별하도록 학습한다. 입력 특징을 강한-정상과 이상으로 구별하는 것에 비해 약한-정상과 이상으로 구별하는 것이 어렵기 때문에, 일반적인 분류 모델은 좀더 쉬운 학습에 치우쳐 약한-정상과 이상의 구별을 제대로 학습하지 못한다.

반면, 컴퓨팅 장치(10)는 (b)와 같이, 강한-정상 필터링을 통해, 강한-정상으로 예측되는 영상들을 필터링해서 후속 분류에서 제외하고, 약한-정상과 이상으로 분류하는 분류 모델(200)을 통해 입력 특징을 약한 정상 또는 이상으로 분류할 수 있다. 분류 모델(200)은 약한-정상과 이상으로 구별하는 어려운 태스크를 집중 학습할 수 있어서, 높은 분류 성능을 가질 수 있다.

컴퓨팅 장치(10)는 입력 영상에 대한 분류 모델(200)의 분석 결과를 작업리스트에 추가할 수 있다. 분석 결과는 모달리티에서 분석 가능한 적어도 하나의 질병(예를 들면, 경화, 결절, 기흉 등)에 대한 검출 결과를 포함할 수 있다.

도 7은 한 실시예에 따른 의료 영상 판독 방법의 흐름도이다.

도 7을 참고하면, 컴퓨팅 장치(10)는 판독 대상인 영상들을 입력받는다(S310).

컴퓨팅 장치(10)는 학습된 이상 예측 모델(100)을 이용하여 각 입력 영상의 이상 점수를 계산한다(S320). 이상 예측 모델(100)은 단일-헤드 네트워크로 구성된 이상 예측 모델(100a)이거나, 복수-헤드 네트워크로 구성된 이상 예측 모델(100b)일 수 있다. 컴퓨팅 장치(10)는 모든 질병들에 대해 동일한 컷오프 점수에서 동일한 판독 민감도를 가지도록, 이상 예측 모델(100b)에서 출력된 복수의 질병 예측 점수들을 캘리브레이션할 수 있다. 그리고, 컴퓨팅 장치(10)는 캘리브레이션된 질병 예측 점수들 중 최대값을 이상 점수로 결정할 수 있다.

컴퓨팅 장치(10)는 특정 판독 민감도가 되는 컷오프 점수를 기준으로 이상 점수가 컷오프 점수 이하인 입력 영상을 강한-정상으로 필터링하고, 이상 점수가 컷오프 점수보다 크면 입력 영상을 후속 분석 대상으로 결정한다(S330).

컴퓨팅 장치(10)는 후속 분석 대상으로 결정된 입력 영상들을 분류 모델(200)을 이용하여 분류 클래스들(예를 들면, 약한-정상과 이상)로 구별하는 분석을 한다(S340).

컴퓨팅 장치(10)는 분석 결과를 판독의에 의한 영상 판독이 요구되는 작업리스트에 추가한다(S350).

컴퓨팅 장치(10)는 강한-정상으로 필터링된 입력 영상에 대한 별도의 보고서를 생성할 수 있다(S360).

도 8은 한 실시예에 따른 컴퓨팅 장치의 구성도이다.

도 8을 참고하면, 컴퓨팅 장치(10)는 하나 이상의 프로세서(11), 프로세서(11)에 의하여 수행되는 프로그램을 로드하는 메모리(13), 프로그램 및 각종 데이터를 저장하는 스토리지(15), 통신 인터페이스(17), 그리고 이들을 연결하는 버스(19)를 포함할 수 있다. 이외에도, 컴퓨팅 장치(10)는 다양한 구성 요소가 더 포함될 수 있다. 프로그램은 메모리(13)에 로드될 때 프로세서(11)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 명령어들(instruction)을 포함할 수 있다. 즉, 프로세서(11)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 프로그램은 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로 구성되고, 프로세서에 의해 실행되는 것을 가리킨다.

프로세서(11)는 컴퓨팅 장치(10)의 각 구성의 전반적인 동작을 제어한다. 프로세서(11)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(11)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.

메모리(13)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(13)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(15)로부터 하나 이상의 프로그램을 로드할 수 있다. 메모리(13)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.

스토리지(15)는 프로그램을 비임시적으로 저장할 수 있다. 스토리지(15)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

통신 인터페이스(17)는 컴퓨팅 장치(10)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(17)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(17)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

버스(19)는 컴퓨팅 장치(10)의 구성 요소 간 통신 기능을 제공한 다. 버스(19)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 의료 영상을 판독하는 방법으로서,
이상 예측 모델을 이용하여 입력 영상의 이상 점수(abnormality score)를 획득하는 단계,
특정 판독 민감도가 되는 컷오프 점수를 기준으로 상기 이상 점수가 상기 컷오프 점수 이하이면, 상기 입력 영상을 강한-정상(strong normal)으로 분류하고 후속 분석하지 않도록 필터링하는 단계, 그리고
상기 이상 점수가 상기 컷오프 점수보다 크면, 상기 입력 영상을 분류 클래스들로 구별하는 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 단계를 포함하며,
상기 분류 모델은
입력을 약한-정상(weak normal) 또는 이상(abnormal)으로 구별하는 태스크를 학습한 인공지능 모델인, 판독 방법.
삭제
삭제
제1항에서,
상기 분석 결과를 판독 작업리스트에 추가하는 단계를 더 포함하고,
상기 이상 점수가 상기 컷오프 점수 이하인 입력 영상은 상기 판독 작업리스트에 추가되지 않는, 판독 방법.
제1항에서,
상기 이상 점수를 획득하는 단계는
상기 이상 예측 모델로부터 서로 다른 질병들에 대한 질병 예측 점수들을 획득하는 경우, 상기 질병 예측 점수들을 종합하여 상기 이상 점수를 결정하는, 판독 방법.
제5항에서,
상기 이상 점수를 획득하는 단계는
상기 특정 판독 민감도가 되는 질병별 컷오프 점수를 상기 컷오프 점수로 변환하는 캘리브레이션을 통해, 캘리브레이션된 질병 예측 점수들을 획득하고, 상기 캘리브레이션된 질병 예측 점수들 중 최대값을 상기 이상 점수로 결정하는, 판독 방법.
제1항에서,
상기 필터링하는 단계는
상기 이상 예측 모델로부터 서로 다른 질병들에 대한 질병 예측 점수들을 질병별 이상 점수로 획득한 경우, 상기 특정 판독 민감도가 되는 질병별 컷오프 점수를 계산하고, 상기 서로 다른 질병들 전체에 대해 질병별 이상 점수가 해당 질병의 컷오프 점수 이하이면, 상기 입력 영상을 필터링하는, 판독 방법.
제1항에서,
상기 이상 예측 모델은
상기 입력 영상의 특징을 출력하도록 학습된 특징 추출 모델, 그리고
상기 특징 추출 모델에서 출력된 특징들을 기초로 적어도 하나의 질병을 예측하도록 학습된 적어도 하나의 질병 예측 헤드 모델을 포함하는, 판독 방법.
제1항에서,
상기 이상 예측 모델은
90%~100% 사이의 민감도를 가지는 판독 방법.
적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 의료 영상을 판독하는 방법으로서,
의료 영상의 이상 점수(abnormality score)를 출력하는 이상 예측 모델에 대해, 특정 판독 민감도가 되는 컷오프 점수를 설정하는 단계,
상기 이상 예측 모델을 이용하여 입력 영상의 이상 점수를 획득하는 단계, 그리고
상기 입력 영상의 이상 점수가 상기 컷오프 점수 이하이면, 상기 입력 영상을 강한-정상(strong normal)으로 분류하고, 상기 입력 영상을 후속 분석하지 않도록 필터링하는 단계를 포함하며,
상기 입력 영상의 이상 점수가 상기 컷오프 점수보다 크면, 약한-정상(weak normal)과 이상(abnormal)을 구별하는 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 단계
를 더 포함하는, 판독 방법.
삭제
제10항에서,
상기 분석 결과를 판독 작업리스트에 추가하는 단계를 더 포함하고,
상기 강한-정상으로 분류된 입력 영상은 상기 판독 작업리스트에 추가되지 않는, 판독 방법.
제10항에서,
상기 이상 점수를 획득하는 단계는
상기 이상 예측 모델로부터 서로 다른 질병들에 대한 질병 예측 점수들을 획득하는 경우, 상기 서로 다른 질병들에 대해 상기 컷오프 점수에서 상기 특정 판독 민감도가 제공되도록 상기 질병 예측 점수들을 캘리브레이션하고, 캘리브레이션된 질병 예측 점수들 중 최대값을 상기 입력 영상의 이상 점수로 결정하는, 판독 방법.
제10항에서,
상기 필터링하는 단계는
상기 이상 예측 모델로부터 서로 다른 질병들에 대한 질병 예측 점수들을 질병별 이상 점수로 획득한 경우, 상기 특정 판독 민감도가 되는 질병별 컷오프 점수를 계산하고, 상기 서로 다른 질병들 전체에 대해 질병별 이상 점수가 해당 질병의 컷오프 점수 이하이면, 상기 입력 영상을 필터링하는, 판독 방법.
적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 의료 영상을 판독하는 방법으로서,
의료 영상의 이상 점수(abnormality score)를 출력하는 이상 예측 모델로 입력 영상을 입력하고, 상기 이상 예측 모델로부터 복수의 질병들에 대한 질병 예측 점수들을 획득하는 단계,
상기 복수의 질병들에 대해 동일한 컷오프 점수에서 동일한 판독 민감도가 제공되도록 상기 질병 예측 점수들을 캘리브레이션하고, 캘리브레이션된 질병 예측 점수들 중 최대값을 상기 입력 영상의 이상 점수로 결정하는 단계, 그리고
상기 입력 영상의 이상 점수가 상기 컷오프 점수 이하이면, 상기 입력 영상을 강한-정상(strong normal)으로 분류하고, 상기 입력 영상을 후속 분석하지 않도록 필터링하는 단계를 포함하고,
상기 이상 예측 모델은
상기 입력 영상의 특징을 출력하도록 학습된 특징 추출 모델, 그리고
상기 특징 추출 모델에서 출력된 특징들을 기초로 상기 복수의 질병들을 예측하도록 학습된 복수의 질병 예측 헤드 모델을 포함하는, 판독 방법.
제15항에서,
상기 입력 영상은 흉부 엑스레이 영상이고,
상기 복수의 질병들은 경화(consolidation), 결절(nodule), 그리고 기흉(pneumothorax) 중 적어도 2개 이상을 포함하는, 판독 방법.
제15항에서,
상기 판독 민감도는 90%~100% 사이의 값인, 판독 방법.
제15항에서,
상기 입력 영상의 이상 점수가 상기 컷오프 점수보다 크면, 약한-정상(weak normal)과 이상(abnormal)을 구별하는 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 단계, 그리고
상기 분석 결과를 판독 작업리스트에 추가하는 단계
를 더 포함하고,
상기 강한-정상으로 분류된 입력 영상은 상기 판독 작업리스트에 추가되지 않는, 판독 방법.
컴퓨팅 장치로서,
입력 영상의 이상 점수(abnormality score)를 출력하도록 학습된 이상 예측 모델, 그리고 입력 영상을 약한-정상(weak normal)과 이상(abnormal)을 구별하도록 학습된 분류 모델을 저장하는 메모리, 그리고
상기 이상 예측 모델을 이용하여 상기 입력 영상의 이상 점수를 획득하고, 상기 입력 영상의 이상 점수가 컷오프 점수 이하이면, 상기 입력 영상을 강한-정상(strong normal)으로 분류하고, 상기 입력 영상을 후속 분석하지 않도록 필터링하며, 상기 입력 영상의 이상 점수가 상기 컷오프 점수보다 크면, 상기 분류 모델을 이용하여 상기 입력 영상의 분석 결과를 획득하는 프로세서
를 포함하는 컴퓨팅 장치.
제19항에서,
상기 이상 예측 모델은
상기 입력 영상의 특징을 출력하도록 학습된 특징 추출 모델, 그리고
상기 특징 추출 모델에서 출력된 특징들을 기초로 적어도 하나의 질병을 예측하도록 학습된 적어도 하나의 질병 예측 헤드 모델을 포함하는, 컴퓨팅 장치.