KR20220136225A - 인공지능 모델의 결과에 대한 신뢰 정보 제공 방법 및 장치 - Google Patents

Abstract

적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로서, 적어도 하나의 태스크를 학습하고, 입력 의료 영상에 대한 태스크를 수행하여 목적 결과를 출력하는 목적 인공지능 모델, 그리고 상기 입력 의료 영상을 기초로 상기 목적 결과에 영향을 미치는 적어도 하나의 영향 변수(impact factor)를 획득하고, 상기 영향 변수를 이용하여 상기 목적 결과의 신뢰 정보를 추론하는 신뢰 예측 모델을 포함한다.

Description

인공지능 모델의 결과에 대한 신뢰 정보 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING CONFIDENCE INFORMATION ON RESULT OF ARTIFICIAL INTELLIGENCE MODEL}

본 개시는 인공지능 기반 예측 기술에 관한 것이다.

기계학습(machine-learning) 기술은 영상, 음성, 텍스트 등 다양한 형태의 데이터 분석에서 기존 방법의 성능을 뛰어 넘는 결과를 제공하고 있다. 또한, 기계학습 기술은 기술 자체에 내재된 확장성 및 유연성으로 인해 다양한 분야에 적용되고 있고, 다양한 종류의 신경망(neural network)이 공개되고 있다.

기계학습 기반의 인공지능(Artificial Intelligence, AI) 기술은 의료 분야에서 활발히 도입되고 있다. 이전에는 CAD(Computer Aided Detection) 장치가 룰 기반(rule based)으로 병변을 검출하거나, 의료 영상에서 설정된 후보 영역에서 병변을 검출하였다면, 최근의 AI 기반 의료 영상 판독 기술은 영상 전체를 AI 알고리즘으로 분석하고, 이상(abnormal) 병변을 시각적으로 제공할 수 있다.

의료진은 AI 기반 의료 영상 판독 기술이 구현된 진단 보조 장치로부터 의료 영상에 포함된 이상 병변 정보를 제공받고, 이를 참고하여 진단할 수 있다.

본 개시는 인공지능 모델의 결과에 영향을 미치는 적어도 하나의 영향 변수를 이용하여, 인공지능 모델의 결과에 대한 신뢰 정보를 제공하는 방법 및 장치를 제공한다.

한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로서, 적어도 하나의 태스크를 학습하고, 입력 의료 영상에 대한 태스크를 수행하여 목적 결과를 출력하는 목적 인공지능 모델, 그리고 상기 입력 의료 영상을 기초로 상기 목적 결과에 영향을 미치는 적어도 하나의 영향 변수(impact factor)를 획득하고, 상기 영향 변수를 이용하여 상기 목적 결과의 신뢰 정보를 추정하는 신뢰 예측 모델을 포함한다.

상기 영향 변수는 상기 목적 인공지능 모델의 특성 및/또는 상기 입력 의료 영상의 특성을 기초로, 결정될 수 있다.

상기 영향 변수는 상기 목적 인공지능 모델의 태스크 관련 의학적 변수, 상기 목적 인공지능 모델의 입력 영상 관련 변수, 상기 목적 인공지능 모델에서 검출하는 질병 관련 변수, 환자 관련 인구통계학적 변수, 그리고 환자 특성 관련 변수 중 적어도 하나를 포함할 수 있다.

상기 영향 변수는 상기 입력 의료 영상의 부가 정보로부터 추출되거나, 상기 입력 의료 영상으로부터 추론되거나, 외부 서버/데이터베이스로부터 획득되거나, 사용자로부터 입력받을 수 있다.

상기 입력 의료 영상의 부가 정보로부터 추출되는 영향 변수는 나이, 성별, 그리고 촬영 방법을 포함하는 촬영 정보 중 적어도 하나를 포함할 수 있다. 상기 입력 의료 영상으로부터 추론되는 영향 변수는 조직 치밀도, 상기 입력 의료 영상 내 오브젝트 포함 여부, 병변 타입, 그리고 병변 크기 변화 중 적어도 하나를 포함할 수 있다.

상기 목적 인공지능 모델은 의료 영상으로부터 병변을 검출하거나, 의학적 진단 정보 또는 치료 정보를 추론하도록 훈련된 모델을 포함할 수 있다.

상기 신뢰 예측 모델은 훈련용 의료 영상에 관련된 적어도 하나의 영향 변수와, 해당 훈련용 의료 영상으로부터 추론된 목적 결과의 신뢰도 사이의 관계를 학습한 모델을 포함할 수 있다.

상기 목적 결과의 신뢰 정보는, 상기 목적 결과와 함께 제공되거나, 상기 목적 결과의 보정에 사용되거나, 상기 입력 의료 영상의 재촬영 및/또는 촬영 방법을 추천하기 위한 지표로 사용되거나, 상기 목적 인공지능 모델에서 출력된 목적 결과를 폐기(discard)하기 위한 지표로 사용될 수 있다.

한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서, 목적 인공지능 모델로 입력된 의료 영상을 수신하는 단계, 상기 의료 영상을 기초로, 상기 목적 인공지능 모델에서 출력된 목적 결과에 영향을 미치는 적어도 하나의 영향 변수를 획득하는 단계, 그리고 상기 영향 변수를 이용하여 상기 목적 결과의 신뢰 정보를 추정하는 단계를 포함한다.

상기 적어도 하나의 영향 변수를 획득하는 단계는 상기 의료 영상의 부가 정보로부터 상기 영향 변수를 추출하거나, 상기 의료 영상으로부터 상기 영향 변수를 추론하거나, 외부 서버/데이터베이스로부터 상기 영향 변수를 획득하거나, 사용자로부터 상기 영향 변수를 입력받을 수 있다.

상기 의료 영상의 부가 정보로부터 추출되는 영향 변수는 나이, 성별, 그리고 촬영 방법을 포함하는 촬영 정보 중 적어도 하나를 포함할 수 있다. 상기 의료 영상으로부터 추론되는 영향 변수는 조직 치밀도, 상기 의료 영상 내 오브젝트 포함 여부, 병변 타입, 그리고 병변 크기 변화 중 적어도 하나를 포함할 수 있다.

상기 적어도 하나의 영향 변수를 획득하는 단계는 상기 의료 영상이 유방촬영 영상인 경우 상기 유방촬영 영상에서 추론한 치밀도(density)를 상기 영향 변수로 결정할 수 있다. 상기 의료 영상이 흉부 엑스레이 영상인 경우, 상기 흉부 엑스레이 영상의 부가 정보에서 추출한 PA(Posterior Anterior) 또는 AP(Anterior Posterior) 정보를 상기 영향 변수로 결정할 수 있다.

상기 동작 방법은 상기 목적 결과를 이용하여 상기 목적 결과의 신뢰 정보를 보정하고, 보정된 신뢰 정보를 상기 목적 결과의 최종 신뢰 정보로 제공하는 단계를 더 포함할 수 있다.

상기 동작 방법은 상기 목적 결과와 함께 상기 신뢰 정보를 제공하는 단계를 더 포함할 수 있다.

상기 동작 방법은 상기 목적 결과의 신뢰 정보를 이용하여 상기 목적 결과를 보정하는 단계를 더 포함할 수 있다.

상기 동작 방법은 상기 목적 결과에 대한 신뢰 정보가 기준 이하인 경우, 상기 목적 결과를 버리는 단계를 더 포함할 수 있다.

상기 동작 방법은 상기 목적 결과에 대한 신뢰 정보를 기초로, 상기 목적 인공지능 모델로 입력되는 의료 영상의 재촬영을 요청하거나, 촬영 방법을 추천하는 단계를 더 포함할 수 있다.

한 실시예에 따른 컴퓨팅 장치로서, 의료 영상을 입력받은 목적 인공지능 모델에서 목적 결과가 출력되는 경우, 상기 목적 결과에 영향을 미치는 적어도 하나의 영향 변수(impact factor)를 기초로 상기 목적 결과의 신뢰 정보를 추정하고, 상기 목적 결과와 상기 신뢰 정보를 사용자 인터페이스 화면에 제공하는 프로세서를 포함한다.

상기 프로세서는 상기 의료 영상을 수신하고, 상기 목적 인공지능 모델의 특성 및/또는 상기 의료 영상의 특성을 기초로 결정된 상기 영향 변수를 획득한 후, 상기 영향 변수로부터 상기 목적 결과의 신뢰 정보를 추정할 수 있다.

상기 프로세서는 상기 목적 결과를 이용하여 상기 목적 결과의 신뢰 정보를 보정하고, 보정된 신뢰 정보를 상기 목적 결과의 최종 신뢰 정보로 제공하는 동작, 상기 목적 결과의 신뢰 정보를 이용하여 상기 목적 결과를 보정하고, 보정된 목적 결과를 제공하는 동작, 상기 목적 결과의 신뢰 정보를 기초로, 상기 의료 영상의 재촬영을 요청하거나, 촬영 방법을 추천하는 동작, 그리고 상기 목적 결과의 신뢰 정보가 기준 이하인 경우, 상기 목적 결과를 버리는 동작 중 적어도 하나를 수행할 수 있다.

실시예에 따르면, 인공지능 모델의 결과에 대한 신뢰 정보를 사용자가 이해할 수 있는 형태로 제공할 수 있다.

실시예에 따르면, 인공지능 모델의 결과와 함께, 결과의 신뢰 정보를 시각적으로 제공할 수 있다.

도 1은 한 실시예에 따른 컴퓨팅 장치를 설명하는 도면이다.
도 2는 한 실시예에 따른 컴퓨팅 장치의 연동 환경을 설명하는 도면이다.
도 3은 다른 실시예에 따른 목적 결과에 대한 신뢰 정보 제공 방법을 설명하는 도면이다.
도 4는 한 실시예에 따른 목적 결과에 대한 신뢰 정보 제공 방법의 흐름도이다.
도 5는 한 실시예에 따른 의료 영상의 목적 결과에 대한 신뢰 정보를 제공하는 인터페이스 화면의 예시이다.
도 6은 한 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.

아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

설명에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 개시의 장치는 적어도 하나의 프로세서가 명령어들(instructions)을 실행함으로써, 본 개시의 동작을 수행할 수 있도록 구성 및 연결된 컴퓨팅 장치이다. 컴퓨터 프로그램은 프로세서가 본 개시의 동작을 실행하도록 기술된 명령어들(instructions)을 포함하고, 비일시적-컴퓨터 판독가능 저장매체(non-transitory computer readable storage medium)에 저장될 수 있다. 컴퓨터 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.

본 개시의 의료 영상은 다양한 모달리티(modality)로 촬영된 다양한 부위의 영상일 수 있고, 예를 들면, 의료 영상의 모달리티는 엑스레이(X-ray), MRI(magnetic resonance imaging), 초음파(ultrasound), CT(computed tomography), MMG(Mammography), DBT(Digital breast tomosynthesis) 등일 수 있다.

본 개시의 사용자란, 의료 전문가로서 의사, 간호사, 임상병리사, 소노그래퍼, 또는 의료 영상 전문가 등이 되거나, 환자, 또는 보호자와 같은 일반인이 될 수 있으나, 이에 한정되지 않는다.

본 개시의 인공지능 모델(Artificial Intelligence model, AI model)은 적어도 하나의 태스크(task)를 학습하는 기계학습모델로서, 프로세서에 의해 실행되는 컴퓨터 프로그램으로 구현될 수 있다. 인공지능 모델은 컴퓨팅 장치에서 실행되는 컴퓨터 프로그램으로 구현될 수 있고, 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다. 또는 인공지능 모델은 네트워크를 통해 다양한 장치들과 연동할 수 있다.

인공지능 모델이 학습하는 태스크란, 기계 학습을 통해 해결하고자 하는 과제 또는 기계 학습을 통해 수행하고자 하는 작업을 지칭할 수 있다. 예를 들어, 의료 영상(Medical image)으로부터 인식, 분류, 예측 등을 수행한다고 할 때, 인식, 분류, 예측 각각이 개별 태스크에 대응될 수 있다.

본 개시에서, 인공지능 모델의 결과는, 태스크를 학습한 인공지능 모델이 입력에 대해 제공한 출력을 의미한다. 인공지능 모델의 결과는 예를 들면 비정상 점수(Abnormality score), CAD(Computer Aided Detection) 결과, 암 등의 질병 예측(Cancer prediction) 등과 같이, 입력으로부터 분석된 다양한 추론/예측 결과를 의미할 수 있다.

본 개시는 인공지능 모델의 결과에 대한 신뢰 정보를 제공하고, 신뢰 정보는 신뢰도를 포함할 수 있다. 한편, 일반적으로, 신뢰도(Confidence score)는 인공지능 모델이 태스크에 대해 수행한 결과가 얼마나 정확한지를 나타내는 지표를 의미한다. 따라서, 인공지능 모델의 태스크에 대한 신뢰도(Confidence score)와 구분하기 위해, 본 개시의 인공지능 모델의 결과에 대한 신뢰 정보는 신뢰 측정도(Confidence measure score)라고 부를 수 있다.

도 1은 한 실시예에 따른 컴퓨팅 장치를 설명하는 도면이고, 도 2는 한 실시예에 따른 컴퓨팅 장치의 연동 환경을 설명하는 도면이다.

도 1을 참고하면, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(10)는 목적 인공지능(Artificial Intelligence, AI) 모델(100)의 결과에 대한 신뢰 정보를 제공한다. 여기서, 목적 인공지능 모델(Target AI model)(100)의 결과에 대한 신뢰 정보는, 목적 인공지능 모델(100)의 결과에 영향을 미치는 적어도 하나의 영향 변수(impact factor)를 이용하여 추정될 수 있다. 목적 인공지능 모델(100)의 결과는 간단히 목적 결과(target result)라고 부를 수도 있다. 목적 결과에 대한 신뢰 정보는 목적 결과마다 제공되는데, 예를 들면, 병변 단위 또는 케이스 단위로 제공될 수 있다.

일반적인 인공지능 모델에 의하면, 인공지능 모델이 제공한 결과의 우도(Likelihood)를 통해, 결과에 대한 신뢰도를 판단할 수 있다. 예를 들어, 의료 영상에서 병변을 검출하는 인공지능 모델에 의하면, 인공지능 모델이 제공한 결과의 우도에 기초하여, 병변 검출 결과의 신뢰도가 판단된다. 하지만, 사용자가 우도의 의미를 명확하게 해석하기 어렵고 우도와 결과에 대한 신뢰도를 직관적으로 연관시켜 인식하기가 어렵다.

따라서, 본 개시의 다양한 실시예들에 따른 컴퓨팅 장치(10)는 사용자가 이해할 수 있는 형태로 목적 결과에 대한 신뢰 정보를 사용자에게 제공될 수 있다. 컴퓨팅 장치(10)는, 의료 영상의 적어도 일부 조직의 비정상 여부에 대한 점수를 목적 결과로서 예측하고, 목적 결과에 대한 신뢰도를 수치로 표시할 수 있다. 예를 들어, 컴퓨팅 장치(10)는, 대상체에 대한 비정상 점수를 71이라고 추정하고, 비정상 점수 71에 대한 신뢰도를 98%라고 추정할 수 있다. 컴퓨팅 장치(10)는 목적 결과에 대한 신뢰 정보를 이용하여, 목적 결과를 보정하고, 보정된 목적 결과를 제공할 수 있다. 또는, 컴퓨팅 장치(10)는 목적 결과를 이용하여 목적 결과에 대한 신뢰 정보를 보정하고, 보정된 신뢰 정보를 최종 신뢰 정보로서 제공할 수 있다. 또는, 컴퓨팅 장치(10)는 목적 결과에 대한 신뢰 정보를 목적 인공 지능 모델(100)의 개선에 사용할 수 있다.

컴퓨팅 장치(10)는 목적 결과에 대한 신뢰 정보가 기준 이하인 경우, 목적 결과를 버리고(discard), 사용자에게 의료 영상의 재촬영을 추천하거나, 신뢰 정보가 높은 목적 결과를 얻기 위한 촬영 방법을 추천할 수 있다. 컴퓨팅 장치(10)는 목적 결과에 대한 신뢰 정보를 기반으로, 사용자에게 제공되는 보고서를 작성할 수 있다. 이처럼, 컴퓨팅 장치(10)에서 추정된 목적 결과의 신뢰 정보는, 목적 결과와 함께 사용자에게 제공되거나, 목적 결과의 보정에 사용되거나, 사용자에게 의료 영상의 재촬영 및/또는 촬영 방법을 추천하기 위한 지표로 사용되거나, 목적 인공지능 모델(100)에서 분석된 목적 결과를 폐기(discard)하기 위한 지표로 사용될 수 있다. 이외에도, 목적 결과에 대한 신뢰 정보는 목적 인공지능 모델의 성능 개선 지표로 사용될 수 있다.

컴퓨팅 장치(10)는 목적 인공지능 모델(100), 그리고 이의 결과에 대한 신뢰 정보를 제공하는 신뢰 예측 모델Confidence Prediction Model)(200)을 포함할 수 있다.

이하에서는, 설명의 편의를 위하여 하나의 컴퓨팅 장치(10)에서 동작들이 수행되는 것으로 기재한다. 그러나, 본 개시는 이러한 예에 제한되지 않으며, 구현 방식에 따라 아래 기술하는 적어도 하나의 동작이 복수의 컴퓨팅 장치, 및/또는 사용자 단말에서 수행될 수 있다. 예를 들어, 목적 인공지능 모델(100)과 신뢰 예측 모델(200) 각각은 별도의 컴퓨팅 장치에서 구동되고, 사용자 단말이 목적 인공지능 모델(100)과 신뢰 예측 모델(200)의 출력 결과를 수신하여 사용자 단말의 화면에 제공할 수 있다.

목적 인공지능 모델(100)은 적어도 하나의 태스크를 학습한 모델로서, 입력에 대한 태스크를 수행하여 목적 결과를 출력한다. 목적 인공지능 모델(100)은 훈련 과정에서 입력과 출력 사이의 관계를 학습하고, 새로운 입력으로부터 추론된 결과를 출력할 수 있다. 여기서, 목적 인공지능 모델(100)의 입력은 다양한 데이터일 수 있으나, 설명에서는 의료 영상(Medical Image)이라고 가정한다. 예를 들면, 목적 인공지능 모델(100)은 의료 영상을 입력받고, 의료 영상으로부터 병변을 검출하거나, 의학적 진단 정보 또는 치료 정보를 추론하도록 훈련된 모델일 수 있다. 의학적 정보는 병변의 비정상 점수(Abnormality score), 병변을 기초로 예측된 질병 발병 위험도 등의 다양한 의학적 추론/예측 결과를 포함할 수 있다.

신뢰 예측 모델(200)은 목적 인공지능 모델(100)의 결과(목적 결과)에 영향을 미치는 적어도 하나의 영향 변수(impact factor)를 획득하고, 영향 변수들을 기초로 목적 결과에 대한 신뢰 정보를 제공할 수 있다. 영향 변수들은 목적 인공지능 모델(100) 및 이의 입력(예를 들면, 의료 영상)의 특성을 기초로, 결정될 수 있다.

신뢰 예측 모델(200)은 훈련용 의료 영상에 관련된 적어도 하나의 영향 변수와, 해당 훈련용 의료 영상으로부터 추론된 목적 결과의 신뢰도 사이의 관계를 학습한 모델을 포함할 수 있다. 여기서, 훈련용 의료 영상으로부터 추론된 목적 결과는 목적 인공지능 모델(100)의 출력일 수 있다. 또한, 신뢰 예측 모델(200)은 입력된 의료 영상으로부터 적어도 하나의 영향 변수를 추론하도록 훈련된 모델을 포함할 수 있다.

일 예로서, 신뢰 예측 모델(200)은 의료영상저장전송시스템(Picture Archiving and Communication System, PACS), 전자의무기록(Electronic Medical Record, EMR), 및/또는 전자건강기록(Electronic Health Record, EHR) 등과 연동하여 환자의 다양한 임상 정보를 획득할 수 있다. 신뢰 예측 모델(200)은 환자의 다양한 임상 정보로부터 영향 변수를 추출하거나 추론할 수 있다.

다른 예로서, 신뢰 예측 모델(200)은 입력 영상에 포함된 부가 정보(메타데이터)로부터 영향 변수들을 추출할 수 있다. 예를 들어, 입력 영상이 DICOM (Digital Imaging and Communications in Medicine) 표준을 따르는 경우, 신뢰 예측 모델(200)은 DICOM 데이터의 헤더에 저장된 나이, 성별, 촬영 방법 등을 포함하는 촬영 정보 등으로부터 적어도 하나의 영향 변수를 추출할 수 있다.

또 다른 예로서, 신뢰 예측 모델(200)은 입력 영상으로부터 영향 변수, 예를 들면, 조직 치밀도, 영상 내에 오브젝트 포함 여부, 영상 품질, 병변의 타입(예를 들어, Soft tissue, Calcification 등), 과거 영상과의 비교를 통해 인공 지능에 의해 분석된 영상 내 병변의 크기 변화 등을 추론할 수 있다. 이를 위해, 신뢰 예측 모델(200)은 입력 영상으로부터 적어도 하나의 영향 변수를 추론하도록 학습된 인공지능 모델을 포함할 수 있다.

이외에도, 신뢰 예측 모델(200)은 외부 서버/데이터베이스와 연동하여 영향 변수들을 획득할 수 있다. 또는, 신뢰 예측 모델(200)은 사용자로부터 영향 변수들을 입력받을 수 있다.

신뢰 예측 모델(200)은 지정된 방식으로 벡터화된 영향 변수들을 이용하여 목적 결과의 신뢰 정보를 추정할 수 있다. 예를 들면, 수치형 영향 변수는 0과 1사이의 값으로 수치화될 수 있고, 범주형 영향 벡터는 원핫(One-Hot) 인코딩으로 수치화될 수 있다. 예를 들면, 입력 영상에서 추론된 유방 치밀도를 기초로, 치밀도 영향 변수의 값은 치밀하면 1, 그렇지 않으면 0으로 수치화되거나, 0과 1사이의 값으로 수치화될 수 있다. 또는, 메타데이터, 외부 서버/데이터베이스, 사용자 입력으로 획득한 영향 변수는 비교적 정확한 값이므로, 0 또는 1로 수치화되고, 신뢰 예측 모델(200)이 추론한 영향 변수는 추론 확률을 기초로 0과 1사이의 값으로 수치화될 수 있다.

신뢰 예측 모델(200)은 목적 인공지능 모델(100)의 결과마다 신뢰 정보를 추정할 수 있다. 여기서, 목적 인공지능 모델(100)의 결과에 대한 신뢰 정보는 간단히 신뢰 측정도(Confidence measure score)라고 부를 수 있다.

신뢰 예측 모델(200)은 적어도 하나의 영향 변수로부터 신뢰 정보를 추정하도록 훈련된 인공지능 모델, 또는 적어도 하나의 영향 변수로부터 신뢰 정보를 계산하는 통계학적 모델로 구현될 수 있다. 예를 들어, 통계학적 모델은, 적어도 하나의 영향 변수가 목적 결과(예를 들면, Abnormality score)에 미치는 영향에 관한 통계학적 정보를 포함할 수 있다.

목적 인공지능 모델의 목적 결과에 영향을 미치는 영향 변수들은, 목적 인공지능 모델(100)의 태스크 관련 의학적 변수, 입력 영상 관련 변수, 질병 관련 변수, 환자 관련 인구통계학적 변수, 환자 특성 관련 변수 등의 후보 변수들 중에서 결정될 수 있다. 예를 들어, 인공지능 모델이 의료 영상을 입력 받고, 이에 대한 예측/추론 등의 목적 결과를 출력하는 경우, 신뢰 예측 모델(200)은 표 1과 같은 변수들 중 적어도 일부를 인공지능 모델의 결과에 영향을 주는 영향 변수들로 사용할 수 있다.

영향 변수	설명 및 예시
태스크 관련 의학적 변수	유방 촬영 영상으로부터의 병변 검출 태스크와 관련된 유방 치밀도(Density)
입력 영상 관련 변수	촬영 정보 (예: 촬영 방법(예, PA/AP), 촬영 자세, 촬영 위치(position), 촬영 장비 등)
	영상 내에 오브젝트(예: medical device, extrinsic material, 단추, 마커, 튜브, Pacemaker 등)의 포함 여부
	영상 품질
	조직 치밀도
	병변 타입 (예: Soft tissue, Calcification, extrinsic material 등)
	병변 크기 변화
질병 관련 변수	질병 종류, 질병 검출 정확도 등
환자 관련 인구통계학적 변수, 환자 특성 관련 변수	성별, 나이, 인종, 지역적 특성 등

신뢰 예측 모델(200)은 태스크 관련 의학적 변수를 영향 변수로 사용할 수 있다. 예를 들어, 입력 영상이 유방촬영 영상인 경우, 치밀도가 높을 수록 인공지능 모델이 정확하게 병변을 검출하기 어렵고, 위양성(False Positive, FP) 확률이 높다고 알려져 있다. 이처럼, 판독 난이도에 관계된 치밀도가 결과에 영향을 주는 영향 변수이므로, 신뢰 예측 모델(200)은 영상으로부터 추론된 조직의 치밀도를 기초로, 목적 인공지능 모델(100)의 결과에 대한 신뢰 정보를 추정할 수 있다. 이때, 신뢰 예측 모델(200)은 목적 인공지능 모델(100)로 입력된 영상을 입력받고, 영상의 치밀도를 추론한 후, 이를 이용하여 목적 인공지능 모델(100)의 결과에 대한 신뢰 정보를 추정할 수 있다.

신뢰 예측 모델(200)은 다양한 입력 영상 관련 변수들을 영향 변수로 사용할 수 있다. 예를 들면, 의료 영상의 촬영 정보, 영상 내에 오브젝트 포함 여부, 영상 품질, 조직 치밀도, 병변 타입, 병변 크기 변화 등이 영향 변수로 사용될 수 있다 입력 영상 관련 변수는, 의료 영상의 부가 정보(예를 들면, DICOM 데이터의 헤더, 의료 영상의 메타 데이터 등)로부터 추출되거나, 의료 영상으로부터 추론될 수 있다.

촬영 정보는, 촬영 방법(예, PA/AP), 촬영 자세, 촬영 위치(position), 촬영 장비 등을 포함할 수 있다. 신뢰 예측 모델(200)은 입력 영상에 포함된 부가 정보에서 촬영 정보를 추출하거나, 외부 서버/데이터베이스로부터 촬영 정보를 획득할 수 있다. 신뢰 예측 모델(200)은 목적 인공지능 모델(100)로 입력된 영상의 촬영 정보를 이용하여 목적 인공지능 모델(100)의 결과에 대한 신뢰 정보를 추정할 수 있다. 예를 들어, 흉부 엑스레이(Chest X-ray) 영상의 경우, PA(Posterior Anterior) 영상이 AP(Anterior Posterior) 영상보다 판독하기 어려운 것으로 알려져 있다. 이러한 판독 어려움은 인공지능 모델도 동일하게 겪는다. 따라서, 흉부 엑스레이 영상이 인공지능 모델로 입력되는 경우, 흉부 엑스레이 영상이 PA 영상인지 또는 AP 영상인지 여부에 대한 정보가 영향 변수로 사용될 수 있다. 한편, 촬영 장비의 종류 및 특성이 인공지능 모델의 결과에 영향을 미칠 수 있다. 예를 들면, 엑스레이 장치는 Film 방식, CR(Computed Radiography) 방식, DR(Digital Radiography) 방식 등이 있으며, 촬영 방식이 인공지능 모델의 결과에 영향을 미칠 수 있다. 또한, 촬영 장비의 제조사나 제품 버전이 인공지능 모델의 결과에 영향을 미칠 수 있다.

영상 내에 포함된 오브젝트는 의료 장치(medical device), extrinsic material, 단추, 마커, 튜브, 심장박동기(Pacemaker) 등을 포함할 수 있다. 예를 들어, 영상 내에 환자의 생체 조직이 아닌 오브젝트가 포함되는 경우 판독 신뢰도가 떨어지는 것으로 알려져 있다. 따라서, 신뢰 예측 모델(200)은 목적 인공지능 모델(100)로 입력된 영상을 입력받고, 영상 내 오브젝트를 추출한 후, 이를 이용하여 목적 인공지능 모델(100)의 결과에 대한 신뢰 정보를 추정할 수 있다.

영상 품질 역시 목적 인공지능 모델의 결과에 영향을 미치는 영향 변수로 사용될 수 있다. 예를 들어, 영상 내에 아티팩트가 포함되거나 영상이 낮은 해상도를 갖는 등 영상의 품질이 떨어지는 경우, 판독 신뢰도가 떨어지는 것으로 알려져 있다. 따라서, 신뢰 예측 모델(200)은 목적 인공지능 모델(100)로 입력된 영상을 입력받고, 영상 품질을 획득한 후, 이를 이용하여 목적 인공지능 모델(100)의 결과에 대한 신뢰 정보를 추정할 수 있다.

영상에서 추론된 다양한 정보가 목적 인공지능 모델의 결과에 영향을 미치는 영향 변수로 사용될 수 있다. 유방 치밀도와 판독 난이도의 관계로 설명한 바와 같이, 영상으로부터 추론된 조직 치밀도가 목적 결과의 신뢰도 추정에 사용될 수 있다. 영상으로부터 연조직(Soft tissue)/석회화(Calcification) 병변 등의 병변 타입이 추론될 수 있는데, 병변 타입이 목적 인공지능 모델의 결과에 영향을 미치는 영향 변수로 사용될 수 있다. 또한, 분석 대상 영상에 관계된 환자의 과거 영상을 이용하여 병변 크기 변화가 추론될 수 있고, 병변 크기 변화가 목적 인공지능 모델의 결과에 영향을 미치는 영향 변수로 사용될 수 있다.

질병 관련 변수가 영향 변수로 사용될 수 있다. 질병을 예측하는 인공지능 모델의 경우, 질병 관련 훈련 데이터의 양이나, 질병 특성에 따라 검출 정확도가 다를 수 있다. 따라서, 질병 종류, 질병 검출 정확도 등의 질병 관련 변수가 인공지능 모델의 결과에 영향을 미칠 수 있다. 신뢰 예측 모델(200)은 목적 인공지능 모델(100)에서 검출하는 질병 관련 변수를 이용하여, 목적 인공지능 모델(100)의 결과에 대한 신뢰 정보를 추정할 수 있다.

이외에도, 환자 관련 인구통계학적 변수/환자 특성 관련 변수가 영향 변수로 사용될 수 있다. 예를 들어, 성별, 나이, 인종, 지역적 특성 등의 환자 관련 인구통계학적 변수가 인공지능 모델의 결과에 영향을 미칠 수 있다. 또한, 환자 개인 정보 등의 환자 특성 관련 변수가 인공지능 모델의 결과에 영향을 미칠 수 있다. 신뢰 예측 모델(200)은 입력 영상에 포함된 부가 정보에서 환자 관련 인구통계학적 변수/환자 특성 관련 변수를 추출하거나, 외부 서버/데이터베이스로부터 이를 획득할 수 있다. 또는, 신뢰 예측 모델(200)은 입력 영상으로부터 환자 관련 인구통계학적 변수/환자 특성 관련 변수를 추론할 수도 있다.

도 2를 참고하면, 컴퓨팅 장치(10)는 단독형으로 구축될 수 있고, 다른 장치들과의 연동형으로 구축될 수 있다. 예를 들어, 컴퓨팅 장치(10)는 복수의 사용자 단말들(20)과 연동하도록 구현될 수 있다. 또한, 컴퓨팅 장치(10)는 의료 기관의 각종 데이터베이스(30), 예를 들면, 의료영상저장전송시스템(Picture Archiving and Communication System, PACS), 전자의무기록(Electronic Medical Record, EMR), 전자건강기록(Electronic Health Record, EHR) 등과 연동해서 환자의 다양한 임상 정보를 획득할 수 있다. 사용자 단말(20)은 컴퓨팅 장치(10) 및 데이터베이스(30)와 연동하여 필요한 정보를 화면에 표시하는 사용자 인터페이스 화면을 제공할 수 있다. 사용자 단말(20)은 전용 뷰어를 통해 컴퓨팅 장치(10)에서 제공된 정보를 표시할 수 있다.

컴퓨팅 장치(10)는 서버 장치일 수 있고, 사용자 단말(20)은 의료 기관에 설치된 클라이언트 단말일 수 있으며, 이들은 네트워크를 통해 연동할 수 있다. 컴퓨팅 장치(10)는 특정 의료 기관 내 네트워크에 연결된 로컬 서버일 수 있다. 컴퓨팅 장치(10)는 클라우드 서버일 수 있고, 접근 권한을 가진 다수의 의료 기관들의 단말(의료진 단말)과 연동할 수 있다. 컴퓨팅 장치(10)는 클라우드 서버일 수 있고, 접근 권한을 가진 환자 개인 단말과 연동할 수 있다.

컴퓨팅 장치(10)는 사용자 단말(20)로부터 의료 영상에 대한 분석을 요청받고, 사용자 단말(20)로 목적 결과 및 목적 결과에 대한 신뢰 정보(신뢰 측정도)를 응답할 수 있다. 컴퓨팅 장치(10)는 사용자 단말(20)/데이터베이스(30)로부터 영향 변수들을 획득할 수 있다. 의료 영상이 데이터베이스(30)에 저장된 경우, 사용자 단말(20)이 데이터베이스(30)에서 가져온 의료 영상을 컴퓨팅 장치(10)로 전송할 수 있고, 컴퓨팅 장치(10)가 사용자 단말(20)에서 요청한 의료 영상을 데이터베이스(30)에서 가져올 수 있다.

도 3은 다른 실시예에 따른 목적 결과에 대한 신뢰 정보 제공 방법을 설명하는 도면이다.

도 3을 참고하면, 신뢰 예측 모델(200)은 목적 인공지능 모델(100)의 결과에 영향을 미치는 적어도 하나의 영향 변수를 획득하고, 영향 변수들을 기초로 목적 결과에 대한 신뢰 정보를 제공할 수 있다.

목적 인공지능 모델의 영향 변수들은, 목적 인공지능 모델(100)의 태스크 관련 의학적 변수, 입력 영상 관련 변수, 질병 관련 변수, 환자 관련 인구통계학적 변수, 환자 특성 관련 변수 등의 후보 변수들 중에서 결정될 수 있다. 예를 들면, 신뢰 예측 모델(200)은 입력 영상에 포함된 부가 정보(메타데이터)로부터 영향 변수들을 추출할 수 있다. 신뢰 예측 모델(200)은 입력 영상으로부터 필요한 영향 변수를 추론할 수 있다. 신뢰 예측 모델(200)은 외부 서버/데이터베이스와 연동하여 영향 변수들을 획득할 수 있다. 또는, 신뢰 예측 모델(200)은 사용자로부터 영향 변수들을 입력받을 수 있다.

도 3에 도시된 바와 같이, 일 실시예에 따른 컴퓨팅 장치(10)는 신뢰 예측 모델(200)에서 출력한 초기 신뢰 정보(Initial Confidence information)를 목적 결과의 신뢰 정보로 제공할 수 있지만, 초기 신뢰 정보를 보정하여 좀더 정확한 최종 신뢰 정보(Final Confidence information)를 제공할 수 있다.

컴퓨팅 장치(10)는 조정(Adjustment) 모듈(300)을 통해, 최종 신뢰 정보를 계산할 수 있다. 컴퓨팅 장치(10)는 목적 인공지능 모델(100)의 목적 결과를 이용하여 초기 신뢰 정보를 보정할 수 있다. 조정 모듈(300)은 예를 들면, 가중 합(Weighted sum) 연산을 통해, 목적 결과를 이용하여 초기 신뢰 정보를 보정할 수 있다. 또는, 조정 모듈(300)은 입력과 출력의 관계를 학습한 인공지능 모델, 또는 입력과 출력의 관계에 대한 통계학적 정보를 포함하는 통계학적 모델로 구현될 수 있다.

한편, 도 3에 도시된 실시예와 다른 일 실시예에 따르면, 컴퓨팅 장치(10)는 목적 인공 지능 모델(100)에서 출력한 목적 결과, 즉 초기 목적 결과(Initial Target result)를 출력 정보로 제공할 수 있지만, 초기 목적 결과를 보정하여 좀더 정확한 최종 목적 결과(Final Target result)를 제공할 수 있다.

컴퓨팅 장치(10)는 조정(Adjustment) 모듈(300)을 통해, 최종 목적 결과를 계산할 수 있다. 컴퓨팅 장치(10)는 신뢰 예측 모델(200)의 신뢰 정보를 이용하여 초기 목적 결과를 보정할 수 있다. 조정 모듈(300)은 예를 들면, 가중 합(Weighted sum) 연산을 통해, 신뢰 정보를 이용하여 초기 목적 결과를 보정할 수 있다. 또는, 조정 모듈(300)은 입력과 출력의 관계를 학습한 인공지능 모델, 또는 입력과 출력의 관계에 대한 통계학적 정보를 포함하는 통계학적 모델로 구현될 수 있다.

도 4는 한 실시예에 따른 목적 결과에 대한 신뢰 정보 제공 방법의 흐름도이다.

도 4를 참고하면, 컴퓨팅 장치(10)는 목적 인공지능 모델(100)로 입력된 의료 영상을 수신한다(S110). 목적 인공지능 모델(100)은 컴퓨팅 장치(10), 외부의 별도 장치(예를 들어, 사용자 단말 또는 데이터베이스) 또는 컴퓨팅 장치(10) 내부의 메모리로부터 의료 영상을 입력받을 수 있다.

컴퓨팅 장치(10)는 의료 영상을 기초로, 목적 인공지능 모델(100)의 출력(목적 결과)에 영향을 미치는 적어도 하나의 영향 변수를 획득한다(S120). 컴퓨팅 장치(10)는 목적 인공지능 모델(100)의 특성, 및/또는 입력(예를 들면, 의료 영상)의 특성을 기초로, 영향 변수의 종류를 결정할 수 있다. 예를 들면, 영향 변수는, 목적 인공지능 모델(100)의 태스크 관련 의학적 변수(예를 들면, 유방 치밀도), 입력 영상 관련 변수(예를 들면, 촬영 정보, 영상 내 오브젝트 포함 여부, 영상 품질, 조직 치밀도, 병변 타입, 병변 크기 변화 등), 질병 관련 변수(예를 들면, 질병 종류, 질병 검출 정확도 등), 환자 관련 인구통계학적 변수, 환자 특성 관련 변수 등의 후보 변수들 중에서 결정될 수 있다. 컴퓨팅 장치(10)는 목적 인공지능 모델(100)의 입력에 포함된 부가 정보(메타데이터)로부터 적어도 하나의 영향 변수를 추출할 수 있다. 컴퓨팅 장치(10)는 목적 인공지능 모델(100)의 입력으로부터 영향 변수(예를 들면, 영상 내 오브젝트, 영상 품질, 조직 치밀도, 병변 타입, 병변 크기 변화 등)을 추론할 수 있다. 컴퓨팅 장치(10)는 외부 서버/데이터베이스와 연동하여 영향 변수들을 획득할 수 있다. 또는, 컴퓨팅 장치(10)는 사용자로부터 영향 변수들을 입력받을 수 있다. 컴퓨팅 장치(10)는 획득한 영향 변수들을 지정된 방식으로 수치화할 수 있다. 예를 들면, 컴퓨팅 장치(10)는 영향 변수들을 0과 1사이의 값으로 수치화할 수 있다.

컴퓨팅 장치(10)는 획득한 적어도 하나의 영향 변수를 이용하여, 목적 인공지능 모델(100)에서 출력된 목적 결과의 신뢰 정보를 추정한다(S130). 컴퓨팅 장치(10)는 영향 변수들로부터 신뢰 정보를 추정하도록 훈련된 인공지능 모델, 또는 영향 변수들로부터 신뢰 정보를 계산하는 통계학적 모델로 구현된 신뢰 예측 모델(200)을 이용하여, 목적 결과에 대한 신뢰 정보를 추정할 수 있다.

컴퓨팅 장치(10)는 목적 결과에 대한 신뢰 정보를 사용자 인터페이스 화면에 제공한다(S140). 컴퓨팅 장치(10)는 사용자 단말(20)의 화면에 목적 결과에 대한 신뢰 정보를 제공할 수 있다. 컴퓨팅 장치(10)는 목적 결과를 이용하여 목적 결과의 신뢰 정보를 보정함으로써 좀더 정확한 최종 신뢰 정보를 제공할 수 있다. 컴퓨팅 장치(10)는 목적 결과의 신뢰 정보를 이용하여, 목적 결과를 보정할 수 있다. 컴퓨팅 장치(10)는 목적 결과와 함께 이의 신뢰 정보를 제공할 수 있다. 목적 결과에 대한 신뢰 정보는 목적 결과마다 제공되는데, 예를 들면, 병변 단위 또는 케이스 단위로 제공될 수 있다.

한편, 컴퓨팅 장치(10)는 목적 결과에 대한 신뢰 정보가 기준 이하인 경우, 목적 결과를 버릴 수 있다(discard). 컴퓨팅 장치는 목적 결과에 대한 신뢰 정보를 기초로, 좀 더 정확한 목적 결과를 얻기 위해, 사용자에게 새로운 입력을 요청할 수 있다. 예를 들면, 컴퓨팅 장치는 목적 결과에 대한 신뢰 정보가 기준 이하인 경우, 의료 영상의 재촬영을 요청하거나, 신뢰 정보가 높은 목적 결과를 얻기 위한 촬영 방법을 추천할 수 있다.

도 5는 한 실시예에 따른 의료 영상의 목적 결과에 대한 신뢰 정보를 제공하는 인터페이스 화면의 예시이다.

도 5를 참고하면, 목적 인공지능 모델(100)이 사용자 단말(20)로 유방촬영 영상의 비정상 점수(Abnormality score)를 목적 결과로 출력한다고 가정한다.

목적 인공지능 모델(100)이 유방촬영 영상의 비정상 점수를 추론/예측하는 동안 또는, 비정상 점수를 추론/예측한 후에, 컴퓨팅 장치(10)는 목적 인공지능 모델(100)의 영상 판독에 영향을 미치는 적어도 하나의 영향 변수를 수집할 수 있다. 컴퓨팅 장치(10)는 유방 촬영 영상의 치밀도를 영향 변수로 결정하고, 유방촬영 영상으로부터 획득한 치밀도를 이용하여 목적 인공지능 모델(100)이 출력한 비정상 점수의 신뢰 정보(Confidence measure score)를 추정할 수 있다. 컴퓨팅 장치(10)는 치밀도 이외에도, 입력 영상 관련 변수(예를 들면, 촬영 정보, 영상 내 오브젝트, 영상 품질, 병변 타입, 병변 크기 변화 등), 질병 관련 변수(예를 들면, 질병 종류, 질병 검출 정확도 등), 환자 관련 인구통계학적 변수, 환자 특성 관련 변수 등의 후보 변수들 중에서 결정된 적어도 하나의 영향 변수를 이용하여, 비정상 점수의 신뢰 정보를 추정할 수 있다.

사용자 단말(20)은 컴퓨팅 장치(10)에서 제공된 정보를 사용자 인터페이스 화면(21)에 표시한다. 예를 들면, 화면(21)은 유방촬영 영상에서 검출된 결절(nodule)을 히트맵으로 표시할 수 있다. 그리고, 화면(21)은 결절의 비정상 점수(Abnormality score)로 표시될 수 있는 유방암 의심 점수와 함께, 유방암 의심 점수의 신뢰도(Confidence measure score)를 표시할 수 있다. 예를 들어, 화면(21)은 유방암 의심 점수(확률)는 95%이고, 95%라는 결과의 신뢰도는 98%라고 표시할 수 있다.

사용자는, 인공 지능의 분석 결과를 참조하여, 비정상(abnormal) 병변이 있는지 여부 및/또는 후속 조치 등에 대한 최종 판단을 직접 할 수 있다. 이 때, 본 개시의 다양한 실시예들에 따른 컴퓨팅 장치(10)는, 인공 지능의 분석 결과(목적 결과)에 대한 신뢰 정보를 사용자에게 함께 제공함으로써, 사용자가 인공 지능의 분석 결과를 참조하고 최종 판단하는데 도움을 줄 수 있다. 또한, 본 개시의 다양한 실시예들에 따른 컴퓨팅 장치(10)는, 인공 지능의 분석 결과(목적 결과)에, 추정한 신뢰 정보를 반영함으로써, 인공 지능의 분석 결과에 대한 정확도를 향상시킬 수 있다.

도 6은 한 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.

도 6을 참고하면, 컴퓨팅 장치(10)는 하나 이상의 프로세서(11), 프로세서(11)에 의하여 수행되는 컴퓨터 프로그램을 로드하는 메모리(13), 컴퓨터 프로그램 및 각종 데이터를 저장하는 스토리지(15), 통신 인터페이스(17), 그리고 이들을 연결하는 버스(19)를 포함할 수 있다. 이외에도, 컴퓨팅 장치(10)는 다양한 구성 요소가 더 포함될 수 있다. 컴퓨터 프로그램은 메모리(13)에 로드될 때 프로세서(11)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 명령어들(instruction)을 포함할 수 있다. 즉, 프로세서(11)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 컴퓨터 프로그램은 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로 구성되고, 프로세서에 의해 실행되는 것을 가리킨다. 컴퓨터 프로그램은 입력 영상으로부터 의학적 진단 정보 또는 치료 정보를 추론하도록 훈련된 목적 인공지능 모델, 목적 인공지능 모델의 추론 결과에 대한 신뢰 정보를 제공하는 신뢰 예측 모델, 및/또는 초기 신뢰 정보 및/또는 초기 목적 결과를 보정하는 조정 모델을 포함할 수 있다.

프로세서(11)는 컴퓨팅 장치(10)의 각 구성의 전반적인 동작을 제어한다. 프로세서(11)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(11)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 컴퓨터 프로그램에 대한 연산을 수행할 수 있다.

메모리(13)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(13)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(15)로부터 하나 이상의 컴퓨터 프로그램을 로드할 수 있다. 메모리(13)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.

스토리지(15)는 컴퓨터 프로그램을 비임시적으로 저장할 수 있다. 스토리지(15)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

통신 인터페이스(17)는 컴퓨팅 장치(10)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(17)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(17)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

버스(19)는 컴퓨팅 장치(10)의 구성 요소 간 통신 기능을 제공한다. 버스(19)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (20)

1. 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로서,
   적어도 하나의 태스크를 학습하고, 입력 의료 영상에 대한 태스크를 수행하여 목적 결과를 출력하는 목적 인공지능 모델, 그리고
   상기 입력 의료 영상을 기초로 상기 목적 결과에 영향을 미치는 적어도 하나의 영향 변수(impact factor)를 획득하고, 상기 영향 변수를 이용하여 상기 목적 결과의 신뢰 정보를 추정하는 신뢰 예측 모델
   을 포함하는 컴퓨팅 장치.
2. 제1항에서,
   상기 영향 변수는
   상기 목적 인공지능 모델의 특성 및/또는 상기 입력 의료 영상의 특성을 기초로, 결정되는, 컴퓨팅 장치.
3. 제1항에서,
   상기 영향 변수는
   상기 목적 인공지능 모델의 태스크 관련 의학적 변수, 상기 목적 인공지능 모델의 입력 영상 관련 변수, 상기 목적 인공지능 모델에서 검출하는 질병 관련 변수, 환자 관련 인구통계학적 변수, 그리고 환자 특성 관련 변수 중 적어도 하나를 포함하는, 컴퓨팅 장치.
4. 제1항에서,
   상기 영향 변수는
   상기 입력 의료 영상의 부가 정보로부터 추출되거나, 상기 입력 의료 영상으로부터 추론되거나, 외부 서버/데이터베이스로부터 획득되거나, 사용자로부터 입력받는, 컴퓨팅 장치.
5. 제4항에서,
   상기 입력 의료 영상의 부가 정보로부터 추출되는 영향 변수는
   나이, 성별, 그리고 촬영 방법을 포함하는 촬영 정보 중 적어도 하나를 포함하고,
   상기 입력 의료 영상으로부터 추론되는 영향 변수는
   조직 치밀도, 상기 입력 의료 영상 내 오브젝트 포함 여부, 병변 타입, 그리고 병변 크기 변화 중 적어도 하나를 포함하는, 컴퓨팅 장치.
6. 제1항에서,
   상기 목적 인공지능 모델은
   의료 영상으로부터 병변을 검출하거나, 의학적 진단 정보 또는 치료 정보를 추론하도록 훈련된 모델을 포함하는, 컴퓨팅 장치.
7. 제1항에서,
   상기 신뢰 예측 모델은
   훈련용 의료 영상에 관련된 적어도 하나의 영향 변수와, 해당 훈련용 의료 영상으로부터 추론된 목적 결과의 신뢰도 사이의 관계를 학습한 모델을 포함하는, 컴퓨팅 장치.
8. 제1항에서,
   상기 목적 결과의 신뢰 정보는,
   상기 목적 결과와 함께 제공되거나, 상기 목적 결과의 보정에 사용되거나, 상기 입력 의료 영상의 재촬영 및/또는 촬영 방법을 추천하기 위한 지표로 사용되거나, 상기 목적 인공지능 모델에서 출력된 목적 결과를 폐기(discard)하기 위한 지표로 사용되는, 컴퓨팅 장치.
9. 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서,
   목적 인공지능 모델로 입력된 의료 영상을 수신하는 단계,
   상기 의료 영상을 기초로, 상기 목적 인공지능 모델에서 출력된 목적 결과에 영향을 미치는 적어도 하나의 영향 변수를 획득하는 단계, 그리고
   상기 영향 변수를 이용하여 상기 목적 결과의 신뢰 정보를 추정하는 단계
   를 포함하는 동작 방법.
10. 제9항에서,
    상기 적어도 하나의 영향 변수를 획득하는 단계는
    상기 의료 영상의 부가 정보로부터 상기 영향 변수를 추출하거나, 상기 의료 영상으로부터 상기 영향 변수를 추론하거나, 외부 서버/데이터베이스로부터 상기 영향 변수를 획득하거나, 사용자로부터 상기 영향 변수를 입력받는, 동작 방법.
11. 제10항에서,
    상기 의료 영상의 부가 정보로부터 추출되는 영향 변수는
    나이, 성별, 그리고 촬영 방법을 포함하는 촬영 정보 중 적어도 하나를 포함하고,
    상기 의료 영상으로부터 추론되는 영향 변수는
    조직 치밀도, 상기 의료 영상 내 오브젝트 포함 여부, 병변 타입, 그리고 병변 크기 변화 중 적어도 하나를 포함하는, 동작 방법.
12. 제9항에서,
    상기 적어도 하나의 영향 변수를 획득하는 단계는
    상기 의료 영상이 유방촬영 영상인 경우 상기 유방촬영 영상에서 추론한 치밀도(density)를 상기 영향 변수로 결정하고,
    상기 의료 영상이 흉부 엑스레이 영상인 경우, 상기 흉부 엑스레이 영상의 부가 정보에서 추출한 PA(Posterior Anterior) 또는 AP(Anterior Posterior) 정보를 상기 영향 변수로 결정하는, 동작 방법.
13. 제9항에서,
    상기 목적 결과를 이용하여 상기 목적 결과의 신뢰 정보를 보정하고, 보정된 신뢰 정보를 상기 목적 결과의 최종 신뢰 정보로 제공하는 단계
    를 더 포함하는 동작 방법.
14. 제9항에서,
    상기 목적 결과와 함께 상기 신뢰 정보를 제공하는 단계
    를 더 포함하는 동작 방법.
15. 제9항에서,
    상기 목적 결과의 신뢰 정보를 이용하여 상기 목적 결과를 보정하는 단계
    를 더 포함하는 동작 방법.
16. 제9항에서,
    상기 목적 결과에 대한 신뢰 정보가 기준 이하인 경우, 상기 목적 결과를 버리는 단계
    를 더 포함하는 동작 방법.
17. 제9항에서,
    상기 목적 결과에 대한 신뢰 정보를 기초로, 상기 목적 인공지능 모델로 입력되는 의료 영상의 재촬영을 요청하거나, 촬영 방법을 추천하는 단계
    를 더 포함하는 동작 방법.
18. 의료 영상을 입력받은 목적 인공지능 모델에서 목적 결과가 출력되는 경우, 상기 목적 결과에 영향을 미치는 적어도 하나의 영향 변수(impact factor)를 기초로 상기 목적 결과의 신뢰 정보를 추정하고, 상기 목적 결과와 상기 신뢰 정보를 사용자 인터페이스 화면에 제공하는 프로세서를 포함하는, 컴퓨팅 장치.
19. 제18항에서,
    상기 프로세서는
    상기 의료 영상을 수신하고, 상기 목적 인공지능 모델의 특성 및/또는 상기 의료 영상의 특성을 기초로 결정된 상기 영향 변수를 획득한 후, 상기 영향 변수로부터 상기 목적 결과의 신뢰 정보를 추정하는, 컴퓨팅 장치.
20. 제18항에서,
    상기 프로세서는
    상기 목적 결과를 이용하여 상기 목적 결과의 신뢰 정보를 보정하고, 보정된 신뢰 정보를 상기 목적 결과의 최종 신뢰 정보로 제공하는 동작,
    상기 목적 결과의 신뢰 정보를 이용하여 상기 목적 결과를 보정하고, 보정된 목적 결과를 제공하는 동작,
    상기 목적 결과의 신뢰 정보를 기초로, 상기 의료 영상의 재촬영을 요청하거나, 촬영 방법을 추천하는 동작, 그리고
    상기 목적 결과의 신뢰 정보가 기준 이하인 경우, 상기 목적 결과를 버리는 동작 중 적어도 하나를 수행하는, 컴퓨팅 장치.

Images