WO2024071845A1 - 의료용 인공지능 모델의 구축 방법, 프로그램 및 장치 - Google Patents

Abstract

본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는, 의료용 인공지능 모델의 구축 방법, 프로그램 및 장치가 개시된다. 상기 방법은, 사용자가 의도하는 태스크(task)를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계; 상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 단계; 및 상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축하는 단계를 포함할 수 있다.

Description

의료용 인공지능 모델의 구축 방법, 프로그램 및 장치

본 개시의 내용은 의료 분야의 딥러닝 기술에 관한 것으로, 구체적으로 사용자의 목적에 부합하는 의료용 인공지능 모델을 구축하기 위한 방법에 관한 것이다.

인공지능 모델을 사용하기 위해서는, 사용 도메인에 부합하는 양질의 데이터를 기반으로 인공지능 모델을 잘 학습시키는 것이 중요하다. 하지만, 양질의 데이터로 인공지능 모델을 학습시킨다고 해서 인공지능 모델이 사용자의 목적 및 사용 도메인에 부합하는 성능을 보인다고 장담할 수 없다. 따라서, 학습된 모델이 좋은 성능을 내는지 적절히 평가하는 것이 중요하다. 즉, 학습 모델의 평가는 모델의 신뢰성, 효율성, 투명성 등을 보장할 수 있고, 사용자의 목적 및 사용 도메인에 맞추어 모델을 지속적으로 개선하도록 유도할 수 있다.

학습 모델의 평가를 위한 기준은 대체로 모델의 학습 조건 및 파라미터와는 독립적으로 설정된다. 즉, 인공지능 모델을 구축하는 과정에서 평가는 학습이 완료된 모델에 대해 이루어지기 때문에, 평가 기준 자체가 모델의 학습 조건이나 파라미터를 결정하는데 직접적인 영향을 주지 않는다. 그리고, 학습 모델의 평가를 위한 기준에는 표준적인 성능 지표 외에도 사용 목적 혹은 도메인 특화된 평가 지표가 포함될 수 있기 때문에, 이렇게 유동적으로 변할 수 있는 기준을 반영해서 모델의 학습 조건 및 파라미터를 설정하는 것은 어려울 수 밖에 없다.

그러나, 인공지능 모델이 평가 기준에 부합하는 성능을 낼수록, 인공지능 모델을 통해 구현하려고 하는 궁극적인 태스크를 잘 달성하는 모델이 개발될 수 있다. 따라서, 의료 분야와 같이 사용 목적 혹은 도메인에 특화된 평가 지표가 포함되는 것이 필요한 경우, 사용 목적 혹은 도메인 특화된 평가 지표를 모델을 개발하는 전 과정에 적절히 반영하는 것이 필요하다고 볼 수 있다.

본 개시는 사용자가 의도하는 태스크를 기반으로 인공지능 모델을 규정하는 평가 기준을 도출하고, 해당 평가 기준에 부합하도록 모델의 학습 및 선택을 위한 파라미터를 구성하여 의료용 인공지능 모델을 구축하는 방법을 제공하는 것을 목적으로 한다.

다만, 본 개시에서 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재를 근거로 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는, 의료용 인공지능 모델의 구축 방법이 개시된다. 상기 방법은, 사용자가 의도하는 태스크(task)를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계; 상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 단계; 및 상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축하는 단계를 포함할 수 있다.

대안적으로, 상기 평가 기준은, 인공지능 모델의 정확도에 관한 제 1 기준; 인공지능 모델의 출력의 불확실성에 관한 제 2 기준; 또는 인공지능 모델의 출력과 상기 사용자가 의도하는 태스크에 포함된 질환의 발병 여부를 결정하는 생체 측정값 간의 상관 관계에 관한 제 3 기준 중 적어도 하나를 포함할 수 있다.

대안적으로, 상기 사용자가 의도하는 태스크가 좌심실 수축 기능 부전(LVSD: left ventricular systolic dysfunction)의 예측인 경우, 상기 질환의 발병 여부를 결정하는 생체 측정값은 좌심실 박출률(EF: ejection fraction)일 수 있다.

대안적으로, 사용자가 의도하는 태스크를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계는, 상기 사용자가 의도하는 태스크를 기반으로, 상기 제 1 기준, 상기 제 2 기준 및 상기 제 3 기준이 상기 평가 기준에서 차지하는 비율을 결정하는 단계를 포함할 수 있다.

대안적으로, 상기 사용자가 의도하는 태스크가 좌심실 수축 기능 부전(LVSD)의 예측인 경우, 상기 제 1 기준, 상기 제 2 기준 및 상기 제 3 기준이 상기 평가 기준에서 차지하는 비율은 4:3:3으로 결정될 수 있다.

대안적으로, 상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 단계는, 상기 제 3 기준에 따른 상관 관계를 계산할 수 있도록, 상기 제 1 지표에 포함되는 손실 함수를 결정하는 단계를 포함할 수 있다.

대안적으로, 상기 사용자가 의도하는 태스크가 좌심실 수축 기능 부전(LVSD)의 예측인 경우, 상기 제 1 지표에 포함되는 손실 함수는 좌심실 박출률(EF) 회귀 손실 함수를 포함할 수 있다.

대안적으로, 상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 단계는, 상기 제 1 기준, 상기 제 2 기준 및 상기 제 3 기준이 상기 평가 기준에서 차지하는 비율에 맞추어, 상기 제 2 지표에 포함되는 세부 지표를 결정하는 단계를 포함할 수 있다.

대안적으로, 상기 사용자가 의도하는 태스크를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계는, 사용자 입력을 기반으로, 상기 사용자가 의도하는 태스크에 관한 정보를 획득하는 단계; 및 사전 학습된 기준 설정 모델에 상기 사용자가 의도하는 태스크에 관한 정보를 입력하여, 상기 평가 기준을 도출하는 단계를 포함할 수 있다.

대안적으로, 상기 사용자가 의도하는 태스크를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계는, 사용자 입력을 기반으로, 상기 사용자가 의도하는 태스크에 관한 정보를 획득하는 단계; 및 사전 설정된 데이터베이스에서, 상기 사용자가 의도하는 태스크에 관한 정보에 대응되는 평가 분류 및 세부 기준을 식별하는 단계를 포함할 수 있다.

대안적으로, 상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축하는 단계는, 상기 결정된 제 1 지표를 사용하여, 인공지능 모델의 학습을 수행하는 단계; 상기 결정된 제 2 지표를 사용하여, 상기 인공지능 모델의 성능을 평가하는 단계; 및 상기 평가된 인공지능 모델의 성능이 상기 평가 기준을 만족하는 경우, 상기 평가 기준을 만족하는 인공지능 모델을 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델로 선택하는 단계를 포함할 수 있다.

전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 의료용 인공지능 모델의 구축을 위한 동작들을 수행하도록 한다. 이때, 상기 동작들은, 사용자가 의도하는 태스크(task)를 기반으로 인공지능 모델의 평가 기준을 수립하는 동작; 상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 동작; 및 상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축하는 동작을 포함할 수 있다.

전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라, 의료용 인공지능 모델을 구축하기 위한 컴퓨팅 장치가 개시된다. 상기 장치는, 적어도 하나의 코어(core)를 포함하는 프로세서; 상기 프로세서에서 실행 가능한 프로그램 코드(code)들을 포함하는 메모리(memory); 및 획득하기 위한 네트워크부(network unit)를 포함할 수 있다. 이때, 상기 프로세서는, 사용자가 의도하는 태스크(task)를 기반으로 인공지능 모델의 평가 기준을 수립하고, 상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하며, 상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축할 수 있다.

본 개시는 평가 기준이 모델의 학습 및 선택에 반영되도록 함으로써, 사용 목적 및 태스크에 알맞은 최적의 성능을 낼 수 있는 모델이 안정적으로 개발될 수 있는 환경을 제공할 수 있다.

도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.

도 2는 본 개시의 일 실시예에 따라 의료용 인공지능 모델을 구축하는 연산 과정을 나타낸 블록도이다.

도 3은 본 개시의 일 실시예에 따른 의료용 인공지능 모델의 구축 방법 을 나타낸 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.

본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.

본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는" 을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다" 는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.

본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.

본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상" 을 포함할 수 있는 것으로 해석되어야 한다.

본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제 1 구성요소 혹은 제 2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제 1 구성요소 혹은 제 2 구성요소로 구별될 수도 있다.

본 개시에서 사용되는 "획득" 이라는 용어는, 외부 장치 혹은 시스템과의 유무선 통신 네트워크를 통해 데이터를 수신하는 것 뿐만 아니라, 온-디바이스(on-device) 형태로 데이터를 생성하는 것을 의미하는 것으로 이해될 수 있다.

한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)" 는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈", 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈", 또는 "부"는 컴퓨팅 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈", 또는 "부"는 시스템을 구성하는 컴퓨팅 장치 그 자체, 또는 컴퓨팅 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈", 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.

본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 신경망(neural network) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 신경망 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.

전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록 구성도이다.

본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 컴퓨팅 장치(100)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 컴퓨팅 장치(100)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리하는 클라우드 시스템(cloud system)일 수도 있다. 상술한 기재는 컴퓨팅 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.

도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 프로세서(processor)(110), 메모리(memory)(120), 및 네트워크부(network unit)(130)를 포함할 수 있다. 다만, 도 1은 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 상기 개시된 구성들 중 일부만이 컴퓨팅 장치(100)에 포함될 수도 있다.

본 개시의 일 실시예에 따른 프로세서(110)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(110)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(110)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(110)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(110)의 종류는 하나의 예시일 뿐이므로, 프로세서(110)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.

프로세서(110)는 사용자가 의도하는 태스크(task)에 관한 정보를 토대로 평가 기준을 수립할 수 있다. 프로세서(110)는 사용자 입력을 기반으로 획득되는 태스크에 관한 정보를 토대로 평가 기준을 생성할 수 있다. 예를 들어, 프로세서(110)는 사용자가 의도하는 태스크에 관한 정보를 입력 받기 위한 사용자 인터페이스를 생성할 수 있다. 이때, 사용자 인터페이스를 통해 입력되는 정보는 질환의 종류, 태스크의 종류 등과 같은 평가 기준을 수립하기 위해 필요한 기초 정보일 수도 있고, 평가 기준 그 자체일 수도 있다. 프로세서(110)는 기 구축된 데이터베이스 혹은 사전 학습된 기준 설정 모델을 기반으로 사용자 입력에 포함된 기초 정보를 분석하여, 평가 기준을 도출할 수 있다. 이때, 데이터베이스는 태스크 별로 정확도 등과 같은 평가 분류 및 AUROC(area under ROC) 등과 같은 세부 기준이 매칭되어 구조화 된 데이터 집합일 수 있다. 그리고, 기준 설정 모델은 사용자가 의도하는 태스크에 관한 정보를 입력받아 평가 분류 및 세부 기준을 도출하도록 사전 학습된 신경망 모델일 수 있다. 기준 설정 모델은 지도 학습에 기반하여 학습될 수 있으나, 신경망 구조 혹은 파라미터 구성에 따라 비지도 학습 또는 자기 지도 학습 등에 기반하여 학습될 수도 있다. 프로세서(110)는 평가 기준 자체를 사용자 입력으로부터 획득하여 평가 기준을 생성할 수도 있다.

프로세서(110)는 수립된 평가 기준을 기초로 인공지능 모델의 학습 및 선택에 사용되는 지표를 결정할 수 있다. 프로세서(110)는 사용자 입력을 기반으로, 평가 기준을 반영할 수 있는 모델의 학습 지표 및 선택 지표를 생성할 수 있다. 프로세서(110)는 평가 기준을 분석하여, 평가 기준에 대응되는 학습 지표 및 평가 지표를 도출할 수 있다. 예를 들어, 평가 기준이 생성되면, 프로세서(110)는 평가 기준을 반영하기 위해 모델의 학습 연산 및 선택 연산에서 각각 구성되어야 하는 지표들을 목록화 하는 사용자 인터페이스를 생성할 수 있다. 해당 사용자 인터페이스를 통해 지표를 선택하기 위한 사용자 입력이 획득되면, 프로세서(110)는 사용자 입력에 따라 지표들을 선택하여 학습 지표 및 평가 지표를 결정할 수 있다. 프로세서(110)는 사용자 입력이 없이도 평가 기준이 생성되면, 평가 기준 자체를 분석해서 모델의 학습 지표 및 선택 지표를 생성할 수 있다. 프로세서(110)는 기 구축된 데이터베이스 혹은 사전 학습된 지표 결정 모델을 기반으로 평가 기준에 포함된 평가 분류 및 세부 기준에 맞추어 모델의 학습 지표 및 선택 지표를 결정할 수 있다. 이때, 데이터베이스는 태스크 별로 정확도 등과 같은 평가 분류 및 AUROC(area under ROC) 등과 같은 세부 기준과 함께 학습 지표 및 선택 지표가 구조화 된 데이터 집합일 수 있다. 그리고, 지표 결정 모델은 평가 분류 및 세부 기준을 입력받아 학습 지표 및 선택 지표를 도출하도록 사전 학습된 신경망 모델일 수 있다. 지표 결정 모델은 지도 학습에 기반하여 학습될 수 있으나, 신경망 구조 혹은 파라미터 구성에 따라 비지도 학습 또는 자기 지도 학습 등에 기반하여 학습될 수도 있다.

프로세서(110)는 평가 기준을 기초로 도출된 학습 지표 및 선택 지표를 사용하여 인공지능 모델을 구축할 수 있다. 프로세서(110)는 평가 기준을 기초로 도출된 학습 지표를 사용하여 인공지능 모델을 학습시킬 수 있다. 그리고, 프로세서(110)는 사용자가 의도하는 태스크를 수행하는 모델인지를 판단하기 위해, 평가 기준을 기초로 도출된 선택 지표를 사용하여, 학습된 인공지능 모델의 성능을 평가할 수 있다. 성능 평가에서 선택 지표에 따른 평가 기준을 만족하지 못하는 경우, 프로세서(110)는 학습된 인공지능 모델의 학습 조건 및 파라미터를 재조정하여 추가적인 학습을 수행하거나, 신규 모델을 학습시킬 수 있다. 성능 평가에서 선택 지표에 따른 평가 기준을 만족하는 경우, 프로세서(110)는 해당 모델을 사용자가 의도하는 태스크를 수행하는 인공지능 모델로 선택할 수 있다. 이때, 성능 평가에서 선택 지표에 따른 평가 기준을 만족한다는 것은 평가 결과가 기 설정된 임계치 이상에 해당하는 것으로 이해될 수 있다. 임계치는 사용자에 의해 조정될 수도 있고, 사용자가 의도하는 태스크에 따라 동적으로 조정될 수도 있다.

상술한 바에 따르면, 본 개시의 프로세서(110)에 의해 수행되는 인공지능 모델의 구축을 위한 연산은 사용자 의도에 맞춘 평가 기준을 모델의 학습 및 선택 과정에 반영할 수 있다. 따라서, 이러한 연산은 평가 결과에 따라 학습 조건 및 파라미터를 조정하는 작업을 수행하면서 낭비되는 에너지를 최소화 하고, 매번 달라질 수 있는 평가 기준을 충족하는 모델을 개발하기 위해 필요한 자원을 효율적으로 사용할 수 있다. 즉, 본 개시는 이러한 자원 효율화를 통해 사용 목적 및 도메인에 최적화된 모델을 안정적으로 개발할 수 있는 환경을 제공할 수 있다.

본 개시의 일 실시예에 따른 메모리(120)는 컴퓨팅 장치(100)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(120)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 데이터 및 네트워크부(130)가 수신한 임의의 형태의 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(120)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(120)의 종류는 하나의 예시일 뿐이므로, 메모리(120)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.

메모리(120)는 프로세서(110)가 연산을 수행하는데 필요한 데이터, 데이터의 조합, 및 프로세서(110)에서 실행 가능한 프로그램 코드(code) 등을 구조화 및 조직화 하여 관리할 수 있다. 예를 들어, 메모리(120)는 후술할 네트워크부(130)를 통해 수신된 의료 데이터를 저장할 수 있다. 메모리(120)는 인공지능 모델이 의료 데이터를 입력받아 학습을 수행하도록 동작시키는 프로그램 코드, 신경망 모델이 심전도 데이터를 입력받아 컴퓨팅 장치(100)의 사용 목적에 맞춰 추론을 수행하도록 동작시키는 프로그램 코드, 및 프로그램 코드가 실행됨에 따라 생성된 가공 데이터 등을 저장할 수 있다.

본 개시의 일 실시예에 따른 네트워크부(130)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 예를 들어, 네트워크부(130)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultra wide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 네트워크부(130)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.

네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)가 연산을 수행하는데 필요한 데이터를 수신할 수 있다. 또한, 네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)의 연산을 통해 생성된 데이터를 송신할 수 있다. 예를 들어, 네트워크부(130)는 병원 환경 내 데이터베이스, 의료 데이터의 표준화 등의 작업을 수행하는 클라우드 서버, 스마트 워치와 같은 클라이언트 혹은 의료용 컴퓨팅 장치 등과의 통신을 통해 의료 데이터를 수신할 수 있다. 네트워크부(130)는 전술한 데이터베이스, 서버, 클라이언트 혹은 컴퓨팅 장치 등과의 통신을 통해, 신경망 모델의 출력 데이터, 및 프로세서(110)의 연산 과정에서 도출되는 중간 데이터, 가공 데이터 등을 송신할 수 있다.

도 2는 본 개시의 일 실시예에 따라 의료용 인공지능 모델을 구축하는 연산 과정을 나타낸 블록도이다.

도 2를 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 사용 목적 및 도메인을 반영한 태스크 정보(10)를 기반으로 인공지능 모델의 평가 기준(20)을 수립할 수 있다. 컴퓨팅 장치(100)는 사용자 입력을 기반으로 태스크 정보(10)를 획득할 수 있다. 태스크 정보(10)는 어떠한 질환에 대해 어떠한 태스크를 인공지능 모델이 수행할지를 나타내는 기초 정보일 수도 있고, 기초 정보에 기반한 평가 기준 자체에 관한 정보일 수도 있다. 컴퓨팅 장치(100)는 획득된 태스크 정보(10)를 분석하여 인공지능 모델이 사용 목적 및 도메인에 맞추어 적합한 성능을 낼 수 있는지를 판단하기 위한 평가 기준(20)를 생성할 수 있다. 태스크 정보(10)가 기초 정보를 포함하는 경우, 컴퓨팅 장치(100)는 기초 정보에 포함된 키워드 매칭 분석, 인공지능 기반 분석 등을 통해 평가 기준(20)을 도출할 수 있다. 태스크 정보(10)가 평가 기준 자체에 대한 정보를 포함하는 경우, 컴퓨팅 장치(100)는 태스크 정보(10)에 따라 평가 기준(20)을 결정할 수 있다.

컴퓨팅 장치(100)에 의해 수립되는 평가 기준(20)은 인공지능 모델의 정확도에 관한 제 1 기준(21), 인공지능 모델의 출력의 불확실성에 관한 제 2 기준(25), 또는 인공지능 모델의 출력 및 사용자가 의도하는 태스크에 포함된 질환의 발병 여부를 결정하는 생체 측정값 간의 상관 관계에 관한 제 3 기준(29) 중 적어도 하나를 포함할 수 있다. 제 1 기준(21)은 인공지능 모델이 학습한 태스크를 얼만큼 정확하게 수행했는지를 판단하기 위한 기준일 수 있다. 예를 들어, 제 1 기준(21)을 평가하기 위한 지표는 AUROC, F1 Score, 정밀도(precision), 민감도(sensitivity), 재현율(recall) 등을 포함할 수 있다. 제 2 기준(25)은 인공지능 모델이 수행한 태스크의 결과가 얼만큼 불확실한지를 나타내는 기준일 수 있다. 제 2 기준(25)은 인공지능이 100명의 사람을 기준으로 특정 질환의 발병 가능성을 60%라고 판단하였을 때 100명 중 60명이 진짜 특정 질환이 발병했는지를 평가하는 기준일 수 있다. 예를 들어, 제 2 기준(25)을 평가하기 위한 지표는 ACE(adaptive calibration error), ECE(expected calibration error) 등을 포함할 수 있다. 질환마다 발병 여부를 확인할 수 있는 신체에서 측정할 수 있는 연속적인 값이 존재하는데, 제 3 기준(29)은 태스크에 포함된 질환의 발병 여부를 결정하는 생체 측정값이 인공지능 모델이 수행한 태스크의 결과와 얼만큼 연관성이 있는지를 판단하기 위한 기준일 수 있다. 예를 들어, 사용자가 의도하는 태스크가 좌심실 수축 기능 부전의 예측인 경우, 제 3 기준(29)은 좌심실 수축 기능 부전의 여부를 결정할 수 있는 생체 측정값인 좌심실 박출률(EF: ejection fraction)과 인공지능 모델이 좌심실 수축 기능 부전을 예측한 결과 값 간의 연관성을 계산하기 위한 기준일 수 있다. 사용자가 의도한 태스크가 심근경색의 예측인 경우, 제 3 기준(29)은 심근경색의 발병 여부를 결정할 수 있는 생체 측정값인 트로포닌 수치와 인공지능 모델이 심근경색을 예측한 결과 값 간의 연관성을 계산하기 위한 기준일 수 있다.

한편, 질환의 발병 여부를 결정하는 생체 측정값은 복수개가 존재할 수 있다. 예를 들어, 심근경색의 발병 여부를 확인하기 위한 생체 측정값으로 트로포닌 뿐만 아니라 크레아티닌 키나아제가 사용될 수 있다. 따라서, 제 3 기준(29)으로 사용되는 생체 측정값은 적어도 하나 이상일 수 있다.

컴퓨팅 장치(100)는 태스크 정보(10)에 따라 제 1 기준(21), 제 2 기준(25), 또는 제 3 기준(29) 중 적어도 하나가 포함되도록 평가 기준(20)을 구성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 태스크 정보(10)를 분석하여, 제 1 기준(21), 제 2 기준(25) 및 제 3 기준(29)이 평가 기준(20)에서 차지하는 비율을 결정할 수 있다. 태스크 정보(10)에 좌심실 수축 기능 부전의 예측이 포함된 경우, 컴퓨팅 장치(100)는 제 1 기준(21), 제 2 기준(25) 및 제 3 기준(29)이 평가 기준(20)에서 차지하는 비율을 4:3:3으로 결정할 수 있다. 이때, 컴퓨팅 장치(100)는 사용자 입력에 기반하여 비율을 결정하거나, 데이터베이스 룰 기반 분석, 인공지능 기반 분석 등을 통해 비율을 결정할 수 있다.

도 2를 참조하면, 컴퓨팅 장치(100)는 수립된 평가 기준(20)에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표(30) 및 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표(40)를 구성할 수 있다. 제 1 기준(21), 제 2 기준(25) 및 제 3 기준(29)의 비율이 결정되면, 컴퓨팅 장치(100)는 제 3 기준(29)에 따른 상관 관계를 계산할 수 있도록, 제 1 지표에 포함되는 손실 함수를 결정할 수 있다. 제 3 기준(29)는 사용 목적 및 도메인에 특화된 기준이므로, 컴퓨팅 장치(100)는 인공지능 모델이 제 3 기준(29)을 잘 충족할 수 있도록 하기 위해, 제 1 지표(30)에 해당하는 손실 함수에 제 3 기준(29)을 계산하기 위한 항이 포함되도록 손실 함수를 구성할 수 있다. 예를 들어, 태스크 정보(10)에 좌심실 수축 기능 부전의 예측이 포함된 경우, 제 3 기준(29)의 질환의 발병 여부를 결정하는 생체 측정값은 좌심실 박출률로 결정되므로, 컴퓨팅 장치(100)는 제 1 지표에 포함되는 손실 함수에 좌심실 박출률 회귀 손실 함수를 구성할 수 있다. 제 3 기준(29)의 질환의 발병 여부를 결정하는 생체 측정값이 복수개인 경우, 컴퓨팅 장치(100)는 복수개의 생체 측정값들 각각에 대응되는 손실 함수를 구성 및 조합하여 제 1 지표에 포함되는 손실 함수를 생성할 수 있다.

또한, 제 1 기준(21), 제 2 기준(25) 및 제 3 기준(29)의 비율이 결정되면, 컴퓨팅 장치(100)는 제 2 지표(40)에 포함되는 세부 지표 및 각 세부 지표가 제 2 지표(40)에서 차지하는 비율을 결정할 수 있다. 제 2 지표(40)에 포함되는 세부 지표는 평가 기준 별로 구성될 수 있다. 예를 들어, 태스크 정보(10)에 좌심실 수축 기능 부전의 예측이 포함된 경우, 컴퓨팅 장치(100)는 제 1 기준(21)을 평가하기 위한 제 2 지표(40)의 세부 지표를 F1 score, AUROC 및 AUPRC(area under the precision recall curve)의 조합으로 구성할 수 있다. 또한, 컴퓨팅 장치(100)는 제 2 기준(25)을 평가하기 위한 제 2 지표(40)의 세부 지표를 ACE 및 ECE의 조합으로 구성할 수 있다. 조합의 형태는 다음의 [수학식 1]과 같이 표현될 수 있다.

[수학식 1]

제 1 기준을 평가하기 위한 세부 지표 = (F1 score+AUROC+AUPRC)/3

제 2 기준을 평가하기 위한 세부 지표 = ((1-ACE)+(1-ECE))/2

컴퓨팅 장치(100)는 제 3 기준(29)을 평가하기 위한 세부 지표로 좌심실 박출률 회귀 손실 함수를 선택할 수 있다. 제 3 기준(29)의 질환의 발병 여부를 결정하는 생체 측정값이 복수개인 경우, 컴퓨팅 장치(100)는 제 3 기준(29)을 평가하기 위한 세부 지표를 복수개의 생체 측정값들의 조합으로 구성할 수 있다. 이때, 조합은 복수개의 생체 측정값들 각각에 대응되는 세부 지표들의 단순 합산일 수도 있고, 소정의 수학식을 기반으로 하나의 통합된 세부 지표를 생성하는 것일 수도 있다. 컴퓨팅 장치(10)는 데이터베이스 룰 기반 분석, 인공지능 기반 분석 등을 통해 상술한 바와 같이 제 2 지표(40)의 세부 지표를 구성할 수 있다. 그리고, 컴퓨팅 장치(100)는 평가 기준 별로 구성된 제 2 지표(40)의 세부 지표들의 비율을 제 1 기준(21), 제 2 기준(25) 및 제 3 기준(28)의 비율대로 구성할 수 있다.

컴퓨팅 장치(100)는 인공지능 모델이 사용자가 의도하는 태스크를 학습하는 연산 과정에 제 1 지표(30)를 사용할 수 있다. 다시 말해서, 컴퓨팅 장치(100)는 제 1 지표(30)를 손실 연산에 사용하여 인공지능 모델이 사용자가 의도하는 태스크를 수행하도록 인공지능 모델을 학습시킬 수 있다. 컴퓨팅 장치(100)는 학습이 완료된 모델의 성능을 평가하는 연산 과정에 제 2 지표(40)를 사용할 수 있다. 다시 말해서, 컴퓨팅 장치(100)는 제 2 지표(40)를 사용하여 인공지능 모델이 사용자가 의도하는 태스크를 평가 기준(20)에 맞추어 수행했는지를 평가할 수 있다. 제 2 지표(40)를 사용하여 평가된 인공지능 모델의 성능이 평가 기준(20)을 만족하는 경우, 컴퓨팅 장치(100)는 평가 기준(20)을 만족하는 모델을 사용자가 의도하는 태스크를 수행하는 인공지능 모델로 선택할 수 있다. 제 2 지표(40)를 사용하여 평가된 인공지능 모델의 성능이 평가 기준(20)을 만족하지 못하는 경우, 컴퓨팅 장치(100)는 평가 기준을 만족하지 못하는 모델에 대한 추가 학습을 수행하거나, 신규 모델에 대한 학습을 수행하거나, 평가 기준(200 혹은 제 1 지표(30), 제 2 지표(40)를 재구성할 수 있다. 이때, 평가 기준(20)의 만족 여부는 제 2 지표(40)를 통해 산출된 평가치가 기 설정된 임계값 이상인지 여부에 따라 판단될 수 있다. 예를 들어, 제 2 지표(40)를 통해 산출된 평가치가 기 설정된 임계값 이상인 경우, 컴퓨팅 장치(100)는 인공지능 모델의 성능이 평가 기준(20)을 만족하는 것으로 판단할 수 있다. 제 2 지표(40)를 통해 산출된 평가치가 기 설정된 임계값 미만인 경우, 컴퓨팅 장치(100)는 인공지능 모델의 성능이 평가 기준(20)을 만족하지 못하는 것으로 판단할 수 있다. 한편, 임계값은 사용자 입력에 의해 조정되거나 제 2 지표(40)에 포함된 세부 지표의 종류에 따라 정해진 룰에 맞추어 동적으로 조정될 수 있다.

도 3은 본 개시의 일 실시예에 따른 의료용 인공지능 모델의 구축 방법 을 나타낸 순서도이다.

도 3을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 사용자가 의도하는 태스크를 기반으로 인공지능 모델의 평가 기준을 수립할 수 있다(S100). 컴퓨팅 장치(100)는 사용자 입력을 기반으로, 사용자가 의도하는 태스크에 관한 정보를 획득할 수 있다. 그리고, 컴퓨팅 장치(100)는 태스크에 관한 정보를 분석하여 평가 기준을 생성할 수 있다. 예를 들어, 클라우드 시스템 상에서 컴퓨팅 장치(100)가 클라이언트인 경우, 컴퓨팅 장치(100)는 입출력부를 통해 구현되는 사용자 인터페이스를 통해 사용자 입력을 수신하여, 사용자가 의도하는 태스크에 관한 정보를 생성할 수 있다. 컴퓨팅 장치(100)가 서버인 경우, 컴퓨팅 장치(100)는 클라이언트와 유무선 통신을 통해 사용자 입력을 수신하여, 사용자가 의도하는 태스크에 관한 정보를 생성할 수 있다. 컴퓨팅 장치(100)는 사전 설정된 데이터베이스를 통해 사용자가 의도하는 태스크에 관한 정보와 평가 기준을 매칭시켜 저장 및 관리할 수 있다. 따라서, 컴퓨팅 장치(100)는 사전 설정된 데이터베이스에서 사용자가 의도하는 태스크에 관한 정보에 대응되는 평가 분류 및 세부 기준을 식별할 수 있다. 컴퓨팅 장치(100)는 식별된 평가 분류 및 세부 기준을 자체적으로 평가 기준으로 결정할 수도 있고, 사용자 입력에 따른 선택에 기반하여 평가 기준으로 결정할 수도 있다. 또한, 컴퓨팅 장치(100)는 사전 학습된 기준 설정 모델에 사용자가 의도하는 태스크에 관한 정보를 입력하여, 평가 기준을 도출할 수도 있다. 이때, 기준 설정 모델은 사용자가 의도하는 태스크에 매칭되는 평가 기준이 라벨링 된 데이터를 기초로 사전 학습된 신경망 모델일 수 있다.

컴퓨팅 장치(100)는 S100 단계를 통해 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정할 수 있다(S200). 컴퓨팅 장치(10)는 평가 기준 중 인공지능 모델의 출력과 상기 사용자가 의도하는 태스크에 포함된 질환의 발병 여부를 결정하는 생체 측정값 간의 상관 관계에 관한 제 3 기준에 따른 상관 관계를 계산할 수 있도록, 제 1 지표에 포함되는 손실 함수를 결정할 수 있다. 컴퓨팅 장치(100)는 인공지능 모델의 정확도에 관한 제 1 기준, 인공지능 모델의 출력의 불확실성에 관한 제 2 기준 및 제 3 기준이 평가 기준에서 차지하는 비율에 맞추어, 제 2 지표에 포함되는 세부 지표를 결정할 수 있다.

컴퓨팅 장치(100)는 S200 단계를 통해 결정된 제 1 지표 및 제 2 지표를 기반으로, 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축할 수 있다(S300). 컴퓨팅 장치(100)는 제 1 지표에 포함되는 손실 함수를 이용하여 인공지능 모델의 학습을 수행할 수 있다. 그리고, 컴퓨팅 장치(100)는 제 2 지표에 포함되는 세부 지표를 사용하여, 제 1 지표에 포함되는 손실함수를 이용하여 학습된 모델의 성능을 평가할 수 있다. 학습된 모델의 성능이 최초 사용자가 의도한 태스크에 부합하는 경우, 컴퓨팅 장치(100)는 해당 모델을 사용자가 의도하는 태스크를 수행하는 모델로 선택할 수 있다.

앞서 설명된 본 개시의 다양한 실시예는 추가 실시예와 결합될 수 있고, 상술한 상세한 설명에 비추어 당업자가 이해 가능한 범주에서 변경될 수 있다. 본 개시의 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해되어야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다. 따라서, 본 개시의 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

1. 적어도 하나의 프로세서(processor)를 포함하는 컴퓨팅 장치에 의해 수행되는, 의료용 인공지능 모델의 구축 방법으로서,

   사용자가 의도하는 태스크(task)를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계;

   상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 단계; 및

   상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축하는 단계;

   를 포함하는,

   방법.
2. 제 1 항에 있어서,

   상기 평가 기준은,

   인공지능 모델의 정확도에 관한 제 1 기준;

   인공지능 모델의 출력의 불확실성에 관한 제 2 기준; 또는

   인공지능 모델의 출력과 상기 사용자가 의도하는 태스크에 포함된 질환의 발병 여부를 결정하는 생체 측정값 간의 상관 관계에 관한 제 3 기준;

   중 적어도 하나를 포함하는,

   방법.
3. 제 2 항에 있어서,

   상기 사용자가 의도하는 태스크가 좌심실 수축 기능 부전(LVSD: left ventricular systolic dysfunction)의 예측인 경우,

   상기 질환의 발병 여부를 결정하는 생체 측정값은 좌심실 박출률(EF: ejection fraction)인,

   방법.
4. 제 2 항에 있어서,

   사용자가 의도하는 태스크를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계는,

   상기 사용자가 의도하는 태스크를 기반으로, 상기 제 1 기준, 상기 제 2 기준 및 상기 제 3 기준이 상기 평가 기준에서 차지하는 비율을 결정하는 단계;

   를 포함하는,

   방법.
5. 제 4 항에 있어서,

   상기 사용자가 의도하는 태스크가 좌심실 수축 기능 부전(LVSD)의 예측인 경우,

   상기 제 1 기준, 상기 제 2 기준 및 상기 제 3 기준이 상기 평가 기준에서 차지하는 비율은 4:3:3으로 결정되는,

   방법.
6. 제 2 항에 있어서,

   상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 단계는,

   상기 제 3 기준에 따른 상관 관계를 계산할 수 있도록, 상기 제 1 지표에 포함되는 손실 함수를 결정하는 단계;

   를 포함하는,

   방법.
7. 제 6 항에 있어서,

   상기 사용자가 의도하는 태스크가 좌심실 수축 기능 부전(LVSD)의 예측인 경우,

   상기 제 1 지표에 포함되는 손실 함수는 좌심실 박출률(EF) 회귀 손실 함수를 포함하는,

   방법.
8. 제 2 항에 있어서,

   상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 단계는,

   상기 제 1 기준, 상기 제 2 기준 및 상기 제 3 기준이 상기 평가 기준에서 차지하는 비율에 맞추어, 상기 제 2 지표에 포함되는 세부 지표를 결정하는 단계;

   를 포함하는,

   방법.
9. 제 1 항에 있어서,

   상기 사용자가 의도하는 태스크를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계는,

   사용자 입력을 기반으로, 상기 사용자가 의도하는 태스크에 관한 정보를 획득하는 단계; 및

   사전 학습된 기준 설정 모델에 상기 사용자가 의도하는 태스크에 관한 정보를 입력하여, 상기 평가 기준을 도출하는 단계;

   를 포함하는,

   방법.
10. 제 1 항에 있어서,

    상기 사용자가 의도하는 태스크를 기반으로 인공지능 모델의 평가 기준을 수립하는 단계는,

    사용자 입력을 기반으로, 상기 사용자가 의도하는 태스크에 관한 정보를 획득하는 단계; 및

    사전 설정된 데이터베이스에서, 상기 사용자가 의도하는 태스크에 관한 정보에 대응되는 평가 분류 및 세부 기준을 식별하는 단계;

    를 포함하는,

    방법.
11. 제 1 항에 있어서,

    상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축하는 단계는,

    상기 결정된 제 1 지표를 사용하여, 인공지능 모델의 학습을 수행하는 단계;

    상기 결정된 제 2 지표를 사용하여, 상기 인공지능 모델의 성능을 평가하는 단계; 및

    상기 평가된 인공지능 모델의 성능이 상기 평가 기준을 만족하는 경우, 상기 평가 기준을 만족하는 인공지능 모델을 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델로 선택하는 단계;

    를 포함하는,

    방법.
12. 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램(program)으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 의료용 인공지능 모델의 구축을 위한 동작들을 수행하도록 하며,

    상기 동작들은,

    사용자가 의도하는 태스크(task)를 기반으로 인공지능 모델의 평가 기준을 수립하는 동작;

    상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하는 동작; 및

    상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축하는 동작;

    을 포함하는,

    컴퓨터 프로그램.
13. 의료용 인공지능 모델을 구축하기 위한 컴퓨팅 장치로서,

    적어도 하나의 코어(core)를 포함하는 프로세서(processor); 및

    상기 프로세서에서 실행 가능한 프로그램 코드(code)들을 포함하는 메모리(memory);

    를 포함하고,

    상기 프로세서는,

    사용자가 의도하는 태스크(task)를 기반으로 인공지능 모델의 평가 기준을 수립하고,

    상기 수립된 평가 기준에 따라 인공지능 모델의 학습을 위한 손실 연산에 사용되는 제 1 지표 및 상기 학습된 모델의 선택을 위한 평가 연산에 사용되는 제 2 지표를 결정하며,

    상기 결정된 제 1 지표 및 제 2 지표를 기반으로, 상기 사용자가 의도하는 태스크를 수행하는 인공지능 모델을 구축하는,

    장치.

Images