KR102245219B1

KR102245219B1 - Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods

Info

Publication number: KR102245219B1
Application number: KR1020200052601A
Authority: KR
Inventors: 김효은; 남현섭
Original assignee: 주식회사 루닛
Priority date: 2019-05-24
Filing date: 2020-04-29
Publication date: 2021-04-27
Also published as: KR20200135171A

Abstract

적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 입력 영상을 판독하는 방법으로서, 입력 영상에서 검출된 병변을 악성의심(suspicious) 또는 비-악성의심(non-suspicious)으로 분류하고, 악성의심 조건에서 상기 입력 영상에서 검출된 병변을 악성, 또는 악성의심되지만 양성인 악성의심-양성으로 분류하도록 학습된 인공지능 모델을 저장하는 단계, 분석 대상 영상을 입력받는 단계, 상기 인공지능 모델을 이용하여, 상기 분석 대상 영상에서 검출된 타겟 병변의 분류 클래스를 획득하고, 상기 분류 클래스가 상기 악성의심인 경우, 상기 타겟 병변에 대한 악성의심 확률, 악성의심-양성 확률 그리고 악성 확률 중 적어도 하나를 획득하는 단계, 그리고 상기 타겟 병변에 대해 획득한 적어도 하나의 확률을 포함하는 판독 결과를 출력하는 단계를 포함한다.As a method for reading an input image by a computing device operated by at least one processor, the lesion detected in the input image is classified as suspicious or non-suspicious, and the lesion is classified as suspicious or non-suspicious. Storing the learned artificial intelligence model to classify the lesion detected in the input image as malignant or suspected malignant but benign malignant suspicion-positive, receiving an image to be analyzed, and using the artificial intelligence model, the analysis target Obtaining a classification class of the target lesion detected in the image, and if the classification class is the malicious suspicion, acquiring at least one of a malicious suspicion probability, a malignant suspicion-positive probability, and a malignant probability for the target lesion, and the And outputting a read result including at least one probability obtained for the target lesion.

Description

A method of distinguishing malignant lesions from a medical image, a method of reading medical images using the same, and a computing device {METHOD FOR DISCRIMINATING SUSPICIOUS LESION IN MEDICAL IMAGE, METHOD FOR INTERPRETING MEDICAL IMAGE, AND COMPUTING DEVICE IMPLEMENTING THE METHODS}

본 개시는 인공지능 기반 의료 영상 판독 기술에 관한 것이다.The present disclosure relates to an artificial intelligence-based medical image reading technology.

딥러닝(deep-learning)으로 대표되는 기계학습(machine-learning) 기술은 영상, 음성, 텍스트 등 다양한 형태의 데이터 분석에서 기존 방법의 성능을 뛰어 넘는 결과를 제공하고 있다. 또한, 기계학습 기술은 기술 자체에 내재된 확장성 및 유연성으로 인해 다양한 분야에 적용되고 있고, 다양한 종류의 신경망(neural network)이 공개되고 있다.Machine-learning technology, represented by deep-learning, provides results that exceed the performance of conventional methods in analyzing various types of data such as video, audio, and text. In addition, machine learning technology has been applied to various fields due to the scalability and flexibility inherent in the technology itself, and various types of neural networks have been disclosed.

이렇게, 기계학습 기반의 인공지능(Artificial Intelligence, AI) 기술은 의료 분야에서 활발히 도입되고 있다. 이전에는 CAD(Computer Aided Detection) 장치가 룰 기반(rule based)으로 병변을 검출하거나, 의료 영상에서 설정된 후보 영역에서 병변을 검출하였다면, 최근의 AI 기반 의료 영상 판독 기술은 의료 영상 전체를 AI 알고리즘으로 분석하고, 이상(abnormality) 병변을 시각적으로 제공할 수 있다. As such, machine learning-based artificial intelligence (AI) technology is being actively introduced in the medical field. Previously, if a CAD (Computer Aided Detection) device detected a lesion based on a rule or detected a lesion in a candidate area set in a medical image, the recent AI-based medical image reading technology uses the entire medical image as an AI algorithm. Analyze and visually present abnormality lesions.

의료진은 AI 기반 의료 영상 판독 기술이 구현된 진단 보조 시스템으로부터 의료 영상에 포함된 악성 병변 정보를 제공받고, 이를 참고하여 진단할 수 있다. 이때, 의료진이 영상 판독했을 때 악성으로 의심되는 병변이 있는데, 진단 보조 시스템은 양성 병변이라서 화면에 표시를 하지 않을 수 있다. 그러면, 의료진은 진단 보조 시스템의 판단이 틀린 것인지, 양성이라서 표시하지 않은 것인지 알 수 없다. 결국, 진단 보조 시스템은 악성의심 병변이 양성이라서 표시하지 않았음에도 불구하고, 의료진은 악성의심 병변을 제대로 검출하지 못한 것으로 오해할 수 있고, 결과적으로 진단 보조 시스템의 신뢰도가 하락하게 되는 문제가 발생한다.
(특허문헌 1) KR10-1623431 B
(특허문헌 2) KR10-1889722 B Medical staff are provided with information on malignant lesions included in medical images from a diagnosis assistance system implemented with AI-based medical image reading technology, and can diagnose them by referring to them. At this time, there is a lesion suspected of being malignant when the medical staff reads the image, but the diagnosis assist system may not display it on the screen because it is a benign lesion. Then, the medical staff cannot know whether the judgment of the diagnosis assistance system is wrong or that it has not been marked because it is positive. Eventually, although the diagnosis assist system did not mark the suspected malignant lesion as benign, the medical staff may misunderstand that it did not properly detect the suspected malignant lesion, and as a result, the reliability of the diagnosis assisting system may decrease. .
(Patent Document 1) KR10-1623431 B
(Patent Document 2) KR10-1889722 B

해결하고자 하는 과제는 의료 영상의 판독 결과로서, 양성(benign)인 악성의심 병변(suspicious lesion)에 대한 정보를 제공하는 방법, 그리고 이를 구현한 컴퓨팅 장치를 제공하는 것이다.The problem to be solved is to provide a method of providing information on a benign suspicious lesion, as a result of reading medical images, and a computing device implementing the same.

해결하고자 하는 과제는 학습 데이터를 이용하여, 의료 영상에서 악성의심 병변을 구별하고, 악성의심 병변을 악성 또는 양성으로 분류하는 인공지능 모델을 학습시키는 방법, 그리고 이를 구현한 컴퓨팅 장치를 제공하는 것이다.The task to be solved is to provide a method of learning an artificial intelligence model that distinguishes suspicious lesions from medical images, classifies suspicious malignant lesions as malignant or benign, and a computing device implementing the same.

해결하고자 하는 과제는 학습된 인공지능 모델을 이용하여, 의료 영상에서 양성인 악성의심 병변과 악성 병변을 분류하고, 양성인 악성의심 병변 또는 악성 병변의 정보를 포함하는 판독 결과를 제공하는 방법, 그리고 이를 구현한 컴퓨팅 장치를 제공하는 것이다.The task to be solved is a method of classifying benign suspicious and malignant lesions in medical images using a learned artificial intelligence model, providing a reading result including information on benign suspicious malignant lesions or malignant lesions, and implementing the same. It is to provide a computing device.

한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 입력 영상을 판독하는 방법으로서, 입력 영상에서 검출된 병변을 악성의심(suspicious) 또는 비-악성의심(non-suspicious)으로 분류하고, 악성의심 조건에서 상기 입력 영상에서 검출된 병변을 악성, 또는 악성의심되지만 양성인 악성의심-양성으로 분류하도록 학습된 인공지능 모델을 저장하는 단계, 분석 대상 영상을 입력받는 단계, 상기 인공지능 모델을 이용하여, 상기 분석 대상 영상에서 검출된 타겟 병변의 분류 클래스를 획득하고, 상기 분류 클래스가 상기 악성의심인 경우, 상기 타겟 병변에 대한 악성의심 확률, 악성의심-양성 확률 그리고 악성 확률 중 적어도 하나를 획득하는 단계, 그리고 상기 타겟 병변에 대해 획득한 적어도 하나의 확률을 포함하는 판독 결과를 출력하는 단계를 포함한다.According to an embodiment, a method for reading an input image by a computing device operated by at least one processor, classifying a lesion detected in the input image as suspicious or non-suspicious, Storing the learned artificial intelligence model to classify the lesion detected in the input image as malignant or suspected malignant but benign malignant suspicion-positive under a suspicious malignant condition, receiving an image to be analyzed, using the artificial intelligence model Thus, the classification class of the target lesion detected in the analysis target image is obtained, and when the classification class is the malicious suspicion, at least one of a malicious suspicion probability, a malignant suspicion-positive probability, and a malignant probability for the target lesion is obtained. And outputting a read result including at least one probability obtained for the target lesion.

상기 인공지능 모델은 상기 입력 영상의 특징을 출력하도록 학습된 특징 추출 모델, 상기 입력 영상의 특징을 상기 악성의심 또는 상기 비-악성의심으로 분류하도록 학습된 제1 브랜치 분류 모델, 그리고 상기 악성의심 조건에서 상기 입력 영상의 특징을 상기 악성 또는 상기 악성의심-양성으로 분류하도록 학습된 제2 브랜치 분류 모델을 포함할 수 있다. 상기 제2 브랜치 분류 모델의 분류 결과는 상기 제1 브랜치 분류 모델의 분류 결과에 따라 선택적으로 상기 판독 결과에 반영될 수 있다.The artificial intelligence model includes a feature extraction model trained to output features of the input image, a first branch classification model trained to classify features of the input image as the malicious suspicion or the non-malignant suspicion, and the malicious suspicion condition. In may include a second branch classification model learned to classify the characteristics of the input image as the malicious or malicious suspicious-positive. The classification result of the second branch classification model may be selectively reflected in the reading result according to the classification result of the first branch classification model.

상기 제1 브랜치 분류 모델은 학습용 의료 영상의 특징을 해당 학습용 의료 영상이 속하는 그룹으로 분류하는 태스크를 학습한 분류 모델일 수 있다. 상기 그룹은 비-악성의심 그룹과 악성의심 그룹일 수 있다.The first branch classification model may be a classification model obtained by learning a task of classifying features of a training medical image into a group to which a corresponding training medical image belongs. The group may be a non-malignant suspicious group and a malignant suspicious group.

상기 제2 브랜치 분류 모델은 상기 악성의심 그룹에 속하는 학습용 의료 영상의 특징을 해당 학습용 의료 영상에 어노테이션된 레이블로 분류하는 태스크를 학습한 분류 모델일 수 있다. 상기 레이블은 상기 악성 또는 상기 악성의심-양성일 수 있다.The second branch classification model may be a classification model in which a task for classifying features of a training medical image belonging to the malicious suspicious group into a label annotated on a corresponding training medical image is learned. The label may be the malicious or the malicious suspicion-positive.

상기 판독 방법은 상기 제1 브랜치 분류 모델과 상기 제2 브랜치 분류 모델은 독립적으로 학습될 수 있다.In the reading method, the first branch classification model and the second branch classification model may be independently learned.

상기 판독 결과를 출력하는 단계는 상기 타겟 병변의 분류 클래스가 상기 악성의심의 하위 분류 클래스인 악성의심-양성인 경우, 상기 타겟 병변이 악성의심-양성이라는 표시 정보, 그리고 상기 악성의심-양성 확률을 포함하는 판독 결과를 출력하고, 상기 타겟 병변의 분류 클래스가 상기 악성의심의 하위 분류 클래스인 악성인 경우, 상기 타겟 병변이 악성이라는 표시 정보, 그리고 상기 악성 확률을 포함하는 판독 결과를 출력할 수 있다.The step of outputting the reading result includes information indicating that the target lesion is malignant suspicion-positive, and the malignant suspicion-positive probability when the classification class of the target lesion is malignant suspicion-positive, which is a subclass of the malignant suspicion. When the classification class of the target lesion is malicious, which is a subclass of malicious suspicion, a read result including information indicating that the target lesion is malicious and the probability of maliciousness may be output.

상기 악성의심 확률은, 상기 인공지능 모델에서 상기 타겟 병변이 상기 악성의심으로 분류된 확률일 수 있다. 상기 악성의심-양성 확률은, 상기 인공지능 모델에서 상기 타겟 병변이 상기 악성의심 조건에서 상기 악성의심-양성으로 분류된 확률과, 상기 악성의심 확률의 곱으로 계산될 수 있다. 상기 악성 확률은, 상기 인공지능 모델에서 상기 타겟 병변이 상기 악성의심 조건에서 상기 악성으로 분류된 확률과 상기 악성의심 확률의 곱으로 계산될 수 있다.The probability of malignant suspicion may be a probability that the target lesion is classified as suspicious of malignant in the artificial intelligence model. The malignant suspicion-positive probability may be calculated as a product of a probability that the target lesion is classified as malignant suspicious-positive in the malignant suspicious condition in the artificial intelligence model and the malignant suspicion probability. The malignant probability may be calculated as a product of a probability that the target lesion is classified as malignant in the malignant condition in the artificial intelligence model and the probability of malignant suspicion.

상기 판독 방법은 상기 비-악성의심으로 분류된 병변을 정상 또는 양성으로 분류하도록 추가 학습된 상기 인공지능 모델을 에서 상기 타겟 병변의 분류 클래스가 상기 비-악성의심인 경우, 상기 타겟 병변에 대한 비-악성의심 확률, 양성 확률 그리고 정상 확률 중 적어도 하나를 획득하는 단계를 더 포함할 수 있다.The reading method uses the artificial intelligence model additionally learned to classify the lesion classified as non-malignant as normal or benign, and when the classification class of the target lesion is the non-malignant heart, the ratio for the target lesion -It may further include the step of obtaining at least one of a malignant heart probability, a benign probability, and a normal probability.

한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 입력 영상을 판독하는 방법으로서, 분석 대상 영상을 입력받는 단계, 상기 제1 브랜치 분류 모델을 이용하여 상기 분석 대상 영상에서 검출된 병변을 악성의심(suspicious) 또는 비-악성의심(non-suspicious)으로 분류하고, 상기 병변이 상기 악성의심으로 분류된 확률을 계산하는 단계, 상기 제2 브랜치 분류 모델을 이용하여 상기 병변을 악성, 또는 악성의심되는 병변이나 양성인 악성의심-양성으로 분류하고, 상기 병변이 악성의심 조건에서 상기 악성 또는 상기 악성의심-양성으로 분류된 확률을 계산하는 단계, 그리고 상기 병변이 상기 제1 브랜치 분류 모델에서 상기 악성의심으로 분류된 경우, 상기 제2 브랜치 분류 모델의 분류 결과를 이용하여 생성한 판독 결과를 출력하는 단계를 포함한다. 상기 판독 결과는 상기 병변이 악성이라는 표시 정보 및 악성 확률을 포함하거나, 상기 병변이 양성이라는 표시 정보 및 양성 확률을 포함한다.According to an embodiment, a method of reading an input image by a computing device operated by at least one processor, receiving an image to be analyzed, and determining a lesion detected in the image to be analyzed using the first branch classification model. Classifying as suspicious or non-suspicious, and calculating the probability that the lesion is classified as the malignant suspicion, and the lesion is classified as malignant or malignant using the second branch classification model. Classifying a suspected lesion or benign as malignant suspicious-positive, calculating a probability that the lesion is classified as malignant or malignant suspicious-positive in a suspicious malignant condition, and the lesion is the malignant in the first branch classification model. And outputting a read result generated by using the classification result of the second branch classification model if it is classified as suspicious. The read result includes indication information that the lesion is malignant and a malignant probability, or includes indication information that the lesion is benign and a benign probability.

상기 양성 확률은 상기 병변이 상기 악성의심으로 분류된 확률과 상기 병변이 상기 악성의심 조건에서 상기 악성의심-양성으로 분류된 확률의 곱으로 계산될 수 있다.The positive probability may be calculated as a product of a probability that the lesion is classified as suspected malignant and a probability that the lesion is classified as suspected malignant-positive in the suspected malignant condition.

상기 악성 확률은 상기 병변이 상기 악성의심으로 분류된 확률과 상기 병변이 상기 악성의심 조건에서 상기 악성으로 분류된 확률의 곱으로 계산될 수 있다.The malignant probability may be calculated as a product of a probability that the lesion is classified as malignant and a probability that the lesion is classified as malignant in the malignant condition.

상기 병변이 상기 악성의심으로 분류된 확률을 계산하는 단계는 학습용 의료 영상의 특징을 해당 학습용 의료 영상이 속하는 그룹으로 분류하는 태스크를 학습한 상기 제1 브랜치 분류 모델을 이용하여, 상기 병변의 1차 분류 클래스 및 상기 악성의심으로 분류된 확률을 획득할 수 있다. 상기 그룹은 비-악성의심 그룹과 악성의심 그룹일 수 있다.The step of calculating the probability that the lesion is classified as the malignant suspicion includes using the first branch classification model that has learned a task of classifying the characteristics of the training medical image into a group to which the training medical image belongs, and using the first branch classification model of the lesion. The classification class and the probability classified by the malicious suspicion can be obtained. The group may be a non-malignant suspicious group and a malignant suspicious group.

상기 병변이 악성의심 조건에서 상기 악성 또는 상기 악성의심-양성으로 분류된 확률을 계산하는 단계는 상기 악성의심 그룹에 속하는 학습용 의료 영상의 특징을 해당 학습용 의료 영상에 어노테이션된 레이블로 분류하는 태스크를 학습한 상기 제2 브랜치 분류 모델을 이용하여, 상기 병변의 2차 분류 클래스, 그리고 상기 악성의심 조건에서 상기 악성 또는 상기 악성의심-양성으로 분류된 확률을 획득할 수 있다. 상기 레이블은 상기 악성 또는 상기 악성의심-양성일 수 있다.In the step of calculating the probability that the lesion is classified as malignant or malignant suspicious-positive under a suspicious malignant condition, learning a task of classifying the characteristics of a learning medical image belonging to the malignant suspicious group into a label annotated in the corresponding learning medical image Using the second branch classification model, it is possible to obtain a second classification class of the lesion and a probability of being classified as malignant or malignant suspicious-positive in the malignant suspicious condition. The label may be the malicious or the malicious suspicion-positive.

한 실시예에 따른 컴퓨팅 장치로서, 입력 영상에서 검출된 병변을 악성의심(suspicious) 또는 비-악성의심(non-suspicious)으로 분류하고, 악성의심 조건에서 상기 입력 영상에서 검출된 병변을 악성, 또는 악성의심되지만 양성인 악성의심-양성으로 분류하는 인공지능 모델을 저장하는 메모리, 그리고 상기 인공지능 모델을 이용하여, 분석 대상 영상에서 검출된 타겟 병변의 분류 클래스를 확인하고, 상기 분류 클래스가 상기 악성의심인 경우, 상기 타겟 병변에 대한 악성의심 확률, 악성의심-양성 확률 그리고 악성 확률 중 적어도 하나를 획득하며, 상기 타겟 병변에 대해 획득한 적어도 하나의 확률을 포함하는 판독 결과를 출력하는 프로세서를 포함한다.As a computing device according to an embodiment, a lesion detected in an input image is classified as suspicious or non-suspicious, and a lesion detected in the input image in a malignant suspicious condition is malignant, or A memory that stores an artificial intelligence model that is classified as a suspected malignant but benign malignant suspicion-positive, and a classification class of the target lesion detected in the image to be analyzed using the artificial intelligence model, and the classification class is the malignant suspicion. In the case of, a processor for obtaining at least one of a malicious suspicion probability, a malignant suspicion-positive probability, and a malignant probability for the target lesion, and outputting a read result including at least one probability obtained for the target lesion. .

상기 인공지능 모델은 상기 입력 영상에서 병변을 검출하기 위한 특징을 출력하도록 학습된 컨볼루션 신경망 기반의 특징 추출 모델, 상기 입력 영상의 특징을 상기 악성의심 또는 상기 비-악성의심으로 분류하도록 학습된 제1 브랜치 분류 모델, 그리고 상기 입력 영상의 특징을 상기 악성 또는 상기 악성의심-양성으로 분류하도록 학습된 제2 브랜치 분류 모델을 포함할 수 있다. 상기 제2 브랜치 분류 모델의 분류 결과는 상기 제1 브랜치 분류 모델의 분류 결과에 따라 선택적으로 상기 판독 결과에 반영될 수 있다.The artificial intelligence model is a convolutional neural network-based feature extraction model that has been trained to output features for detecting lesions from the input image, and a first trained to classify features of the input image as the malignant suspicion or the non-malignant suspicion. A branch classification model may include a first branch classification model, and a second branch classification model trained to classify the characteristics of the input image as the malicious or the malicious suspicious-positive. The classification result of the second branch classification model may be selectively reflected in the reading result according to the classification result of the first branch classification model.

상기 제1 브랜치 분류 모델은 상기 악성의심 또는 상기 비-악성의심으로 그룹핑된 의료 영상들을 이용하여, 입력 영상을 상기 악성의심 또는 상기 비-악성의심으로 분류하는 태스크를 학습한 분류 모델일 수 있다. 상기 제2 브랜치 분류 모델은 상기 악성의심으로 그룹핑된 의료 영상들과 해당 의료 영상에 어노테이션된 레이블을 이용하여, 입력 영상을 상기 악성 또는 상기 악성의심-양성으로 분류하는 태스크를 학습한 분류 모델일 수 있다. 상기 어노테이션된 레이블은 상기 악성 또는 상기 악성의심-양성일 수 있다.The first branch classification model may be a classification model obtained by learning a task of classifying an input image as the malicious suspicion or the non-malignant suspicion by using the medical images grouped by the malicious suspicion or the non-malignant suspicion. The second branch classification model may be a classification model in which a task of classifying an input image as the malicious or the malicious suspicion-positive using the medical images grouped with the malicious suspicion and a label annotated with the medical image is learned. have. The annotated label may be the malicious or the malicious suspicion-positive.

상기 프로세서는 상기 인공지능 모델을 구성하는 상기 특징 추출 모델의 출력을 상기 제1 브랜치 분류 모델과 상기 제2 브랜치 분류 모델로 분기하여 입력하고, 학습 데이터를 이용하여 상기 제1 브랜치 분류 모델과 상기 제2 브랜치 분류 모델을 독립적으로 학습시킬 수 있다.The processor branches and inputs the output of the feature extraction model constituting the artificial intelligence model into the first branch classification model and the second branch classification model, and the first branch classification model and the first branch classification model using training data Two branch classification models can be independently trained.

상기 프로세서는 학습 완료된 상기 제1 브랜치 분류 모델과 상기 제2 브랜치 분류 모델을 상기 특징 추출 모델에 병렬로 연결하여 상기 인공지능 모델을 생성하고, 상기 특징 추출 모델에서 출력된 특징에 대한 상기 제1 브랜치 분류 모델의 분류 클래스가 상기 악성의심인 경우, 상기 제2 브랜치 분류 모델의 분류 결과를 사용하여 상기 판독 결과를 생성할 수 있다.The processor generates the artificial intelligence model by connecting the learned first branch classification model and the second branch classification model in parallel to the feature extraction model, and the first branch for the feature output from the feature extraction model. When the classification class of the classification model is the malicious suspicion, the reading result may be generated by using the classification result of the second branch classification model.

상기 프로세서는 상기 타겟 병변의 분류 클래스가 상기 악성의심의 하위 분류 클래스인 악성의심-양성인 경우, 상기 타겟 병변이 악성의심-양성이라는 표시 정보, 그리고 상기 악성의심-양성 확률을 포함하는 판독 결과를 출력할 수 있다. 상기 악성의심-양성 확률은, 상기 인공지능 모델에서 상기 검출 병변이 상기 악성의심 조건에서 상기 악성의심-양성으로 분류된 확률과, 상기 악성의심으로 분류된 확률의 곱으로 계산될 수 있다.When the classification class of the target lesion is malignant suspicion-positive, which is a subclass of malignant suspicion, the processor outputs a reading result including indication information that the target lesion is malignant suspicion-positive, and the malicious suspicion-positive probability. can do. The malignant suspicion-positive probability may be calculated as a product of a probability that the detected lesion is classified as malignant suspicious-positive in the malignant suspicious condition in the artificial intelligence model and a probability classified as malignant suspicion.

상기 프로세서는 상기 타겟 병변의 분류 클래스가 상기 악성의심의 하위 분류 클래스인 악성인 경우, 상기 타겟 병변이 악성이라는 표시 정보, 그리고 상기 악성 확률을 포함하는 판독 결과를 출력할 수 있다. 상기 악성 확률은, 상기 인공지능 모델에서 상기 검출 병변이 상기 악성의심 조건에서 상기 악성으로 분류된 확률과 상기 악성의심으로 분류된 확률의 곱으로 계산될 수 있다.When the classification class of the target lesion is a malicious class that is a subclass of the malicious suspicion, the processor may output information indicating that the target lesion is malicious and a read result including the malicious probability. The malignant probability may be calculated as a product of a probability that the detected lesion is classified as malignant under the malignant suspicious condition in the artificial intelligence model and a probability classified as malignant suspicious.

실시예에 따르면 컴퓨팅 장치는 의료 영상에서 악성으로 의심되는 병변을 검출하고, 악성의심 병변을, 추가 검사(예를 들면, biopsy)에서 양성으로 판단될 병변과 악성으로 판단될 병변으로 분류해 주기 때문에, 의료진이 컴퓨팅 장치에서 악성의심 병변을 놓치지 않고 분석하였음을 알게 되어, 컴퓨팅 장치의 판독 결과를 신뢰할 수 있다.According to the embodiment, since the computing device detects a lesion suspected to be malignant in a medical image, and classifies a suspected malignant lesion into a lesion that will be determined as benign in an additional examination (e.g., biopsy) and a lesion that will be determined as malignant, , As it is learned that the medical staff has analyzed the suspected malignant lesion in the computing device without missing it, the reading result of the computing device can be trusted.

실시예에 따르면 컴퓨팅 장치는 의료 영상에서 악성의심 병변으로 판독되지만 추가 검사에서 양성으로 판단될 병변을 구별해 주므로, 양성인 악성의심 병변에 대한 불필요한 영상 촬영이나 조직 검사 등의 추가 검사를 줄일 수 있다.According to the embodiment, the computing device is read as a suspected malignant lesion from a medical image, but distinguishes a lesion that is to be determined as positive in an additional examination, so that additional examinations such as unnecessary imaging or biopsy of a benign suspected malignant lesion can be reduced.

실시예에 따르면 인공지능 모델이 의료 영상의 병변에 대해, 정상(normal), 명백한 양성(benign-easy), 악성의심이나 양성(benign-hard), 악성(cancer)으로 구별할 수 있어서, 판독 결과에 대해 설명 가능한 AI(eXplainable AI, XAI)를 제공할 수 있다.According to the embodiment, the artificial intelligence model can distinguish lesions of medical images into normal, obviously benign (benign-easy), malignant suspicion or benign (benign-hard), and malignant (cancer), the read result It can provide an eXplainable AI (XAI) that can explain about.

실시예에 따르면 인공지능 모델의 분류 모델들을 독립적으로 학습시키기 때문에 분류 클래스에 따라 학습 난이도가 다른 경우 발생할 수 있는 학습 편차를 해소할 수 있고, 상위 계층의 분류 결과에 따라 하위 계층의 분류 결과를 선택적으로 적용하여 판독 결과를 생성하므로 분류 모델들의 예측 확률을 충돌 없이 제공할 수 있다.According to the embodiment, since the classification models of the artificial intelligence model are independently trained, it is possible to solve the learning deviation that may occur when the learning difficulty is different according to the classification class, and the classification result of the lower layer is selectively selected according to the classification result of the upper layer. It is applied to generate the reading result, so the prediction probability of classification models can be provided without collision.

도 1은 한 실시예에 따른 인공지능 모델의 학습 데이터를 설명하는 도면이다.
도 2는 한 실시예에 따른 인공지능 모델을 학습시키는 방법을 설명하는 개념도이다.
도 3은 한 실시예에 따른 인공지능 모델을 독립적으로 학습시키는 방법을 설명하는 도면이다.
도 4는 한 실시예에 따른 인공지능 모델을 이용한 계층적 분류 방법을 설명하는 개념도이다.
도 5는 한 실시예에 따른 의료 영상에서 악성의심 병변을 구별하는 인공지능 모델을 학습시키는 방법의 흐름도이다.
도 6은 한 실시예에 따른 인공지능 모델을 이용하여 의료 영상의 판독 결과를 제공하는 방법의 흐름도이다.
도 7은 한 실시예에 따른 컴퓨팅 장치의 구성도이다.1 is a diagram illustrating training data of an artificial intelligence model according to an embodiment.
2 is a conceptual diagram illustrating a method of training an artificial intelligence model according to an embodiment.
3 is a diagram illustrating a method of independently learning an artificial intelligence model according to an embodiment.
4 is a conceptual diagram illustrating a hierarchical classification method using an artificial intelligence model according to an embodiment.
5 is a flowchart of a method of learning an artificial intelligence model for distinguishing a suspicious lesion from a medical image according to an exemplary embodiment.
6 is a flowchart of a method of providing a reading result of a medical image using an artificial intelligence model according to an exemplary embodiment.
7 is a block diagram of a computing device according to an embodiment.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.

명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In the specification, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, terms such as "... unit", "... group", and "module" described in the specification mean a unit that processes at least one function or operation, which can be implemented by hardware or software or a combination of hardware and software. have.

명세서에서, 태스크(task)란, 기계 학습을 통해 해결하고자 하는 과제 또는 기계 학습을 통해 수행하고자 하는 작업을 지칭한다. 예를 들어, 의료 영상(medical image)으로부터 인식, 분류, 예측 등을 수행한다고 할 때, 인식, 분류, 예측 각각이 개별 태스크에 대응될 수 있다. 본 발명의 인공지능 모델은 적어도 하나의 태스크를 학습하는 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어/프로그램으로 구현될 수 있다. 프로그램은 저장 매체(non-transitory storage media)에 저장되고, 프로세서에 의해 본 발명의 동작을 실행하도록 기술된 명령들(instructions)을 포함한다. 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.In the specification, a task refers to a task to be solved through machine learning or a task to be performed through machine learning. For example, when recognition, classification, and prediction are performed from a medical image, each of the recognition, classification, and prediction may correspond to individual tasks. The artificial intelligence model of the present invention is a model for learning at least one task, and may be implemented as a software/program executed on a computing device. The program is stored on a non-transitory storage media and includes instructions described by the processor to perform the operation of the present invention. The program can be downloaded over the network or sold as a product.

본 개시는 다양한 모달리티(modality)로 촬영된 다양한 부위의 의료 영상에 대해 적용될 수 있고, 예를 들면, 의료 영상의 모달리티는 엑스레이(X-ray), MRI(magnetic resonance imaging), 초음파(ultrasound), CT(computed tomography), MMG(Mammography), DBT(Digital breast tomosynthesis) 등과 같이 다양할 수 있다.The present disclosure can be applied to medical images of various regions photographed with various modalities. For example, the modalities of medical images include X-ray, magnetic resonance imaging (MRI), ultrasound, It may be various, such as computed tomography (CT), mammography (MMG), digital breast tomosynthesis (DBT), and the like.

먼저, 병원에서 의료 영상을 판독하고, 악성 병변을 검출하는 방법에 대해 살펴본다. 예를 들어, 유방촬영영상에서 악성으로 의심되는 병변이 판독되면, 의사는 환자에 대한 추가 검사(recall)(예를 들면, 유방 초음파, MRI, biopsy)를 통해 악성의심 병변이 악성인지 확인하고, 조직 검사에서 악성의심 병변이 악성이면, 수술 및 치료를 진행한다. First, a method of reading a medical image in a hospital and detecting a malignant lesion will be described. For example, if a lesion suspected to be malignant is read on a mammography, the doctor checks whether the suspected malignant lesion is malignant through an additional recall of the patient (e.g., breast ultrasound, MRI, biopsy), If the lesion is malignant in the biopsy, surgery and treatment are performed.

한편, 유방촬영영상에서 악성으로 의심되는 병변이 판독되었지만, 조직 검사 (biopsy)에서 양성으로 판별(false positive)될 수 있다. 이 경우, 환자는 양성 판별에 안도할 수 있지만 양성 확진 전까지 심리적으로 불안한 상태에 놓이게 되고, 영상촬영이나 조직 검사 등의 추가 검사에 비용을 지출하게 된다. 따라서, 환자를 위해 정확한 영상 판독이 중요한데, 숙련된 의사라고 할지라도 영상에서 악성의심 병변을 추가 검사 없이 양성으로 판독하는 것이 쉽지 않다. 하지만, 실제 학계 보고에 따르면, 유방촬영술의 경우, 영상 판독에서 악성으로 의심되는 병변에 대한 추가 검사에서, 약 90~95% 정도가 false positive라는 보고가 있는 점으로 볼 때, 악성의심 병변을 악성 또는 양성으로 잘 구별하는 것이 필요하다.On the other hand, although a lesion suspected of being malignant was read on a mammography image, it may be identified as a false positive in a biopsy. In this case, the patient may be relieved to determine positive, but is in a psychologically unstable state until positive confirmation, and costs are spent on additional tests such as imaging or biopsy. Therefore, accurate image reading is important for patients, and it is not easy to read a suspicious malignant lesion in an image as positive without additional examination, even for an experienced doctor. However, according to an actual academic report, in the case of mammography, about 90 to 95% of the additional examination of the lesion suspected to be malignant in the image reading is reported as false positive, so that the suspected malignant lesion is malignant. Or it is necessary to distinguish well as positive.

최근에, 의사는 AI 기반 의료 영상 판독 기술이 구현된 진단 보조 시스템으로부터 의료 영상에 포함된 악성 병변 정보를 제공받고, 이를 참고하여 진단할 수 있다. 딥러닝 기반의 Mammography CAD(computer aided detection/diagnosis)는 점차 악성 병변을 검출하는 성능이 향상되어 false positive rate를 낮출 수 있다.Recently, a doctor may receive information on a malignant lesion included in a medical image from a diagnosis assistance system implemented with an AI-based medical image reading technology, and diagnose it by referring to it. Mammography computer aided detection/diagnosis (CAD) based on deep learning gradually improves the ability to detect malignant lesions, thereby lowering the false positive rate.

한편, 지금까지의 진단 보조 시스템은 악성 병변을 검출하도록 학습되기 때문에, 악성 병변 검출 성능이 향상되고 있지만, 악성이 아니라고 판단한 병변 정보를 제공하지 않아서 다음과 같이 새로운 문제점이 대두되고 있다. 의사는 의료 영상에서 악성으로 의심되는 병변이 보이지만, 진단 보조 시스템에서는 악성으로 검출되지 않은 경우, 의사는, 진단 보조 시스템이 악성 병변을 제대로 검출하지 못한 것인지, 양성이라서 악성으로 검출하지 않은 것인지 알 수 없다. 특히, 숙련도가 낮은 의사이거나, 해당 분야의 판독의가 아닌 경우, 추가 검사를 통해 양성으로 진단될 병변을 악성으로 의심할 가능성이 더 높아져, 진단 보조 시스템이 악성 병변을 제대로 검출하지 못한 것으로 오해할 수 있다. 이러한 문제는 현재 AI 기반 의료 영상 판독 제품의 활용에 장애가 될 수 있어서, 의료진이 판독 결과를 신뢰할 수 있는 새로운 인공지능 모델이 필요하다.On the other hand, since the diagnostic assistance system up to now is learned to detect malignant lesions, the performance of detecting malignant lesions is improving, but it does not provide information on lesions determined to be non-malignant, and thus a new problem has emerged as follows. If the doctor sees a lesion that is suspected to be malignant on the medical image, but the diagnosis auxiliary system does not detect it as malignant, the doctor can tell whether the diagnosis auxiliary system did not properly detect the malignant lesion or whether it was benign and not detected as malignant. none. In particular, if you are a low-skilled doctor or a non-reading doctor in the field, you are more likely to suspect a lesion that will be diagnosed as benign through an additional test, and the diagnosis auxiliary system may be mistaken as not properly detecting the malignant lesion. I can. This problem can be an obstacle to the use of current AI-based medical image reading products, so a new artificial intelligence model is needed in which medical staff can trust the reading results.

이러한 문제를 해결하기 위해, 악성으로 의심되는 병변이지만, 영상 판독으로 양성 병변과 악성 병변을 구별하도록 인공지능 모델을 학습시키고, 추가검사 없이도 인공지능 모델을 이용하여 양성인 악성의심 병변에 대한 정보를 판독 결과로 제공하는 방법에 대해 다음에서 자세히 설명한다.To solve this problem, the lesion is suspected of being malignant, but the artificial intelligence model is trained to distinguish between benign lesions and malignant lesions by reading an image, and information on benign malignant lesions is read using the artificial intelligence model without additional tests. The method of providing the result is described in detail below.

도 1은 한 실시예에 따른 인공지능 모델의 훈련 데이터를 설명하는 도면이다.1 is a diagram illustrating training data of an artificial intelligence model according to an embodiment.

도 1을 참고하면, 인공지능 모델은 학습 데이터를 기초로, 분류 클래스에 해당하는 의료 영상의 특징을 학습하고, 특징을 기초로 병변/질병을 복수의 클래스들로 분류하는 태스크에 대해 학습한다. Referring to FIG. 1, the artificial intelligence model learns a feature of a medical image corresponding to a classification class based on training data, and learns a task of classifying a lesion/disease into a plurality of classes based on the feature.

복수의 클래스들은 그룹화가 가능하고, 계층 관계에 따라 분류될 수 있는 종류의 분류 클래스들이면 된다. 다음에서 복수의 클래스들로서 병변에 대한 분류 클래스를 예로 들어 설명하고, 구체적으로 비-악성의심(non-suspicious), 악성의심(suspicious)되나 양성(악성의심-양성)(benign-hard), 그리고 악성(cancer, malignant)을 포함한다고 가정한다. 악성의심-양성(benign-hard)과 악성(cancer)은 악성의심(suspicious) 클래스에 속하고, 악성의심(suspicious)의 하위 계층에 해당한다. 정상(normal)과 명백한 양성(benign-easy)은 비-악성의심(non-suspicious) 클래스에 속하고, 비-악성의심(non-suspicious)의 하위 계층에 해당한다. 한편, 인공지능 모델은, 정상(normal)과 명백한 양성(benign-easy)을 구분하지 않고, 이들을 비-악성의심 클래스로 분류할 수 있다. 추가적으로, 인공지능 모델은, 의료 영상을 악성(cancer)과 비-악성으로 분류하거나, 의료 영상을 양성(benign)과 비-양성으로 분류할 수 있다. “benign-hard”와 “benign-easy”는 양성(benign)으로의 판독 난이도를 나타낸 것으로서, 악성의심-양성과 명백한 양성을 구분하기 위해 필요 시 영어 병기한다. 악성은 설명의 편의를 위해 “cancer”로만 영어 병기한다.A plurality of classes may be grouped and may be classified classes of a class that can be classified according to a hierarchical relationship. In the following, a classification class for lesions is described as an example as a plurality of classes, and specifically non-suspicious, suspicious but benign (benign-hard), and malignant (cancer, malignant) is assumed to be included. Benign-hard and cancer belong to the suspicious class, and belong to the lower layer of suspicious. Normal and benign-easy belong to the non-suspicious class, and correspond to the lower class of non-suspicious. On the other hand, the artificial intelligence model can classify them into a non-malignant class without distinguishing between normal and benign-easy. Additionally, the artificial intelligence model may classify medical images into cancer and non-malignant, or classify medical images into benign and non-positive. “Benign-hard” and “benign-easy” indicate the difficulty of reading as benign, and are written in English when necessary to distinguish between suspicious malignant-positive and apparent positive. Malicious words are written in English only as "cancer" for convenience of explanation.

여기서, 명백한 양성(benign-easy) 병변은 영상 판독에서 악성으로 의심되지 않아서 양성으로 판독하기 쉬운 양성 병변을 의미한다. 악성의심-양성(benign-hard) 병변은 영상 판독에서 악성으로 의심되지만 추가 검사에서 양성으로 진단될 병변으로서, 양성으로 판독하기 어려운 양성 병변을 의미한다. 악성 병변은 영상 판독에서 악성으로 의심되고 추가 검사에서 악성으로 진단될 병변을 의미한다.Here, the obvious benign (benign-easy) lesion means a benign lesion that is easy to read as benign because it is not suspected of being malignant in image reading. Malignant suspicious-benign-hard lesions are lesions that are suspected to be malignant in image reading, but will be diagnosed as benign in further examination, and refer to benign lesions that are difficult to read as benign. Malignant lesions refer to lesions that are suspected of being malignant by image reading and that will be diagnosed as malignant by further examination.

이하, 설명에서 클래스 구분에 대해 분류로 표현하나, 구분은 구별 또는 분류로 표현될 수도 있다. 따라서, “구분”, “구별”, “분류”는 혼용될 수 있고, 서로 치환될 수 있다.In the following description, class classification is expressed as a classification, but classification may be expressed as a classification or classification. Therefore, “division”, “division”, and “classification” may be used interchangeably and may be substituted with each other.

인공지능 모델을 학습시키기 위한 학습 데이터는 각 의료 영상과 이의 분류 클래스가 어노테이션된 레이블(label)로 구성된다. 예를 들어, 학습 데이터는 정상(normal), 명백한 양성(benign-easy), 악성의심-양성(benign-hard), 악성(cancer)이 어노테이션된 의료 영상들일 수 있다. 이때, 정상(normal)이 어노테이션된 영상과 명백한 양성(benign-easy)이 어노테이션된 영상에 비-악성의심(non-suspicious)이 추가로 어노테이션될 수 있다. 악성의심-양성(benign-hard)이 어노테이션된 영상과 악성(cancer)이 어노테이션된 영상에 악성의심(suspicious)이 추가로 어노테이션될 수 있다.The training data for training the artificial intelligence model consists of a label annotated with each medical image and its classification class. For example, the training data may be medical images annotated with normal, benign-easy, benign-hard, and cancerous. In this case, non-suspicious may be additionally annotated to the image to which the normal is annotated and the image to which the benign-easy is annotated. Suspicious may be additionally annotated in images with a benign-hard annotation and an image with a cancer annotated.

정상(normal)인 영상은, 영상 판독에서 정상으로 판독된 영상으로서, 정확성을 높이기 위해, 일정 시간(예를 들면, 1년) 이후에 촬영된 영상에서도 정상으로 확인된 환자들의 영상들이 학습 데이터로 수집될 수 있다.A normal image is an image that was read as normal in image reading, and in order to increase accuracy, images of patients who were confirmed to be normal even in images taken after a certain period of time (for example, 1 year) are used as learning data. Can be collected.

명백한 양성(benign-easy)인 영상은, 영상 판독에서 양성으로 판독된 영상으로서, 정확성을 높이기 위해, 일정 시간(예를 들면, 1년) 이후에 촬영된 영상에서도 여전히 양성으로 확인된 환자들의 영상들이 학습 데이터로 수집될 수 있다.An image that is clearly benign is an image that is read as positive in image reading, and in order to increase accuracy, images of patients who are still positive in images taken after a certain period of time (eg, 1 year). Can be collected as training data.

악성의심-양성(benign-hard)인 영상은, 영상 판독에서 악성의심되어 추가검사(예를 들면, 조직검사)를 진행했으나 최종 양성으로 진단된 영상이다. Malignant suspicious-positive (benign-hard) images are images that were diagnosed as positive after an additional examination (eg, biopsy) was performed due to a malignant suspicion in the image reading.

악성(cancer)인 영상은, 영상 판독에서 악성의심되어 추가검사를 진행한 결과, 최종 악성으로 진단된 영상이다. An image that is malignant is an image that was diagnosed as a final malignant as a result of performing an additional examination due to a suspicion of malignant in the image reading.

한편, 정상(normal), 명백한 양성(benign-easy), 악성의심-양성(benign-hard), 악성(cancer)이 어노테이션된 의료 영상들이 학습 데이터로 수집된다고 하더라도, 알려진 일반적인 분류(classification) 모델로는 의료 영상에서 양성인 악성의심 병변(benign-hard)과 악성 병변(cancer)을 구별하는 것이 쉽지 않다.On the other hand, although normal, benign-easy, malignant-benign-hard, and cancer-annotated medical images are collected as training data, they are used as a known general classification model. It is not easy to distinguish benign-hard and malignant lesions (cancer), which are benign in medical imaging.

예를 들어, 분류 모델이, 입력 영상을 비-악성의심(non-suspicious), 악성의심-양성(benign-hard), 그리고 악성(cancer)으로 분류하는 태스크에 대해 학습하는 경우, 악성의심-양성(benign-hard)/악성(cancer)과 비-악성의심(non-suspicious)을 구별하는 것에 비해, 악성의심-양성(benign-hard)과 악성(cancer)을 구별하는 것이 훨씬 어렵다. 따라서, 분류 모델이 악성의심-양성(benign-hard)과 악성(cancer)을 분류하는 학습을 잘 하지 못하고, 비-악성의심(non-suspicious)을 분류하는 학습에만 집중할 수 있다.For example, if the classification model learns about tasks that classify input images as non-suspicious, benign-hard, and cancerous, malicious suspicious-positive Compared to distinguishing between benign-hard/cancer and non-suspicious, it is much more difficult to distinguish between benign-hard and cancer. Therefore, the classification model is not good at learning to classify malignant suspicion-benign-hard and malignant (cancer), and can focus only on learning to classify non-suspicious.

또는 분류 모델이 입력 영상을 비-악성의심(non-suspicious)과 악성의심(suspicious)으로 분류하는 모델, 그리고 입력 영상을 악성(cancer)와 비악성(non-cancer)으로 분류하는 모델로 구성될 수 있다. 이 분류 모델은 입력 영상에 대해 두 모델에서 각각 분류된 결과를 출력하는데, 악성의심 확률과 악성 확률이 상관관계없이 독립적으로 계산되므로, 두 모델의 예측 결과가 충돌될 수 있다. 예를 들어, 입력 영상에 대한 악성의심 확률이 0.1인데 악성 확률이 0.9로 예측되는 경우, 혼란스러운 판독 결과가 나올 수 있다.Alternatively, the classification model will consist of a model that classifies the input image into non-suspicious and suspicious, and a model that classifies the input image into cancer and non-cancer. I can. This classification model outputs the results classified by each of the two models for the input image. Since the malicious suspicion probability and the malicious probability are calculated independently, the prediction results of the two models may collide. For example, if the probability of malicious suspicion for the input image is 0.1 and the probability of maliciousness is predicted to be 0.9, a confusing reading result may be produced.

이러한 문제를 해결하기 위해, 본 개시는, 정상(normal), 명백한 양성(benign-easy), 악성의심-양성(benign-hard), 악성(cancer)이 어노테이션된 의료 영상들을 상위 분류 클래스인 악성의심(suspicious)과 비-악성의심(non-suspicious)으로 그룹핑한 후, 계층적으로 그룹핑된 학습 데이터를 인공지능 모델의 분류 모델들 학습에 사용한다. In order to solve this problem, the present disclosure includes medical images annotated with normal, obviously benign (benign-easy), malignant suspicion-positive (benign-hard), and malignant (cancer). After grouping into (suspicious) and non-suspicious (non-suspicious), the hierarchically grouped training data is used to train classification models of the artificial intelligence model.

이때, 인공지능 모델의 분류 모델들 각각은 분류 클래스에 적합하게 그룹핑된 학습 데이터를 독립적으로 학습하여, 학습 난이도가 다른 분류 클래스에 의해 발생할 수 있는 학습 편차를 해소할 수 있다. 그리고, 독립적으로 학습된 분류 모델들은 계층 관계가 있어서, 상위 분류 모델의 분류 결과에 따라 하위 분류 모델의 분류 결과가 판독 결과에 반영되므로, 독립적으로 동작하는 분류 모델들의 예측 확률을 충돌 없이 제공할 수 있다.In this case, each of the classification models of the artificial intelligence model independently learns training data grouped appropriately for the classification class, thereby solving a learning deviation that may be caused by a classification class having a different learning difficulty. In addition, since the independently learned classification models have a hierarchical relationship, the classification result of the lower classification model is reflected in the reading result according to the classification result of the upper classification model, so that the prediction probability of the independently operated classification models can be provided without collision. have.

다음에서, 학습 데이터를 이용하여, 의료 영상에서 악성으로 의심되는 병변을 구별하고, 악성의심 병변을 악성 또는 양성으로 구별하는 인공지능 모델, 인공지능 모델을 학습시키는 방법, 그리고 이를 구현한 컴퓨팅 장치에 대해 자세히 설명한다. In the following, using the training data, an artificial intelligence model that distinguishes suspected malignant lesions from medical images and distinguishes a malignant lesion as malignant or benign, a method of learning an artificial intelligence model, and a computing device implementing the same Explain in detail.

도 2는 한 실시예에 따른 인공지능 모델을 학습시키는 방법을 설명하는 개념도이고, 도 3은 한 실시예에 따른 인공지능 모델의 독립적 학습을 설명하는 도면이다.FIG. 2 is a conceptual diagram illustrating a method of training an artificial intelligence model according to an exemplary embodiment, and FIG. 3 is a diagram illustrating independent learning of an artificial intelligence model according to an exemplary embodiment.

도 2를 참고하면, 컴퓨팅 장치(10)는 학습 데이터(20)를 이용하여, 인공지능 모델(100)을 구성하는 특징 추출 모델(Feature extractor)(110) 및 브랜치 분류 모델들(130, 150, 170)을 분류 태스크에 따라 독립적으로 학습시킨다. 학습 데이터(20)는 정상(normal), 명백한 양성(benign-easy), 악성의심-양성(benign-hard), 악성(cancer)이 어노테이션된 의료 영상들을 포함하고, 이들은 상위 분류 클래스인 비-악성의심(non-suspicious)과 악성의심(suspicious)으로 그룹핑되어 있다. 의료 영상들에 비-악성의심(non-suspicious)과 악성의심(suspicious)이 레이블로 어노테이션되어 있을 수 있다. 브랜치 분류 모델들의 수는 분류 클래스, 모델 설계 중 적어도 하나에 따라 다양하게 선택될 수 있다.Referring to FIG. 2, the computing device 10 uses the training data 20 to provide a feature extractor 110 and branch classification models 130 and 150 constituting the artificial intelligence model 100. 170) is independently trained according to the classification task. The training data 20 includes medical images annotated with normal, benign-easy, benign-hard, and cancer annotated, and these are the higher classification classes, non-malignant. It is grouped into non-suspicious and suspicious. Medical images may be annotated with non-suspicious and suspicious labels. The number of branch classification models may be variously selected according to at least one of a classification class and a model design.

특징 추출 모델(110)은 입력 영상의 특징을 추출하는 신경망 모델로서, 컨볼루션 신경망(Convolutional Neural Network, CNN) 모델을 포함할 수 있다. 특징 추출 모델(110)은 입력 영상에서 다양한 종류의 병변을 검출하도록 학습될 수 있다. 예를 들면, 특징 추출 모델(110)은 입력 영상에서, 병변을 검출하기 위한 특징을 추출하도록 학습될 수 있고, 입력 영상에서 병변을 검출하기 위한 특징을 추출할 수 있다.The feature extraction model 110 is a neural network model for extracting features of an input image, and may include a convolutional neural network (CNN) model. The feature extraction model 110 may be trained to detect various types of lesions in an input image. For example, the feature extraction model 110 may be trained to extract a feature for detecting a lesion from an input image, and may extract a feature for detecting a lesion from an input image.

브랜치-1(branch-1) 분류 모델(130)은 전체 학습 데이터(20)를 이용하여, 입력 영상 특징을 악성의심과 비-악성의심으로 분류하는 태스크를 학습한다. 예를 들면, 브랜치-1 분류 모델(130)은 특징 추출 모델(110)이 추출한 특징을 기초로, 입력 영상의 특징을 악성의심과 비-악성의심으로 분류하는 태스크를 학습할 수 있다. 브랜치-1 분류 모델(130)은 입력 영상 특징의 악성의심 확률 p(suspicious)를 출력할 수 있다. 브랜치-1 분류 모델(130)은 입력 영상 특징을 완전 연결하는 레이어(Fully-connected layer)(512x1)와 악성의심 확률 p(suspicious)을 출력하는 활성 함수(예를 들면, sigmoid function)로 구성될 수 있다.The branch-1 classification model 130 learns a task of classifying an input image feature into a malicious suspicion and a non-malignant suspicion by using the entire training data 20. For example, the branch-1 classification model 130 may learn a task of classifying a feature of an input image into a malicious suspicion and a non-malignant suspicion based on the features extracted by the feature extraction model 110. The branch-1 classification model 130 may output a malicious suspicious probability p (suspicious) of the input image feature. The branch-1 classification model 130 is composed of a fully-connected layer (512x1) that completely connects input image features and an active function (e.g., a sigmoid function) that outputs a suspicious probability p (suspicious). I can.

브랜치-2(branch-2) 분류 모델(150)은 전체 학습 데이터(20) 중 악성의심 레이블을 가진 영상들을 이용하여, 입력 영상 특징을 악성과 악성의심-양성으로 분류하는 태스크를 학습한다. 예를 들면, 브랜치-2 분류 모델(150)은 특징 추출 모델(110)이 추출한 특징을 기초로, 입력 영상의 특징을 악성과 악성의심-양성으로 분류하는 태스크를 학습할 수 있다. 브랜치-2 분류 모델(150)은 입력 영상 특징을 완전 연결하는 레이어(Fully-connected layer)(512x1), 그리고 활성 함수(예를 들면, sigmoid function)로 구성될 수 있다. The branch-2 classification model 150 learns a task of classifying input image features into malicious and malicious suspicious-positive by using images with a malicious suspicious label among all training data 20. For example, the branch-2 classification model 150 may learn a task of classifying features of an input image into malicious and malicious suspicious-positive based on the features extracted by the feature extraction model 110. The branch-2 classification model 150 may include a fully-connected layer 512x1 and an active function (eg, a sigmoid function) for completely connecting input image features.

브랜치-1 분류 모델(130) 및 브랜치-2 분류 모델(150) 이외에도, 컴퓨팅 장치(100)가 적어도 하나의 추가 브랜치 분류 모델(170)을 학습시킬 수 있다. 추가 브랜치 분류 모델(170)에 대해서는 이하 설명한다.In addition to the branch-1 classification model 130 and the branch-2 classification model 150, the computing device 100 may train at least one additional branch classification model 170. The additional branch classification model 170 will be described below.

도 3을 참고하면, 컴퓨팅 장치(10)는, 브랜치-1 분류 모델(130), 브랜치-2 분류 모델(150), 그리고 추가 브랜치 분류 모델(170) 각각이 특징 추출 모델(110)에 연결된 신경망 모델을 학습시킨다. 즉, 학습 시, 특징 추출 모델(110)의 컨볼루션 레이어들은 공유되고, 특징 추출 모델(110)에서 출력된 특징들은 분기되어 각 태스크를 수행하는 브랜치 분류 모델로 입력된다. 각 브랜치 분류 모델의 학습은 입력되는 학습 데이터의 레이블에 따라 진행된다.Referring to FIG. 3, the computing device 10 includes a branch-1 classification model 130, a branch-2 classification model 150, and an additional branch classification model 170, respectively, a neural network connected to the feature extraction model 110. Train the model. That is, during training, the convolutional layers of the feature extraction model 110 are shared, and features output from the feature extraction model 110 are branched and input to a branch classification model that performs each task. Each branch classification model is trained according to a label of input training data.

특징 추출 모델(110)는 입력 영상의 특징을 추출하는 태스크를 학습하고, 추출된 특징을 출력한다. 입력 영상의 특징은 입력 영상에서 병변을 검출하기 위한 특징일 수 있다. 추출된 특징은 브랜치 분류 모델들(130, 150, 170)로 입력된다. 이때, 입력 영상의 레이블에 따라 학습하는 브랜치 분류 모델이 달라질 수 있다. 전체 학습 데이터(20)의 특징들과 레이블(suspicious, non-suspicious)은, 입력 영상 특징을 악성의심과 비-악성의심으로 분류하는 태스크를 학습하는 브랜치-1 분류 모델(130)로 입력되고, 브랜치-1 분류 모델(130)은 각 특징에 매핑된 레이블(suspicious, non-suspicious)을 출력하는 분류 학습을 한다. 전체 학습 데이터(20) 중 악성의심 그룹의 특징들과 레이블(benign-hard, cancer)은, 입력 영상 특징을 악성의심-양성과 악성으로 분류하는 태스크를 학습하는 브랜치-2 분류 모델(150)로 입력되고, 브랜치-2 분류 모델(150)은 각 특징에 매핑된 레이블(benign-hard, cancer)을 출력하는 분류 학습을 한다. The feature extraction model 110 learns a task of extracting features of an input image and outputs the extracted features. The feature of the input image may be a feature for detecting a lesion in the input image. The extracted feature is input to the branch classification models 130, 150, and 170. In this case, the branch classification model to be learned may vary according to the label of the input image. The features and labels (suspicious, non-suspicious) of the entire training data 20 are input to the branch-1 classification model 130 that learns the task of classifying the input image features into malicious suspicion and non-malignant suspicion, The branch-1 classification model 130 performs classification learning to output a label (suspicious, non-suspicious) mapped to each feature. Among all the training data 20, the characteristics and labels (benign-hard, cancer) of the malicious suspicious group are the branch-2 classification model 150 that learns the task of classifying the input image characteristics into malicious suspicion-positive and malicious. After being input, the branch-2 classification model 150 performs classification learning to output a label (benign-hard, cancer) mapped to each feature.

구체적으로, 인공지능 모델(100)을 구성하는 특징 추출 모델(110), 브랜치 분류 모델들(130, 150, 170)은 컴퓨팅 장치(10)에 의해 다음과 같이 학습될 수 있다.Specifically, the feature extraction model 110 and the branch classification models 130, 150, and 170 constituting the artificial intelligence model 100 may be learned by the computing device 10 as follows.

특징 추출 모델(110)는 입력 영상의 특징을 추출하는 컨볼루션 레이어들로 구성된 신경망 모델이고, 전체 학습 데이터(20)를 이용하여, 영상에서 병변을 검출하기 위한 특징을 추출하는 학습을 한다. 특징 추출 모델(110)는 예를 들면, CNN 기반의 ResNet으로 구현될 수 있고, 출력되는 특징 맵의 차원은 512일 수 있다.The feature extraction model 110 is a neural network model composed of convolutional layers for extracting features of an input image, and learns to extract features for detecting a lesion from an image using the entire training data 20. The feature extraction model 110 may be implemented as, for example, a CNN-based ResNet, and the dimension of the output feature map may be 512.

브랜치-1 분류 모델(130)은 전체 학습 데이터(20)의 영상들과 레이블을 이용하여, 입력 영상을 비-악성의심(non-suspicious)과 악성의심(suspicious)으로 분류하는 학습을 한다. 학습 데이터(20)는 비-악성의심(non-suspicious)이 어노테이션된 영상들과 악성의심(suspicious)이 어노테이션된 영상들일 수 있다. 즉, 브랜치-1 분류 모델(130)은 전체 학습 데이터(20)를 이용하여 상위 클래스의 분류 태스크를 학습한다. The branch-1 classification model 130 learns to classify the input image into non-suspicious and suspicious, using images and labels of the entire training data 20. The training data 20 may be images to which non-suspicious is annotated and images to which suspicious is annotated. That is, the branch-1 classification model 130 learns the classification task of the upper class using the entire training data 20.

브랜치-1 분류 모델(130)은 악성의심(suspicious)에 해당하는 분류 결과를 POSITIVE로 출력할 수 있고, 악성의심 확률 p(suspicious)을 출력할 수 있다. 브랜치-1 분류 모델(130)은 입력 영상 특징을 완전 연결하는 레이어(Fully-connected layer)(512x1)와 악성의심 확률 p(suspicious)을 출력하는 활성 함수(예를 들면, sigmoid function)로 구성될 수 있다.The branch-1 classification model 130 may output a classification result corresponding to a malicious suspiciousness as POSITIVE, and may output a malicious suspicious probability p (suspicious). The branch-1 classification model 130 is composed of a fully-connected layer (512x1) that completely connects input image features and an active function (e.g., a sigmoid function) that outputs a suspicious probability p (suspicious). I can.

브랜치-2 분류 모델(150)은 전체 학습 데이터(20) 중 악성의심 그룹의 영상들과 레이블을 이용하여, 입력 영상을 악성(cancer)과 악성의심-양성(benign-hard)으로 분류하는 학습을 한다. 악성의심 그룹은 악성의심-양성(benign-hard) 또는 악성(cancer)이 어노테이션된 영상들일 수 있다. 즉, 브랜치-2 분류 모델(150)은 전체 학습 데이터(20) 중에서, 악성의심으로 분류된 영상들만을 이용하여 하위 클래스의 분류 태스크를 학습한다. The branch-2 classification model 150 uses the images and labels of the malicious suspicious group among the entire training data 20 to learn to classify the input images into malicious (cancer) and malicious suspicious-benign-hard. do. The malignant suspicious group may be images annotated with malignant suspicion-positive (benign-hard) or malicious (cancer). That is, the branch-2 classification model 150 learns a classification task of a lower class using only images classified as malicious suspicion among all the training data 20.

브랜치-2 분류 모델(150)은 악성에 해당하는 분류 결과를 POSITIVE로 출력할 수 있다. 브랜치-2 분류 모델(150)은 입력 영상 특징을 완전 연결하는 레이어(Fully-connected layer)(512x1), 그리고 활성 함수(예를 들면, sigmoid function)로 구성될 수 있다. 이때, 브랜치-2 분류 모델(150)은 악성의심 그룹에서 악성을 분류한 것이므로, 활성 함수는 악성의심이라는 가정에서 악성인 조건부 확률 p(cancer|suspicious)을 출력할 수 있다.The branch-2 classification model 150 may output a classification result corresponding to malicious as POSITIVE. The branch-2 classification model 150 may include a fully-connected layer 512x1 and an active function (eg, a sigmoid function) for completely connecting input image features. At this time, since the branch-2 classification model 150 classifies malicious in the malicious suspicious group, a conditional probability p(cancer|suspicious) that is malicious may be output under the assumption that the active function is malicious suspicion.

추가 브랜치 분류 모델(170)는 전체 학습 데이터(20) 중에서 분류 태스크에 따라 선택된 영상들과 레이블을 이용하여, 해당 분류 태스크를 학습할 수 있다. 예를 들면, 추가 브랜치 분류 모델(170)는 전체 학습 데이터(20) 중 정상(normal) 또는 명백한 양성(benign-easy)이 어노테이션된 영상들을 이용하여, 입력 영상을 정상(normal)과 명백한 양성(benign-easy)으로 분류하는 학습을 할 수 있다. 또는 추가 브랜치 분류 모델(170)는 전체 학습 데이터(20) 중 양성(benign-easy, benign-hard)과 기타(정상 또는 악성)가 어노테이션된 영상들을 이용하여, 입력 영상에서 양성 병변을 분류하는 학습을 할 수 있다. 추가 브랜치 분류 모델(170) 역시, 입력 영상 특징을 완전 연결하는 레이어, 그리고 활성 함수로 구성될 수 있다.The additional branch classification model 170 may learn a corresponding classification task by using images and labels selected according to the classification task among the entire training data 20. For example, the additional branch classification model 170 uses images that are annotated with normal or benign-easy among the total training data 20, and converts the input image to normal and positive ( benign-easy). Alternatively, the additional branch classification model 170 is a learning to classify benign lesions in the input image using images annotated with benign (benign-easy, benign-hard) and other (normal or malignant) among the total training data 20. can do. The additional branch classification model 170 may also be composed of a layer completely connecting input image features and an activation function.

이와 같이, 인공지능 모델(100)을 구성하는 브랜치 분류 모델들(130, 150, 170) 각각은 해당 분류 태스크에 적합한 학습 데이터를 통해 독립적으로 학습한다. 따라서, 인공지능 모델(100)을 학습시킬 때, 더 쉬운 태스크로 학습이 집중되지 않고, 브랜치-1 분류 모델(130)과 브랜치-2 분류 모델(150) 각각이 해당 태스크를 균형적으로 학습할 수 있다. In this way, each of the branch classification models 130, 150, and 170 constituting the artificial intelligence model 100 independently learns through training data suitable for the corresponding classification task. Therefore, when training the artificial intelligence model 100, learning is not focused on an easier task, and each of the branch-1 classification model 130 and the branch-2 classification model 150 learns the corresponding task in a balanced manner. I can.

독립적으로 학습된 브랜치 분류 모델들은 검출된 병변에 대한 악성의심 확률 p(suspicious), 악성으로 분류된 확률 p(cancer|suspicious) 등을 출력하는데, 상위 분류 모델인 브랜치-1 분류 모델(130)의 분류 결과에 따라, 하위 분류 모델인 브랜치-2 분류 모델(150)이나 추가 브랜치 분류 모델(170)의 분류 결과가 판독 결과에 반영되거나 반영되지 않을 수 있다. 이러한 계층적 분류를 통해 인공지능 모델(100)은 입력된 의료 영상의 병변을 다양한 클래스들로 구별할 수 있다. The independently learned branch classification models output the probability p(suspicious) of malignant suspiciousness and the probability p(cancer|suspicious) classified as malignant for the detected lesion. Depending on the classification result, the classification result of the branch-2 classification model 150 or the additional branch classification model 170, which is a lower classification model, may or may not be reflected in the read result. Through this hierarchical classification, the artificial intelligence model 100 may classify lesions of an input medical image into various classes.

도 4는 한 실시예에 따른 인공지능 모델을 이용한 계층적 분류 방법을 설명하는 개념도이다.4 is a conceptual diagram illustrating a hierarchical classification method using an artificial intelligence model according to an embodiment.

도 4를 참고하면, 인공지능 모델(100)은, 분류 클래스에 맞게 선택된 분류 모델들이 조합된 구조로 구현될 수 있다. Referring to FIG. 4, the artificial intelligence model 100 may be implemented in a structure in which classification models selected according to a classification class are combined.

예를 들면, 인공지능 모델(100)은 입력된 의료 영상의 특징을 추출하는 특징 추출 모델(110), 특징 추출 모델(110)에서 추출된 특징을 비-악성의심(non-suspicious)과 악성의심(suspicious)으로 분류하는 브랜치-1 분류 모델(130), 그리고 특징 추출 모델(110)에서 추출된 특징을 악성의심-양성(benign-hard)과 악성(cancer)으로 분류하는 브랜치-2 분류 모델(150)을 포함한다. 이외에도, 인공지능 모델(100)은 특징 추출 모델(110)에서 추출된 특징을 정상(normal)과 명백한 양성(benign-easy)으로 분류하는 추가 브랜치 분류 모델(미도시)을 더 포함할 수 있다. For example, the artificial intelligence model 100 is a feature extraction model 110 that extracts features of an input medical image, and features extracted from the feature extraction model 110 are non-suspicious and malicious. A branch-1 classification model 130 classified as (suspicious), and a branch-2 classification model that classifies features extracted from the feature extraction model 110 into malicious suspicious-positive (benign-hard) and malicious (cancer) ( 150). In addition, the artificial intelligence model 100 may further include an additional branch classification model (not shown) for classifying the features extracted from the feature extraction model 110 into normal and benign-easy.

특징 추출 모델(110)는 입력 영상에서 병변을 검출하기 위한 특징을 추출하도록 학습된 신경망 모델로서, 입력 영상의 특징을 출력한다. 신경망 모델은 컨볼루션 신경망(CNN) 모델일 수 있고, 예를 들면, CNN 기반의 ResNet으로 구현될 수 있다.The feature extraction model 110 is a neural network model trained to extract features for detecting lesions from an input image, and outputs features of the input image. The neural network model may be a convolutional neural network (CNN) model, and may be implemented as, for example, a CNN-based ResNet.

브랜치-1 분류 모델(130)은 입력 영상 특징을 악성의심(suspicious)과 비-악성의심(non-suspicious)으로 분류하는 태스크로 학습된 모델로서, 악성의심(suspicious)으로 분류된 경우 분류 결과를 POSITIVE로 출력할 수 있고, 악성의심 확률 p(suspicious)을 출력할 수 있다. The branch-1 classification model 130 is a model trained as a task that classifies input image features into suspicious and non-suspicious, and when classified as suspicious, the classification result is evaluated. It can be output as POSITIVE, and the probability of malicious suspicion p (suspicious) can be output.

브랜치-2 분류 모델(150)은 입력 영상 특징을 악성(cancer)과 악성의심-양성(benign-hard)으로 분류하는 태스크로 학습된 모델로서, 악성으로 분류된 경우 분류 결과를 POSITIVE로 출력할 수 있다. 이때, 브랜치-2 분류 모델(150)은 악성의심으로 분류된 학습 영상들에서 악성 병변을 분류하도록 학습되었으므로, 브랜치-2 분류 모델(150)에서 출력되는 확률은 입력 영상이 악성의심이라는 가정에서 악성으로 분류된 조건부 확률 p(cancer|suspicious)을 출력할 수 있다.The branch-2 classification model 150 is a model trained as a task that classifies input image features into malicious (cancer) and malicious suspicious-benign-hard (benign-hard). When classified as malicious, the classification result can be output as POSITIVE. have. At this time, since the branch-2 classification model 150 is trained to classify malignant lesions from the training images classified as malignant suspicion, the probability output from the branch-2 classification model 150 is assuming that the input image is malignant. It is possible to output the conditional probability p(cancer|suspicious) classified as.

추가적으로 인공지능 모델(100)이 브랜치-1 분류 모델(130)의 하위에 비-악성의심(non-suspicious)으로 분류된 특징을 정상(normal)과 명백한 양성(benign-easy)으로 분류하는 추가 브랜치 분류 모델(미도시)을 더 포함할 수 있다. Additionally, an additional branch in which the artificial intelligence model 100 classifies features classified as non-suspicious under the branch-1 classification model 130 as normal and benign-easy. A classification model (not shown) may be further included.

이와 같이, 인공지능 모델(100)은 분류 클래스에 맞게 선택된 분류 모델들(130, 150)로 구성되고, 각 분류 모델에서 입력 영상에 대한 분류 결과를 출력한다. 분류 결과는 병변에 대한 POSITIVE/NEGATIVE, 그리고 POSITIVE 확률/NEGATIVE 확률 등을 포함할 수 있다. In this way, the artificial intelligence model 100 is composed of classification models 130 and 150 selected according to the classification class, and outputs a classification result for an input image from each classification model. The classification result may include POSITIVE/NEGATIVE, and POSITIVE probability/NEGATIVE probability for the lesion.

컴퓨팅 장치(10)는 인공지능 모델(100)에서 출력된 분류 결과를 이용하여, 입력 영상에서 검출된 병변이 악성의심인지 확인하고, 악성의심으로 분류된 경우, 양성인지 악성인지 순차적으로 판단한다. 즉, 브랜치-1 분류 모델(130)의 분류 결과가 악성의심이면, 컴퓨팅 장치(10)는 브랜치-2 분류 모델(150)의 분류 결과를 확인해서 악성 또는 양성인지 판단한다. 만약, 브랜치-1 분류 모델(130)의 분류 결과가 비-악성의심이면, 컴퓨팅 장치(10)는 브랜치-2 분류 모델(150)의 분류 결과를 확인할 필요 없이, 비-악성의심 확률을 출력한다. 브랜치-1 분류 모델(130)의 분류 결과가 악성의심이면, 브랜치-2 분류 모델(150)의 분류 결과가 유효하게 판독 결과에 반영되지만, 브랜치-1 분류 모델(130)의 분류 결과가 비-악성의심이면, 브랜치-2 분류 모델(150)의 분류 결과가 판독 결과에 반영되지 않는다.The computing device 10 uses the classification result output from the artificial intelligence model 100 to determine whether the lesion detected in the input image is a malicious suspicion, and when classified as a malignant suspicion, it sequentially determines whether it is benign or malignant. That is, if the classification result of the branch-1 classification model 130 is suspected of being malicious, the computing device 10 checks the classification result of the branch-2 classification model 150 and determines whether it is malicious or benign. If the classification result of the branch-1 classification model 130 is non-malignant, the computing device 10 outputs the non-malignant probability without needing to check the classification result of the branch-2 classification model 150. . If the classification result of the branch-1 classification model 130 is a malicious suspicion, the classification result of the branch-2 classification model 150 is effectively reflected in the reading result, but the classification result of the branch-1 classification model 130 is non- If there is a malicious suspicion, the classification result of the branch-2 classification model 150 is not reflected in the reading result.

이러한 계층적 분류를 통해 컴퓨팅 장치(10)는 입력 영상에서 검출된 병변이 악성의심인지 아닌지를 구별한 판독 결과, 그리고 악성의심인 경우, 추가 검사에서 양성일 악성의심-양성인지, 악성인지를 구별한 판독 결과를 출력할 수 있다. 설명의 편의 상, 컴퓨팅 장치(10)가 인공지능 모델(100)을 학습시키고, 학습된 인공지능 모델(100)을 이용하여 분석 대상 영상에 대한 판독 결과를 출력하는 것으로 설명한다. 하지만, 인공지능 모델(100)을 학습시키는 컴퓨팅 장치와 학습된 인공지능 모델(100)을 이용하여 판독 결과를 출력하는 컴퓨팅 장치는 다른 장치일 수 있다.Through this hierarchical classification, the computing device 10 distinguishes whether the lesion detected in the input image is a malicious suspicion or not, and in the case of a malignant suspicion, it distinguishes whether the lesion is benign or malignant-positive or malicious in an additional examination. The reading result can be output. For convenience of explanation, it will be described that the computing device 10 learns the artificial intelligence model 100 and outputs a read result of an image to be analyzed using the learned artificial intelligence model 100. However, the computing device that trains the artificial intelligence model 100 and the computing device that outputs a read result using the learned artificial intelligence model 100 may be different devices.

컴퓨팅 장치(10)는 브랜치-1 분류 모델(130)에서 악성의심으로 분류되고, 브랜치-2 분류 모델(150)에서 악성으로 분류된 병변에 대해서, 표 1과 같이 계산된 병변의 악성의심 확률, 악성 확률을 포함하는 판독 결과를 출력할 수 있다. 컴퓨팅 장치(10)는 브랜치-1 분류 모델(130)에서 악성의심으로 분류되고, 브랜치-2 분류 모델(150)에서 악성의심-양성으로 분류된 병변에 대해서, 표 1과 같이 계산된 병변의 악성의심 확률, 악성의심-양성 확률을 포함하는 판독 결과를 출력할 수 있다. 악성의심 확률 p(suspicious)은 브랜치-1 분류 모델(130)에서 획득될 수 있다. 악성의심 조건에서 악성으로 분류된 조건부 확률 p(cancer|suspicious)은 브랜치-2 분류 모델(150)에서 획득될 수 있다. 판독 결과에서, 악성의심-양성 확률은 간단히 양성 확률로 표시될 수 있다.For the lesion classified as malicious in the branch-1 classification model 130 and classified as malicious in the branch-2 classification model 150, the computing device 10, the probability of a malicious suspicion of the lesion calculated as shown in Table 1, A read result including a malicious probability can be output. The computing device 10 is classified as malicious suspicion in the branch-1 classification model 130, and for the lesions classified as suspicious-positive in the branch-2 classification model 150, the malignancy of the lesion calculated as shown in Table 1 Reading results including the probability of suspicion and the probability of malicious suspicion-positive can be output. The probability p (suspicious) of malicious suspicion may be obtained from the branch-1 classification model 130. The conditional probability p(cancer|suspicious) classified as malignant in the suspected malignant condition may be obtained from the branch-2 classification model 150. In the reading result, the malignant suspicion-positive probability can be simply expressed as a positive probability.

판독 결과 정보Read result information 확률값 계산Probability calculation 악성의심 확률Probability of malicious suspicion p(suspicious)p(suspicious) 악성 확률Malicious probability p(suspicious)* p(cancer|suspicious)p(suspicious)* p(cancer|suspicious) 악성의심-양성 확률Malignant Suspicion-Positive Probability p(suspicious)* (1-p(cancer|suspicious))p(suspicious)* (1-p(cancer|suspicious))

이처럼, 인공지능 모델(100)의 브랜치-2 분류 모델(150)은 브랜치-1 분류 모델(130)과 독립적으로 학습하고 분류 결과를 출력하지만, 브랜치-1 분류 모델(130)의 분류 결과에 의존하여 분류 결과가 판독 결과에 반영된다. 특히, 브랜치-2 분류 모델(150)에서 출력되는 POSITIVE 확률은, 악성의심이라는 가정에서 악성인 조건부 확률이라서, 악성 확률은 악성의심 확률 p(suspicious)보다 작거나 같은 값을 가진다. 예를 들어, 악성의심 확률이 0.7 일 경우, 악성 확률은 0.7* p(cancer|suspicious)이므로, 반드시 0.7이하가 된다. 따라서, 병변에 대한 악성의심 확률과 악성 확률이 충돌하지 않는다. As such, the branch-2 classification model 150 of the artificial intelligence model 100 learns independently from the branch-1 classification model 130 and outputs the classification result, but depends on the classification result of the branch-1 classification model 130 Thus, the classification result is reflected in the reading result. In particular, the POSITIVE probability output from the branch-2 classification model 150 is a conditional probability that is malicious under the assumption of a malicious suspicion, so the malicious probability has a value less than or equal to the malicious suspicion probability p (suspicious). For example, if the probability of malicious suspicion is 0.7, the probability of maliciousness is 0.7*p(cancer|suspicious), so it must be less than 0.7. Therefore, the probability of malignant suspicion and the probability of malignantness do not collide with each other.

이외에도, 컴퓨팅 장치(10)는 추가 브랜치 분류 모델을 통해, 입력 영상에 포함된 병변이 비-악성의심인 경우, 명백한 양성인지, 정상인지를 구별한 판독 결과를 출력할 수 있다. 컴퓨팅 장치(10)는 브랜치-1 분류 모델(130)에서 비-악성의심으로 분류되고, 추가 브랜치 분류 모델에서 명백한 양성 또는 정상으로 분류된 병변에 대해서, 표 2와 같이 계산된 병변의 비-악성의심 확률, 양성 확률, 명백한 양성 확률을 포함하는 판독 결과를 출력할 수 있다. 판독 결과에서, 명백한 양성 확률은 간단히 양성 확률로 출력될 수 있다.In addition, when the lesion included in the input image is non-malignant through the additional branch classification model, the computing device 10 may output a read result that distinguishes whether it is positive or normal. The computing device 10 is classified as non-malignant in the branch-1 classification model 130, and for lesions classified as positive or normal in the additional branch classification model, the non-malignant of the lesions calculated as shown in Table 2 You can print out the readout results, including the probability of suspicion, the probability of being positive, and the probability of being positively positive. In the reading result, the apparent positive probability can be simply output as a positive probability.

판독 결과 정보Read result information 확률값 계산Probability calculation 비-악성의심 확률Non-malignant probability 1-p(suspicious)1-p(suspicious) 명백한 양성 확률Apparent positive probability (1-p(suspicious))* p(benign|non-suspicious)(1-p(suspicious))* p(benign|non-suspicious) 정상 확률Normal probability (1-p(suspicious))* (1-p(benign|non-suspicious))(1-p(suspicious))* (1-p(benign|non-suspicious))

이와 같이 학습된 인공지능 모델(100)을 통해 입력 영상의 판독 결과를 제공하는 컴퓨팅 장치(10)는 악성 병변뿐만 아니라, 악성의심 병변이지만 추가 검사에서 양성일 것으로 예측되는 병변(악성의심-양성)까지 판독 결과로 제공한다. 이외에도 분류 클래스에 맞게 선택된 분류 모델들이 조합된 인공지능 모델(100)을 통해, 컴퓨팅 장치(10)는 분류 모델들의 분류 결과들 중에서, 분류 클래스의 계층에 따라 유효한 분류 결과를 획득하고, 유효한 분류 결과들을 이용하여 입력 영상에 대한 다양한 판독 결과를 제공할 수 있다.The computing device 10 that provides the result of reading the input image through the artificial intelligence model 100 learned as described above is not only a malignant lesion, but also a malignant suspicious lesion, but a lesion predicted to be benign in an additional examination (malignant-positive). It is provided as a reading result. In addition, through the artificial intelligence model 100 in which classification models selected according to the classification class are combined, the computing device 10 obtains a valid classification result according to the hierarchy of the classification class among classification results of the classification models, and a valid classification result. Various readout results for the input image can be provided by using them.

따라서, 악성의심-양성을 비롯한 다양한 분류 클래스를 판독 결과로 제공하는 컴퓨팅 장치(10)는 악성의심 병변을 놓치지 않고 분석하였음을 표시하여 판독 결과의 신뢰성을 높일 수 있다. 또한, 환자는 양성인 악성의심 병변에 대한 추가 검사를 하지 않아도 된다.Accordingly, the computing device 10 that provides various classification classes including malicious suspicion-positive as a reading result may increase the reliability of the reading result by indicating that the malicious suspicious lesion was analyzed without missing. In addition, the patient does not need to perform additional tests for benign suspicious lesions.

도 5는 한 실시예에 따른 의료 영상에서 악성의심 병변을 구별하는 인공지능 모델을 학습시키는 방법의 흐름도이다.5 is a flowchart of a method of learning an artificial intelligence model for distinguishing a suspicious lesion from a medical image according to an exemplary embodiment.

도 5를 참고하면, 컴퓨팅 장치(10)는 병변에 대한 상위 및 하위 분류 클래스를 레이블로 가지는 의료 영상들을 학습 데이터로 저장한다(S110). 병변에 대한 하위 분류 클래스는, 예를 들면, 정상(normal), 명백한 양성(benign-easy), 악성의심-양성(benign-hard), 악성(cancer)일 수 있다. 상위 분류 클래스는 악성의심(suspicious)과 비-악성의심(non-suspicious)일 수 있고, 정상(normal) 및 명백한 양성(benign-easy)의 하위 분류 클래스가 어노테이션된 영상들은 비-악성의심(non-suspicious) 클래스로 그룹핑된다. 악성의심-양성(benign-hard) 및 악성(cancer)의 하위 분류 클래스가 어노테이션된 영상들은 악성의심(suspicious) 클래스로 그룹핑된다.Referring to FIG. 5, the computing device 10 stores medical images having upper and lower classification classes for lesions as labels as learning data (S110). The subclass of lesions may be, for example, normal, benign-easy, benign-hard, and cancerous. The upper classification class may be suspicious and non-suspicious, and images annotated with normal and benign-easy subclasses are non-malignant. -suspicious) grouped by class. Images annotated with subclasses of benign-hard and cancer are grouped into suspicious classes.

컴퓨팅 장치(10)는 복수의 브랜치 분류 모델들의 계층적 분류 태스크들에 따라 학습 데이터를 구분한다(S120). 복수의 브랜치 분류 모델들은 인공지능 모델(100)의 특징 추출 모델에 병렬 연결되고, 계층적 분류 태스크들은 다양하게 설정될 수 있다.The computing device 10 classifies training data according to hierarchical classification tasks of a plurality of branch classification models (S120). A plurality of branch classification models are connected in parallel to the feature extraction model of the artificial intelligence model 100, and hierarchical classification tasks may be variously set.

컴퓨팅 장치(10)는 입력 영상의 레이블에 따라 복수의 브랜치 분류 모델들 중 적어도 하나의 브랜치 분류 모델을 독립적으로 학습시킨다(S130). 컴퓨팅 장치(10)는, 특징 추출 모델에서 출력된 특징들이 분기되어 복수의 브랜치 분류 모델들 각각으로 입력되는 모델을 구성하여, 특징 추출 모델 및 복수의 브랜치 분류 모델들을 학습시킬 수 있다. The computing device 10 independently trains at least one branch classification model among the plurality of branch classification models according to the label of the input image (S130). The computing device 10 may configure a model in which features output from the feature extraction model are branched and input to each of a plurality of branch classification models, and train a feature extraction model and a plurality of branch classification models.

입력 영상을 비-악성의심과 악성의심으로 분류하는 태스크의 학습 데이터로서 전체 학습 데이터가 사용되고, 상위 분류 클래스에 해당하는 레이블이 지도학습에 이용될 수 있다. 따라서, 컴퓨팅 장치(10)는 도 3과 같이 특징 추출 모델(110)에서 출력된 전체 학습 데이터의 특징을 브랜치-1 분류 모델(130)로 분기하여, 브랜치-1 분류 모델(130)이 입력 특징을 해당 레이블(비-악성의심, 악성의심)로 분류하도록 학습시킬 수 있다.As training data for a task that classifies the input image into non-malignant and malicious suspicion, the entire training data is used, and a label corresponding to the upper classification class can be used for supervised learning. Accordingly, the computing device 10 divides the features of the entire training data output from the feature extraction model 110 into the branch-1 classification model 130, as shown in FIG. 3, so that the branch-1 classification model 130 receives the input features. Can be trained to classify as the corresponding label (non-malignant suspicion, malicious suspicion).

입력 영상을 악성과 악성의심-양성으로 분류하는 태스크의 학습데이터로서, 전체 학습 데이터 중 악성의심 그룹의 영상들이 사용되고, 병변에 대한 분류 클래스(하위 클래스)에 해당하는 레이블이 지도학습에 이용될 수 있다. 따라서, 컴퓨팅 장치(10)는 특징 추출 모델(110)에서 출력된 전체 학습 데이터의 특징 중 악성의심 그룹의 특징을 브랜치-2 분류 모델(150)로 분기하여, 브랜치-2 분류 모델(150)가 입력 특징을 해당 레이블(악성의심-양성, 악성)로 분류하도록 학습시킬 수 있다.As learning data for a task that classifies input images into malicious and malicious suspicious-positive, among all training data, images of the malicious suspicious group are used, and a label corresponding to the classification class (subclass) for lesions can be used for supervised learning. have. Accordingly, the computing device 10 divides the features of the malicious suspicious group among the features of the entire training data output from the feature extraction model 110 to the branch-2 classification model 150, and the branch-2 classification model 150 It can be trained to classify the input feature into the corresponding label (malignant-positive, malicious).

입력 영상을 정상과 명백한 양성으로 분류하는 태스크의 학습데이터는 전체 학습 데이터 중 비-악성의심 그룹의 영상들이고, 병변에 대한 분류 클래스(하위 분류 클래스)에 해당하는 레이블이 지도학습에 이용될 수 있다. 따라서, 컴퓨팅 장치(10)는 특징 추출 모델(110)에서 출력된 전체 학습 데이터의 특징 중 비-악성의심 그룹의 특징을 추가 브랜치 분류 모델(170)로 분기하여, 추가 브랜치 분류 모델(170)가 입력 특징을 해당 레이블(정상, 명백한 양성)으로 분류하도록 학습시킬 수 있다.The learning data of the task classifying the input image into normal and obvious positive are the images of the non-malignant group among the total training data, and the label corresponding to the classification class (subclass) for the lesion can be used for supervised learning. . Accordingly, the computing device 10 branches the features of the non-malignant group among the features of the entire training data output from the feature extraction model 110 to the additional branch classification model 170, and the additional branch classification model 170 is It can be trained to classify the input feature by its label (normal, obviously positive).

인공지능 모델(100)을 구성하는 복수의 브랜치 분류 모델들이 학습 완료되면, 분류 클래스에 맞게 선택된 분류 모델들이 조합된 구조로 인공지능 모델(100)이 구현될 수 있다.When the plurality of branch classification models constituting the artificial intelligence model 100 are completely trained, the artificial intelligence model 100 may be implemented in a structure in which classification models selected according to the classification class are combined.

도 6은 한 실시예에 따른 인공지능 모델을 이용하여 의료 영상의 판독 결과를 제공하는 방법의 흐름도이다.6 is a flowchart of a method of providing a reading result of a medical image using an artificial intelligence model according to an exemplary embodiment.

도 6을 참고하면, 컴퓨팅 장치(10)는, 입력 영상에서 검출된 병변(타겟 병변)이 악성의심 병변인지 판단하고, 악성의심 병변을 악성 또는 양성으로 분류하도록 학습된 인공지능 모델(100)을 저장한다(S210). 인공지능 모델(100)은 예를 들면, 도 4와 같이, 특징 추출 모델(110), 특징 추출 모델(110)에서 출력된 입력 영상 특징을 입력받고 이를 비-악성의심과 악성의심으로 분류하는 브랜치-1 분류 모델(130), 입력 영상 특징을 입력받되 이를 악성의심 조건에서 악성의심-양성과 악성으로 분류하는 브랜치-2 분류 모델(150)를 포함할 수 있다.Referring to FIG. 6, the computing device 10 determines whether the lesion (target lesion) detected in the input image is a suspicious lesion, and uses an artificial intelligence model 100 that has been trained to classify the suspicious lesion as malignant or benign. Save (S210). For example, as shown in FIG. 4, the artificial intelligence model 100 receives input image features output from the feature extraction model 110 and the feature extraction model 110, and classifies them into non-malignant and malicious suspicions. The -1 classification model 130 may include a branch-2 classification model 150 that receives input image features and classifies them as malicious suspicion-positive and malicious under malicious suspicious conditions.

컴퓨팅 장치(10)는 분석 대상 영상을 입력받는다(S220).The computing device 10 receives an image to be analyzed (S220).

컴퓨팅 장치(10)는 복수의 분류 모델들이 병렬로 구성된 인공지능 모델(100)을 이용하여, 분석 대상 영상에서 검출된 병변의 정보(위치 등), 검출 병변에 대한 상위 분류 결과(악성의심/비-악성의심) 및 하위 분류 결과(악성의심-양성/악성)를 획득한다(S230).The computing device 10 uses the artificial intelligence model 100 in which a plurality of classification models are configured in parallel, information on the lesion detected in the image to be analyzed (location, etc.), and the upper classification result (malignant/non-malignant) for the detected lesion. -Malignant) and sub-classification results (malignant-positive/malignant) are acquired (S230).

컴퓨팅 장치(10)는 인공지능 모델(100)에서 획득한 상위 분류 결과가 악성의심인지 판단한다(S240). 컴퓨팅 장치(10)는 인공지능 모델(100)을 구성하는 복수의 분류 모델들 중에서, 상위 분류 클래스를 출력하는 분류 모델의 결과를 먼저 확인한다.The computing device 10 determines whether the higher classification result obtained from the artificial intelligence model 100 is a malicious suspicion (S240). The computing device 10 first checks a result of a classification model that outputs an upper classification class among a plurality of classification models constituting the artificial intelligence model 100.

컴퓨팅 장치(10)는 상위 분류 결과가 악성의심인 경우, 표 1과 같이 악성의심 확률과 하위 분류 결과(악성의심-양성/악성)를 이용하여 검출 병변에 대한 악성의심-양성 확률/악성 확률을 계산한다(S250).When the upper classification result is a malicious suspicion, as shown in Table 1, the computing device 10 calculates the malicious suspicion-positive probability/malignant probability for the detected lesion using the malicious suspicion probability and the lower classification result (malignant suspicion-positive/malignant). Calculate (S250).

컴퓨팅 장치(10)는 분석 대상 영상에서 검출된 병변의 정보, 분류 클래스, 검출 병변에 해당하는 악성의심-양성 확률/악성 확률을 포함하는 판독 결과를 생성한다(S252). 판독 결과는 악성의심 확률을 더 포함할 수 있다. 분류 클래스는 계층별 분류 클래스를 포함할 수 있고, 예를 들면, 상위 계층(제1 계층)의 분류 클래스인 “악성의심”, 이의 하위 계층(제2 계층)의 분류 클래스인 “약성의심-양성” 또는 “악성”을 포함할 수 있다. The computing device 10 generates a read result including information on a lesion detected from an image to be analyzed, a classification class, and a suspicious malignant-positive probability/malignant probability corresponding to the detected lesion (S252). The read result may further include a probability of malicious suspicion. The classification class may include a classification class for each class, for example, “Malignity”, which is a classification class of an upper level (first level), and “Yakseong-sense-positive”, which is a classification class of a lower level (second level). ”Or “malicious”.

컴퓨팅 장치(10)는 상위 분류 결과가 비-악성의심인 경우, 비-악성의심 확률을 획득하고, 분석 대상 영상에서 검출된 병변의 정보, 분류 클래스, 비-악성의심 확률을 포함하는 판독 결과를 생성한다(S260). 분류 클래스는 “비-악성의심”일 수 있다. 만약, 인공지능 모델(100)이 비-악성의심의 하위 분류를 수행하는 추가 브랜치 모델을 더 포함하는 경우, 비-악성의심 병변에 대해 제공되는 판독 결과는 비-악성의심의 하위 분류 결과를 더 포함할 수 있다.When the upper classification result is a non-malignant heart, the computing device 10 acquires a non-malignant heart probability, and reads a reading result including information on the lesion detected in the image to be analyzed, a classification class, and a non-malignant heart probability. Generate (S260). The classification class may be "non-malignant". If the artificial intelligence model 100 further includes an additional branch model that performs sub-classification of non-malignant psyche, the read result provided for the non-malignant psyche is further subclassified result of non-malignant psyche. Can include.

컴퓨팅 장치(10)는 검출 병변의 정보, 검출 병변의 분류 클래스, 검출 병변의 분류 확률(예를 들면, 악성의심 확률, 악성의심-양성 확률, 악성 확률, 비-악성의심 확률 중 적어도 하나)을 포함하는 판독 결과를 화면에 출력한다(S270). 컴퓨팅 장치(10)는 검출 병변이 악성으로 분류되면, 악성 병변 위치와 악성 확률을 판독 결과로 제공할 수 있다. 또한, 컴퓨팅 장치(10)는 검출 병변이 양성이지만 악성의심 병변에 속하면, 검출 병변이 악성의심-양성 병변이라는 표시 정보, 악성의심 확률, 악성의심-양성 확률을 판독 결과로 제공할 수 있다. 컴퓨팅 장치(10)는 검출 병변이 비-악성의심 병변에 속하면, 검출 병변이 비-악성의심 병변이라는 표시 정보, 비-악성의심 확률을 판독 결과로 제공할 수 있다. 만약, 분석 대상 영상에서 검출된 병변이 없는 경우, 컴퓨팅 장치(10)는 이에 대한 판독 결과를 제공할 수 있다.The computing device 10 includes information on the detection lesion, the classification class of the detection lesion, and the classification probability of the detection lesion (for example, at least one of a malignant suspicion probability, a malignant suspicion-positive probability, a malignant probability, and a non-malignant suspicion probability). The included read result is output on the screen (S270). When the detected lesion is classified as malicious, the computing device 10 may provide a location of the malignant lesion and a probability of malignant as a result of reading. In addition, when the detection lesion is benign but belongs to a malignant suspicious lesion, the computing device 10 may provide indication information that the detected lesion is a suspicious malignant-positive lesion, a suspicious malignant probability, and a suspicious malignant-positive probability as a read result. When the detection lesion belongs to a non-malignant lesion, the computing device 10 may provide indication information indicating that the detection lesion is a non-malignant lesion and a non-malignant probability as a read result. If there is no lesion detected in the image to be analyzed, the computing device 10 may provide a result of reading it.

이와 같이, 컴퓨팅 장치(10)는 판독 결과 화면에서, 검출 병변을 분류 클래스별로 구분하여 표시할 수 있다. 특히, 검출 병변이 악성으로 의심되나 양성인 악성의심-양성으로 분류된 경우, 컴퓨팅 장치(10)는 해당 병변에 대해 악성의심-양성 또는 양성이라는 표시를 제공할 수 있다.In this way, the computing device 10 may classify and display the detected lesions for each classification class on the read result screen. In particular, when the detected lesion is suspected of being malignant but classified as benign, suspicious of malignant-positive, the computing device 10 may provide an indication of suspicious malignant-positive or benign for the lesion.

도 7은 한 실시예에 따른 컴퓨팅 장치의 구성도이다.7 is a block diagram of a computing device according to an embodiment.

도 7을 참고하면, 컴퓨팅 장치(10)는 하나 이상의 프로세서(11), 프로세서(11)에 의하여 수행되는 프로그램을 로드하는 메모리(13), 프로그램 및 각종 데이터를 저장하는 스토리지(15), 통신 인터페이스(17), 그리고 이들을 연결하는 버스(19)를 포함할 수 있다. 이외에도, 컴퓨팅 장치(10)는 다양한 구성 요소가 더 포함될 수 있다. 프로그램은 메모리(13)에 로드될 때 프로세서(11)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 명령어들(instruction)을 포함할 수 있다. 즉, 프로세서(11)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 프로그램은 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로 구성되고, 프로세서에 의해 실행되는 것을 가리킨다.Referring to FIG. 7, the computing device 10 includes one or more processors 11, a memory 13 for loading programs executed by the processor 11, a storage 15 for storing programs and various data, and a communication interface. (17), and may include a bus 19 connecting them. In addition, the computing device 10 may further include various components. The program may include instructions that, when loaded into the memory 13, cause the processor 11 to perform a method/operation according to various embodiments of the present disclosure. That is, the processor 11 may perform methods/operations according to various embodiments of the present disclosure by executing instructions. A program is composed of a series of computer-readable instructions grouped by function, and refers to being executed by a processor.

프로세서(11)는 컴퓨팅 장치(10)의 각 구성의 전반적인 동작을 제어한다. 프로세서(11)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(11)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. The processor 11 controls the overall operation of each component of the computing device 10. The processor 11 includes at least one of a CPU (Central Processing Unit), MPU (Micro Processor Unit), MCU (Micro Controller Unit), GPU (Graphic Processing Unit), or any type of processor well known in the technical field of the present disclosure. It can be configured to include. Also, the processor 11 may perform an operation on at least one application or program for executing a method/operation according to various embodiments of the present disclosure.

메모리(13)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(13)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(15)로부터 하나 이상의 프로그램을 로드할 수 있다. 메모리(13)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.The memory 13 stores various types of data, commands and/or information. The memory 13 may load one or more programs from the storage 15 to execute a method/operation according to various embodiments of the present disclosure. The memory 13 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.

스토리지(15)는 프로그램을 비임시적으로 저장할 수 있다. 스토리지(15)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 15 may store a program non-temporarily. The storage 15 is a nonvolatile memory such as a ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), flash memory, etc., a hard disk, a removable disk, or well in the technical field to which the present disclosure belongs. It may be configured to include any known computer-readable recording medium.

통신 인터페이스(17)는 컴퓨팅 장치(10)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(17)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(17)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. The communication interface 17 supports wired/wireless Internet communication of the computing device 10. In addition, the communication interface 17 may support various communication methods other than Internet communication. To this end, the communication interface 17 may include a communication module well known in the technical field of the present disclosure.

버스(19)는 컴퓨팅 장치(10)의 구성 요소 간 통신 기능을 제공한 다. 버스(19)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The bus 19 provides a communication function between the components of the computing device 10. The bus 19 may be implemented as various types of buses such as an address bus, a data bus, and a control bus.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only through an apparatus and a method, but may be implemented through a program that realizes a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims

A method of reading an input image by a computing device operated by at least one processor,
The first branch classification model learned to classify the lesion detected in the input image as suspicious or non-suspicious, and the lesion detected in the input image in a malignant suspicious condition is malignant or malignant. Storing an artificial intelligence model including a second branch classification model trained to classify suspected but benign malignant suspicion-positive,
Receiving an image to be analyzed,
Using the first branch classification model, a classification class of a target lesion detected in the analysis target image is obtained, and when the classification class is the malicious suspicion, the target lesion is determined using the second branch classification model. The step of obtaining at least one of a malicious suspicion-positive probability and a malicious probability, and
Outputting a read result including at least one probability obtained for the target lesion,
The classification result of the second branch classification model is selectively used according to the classification result of the first branch classification model.

In claim 1,
The artificial intelligence model is
A feature extraction model trained to output the features of the input image, the first branch classification model trained to classify the features of the input image as the malicious suspicion or the non-malignant suspicion, and the input image under the malicious suspicion condition And the second branch classification model learned to classify the characteristics of the malicious or malicious suspicious-positive.

In claim 1,
The first branch classification model is
It is a classification model that learns the task of classifying the features of the training medical image into a group to which the training medical image belongs,
The group is a non-malignant suspicious group and a malicious suspicious group, the reading method.

In paragraph 3,
The second branch classification model is
A classification model that learns a task of classifying features of a training medical image belonging to the malicious suspicious group into a label annotated on a corresponding training medical image,
The label is the malicious or the malicious suspicion-positive, reading method.

In paragraph 2,
The first branch classification model and the second branch classification model are independently learned.

In claim 1,
The step of outputting the read result is
If the classification class of the target lesion is malignant suspicion-positive, which is a subclass of malignant suspicion, display information indicating that the target lesion is malignant suspicion-positive, and a read result including the malignant suspicion-positive probability,
When the classification class of the target lesion is malicious, which is a subclass of the malicious suspicion, display information indicating that the target lesion is malicious and a read result including the malicious probability is output.

In claim 1,
The malignant suspicion-positive probability is calculated as a product of a probability that the target lesion is classified as malignant suspicious-positive in the malignant suspicious condition in the artificial intelligence model and a malignant suspicion probability,
The malicious probability is calculated as a product of the probability that the target lesion is classified as malignant in the malignant condition in the artificial intelligence model and the probability of malignant suspicion,
The probability of the malicious suspicion is a probability that the target lesion is classified as the suspicious malignant in the artificial intelligence model.

In claim 1,
When the classification class of the target lesion is the non-malignant in the artificial intelligence model additionally learned to classify the lesion classified as non-malignant as normal or benign, the non-malignant probability for the target lesion , Obtaining at least one of a positive probability and a normal probability
Reading method further comprises a.

A method of reading an input image by a computing device operated by at least one processor,
Receiving an image to be analyzed,
Classifying the lesion detected in the image to be analyzed as suspicious or non-suspicious using a first branch classification model, and calculating a probability that the lesion is classified as the malignant suspicion ,
Classifying the lesion as malignant or suspected malignant or benign malignant suspicion-positive using a second branch classification model, and calculating the probability that the lesion is classified as malignant or malignant suspicious-positive in a suspicious malignant condition Step, and
When the lesion is classified as the malignant suspicion in the first branch classification model, a read result generated using the classification result of the second branch classification model is output, and the lesion is the ratio in the first branch classification model. -In the case of being classified as malicious, outputting a classification result of the first branch classification model as a read result,
The reading result includes at least one of indication information that the lesion is malignant and a malignant probability, and indication information that the lesion is benign and a benign probability.

In claim 9,
The positive probability is
The reading method, wherein the probability of the lesion being classified as a malignant suspicion and a probability calculated as a product of a probability that the lesion is classified as malignant suspicion-positive in the malignancy condition or a non-malignant suspicion probability.

In claim 9,
The malicious probability is
The reading method, wherein the probability of the lesion being classified as malignant and the probability of the lesion being classified as malignant in the suspected malignant condition.

In claim 9,
The step of calculating the probability that the lesion is classified as a malignant suspicion
Using the first branch classification model in which the task of classifying the characteristics of the training medical image into the group to which the training medical image belongs is learned, the first classification class of the lesion and the probability classified as the malignant suspicion are obtained,
The group is a non-malignant suspicious group and a malicious suspicious group, the reading method.

In claim 12,
The step of calculating the probability that the lesion is classified as malignant or malignant suspicious-positive under a suspicious malignant condition,
Using the second branch classification model, which has learned the task of classifying the characteristics of the learning medical image belonging to the malignant suspicion group with a label annotated on the learning medical image, a secondary classification class of the lesion, and the suspicious malignant condition Obtain the probability classified as the malicious or the malicious suspicion-positive at,
The label is the malicious or the malicious suspicion-positive, reading method.

As a computing device,
The first branch classification model learned to classify the lesion detected in the input image as suspicious or non-suspicious, and the lesion detected in the input image in a malignant suspicious condition is malignant or malignant. A memory that stores an artificial intelligence model containing a second branch classification model trained to classify suspected but benign malignant suspicion-positive, and
Using the first branch classification model, the classification class of the target lesion detected in the analysis target image is checked, and if the classification class is the malignant suspicion, the second branch classification model is used to determine the target lesion. A processor for obtaining at least one of a suspicious-positive probability and a malignant probability, and outputting a read result including at least one probability obtained for the target lesion,
The computing device, wherein the classification result of the second branch classification model is selectively used according to the classification result of the first branch classification model.

In clause 14,
The artificial intelligence model is
A feature extraction model based on a convolutional neural network learned to output features for detecting lesions from the input image,
The first branch classification model learned to classify the characteristics of the input image as the malicious suspicion or the non-malignant suspicion, and
The second branch classification model learned to classify the characteristics of the input image as the malicious or the malicious suspicious-positive
Computing device comprising a.

In paragraph 15,
The first branch classification model is
A classification model that learns a task of classifying an input image as the malicious suspicion or the non-malignant suspicion, using the medical images grouped with the malicious suspicion or the non-malignant suspicion,
The second branch classification model is
A classification model that learns a task of classifying an input image as the malicious or malicious suspicion-positive by using the medical images grouped by the malicious suspicion and a label annotated on the medical image,
The annotated label is the malicious or the malicious suspicion-positive.

In paragraph 16,
The processor is
The output of the feature extraction model constituting the artificial intelligence model is branched and input into the first branch classification model and the second branch classification model, and the first branch classification model and the second branch are classified using training data. A computing device that independently trains the model

In paragraph 16,
The processor is
The artificial intelligence model is generated by connecting the trained first branch classification model and the second branch classification model to the feature extraction model in parallel, and the first branch classification model for the feature output from the feature extraction model When the classification class is the malicious suspicion, the reading result is generated by using the classification result of the second branch classification model.

In clause 14,
The processor is
If the classification class of the target lesion is malignant suspicion-positive, which is a subclass of malignant suspicion, display information indicating that the target lesion is malignant suspicion-positive, and a read result including the malignant suspicion-positive probability,
The malignant suspicion-positive probability is calculated as a product of a probability that the detection lesion is classified as malignant suspicion-positive in the malignant suspicion condition in the artificial intelligence model and a probability classified as malignant suspicion.

In clause 14,
The processor is
When the classification class of the target lesion is malicious, which is a subclass of the malicious suspicion, display information that the target lesion is malicious and a read result including the malicious probability is output,
The malicious probability is calculated as a product of a probability that the detected lesion is classified as malignant under the malignant suspicious condition in the artificial intelligence model and a probability classified as malignant suspicious.