WO2019172498A1 - 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법 - Google Patents

종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법 Download PDF

Info

Publication number
WO2019172498A1
WO2019172498A1 PCT/KR2018/012991 KR2018012991W WO2019172498A1 WO 2019172498 A1 WO2019172498 A1 WO 2019172498A1 KR 2018012991 W KR2018012991 W KR 2018012991W WO 2019172498 A1 WO2019172498 A1 WO 2019172498A1
Authority
WO
WIPO (PCT)
Prior art keywords
malignancy
tumor
image
shape
association
Prior art date
Application number
PCT/KR2018/012991
Other languages
English (en)
French (fr)
Inventor
이광희
박대영
Original Assignee
주식회사 인공지능연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인공지능연구원 filed Critical 주식회사 인공지능연구원
Publication of WO2019172498A1 publication Critical patent/WO2019172498A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • CAD Computer-Aided Diagnosis
  • the CAD system has been developed as a concept that aids diagnosis rather than computerized automation, and has been used in the fields of blood vessel imaging, chest X-ray imaging, and mammography imaging using artificial intelligence techniques such as pattern recognition.
  • CNN Convolution Neural Networks
  • the CAD system does not provide an answer to the question of why such a diagnosis is predicted.
  • the proposed invention solves the problem of computer-assisted diagnostic system that predicts the malignancy of tumor from the image of the tumor and outputs only the malignancy of the tumor, so that the basis of the prediction of malignancy is not known and the reliability of the prediction in the field cannot be trusted.
  • the purpose is to provide a computer-assisted diagnostic system that predicts the malignancy of tumor from the image of the tumor and outputs only the malignancy of the tumor, so that the basis of the prediction of malignancy is not known and the reliability of the prediction in the field cannot be trusted.
  • the computer-aided diagnostic system outputs an explanatory statement consisting of the malignancy of the tumor and the reasoning sentence including the malignancy predicting unit, the association predicting unit, and the sentence generating unit.
  • the malignancy predicting unit outputs the malignancy of the tumor through a malignancy prediction model trained on a deep learning basis to predict the malignancy of the tumor from the tumor image.
  • the association predictor extracts a shape attribute vector that quantifies the characteristics of the shape of the tumor from the tumor image, changes the item-specific attribute values of the shape attribute vector, transforms the tumor image, and predicts the predicted tumor image with respect to the converted tumor image.
  • the sentence generator creates an explanation sentence based on the tumor malignancy and the reasoning sentence for the tumor image based on the output of the malignancy predictor and the correlation predictor.
  • the correlation predictor of the computer-aided diagnostic system outputs a shape attribute affecting the association and malignancy including a shape attribute estimator, a shape attribute changer, a transform image generator, and an association determiner. .
  • the shape attribute estimator generates a shape attribute vector composed of attribute values for each shape item through a shape score estimation model from the tumor image.
  • the shape attribute changing unit changes the attribute value of the shape attribute vector to be used for generating the modified tumor image.
  • the transform image generator generates the transformed tumor image by reflecting the changed shape attribute vector on the original tumor image.
  • the correlation determining unit compares the tumor malignancy with respect to the converted tumor image obtained from the malignancy predictor and the tumor malignancy with respect to the original tumor image, and predicts the correlation between the tumor malignancy and the changed property and outputs an association degree.
  • the correlation predictor of the computer-aided diagnostic system outputs a shape attribute influencing the association and malignancy, including a generative adversarial network (GAN) and an association determination unit.
  • GAN generative adversarial network
  • the GAN generates a tumor image reflecting the modified shape attribute by using the shape attribute vector deformed from the shape attribute vector extracted from the original tumor image and the noise vector generated from the original tumor image.
  • the association determination unit compares the malignancy of the tumor predicted by the malignancy predictor with the malignancy of the tumor predicted by the malignancy predictor with respect to the original tumor image and compares the malignancy of the tumor with the altered properties. Predict the association and output the association.
  • a method of presenting reasoning evidence of a computer-aided diagnostic system includes predicting malignancy of a tumor with respect to an original tumor image, changing a tumor property to generate a modified tumor image, and modifying the tumor image. Predicting the malignancy of the tumor and predicting the association between the property and the malignancy of the tumor through the difference between the malignancy of the tumor with respect to the original image and the malignancy of the tumor with respect to the modified tumor image.
  • the reasoning sentence is composed in the order of the diagram, and the evidence for the auxiliary diagnosis is provided by including an explanation of the malignancy and the reasoning sentence for the original tumor image.
  • the proposed invention provides a computer-assisted diagnostic system that predicts the malignancy of tumors from the image of the tumor and provides the basis for predicting the malignancy in addition to the tumor malignancy so that the user can know the basis of the prediction of malignancy. This increases the reliability of the prediction.
  • FIG. 1 is a block diagram of a computer diagnostic assistance system according to one aspect.
  • FIG. 2 is a block diagram of a computer diagnostic assistance system according to another aspect.
  • FIG. 3 is a block diagram of an association predictor of a computer diagnostic assistance system according to another exemplary embodiment.
  • FIG. 4 is a block diagram of a shape attribute estimator of a computer diagnostic assistance system according to another exemplary embodiment.
  • FIG. 5 is a block diagram of an association predictor of a computer diagnostic assistance system using a generative host neural network.
  • FIG. 6 is a flowchart illustrating a method for predicting malignancy of tumors and providing reasoning for inference of the computer diagnostic assistance system according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a method for predicting malignancy of tumors and providing reasoning inference of a computer diagnostic assistance system according to another embodiment.
  • each block in the block diagram may in some cases represent a physical part, but in another case may be a logical representation of a part of the function of one physical part or a function across a plurality of physical parts. Sometimes an instance of a block or part of it may be a set of program instructions. These blocks may be implemented in whole or in part by hardware, software or a combination thereof.
  • the computer diagnostic assistance system includes a first maliciousity predictor 100, a second maliciousity predictor 110, an association predictor 200, and a sentence generator 300. do.
  • the first malignancy predicting unit 100 and the second malignancy predicting unit 110 are trained on a deep learning or machine learning basis from an input tumor image, particularly, a lung CT in which lung nodule is taken.
  • the malignancy predictive model outputs the malignancy of the tumor.
  • Lung Data Database Consortium LUN No 16 (Lung Nodule Analysis 2016) data set
  • an AI model trained by supervised learning deep learning or machine learning can be learned in advance.
  • the present invention is not limited thereto, and according to aspects of the inventive concept, Watson of IBM may be used.
  • the first malignancy predicting unit 100 and the second malignancy predicting unit 110 use convolutional neural networks (CNNs) specialized for extracting features from an image.
  • CNNs convolutional neural networks
  • the present invention is not limited thereto.
  • the association predictor 200 extracts a shape attribute vector consisting of numerical values of attributes related to the shape of the tumor from the original tumor image.
  • the association predicting unit 200 changes the shape attribute value for each shape item of the extracted shape attribute vector and shapes the original tumor image.
  • the correlation predictor 200 acquires the malignancy of the tumor predicted through the second malignancy predictor 110 with respect to the shape-converted tumor image.
  • the correlation predictor 200 may detect the malignancy of the tumor with respect to the converted tumor image obtained from the second malignancy predictor 110 and the malignancy of the tumor input from the first malignancy predictor 100 with respect to the original tumor image. By comparing the figures, the differences are used to predict the association between tumor malignancy and altered properties.
  • the association predicting unit 200 outputs a shape attribute affecting the association and malignancy between the changed attribute and the malignancy of the tumor.
  • the association predictor 200 operates based on a LIME (Local Interpretable Model-agnostic Explanation) algorithm. Even if you apply a model trained with deep learning or machine learning to get an exact answer to a problem, you often don't understand how the model works because it's basically a black box. This makes it difficult to trust the results predicted by machine learning models.
  • LIME is one of the methodologies that can provide reasoning about the results of the machine learning model. For example, in the field of image classification, LIME breaks down the input image into fragments and provides reasoning about why the machine learning model made such a judgment by finding and showing the most important elements for classifying the image. do.
  • the key idea behind LIME is the assumption that if you make a small change to the input, and the predicted value of the model changes significantly, the variable is an important one.
  • the correlation predicting unit 200 changes the numerical value for each shape property of the tumor and predicts the correlation between the tumor malignancy and the shape property based on the effect of the change on the change in the predicted value of the tumor malignancy.
  • the shape attribute consists of Calcification, Internal structure, Lobulation, Margin, Sphericity, Spiculation, Subtlety and Texture as shown in ⁇ Table 1>, and the shape attribute vector is a set of attribute values that are numerical evaluation values of these attributes.
  • Table 1 describes the Nodule characteristic item, Nodule characteristic item definition and rating criteria for determining the malignancy or benign of lung tumor.
  • the Nodule characteristic item is a calcification item for evaluating the appearance according to the degree of calcification of the nodule, and an internal item for evaluating whether the expected internal constituents of the nodule are fluid or fat.
  • Internal structure item Lobulation item to assess whether the lobe shape is clear from the edge
  • Malignancy item to evaluate the degree of malignancy of the nodule
  • no boundary of the edge of the nodule Margin item to evaluate the degree
  • Sphericity item to evaluate the roundness of the shape of the nodule
  • Spiculation item to evaluate the degree of bone fragments revealed in the nodule
  • sensitivity to evaluate the nodule and the surrounding area
  • a texture item for evaluating the internal density of the nodule.
  • the sentence generator 300 generates the inference-based sentence by synthesizing the relevance values that are the outputs of the association predictor 200, and outputs the output of the first malicious predictor 100 and the output of the association predictor 200. Based on the tumor malignancy and the reasoning sentence for the tumor image, the explanation is prepared.
  • the sentence generation unit 300 may complete the sentence through a rule based model based on the degree of association between the tumor malignancy, the attribute identifier, the attribute value, and the tumor malignancy, which are input data.
  • a rule based model based on the degree of association between the tumor malignancy, the attribute identifier, the attribute value, and the tumor malignancy, which are input data.
  • the present invention is not limited thereto, and sentences may be constructed using a recurrent neural network model specialized for natural language processing, and sentences may be constructed using a convolutional neural network (CNN) model.
  • CNN convolutional neural network
  • other neural network models may be used as long as the sentence can be composed of input data.
  • the description output from the sentence generation unit 300 is "suspected tumor was found as a result of CT image analysis.
  • the tumor is irregular because the boundary, the size is about 30 mm and almost no calcification 40 It's about% malicious. " Since the description is just one example, the description output by the sentence generation unit 300 is not limited to this format.
  • the computer diagnostic assistance system may include a first maliciousity predictor 100, a second maliciousity predictor 110, an association predictor 200, and a sentence generator 300.
  • the association predictor 200 may include a shape attribute estimator 210, a shape attribute changer 220, a transform image generator 230, and an association determiner 240. Outputs the shape attributes that influenced
  • the shape attribute estimator 210 of this aspect generates a shape attribute vector composed of attribute values for each shape item from the tumor image through the shape score estimation model.
  • the shape score estimation model can be pre-trained using either a Lung Data Database Consortium (LIDC) data set or a LUN No 16 (LUN Nodule Analysis 2016) data set, which is a well-known AI model trained by supervised deep learning or machine learning. Can be.
  • LIDC Lung Data Database Consortium
  • LUN No 16 LUN Nodule Analysis 2016
  • the present invention is not limited thereto, and according to aspects of the inventive concept, Watson of IBM may be used.
  • the shape attribute estimator 210 uses convolutional neural networks (CNNs) specialized for extracting features from an image.
  • CNNs convolutional neural networks
  • the present invention is not limited thereto.
  • the shape attribute changing unit 220 of this aspect changes the attribute value of the shape attribute vector output by the shape attribute estimating unit 210 from the tumor image for each attribute.
  • the purpose of changing the shape attribute vector is to change a specific attribute value from the original tumor image to generate a tumor image whose only specific attribute value is changed.
  • the transform image generating unit 230 of this aspect generates the converted tumor image by reflecting the shape attribute vector whose numerical value of the shape attribute is changed to the original tumor image. That is, by lowering the value of a specific shape property in the existing tumor image, an image of a tumor having little effect of the property is generated. Or in another aspect, an image of the tumor may be generated with elevated levels of certain shape attributes.
  • the image generator generates a tumor image having a specific shape attribute changed by using the original tumor image and the changed shape attribute vector through a tumor image generation model trained by an unsupervised learning method.
  • the association determining unit 240 of this aspect compares the malignancy of the tumor with respect to the converted tumor image obtained from the second malignancy predicting unit 110 with the malignancy of the tumor with respect to the original tumor image and changes the malignancy of the tumor. Outputs the degree of association by predicting the association of attributes. That is, the malignancy of the tumor predicted through the second malignancy predicting unit 110 with respect to the shape-converted tumor image is obtained.
  • the correlation determination unit 240 may detect the malignancy of the tumor for the converted tumor image obtained from the second malignancy predicting unit 110 and the malignancy of the tumor input from the first malignancy predicting unit 100 for the original tumor image. By comparing the figures, the differences are used to predict the association between tumor malignancy and altered properties.
  • the association determining unit 240 determines whether the changed shape attribute affected the malignancy of the tumor.
  • the association determination unit 240 operates based on the LIME algorithm described above. Accordingly, the correlation determination unit 240 changes the numerical value for each shape property of the tumor and determines the correlation between the tumor malignancy and the shape property based on the effect of the change on the change in the predicted value of the tumor malignancy.
  • the computer diagnostic assistance system may include a first maliciousity predictor 100, a second maliciousity predictor 110, an association predictor 200, and a sentence generator 300.
  • the association predicting unit 200 includes a shape attribute estimating unit 210, a shape attribute changing unit 220, and a transformed image generating unit 230 to output shape attributes influencing association and malignancy.
  • the shape attribute estimator 210 of this aspect includes eight shape score estimation models.
  • the shape attribute estimator 210 of this aspect includes eight shape score estimation models each learned for each shape attribute of the tumor image, as shown in FIG. 4. That is, a shape score estimation model corresponding to each of the shape attributes shown in Table 1, namely, Subtlety, Internal Structure, Calcification, Sphericity, Margin, Lobulation, Spiculation and Texture, is included. These shape score estimation models were trained by different labeling for each shape attribute for deep learning or machine learning models of the same structure or the same tumor image. That is, the Subtlety shape score estimation model learns by labeling only numerical values for subtlety in a well-known LIDC data set or LUNA 16 data set. Similarly, for the other shape attributes in the data set for which the sublety is learned, only the shape attribute values are labeled and the same is learned.
  • the shape score estimation model uses Convolutional Neural Networks (CNN) specialized for extracting features from images.
  • CNN Convolutional Neural Networks
  • the present invention is not limited thereto.
  • a shape attribute vector is generated by collecting the values output by each shape score estimation model.
  • the computer diagnostic assistance system may include a first maliciousity predictor 100, a second maliciousity predictor 110, an association predictor 200, and a sentence generator 300.
  • the association predicting unit 200 includes a generative host neural network 250 and an association determining unit 240 to output shape attributes influencing association and malignancy.
  • the Genetic Adversarial Network (250) of this aspect reflects the shape attributes deformed using the shape attribute vectors deformed from the shape attribute vectors extracted from the original tumor image and the noise vector generated from the original tumor images. Generate tumor images.
  • GANs Genetic antagonistic neural networks
  • the GAN structure consists of two models: discriminator D (discriminator) in charge of classification and generator G (generator) for generating data from noise.
  • Constructor G and discriminator D confront each other and improve each other's performance. That is, discriminator D tries to determine only the actual data as true, and producer or generated discriminator D tries to generate fake data so that it cannot distinguish it from the actual data. Discriminator D cannot distinguish between real data and fake data generated by producer G.
  • the generative antagonist network 250 of this aspect generates a new tumor image that reflects the changed shape attributes from the original tumor image by using the noise vector generated from the original tumor image and the shape attribute vector whose specific properties are modified.
  • the correlation between the shape attribute and the malignancy of the tumor is determined by analyzing the amount of change of the tumor malignancy with respect to the original tumor image.
  • the generative host neural network 250 may be configured by using a GAN such as an energy-based GAN (EBGAN), a deep convolutional GAN (DCGAN), a conditional GAN (CGAN), an invertible conditional GAN (ICGAN), or a StarGAN.
  • GAN such as an energy-based GAN (EBGAN), a deep convolutional GAN (DCGAN), a conditional GAN (CGAN), an invertible conditional GAN (ICGAN), or a StarGAN.
  • the generative antagonist network 250 shown in FIG. 5 is an example configured using IcGAN.
  • the noise-encoder 251 generates a noise vector used as an input value by the tumor image generator 253 corresponding to the generator G of the GAN to generate the tumor image.
  • the shape attribute-encoder 252 may extract attribute values of each of the shape attributes from the tumor image using convolutional neural networks (CNNs) specialized for extracting features from an image.
  • CNNs convolutional neural networks
  • the present invention is not limited thereto.
  • the shape attribute-encoder 252 has the same models trained separately for each attribute.
  • the shape property changing unit 220 generates a changed shape property vector in which the property value of the specific shape property is changed among the shape property vectors extracted by the shape property-encoder 252. Since the shape attribute is to analyze the effect on the malignancy of the tumor, the changed shape attribute vector is generated by changing one shape attribute. According to an aspect of the invention, it is possible to create a modified shape attribute vector whose property value is changed for every shape property. In another aspect, the property value is changed by changing the property value only when the property value is out of the standard distribution for each property or the value is large. It is also possible to create shape attribute vectors.
  • the tumor image generator 253 generates a new tumor image having a specific property changed from the original tumor image by using the noise vector and the changed shape property vector. That is, by lowering the value of a specific shape property in the existing tumor image, an image of a tumor having little effect of the property is generated. Or in another aspect, an image of the tumor may be generated with elevated levels of certain shape attributes.
  • Correlation determination unit 240 of this aspect obtains the malignancy of the tumor for the converted tumor image generated by the tumor image generator 253 from the second malignancy predicting unit 110, and for the converted tumor image
  • the correlation between the malignancy of the tumor and the altered property is predicted and output. That is, the malignancy of the tumor predicted through the second malignancy predicting unit 110 with respect to the shape-converted tumor image is obtained.
  • the correlation determination unit 240 may detect the malignancy of the tumor for the converted tumor image obtained from the second malignancy predicting unit 110 and the malignancy of the tumor input from the first malignancy predicting unit 100 for the original tumor image. By comparing the figures, the differences are used to predict the association between tumor malignancy and altered properties.
  • the association determining unit 240 determines whether the changed shape attribute affected the malignancy of the tumor.
  • the association determination unit 240 operates based on the LIME algorithm described above. Accordingly, the correlation determination unit 240 changes the numerical value for each shape property of the tumor and determines the correlation between the tumor malignancy and the shape property based on the effect of the change on the change in the predicted value of the tumor malignancy.
  • the computer diagnostic assistance system may include a first maliciousity predictor 100, a second maliciousity predictor 110, an association predictor 200, and a sentence generator 300. Include.
  • the sentence generation unit 300 may construct the inference-based sentence in the order of the degree of association output by the association predictor 200, and may create an explanation sentence using the malignantness and the inference-based sentence of the original tumor image.
  • the sentence can be completed through a rule-based model based on the input data, the tumor malignancy, the attribute identifier and the attribute value, and their association with the tumor malignancy.
  • the present invention is not limited thereto, and sentences may be constructed using a recurrent neural network model specialized for natural language processing, and sentences may be constructed using a convolutional neural network (CNN) model.
  • CNN convolutional neural network
  • other neural network models may be used as long as the sentence can be composed of input data.
  • FIG. 2 is a block diagram of a computer diagnostic assistance system according to another aspect.
  • the first maliciousity predictor 100 and the second maliciousity predictor 110 may have the same configuration.
  • the computer diagnostic assistance system may include a first maliciousity predictor 100, an association predictor 200, and a sentence generator 300.
  • the computer diagnostic assistance system includes a first malignancy predicting unit 100, an association predicting unit 200, and a sentence generating unit 300, and the association predicting unit 200 has a shape.
  • the property estimator 210, the shape property changer 220, the transformed image generator 230, and the association determiner 240 may be configured to output shape attributes that influence the association and malignancy. .
  • the computer diagnostic assistance system includes a first malignancy predicting unit 100, an association predicting unit 200, and a sentence generating unit 300, and the association predicting unit 200 has a shape.
  • the attribute estimator 210, the shape attribute changer 220, and the transform image generator 230 output the shape attributes influencing the association and the malignancy, and the shape attribute estimator 210 of this aspect.
  • the computer diagnostic assistance system includes a first maliciousity predicting unit 100, an association predicting unit 200, and a sentence generating unit 300, and the association predicting unit 200 is generated.
  • the hostile neural network 250 and the association determiner 240 may be configured to output shape attributes influencing the degree of association and malignancy.
  • FIG. 6 is a flowchart illustrating a method for predicting malignancy of tumors and providing reasoning for inference of the computer diagnostic assistance system according to an exemplary embodiment.
  • to predict the malignancy with respect to the original tumor image in order to provide a reasoning for the prediction of the malignancy of the tumor generating a modified tumor image, and Predicting the malignancy of the tumor with respect to the tumor image, predicting a correlation between the shape attribute and the malignancy of the tumor, and creating an explanation with the malignancy of the tumor and the reasoning sentence.
  • the computer diagnostic assistance system for predicting the malignancy of the tumor predicts the malignancy of the tumor through a model for predicting the malignancy of the tumor with respect to the input original tumor image (S1000).
  • the predicted malignancy is transmitted to the correlation determination unit 240 and the sentence generation unit 300 of the computer diagnostic assistance system.
  • the computer-assisted diagnostic system extracts a shape attribute vector related to the shape of the tumor from the original tumor image (S1020), and changes attribute values of specific attributes of the extracted shape attribute vector.
  • a modified tumor image is generated using the original tumor image and the modified shape attribute vector. That is, the modified tumor image is generated by changing the attribute value of the tumor attribute vector extracted from the original tumor image (S1040).
  • the computer-assisted diagnostic system then predicts the malignancy of the tumor through the malignancy prediction model for the modified modified tumor image (S1060).
  • the malignancy prediction model may be a separate model that is equally trained or may be the same one model.
  • the computer-assisted diagnostic system compares the malignancy of the tumor with respect to the original image and the malignancy of the tumor with respect to the modified tumor image to obtain the difference in malignancy, which is the degree of change in malignancy.
  • the correlation between the tiles is predicted (S1080). After predicting the malignancy of the tumor by changing its properties, if the malignancy of the tumor has not changed, it can be determined that the property is not related to the malignancy of the tumor. On the contrary, if the malignancy of the tumor varies greatly, it can be determined that the property is highly related to the malignancy of the tumor. For example, if only a small change in the value of the Sphericity property was made without changing other properties, and the predicted malignancy of the tumor was changed from 70% to 10%, Sphericity could be considered to be highly related to the malignancy of the tumor.
  • the computer-aided diagnostic system can change the attributes of the attribute item vector, generate a modified tumor image repeatedly, obtain the malignancy of the tumor, and predict the association with the original tumor malignancy.
  • the computer-assisted diagnostic system then constructs the inference evidence sentences in the order of the degree of association, and presents the inferences about the predictive value of the malignancy of the tumor and the reason why such predictions are made by writing explanations with the malignancy and the inference evidence sentences for the original tumor image. (S1100).
  • FIG. 7 is a flowchart illustrating a method for predicting malignancy of tumors and providing reasoning inference of a computer diagnostic assistance system according to another embodiment.
  • to predict the malignancy of the original tumor image in order to provide a reasoning for the prediction of malignancy of the tumor generating a noise vector from the tumor image Generating a modified tumor image, predicting the malignancy of the tumor with respect to the modified tumor image, predicting a correlation between the shape properties and the malignancy of the tumor, It includes creating a description.
  • the computer diagnostic assistance system for predicting the malignancy of the tumor predicts the malignancy of the tumor through a malignancy prediction model trained to predict the malignancy of the tumor with respect to the input original tumor image (S2000).
  • the predicted malignancy is transmitted to the correlation determination unit 240 and the sentence generation unit 300 of the computer diagnostic assistance system.
  • the computer-aided diagnostic system generates a noise vector to be used for generating the tumor image from the original image (S2010).
  • the computer-assisted diagnostic system then extracts the shape attribute vector related to the shape of the tumor from the original tumor image and changes the attribute value of the specific attribute of the extracted shape attribute vector.
  • a modified tumor image is generated using the noise vector and the modified shape attribute vector. That is, the modified tumor image is generated by changing the attribute values of the noise vector and the extracted tumor attribute vector in the original tumor image (S2020).
  • the computer-assisted diagnostic system then predicts the malignancy of the tumor through the malignancy prediction model for the modified modified tumor image (S2030).
  • the malignancy prediction model may be a separate model that is equally trained or may be the same one model.
  • the computer-assisted diagnostic system compares the malignancy of the tumor with respect to the original image and the malignancy of the tumor with respect to the modified tumor image to obtain the difference in malignancy, which is the degree of change in malignancy. Predict the correlation between the tiles (S2040). After predicting the malignancy of the tumor by changing its properties, if the malignancy of the tumor has not changed, it can be determined that the property is not related to the malignancy of the tumor. On the contrary, if the malignancy of the tumor varies greatly, it can be determined that the property is highly related to the malignancy of the tumor. For example, if only a small change in the value of the Sphericity property was made without changing other properties, and the predicted malignancy of the tumor was changed from 70% to 10%, Sphericity could be considered to be highly related to the malignancy of the tumor.
  • the computer-aided diagnostic system can change the attributes of the attribute item vector, generate a modified tumor image repeatedly, obtain the malignancy of the tumor, and predict the association with the original tumor malignancy.
  • the computer-assisted diagnostic system then constructs the inference evidence sentences in the order of the degree of association, and presents the inferences about the predictive value of the malignancy of the tumor and the reason why such predictions are made by writing explanations with the malignancy and the inference evidence sentences for the original tumor image. (S2050).
  • the present invention can be used industrially in the art related to computer-assisted diagnosis and its application, such as predicting malignancy of tumors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

종양의 악성도와 그 추론 근거를 제시하는 컴퓨터 보조 진단 시스템은 악성도 예측부와, 연관성 예측부와, 문장 생성부를 포함한다. 악성도 예측부는 종양 이미지로부터 종양의 악성도를 예측하도록 딥러닝 기반으로 학습된 악성도 예측 모델을 통해 종양의 악성도를 출력한다. 연관성 예측부는 종양 이미지로부터 종양의 형상의 특성을 수치화한 형상 속성 벡터를 추출하고 이 형상 속성 벡터의 항목별 속성 수치를 변경하며 종양 이미지를 형상 변환하고, 이 변환된 종양 이미지에 대하여 예측된 종양의 악성도와 원본 종양 이미지에 대하여 예측된 종양의 악성도를 비교하여 변경된 형상 속성이 악성도에 미치는 영향을 분석하여 연관성을 예측하고 연관도를 수치화하여 출력한다. 문장 생성부는 악성도 예측부의 출력과 연관성 예측부의 출력을 기반으로 종양 이미지에 대한 종양 악성도와 추론 근거 문장으로 설명문을 작성한다.

Description

종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
종양 이미지로부터 종양의 악성도를 예측하는 시스템으로, 종양의 악성도와 연관성이 높은 종양 형상을 바탕으로 악성도 추론 근거도 함께 제공하는 컴퓨터 보조 진단 시스템에 대한 발명이 개시된다.
컴퓨터 보조 진단(Computer-Aided Diagnosis, CAD) 시스템이란 초음파 영상 또는 X-선 영상과 같은 의료영상을 컴퓨터를 이용하여 분석하고 그 분석 결과에 따라 의료영상에 이상 부위를 표시하는 등의 방법으로 의사의 진단에 도움을 주는 시스템을 말한다. 이러한 CAD의 개념은 1960년대에 폐암 환자의 일년 후 생존 가능성을 예측하는 시스템에서 제안되었으나 당시에는 영상을 스캔하여 디지털화하는 기술과 컴퓨팅 기술이 없어 예측 변수들을 사람이 직접 추출하였다. 이후 1970년대 이후 의료영상을 스캔하여 디지털화된 영상을 컴퓨터를 이용하여 처리하는 시스템이 개발되기 시작했다.
이후 CAD 시스템은 컴퓨터를 이용한 진단 자동화보다 진단을 보조하는 개념으로 자리잡으며 발전을 거듭하다 패턴 인식 등의 인공 지능 기술을 이용하여 혈관 영상, 흉부 X선 촬영 영상, 유방 촬영 영상 분석 분야에서 활용되었다.
최근 들어 딥러닝을 기반으로 하는 인공지능 기술의 눈부신 발전으로 문제에 따라 중요한 특징들을 직접 추출하던 방식에서 데이터로부터 문제 해결에 최적화된 특징들을 시스템이 학습하는 방식으로 변화하며 정확도 등에 크게 발전하였다. 특히, 영상에서 특징을 추출하여 문제를 해결하는 데 특화된 컨볼루션 신경망(Convolution Neural Networks, CNN)이 이 분야에 많이 활용되고 있다.
다만, 인공지능 기술의 발전으로 진단 보조의 정확도가 높아졌음에도 왜 그런 진단을 예측하였는지에 대한 질문에 대한 답을 CAD 시스템이 제시하지 못하여 예측의 신뢰도를 향상시키지 못하는 문제가 있다.
제안된 발명은 종양의 이미지로부터 종양의 악성도를 예측하는 컴퓨터 보조 진단 시스템이 종양의 악성도 만을 출력하여 악성도 예측의 근거를 알 수 없어 현장에서 예측의 결과를 신뢰하지 못하는 문제를 해결하는 것을 목적으로 한다.
일 양상에 따르면, 컴퓨터 보조 진단 시스템은 악성도 예측부와, 연관성 예측부와, 문장 생성부를 포함하여 종양의 악성도와 추론 근거 문장으로 구성되는 설명문을 출력한다.
악성도 예측부는 종양 이미지로부터 종양의 악성도를 예측하도록 딥러닝 기반으로 학습된 악성도 예측 모델을 통해 종양의 악성도를 출력한다.
연관성 예측부는 종양 이미지로부터 종양의 형상의 특성을 수치화한 형상 속성 벡터를 추출하고 이 형상 속성 벡터의 항목별 속성 수치를 변경하며 종양 이미지를 형상 변환하고, 이 변환된 종양 이미지에 대하여 예측된 종양의 악성도와 원본 종양 이미지에 대하여 예측된 종양의 악성도를 비교하여 변경된 형상 속성이 악성도에 미치는 영향을 분석하여 연관성을 예측하고 연관도를 수치화하여 출력한다.
문장 생성부는 악성도 예측부의 출력과 연관성 예측부의 출력을 기반으로 종양 이미지에 대한 종양 악성도와 추론 근거 문장으로 설명문을 작성한다.
또 다른 양상에 따르면, 컴퓨터 보조 진단 시스템의 연관성 예측부는 형상 속성 추정부와, 형상 속성 변경부와, 변환 이미지 생성부와, 연관성 판단부를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
형상 속성 추정부는 종양 이미지로부터 형상 스코어 추정 모델을 통해 각 형상 항목별 속성 수치로 구성되는 형상 속성 벡터를 생성한다.
형상 속성 변경부는 변형된 종양 이미지 생성에 사용될 형상 속성 벡터의 속성 수치를 변경한다.
변환 이미지 생성부는 변경된 형상 속성 벡터를 원본의 종양 이미지에 반영하여 변환된 종양 이미지를 생성한다.
연관성 판단부는 악성도 예측부로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력한다.
또 다른 양상에 따르면, 컴퓨터 보조 진단 시스템의 연관성 예측부는 생성적 적대 신경망(Generative Adversarial Network, GAN)과, 연관성 판단부를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
GAN은 원본의 종양 이미지로부터 추출된 형상 속성 벡터에서 변형된 형상 속성 벡터와 원본의 종양 이미지로부터 생성된 노이즈 벡터를 이용하여 변형된 형상 속성이 반영된 종양 이미지를 생성한다.
연관성 판단부는 생성적 적대 신경망이 생성한 종양 이미지에 대하여 악성도 예측부가 예측한 종양의 악성도와 원본의 종양 이미지에 대하여 악성도 예측부가 예측한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력한다.
일 양상에 따르면, 컴퓨터 보조 진단 시스템의 추론 근거 제시 방법은 원본의 종양 이미지에 대하여 종양의 악성도를 예측하는 단계와, 종양 속성을 변경하여 변형된 종양 이미지를 생성하는 단계와, 변형된 종양 이미지에 대하여 종양의 악성도를 예측하는 단계와, 원본 이미지에 대한 종양의 악성도와 변형된 종양 이미지에 대한 종양의 악성도의 차분값을 통해 속성과 종양의 악성도와의 연관성을 예측하는 단계와, 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하는 단계를 포함하여 보조 진단의 근거 설명문을 제공한다.
제안된 발명은 종양의 이미지로부터 종양의 악성도를 예측하는 컴퓨터 보조 진단 시스템이 종양의 악성도 외에 그러한 악성도를 예측한 근거를 문장으로 작성하여 제공하여 사용자가 악성도 예측의 근거를 알 수 있어 예측의 신뢰도를 높이는 효과가 있다.
도 1은 일 양상에 따른 컴퓨터 진단 보조 시스템의 블록도이다.
도 2는 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 블록도이다.
도 3은 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 연관성 예측부의 블록도이다.
도 4는 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 형상 속성 추정부의 블록도이다.
도 5는 생성적 적대 신경망을 사용하는 컴퓨터 진단 보조 시스템의 연관성 예측부의 블록도이다.
도 6은 일 실시 예에 따른 컴퓨터 진단 보조 시스템의 종양의 악성도 예측 및 추론 근거를 제시하는 방법에 대한 절차도이다.
도 7은 또 다른 실시 예에 따른 컴퓨터 진단 보조 시스템의 종양의 악성도 예측 및 추론 근거를 제시하는 방법에 대한 절차도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.
도 1은 일 양상에 따른 컴퓨터 진단 보조 시스템의 블록도이다. 발명의 일 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함한다.
제1 악성도 예측부(100) 및 제2 악성도 예측부(110)는 입력되는 종양 이미지, 특히 폐 결절(Lung Nodule)이 촬영된 폐 CT 등의 영상으로부터 딥러닝 또는 머신러닝 기반으로 학습된 악성도 예측 모델을 통해 종양의 악성도를 출력한다.
악성도 예측 모델은 지도학습(Supervised Learning) 방식의 딥러닝 또는 머신러닝으로 학습된 인공지능 모델로 잘 알려진 LIDC(Lung Image Database Consortium) 데이터 세트 또는 LUNA 16(Lung Nodule Analysis 2016) 데이터 세트를 사용하여 사전에 학습될 수 있다. 다만, 이에 한정되는 것은 아니며 발명의 양상에 따라서는 잘 알려진 IBM의 왓슨(Watson)이 사용될 수 있다.
제1 악성도 예측부(100) 및 제2 악성도 예측부(110)는 영상에서 특징을 추출하는 데 특화된 컨볼루션 신경망(Convolutional Neural Networks, CNN)을 사용한다. 다만, 이에 한정되는 것은 아니다.
연관성 예측부(200)는 원본의 종양 이미지로부터 종양의 형상과 관련된 속성들의 수치로 구성되는 형상 속성 벡터를 추출한다. 연관성 예측부(200)는 추출된 형상 속성 벡터의 형상 항목별로 형상 속성 수치를 변경하며 원본의 종양 이미지를 형상 변환한다. 연관성 예측부(200)는 형상 변환된 종양 이미지에 대하여 제2 악성도 예측부(110)를 통해 예측된 종양의 악성도를 획득한다. 연관성 예측부(200)는 제2 악성도 예측부(110)로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 제1 악성도 예측부(100)로부터 입력된 종양의 악성도를 비교하여 그 차분을 이용하여 종양의 악성도와 변경된 속성의 연관성을 예측한다. 연관성 예측부(200)는 변경된 속성과 종양의 악성도 사이의 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
연관성 예측부(200)는 LIME(Local Interpretable Model-agnostic Explanation) 알고리즘을 기반으로 동작한다. 딥러닝 또는 머신러닝으로 학습된 모델을 적용하여 어떤 문제에 대한 해답을 정확하게 얻더라도 머신러닝 모델이 기본적으로 블랙박스라는 점에서 해당 모델의 동작 방식을 이해하지 못하는 경우가 대부분이다. 이는 머신러닝 모델이 예측한 결과를 신뢰하기 어렵게 만드는 문제가 있다. LIME은 머신러닝 모델이 예측한 결과에 대해 모델이 왜 그러한 결과를 도출하였는지에 대하여 추론 근거를 제시할 수 있는 방법론 중의 하나이다. LIME은 이미지 분류 분야의 경우를 예로 들면, 입력된 이미지를 부분 조각으로 나누고 머신러닝 모델이 이미지를 분류하는 데 가장 중요했던 요소들을 찾아 보여주는 방식으로 머신러닝 모델이 왜 그런 판단을 했는지 추론 근거를 제시한다. LIME의 핵심 아이디어는 입력값을 조금 변경했을 때 모델의 예측값이 크게 바뀌면, 해당 변수는 중요한 변수라는 가정이다.
따라서, 연관성 예측부(200)는 종양의 형상 속성별로 그 수치를 변경하며 그 변경이 종양 악성도 예측값 변화에 미치는 영향을 바탕으로 종양 악성도와 형상 속성의 연관성을 예측한다.
형상 속성은 <표 1>에 표시된 바와 같이 Calcification, Internal structure, Lobulation, Margin, Sphericity, Spiculation, Subtlety와 Texture로 구성되며, 형상 속성 벡터는 이들 속성의 수치화된 평가 값인 속성 수치의 집합이다.
결절 특징(Nodule characteristic) 정의(Definition) 평가 기준(Ratings)
Calcification Calcification appearance in the nodule 1. Popcorn2. Laminated3. Solid4. Non-central5. Central6. Absent
Internal structure Expected internal composition of the nodule 1. Soft tissue2. Fluid3. Fat4. Air
Lobulation Whether lobular shape is apparent from margin or not 1. Marked2.3.4.5. None
Margin How well defined the margins are 1. Poorly defined2.3.4.5. Sharp
Sphericity Dimensional shape in terms of roundness 1. Linear2.3. Ovoid4.5. Round
Spiculation Degree of exhibition of spicules 1. Marked2.3.4.5. None
Subtlety Contrast between nodule and surrounding 1. Extremely subtle2. Moderately subtle3. Fairly subtle4. Moderately obvious5. Obvious
Texture Internal density of nodule 1. Non-solid2.3. Part Solid4.5. Solid
<표 1>은 폐 종양의 악성 또는 양성을 판단하는 결절 특징(Nodule characteristic) 항목, 결절 특징(Nodule characteristic) 항목별 정의 (Description) 및 평가(Rating) 기준에 대해 기재되어 있다.
결절 특징(Nodule characteristic) 항목은 결절의 석회화 진행 정도에 따라 외형을 평가하기 위한 석회화(Calcification) 항목, 결절의 예상되는 내부 구성 물질이 유동적(Fluid)인지 또는 지방(Fat) 인지 등을 평가하는 내부 구조(Internal structure) 항목, 분엽 모양이 모서리로부터 선명한지의 여부를 평가하는 분엽화(Lobulation) 항목, 결절의 악성일 가능성의 정도를 평가하는 악성도(Malignancy) 항목, 결절의 모서리의 경계가 명확하지를 평가하는 모서리(Margin) 항목, 결절의 모양의 둥근 정도를 평가하는 구형도(Sphericity) 항목, 결절에서 골편의 드러나는 정도를 평가하는 골편화(Spiculation) 항목, 결절과 주변을 대비 평가하는 민감도(Subtlety) 항목 및 결절의 내부 밀도를 평가하는 질감(Texture) 항목 중 적어도 하나 이상을 포함할 수 있다.
문장 생성부(300)는 연관성 예측부(200)의 출력인 연관도 값들을 종합하여 추론 근거 문장을 생성하고, 제1 악성도 예측부(100)의 출력과 연관성 예측부(200)의 출력을 기반으로 종양 이미지에 대한 종양 악성도와 추론 근거 문장으로 설명문을 작성한다.
문장 생성부(300)는 입력되는 데이터인 종양의 악성도와 속성 식별자와 속성 값과 이들의 종양 악성도와의 연관도를 바탕으로 규칙 기반(Rule based) 모델을 통해 문장을 완성할 수 있다. 다만, 이에 한정되는 것은 아니며 자연어 처리에 특화된 순환 신경망(Recurrent Neural Networks) 모델을 사용하여 문장을 구성할 수도 있으며, 컨볼루션 신경망(CNN) 모델을 사용하여 문장을 구성할 수 있다. 또한, 입력되는 데이터로 문장을 구성할 수 있으면 다른 신경망 모델을 사용할 수도 있다.
일 실시 예에 따르면, 문장 생성부(300)에서 출력되는 설명문은 "CT 영상 분석 결과 의심되는 종양이 발견되었습니다. 해당 종양은 경계가 불규칙하고, 크기가 30 mm 정도이며 석회화가 거의 되지 않았기 때문에 40% 정도로 악성으로 판단됩니다."와 같은 형태로 작성될 수 있다. 이 설명문은 하나의 예시에 불과하므로 문장 생성부(300)가 출력하는 설명문은 이러한 형식에 한정되지 않는다.
도 3은 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 연관성 예측부(200)의 블록도이다. 발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 형상 속성 추정부(210)와, 형상 속성 변경부(220)와, 변환 이미지 생성부(230)와, 연관성 판단부(240)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
이 양상의 형상 속성 추정부(210)는 종양 이미지로부터 형상 스코어 추정 모델을 통해 각 형상 항목별 속성 수치로 구성되는 형상 속성 벡터를 생성한다. 형상 스코어 추정 모델은 지도학습 방식의 딥러닝 또는 머신러닝으로 학습된 인공지능 모델로 잘 알려진 LIDC(Lung Image Database Consortium) 데이터 세트 또는 LUNA 16(Lung Nodule Analysis 2016) 데이터 세트를 사용하여 사전에 학습될 수 있다. 다만, 이에 한정되는 것은 아니며 발명의 양상에 따라서는 잘 알려진 IBM의 왓슨(Watson)이 사용될 수 있다.
형상 속성 추정부(210)는 영상에서 특징을 추출하는 데 특화된 컨볼루션 신경망(Convolutional Neural Networks, CNN)을 사용한다. 다만, 이에 한정되는 것은 아니다.
이 양상의 형상 속성 변경부(220)는 형상 속성 추정부(210)가 종양 이미지로부터 출력한 형상 속성 벡터의 속성 수치를 속성별로 변경한다. 형상 속성 벡터를 변경하는 목적은 원본의 종양 이미지로부터 특정 속성 수치를 변경하여 그 특정 속성 수치만 변경된 종양 이미지를 생성하는 데 있다.
이 양상의 변환 이미지 생성부(230)는 형상 속성의 수치가 변경된 형상 속성 벡터를 원본의 종양 이미지에 반영하여 변환된 종양 이미지를 생성한다. 즉, 기존의 종양 이미지에서 특정 형상 속성의 수치를 낮추어 해당 속성의 영향이 거의 없는 종양의 이미지를 생성한다. 또는 다른 양상에서는 특정 형상 속성의 수치를 높인 상태에서 종양의 이미지를 생성할 수 있다.
이미지 생성부는 비지도 학습(Unsupervised learning) 방법으로 학습된 종양 이미지 생성 모델을 통해 원본의 종양 이미지와 변경된 형상 속성 벡터를 이용하여 특정 형상 속성이 변경된 종양 이미지를 생성한다.
이 양상의 연관성 판단부(240)는 제2 악성도 예측부(110)로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력한다. 즉, 형상 변환된 종양 이미지에 대하여 제2 악성도 예측부(110)를 통해 예측된 종양의 악성도를 획득한다. 연관성 판단부(240)는 제2 악성도 예측부(110)로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 제1 악성도 예측부(100)로부터 입력된 종양의 악성도를 비교하여 그 차분을 이용하여 종양의 악성도와 변경된 속성의 연관성을 예측한다. 연관성 판단부(240)는 변경된 종양의 악성도로 변경된 형상 속성이 종양의 악성도에 영향을 미쳤는지 판단한다.
연관성 판단부(240)는 앞서 설명한 LIME 알고리즘을 기반으로 동작한다. 따라서, 연관성 판단부(240)는 종양의 형상 속성별로 그 수치를 변경하며 그 변경이 종양 악성도 예측값 변화에 미치는 영향을 바탕으로 종양 악성도와 형상 속성의 연관성을 판단한다.
도 4는 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 형상 속성 추정부(210)의 블록도이다. 발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 형상 속성 추정부(210)와, 형상 속성 변경부(220)와, 변환 이미지 생성부(230)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력하며, 이 양상의 형상 속성 추정부(210)가 8개의 형상 스코어 추정 모델을 포함한다.
이 양상의 형상 속성 추정부(210)는 도 4에 도시된 바와 같이 종양 이미지에 대하여 형상 속성별로 각각 학습된 8개의 형상 스코어 추정 모델을 포함한다. 즉, 표1에 표시된 형상 속성들 즉, Subtlety, Internal Structure, Calcification, Sphericity, Margin, Lobulation, Spiculation와 Texture 각각에 대하여 대응 되는 형상 스코어 추정 모델을 포함한다. 이들 형상 스코어 추정 모델들은 동일한 구조의 지도학습 방식의 딥러닝 또는 머신러닝 모델이나 동일한 종양 이미지에 대하여 각각의 형상 속성별로 레이블링을 다르게 하여 학습되었다. 즉, Subtlety 형상 스코어 추정 모델은 잘 알려진 LIDC 데이터 세트 또는 LUNA 16 데이터 세트에서 subtlety에 대한 수치만 레이블링하여 학습한다. 마찬가지로 sublety를 학습시킨 데이터 세트에서 다른 형상 속성들에 대해서도 그 형상 속성 수치만 레이블링하여 동일하게 각각 학습한다.
형상 스코어 추정 모델은 영상에서 특징을 추출하는 데 특화된 컨볼루션 신경망(Convolutional Neural Networks, CNN)을 사용한다. 다만, 이에 한정되는 것은 아니다.
각각의 형상 스코어 추정 모델이 출력한 수치들을 모아서 형상 속성 벡터를 생성한다.
도 5는 생성적 적대 신경망을 사용하는 컴퓨터 진단 보조 시스템의 연관성 예측부의 블록도이다. 발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 생성적 적대 신경망(250)과, 연관성 판단부(240)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력한다.
이 양상의 생성적 적대 신경망(Generative Adversarial Network, 250)은 원본의 종양 이미지로부터 추출된 형상 속성 벡터에서 변형된 형상 속성 벡터와 원본의 종양 이미지로부터 생성된 노이즈 벡터를 이용하여 변형된 형상 속성이 반영된 종양 이미지를 생성한다.
생성적 적대 신경망(GAN)은 지도 학습(Supervised Learning)과 강화 학습(Reinforcement Learning)과 비지도 학습(Unsupervised Learning)으로 분류되는 머신러닝 중 비지도 학습에 속한다. GAN의 구조는 분류를 담당하는 판별자 D(Discriminator)와 노이즈로부터 데이터를 생성하는 생성자 G(Generator)의 두 개의 모델로 구성되어 있다. 생성자 G와 판별자 D가 대립하며 서로의 성능을 개선시키며 학습하는 모델이다. 즉, 판별자 D는 실제 데이터만을 참으로 판별하기 위해 노력하고 생성자 G는 생성한 판별자 D가 실제 데이터와 구분하지 못하도록 가짜 데이터를 생성하도록 노력하여 최종적으로 두 모델의 성능이 같이 향상되어 최종적으로 판별자 D가 실제 데이터와 생성자 G가 생성한 가짜 데이터를 구분하지 못하게 된다.
따라서 이 양상의 생성적 적대 신경망(250)은 원본의 종양 이미지로부터 생성된 노이즈 벡터와 특정 속성이 변형된 형상 속성 벡터를 사용하여 원본의 종양 이미지로부터 변경된 형상 속성이 반영된 새로운 종양 이미지를 생성하고 이 변형된 종양 이미지에 대하여 종양의 악성도를 예측하여 원본의 종양 이미지에 대한 종양의 악성도와의 변화량을 분석하여 형상 속성과 종양의 악성도의 연관성을 판단한다.
생성적 적대 신경망(250)은 EBGAN(Energy-based GAN), DCGAN(Deep Convolutional GAN), CGAN(Conditional GAN), IcGAN(Invertible conditional GAN), StarGAN 등의 GAN을 활용하여 구성될 수 있다.
도 5에 도시된 생성적 적대 신경망(250)은 IcGAN을 활용하여 구성된 하나의 예시이다.
노이즈-인코더(251)는 GAN의 생성자 G에 해당하는 종양 이미지 생성부(253)가 종양 이미지를 생성할 때 입력 값으로 사용하는 노이즈 벡터를 생성한다.
형상 속성-인코더(252)는 영상에서 특징을 추출하는 데 특화된 컨볼루션 신경망(Convolutional Neural Networks, CNN)을 사용하여 종양 이미지로부터 형상 속성 각각의 속성 수치를 추출할 수 있다. 다만, 이에 한정되는 것은 아니다. 형상 속성-인코더(252)는 동일한 모델들이 각 속성별로 따로 학습되어 있다.
형상 속성 변경부(220)는 형상 속성-인코더(252)가 추출한 형상 속성 벡터 중 특정 형상 속성의 속성 수치를 변경한 변경된 형상 속성 벡터를 생성한다. 형상 속성이 종양의 악성도에 미치는 영향을 분석하기 위한 것이므로 하나의 형상 속성별로 변경하여 변경된 형상 속성 벡터를 생성한다. 발명의 양상에 따라서는 모든 형상 속성별로 속성 수치가 변경된 변경된 형상 속성 벡터를 생성할 수 있으며, 또 다른 양상에서는 속성 수치가 각 속성별 표준 분포를 벗어나거나 값이 큰 경우에만 속성 수치를 변경하여 변경된 형상 속성 벡터를 생성할 수도 있다.
종양 이미지 생성부(253)는 노이즈 벡터와 변경된 형상 속성 벡터를 이용하여 원본의 종양 이미지에서 특정 속성이 변경된 새로운 종양 이미지를 생성한다. 즉, 기존의 종양 이미지에서 특정 형상 속성의 수치를 낮추어 해당 속성의 영향이 거의 없는 종양의 이미지를 생성한다. 또는 다른 양상에서는 특정 형상 속성의 수치를 높인 상태에서 종양의 이미지를 생성할 수 있다.
이 양상의 연관성 판단부(240)는 종양 이미지 생성부(253)가 생성한 변환된 종양 이미지에 대한 종양의 악성도를 제2 악성도 예측부(110)로부터 획득하고, 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력한다. 즉, 형상 변환된 종양 이미지에 대하여 제2 악성도 예측부(110)를 통해 예측된 종양의 악성도를 획득한다. 연관성 판단부(240)는 제2 악성도 예측부(110)로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 제1 악성도 예측부(100)로부터 입력된 종양의 악성도를 비교하여 그 차분을 이용하여 종양의 악성도와 변경된 속성의 연관성을 예측한다. 연관성 판단부(240)는 변경된 종양의 악성도로 변경된 형상 속성이 종양의 악성도에 영향을 미쳤는지 판단한다.
연관성 판단부(240)는 앞서 설명한 LIME 알고리즘을 기반으로 동작한다. 따라서, 연관성 판단부(240)는 종양의 형상 속성별로 그 수치를 변경하며 그 변경이 종양 악성도 예측값 변화에 미치는 영향을 바탕으로 종양 악성도와 형상 속성의 연관성을 판단한다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 제2 악성도 예측부(110)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함한다.
문장 생성부(300)는 연관성 예측부(200)가 출력한 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성할 수 있다. 입력되는 데이터인 종양의 악성도와 속성 식별자와 속성 수치와 이들의 종양 악성도와의 연관도를 바탕으로 규칙 기반(Rule based) 모델을 통해 문장을 완성할 수 있다. 다만, 이에 한정되는 것은 아니며 자연어 처리에 특화된 순환 신경망(Recurrent Neural Networks) 모델을 사용하여 문장을 구성할 수도 있으며, 컨볼루션 신경망(CNN) 모델을 사용하여 문장을 구성할 수 있다. 또한, 입력되는 데이터로 문장을 구성할 수 있으면 다른 신경망 모델을 사용할 수도 있다.
도 2는 또 다른 양상에 따른 컴퓨터 진단 보조 시스템의 블록도이다. 발명의 양상에 따라서는 제1 악성도 예측부(100)와 제2 악성도 예측부(110)가 동일한 하나의 구성일 수 있다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함할 수 있다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 형상 속성 추정부(210)와, 형상 속성 변경부(220)와, 변환 이미지 생성부(230)와, 연관성 판단부(240)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력할 수 있다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 형상 속성 추정부(210)와, 형상 속성 변경부(220)와, 변환 이미지 생성부(230)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력하며, 이 양상의 형상 속성 추정부(210)가 8개의 형상 스코어 추정 모델을 포함할 수 있다.
발명의 또 다른 양상에 따르면, 컴퓨터 진단 보조 시스템은 제1 악성도 예측부(100)와, 연관성 예측부(200)와, 문장 생성부(300)를 포함하고, 연관성 예측부(200)는 생성적 적대 신경망(250)과, 연관성 판단부(240)를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력할 수 있다.
도 6은 일 실시 예에 따른 컴퓨터 진단 보조 시스템의 종양의 악성도 예측 및 추론 근거를 제시하는 방법에 대한 절차도이다. 발명의 일 실시 예에 따르면 컴퓨터 진단 보조 시스템을 종양의 악성도 예측에 대한 추론 근거를 제시하기 위하여 원본의 종양 이미지에 대하여 악성도를 예측하는 단계와, 변형된 종양 이미지를 생성하는 단계와, 변형된 종양 이미지에 대한 종양의 악성도를 예측하는 단계와, 형상 속성과 종양의 악성도의 연관성을 예측하는 단계와, 종양의 악성도와 추론 근거 문장으로 설명문을 작성하는 단계를 포함한다.
종양의 악성도를 예측하는 컴퓨터 진단 보조 시스템은 입력된 원본의 종양 이미지에 대하여 종양의 악성도를 예측하도록 학습된 악성도 예측 모델을 통해 종양의 악성도를 예측한다(S1000). 이때 예측된 종양의 악성도는 컴퓨터 진단 보조 시스템의 연관성 판단부(240)와 문장 생성부(300)로 전달된다.
이후 컴퓨터 보조 진단 시스템은 원본의 종양 이미지로부터 종양의 형상과 관련한 형상 속성 벡터를 추출하고(S1020), 이 추출된 형상 속성 벡터의 특정 속성의 속성 수치를 변경한다. 원본의 종양 이미지와 변경된 형상 속성 벡터를 이용하여 변형된 종양 이미지를 생성한다. 즉, 원본의 종양 이미지에서 추출된 종양 속성 벡터의 속성값을 변경하여 변형된 종양 이미지를 생성한다(S1040).
이후 컴퓨터 보조 진단 시스템은 변형된 변형된 종양 이미지에 대하여 악성도 예측 모델을 통해 종양의 악성도를 예측한다(S1060). 발명의 양상에 따라서는 악성도 예측 모델은 동일하게 학습된 별개의 모델이거나, 동일한 하나의 모델일 수 있다.
이후 컴퓨터 보조 진단 시스템은 원본 이미지에 대한 종양의 악성도와 변형된 종양 이미지에 대한 종양의 악성도를 비교하여 악성도의 변경 정도인 악성도 차분값을 구하고, 그 차분값을 통해 속성과 종양의 악성도와의 연관성을 예측한다(S1080). 해당 속성을 변경하여 다시 종양의 악성도를 예측하였는데 종양의 악성도가 달라지지 않았다면 해당 속성은 종양의 악성도와 연관성이 낮다고 판단할 수 있다. 이와 반대로 종양의 악성도가 큰 폭으로 달라지면 해당 속성은 종양의 악성도와 연관성이 높다고 판단할 수 있다. 예를 들어, 다른 속성은 변경하지 않고 Sphericity 속성의 수치만 조금 변경하였는데 종양의 악성도 예측값이 70%에서 10%로 변경되었다면 Sphericity가 종양의 악성도에 큰 연관성이 있는 것으로 판단할 수 있다.
컴퓨터 보조 진단 시스템은 속성 항목 벡터의 속성을 변경하며 반복하여 변형된 종양 이미지를 생성하고 이에 대하여도 종양의 악성도를 구하고 이를 원본의 종양 악성도와 차분하여 연관성을 예측할 수 있다.
이후 컴퓨터 보조 진단 시스템은 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하여 종양의 악성도의 예측값과 왜 그런 예측을 하였는지에 대하여 추론 근거를 제시한다(S1100).
도 7은 또 다른 실시 예에 따른 컴퓨터 진단 보조 시스템의 종양의 악성도 예측 및 추론 근거를 제시하는 방법에 대한 절차도이다. 발명의 또 다른 실시 예에 따르면 컴퓨터 진단 보조 시스템을 종양의 악성도 예측에 대한 추론 근거를 제시하기 위하여 원본의 종양 이미지에 대하여 악성도를 예측하는 단계와, 종양 이미지로부터 노이즈 벡터를 생성하는 단계와, 변형된 종양 이미지를 생성하는 단계와, 변형된 종양 이미지에 대한 종양의 악성도를 예측하는 단계와, 형상 속성과 종양의 악성도의 연관성을 예측하는 단계와, 종양의 악성도와 추론 근거 문장으로 설명문을 작성하는 단계를 포함한다.
종양의 악성도를 예측하는 컴퓨터 진단 보조 시스템은 입력된 원본의 종양 이미지에 대하여 종양의 악성도를 예측하도록 학습된 악성도 예측 모델을 통해 종양의 악성도를 예측한다(S2000). 이때 예측된 종양의 악성도는 컴퓨터 진단 보조 시스템의 연관성 판단부(240)와 문장 생성부(300)로 전달된다.
이후 컴퓨터 보조 진단 시스템은 원본 이미지로부터 종양 이미지 생성에 사용될 노이즈 벡터를 생성한다(S2010).
이후 컴퓨터 보조 진단 시스템은 원본의 종양 이미지로부터 종양의 형상과 관련한 형상 속성 벡터를 추출하고, 이 추출된 형상 속성 벡터의 특정 속성의 속성 수치를 변경한다. 노이즈 벡터와 변경된 형상 속성 벡터를 이용하여 변형된 종양 이미지를 생성한다. 즉, 원본의 종양 이미지에서 노이즈 벡터와 추출된 종양 속성 벡터의 속성값을 변경하여 변형된 종양 이미지를 생성한다(S2020).
이후 컴퓨터 보조 진단 시스템은 변형된 변형된 종양 이미지에 대하여 악성도 예측 모델을 통해 종양의 악성도를 예측한다(S2030). 발명의 양상에 따라서는 악성도 예측 모델은 동일하게 학습된 별개의 모델이거나, 동일한 하나의 모델일 수 있다.
이후 컴퓨터 보조 진단 시스템은 원본 이미지에 대한 종양의 악성도와 변형된 종양 이미지에 대한 종양의 악성도를 비교하여 악성도의 변경 정도인 악성도 차분값을 구하고, 그 차분값을 통해 속성과 종양의 악성도와의 연관성을 예측한다(S2040). 해당 속성을 변경하여 다시 종양의 악성도를 예측하였는데 종양의 악성도가 달라지지 않았다면 해당 속성은 종양의 악성도와 연관성이 낮다고 판단할 수 있다. 이와 반대로 종양의 악성도가 큰 폭으로 달라지면 해당 속성은 종양의 악성도와 연관성이 높다고 판단할 수 있다. 예를 들어, 다른 속성은 변경하지 않고 Sphericity 속성의 수치만 조금 변경하였는데 종양의 악성도 예측값이 70%에서 10%로 변경되었다면 Sphericity가 종양의 악성도에 큰 연관성이 있는 것으로 판단할 수 있다.
컴퓨터 보조 진단 시스템은 속성 항목 벡터의 속성을 변경하며 반복하여 변형된 종양 이미지를 생성하고 이에 대하여도 종양의 악성도를 구하고 이를 원본의 종양 악성도와 차분하여 연관성을 예측할 수 있다.
이후 컴퓨터 보조 진단 시스템은 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하여 종양의 악성도의 예측값과 왜 그런 예측을 하였는지에 대하여 추론 근거를 제시한다(S2050).
이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.
본 발명은 종양의 악성도 예측 등과 같은 컴퓨터 보조 진단과 관련된 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.

Claims (8)

  1. 종양 이미지로부터 악성도 예측 모델을 통해 종양의 악성도를 출력하는 제1 악성도 예측부 및 제2 악성도 예측부;
    원본의 종양 이미지로부터 추출된 형상 속성 벡터의 항목별로 속성 수치를 변경하며 종양 이미지를 형상 변환하고, 형상 변환된 종양 이미지에 대하여 제2 악성도 예측부를 통해 획득한 종양의 악성도와 상기 제1 악성도 예측부로부터 입력된 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하고, 연관도와 악성도에 영향을 준 형상 속성을 출력하는 연관성 예측부; 및
    제1 악성도 예측부의 출력과 연관성 예측부의 출력을 기반으로 종양 이미지에 대한 종양 악성도와 추론 근거 문장으로 설명문을 작성하는 문장 생성부;
    를 포함하는 컴퓨터 보조 진단 시스템.
  2. 제 1 항에 있어서, 연관성 예측부는 :
    종양 이미지로부터 형상 스코어 추정 모델을 통해 각 형상 항목별 속성 수치로 구성되는 형상 속성 벡터를 생성하는 형상 속성 추정부;
    형상 속성 추정부가 출력한 형상 속성 벡터의 속성 수치를 변경하는 형상 속성 변경부;
    변경된 형상 속성 벡터를 원본의 종양 이미지에 반영하여 변환된 종양 이미지를 생성하는 변환 이미지 생성부; 및
    제2 악성도 예측부로부터 획득한 변환된 종양 이미지에 대한 종양의 악성도와 원본의 종양 이미지에 대한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력하는 연관성 판단부;
    를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력하는 컴퓨터 보조 진단 시스템.
  3. 제 2 항에 있어서, 형상 속성 추정부는 :
    종양 이미지에 대하여 형상 속성별로 각각 학습된 8개의 형상 스코어 추정 모델을 포함하는 컴퓨터 보조 진단 시스템.
  4. 제 1 항에 있어서, 연관성 예측부는 :
    원본의 종양 이미지로부터 추출된 형상 속성 벡터에서 변형된 형상 속성 벡터와 원본의 종양 이미지로부터 생성된 노이즈 벡터를 이용하여 변형된 형상 속성이 반영된 종양 이미지를 생성하는 생성적 적대 신경망(Generative Adversarial Network); 및
    생성적 적대 신경망이 생성한 종양 이미지에 대하여 제2 악성도 예측부가 예측한 종양의 악성도와 원본의 종양 이미지에 대하여 제1 악성도 예측부가 예측한 종양의 악성도를 비교하여 종양의 악성도와 변경된 속성의 연관성을 예측하여 연관도를 출력하는 연관성 판단부;
    를 포함하여 연관도와 악성도에 영향을 준 형상 속성을 출력하는 컴퓨터 보조 진단 시스템.
  5. 제 1 항에 있어서,
    문장 생성부는 연관성 예측부가 출력한 연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하는 컴퓨터 보조 진단 시스템.
  6. 제 1 항 내지 제 5 중 어느 하나의 항에 있어서,
    제1 악성도 예측부와 제2 악성도 예측부는 동일한 악성도 예측부인 컴퓨터 보조 진단 시스템.
  7. 입력된 원본의 종양 이미지에 대하여 악성도 예측 모델을 통해 종양의 악성도를 예측하는 단계;
    원본의 종양 이미지에서 추출된 종양 속성 벡터의 속성값을 변경하여 변형된 종양 이미지를 생성하는 단계;
    변형된 종양 이미지에 대하여 악성도 예측 모델을 통해 종양의 악성도를 예측하는 단계;
    원본 이미지에 대한 종양의 악성도와 변형된 종양 이미지에 대한 종양의 악성도의 차분값을 통해 속성과 종양의 악성도와의 연관성을 예측하는 단계;
    연관도의 순서대로 추론 근거 문장을 구성하며 원본의 종양 이미지에 대한 악성도와 추론 근거 문장으로 설명문을 작성하는 단계;
    를 포함하는 컴퓨터 보조 진단 시스템의 추론 근거 제시 방법.
  8. 제 7 항에 있어서,
    상기 종양 이미지를 생성하는 단계는 원본 이미지로부터 종양 이미지 생성에 사용될 노이즈 벡터를 생성하는 단계를 포함하고,
    종양 이미지는 노이즈 벡터와 변형된 종양 속성 벡터를 이용하여 생성되는 컴퓨터 보조 진단 시스템의 추론 근거 제시 방법.
PCT/KR2018/012991 2018-03-05 2018-10-30 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법 WO2019172498A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180026034A KR20190105461A (ko) 2018-03-05 2018-03-05 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
KR10-2018-0026034 2018-03-05

Publications (1)

Publication Number Publication Date
WO2019172498A1 true WO2019172498A1 (ko) 2019-09-12

Family

ID=67846267

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/012991 WO2019172498A1 (ko) 2018-03-05 2018-10-30 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR20190105461A (ko)
WO (1) WO2019172498A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200279182A1 (en) * 2019-03-02 2020-09-03 Flowcast, Inc. Method and system for automatically producing plain-text explanation of machine learning models
CN114267445A (zh) * 2021-12-23 2022-04-01 山东众阳健康科技集团有限公司 一种诊断一致性检验方法、系统、设备及介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102253402B1 (ko) * 2019-11-28 2021-05-17 광운대학교 산학협력단 Ai방식을 이용한 적대적 이미지 생성장치 및 그 방법
KR102420051B1 (ko) * 2020-10-26 2022-07-12 주식회사 인피닉스 인공지능을 이용한 방광 종양의 악성도 검출 장치 및 방법
KR102317857B1 (ko) 2020-12-14 2021-10-26 주식회사 뷰노 병변 판독 방법
KR20220109535A (ko) 2021-01-28 2022-08-05 권오연 안저 검사 방법 및 장치
CN114267443B (zh) * 2021-11-08 2022-10-04 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
CN115661152B (zh) * 2022-12-27 2023-04-07 四川大学华西医院 基于模型预测的目标发展情况分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
KR20140070081A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
KR20150073628A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 컴퓨터 보조 진단용 진단모델 적응 시스템 및 방법
KR20160058812A (ko) * 2013-09-20 2016-05-25 트랜스뮤럴 바이오테크, 에스.엘. 질환을 진단하기 위한 영상 분석 기법
US20170200268A1 (en) * 2016-01-07 2017-07-13 ClearView Diagnostics Inc. Methods and means of cad system personalization to reduce intraoperator and interoperator variation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
KR20140070081A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
KR20160058812A (ko) * 2013-09-20 2016-05-25 트랜스뮤럴 바이오테크, 에스.엘. 질환을 진단하기 위한 영상 분석 기법
KR20150073628A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 컴퓨터 보조 진단용 진단모델 적응 시스템 및 방법
US20170200268A1 (en) * 2016-01-07 2017-07-13 ClearView Diagnostics Inc. Methods and means of cad system personalization to reduce intraoperator and interoperator variation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200279182A1 (en) * 2019-03-02 2020-09-03 Flowcast, Inc. Method and system for automatically producing plain-text explanation of machine learning models
CN114267445A (zh) * 2021-12-23 2022-04-01 山东众阳健康科技集团有限公司 一种诊断一致性检验方法、系统、设备及介质

Also Published As

Publication number Publication date
KR20190105461A (ko) 2019-09-17

Similar Documents

Publication Publication Date Title
WO2019172498A1 (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
Mireshghallah et al. Quantifying privacy risks of masked language models using membership inference attacks
US7949167B2 (en) Automatic learning of image features to predict disease
Faghani et al. Mitigating bias in radiology machine learning: 3. Performance metrics
WO2019164064A1 (ko) 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
Tang et al. CapSurv: Capsule network for survival analysis with whole slide pathological images
WO2018189549A1 (en) Assessment of density in mammography
Panetta et al. Automated detection of COVID-19 cases on radiographs using shape-dependent Fibonacci-p patterns
WO2021182889A2 (ko) 영상 기반의 안질환 진단 장치 및 방법
Wang et al. Computer-aided endoscopic diagnosis without human-specific labeling
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
Schabdach et al. A likelihood-free approach for characterizing heterogeneous diseases in large-scale studies
Álvarez-Rodríguez et al. Does imbalance in chest X-ray datasets produce biased deep learning approaches for COVID-19 screening?
WO2023063486A1 (ko) 기계학습모델의 생성 방법 및 그 장치
Elhanashi et al. Classification and Localization of Multi-type Abnormalities on Chest X-rays Images
Ghomi et al. Segmentation of COVID-19 pneumonia lesions: A deep learning approach
Su et al. Attention2Minority: A salient instance inference-based multiple instance learning for classifying small lesions in whole slide images
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
Peter et al. Medical image analysis using unsupervised and supervised classification techniques
Ma et al. Dual attention fusion UNet for COVID-19 lesion segmentation from CT images
Salama et al. An efficient quantification of COVID‐19 in chest CT images with improved semantic segmentation using U‐Net deep structure
WO2023176992A1 (ko) 비지도 학습 기반 의료 데이터 분석 장치 및 방법
Mustapha et al. Leveraging the Novel MSHA Model: A Focus on Adrenocortical Carcinoma
WO2024106799A1 (ko) 늑골 골절에 대한 정보 제공 방법 및 이를 이용한 디바이스
Sharma et al. COMBINATION OF COMPUTED TOMOGRAPHY (CT) IMAGES WITH A CHEST X-RAY DIAGNOSTIC SYSTEM USING DEEP LEARNING

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18908600

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18908600

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15/04/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18908600

Country of ref document: EP

Kind code of ref document: A1