WO2022019356A1 - 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 - Google Patents

준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 Download PDF

Info

Publication number
WO2022019356A1
WO2022019356A1 PCT/KR2020/009721 KR2020009721W WO2022019356A1 WO 2022019356 A1 WO2022019356 A1 WO 2022019356A1 KR 2020009721 W KR2020009721 W KR 2020009721W WO 2022019356 A1 WO2022019356 A1 WO 2022019356A1
Authority
WO
WIPO (PCT)
Prior art keywords
training
patch
slide
neural network
level
Prior art date
Application number
PCT/KR2020/009721
Other languages
English (en)
French (fr)
Inventor
이상훈
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to US18/017,397 priority Critical patent/US20230298753A1/en
Priority to JP2023502693A priority patent/JP7430025B2/ja
Priority to EP20946016.1A priority patent/EP4170678A4/en
Priority to PCT/KR2020/009721 priority patent/WO2022019356A1/ko
Priority to CN202080104689.6A priority patent/CN116134535A/zh
Publication of WO2022019356A1 publication Critical patent/WO2022019356A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a method for performing annotation on an onset region of a disease using semi-supervised learning and a diagnostic system for performing the same, and relates to training data labeled with diagnostic results at the slide level. Patch-level and pixel-level semi-supervised learning can be performed using using It is about a diagnostic system.
  • One of the major tasks performed in pathology or pathology is to perform a diagnosis to determine a condition or symptom for a specific disease by reading a biological image of a patient (eg, a living tissue slide of a patient).
  • This diagnosis is a method that depends on the experience and knowledge of skilled medical personnel for a long time.
  • a recent trend is to gradually increase a method of reading a slide image generated by digitally imaging a living tissue.
  • diagnosis of disease through a neural network using a bio-image uses a piece of a slide that is a bio-image, that is, a patch (also referred to as a patch or tile). That is, a medical practitioner skilled in the corresponding patch image annotates the state of a specific disease (eg, whether cancer is expressed) or the diseased region, and uses these annotated multiple patch images as training data to perform a neural neural network. learn the network.
  • a convolutional neural network may be used as the neural network.
  • creating a region annotation for annotating an onset region in a patch image takes a lot of time and cost compared to other annotation operations. Therefore, it takes a lot of time and money to collect learning data for training a neural network that predicts an onset region.
  • diagnosis of the entire slide is a general process of traditional medical practice, and learning data labeled with slide-level diagnosis results can be obtained relatively easily from hospitals and the like. Therefore, a neural network capable of performing patch-level diagnosis on slide data tagged with relatively easily obtainable slide-level diagnosis results, and furthermore, a neural network capable of predicting disease outbreak areas by performing pixel-level diagnosis A way to do this is urgent needed.
  • Patent Literature Korean Patent Application Laid-Open No. 10-2016-0034814 "Client device accompanying a neural network and a system including the same"
  • the technical task of the present invention is to perform semi-supervised learning using only slide-level diagnostic results, so that a patch-level neural network capable of predicting a patch-level diagnostic result and a pixel-level neural network capable of predicting a pixel-level diagnostic result
  • An object of the present invention is to provide a method and system for learning a neural network and enabling annotation on disease pathogenesis through it.
  • a diagnostic system using a neural network receives a patch, which is a part of a slide, which is a biological image, as an input, and predicts a classification result regarding whether a predetermined disease exists in the patch.
  • a diagnosis system using the neural network includes a plurality of obtaining a training slide image of - each of the plurality of training slide images is labeled with a slide level diagnosis result corresponding thereto; and a diagnosis system using the neural network, and gradually training the patch-level classification neural network and the pixel-level classification neural network using
  • the training includes: (a) generating, for each of the plurality of training slides, training data corresponding to the training slide, wherein the training data corresponding to the training slide includes the patch level class including patch-level training data for training the application neural network and pixel-level training data for training the pixel-level classification neural network; (b) training the patch level classification neural network using patch level training data corresponding to each of the plurality of training slides; (c) training the pixel-level classification neural network using pixel-level training data corresponding to each of the plurality of training slides;
  • the generating of the training data corresponding to the training slide may include inputting each of a plurality of patch images corresponding to the training slide into the patch level classification neural network to correspond to the training slide. obtaining a classification result for each of a plurality of patch images, wherein the plurality of patch images corresponding to the training slide are a plurality of images obtained by dividing the training slide into predetermined sizes; determining a representative patch image corresponding to the training slide from among a plurality of patch images corresponding to the training slide based on prediction results for each of the plurality of patch images corresponding to the training slide; and labeling a representative patch image corresponding to the training slide as a slide level diagnosis result of the training slide image to generate patch level training data corresponding to the training slide image.
  • the generating of the training data corresponding to the training slide may include inputting each of a plurality of patch images corresponding to the training slide into the patch level classification neural network to correspond to the training slide. obtaining a classification result for each of a plurality of patch images, wherein the plurality of patch images corresponding to the training slide are a plurality of images obtained by dividing the training slide into predetermined sizes; determining a representative patch image corresponding to the training slide from among a plurality of patch images corresponding to the training slide based on prediction results for each of the plurality of patch images corresponding to the training slide; generating a mask corresponding to the representative patch image through gradient-weighted class activation mapping for the classification neural network outputting the prediction result for the representative patch image; and generating pixel-level training data corresponding to the training slide by labeling a representative patch image corresponding to the training slide with a mask corresponding to the representative patch image.
  • the disease may be characterized in that prostate cancer.
  • a computer program installed in a data processing apparatus and recorded on a computer-readable medium for performing the above-described method.
  • a diagnostic system using a neural network comprising a processor and a memory for storing a computer program, wherein the computer program is, when executed by the processor, a diagnostic system using the neural network
  • a diagnostic system using a neural network for performing the above-described method is provided.
  • a patch-level classification neural network that receives a patch, which is a divided part of a predetermined slide, which is a biological image, as input, and predicts a classification result regarding whether a predetermined disease exists in the patch
  • the A storage module for receiving a patch and storing a pixel-level classification neural network that predicts a classification result for the disease for each pixel constituting the patch, a plurality of training slide images -
  • Each of the plurality of training slide images includes , the patch-level classification neural network and the pixel-level classification neural network are progressively constructed using an acquisition module that acquires the corresponding slide-level diagnosis result is labeled, and the plurality of training slide images.
  • a training module for training wherein the training module is configured to: for each of the plurality of training slides, to gradually train the patch-level classification neural network and the pixel-level classification neural network generating training data corresponding to a slide, wherein the training data corresponding to the training slide includes patch level training data for training the patch level classifying neural network and the pixel level classifying neural network. including pixel level training data for training, training the patch level classification neural network using patch level training data corresponding to each of the plurality of training slides;
  • a diagnosis system using a neural network that repeatedly performs a training process including training the pixel-level classification neural network using corresponding pixel-level training data twice or more.
  • the generating of the training data corresponding to the training slide may include inputting each of a plurality of patch images corresponding to the training slide into the patch level classification neural network to correspond to the training slide. obtaining a classification result for each of a plurality of patch images, wherein the plurality of patch images corresponding to the training slide are a plurality of images obtained by dividing the training slide into predetermined sizes Determining a representative patch image corresponding to the training slide from among a plurality of patch images corresponding to the training slide based on the prediction result for each of the plurality of patch images corresponding to and labeling a representative patch image as a slide level diagnosis result of the training slide image to generate patch level training data corresponding to the training slide image.
  • the generating of the training data corresponding to the training slide may include inputting each of a plurality of patch images corresponding to the training slide into the patch level classification neural network to correspond to the training slide. obtaining a classification result for each of a plurality of patch images, wherein the plurality of patch images corresponding to the training slide are a plurality of images obtained by dividing the training slide into predetermined sizes Determining a representative patch image corresponding to the training slide from among a plurality of patch images corresponding to the training slide based on the prediction result for each of the plurality of patch images corresponding to , prediction of the representative patch image Generating a mask corresponding to the representative patch image through gradient-weighted class activation mapping for the classification neural network outputting the result, and a representative patch corresponding to the training slide and labeling an image with a mask corresponding to the representative patch image to generate pixel-level training data corresponding to the training slide.
  • a predetermined diagnosis target patch image is input to the pixel-level classification neural network that has been trained to obtain a classification result for the disease for each pixel constituting the diagnosis target patch image
  • the The method may further include an annotation module for annotating the disease occurrence region in the diagnosis subject patch image based on a classification result for each pixel constituting the diagnosis subject patch image.
  • a patch-level neural network capable of predicting a diagnosis result in a patch unit and a pixel level neural network capable of predicting a diagnosis result in a pixel unit unit
  • FIG. 1 is a diagram illustrating an operating environment of a method for learning a neural network using semi-supervised learning according to the technical idea of the present invention and performing annotation on an onset region using the same.
  • FIG. 2 is a diagram illustrating a schematic configuration of a diagnostic system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a process in which the diagnostic system gradually trains a patch-level classicalization neural network and a pixel-level classicalization neural network using a plurality of training slide images according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a specific example of a process in which the diagnosis system generates training data corresponding to one training slide according to an embodiment of the present invention.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a diagram illustrating an operating environment of a method for learning a neural network using semi-supervised learning according to the technical idea of the present invention and performing annotation on an onset region using the same.
  • a method according to the inventive concept may be performed by a diagnostic system 100 .
  • the diagnostic system 100 may be a computing system. Alternatively, it may be installed in a predetermined server 10 to implement the technical idea of the present invention.
  • the server 10 means a data processing device having arithmetic capability for implementing the technical idea of the present invention, and generally not only a data processing device accessible by a client (terminal; 20 to 20-1) through a network, but also a personal data processing device.
  • An average expert in the technical field of the present invention can easily infer that any device capable of performing a specific service, such as a computer or a mobile terminal, can be defined as a server.
  • the server 10 may include a processor and a storage device.
  • the processor may refer to an arithmetic unit capable of driving a program for implementing the technical idea of the present invention.
  • the storage device may mean a data storage means capable of storing a program and various data necessary for implementing the technical idea of the present invention, and may be implemented as a plurality of storage means according to an embodiment.
  • the storage device may be meant to include not only the main storage device included in the server 10 , but also a temporary storage device or memory that may be included in the processor.
  • diagnosis system 100 is illustrated as being implemented as any one physical device in FIG. 1 , a plurality of physical devices may be organically combined to implement the diagnosis system 100 according to the technical spirit of the present invention, if necessary. An average expert in the technical field of the present invention can easily infer.
  • FIG. 2 is a diagram schematically illustrating a configuration of a diagnostic system 100 according to an embodiment of the present invention.
  • the system 100 may include a storage module 110 , a generation module 120 , an acquisition module 130 , a learning module 140 , and an annotation module 150 .
  • the diagnosis system 100 is more Of course, it may include more components.
  • the system 100 includes other components of the system 100 (eg, a storage module 110 , a generation module 120 , an acquisition module 130 , a learning module 140 , and an annotation module 150 ). ), etc.) may further include a control module (not shown) for controlling functions and/or resources.
  • the system 100 may further include a database (DB) 200 for storing various types of information and/or data required to implement the technical idea of the present invention.
  • DB database
  • the system 100 may mean a logical configuration including hardware resources and/or software necessary to implement the technical idea of the present invention, and necessarily means one physical component or one device. does not mean That is, the system 100 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, installed in devices spaced apart from each other to perform each function. It may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the system 100 may mean a set of components separately implemented for each function or role for implementing the technical idea of the present invention. For example, each of the storage module 110 , the acquisition module 120 , the learning module 130 , and the annotation module 140 may be located in different physical devices or may be located in the same physical device.
  • each of the storage module 110, the acquisition module 120, the learning module 130 and the annotation module 140 is also located in different physical devices, Components located in different physical devices may be organically coupled to each other to implement the respective modules.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or a single type of hardware. can be easily inferred to an average expert in the technical field of the present invention.
  • the DB 200 may store a plurality of training slides that are pathological images.
  • the training slide may be various biological images including tissue images and biopsy images.
  • Each of the plurality of training slides may be labeled with a slide level disease diagnosis result.
  • the disease may be prostate cancer.
  • prostate cancer the disease may be prostate cancer.
  • the technical spirit of the present invention is not limited to prostate cancer. .
  • the slide-level diagnosis result labeled on each training slide may be a diagnosis result of a disease previously made by a medical professional based on the slide.
  • the diagnosis result of the slide may include not only the presence of a specific disease (negative/positive), but also the degree of progression (or probability corresponding to the progression) of the specific disease.
  • a Gleason Pattern or Gleason Score which is an index indicating the degree of progression of prostate cancer, may be included in the diagnosis result.
  • the Gleason score has a value of 2 to 10, and typically a value of 6 to 10 is regarded as cancer, and a larger number indicates a severe degree of prostate cancer expression.
  • Gleason patterns can be divided into classes 1 to 5.
  • a patch level classification neural network 160 and a pixel level classification neural network 170 may be stored in the storage module 110 , and the patch level classification neural network 160 and the pixel level classification neural network 160 and pixel level classifica
  • the application neural network 170 may be generated by the generation module 120 .
  • the patch-level clasification neural network 160 may be a neural network for receiving a patch and predicting a classification result regarding whether a predetermined disease exists in the patch.
  • the patch may be a partial image of a predetermined slide divided into predetermined sizes. That is, one slide may be divided into a plurality of patches, and the patch-level classification neural network 160 may receive a patch and perform a patch-level diagnosis. Before performing the diagnosis, the patch-level clergy neural network 160 may be previously trained by the learning module 140 .
  • information output from the patch-level classification neural network 160 performing patch-level diagnosis can determine whether a specific disease (eg, a specific type of cancer) is expressed in the tissue corresponding to the patch. It may be information to make it happen.
  • the information output from the patch-level classification neural network 160 may be information indicating a probability of whether a specific disease (eg, a specific type of cancer) is expressed in the tissue corresponding to the patch. . In this case, when the probability value output by the patch-level classification neural network 160 is equal to or greater than a specific reference value (threshold value), it may be determined that a disease (eg, prostate cancer) is expressed in the patch.
  • the patch-level tunation neural network 160 may output not only whether a specific disease is expressed, but also information indicating the degree of progression of a specific disease (or a probability corresponding to the progression).
  • the Gleason Pattern or Gleason Score which is an index indicating the degree of progression of prostate cancer, is used in the patch level classicalization neural network 160 .
  • the threshold value used by the patch-level classification neural network 160 may be set in various ways, and depending on the threshold value, a specific patch may be determined as a disease-expressing patch, that is, a disease patch, or determined as a normal patch. Of course it could be.
  • the pixel level cleavage neural network 170 may be a neural network for receiving a patch and predicting a classification result for the disease for each pixel constituting the patch.
  • the pixel-level classification neural network 170 that outputs the classification result for each pixel may perform segmentation to classify disease-onset regions.
  • the pixel level classification neural network 170 may output whether or not a disease has occurred or a disease incidence probability for each pixel constituting a patch, and a pixel for which it is determined that the disease has occurred or a pixel whose incidence probability exceeds a certain threshold. This constituting region may be determined as an onset region.
  • the pixel-level classification neural network 170 predicts whether or not a disease occurs (or a disease incidence probability) and/or a disease progression level (or a probability corresponding to the progression rate) for each pixel. can also be printed out.
  • the pixel-level classification neural network 170 may be previously learned by the learning module 140 .
  • a neural network may refer to a set of information expressing a series of design items defining a neural network.
  • the neural networks 160 and 170 may be convolutional neural networks.
  • the convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer.
  • Each of the plurality of hidden layers may include a convolution layer and a pooling layer (or sub-sampling layer).
  • the convolutional neural network may be defined by a function, filter, stride, weight factor, etc. for defining each of these layers.
  • the output layer may be defined as a fully connected FeedForward layer.
  • each layer constituting the convolutional neural network The design details for each layer constituting the convolutional neural network are widely known. For example, known functions may be used for each of the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and to implement the technical idea of the present invention Separately defined functions may be used.
  • An example of the convolution function is a discrete convolution sum and the like.
  • max pooling, average pooling, etc. may be used.
  • An example of the activation function may be a sigmoid, a tangent hyperbolic (tanh), a rectified linear unit (ReLU), or the like.
  • the convolutional neural network in which design matters are defined may be stored in a storage device. And when the convolutional neural network is learned, a weight factor corresponding to each layer may be specified.
  • learning of the convolutional neural network may refer to a process in which weight factors of respective layers are determined. And when the convolutional neural network is learned, the learned convolutional neural network may receive input data to an input layer and output output data through a predefined output layer.
  • a neural network according to an embodiment of the present invention may be defined by selecting one or a plurality of well-known design items as described above, or an independent design item may be defined for the neural network.
  • the acquisition module 130 acquires training data for quasi-supervised learning for the patch-level classification neural network 160 and the pixel-level classicization neural network 170 .
  • the acquisition module 130 may acquire a plurality of training slide images, and a corresponding slide level diagnosis result may be labeled on each of the plurality of training slide images.
  • the acquisition module 130 may acquire a training slide image from the DB 200 .
  • the learning module 140 may gradually train the patch-level classicalization neural network 160 and the pixel-level classicalization neural network 170 by using the plurality of training slide images. An example of the training process is shown in FIG. 3 .
  • the acquisition module 130 may acquire N slide images S 1 to S N labeled with a slide level diagnosis result (N being an integer greater than or equal to 2) ( S100 ).
  • the learning module 140 may perform a process of generating learning data.
  • the learning module 140 may generate training data corresponding to the training slide for each of the N training slides (S110 and S120).
  • each training data corresponding to the training slide is patch-level training data for training the patch-level classification neural network 160 and pixels for training the pixel-level classicization neural network 170 .
  • It may include level training data.
  • the learning module 140 When N training data are generated through step S110, the learning module 140 generates N patch level training data (ie, patch level training data T (1, 1) to N corresponding to the first training slide).
  • the patch-level classification neural network 160 may be trained using pixel-level training data T (N, 1) ) corresponding to the th training slide.
  • the learning module 140 includes N pixel-level training data (ie, pixel-level training data T (1,2) corresponding to the first training slide to pixel-level training data T corresponding to the N-th training slide) (N, 2) ) can be used to train the pixel-level classification neural network 170 .
  • N pixel-level training data ie, pixel-level training data T (1,2) corresponding to the first training slide to pixel-level training data T corresponding to the N-th training slide
  • N, 2 can be used to train the pixel-level classification neural network 170 .
  • the learning module 140 determines whether a predetermined training condition is satisfied when one round of learning for the patch-level classicization neural network 160 and the pixel-level classicization neural network 170 is completed. and, if satisfied, the training may be terminated (S150).
  • the learning module 140 may determine that the training condition is satisfied when training is repeated a certain number of times. Alternatively, the learning module 140 determines that the training condition is satisfied when the learned patch level classicization neural network 160 and/or the pixel level classicization neural network 170 satisfies a predetermined condition. can
  • the learning module 140 may use the patch-level classification neural network 160 that is still in training in the process of generating learning data.
  • step S120 of FIG. 3 is a diagram illustrating a specific example of a process (ie, step S120 of FIG. 3 ) in which the learning module 140 generates training data corresponding to one training slide (slide S K ).
  • the learning module 140 is the individual patches that make up a slide S K for training patch level class As can be input to the indications neural network 160, the patch level class As indications neural network At 160 , a patch level diagnosis result corresponding to each patch may be predicted ( S122 ).
  • the learning module 140 generates a mask image corresponding to each patch through gradient-weighted class activation mapping for the patch level classification neural network 160 receiving each patch. It can be done (S123).
  • Gradient-weighted class activation mapping is a technique for generating localization maps that highlight areas that have had a significant impact on predicting outcomes from images.
  • the learning module 140 receives a predetermined patch from a localization map generated by gradient-weighted class activation mapping for the patch level classification neural network 160 receiving a specific patch.
  • a mask image corresponding to the patch can be generated by masking pixels having a threshold value of
  • the learning module 140 of the patch level class As a representative of each of the patches constituting the slide S K for training on the basis of the diagnostic result for each patch of the indications neural network 160 patches performed in step S122 R K It can be determined (S124). For example, if the patch-level classification neural network 160 is a neural network that outputs an onset probability of a disease, the learning module 140 may determine a patch having the highest incidence probability as a representative patch. Alternatively, the learning module 140 may determine at least one patch having an onset probability equal to or greater than a predetermined value as representative patches.
  • the learning module 140 is representative of patch R K training slide S K of the label, labeled L K slide S K patch level training data T (K corresponding to for , 1) can be created (S125).
  • It can also generate the learning module 140 is representative of the K patch R labeled with a mask image corresponding to R K corresponding to the pixel level data for training the slide S K T (K, 2) .
  • the training data for training the patch-level classicization neural network 160 and the pixel-level classicization neural network are slide-level training data (that is, slide level Diagnostic results are automatically generated from labeled slide images), and each neural network is trained through it. Accordingly, semi-supervised learning capable of training the patch-level classification neural network 160 and the pixel-level classicization neural network only with slide-level training data can be implemented.
  • training data is generated based on the prediction result of the patch-level classicization neural network 160 , and the generated training data is again used for training of the patch-level classicization neural network 160 .
  • advancement of the patch-level classification neural network 160 may be achieved.
  • the annotation module 150 may perform annotation on the biometric image using the pixel-level classification neural network 170 that has been trained.
  • the annotation module 150 inputs a predetermined diagnosis target patch image to the pixel-level classification neural network 170 that has been trained, and provides information about the disease for each pixel constituting the diagnosis target patch image.
  • a classification result may be obtained, and the disease occurrence region may be annotated in the diagnosis subject patch image based on the classification result for each pixel constituting the diagnosis subject patch image.
  • the diagnosis system 100 may include a processor and a memory for storing a program executed by the processor.
  • the processor may include a single-core CPU or a multi-core CPU.
  • the memory may include high-speed random access memory and may include non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Access to memory by the processor and other components may be controlled by a memory controller.
  • the method according to the embodiment of the present invention may be implemented in the form of a computer-readable program command and stored in a computer-readable recording medium, and the control program and the target program according to the embodiment of the present invention are also implemented in the computer. It may be stored in a readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the software field.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floppy disks, and hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium is distributed in network-connected computer systems, and computer-readable codes can be stored and executed in a distributed manner.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by an apparatus for electronically processing information using an interpreter or the like, for example, a computer.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be applied to a method for performing annotation on an onset region of a disease using semi-supervised learning and a diagnostic system for performing the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 준-지도학습(semi-supervised learning)을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템이 개시된다. 본 발명의 일 측면에 따르면, 뉴럴 네트워크를 이용한 진단 시스템이, 생체 이미지인 소정의 슬라이드가 분할된 일부인 패치를 입력 받아 상기 패치에 소정의 질병이 존재하는지 여부에 관한 분류 결과를 예측하는 패치 레벨 클래시피케이션 뉴럴 네트워크, 및 상기 패치를 입력 받아 상기 패치를 구성하는 각 픽셀 별로 상기 질병에 대한 분류 결과를 예측하는 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 생성하는 단계, 상기 뉴럴 네트워크를 이용한 진단 시스템이, 복수의 훈련용 슬라이드 이미지-상기 복수의 훈련용 슬라이드 이미지 각각에는, 그에 상응하는 슬라이드 레벨 진단 결과가 라벨링되어 있음-를 획득하는 단계 및 상기 뉴럴 네트워크를 이용한 진단 시스템이, 상기 복수의 훈련용 슬라이드 이미지를 이용하여, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하는 단계를 포함하는 방법이 제공된다.

Description

준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
본 발명은 준-지도학습(semi-supervised learning)을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템에 관한 것으로서, 슬라이드 레벨에서 진단 결과가 라벨링 되어 있는 훈련 데이터를 이용하여 패치 레벨 및 픽셀 레벨의 준-지도학습이 수행될 수 있도록 하며, 준-지도학습을 통해 훈련된 뉴럴 네트워크를 이용하여 질병의 발병 영역에 대한 어노테이션을 자동으로 수행하기 위한 방법 및 이를 수행하는 진단 시스템에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체 이미지(예를 들어, 환자인 생체 조직 슬라이드)를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜 기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다. 최근의 추세는 생체 조직을 디지털 이미징하여 생성된 슬라이드 이미지를 판독하는 방식이 점차 증가하고 있다.
한편, 최근에는 기계 학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예컨대, 컨벌루션 뉴럴 네트워크(Convolution Neural Network, CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있으며, 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 이미지 기반의 질병 진단을 대표적으로 예로 들 수 있다. 특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체이미지를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체이미지인 슬라이드의 조각 즉, 패치(pathch, 또는 타일(tile)이라고도 함)을 이용한다. 즉, 해당 패치 이미지에 대해 숙련된 의료인은 특정 질병의 상태(예컨대, 암이 발현되었는지 여부)나 질병의 발병 영역을 어노테이션(annotaion)하고, 이러한 어노테이션된 다수의 패치 이미지들을 트레이닝 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 이때 상기 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크가 이용될 수 있다.
그런데, 일반적으로 패치 이미지에서 발병 영역을 어노테이션하는 영역 어노테이션은 만드는 작업에는 다른 어노테이션 작업에 비해 특히 많은 시간과 비용이 많이 소요된다. 따라서, 발병 영역에 대한 예측을 수행하는 뉴럴 네트워크를 훈련하기 위한 학습 데이터를 수집하기 위해서는 많은 시간과 비용이 많이 소요된다.
반면 슬라이드 전체에 대한 진단은 전통적인 의료 행위의 일반적인 프로세스이며, 슬라이드 레벨의 진단 결과가 라벨링된 학습 데이터는 병원 기관 등으로부터 비교적 손쉽게 구할 수 있다. 따라서, 비교적 손쉽게 구할 수 있는 슬라이드 레벨의 진단 결과가 태깅된 슬라이드 데이터를 패치 단위의 진단을 수행할 수 있는 뉴럴 네트워크, 나아가 픽셀 레벨의 진단을 수행함으로써 질병의 발병 영역을 예측할 수 있는 뉴럴 네트워크를 학습할 수 있는 방안이 절실히 요구된다.
* 선행기술문헌
- 특허문헌 : 한국공개특허 10-2016-0034814 "뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템"
본 발명이 이루고자 하는 기술적인 과제는 슬라이드 레벨의 진단 결과만을 이용하여 준-지도학습을 수행함으로써, 패치 단위의 진단 결과를 예측할 수 있는 패치 레벨 뉴럴 네트워크 및 픽셀 단위의 진단 결과를 예측할 수 있는 픽셀 레벨 뉴럴 네트워크를 학습하고 이를 통하여 질병의 발병 영역에 대한 어노테이션이 가능하도록 하는 방법 및 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, 뉴럴 네트워크를 이용한 진단 시스템이, 생체 이미지인 소정의 슬라이드가 분할된 일부인 패치를 입력 받아 상기 패치에 소정의 질병이 존재하는지 여부에 관한 분류 결과를 예측하는 패치 레벨 클래시피케이션 뉴럴 네트워크, 및 상기 패치를 입력 받아 상기 패치를 구성하는 각 픽셀 별로 상기 질병에 대한 분류 결과를 예측하는 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 생성하는 단계, 상기 뉴럴 네트워크를 이용한 진단 시스템이, 복수의 훈련용 슬라이드 이미지-상기 복수의 훈련용 슬라이드 이미지 각각에는, 그에 상응하는 슬라이드 레벨 진단 결과가 라벨링되어 있음-를 획득하는 단계 및 상기 뉴럴 네트워크를 이용한 진단 시스템이, 상기 복수의 훈련용 슬라이드 이미지를 이용하여, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하는 단계를 포함하되, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하는 단계는, (a) 상기 복수의 훈련용 슬라이드 각각에 대하여, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 훈련 데이터는, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 패치 레벨 훈련 데이터 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 픽셀 레벨 훈련 데이터를 포함함; (b) 상기 복수의 훈련용 슬라이드 각각에 상응하는 패치 레벨 훈련 데이터를 이용하여 상기 패치 레벨 클래시피케이션 뉴럴 네트워크를 훈련하는 단계; (c) 상기 복수의 훈련용 슬라이드 각각에 상응하는 픽셀 레벨 훈련 데이터를 이용하여 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하는 단계; 및 (d) 상기 (a) 단계 내지 상기 (c) 단계를 적어도 한 번 반복 수행하는 단계를 포함하는 방법이 제공된다.
일 실시예에서, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계는, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각을 상기 패치 레벨 클래시피케이션 뉴럴 네트워크에 입력하여 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 분류 결과를 획득하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지는, 상기 훈련용 슬라이드를 소정의 크기로 분할한 복수의 이미지임; 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 예측 결과에 기초하여, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 중 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 결정하는 단계; 및 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 상기 훈련용 슬라이드 이미지의 슬라이드 레벨 진단 결과 라벨링하여, 상기 훈련용 슬라이드 이미지에 상응하는 패치 레벨 훈련 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계는, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각을 상기 패치 레벨 클래시피케이션 뉴럴 네트워크에 입력하여 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 분류 결과를 획득하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지는, 상기 훈련용 슬라이드를 소정의 크기로 분할한 복수의 이미지임; 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 예측 결과에 기초하여, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 중 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 결정하는 단계; 상기 대표 패치 이미지에 대한 예측 결과를 출력한 상기 클래시피케이션 뉴럴 네트워크에 대한 경사도-가중 클래스 활성화 매핑(Gradient-weighted Class Activation Mapping)을 통하여 상기 대표 패치 이미지에 상응하는 마스크를 생성하는 단계; 및 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 상기 대표 패치 이미지에 상응하는 마스크로 라벨링하여, 상기 훈련용 슬라이드에 상응하는 픽셀 레벨 훈련 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 훈련이 완료된 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크에 소정의 진단 대상 패치 이미지를 입력하여, 상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 상기 질병에 대한 분류 결과를 획득하는 단계; 및 상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 분류 결과에 기초하여, 상기 진단 대상 패치 이미지에 상기 질병의 발생 영역을 어노테이션하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 질병은, 전립선 암인 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 컴퓨터 판독 가능한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 뉴럴 네트워크를 이용한 진단 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하되, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 수행되는 경우, 상기 뉴럴 네트워크를 이용한 진단 시스템이 상술한 방법을 수행하도록 하는 뉴럴 네트워크를 이용한 진단 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 생체 이미지인 소정의 슬라이드가 분할된 일부인 패치를 입력 받아 상기 패치에 소정의 질병이 존재하는지 여부에 관한 분류 결과를 예측하는 패치 레벨 클래시피케이션 뉴럴 네트워크, 및 상기 패치를 입력 받아 상기 패치를 구성하는 각 픽셀 별로 상기 질병에 대한 분류 결과를 예측하는 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 저장하는 저장모듈, 복수의 훈련용 슬라이드 이미지-상기 복수의 훈련용 슬라이드 이미지 각각에는, 그에 상응하는 슬라이드 레벨 진단 결과가 라벨링되어 있음-를 획득하는 획득모듈 및 상기 복수의 훈련용 슬라이드 이미지를 이용하여, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하는 훈련모듈을 포함하되, 상기 훈련모듈은, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하기 위하여, 상기 복수의 훈련용 슬라이드 각각에 대하여, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 훈련 데이터는, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 패치 레벨 훈련 데이터 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 픽셀 레벨 훈련 데이터를 포함함-, 상기 복수의 훈련용 슬라이드 각각에 상응하는 패치 레벨 훈련 데이터를 이용하여 상기 패치 레벨 클래시피케이션 뉴럴 네트워크를 훈련하는 단계 및 상기 복수의 훈련용 슬라이드 각각에 상응하는 픽셀 레벨 훈련 데이터를 이용하여 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하는 단계를 포함하는 훈련 과정을 2회 이상 반복 수행하는 뉴럴 네트워크를 이용한 진단 시스템이 제공된다.
일 실시에에서, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계는, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각을 상기 패치 레벨 클래시피케이션 뉴럴 네트워크에 입력하여 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 분류 결과를 획득하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지는, 상기 훈련용 슬라이드를 소정의 크기로 분할한 복수의 이미지임, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 예측 결과에 기초하여, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 중 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 결정하는 단계 및 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 상기 훈련용 슬라이드 이미지의 슬라이드 레벨 진단 결과 라벨링하여, 상기 훈련용 슬라이드 이미지에 상응하는 패치 레벨 훈련 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계는, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각을 상기 패치 레벨 클래시피케이션 뉴럴 네트워크에 입력하여 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 분류 결과를 획득하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지는, 상기 훈련용 슬라이드를 소정의 크기로 분할한 복수의 이미지임, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 예측 결과에 기초하여, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 중 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 결정하는 단계, 상기 대표 패치 이미지에 대한 예측 결과를 출력한 상기 클래시피케이션 뉴럴 네트워크에 대한 경사도-가중 클래스 활성화 매핑(Gradient-weighted Class Activation Mapping)을 통하여 상기 대표 패치 이미지에 상응하는 마스크를 생성하는 단계 및 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 상기 대표 패치 이미지에 상응하는 마스크로 라벨링하여, 상기 훈련용 슬라이드에 상응하는 픽셀 레벨 훈련 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 훈련이 완료된 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크에 소정의 진단 대상 패치 이미지를 입력하여, 상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 상기 질병에 대한 분류 결과를 획득하고, 상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 분류 결과에 기초하여, 상기 진단 대상 패치 이미지에 상기 질병의 발생 영역을 어노테이션하는 어노테이션 모듈을 더 포함할 수 있다.
본 발명의 기술적 사상에 의하면, 슬라이드 레벨의 진단 결과만을 이용하여 준-지도학습을 수행함으로써, 패치 단위의 진단 결과를 예측할 수 있는 패치 레벨 뉴럴 네트워크 및 픽셀 단위의 진단 결과를 예측할 수 있는 픽셀 레벨 뉴럴 네트워크를 학습하고 이를 통하여 질병의 발병 영역에 대한 어노테이션이 가능하도록 하는 방법 및 시스템을 제공할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따라 준-지도학습을 이용하여 뉴럴 네트워크를 학습하고, 이를 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법의 동작 환경을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 진단 시스템의 개략적인 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 진단 시스템이 복수의 훈련용 슬라이드 이미지를 이용하여 패치 레벨 클래시피케이션 뉴럴 네트워크 및 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 진단 시스템이 하나의 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 과정의 구체적인 일 예를 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 준-지도학습을 이용하여 뉴럴 네트워크를 학습하고, 이를 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법의 동작 환경을 도시한 도면이다. 도 1를 참조하면, 본 발명의 기술적 사상에 따른 방법은 진단 시스템(100)에 의해 수행될 수 있다.
본 발명의 기술적 사상에 진단 시스템(100)은 컴퓨팅 시스템일 수 있다. 또는 소정의 서버(10)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트(단말; 20 내지 20-1)가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 서버(10)는 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있다. 상기 저장장치는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 서버(10)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 진단 시스템(100)은 도 1에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 진단 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 2는 본 발명의 일 실시예에 따른 진단 시스템(100)의 개략적인 구성을 나타내는 도면이다.
도 2를 참조하면, 상기 시스템(100)은 저장모듈(110), 생성모듈(120), 획득모듈(130), 학습모듈(140) 및 어노테이션모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 진단 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 시스템(100)의 다른 구성(예를 들면, 저장모듈(110), 생성모듈(120), 획득모듈(130), 학습모듈(140) 및 어노테이션모듈(150) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다. 또한 실시예에 따라 상기 시스템(100)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보 및/또는 데이터를 저장하기 위한 데이터베이스(Database; DB; 200)를 더 포함할 수도 있다.
상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 저장모듈(110), 획득모듈(120), 학습모듈(130) 및 어노테이션모듈(140) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 저장모듈(110), 획득모듈(120), 학습모듈(130) 및 어노테이션모듈(140) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 DB(200)는 병리 이미지인 복수의 훈련용 슬라이드를 저장할 수 있다. 상기 훈련용 슬라이드는 조직 이미지, 생검 이미지를 비롯한 다양한 생체 이미지일 수 있다. 상기 복수의 훈련용 슬라이드 각각에는 슬라이드 레벨의 질병 진단 결과가 라벨링되어 있을 수 있다.
예를 들어 상기 질병은 전립선 암일 수 있으며, 이하에서는 전립선 암을 중심으로 설명하지만 본 발명의 기술적 사상이 전립선 암에 국한되는 것이 아님은 본 발명이 속하는 분야에서 통상의 기술자라면 용이하게 이해할 수 있을 것이다.
한편, 각 훈련용 슬라이드에 라벨링되어 있는 슬라이드 레벨의 진단 결과는 의료 전문가가 미리 해당 슬라이드를 기반으로 내린 질병에 대한 판단 결과일 수 있다.
예를 들어 슬라이드에 대한 진단 결과는 특정 질병의 발현여부(음성/양성)뿐만 아니라, 특정 질병의 진행 정도(또는 진행 정도에 해당할 확률)를 포함할 수 있다. 예를 들어, 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 패턴(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 진단 결과에 포함될 수 있다. 예컨대, 글리슨 스코어는 2 내지 10의 값을 가지며, 통상적으로는 6 내지 10의 값을 암으로 볼 수 있으며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 글리슨 패턴은 1 내지 5까지의 부류로 구분될 수 있다.
상기 저장모듈(110)에는 패치 레벨 클래시피케이션 뉴럴 네트워크(160) 및 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)가 저장될 수 있으며, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160) 및 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)는 생성모듈(120)에 의해 생성될 수 있다.
상기 패치 레벨 클레시피케이션 뉴럴 네트워크(160)는 패치를 입력 받아 상기 패치에 소정의 질병이 존재하는지 여부에 관한 분류 결과를 예측하기 위한 뉴럴 네트워크일 수 있다.
이때, 패치는 소정의 슬라이드가 일정한 크기로 분할된 일부의 이미지일 수 있다. 즉, 하나의 슬라이드는 복수의 패치로 분할될 수 있으며, 상기 패치 레벨 클레시피케이션 뉴럴 네트워크(160)는 패치를 입력받아 패치 레벨 진단을 수행할 수 있다. 진단을 수행하기 전 상기 패치 레벨 클레시피케이션 뉴럴 네트워크(160)는 학습모듈(140)에 의해 미리 학습될 수 있다.
한편, 패치 레벨 진단을 수행하는 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)가 출력하는 정보는 상기 패치에 해당하는 조직에 특정 질병(예컨대, 특정 종류의 암)이 발현되었는지 여부에 대한 판단이 가능하도록 하는 정보일 수 있다. 예를 들어, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)가 출력하는 정보는 상기 패치에 해당하는 조직에 특정 질병(예컨대, 특정 종류의 암)이 발현되었는지 여부에 대한 확률을 나타내는 정보일 수 있다. 이 경우, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)가 출력한 확률 값이 특정 기준 값(문턱 값) 이상인 경우 상기 패치에 질병(예컨대, 전립선 암)이 발현한 것으로 판단할 수 있다.
물론, 실시예에 따라 상기 패치 레벨 클레시피케이션 뉴럴 네트워크(160)는 특정 질병의 발현여부뿐만 아니라, 특정 질병의 진행 정도를 나타내는 정보(또는 상기 진행 정도에 해당할 확률)를 출력할 수도 있다. 예컨대, 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 스코어(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)가 출력하는 정보에 포함될 수 있다. 한편, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)가 이용하는 문턱 값은 다양하게 설정될 수 있으며, 문턱 값에 따라 특정 패치가 질병이 발현된 패치 즉, 질병 패치로 판단될 수도 있고 노멀 패치로 판단될 수 있음은 물론이다.
한편, 상기 픽셀 레벨 클레시피케이션 뉴럴 네트워크(170)는 패치를 입력 받아 상기 패치를 구성하는 각 픽셀 별로 상기 질병에 대한 분류 결과를 예측하기 위한 뉴럴 네트워크일 수 있다. 픽셀 별 분류 결과를 출력하는 상기 픽셀 레벨 클레시피케이션 뉴럴 네트워크(170)는 질병의 발병 영역을 구분하기 위한 세크멘테이션을 수행할 수 있다.
상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)은 패치를 구성하는 각각의 픽셀 별 질병의 발병 여부 혹은 질병의 발병 확률가 출력될 수 있으며, 발병한 것을 판단된 픽셀 혹은 발병 확률이 일정한 문턱 값을 넘은 픽셀이 구성하는 영역이 발병 영역으로 판단될 수 있다.
실시예에 따라 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)은 각각의 픽셀 별 질병의 발병 여부(혹은 질병의 발병 확률) 및/또는 질병의 진행 정도(또는 상기 진행 정도에 해당할 확률)를 예측하여 출력할 수도 있다.
한편, 세그멘테이션(즉, 픽셀 별 진단 결과 예측)을 수행하기 전 상기 픽셀 레벨 클레시피케이션 뉴럴 네트워크(170)는 학습모듈(140)에 의해 미리 학습될 수 있다.
본 명세서에서 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 일 실시예에서 상기 뉴럴 네트워크(160, 170)은 컨볼루션 뉴렬 네트워크일 수 있다.
상기 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다.
이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
다시 도 2를 참조하면, 상기 획득모듈(130)은 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160) 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)에 대한 준-지도학습을 위한 훈련 데이터를 획득할 수 있다. 즉, 상기 획득모듈(130)은 복수의 훈련용 슬라이드 이미지를 획득할 수 있으며, 상기 복수의 훈련용 슬라이드 이미지 각각에는 그에 상응하는 슬라이드 레벨 진단 결과가 라벨링되어 있을 수 있다. 예를 들어 상기 획득모듈(130)은 상기 DB(200)로부터 훈련용 슬라이드 이미지를 획득할 수 있다.
상기 학습모듈(140)은 상기 복수의 훈련용 슬라이드 이미지를 이용하여, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160) 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)를 점진적으로 훈련할 수 있는데, 점진적 훈련 과정의 일 예가 도 3에 도시되어 있다.
도 3을 참조하면, 상기 획득모듈(130)은 슬라이드 레벨 진단 결과가 라벨링된 N개(N은 2 이상의 정수)의 슬라이드 이미지 S1 내지 SN를 획득할 수 있다(S100).
이후 상기 학습모듈(140)은 학습 데이터를 생성하는 과정을 수행할 수 있다. 보다 상세하게는 상기 학습모듈(140)은 상기 N개의 훈련용 슬라이드 각각에 대하여, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성할 수 있다(S110, S120). 이때, 훈련용 슬라이드에 상응하는 각각의 훈련 데이터는, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)를 훈련하기 위한 패치 레벨 훈련 데이터 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)를 훈련하기 위한 픽셀 레벨 훈련 데이터를 포함할 수 있다. 예를 들어, K번째 슬라이드(K는 1<=K<=N인 정수)에 상응하는 훈련 데이터는 패치 레벨 훈련 데이터 T(K, 1) 및 픽셀 레벨 훈련 데이터 T(K, 2)를 포함할 수 있다(S120 참조).
S110 단계를 통해 N개의 훈련용 데이터가 생성되면, 상기 학습모듈(140)은 N개의 패치 레벨 훈련용 데이터(즉, 첫 번째 훈련용 슬라이드에 상응하는 패치 레벨 훈련 데이터 T(1, 1) 내지 N번째 훈련용 슬라이드에 상응하는 픽셀 레벨 훈련 데이터 T(N, 1))를 이용하여 패치 레벨 클래시피케이션 뉴럴 네트워크(160)를 훈련할 수 있다.
또한 상기 학습모듈(140)은 N개의 픽셀 레벨 훈련용 데이터(즉, 첫 번째 훈련용 슬라이드에 상응하는 픽셀 레벨 훈련 데이터 T(1, 2) 내지 N번째 훈련용 슬라이드에 상응하는 픽셀 레벨 훈련 데이터 T(N, 2))를 이용하여 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)를 훈련할 수 있다.
한편, 상기 학습모듈(140)은 패치 레벨 클래시피케이션 뉴럴 네트워크(160) 및 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)에 대한 한 차례의 학습이 완료되면, 소정의 훈련 조건이 만족했는지 여부를 판단할 수 있으며, 만족한 경우 훈련을 종료할 수 있다(S150).
예를 들어 상기 학습모듈(140)은 일정한 회수만큼 훈련이 반복된 경우에 훈련 조건이 만족된 것으로 판단할 수 있다. 또는 상기 학습모듈(140)은 학습된 패치 레벨 클래시피케이션 뉴럴 네트워크(160) 및/또는 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)가 소정의 조건을 만족한 경우에 훈련 조건이 만족된 것으로 판단할 수 있다.
한편, 일 실시예에서, 상기 학습모듈(140)은 학습 데이터를 생성하는 과정에서 아직 훈련 도중에 있는 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)를 이용할 수 있다.
도 4는 학습모듈(140)이 하나의 훈련용 슬라이드(슬라이드 SK)에 상응하는 훈련 데이터를 생성하는 과정(즉, 도 3의 S120 단계)의 구체적인 일 예를 도시한 도면이다.
도 4를 참조하면, 상기 학습모듈(140)은 훈련용 슬라이드 SK를 구성하는 각각의 패치를 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)에 입력할 수 있으며, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)은 각 패치에 상응하는 패치 레벨 진단 결과를 예측할 수 있다(S122).
또한 상기 학습모듈(140)은 각 패치를 입력받은 패치 레벨 클래시피케이션 뉴럴 네트워크(160)에 대한 경사도-가중 클래스 활성화 매핑(Gradient-weighted Class Activation Mapping)을 통하여 각 패치에 상응하는 마스크 이미지를 생성할 수 있다(S123). 경사도-가중 클래스 활성화 매핑은 이미지로부터의 결과 예측에 중대한 영향을 미친 영역을 강조하는 로컬라이제이션 맵을 생성하기 위한 테크닉이다.
예를 들어, 상기 학습모듈(140)은 특정 패치를 입력받은 패치 레벨 클래시피케이션 뉴럴 네트워크(160)에 대한 경사도-가중 클래스 활성화 매핑(Gradient-weighted Class Activation Mapping)에 의해 생성된 로컬라이제이션 맵에서 소정의 임계 값 이상을 가지는 픽셀을 마스킹함으로써 해당 패치에 상응하는 마스크 이미지를 생성할 수 있다
한편 상기 학습모듈(140)은 S122 단계에서 수행된 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)의 각 패치에 대한 진단 결과에 기초하여 훈련용 슬라이드 SK를 구성하는 각각의 패치 중 대표 패치 RK 결정할 수 있다(S124). 예를 들어 상기 패치 레벨 클래시피케이션 뉴럴 네트워크(160)이 질병의 대한 발병 확률을 출력하는 뉴럴 네트워크라고 하면 상기 학습모듈(140)은 발병 확률이 가장 큰 패치를 대표 패치로 결정할 수 있다. 또는 상기 학습모듈(140)은 발병 확률이 일정 값 이상인 적어도 하나의 패치를 대표 패치들로 결정할 수도 있다.
한편, S124 단계에서 대표 패치 RK가 결정되면, 상기 학습모듈(140)은 대표 패치 RK를 훈련용 슬라이드 SK의 라벨 LK 로 라벨링하여 슬라이드 SK에 상응하는 패치 레벨 훈련 데이터 T(K, 1) 생성할 수 있다(S125).
또한 상기 학습모듈(140)은 대표 패치 RK를 RK에 상응하는 마스크 이미지로 라벨링하여 슬라이드 SK에 상응하는 픽셀 레벨 훈련 데이터 T(K, 2) 생성할 수 있다.
이와 같이 도 3 및 도 4를 참조하여 설명한 훈련 방법에 따르면, 패치 레벨 클래시피케이션 뉴럴 네트워크(160) 및 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 훈련 데이터가 슬라이드 레벨 훈련 데이터(즉, 슬라이드 레벨 진단 결과가 라벨링된 슬라이드 이미지들)로부터 자동으로 생성되어 이를 통해 각 뉴럴 네트워크가 훈련된다. 따라서, 슬라이드 레벨 훈련 데이터만으로 패치 레벨 클래시피케이션 뉴럴 네트워크(160) 및 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련할 수 있는 준-지도학습이 구현될 수 있다.
또한 패치 레벨 클래시피케이션 뉴럴 네트워크(160)의 예측 결과에 근거하여 훈련 데이터가 생성되며, 이렇게 생성된 훈련 데이터가 다시 패치 레벨 클래시피케이션 뉴럴 네트워크(160)의 훈련에 이용되는 점진적 방식의 훈련을 통해 패치 레벨 클래시피케이션 뉴럴 네트워크(160)에 대한 고도화가 이루어질 수 있다.
한편, 다시 도 2를 참조하면, 상기 어노테이션모듈(150)은 훈련이 완료된 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)를 이용하여 생체 이미지에 대한 어노테이션을 수행할 수 있다.
즉, 상기 어노테이션모듈(150)은 훈련이 완료된 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크(170)에 소정의 진단 대상 패치 이미지를 입력하여, 상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 상기 질병에 대한 분류 결과를 획득할 수 있으며, 상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 분류 결과에 기초하여 상기 진단 대상 패치 이미지에 상기 질병의 발생 영역을 어노테이션할 수 있다.
또한 본 명세서에서는 전립선 암에 대해 본 발명의 기술적 사상이 적용된 일 예를 주로 설명하였지만, 특정 조직뿐만 아니라 해당 조직이 주변조직의 상태까지 고려하여 상기 특정 조직의 진단을 수행할 필요가 있는 다른 질병에 대해서도 본 발명의 기술적 사상이 적용될 경우 정확한 진단이 가능할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 구현 예에 따라서, 상기 진단 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템에 이용될 수 있다.

Claims (11)

  1. 뉴럴 네트워크를 이용한 진단 시스템이, 생체 이미지인 소정의 슬라이드가 분할된 일부인 패치를 입력 받아 상기 패치에 소정의 질병이 존재하는지 여부에 관한 분류 결과를 예측하는 패치 레벨 클래시피케이션 뉴럴 네트워크, 및 상기 패치를 입력 받아 상기 패치를 구성하는 각 픽셀 별로 상기 질병에 대한 분류 결과를 예측하는 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 생성하는 단계;
    상기 뉴럴 네트워크를 이용한 진단 시스템이, 복수의 훈련용 슬라이드 이미지-상기 복수의 훈련용 슬라이드 이미지 각각에는, 그에 상응하는 슬라이드 레벨 진단 결과가 라벨링되어 있음-를 획득하는 단계; 및
    상기 뉴럴 네트워크를 이용한 진단 시스템이, 상기 복수의 훈련용 슬라이드 이미지를 이용하여, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하는 단계를 포함하되,
    상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하는 단계는,
    (a) 상기 복수의 훈련용 슬라이드 각각에 대하여, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 훈련 데이터는, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 패치 레벨 훈련 데이터 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 픽셀 레벨 훈련 데이터를 포함함;
    (b) 상기 복수의 훈련용 슬라이드 각각에 상응하는 패치 레벨 훈련 데이터를 이용하여 상기 패치 레벨 클래시피케이션 뉴럴 네트워크를 훈련하는 단계;
    (c) 상기 복수의 훈련용 슬라이드 각각에 상응하는 픽셀 레벨 훈련 데이터를 이용하여 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하는 단계; 및
    (d) 상기 (a) 단계 내지 상기 (c) 단계를 적어도 한 번 반복 수행하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계는,
    상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각을 상기 패치 레벨 클래시피케이션 뉴럴 네트워크에 입력하여 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 분류 결과를 획득하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지는, 상기 훈련용 슬라이드를 소정의 크기로 분할한 복수의 이미지임;
    상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 예측 결과에 기초하여, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 중 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 결정하는 단계; 및
    상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 상기 훈련용 슬라이드 이미지의 슬라이드 레벨 진단 결과 라벨링하여, 상기 훈련용 슬라이드 이미지에 상응하는 패치 레벨 훈련 데이터를 생성하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계는,
    상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각을 상기 패치 레벨 클래시피케이션 뉴럴 네트워크에 입력하여 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 분류 결과를 획득하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지는, 상기 훈련용 슬라이드를 소정의 크기로 분할한 복수의 이미지임;
    상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 예측 결과에 기초하여, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 중 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 결정하는 단계;
    상기 대표 패치 이미지에 대한 예측 결과를 출력한 상기 클래시피케이션 뉴럴 네트워크에 대한 경사도-가중 클래스 활성화 매핑(Gradient-weighted Class Activation Mapping)을 통하여 상기 대표 패치 이미지에 상응하는 마스크를 생성하는 단계; 및
    상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 상기 대표 패치 이미지에 상응하는 마스크로 라벨링하여, 상기 훈련용 슬라이드에 상응하는 픽셀 레벨 훈련 데이터를 생성하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    훈련이 완료된 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크에 소정의 진단 대상 패치 이미지를 입력하여, 상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 상기 질병에 대한 분류 결과를 획득하는 단계; 및
    상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 분류 결과에 기초하여, 상기 진단 대상 패치 이미지에 상기 질병의 발생 영역을 어노테이션하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서, 상기 질병은,
    전립선 암인 것을 특징으로 하는 방법.
  6. 데이터 처리장치에 설치되며 제1항 내지 제5항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독 가능한 매체에 기록된 컴퓨터 프로그램.
  7. 뉴럴 네트워크를 이용한 진단 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하되,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 수행되는 경우, 상기 뉴럴 네트워크를 이용한 진단 시스템이 제1항 내지 제5항 중 어느 한 항에 기재된 방법을 수행하도록 하는 뉴럴 네트워크를 이용한 진단 시스템.
  8. 생체 이미지인 소정의 슬라이드가 분할된 일부인 패치를 입력 받아 상기 패치에 소정의 질병이 존재하는지 여부에 관한 분류 결과를 예측하는 패치 레벨 클래시피케이션 뉴럴 네트워크, 및 상기 패치를 입력 받아 상기 패치를 구성하는 각 픽셀 별로 상기 질병에 대한 분류 결과를 예측하는 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 저장하는 저장모듈;
    복수의 훈련용 슬라이드 이미지-상기 복수의 훈련용 슬라이드 이미지 각각에는, 그에 상응하는 슬라이드 레벨 진단 결과가 라벨링되어 있음-를 획득하는 획득모듈; 및
    상기 복수의 훈련용 슬라이드 이미지를 이용하여, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하는 학습모듈을 포함하되,
    상기 학습모듈은, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 점진적으로 훈련하기 위하여,
    상기 복수의 훈련용 슬라이드 각각에 대하여, 상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 훈련 데이터는, 상기 패치 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 패치 레벨 훈련 데이터 및 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하기 위한 픽셀 레벨 훈련 데이터를 포함함-;
    상기 복수의 훈련용 슬라이드 각각에 상응하는 패치 레벨 훈련 데이터를 이용하여 상기 패치 레벨 클래시피케이션 뉴럴 네트워크를 훈련하는 단계; 및
    상기 복수의 훈련용 슬라이드 각각에 상응하는 픽셀 레벨 훈련 데이터를 이용하여 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크를 훈련하는 단계를 포함하는 훈련 과정을 2회 이상 반복 수행하는 뉴럴 네트워크를 이용한 진단 시스템.
  9. 제8항에 있어서,
    상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계는,
    상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각을 상기 패치 레벨 클래시피케이션 뉴럴 네트워크에 입력하여 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 분류 결과를 획득하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지는, 상기 훈련용 슬라이드를 소정의 크기로 분할한 복수의 이미지임;
    상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 예측 결과에 기초하여, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 중 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 결정하는 단계; 및
    상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 상기 훈련용 슬라이드 이미지의 슬라이드 레벨 진단 결과 라벨링하여, 상기 훈련용 슬라이드 이미지에 상응하는 패치 레벨 훈련 데이터를 생성하는 단계를 포함하는 뉴럴 네트워크를 이용한 진단 시스템.
  10. 제8항에 있어서,
    상기 훈련용 슬라이드에 상응하는 훈련 데이터를 생성하는 단계는,
    상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각을 상기 패치 레벨 클래시피케이션 뉴럴 네트워크에 입력하여 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 분류 결과를 획득하는 단계-여기서, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지는, 상기 훈련용 슬라이드를 소정의 크기로 분할한 복수의 이미지임;
    상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 각각에 대한 예측 결과에 기초하여, 상기 훈련용 슬라이드에 상응하는 복수의 패치 이미지 중 상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 결정하는 단계;
    상기 대표 패치 이미지에 대한 예측 결과를 출력한 상기 클래시피케이션 뉴럴 네트워크에 대한 경사도-가중 클래스 활성화 매핑(Gradient-weighted Class Activation Mapping)을 통하여 상기 대표 패치 이미지에 상응하는 마스크를 생성하는 단계; 및
    상기 훈련용 슬라이드에 상응하는 대표 패치 이미지를 상기 대표 패치 이미지에 상응하는 마스크로 라벨링하여, 상기 훈련용 슬라이드에 상응하는 픽셀 레벨 훈련 데이터를 생성하는 단계를 포함하는 뉴럴 네트워크를 이용한 진단 시스템.
  11. 제8항에 있어서,
    훈련이 완료된 상기 픽셀 레벨 클래시피케이션 뉴럴 네트워크에 소정의 진단 대상 패치 이미지를 입력하여, 상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 상기 질병에 대한 분류 결과를 획득하고,
    상기 진단 대상 패치 이미지를 구성하는 각각의 픽셀 별 분류 결과에 기초하여, 상기 진단 대상 패치 이미지에 상기 질병의 발생 영역을 어노테이션하는 어노테이션 모듈을 더 포함하는 진단 시스템.
PCT/KR2020/009721 2020-07-23 2020-07-23 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 WO2022019356A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/017,397 US20230298753A1 (en) 2020-07-23 2020-07-23 Method for annotating pathogenic site of disease by means of semi- supervised learning, and diagnosis system for performing same
JP2023502693A JP7430025B2 (ja) 2020-07-23 2020-07-23 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム
EP20946016.1A EP4170678A4 (en) 2020-07-23 2020-07-23 METHOD FOR ANNOTATION OF DISEASE PATHOGEN SITE BY MEANS OF SEMI-SUPERVISED LEARNING, AND DIAGNOSTIC SYSTEM FOR ITS IMPLEMENTATION
PCT/KR2020/009721 WO2022019356A1 (ko) 2020-07-23 2020-07-23 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
CN202080104689.6A CN116134535A (zh) 2020-07-23 2020-07-23 利用半监督学习对疾病发病区域进行注解的方法及执行其的诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/009721 WO2022019356A1 (ko) 2020-07-23 2020-07-23 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Publications (1)

Publication Number Publication Date
WO2022019356A1 true WO2022019356A1 (ko) 2022-01-27

Family

ID=79728717

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009721 WO2022019356A1 (ko) 2020-07-23 2020-07-23 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Country Status (5)

Country Link
US (1) US20230298753A1 (ko)
EP (1) EP4170678A4 (ko)
JP (1) JP7430025B2 (ko)
CN (1) CN116134535A (ko)
WO (1) WO2022019356A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536211A (ja) * 2005-03-31 2008-09-04 フランス テレコム ニューラルネットワークを実現するオブジェクトイメージにおいて興味のあるポイントを位置決めするシステム及び方法
JP2014049118A (ja) * 2012-08-31 2014-03-17 Fujitsu Ltd 畳み込みニューラルネットワーク分類器システム、その訓練方法、分類方法および用途
KR20160034814A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR101887194B1 (ko) * 2018-06-20 2018-08-10 주식회사 뷰노 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR101919908B1 (ko) * 2018-05-14 2018-11-20 주식회사 뷰노 의료 영상의 레이블링을 지원하는 방법 및 이를 이용한 장치
KR20200092803A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174379B1 (ko) 2018-08-27 2020-11-04 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102261473B1 (ko) 2018-11-30 2021-06-07 주식회사 딥바이오 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
US10430946B1 (en) 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536211A (ja) * 2005-03-31 2008-09-04 フランス テレコム ニューラルネットワークを実現するオブジェクトイメージにおいて興味のあるポイントを位置決めするシステム及び方法
JP2014049118A (ja) * 2012-08-31 2014-03-17 Fujitsu Ltd 畳み込みニューラルネットワーク分類器システム、その訓練方法、分類方法および用途
KR20160034814A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR101919908B1 (ko) * 2018-05-14 2018-11-20 주식회사 뷰노 의료 영상의 레이블링을 지원하는 방법 및 이를 이용한 장치
KR101887194B1 (ko) * 2018-06-20 2018-08-10 주식회사 뷰노 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR20200092803A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4170678A4

Also Published As

Publication number Publication date
EP4170678A1 (en) 2023-04-26
EP4170678A4 (en) 2024-03-13
JP7430025B2 (ja) 2024-02-09
JP2023535338A (ja) 2023-08-17
US20230298753A1 (en) 2023-09-21
CN116134535A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
WO2018106005A1 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2020111754A2 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
WO2020071877A1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2020032562A2 (ko) 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2021194056A1 (en) Method for training deep learning network based on artificial intelligence and learning device using the same
WO2021045507A2 (ko) Ct 영상 기반 부위별 대뇌 피질 수축율 예측 방법 및 장치
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2021246810A1 (ko) 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2022019356A1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
WO2022004978A1 (ko) 건축 장식재 디자인 업무 시스템 및 방법
WO2022191539A1 (ko) Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
CN112567466A (zh) 诊断结果生成系统及其方法
WO2023054768A1 (ko) 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20946016

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502693

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020946016

Country of ref document: EP

Effective date: 20230123

NENP Non-entry into the national phase

Ref country code: DE