WO2021246811A1 - 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템 - Google Patents

중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템 Download PDF

Info

Publication number
WO2021246811A1
WO2021246811A1 PCT/KR2021/006967 KR2021006967W WO2021246811A1 WO 2021246811 A1 WO2021246811 A1 WO 2021246811A1 KR 2021006967 W KR2021006967 W KR 2021006967W WO 2021246811 A1 WO2021246811 A1 WO 2021246811A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
neural network
patch
lesion
severity
Prior art date
Application number
PCT/KR2021/006967
Other languages
English (en)
French (fr)
Inventor
김선우
곽태영
장혜윤
문예찬
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to US18/008,426 priority Critical patent/US20230229927A1/en
Priority to CN202180040649.4A priority patent/CN115699024A/zh
Priority to EP21818210.3A priority patent/EP4148625A4/en
Priority to JP2022572515A priority patent/JP7499535B2/ja
Publication of WO2021246811A1 publication Critical patent/WO2021246811A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a method and system for learning a neural network for judging severity, and more particularly, to a neural network for performing a severity diagnosis in a patch unit using a pathology slide image to which a severity indicator (label) is attached, effectively learning It relates to methods and systems.
  • a type of machine learning e.g., a deep learning method using a convolutional neural network (CNN)
  • CNN convolutional neural network
  • the severity of the disease eg, Gleason score of prostate cancer, Gleason grade group, bladder cancer or The severity diagnosis machine that automatically determines the grade of breast cancer
  • increases the productivity of pathological diagnosis tasks such as determining the patient's prognosis.
  • a severity diagnosis machine using a neural network can be developed in the following two ways.
  • the first method is a method of developing a severity diagnosis device using only end-to-end slide unit severity information (severity diagnosis method in slide units). This is a method of diagnosing the severity of each slide by extracting the characteristics of each area and using the integrated information.
  • the slide-based severity diagnosis method has the advantage of being able to learn a neural network only with the slide-level severity information without the region-based severity marker information, but has disadvantages in that the explanatory power of the slide-based diagnosis result is weak and the accuracy is low.
  • the second method is to develop a patch (slide area divided into a certain size) unit and a slide unit severity diagnosis unit, respectively.
  • information on the area of a lesion is not provided to a pathology slide on which a diagnosis is performed by a doctor, but information on the presence or absence of a lesion may be provided.
  • a detector that detects a lesion area only with information on the presence or absence of a lesion on a pathological slide there is a learning technique called multiple instance learning.
  • multi-instance learning which is one of the background techniques of the present invention, will be described with reference to FIGS. 1A and 1B.
  • a bag which is a set of instances, is regarded as a learning unit. So, in individual instance training, you label the instances, whereas in multi-instance training you label the bag, not the instance.
  • Multi-instance learning is similar to individual-instance learning except in terms of units of learning, but with the following limitations: In performing binary classification, it is assumed that if the bag is positive, at least one of the instances present in the bag is positive, and if the bag is negative, all instances in the bag are negative.
  • multi-instance learning can be applied to, for example, a field of diagnosing a lesion from a pathological Whole Slide Image using a neural network.
  • a neural network for diagnosing a lesion not a hole-slide-image, but an image patch divided into a certain size is used as training data. Because it is given to -slide-image.
  • 1A is a diagram illustrating an example of learning data used for multi-instance learning.
  • 1 shows M bags B 1 to B M , each containing N data instances.
  • FIG. 1B is a diagram illustrating a pseudo code illustrating an example of a process of learning a neural network (NN) through a multi-instance learning technique.
  • FIG. 1B shows a process of learning learning data by one epoch, and in the actual learning process, learning may be performed by a plurality of epochs. In FIG. 1B, it is assumed that learning proceeds with the learning data shown in FIG. 1A.
  • multi-instance learning it is first performed in the process S10 of extracting training data instances (T 1 to T M ) from each bag (B 1 to B M ), and then to the extracted training data instances.
  • a process (S20) of training the neural network (NN) is performed.
  • the probability that the corresponding instance is positive is calculated (S11, S12).
  • the neural network before training is completed is used in the process of extracting the training data instance, so if multiple data instances are extracted from one bag, the possibility of incorrect instances being extracted increases. will occur
  • the technical problem to be achieved by the present invention is a problem with the conventional method for developing a severity diagnosis device using a neural network: i) When a neural network is learned only with the severity information in a slide unit, the accuracy of diagnosis is lowered; ii) In order to overcome the fact that the severity marker information of the patch unit is essential for learning the neural network that performs the severity diagnosis in the patch unit, the pathology slide image with the severity marker (label) is used to determine the patch unit level.
  • An object of the present invention is to provide a method and system that can effectively train a neural network for performing a severity diagnosis.
  • a pre-trained neural when each patch obtained by dividing a pathological slide image into a predetermined unit size is input, a pre-trained neural to output a determination result as to whether a lesion due to a predetermined disease exists in the input patch a neural network for lesion determination, which is a network; and a storage module for storing a neural network for judging the severity of the disease based on the pathology slide image.
  • a severity judgment neural network learning module for learning the severity judgment neural network based on a predetermined training image; and a control module for controlling the neural network learning module for judging the severity to learn the neural network for judging the severity based on the pathology slide image for each of the plurality of pathological slide images each labeled with the severity of the disease.
  • the lesion determination neural network receiving the patch outputs a determination result for the patch a feature extraction module for extracting features generated in the process; a feature map generation module for generating a feature map corresponding to the training image based on features corresponding to each of the plurality of patches constituting the training image; a labeling module for labeling a feature map corresponding to the training image with a severity label of the training image; and a learning module for learning the neural network for determining the severity by inputting a feature map corresponding to the image for learning into the neural network for determining the severity.
  • the neural network for determining the lesion when the image having the unit size is input, whether the input image is a first state in which a lesion due to the disease does not exist or a first state in which a lesion due to the disease exists. It is learned in advance by a neural network learning method for lesion determination performed by a neural network learning system for lesion determination including an auto-encoder for determining whether it is in two states, wherein the neural network learning method for lesion determination includes the first extracting a pre-learning patch, which is a part of patches constituting the pre-learning pathological slide image, from each of the plurality of pre-learning pathological slide images labeled with either the state or the second state; and learning the neural network for lesion determination based on the pre-learning patch corresponding to each of the plurality of learning images, wherein extracting the pre-learning patch that is a part of the patches constituting the pre-learning pathology slide image includes: , inputting each pre-learning patch constituting the pre-learning pathology slide image into the le
  • the auto-encoder is pre-learned only with normal patches that have the unit size and do not include lesions due to the disease, the possibility of each patch constituting the pathological slide image for pre-learning, and the pre-learning
  • the step of determining that a part of each patch constituting the pathological slide image for pre-learning is a patch for pre-learning based on the determination result of the auto-encoder with respect to at least a part of each patch constituting the pathological slide image includes the pre-learning pathological slide
  • the upper part determined by the auto-encoder to be the first state is input to the auto-encoder in the order from the patch most likely to be in the second state to the less likely to be in the second state.
  • determining that the patch of is a training patch corresponding to the training image; and when the pathology slide image for pre-learning is labeled as the second state, it is input to the auto-encoder in the order from the patch most likely to be in the second state to the less likely to be in the second state, and the second state by the auto-encoder It may include determining that the patch of the upper part determined as the state is a patch for learning corresponding to the image for learning.
  • Neural network for lesion determination which is a neural network
  • a neural network for severity judgment for judging the severity of the disease based on the pathology slide image as a neural network learning method for severity judgment performed in a computing system, wherein the severity of the disease is each labeled obtaining a slide image
  • learning the neural network for determining the severity based on the pathological slide image comprises: , extracting, for each of the plurality of patches in which the pathological slide image is divided into the unit size, a feature generated in the process of outputting a determination result for the patch by the lesion determination neural network receiving the patch; generating a feature map corresponding to the pathological
  • the neural network for determining the lesion when the image having the unit size is input, whether the input image is a first state in which a lesion due to the disease does not exist or a first state in which a lesion due to the disease exists. It is learned in advance by a neural network learning method for lesion determination performed by a neural network learning system for lesion determination including an auto-encoder for determining whether it is in two states, wherein the neural network learning method for lesion determination includes the first extracting a pre-learning patch, which is a part of patches constituting the pre-learning pathological slide image, from each of the plurality of pre-learning pathological slide images labeled with either the state or the second state; and learning the neural network for lesion determination based on the pre-learning patch corresponding to each of the plurality of learning images, wherein extracting the pre-learning patch that is a part of the patches constituting the pre-learning pathology slide image includes: , inputting each pre-learning patch constituting the pre-learning pathology slide image into the le
  • the auto-encoder is pre-learned only with normal patches that have the unit size and do not include lesions due to the disease, the possibility of each patch constituting the pathological slide image for pre-learning, and the pre-learning
  • the step of determining that a part of each patch constituting the pathological slide image for pre-learning is a patch for pre-learning based on the determination result of the auto-encoder with respect to at least a part of each patch constituting the pathological slide image includes the pre-learning pathological slide
  • the upper part determined by the auto-encoder to be the first state is input to the auto-encoder in the order from the patch most likely to be in the second state to the less likely to be in the second state.
  • determining that the patch of is a training patch corresponding to the training image; and when the pathology slide image for pre-learning is labeled as the second state, it is input to the auto-encoder in the order from the patch most likely to be in the second state to the less likely to be in the second state, and the second state by the auto-encoder It may include determining that the patch of the upper part determined as the state is a patch for learning corresponding to the image for learning.
  • a computer program installed in a data processing apparatus and recorded in a medium for performing the above-described method.
  • a computer-readable recording medium in which a computer program for performing the above-described method is recorded.
  • a computing system comprising a processor and a memory, wherein the memory, when executed by the processor, causes the computing system to perform the above-described method.
  • the above-described neural network for lesion determination and a neural network storage module for storing the neural network for severity judgment learned by the above-described method for learning the neural network for severity judgment; For each of a plurality of diagnostic patches obtained by dividing a slide image of a pathology to be judged, a diagnostic feature extraction method for extracting features generated when the neural network for lesion judgment that has received the diagnostic patch outputs a judgment result for the diagnostic patch module; and inputting a feature map generated based on features corresponding to each of the plurality of diagnostic patches constituting the judgment target pathology slide image into the neural network for determining the severity, and outputting a diagnosis result by the neural network for determining the severity.
  • a severity diagnosis system using a neural network including a severity output module is provided.
  • the lesion area output module outputs a heat map of the determination target image based on the determination result of each of the plurality of diagnostic patches acquired by the neural network for determining the lesion that has received the plurality of diagnostic patches. may further include.
  • 1A is a diagram illustrating an example of learning data used for multi-instance learning.
  • 1B is a diagram illustrating a pseudo code illustrating an example of a process of learning a neural network through a multi-instance learning technique.
  • FIG. 3 is a diagram schematically illustrating an example of an operation method of a slide unit diagnostic device including a neural network for severity judgment learned by a learning method of a neural network for severity judgment according to the technical idea of the present invention.
  • FIG. 4 is a block diagram illustrating a schematic configuration of a learning system of a neural network for determining severity according to an embodiment of the present invention.
  • FIG. 5 is a block diagram schematically illustrating the configuration of a neural network learning module for severity judgment included in a learning system for a neural network for severity judgment according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a schematic configuration of a judgment system including a neural network for determining the severity of which learning has been completed.
  • FIG. 8 is a diagram illustrating a schematic configuration of a neural network learning system for lesion determination for performing a method for learning a neural network for lesion determination according to an embodiment of the present invention.
  • FIG. 9 is a diagram schematically illustrating the structure of an autoencoder used in a neural network learning method for lesion determination.
  • FIG. 10 is a diagram illustrating an example of a method of extracting a training data instance by a neural network learning system for lesion determination according to an embodiment of the present invention.
  • step S220 of FIG. 10 is a diagram illustrating an example of a detailed process of step S220 of FIG. 10 .
  • step S221 of FIG. 11 is a diagram illustrating an example of a specific process of step S221 of FIG. 11 .
  • a neural network includes a multilayer perceptron model, and may refer to a set of information representing a series of design items defining an artificial neural network.
  • the neural network may be a convolutional neural network.
  • a convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer.
  • Each of the plurality of hidden layers may include a convolution layer and a pooling layer (or sub-sampling layer).
  • each layer constituting the convolutional neural network The design details for each layer constituting the convolutional neural network are widely known. For example, well-known functions may be used for each of the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and implement the technical spirit of the present invention Separately defined functions may be used to do this.
  • An example of the convolution function is a discrete convolution sum and the like.
  • max pooling, average pooling, etc. may be used.
  • An example of the activation function may be a sigmoid, a tangent hyperbolic (tanh), a rectified linear unit (ReLU), or the like.
  • the convolutional neural network in which design matters are defined may be stored in a storage device. And when the convolutional neural network is learned, a weight factor corresponding to each layer may be specified.
  • learning of the convolutional neural network may refer to a process in which weight factors of respective layers are determined. And when the convolutional neural network is learned, the learned convolutional neural network may receive input data to an input layer and output output data through a predefined output layer.
  • a neural network according to an embodiment of the present invention may be defined by selecting one or a plurality of well-known design items as described above, or an independent design item may be defined for the neural network.
  • the neural network may be a classification neural network that can be used for classification of input data.
  • the classification neural network may be a neural network for classifying a result of judgment on input data into any one of n predefined results (n is an integer greater than or equal to 2).
  • the neural network for severity judgment learned by the learning method of the neural network for severity judgment according to the technical concept of the present invention may be a neural network for judging the severity of a predetermined disease from a pathological slide image.
  • the severity is a discrete classification of the degree of disease, and may be predefined according to the type of disease. For example, the severity is a Gleason score of prostate cancer, a Gleason grade group ( Gleason grade group), bladder cancer or breast cancer grade.
  • FIG. 2 is a diagram for explaining a schematic flow of a learning method of a neural network for determining severity according to the technical idea of the present invention.
  • the neural network 111 for lesion determination may output a determination result on the presence or absence of a lesion for each patch.
  • a feature corresponding to the input patch may be generated in the neural network 111 for determining the lesion
  • Features for each patch constituting the pathological slide image 10 for training may be merged to generate a feature map 20 corresponding to the pathological slide image 10 for training.
  • the feature map 20 may be x*y*z-dimensional data. and a relative position between each merged feature may be the same as a relative position between corresponding patches.
  • the feature map 20 corresponding to the pathological slide image 10 for training generated in this way may be labeled with the label 11 of the pathological slide image 10 for training. That is, the label 21 of the feature map 20 corresponding to the pathological slide image 10 for training may be set to be the same as the label 11 of the pathological slide image 10 for training.
  • the feature map 20 to which the label 21 is attached may be input to the neural network 112 for determining the severity and used to learn the neural network 112 for determining the severity.
  • FIG. 3 is a neural network for determining the severity learned by the learning method of the neural network for determining the severity according to the technical idea of the present invention. It is a diagram schematically illustrating an example of an operation method of a slide unit diagnostic device.
  • a diagnostic target pathology slide image 30 as a diagnostic target is divided into patches (eg, 30-1) and input to the lesion determination neural network 111
  • the lesion determination The neural network 111 may generate a feature for each patch.
  • the feature map 40 in which the features of each patch are merged is input to the neural network 112 for determining the severity, and the neural network 112 for determining the severity determines the severity corresponding to the diagnosis target pathology slide image 30 . You can print the results.
  • the slide unit severity diagnosis device may output the lesion region 30 in the pathology slide image to be diagnosed based on the result of determining the presence or absence of a lesion for each patch output by the neural network 111 for determining the lesion.
  • FIG. 4 is a block diagram illustrating a schematic configuration of a learning system for a neural network for determining a severity for performing a method for learning a neural network for determining a severity according to an embodiment of the present invention.
  • the method for learning a neural network for determining a severity may be performed by the system 100 for learning a neural network for determining a severity.
  • the neural network learning system 100 for determining the severity may be a computing device.
  • a computing device may be a data processing device having computational capability, and may include a computing device such as a personal computer or a portable terminal as well as a server, which is a data processing device that can be accessed by a client through a network in general.
  • the neural network learning system 100 for determining the severity may be implemented with any one physical device, but if necessary, a plurality of physical devices may be organically combined to provide a neural network learning system for determining the severity according to the technical idea of the present invention ( 100) can be implemented, an average expert in the technical field of the present invention will be able to easily infer.
  • the neural network learning system 100 for determining the severity includes a storage module 110 , an acquisition module 120 , a neural network learning module 130 for determining the severity, and a control module 140 .
  • a storage module 110 an acquisition module 120 , a neural network learning module 130 for determining the severity, and a control module 140 .
  • some of the above-described components may not necessarily correspond to the components essential for the implementation of the present invention, and according to the embodiment, the neural network learning system 100 Of course, it may include more components than this.
  • the control module 140 includes other components of the neural network learning system 100 for determining the severity (eg, the storage module 110, the acquisition module 120, the neural network learning module 130 for determining the severity, etc.) may control the functions and/or resources of
  • the neural network learning system 100 for determining the severity may further include a database (DB) 150 for storing various types of information and/or data necessary for implementing the technical idea of the present invention. .
  • DB database
  • the neural network learning system 100 for determining the severity may mean a logical configuration having hardware resources and/or software necessary to implement the technical idea of the present invention, and must be one physical component. It does not mean or imply a single device. That is, the system 100 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, installed in devices spaced apart from each other to perform each function. It may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the system 100 may mean a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • the storage module 110, the acquisition module 120, the neural network learning module 130 for determining the severity, and the control module 140 may each be located in different physical devices, or may be located in the same physical device. may be In addition, depending on the embodiment, the combination of software and/or hardware constituting each of the storage module 110 , the acquisition module 120 , the neural network learning module 130 for severity judgment, and the control module 140 is also different from each other. Each of the modules may be implemented by organically combining components located in a physical device and located in different physical devices.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, which necessarily means physically connected code or means one type of hardware. It can be easily deduced to an average expert in the art of the present invention.
  • the storage module 110 may store the neural network 111 for determining the lesion and the neural network 112 for determining the severity.
  • the lesion determination neural network 111 may be a neural network that outputs a determination result as to whether a lesion due to a predetermined disease exists in the input patch when a patch in which a pathological slide image is divided into a predetermined unit size is input. have. It may be a neural network trained in advance before the learning process of the neural network 112 for determining the severity is performed. In an embodiment, the lesion determination neural network 111 may be a neural network learned by a learning process based on multi-instance learning and auto-intoder according to an embodiment of the present invention. The learning process based on multi-instance learning and auto-intoder will be described later.
  • the neural network for determining the severity 112 may be a neural network for determining the severity of a predetermined disease from a pathological slide image. More specifically, a feature that merges features generated by the neural network for lesion determination 111 in the process in which the lesion determination neural network 111 determines each patch obtained by dividing the pathological slide image into the unit size. It may be a neural network that receives a map and determines the severity of the input feature map.
  • the acquisition module 120 may acquire a plurality of pathological slide images each labeled with the severity of a predetermined disease.
  • the acquisition module 120 may acquire a plurality of pathological slide images stored in the DB 150 .
  • Each pathological slide image may be a hole-slide-image.
  • the learning data stored in the DB 150 may be labeled with the presence or absence of a lesion.
  • the pathological slide image acquired by the acquisition module 120 may be input from the user through an external input means instead of the DB 150, and may be in the form of a file in a storage device such as HDD or SDD. may be stored as
  • the neural network learning module 130 for determining the severity may allow the neural network 112 for determining the severity to be learned based on one learning image labeled with the severity of the disease.
  • the neural network learning module 130 for determining the severity based on the pathological slide image determines the severity of the neural network can be controlled to learn.
  • control module 140 may cause a learning process (epoch) using the plurality of pathological slide images as learning data to be repeatedly performed several times.
  • FIG. 5 is a block diagram schematically showing the configuration of the neural network learning module 130 for determining the severity of the learning system 100 of the neural network for determining the severity according to an embodiment of the present invention.
  • the neural network learning module 130 for determining the severity may include a feature extraction module 131 , a feature map generation module 132 , a labeling module 133 , and a learning module 134 .
  • the feature extraction module 131 outputs a determination result for the patch by the lesion determination neural network 111 receiving the patch for each of the plurality of patches in which the training image is divided into the unit size. You can extract the features that are created.
  • the feature extraction module 131 may divide the input learning image into patches having the unit size, and input each divided patch into the neural network 111 for determining the lesion to determine the lesion.
  • the network 111 may be configured to determine the input patch.
  • the feature extraction module 131 may extract a feature generated in the process of the lesion determination neural network 111 performing determination on the input patch.
  • the neural network 111 for lesion determination includes a high-level feature generation layer that generates high-level features, a middle feature generation layer that generates middle-level features, and a low-level feature generation layer that generates low-level features.
  • the feature extraction module 131 may extract a feature generated in any one of a high-level feature generation layer, a middle feature generation layer, and a low feature generation layer.
  • the feature map generation module 132 may generate a feature map corresponding to the training image by merging features corresponding to each of the plurality of patches constituting the training image. For example, when the pathology slide 10 for learning is divided into x rows and y columns to form each patch, and the features for each patch are z-dimensional, the feature map generation module 132 is an x*y*z-dimensional feature A map may be created, and the relative positions between each feature to be merged may be the same as the corresponding relative positions between each patch.
  • the labeling module 133 may label a feature map corresponding to the training image as a severity label of the training image.
  • the learning module 134 may learn the neural network 112 for determining the severity by inputting a feature map corresponding to the image for learning into the neural network 112 for determining the severity.
  • the neural network 112 for determining the severity may generate a judgment result therefor, and the generated judgment result and the difference between the labels of the input features is applied to the neural network 112 for determining the severity by error backpropagation, so that the neural network 112 for determining the severity can be learned.
  • FIG. 6 is a flowchart illustrating an example of a method for learning a neural network for determining severity according to an embodiment of the present invention.
  • the neural network learning system 100 for determining the severity may acquire R pathological slide images I 1 to I R each labeled with a severity (R is an integer greater than or equal to 2) (S100).
  • the neural network learning system 100 for determining the severity may perform the following process for each u ranging from 1 to R.
  • the neural network learning system 100 for determining the severity may divide the u-th pathological slide image I u into S patches (R is an integer greater than or equal to 2) H u1 to H uS (S120). As described above, each patch H u1 to H uS may be an image divided by the size of an image that can be input to the neural network for lesion determination 111 .
  • the neural network learning method for determining the severity when a patch is input, it is for lesion determination that has been learned in advance to output a determination result as to whether a lesion due to a predetermined disease exists in the input patch.
  • the neural network for determining the severity is learned based on the features generated from the neural network.
  • the features generated by the neural network for lesion judgment in the process of generating the judgment result for the patch reflect the abstract characteristics of the patch, the performance of the neural network for lesion judgment learned by this is improved. can be expected
  • the neural network 112 for determining the severity of which learning has been completed may be applied to a system for determining the severity of a slide unit.
  • the severity determination system may be a diagnostic assistance device that outputs a prediction result that helps a doctor determine the severity of a disease.
  • FIG. 7 is a diagram illustrating a schematic configuration of a judgment system 200 including a neural network 112 for judging the severity of which learning has been completed.
  • the judgment system 200 using the neural network for severity judgment includes a neural network storage module 210 , a patch unit judgment module 220 , a diagnostic feature map generation module 240 , and a severity output module 250 . ) may be included.
  • the neural network storage module 210 may store the neural network 112 for determining the severity learned by the above-described method for learning the neural network for determining the severity.
  • the neural network storage module 310 may further include a neural network 111 for determining a lesion used in the neural network learning method for determining the severity.
  • the storage module 210 may be a storage means capable of storing various types of information and data including a neural network.
  • the patch unit determination module 220 may input each of a plurality of diagnostic patches obtained by dividing a predetermined determination target image into the lesion determination neural network 111 to obtain a determination result corresponding to each of the plurality of diagnostic patches.
  • the diagnostic feature map generation module 240 merges features corresponding to each patch generated while the lesion determination neural network 111 determines each of the plurality of diagnostic patches to generate a feature map. may be generated, and the generated feature map may be input to the neural network 112 for determining the severity.
  • the severity output module 250 may output the severity of the disease based on the output of the neural network 112 for determining the severity.
  • the determination system 200 may be used as a system for receiving a pathological slide image and outputting a lesion area.
  • the determination system 200 may further include a lesion area output module 230 .
  • the lesion area output module 230 may output a grid map (heat map) of the determination target image based on the determination result of each of the plurality of diagnostic patches obtained by the patch unit determination module 220 .
  • the grid map may mean a map capable of visually distinguishing the patch area in the first state and the patch area in the second state.
  • the neural network 111 for determining the lesion learned in advance is used.
  • a method for learning the neural network 111 for lesion determination will be described in detail.
  • FIG. 8 is a diagram schematically illustrating a configuration of a neural network learning system 300 for lesion determination for performing the method of learning the neural network for lesion determination.
  • the neural network learning system 300 for determining a lesion may include a storage module 310 , an extraction module 320 , and a learning module 330 .
  • the storage module 310 may store the neural network 111 for lesion determination and the autoencoder 113 .
  • the neural network for lesion determination 111 outputs a possibility of whether the input data is in a predetermined first state or a predetermined second state, thereby a neural network used for binary classification of the input data.
  • the lesion determination neural network 111 may be a neural network for receiving a biometric image and determining the possibility that a lesion caused by a predetermined disease (eg, cancer) exists in the corresponding image. That is, the neural network 111 for determining a lesion may output a possibility that a value input to the neural network 111 for determining a lesion is a predetermined first state or a second state.
  • the first state may be a negative state in which a lesion does not exist, and the second state may be an abnormal state in which a lesion is present (positive).
  • the possibility that the lesion determination neural network 111 outputs is a loss function (eg, mean squared error (MSE), cross entropy error) in the lesion determination neural network 111 . ; CEE) or a value calculated by a distance between two vectors (eg, a function representing a Euclidean distance, an n-norm distance, a Manhattan distance, etc.).
  • MSE mean squared error
  • CEE cross entropy error
  • the autoencoder 113 is a neural network structure mainly used in an unsupervised learning methodology.
  • the autoencoder 113 is an unsupervised machine learning model in the form of reducing and then restoring the dimension of an input value, and has a function of learning the characteristics of values used for learning.
  • the autoencoder 113 learns a function to approximate an output value to an input value, extracts features for the input value through an encoder, and reconstructs the input value through a decoder.
  • the autoencoder 113 may include an encoder part 112-1 including a convolutional layer and a decoder part 113-2 including a deconvolutional layer.
  • the autoencoder is also a type of neural network, learning by a plurality of training data is preceded. In the learning stage of the autoencoder, the following processes 1) to 3) are performed for each training data d.
  • the training data d is input to the autoencoder 113, and through encoding and decoding processes, restored data d' corresponding to the training data d is generated.
  • the weights in the autoencoder 113 are updated according to the error backpropagation method.
  • the autoencoder 113 may be used to determine whether the input value is in the first state or the second state.
  • the autoencoder 113 may be pre-learned only with the learning data in the first state, and the autoencoder 113 is restored by inputting a predetermined prediction target value into the learned autoencoder 113.
  • the prediction target value is in the second state.
  • the auto-encoder 113 may be pre-learned only with data in the second state, and a predetermined prediction target value is input to the learned auto-encoder 113 to restore the auto-encoder 113.
  • a predetermined prediction target value is input to the learned auto-encoder 113 to restore the auto-encoder 113.
  • the autoencoder 113 may include a Variational AutoEncoder (VAE).
  • VAE Variational AutoEncoder
  • the DB 340 may store learning data to be used for learning the lesion determination neural network 111 .
  • the training data may be data for multi-instance training as described with reference to FIG. 1A. That is, each of the training data stored in the DB 340 may be a data bag including a plurality of data instances.
  • each of the plurality of training data may be a pathological hole-slide-image
  • a data instance constituting each training data is each image patch obtained by dividing the corresponding pathological hole-slide-image into a predetermined size.
  • the data bag becomes one complete pathology slide image
  • the data instance included in the data bag may be an individual patch obtained by dividing the pathological slide image into predetermined sizes.
  • the learning data stored in the DB 340 may be labeled as a first state or a second state, respectively.
  • each of the learning data may be labeled with a diagnosis result (eg, presence or absence of a lesion) for the pathological slide image.
  • the learning data is not stored in the DB 340, but may be input from a user through an external input means, or may be stored in the form of a file in a storage device such as HDD or SDD. .
  • the extraction module 320 performs an extraction step of extracting some of the data instances included in the data bag as a learning instance for each of the plurality of data bags labeled in either the first state or the second state.
  • the instance for learning extracted by the extraction module 320 may be used for learning of the neural network 111 for determining the lesion pepper.
  • FIG. 10 is a diagram illustrating an example of a method in which the extraction module 320 extracts a data instance for learning.
  • FIG. 10 exemplifies the case where the training data is as shown in FIG. 1A.
  • the extraction module 320 may first perform steps S210 to S230 for each data bag B 1 to B M ( S200 ).
  • P ij may be a possibility of the second state, and a cross-entropy loss for the data instance D ij may be calculated as a probability P ij .
  • the extraction module 320 is configured to at least some of the possibilities (P i1 to P iN ) for each data instance included in the data bag B i , and each data instance (D i1 to D iN ) included in the data bag. to be on the basis of the determination result of the auto-encoder 113 to determine that the data back-B i for each instance of data (D i1 to D iN) portion of the training instance of included in and (S220), determine the a training instance to the label L i of B i can be labeled (S230).
  • step S220 of FIG. 10 is a diagram illustrating an example of a detailed process of step S220 of FIG. 10 .
  • the autoencoder 113 has been previously trained only on data instances in a first state (ie, a normal state).
  • the extraction module 320 when the data bag is labeled as the first state, the extraction module 320 performs the autoencoders 113 in order from the data instance most likely to be in the second state to the less likely to be in the second state. ), it can be determined that the upper part of the data instance determined to be in the first state by the autoencoder is the instance for learning corresponding to the data bag (S221). At this time, when the difference between the data instance input to the auto-encoder 113 and the output data output by the auto-encoder 113 is greater than a predetermined limit value, the extraction module 320 determines that the data instance input to the auto-encoder 113 is It can be determined as the first state.
  • the extraction module 320 inputs it to the autoencoder 113 in the order from the data instance most likely to be in the second state to the less likely to be in the second state. , it can be determined that the upper part of the data instance determined to be in the second state by the autoencoder 113 is a learning instance corresponding to the data bag (S222).
  • step S221 of FIG. 11 is a diagram illustrating an example of a specific process of step S221 of FIG. 11 .
  • the extraction module 320 may sort the data instances D i1 to D iN in the data bag B i in descending order in the order of probability of being in the second state ( S2211 ).
  • the state of the instance A k may be determined ( S2213 ), and when it is determined that the data instance A k is the first state, it may be determined that the data instance A k is a learning instance ( S2215 ).
  • the extraction module 320 may perform steps S2213 to S2215 until the loop ends or a predetermined number of learning instances Z corresponding to the data bag B i are found (see S2212, S2216, and S2217).
  • FIGS. 10 and 11 are examples of implementing step S220 of FIG. 9 , and it goes without saying that there may be various methods of implementing step S220 of FIG. 9 .
  • the extraction module 320 may extract multiple data instances from one data bag as instances for learning.
  • the conventional multi-instance learning method when multiple instances for training are extracted from one data bag, there is a high probability that an incorrect training data instance is extracted, which may have a negative effect on learning of the neural network, but the method according to the technical idea of the present invention According to , by filtering the training data using the pre-trained autoencoder, there is an effect that it is possible to significantly reduce the number of instances of incorrect training data being extracted.
  • the lesion determination neural network 111 may be previously learned through a lesion determination neural network learning method to which a multi-instance learning technique that does not use an auto-encoder is applied.
  • the neural network learning method for lesion determination to which the multi-instance learning technique is applied without using an auto-encoder includes a plurality of pre-learning pathologies labeled in either the first state or the second state. For each slide image, extracting a patch for pre-learning that is a part of the patches constituting the pathological slide image for pre-learning, and learning the neural network for lesion determination based on the patch for pre-learning corresponding to each of the plurality of learning images may include steps.
  • the step of extracting the patch for prior learning which is a part of the patches constituting the pathology slide image for prior learning, includes inputting each patch for prior learning constituting the pathology slide image for prior learning into the neural network for determining the lesion under learning, Calculating the probability of each patch constituting the pathology slide image for prior learning, and applying a part of each patch constituting the pathology slide image for prior learning based on the probability of each patch constituting the pathology slide image for prior learning It may include a step of determining that For example, it may be determined that the patch with the highest calculated probability among the patches constituting the pathological slide image for pre-learning is the patch for pre-learning.
  • the learning module 330 may learn the lesion determination neural network 111 based on the learning instance extracted by the extraction module 320 .
  • the learning module 330 learns the neural network 111 by backpropagating the loss error between the learning instance input to the lesion determination neural network 111 and the output value to the neural network 111 . can do.
  • the learning data instance extraction process performed by the extraction module 320 and the learning process performed by the learning module 330 are treated as one epoch, and a plurality of It is possible to improve the performance of the neural network 111 by repeating this for as many epochs as .
  • the above-described computing device may include a processor and a storage device.
  • the processor may mean an arithmetic device capable of driving a program for implementing the technical idea of the present invention, and may perform a neural network learning method defined by the program and the technical idea of the present invention.
  • the processor may include a single-core CPU or a multi-core CPU.
  • the storage device may mean a data storage means capable of storing a program and various data necessary for implementing the technical idea of the present invention, and may be implemented as a plurality of storage means according to an embodiment. Also, the storage device may include not only the main storage device included in the computing device, but also a temporary storage device or memory that may be included in the processor.
  • the memory may include high-speed random access memory and may include non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Access to memory by the processor and other components may be controlled by a memory controller.
  • the method according to the embodiment of the present invention may be implemented in the form of a computer-readable program command and stored in a computer-readable recording medium, and the control program and the target program according to the embodiment of the present invention are also implemented in the computer. It may be stored in a readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the software field.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floppy disks, and hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium is distributed in network-connected computer systems, and computer-readable codes can be stored and executed in a distributed manner.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by an apparatus for electronically processing information using an interpreter or the like, for example, a computer.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be used in a method and system for learning a neural network for determining severity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

본 발명은 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템에 관한 것으로서, 보다 상세하게는 중증도 표지(라벨)가 부여된 병리 슬라이드 이미지를 이용하여 패치 단위의 중증도 진단을 수행하는 뉴럴 네트워크를 효과적으로 학습할 수 있는 방법 및 시스템이 개시된다.

Description

중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
본 발명은 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템에 관한 것으로서, 보다 상세하게는 중증도 표지(라벨)가 부여된 병리 슬라이드 이미지를 이용하여 패치 단위의 중증도 진단을 수행하는 뉴럴 네트워크를 효과적으로 학습할 수 있는 방법 및 시스템에 관한 것이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예를 들어, 컨벌루션 뉴럴 네트워크(Convolution Neural Network, CNN)를 이용한 딥러닝 방식)를 이용하여 사람이 수행하던 각종 분류나 판단을 자동화하기 위한 시도가 이루어지고 있으며, 뉴럴 네트워크(예를 들어, CNN)를 이용한 딥러닝을 이용하여 생체 이미지(예를 들어, 환자의 생체 조직 슬라이드)를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 것을 대표적인 예로 들 수 있다.
생체 조직 이미지 등 병리 홀-슬라이드-이미지(Whole-Slide-Image)의 분석을 토대로 질병의 중증도(예를 들어, 전립선암의 글리슨 스코어(Gleason score), 글리슨 등급 그룹(Gleason grade group), 방광암이나 유방암의 등급(grade) 등)를 자동으로 판단하는 중증도 진단기는 환자의 예후 판단 등 병리 진단 업무의 생산성을 높여준다.
뉴럴 네트워크를 이용한 중증도 진단기는 크게 다음의 두 가지 방식으로 개발할 수 있다. 첫 번째 방식은 End-to-End 슬라이드 단위의 중증도 정보만으로 중증도 진단기를 개발하는 방식(슬라이드 단위의 중증도 진단 방식)이다. 이는 영역 단위의 특징을 추출하여 통합한 정보를 활용하여 슬라이드 단위로 중증도를 진단하는 방식이다. 슬라이드 단위의 중증도 진단 방식은 영역 단위의 중증도 표지 정보 없이 슬라이드 단위의 중증도 정보만으로 뉴럴 네트워크를 학습할 수 있다는 장점이 있으나, 슬라이드 단위의 진단 결과에 대한 설명력이 약하고, 정확도가 떨어진다는 단점이 있다. 두 번째 방식은 패치(슬라이드를 일정 크기로 분할한 영역) 단위의 중증도 진단기 및 슬라이드 단위 중증도 진단기를 각각 개발하는 방식이다. 이는 영역 단위의 중증도 진단 결과를 종합하여 슬라이드 단위의 중증도를 진단하는 방식이다. 이 방식은 슬라이드 단위의 진단 결과에 대한 설명력이 상승하지만, 뉴럴 네트워크를 학습을 위해 패치 단위 중증도 표지 정보가 필수적으로 요구된다는 단점이 있다.
한편, 일반적으로 의사에 의해 진단이 수행된 병리 슬라이드에는 병변의 영역에 관한 정보는 부여되어 있지 않으나, 병변의 유무 정보는 부여되어 있을 수 있다. 병리 슬라이드에 대한 병변의 유무 정보만으로 병변 영역을 검출하는 검출기를 학습하는 방법 중 하나로 다중 인스턴스 학습(Multiple Instance Learning)이라는 학습 기법이 있다.
이하에서는 본 발명의 배경 기술 중 하나인 다중 인스턴스 학습에 관하여 도 1a 및 도 1b를 참조하여 설명한다.
인스턴스(instance) 하나를 학습 단위로 사용하는 개별 인스턴스 학습과는 달리 다중 인스턴스 학습에서는 인스턴스의 집합인 백(Bag)을 학습 단위로 간주한다. 따라서 개별 인스턴스 학습에서는 인스턴스에 레이블을 다는 반면, 다중 인스턴스 학습에서는 인스턴스가 아닌 백에 레이블을 달게 된다. 다중 인스턴스 학습은 학습 단위 측면에서 제외하고 개별 인스턴스 학습와 유사하지만 다음 제약사항을 추가로 가진다. 이진 분류를 수행함에 있어 백이 긍정(positive)이면 적어도 백 안에 존재하는 인스턴스 중 하나 이상이 긍정임을, 백이 부정(negative)이면 백 안에 모든 인스턴스들이 부정임을 가정한다.
이러한 특징으로 인하여 다중 인스턴스 학습은, 예를 들어, 뉴럴 네트워크를 이용하여 병리 홀-슬라이드-이미지(Whole Slide Image)로부터 병변을 진단하는 분야에 적용될 수 있다. 병변을 진단하는 뉴럴 네트워크를 학습하기 위해서는 홀-슬라이드-이미지가 아니라 이를 일정한 크기로 분할한 이미지 패치를 학습 데이터로 사용하게 되지만, 병변의 유무에 관한 정보(즉, 레이블)는 패치 단위가 아니라 홀-슬라이드-이미지에 부여되어 있기 때문이다.
도 1a는 다중 인스턴스 학습에 이용되는 학습 데이터의 일 예를 도시한 도면이다. 도 1은 각각 N개의 데이터 인스턴스를 포함하는 M개의 백(B1 내지 BM)을 도시하고 있다. 도 1에서 백 Bi는 Li로 라벨링되어 있으며(여기서, i는 1<=i<=M인 임의의 정수), 데이터 인스턴스 Dij는 백 Bi에 포함되어 있는 j번째 인스턴스를 나타낸다(여기서, j는 1<=j<=N인 임의의 정수).
도 1b는 다중 인스턴스 학습 기법을 통하여 뉴럴 네트워크(NN)를 학습하는 과정의 일 예를 나타내는 의사코드(pseudo code)를 도시한 도면이다. 도 1b는 학습 데이터를 1 에폭(epoch)만큼 학습하는 과정을 나타내고 있으며, 실제 학습 과정에서는 다수의 에폭만큼 학습이 진행될 수 있다. 도 1b에서는 도 1a에 도시된 학습 데이터로 학습이 진행된다고 가정한다.
도 1b를 참조하면, 다중 인스턴스 학습에서는 먼저 각각의 백(B1 내지 BM)으로부터 학습 데이터 인스턴스(T1 내지 TM)를 추출하는 과정(S10)에 수행되며, 이후 추출된 학습 데이터 인스턴스로 뉴럴 네트워크(NN)을 훈련하는 과정(S20)이 수행된다.
S10 단계에 대하여 보다 상세하게 설명하면, 백 Bi에 대하여 다음의 과정이 수행된다(여기서, i는 1<=i<=M인 임의의 정수).
현재 학습이 진행 중인 뉴럴 네트워크(NN) 백 Bi내의 각 데이터 인스턴스를 입력하여 해당 인스턴스가 긍정(positive; 예를 들어, 병변이 존재함)일 가능성을 산출한다(S11, S12).
백 Bi 내의 모든 데이터 인스턴스 중 해당 데이터 인스턴스의 긍정 가능성이 가장 큰 데이터 인스턴스 Dik를 학습 데이터 인스턴스 Ti로 결정하며(S13), 학습 데이터 인스턴스 Ti의 레이블은 백 Bi에 부여된 레이블이 된다(S14).
위에서 설명한 종래의 다중 인스턴스 학습에서는 백 하나당 인스턴스 하나를 추출하여 학습에 이용하기 때문에, 뉴럴 네트워크의 성능을 높이기 위해서는 많은 양의 백이 필요하다는 문제점이 있다. 예를 들어, 병변을 검출하기 위한 뉴럴 네트워크에 기존의 다중 인스턴스 학습을 이용하기 위해서는 병변 유무에 관한 표지가 부여된 많은 수의 홀-슬라이드-이미지가 필요하게 되는 것이다.
또한 앞서 설명한 바와 같이 다중 인스턴스 학습에서는 학습 데이터 인스턴스의 추출 과정에서 학습이 완료되기 전의 뉴럴 네트워크가 이용되기 때문에, 하나의 백으로부터 다수의 데이터 인스턴스를 추출하게 되면 잘못된 인스턴스가 추출될 가능성이 높아지는 문제점이 발생하게 된다.
본 발명이 이루고자 하는 기술적인 과제는 뉴럴 네트워크를 이용한 중증도 진단기를 개발하기 위한 종전의 방식이 가지는 문제점인, i) 슬라이드 단위의 중증도 정보만으로 뉴럴 네트워크를 학습할 경우, 진단의 정확도가 떨어진다는 점, ii) 패치 단위의 중증도 진단을 수행하는 뉴럴 네트워크를 학습을 위해서는 패치 단위의 중증도 표지 정보가 필수적으로 요구된다는 점을 극복하기 위하여, 중증도 표지(라벨)가 부여된 병리 슬라이드 이미지를 이용하여 패치 단위의 중증도 진단을 수행하는 뉴럴 네트워크를 효과적으로 학습할 수 있는 방법 및 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, 병리 슬라이드 이미지를 소정의 단위 크기로 분할한 각각의 패치가 입력되면 입력된 패치에 소정의 질병으로 인한 병변이 존재하는지 여부에 대한 판단 결과를 출력하도록 미리 학습된 뉴럴 네트워크인 병변 판단용 뉴럴 네트워크; 및 상기 병리 슬라이드 이미지에 기초하여 상기 질병의 중증도를 판단하기 위한 중증도 판단용 뉴럴 네트워크를 저장하는 저장모듈; 소정의 학습용 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 중증도 판단용 뉴럴 네트워크 학습모듈; 및 상기 질병의 중증도가 각각 라벨링되어 있는 복수의 병리 슬라이드 이미지 각각에 대하여, 상기 중증도 판단용 뉴럴 네트워크 학습모듈이 상기 병리 슬라이드 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하도록 제어하는 제어모듈을 포함하되, 상기 중증도 판단용 뉴럴 네트워크 학습모듈은, 상기 학습용 이미지가 상기 단위 크기로 분할된 복수의 패치 각각에 대하여, 상기 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크가 상기 패치에 대한 판단 결과를 출력하는 과정에서 생성되는 피쳐를 추출하는 피쳐 추출모듈; 상기 학습용 이미지를 구성하는 상기 복수의 패치 각각에 상응하는 피처에 기초하여, 상기 학습용 이미지에 상응하는 피쳐맵을 생성하는 피쳐맵 생성모듈; 상기 학습용 이미지에 상응하는 피쳐맵을 상기 학습용 이미지의 중증도 라벨로 라벨링하는 라벨링모듈; 및 상기 학습용 이미지에 상응하는 피쳐맵을 상기 중증도 판단용 뉴럴 네트워크에 입력하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 학습모듈을 포함하는 중증도 판단용 뉴럴 네트워크 학습 시스템이 제공된다.
일 실시예에서, 상기 병변 판단용 뉴럴 네트워크는, 상기 단위 크기를 가지는 이미지가 입력되면, 입력된 이미지가 상기 질병으로 인한 병변이 존재하지 않는 제1상태인지 혹은 상기 질병으로 인한 병변이 존재하는 제2상태인지를 판단하기 위한 오토 인코더를 포함하는 병변 판단용 뉴럴 네트워크 학습 시스템에 의해 수행되는 병변 판단용 뉴럴 네트워크 학습 방법에 의해 미리 학습되어 있으며, 상기 병변 판단용 뉴럴 네트워크 학습 방법은, 상기 제1상태 또는 상기 제2상태 중 어느 하나로 라벨링되어 있는 복수의 사전 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계; 및 상기 복수의 학습용 이미지 각각에 상응하는 사전 학습용 패치에 기초하여 상기 병변 판단용 뉴럴 네트워크를 학습하는 단계를 포함하되, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계는, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 사전 학습용 패치를 학습중인 상기 병변 판단용 뉴럴 네트워크에 입력하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더의 판단 결과에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 오토 인코더는, 상기 단위 크기를 가지며 상기 질병으로 인한 병변을 포함하지 않는 정상 패치만으로 미리 학습되어 있으며, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더의 판단 결과에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계는, 상기 사전 학습용 병리 슬라이드 이미지가 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토 인코더에 입력하여, 상기 오토 인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계; 및 상기 사전 학습용 병리 슬라이드 이미지가 제2상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토 인코더에 입력하여, 상기 오토 인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 병리 슬라이드 이미지를 소정의 단위 크기로 분할한 각각의 패치가 입력되면 입력된 패치에 소정의 질병으로 인한 병변이 존재하는지 여부에 대한 판단 결과를 출력하도록 미리 학습된 뉴럴 네트워크인 병변 판단용 뉴럴 네트워크; 및 상기 병리 슬라이드 이미지에 기초하여 상기 질병의 중증도를 판단하기 위한 중증도 판단용 뉴럴 네트워크를 포함하는 컴퓨팅 시스템에서 수행되는 중증도 판단용 뉴럴 네트워크 학습 방법으로서, 상기 질병의 중증도가 각각 라벨링되어 있는 복수의 병리 슬라이드 이미지를 획득하는 단계; 및 상기 복수의 병리 슬라이드 이미지 각각에 대하여, 상기 병리 슬라이드 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 단계를 포함하되, 상기 병리 슬라이드 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 단계는, 상기 병리 슬라이드 이미지가 상기 단위 크기로 분할된 복수의 패치 각각에 대하여, 상기 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크가 상기 패치에 대한 판단 결과를 출력하는 과정에서 생성되는 피쳐를 추출하는 단계; 상기 병리 슬라이드 이미지를 구성하는 상기 복수의 패치 각각에 상응하는 피처에 기초하여, 상기 병리 슬라이드에 상응하는 피쳐맵을 생성하는 단계; 상기 병리 슬라이드에 상응하는 피쳐맵을 상기 병리 슬라이드의 중증도 라벨로 라벨링하는 단계; 및 상기 병리 슬라이드에 상응하는 피쳐맵을 상기 중증도 판단용 뉴럴 네트워크에 입력하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 단계를 포함하는 중증도 판단용 뉴럴 네트워크 학습 방법이 제공된다.
일 실시예에서, 상기 병변 판단용 뉴럴 네트워크는, 상기 단위 크기를 가지는 이미지가 입력되면, 입력된 이미지가 상기 질병으로 인한 병변이 존재하지 않는 제1상태인지 혹은 상기 질병으로 인한 병변이 존재하는 제2상태인지를 판단하기 위한 오토 인코더를 포함하는 병변 판단용 뉴럴 네트워크 학습 시스템에 의해 수행되는 병변 판단용 뉴럴 네트워크 학습 방법에 의해 미리 학습되어 있으며, 상기 병변 판단용 뉴럴 네트워크 학습 방법은, 상기 제1상태 또는 상기 제2상태 중 어느 하나로 라벨링되어 있는 복수의 사전 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계; 및 상기 복수의 학습용 이미지 각각에 상응하는 사전 학습용 패치에 기초하여 상기 병변 판단용 뉴럴 네트워크를 학습하는 단계를 포함하되, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계는, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 사전 학습용 패치를 학습중인 상기 병변 판단용 뉴럴 네트워크에 입력하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더의 판단 결과에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 오토 인코더는, 상기 단위 크기를 가지며 상기 질병으로 인한 병변을 포함하지 않는 정상 패치만으로 미리 학습되어 있으며, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더의 판단 결과에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계는, 상기 사전 학습용 병리 슬라이드 이미지가 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토 인코더에 입력하여, 상기 오토 인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계; 및 상기 사전 학습용 병리 슬라이드 이미지가 제2상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토 인코더에 입력하여, 상기 오토 인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템으로서, 프로세서 및 메모리를 포함하되, 상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 상술한 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 병변 판단용 뉴럴 네트워크; 및 상술한 중증도 판단용 뉴럴 네트워크 학습 방법에 의해 학습된 중증도 판단용 뉴럴 네트워크를 저장하는 뉴럴 네트워크 저장모듈; 판단 대상 병리 슬라이드 이미지를 분할한 복수의 진단 패치 각각에 대하여, 상기 진단 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크가 상기 진단 패치에 대한 판단 결과를 출력하는 과정에서 생성되는 피쳐를 추출하는 진단 피쳐 추출모듈; 및 상기 판단 대상 병리 슬라이드 이미지를 구성하는 상기 복수의 진단 패치 각각에 상응하는 피처에 기초하여 생성되는 피쳐맵을 상기 중증도 판단용 뉴럴 네트워크에 입력하여 상기 중증도 판단용 뉴럴 네트워크에 의한 진단 결과를 출력하는 중증도 출력모듈을 포함하는 뉴럴 네트워크를 이용한 중증도 진단 시스템이 제공된다.
일 실시예에서, 상기 복수의 진단 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크에 의해 획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 판단 대상 이미지의 히트맵을 출력하는 병변영역 출력모듈을 더 포함할 수 있다.
본 발명의 기술적 사상에 의하면, 중증도 표지(라벨)가 부여된 병리 슬라이드 이미지를 이용하여 패치 단위의 중증도 진단을 수행하는 뉴럴 네트워크를 효과적으로 학습할 수 있는 방법 및 시스템을 제공할 수 있다.
또한 오토인코더 및 다중 인스턴스 학습 기법을 이용하여 적은 수의 학습 데이터로도 뉴럴 네트워크의 성능을 높일 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1a는 다중 인스턴스 학습에 이용되는 학습 데이터의 일 예를 도시한 도면이다.
도 1b는 다중 인스턴스 학습 기법을 통하여 뉴럴 네트워크를 학습하는 과정의 일 예를 나타내는 의사코드(pseudo code)를 도시한 도면이다.
도 2는 본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크의 학습 방법의 대략적인 흐름을 설명하기 위한 도면이다.
도 3은 본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크의 학습 방법에 의해 학습된 중증도 판단용 뉴럴 네트워크를 포함하는 슬라이드 단위 진단기의 동작 방식의 일 예를 개략적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 중증도 판단용 뉴럴 네트워크의 학습 시스템의 개략적인 구성을 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 중증도 판단용 뉴럴 네트워크의 학습 시스템에 포함되는 중증도 판단용 뉴럴 네트워크 학습모듈의 구성을 개략적으로 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 중증도 판단용 뉴럴 네트워크 학습 방법의 일 예를 도시한 흐름도이다.
도 7은 학습이 완료된 중증도 판단용 뉴럴 네트워크를 포함하는 판단 시스템의 개략적인 구성을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 병변 판단용 뉴럴 네트워크를 학습하는 방법을 수행하기 위한 병변 판단용 뉴럴 네트워크 학습 시스템의 개략적인 구성을 도시한 도면이다.
도 9는 병변 판단용 뉴럴 네트워크 학습 방법에서 이용되는 오토인코더의 구조를 개략적으로 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 병변 판단용 뉴럴 네트워크 학습 시스템이 학습용 데이터 인스턴스를 추출하는 방법의 일 예를 도시한 도면이다.
도 11은 도 10의 단계 S220의 구체적인 과정의 일 예를 도시한 도면이다.
도 12는 도 11의 단계 S221의 구체적인 과정의 일 예를 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 명세서에서 뉴럴 네트워크는 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.
일 실시예에서, 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크일 수 있다. 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예를 들어, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다.
이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
상기 뉴럴 네트워크는 입력된 데이터의 분류(classification)에 이용될 수 있는 클래시피케이션 뉴럴 네트워크일 수 있다. 클래시피케이션 뉴럴 네트워크는 입력된 데이터에 대한 판단 결과를 미리 정의된 n개(n은 2 이상의 정수)의 결과 중 어느 하나로 분류하기 위한 뉴럴 네트워크일 수 있다.
본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크의 학습 방법에 의해 학습되는 중증도 판단용 뉴럴 네트워크는 병리 슬라이드 이미지로부터 소정의 질병의 중증도를 판단하기 위한 뉴럴 네트워크일 수 있다. 중증도는 질병의 정도를 이산적으로 구분한 것으로서, 질병의 종류에 따라 미리 정의되어 있을 수 있으며, 예를 들어, 중증도는 질병의 종류에 따라 전립선암의 글리슨 스코어(Gleason score), 글리슨 등급 그룹(Gleason grade group), 방광암이나 유방암의 등급(grade) 등일 수 있다.
도 2는 본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크의 학습 방법의 대략적인 흐름을 설명하기 위한 도면이다.
도 2를 참조하면 본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크(112)의 학습 방법을 구현하기 위해서는 미리 학습된 병변 판단용 뉴럴 네트워크(111)가 구비되어야 할 수 있다. 상기 병변 판단용 뉴럴 네트워크(111)는 패치(예를 들어 10-1)가 입력되면 소정의 질병으로 인한 병변이 입력된 패치(10-1)에 존재하는지 여부에 대한 판단 결과를 출력하는 뉴럴 네트워크일 수 있으며, 상기 중증도 판단용 뉴럴 네트워크(112)에 대한 학습 과정이 수행되기 전에 미리 학습된 뉴럴 네트워크일 수 있다. 여기서 패치(예를 들어, 10-1)는 병리 슬라이드 이미지(예를 들면, 조직 슬라이드 이미지; 10)를 소정의 단위 크기로 분할한 일부의 이미지일 수 있다.
도 2에 도시된 바와 같이, 학습용 병리 슬라이드 이미지(10)가 패치 단위로 입력되면, 상기 병변 판단용 뉴럴 네트워크(111)는 각 패치별로 병변 유무에 대한 판단 결과를 출력할 수 있다.
한편, 상기 병변 판단용 뉴럴 네트워크(111)가 각 패치 별 병변 유무에 대한 판단 결과를 출력하는 과정에서 상기 병변 판단용 뉴럴 네트워크(111) 내에는 입력된 패치에 상응하는 피쳐가 생성될 수 있으며, 상기 학습용 병리 슬라이드 이미지(10)를 구성하는 각각의 패치 별 피쳐가 병합되어 학습용 병리 슬라이드 이미지(10)에 상응하는 피쳐맵(20)이 생성될 수 있다. 예를 들어, 학습용 병리 슬라이드(10)가 x행 및 y열로 분할되어 각 패치를 형성하며, 패치 별 피쳐가 z차원인 경우, 상기 피쳐맵(20)은 x*y*z차원의 데이터일 수 있으며, 병합되는 각 피쳐 간의 상대적인 위치는 그에 상응하는 각 패치 간의 상대적 위치와 동일할 수 있다.
이렇게 생성된 학습용 병리 슬라이드 이미지(10)에 상응하는 피쳐맵(20)은 상기 학습용 병리 슬라이드 이미지(10)의 라벨(11)로 라벨링될 수 있다. 즉, 학습용 병리 슬라이드 이미지(10)에 상응하는 피쳐맵(20)의 라벨(21)은 학습용 병리 슬라이드 이미지(10)의 라벨(11)과 동일하게 설정될 수 있다.
이후 라벨(21)이 부여된 피쳐맵(20)은 상기 중증도 판단용 뉴럴 네트워크(112)에 입력되어 상기 중증도 판단용 뉴럴 네트워크(112)를 학습하는데 이용될 수 있다.
학습된 중증도 판단용 뉴럴 네트워크(112)는 슬라이드 단위 중증도 진단기에 적용될 수 있으며, 도 3은 본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크의 학습 방법에 의해 학습된 중증도 판단용 뉴럴 네트워크를 포함하는 슬라이드 단위 진단기의 동작 방식의 일 예를 개략적으로 도시한 도면이다.
도 3을 참조하면, 진단 대상이 되는 진단 대상 병리 슬라이드 이미지(30)가 패치(예를 들면, 30-1) 단위로 분할되어 상기 병변 판단용 뉴럴 네트워크(111)에 입력되면, 상기 병변 판단용 뉴럴 네트워크(111)는 각 패치 별 피쳐를 생성할 수 있다. 각 패치 별 피쳐가 병합된 피쳐맵(40)은 상기 중증도 판단용 뉴럴 네트워크(112)로 입력되며, 상기 중증도 판단용 뉴럴 네트워크(112)는 상기 진단 대상 병리 슬라이드 이미지(30)에 상응하는 중증도 판단결과를 출력할 수 있다.
한편, 슬라이드 단위 중증도 진단기는 상기 병변 판단용 뉴럴 네트워크(111)가 출력하는 각 패치 별 병변 유무 판단 결과에 기초하여 진단 대상 병리 슬라이드 이미지 내의 병변 영역(30)을 출력할 수 있다.
도 4는 본 발명의 일 실시예에 따른 중증도 판단용 뉴럴 네트워크의 학습 방법을 수행하는 중증도 판단용 뉴럴 네트워크의 학습 시스템의 개략적인 구성을 도시한 블록도이다.
본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크 학습 방법은 중증도 판단용 뉴럴 네트워크 학습 시스템(100)에 의해 수행될 수 있다.
상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 컴퓨팅 장치일 수 있다. 본 명세서에서 컴퓨팅 장치라고 함은 연산능력을 가진 데이터 처리장치일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크 학습 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 4를 참조하면, 상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 저장모듈(110), 획득모듈(120), 중증도 판단용 뉴럴 네트워크 학습모듈(130), 및 제어모듈(140)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 뉴럴 네트워크 학습 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.
상기 제어모듈(140)은 상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)의 다른 구성(예를 들면, 저장모듈(110), 획득모듈(120), 중증도 판단용 뉴럴 네트워크 학습모듈(130) 등)의 기능 및/또는 리소스를 제어할 수도 있다. 또한 실시예에 따라 상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보 및/또는 데이터를 저장하기 위한 데이터베이스(Database; DB; 150)를 더 포함할 수도 있다.
상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 저장모듈(110), 획득모듈(120), 중증도 판단용 뉴럴 네트워크 학습모듈(130), 제어모듈(140) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 저장모듈(110), 획득모듈(120), 중증도 판단용 뉴럴 네트워크 학습모듈(130), 제어모듈(140) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들어, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 저장모듈(110)은 병변 판단용 뉴럴 네트워크(111) 및 중증도 판단용 뉴럴 네트워크(112)를 저장할 수 있다.
상기 병변 판단용 뉴럴 네트워크(111)는 병리 슬라이드 이미지가 소정의 단위 크기로 분할된 패치가 입력되면 소정의 질병으로 인한 병변이 입력된 패치에 존재하는지 여부에 대한 판단 결과를 출력하는 뉴럴 네트워크일 수 있다. 상기 중증도 판단용 뉴럴 네트워크(112)에 대한 학습 과정이 수행되기 전에 미리 학습된 뉴럴 네트워크일 수 있다. 일 실시예에서, 상기 병변 판단용 뉴럴 네트워크(111)는 본 발명의 일 실시예에 따른 다중 인스턴스 학습 및 오토인토더에 기반한 학습 과정에 의해 학습된 뉴럴 네트워크일 수 있으며, 본 발명의 일 실시예에 따른 다중 인스턴스 학습 및 오토인토더에 기반한 학습 과정은 후술하기로 한다.
상기 중증도 판단용 뉴럴 네트워크(112)는 병리 슬라이드 이미지로부터 소정의 질병의 중증도를 판단하기 위한 뉴럴 네트워크일 수 있다. 보다 상세하게는, 병리 슬라이드 이미지를 상기 단위 크기로 분할한 각각의 패치를 상기 병변 판단용 뉴럴 네트워크(111)가 판단하는 과정에서 상기 병변 판단용 뉴럴 네트워크(111)가 생성하는 피쳐를 병합한 피쳐맵을 입력받아 입력된 피쳐맵에 대한 중증도를 판단하는 뉴럴 네트워크일 수 있다.
상기 획득모듈(120)은 소정의 질병의 중증도가 각각 라벨링되어 있는 복수의 병리 슬라이드 이미지를 획득할 수 있다.
일 실시예에서, 상기 획득모듈(120)은 DB(150)에 저장된 복수의 병리 슬라이드 이미지를 획득할 수 있다. 각각의 병리 슬라이드 이미지는 홀-슬라이드-이미지일 수 있다.. 상기 DB(150)에 저장된 학습 데이터는 병변의 유무가 라벨링되어 있을 수 있다.
한편, 실시예에 따라서는 상기 획득모듈(120)이 획득하는 병리 슬라이드 이미지는 상기 DB(150)가 아니라 외부 입력 수단을 통해 사용자로부터 입력될 수도 있으며, HDD나 SDD와 같은 저장장치에 파일의 형태로 저장되어 있을 수도 있다.
상기 중증도 판단용 뉴럴 네트워크 학습모듈(130)은 질병의 중증도로 라벨링되어 있는 하나의 학습용 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크(112)가 학습되도록 할 수 있다.
상기 제어모듈(140)은 상기 질병의 중증도가 각각 라벨링되어 있는 복수의 병리 슬라이드 이미지 각각에 대하여, 상기 중증도 판단용 뉴럴 네트워크 학습모듈(130)이 상기 병리 슬라이드 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하도록 제어할 수 있다.
또한 일 실시예에서, 상기 제어모듈(140)은 상기 복수의 병리 슬라이드 이미지를 학습 데이터로 하는 학습 과정(에폭)이 수 차례 반복 수행되도록 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 중증도 판단용 뉴럴 네트워크의 학습 시스템(100)의 중증도 판단용 뉴럴 네트워크 학습모듈(130)의 구성을 개략적으로 도시한 블록도이다.
도 5를 참조하면, 상기 중증도 판단용 뉴럴 네트워크 학습모듈(130)은 피쳐 추출모듈(131), 피쳐맵 생성모듈(132), 라벨링 모듈(133), 학습모듈(134)를 포함할 수 있다.
상기 피쳐 추출모듈(131)은 학습용 이미지가 상기 단위 크기로 분할된 복수의 패치 각각에 대하여, 상기 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크(111)가 상기 패치에 대한 판단 결과를 출력하는 과정에서 생성되는 피쳐를 추출할 수 있다.
즉, 상기 피쳐 추출모듈(131)은 입력된 학습용 이미지를 상기 단위 크기를 가지는 패치로 분할할 수 있으며, 분할된 각각의 패치를 상기 병변 판단용 뉴럴 네트워크(111)에 입력하여 상기 병변 판단용 뉴럴 네트워크(111)이 입력된 패치에 대한 판단을 수행하도록 할 수 있다. 이때, 상기 피쳐 추출모듈(131)은 상기 병변 판단용 뉴럴 네트워크(111)이 입력된 패치에 대한 판단을 수행하는 과정에서 생성되는 피쳐를 추출할 수 있다.
일 실시예에서, 상기 병변 판단용 뉴럴 네트워크(111)은 하이레벨 피쳐를 생성하는 하이레벨 피쳐 생성 레이어, 미들레벨 피쳐를 생성하는 미들 피쳐 생성 레이어, 로우레벨 피쳐를 생성하는 로우 피쳐 생성 레이어를 포함하는 다층 컨볼로션 뉴럴 네트워크일 수 있으며, 이 경우 상기 피쳐 추출모듈(131)은 하이레벨 피쳐 생성 레이어, 미들 피쳐 생성 레이어, 로우 피쳐 생성 레이어 중 어느 하나의 레이어에서 생성되는 피쳐를 추출할 수 있다.
상기 피쳐맵 생성모듈(132)은 상기 학습용 이미지를 구성하는 상기 복수의 패치 각각에 상응하는 피쳐를 병합하여 상기 학습용 이미지에 상응하는 피쳐맵을 생성할 수 있다. 예를 들어, 학습용 병리 슬라이드(10)가 x행 및 y열로 분할되어 각 패치를 형성하며, 패치 별 피쳐가 z차원인 경우, 상기 피쳐맵 생성모듈(132)은 x*y*z차원의 피쳐맵을 생성할 수 있으며, 병합되는 각 피쳐 간의 상대적인 위치는 그에 상응하는 각 패치 간의 상대적 위치와 동일할 수 있다.
상기 라벨링모듈(133)은 상기 학습용 이미지에 상응하는 피쳐맵을 상기 학습용 이미지의 중증도 라벨로 라벨링할 수 있다.
상기 학습모듈(134)은 상기 학습용 이미지에 상응하는 피쳐맵을 상기 중증도 판단용 뉴럴 네트워크(112)에 입력하여 상기 중증도 판단용 뉴럴 네트워크(112)를 학습할 수 있다. 질병의 중증도가 라벨링되어 있는 하나의 피쳐맵이 상기 중증도 판단용 뉴럴 네트워크(112)에 입력되는 경우, 상기 중증도 판단용 뉴럴 네트워크(112)는 그에 대한 판단 결과를 생성할 수 있으며, 생성된 판단 결과와 입력된 피쳐의 라벨간 차이가 오류 역전파의 방식에 의해 상기 중증도 판단용 뉴럴 네트워크(112)에 적용됨으로써 상기 중증도 판단용 뉴럴 네트워크(112)은 학습될 수 있다.
도 6은 본 발명의 일 실시예에 따른 중증도 판단용 뉴럴 네트워크 학습 방법의 일 예를 도시한 흐름도이다.
도 6을 참조하면, 상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 중증도가 각각 라벨링된 R개(R은 2 이상의 정수)의 병리 슬라이드 이미지 I1 내지 IR을 획득할 수 있다(S100).
상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 1부터 R인 각각의 u에 대하여 다음의 과정을 수행할 수 있다.
상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 u번째 병리 슬라이드 이미지 Iu를 S개(R은 2 이상의 정수)의 패치 Hu1 내지 HuS로 분할할 수 있다(S120). 앞서 설명한 바와 같이, 각각의 패치 Hu1 내지 HuS는 병변 판단용 뉴럴 네트워크(111)가 입력받을 수 있는 이미지의 크기로 분할된 이미지일 수 있다.
상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 병변 판단용 뉴럴 네트워크(111)에 분할된 각각의 패치(Hu1 내지 HuS)를 입력하여 그에 상응하는 피쳐(Fu1 내지 FuS)를 추출할 수 있다(S130, S140).
이후, 상기 중증도 판단용 뉴럴 네트워크 학습 시스템(100)은 피쳐 Fu1 내지 피쳐 FuS를 병합하여 피쳐맵 Mu을 생성할 수 있으며(S150), 병리 슬라이드 이미지 Iu의 라벨로 라벨링된 피쳐맵 Mu을 상기 중증도 판단용 뉴럴 네트워크(112)에 입력하여 학습할 수 있다.
상술한 본 발명의 기술적 사상에 따른 중증도 판단용 뉴럴 네트워크 학습 방법에 의하면, 패치가 입력되면 소정의 질병으로 인한 병변이 입력된 패치에 존재하는지 여부에 대한 판단 결과를 출력하도록 미리 학습된 병변 판단용 뉴럴 네트워크로부터 생성되는 피쳐에 기반하여 상기 중증도 판단용 뉴럴 네트워크를 학습하게 된다. 그런데, 병변 판단용 뉴럴 네트워크가 패치에 대한 판단 결과를 생성하는 과정에서 생성하는 피쳐는 해당 패치가 가지는 추상적인 특성을 잘 반영하고 있으므로, 이에 의해 학습되는 병변 판단용 뉴럴 네트워크의 성능이 개선되는 효과를 기대할 수 있다.
한편, 학습이 완료된 중증도 판단용 뉴럴 네트워크(112)는 슬라이드 단위의 중증도 판단 시스템에 적용될 수 있다. 상기 중증도 판단 시스템은 의사가 질병의 중증도를 판단하는데 도움이 되는 예측 결과를 출력하는 진단 보조 장치일 수 있다.
도 7은 학습이 완료된 중증도 판단용 뉴럴 네트워크(112)를 포함하는 판단 시스템(200)의 개략적인 구성을 도시한 도면이다.
도 7을 참조하면, 상기 중증도 판단용 뉴럴 네트워크를 이용한 판단 시스템(200)은 뉴럴 네트워크 저장모듈(210), 패치단위 판단모듈(220), 진단 피쳐맵 생성모듈(240) 및 중증도 출력모듈(250)을 포함할 수 있다.
상기 뉴럴 네트워크 저장모듈(210)은 상술한 중증도 판단용 뉴럴 네트워크 학습 방법에 의하여 학습된 중증도 판단용 뉴럴 네트워크(112)를 저장할 수 있다. 또한 상기 뉴럴 네트워크 저장모듈(310)은 상기 중증도 판단용 뉴럴 네트워크 학습 방법에서 이용되는 병변 판단용 뉴럴 네트워크(111)를 더 포함할 수 있다. 상기 저장모듈(210)은 뉴럴 네트워크를 비롯하여 각종 정보 및 데이터를 저장할 수 있는 저장 수단일 수 있다.
상기 패치단위 판단모듈(220)은, 소정의 판단 대상 이미지를 분할한 복수의 진단 패치 각각을 상기 병변 판단용 뉴럴 네트워크(111)에 입력하여 상기 복수의 진단 패치 각각에 상응하는 판단 결과를 획득할 수 있다.
상기 진단 피쳐맵 생성모듈(240)은 상기 병변 판단용 뉴럴 네트워크(111)가 상기 복수의 진단 패치 각각에 대한 판단을 수행하는 과정에서 생성되는 각각의 패치에 상응하는 피쳐를 병합하여, 피쳐맵을 생성할 수 있으며, 생성된 피쳐맵은 상기 중증도 판단용 뉴럴 네트워크(112)로 입력될 수 있다.
상기 중증도 출력모듈(250)은 상기 중증도 판단용 뉴럴 네트워크(112)의 출력에 기초하여 질병에 대한 중증도를 출력할 수 있다.
한편, 상기 판단 시스템(200)은 병리 슬라이드 이미지를 입력받아 병변 영역을 출력하는 시스템으로 이용될 수 있다. 이 경우, 상기 판단 시스템(200)은 병변영역 출력모듈(230)을 더 포함할 수 있다. 상기 병변영역 출력모듈(230)은 상기 패치단위 판단모듈(220)에 의해 획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 판단 대상 이미지의 격자맵(히트맵)을 출력할 수 있다. 상기 격자맵은 제1상태의 패치 영역과 제2상태의 패치 영역을 시각적으로 구분할 수 있는 맵을 의미할 수 있다.
한편, 앞서 기술한 바와 같이, 중증도 판단용 뉴럴 네트워크 학습 방법에서는 미리 학습된 병변 판단용 뉴럴 네트워크(111)가 이용된다. 이하에서는 상기 병변 판단용 뉴럴 네트워크(111)를 학습하는 방법에 관하여 상세하게 설명하기로 한다.
도 8은 본 상기 병변 판단용 뉴럴 네트워크를 학습하는 방법을 수행하기 위한 병변 판단용 뉴럴 네트워크 학습 시스템(300)의 개략적인 구성을 도시한 도면이다.
도 8을 참조하면 상기 병변 판단용 뉴럴 네트워크 학습 시스템(300)은 저장모듈(310), 추출모듈(320) 및 학습모듈(330)을 포함할 수 있다.
상기 저장모듈(310)은 병변 판단용 뉴럴 네트워크(111) 및 오토인코더(113)를 저장할 수 있다.
상술한 바와 같이, 상기 병변 판단용 뉴럴 네트워크(111)는 입력된 데이터가 소정의 제1상태 또는 제2상태인지 여부에 대한 가능성을 출력함으로써, 상기 입력된 데이터에 대한 이진 분류에 이용되는 뉴럴 네트워크일 수 있다. 예를 들어, 상기 병변 판단용 뉴럴 네트워크(111)는 생체 이미지를 입력받아 해당 이미지에 소정의 질병(예를 들면, 암)에 의해 발생하는 병변이 존재할 가능성을 판단하기 위한 뉴럴 네트워크일 수 있다. 즉, 상기 병변 판단용 뉴럴 네트워크(111)는 상기 병변 판단용 뉴럴 네트워크(111)에 입력되는 값이 소정의 제1상태 또는 제2상태일 가능성을 출력할 수 있다. 제1상태는 병변이 존재하지 않는 정상 상태(negative)이고 제2상태는 병변이 존재하는 비정상 상태(positive)일 수 있다.
상기 병변 판단용 뉴럴 네트워크(111)가 출력하는 가능성은, 상기 병변 판단용 뉴럴 네트워크(111) 내의 손실함수(예를 들면, 평균 제곱 오차(mean squared error; MSE), 교차 엔트로피 오차(cross entropy error; CEE) 또는 두 벡터 간의 거리(예를 들면, 유클리드 거리, n-노름 거리, 맨해튼 거리 등)를 나타내는 함수 등)에 의해 산출되는 값일 수 있다.
상기 오토인코더(113)는 비지도 학습 방법론에서 주로 사용되는 뉴럴 네트워크 구조이다. 상기 오토인코더(113)는 입력되는 값의 차원을 축소했다가 다시 복원하는 형태의 비지도 기계학습 모델로서, 학습에 사용되는 값들이 가지는 특징을 학습하는 기능을 가진다. 보다 상세하게는 상기 오토인코더(113)는 출력 값을 입력 값에 근사하도록 하는 함수를 학습하며, 인코더를 통해 입력 값에 대한 피쳐를 추출하고, 디코더를 통해 입력 값를 재구성한다.
도 9는 상기 오토인코더(113)의 구조를 개략적으로 도시한 도면이다. 도 3을 참조하면, 오토인코더(113)는 컨볼루셔널 레이어를 포함하는 인코더 파트(112-1) 및 디컨볼루셔널 레이어를 포함하는 디코더 파트(113-2)를 포함할 수 있다. 인코더(113)로 원본 데이터(x)가 입력되면 인코더 파트(113-1)에서 원본 데이터(x)에 대한 인코딩이 수행되어 원본 데이터(x)의 피쳐(z=E(x))가 생성될 수 있다. 생성된 피쳐(z)는 디코더 파트(113-2)에서 디코딩되어 원본 데이터(x)에 상응하는 복원 데이터(x'=D(z))가 생성될 수 있다.
오토인코더 역시 뉴럴 네트워크의 일종이므로 다수의 훈련 데이터에 의한 학습이 선행되는데, 오토 인코도의 학습 단계에서는 각각의 학습 데이터 d에 대해 아래의 1) 내지 3) 과정이 수행된다.
1) 학습 데이터 d가 오토인코더(113)에 입력되어 인코딩 및 디코딩 과정을 거쳐 학습 데이터 d에 상응하는 복원 데이터 d'이 생성된다.
2) 학습 데이터 d와 복원 데이터 d' 간의 차이인 오차 e=L(d, d')가 산출된다(L은 손실함수).
3) 오차 역전파(error backpropagation) 방법에 따라 오토인코더(113) 내의 가중치가 갱신된다.
한편, 상기 오토인코더(113)는 입력된 값이 제1상태인지 제2상태인지를 판단하는데 이용될 수 있다.
일 실시예에서, 상기 오토인코더(113)는 제1상태의 학습 데이터만으로 미리 학습될 수 있으며, 소정의 예측 대상 값을 학습된 상기 오토인코더(113)에 입력하여 상기 오토인코더(113)가 복원(즉, 출력)한 결과 값과 상기 예측 대상 값이 소정의 한계 값 이상 차이가 나는 경우, 상기 예측 대상 값은 제2상태라고 판단될 수 있다.
다른 일 실시예예서, 상기 오토인코더(113)는 제2상태의 데이터만으로 미리 학습될 수 있으며, 소정의 예측 대상 값을 학습된 상기 오토인코더(113)에 입력하여 상기 오토인코더(113)가 복원(즉, 출력)한 결과 값과 상기 예측 대상 값이 소정의 한계 값 이상 차이가 나는 경우, 상기 예측 대상 값은 제1상태라고 판단될 수 있다.
한편, 실시예에 따라 상기 오토인코더(113)는 변분 오토인코더(Variational AutoEncoder; VAE)를 포함할 수 있다.
다시 도 9을 참조하면, 상기 DB(340)은 상기 병변 판단용 뉴럴 네트워크(111)의 학습에 이용될 학습 데이터를 저장할 수 있다. 학습 데이터는 도 1a을 참조하여 설명한 바와 같은 다중 인스턴스 학습용 데이터일 수 있다. 즉, 상기 DB(340)에 저장된 학습 데이터 각각은 다수의 데이터 인스턴스를 포함하는 데이터 백일 수 있다.
일 실시예에서, 상기 복수의 학습 데이터 각각은 병리 홀-슬라이드-이미지일 수 있으며, 각각의 학습 데이터를 구성하는 데이터 인스턴스는 해당 병리 홀-슬라이드-이미지를 소정의 크기로 분할한 각각의 이미지 패치일 수 있다. 이 경우 데이터 백은 하나의 온전한 병리 슬라이드 이미지가 되며, 해당 데이터 백에 포함된 데이터 인스턴스는 해당 병리 슬라이드 이미지를 소정의 크기로 분할한 개별 패치일 수 있다.
한편, 상기 DB(340)에 저장된 학습 데이터는 각각 제1상태 또는 제2상태로 라벨링되어 있을 수 있다. 예를 들어, 상기 복수의 학습 데이터가 병리 슬라이드 이미지일 경우, 각각의 학습 데이터는 병리 슬라이드 이미지에 대한 진단 결과(예를 들어, 병변의 유무 등)가 라벨링되어 있을 수 있다.
한편, 실시예에 따라서는 상기 학습 데이터들은 DB(340)에 저장되어 있는 것이 아니라 외부 입력 수단을 통해 사용자로부터 입력될 수도 있으며, HDD나 SDD와 같은 저장장치에 파일의 형태로 저장되어 있을 수도 있다.
상기 추출모듈(320)은 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 데이터 백 각각에 대하여, 상기 데이터 백에 포함된 데이터 인스턴스들 중 일부를 학습용 인스턴스로 추출하는 추출단계를 수행할 수 있다. 상기 추출모듈(320)에 의해 추출된 학습용 인스턴스는 후추 상기 병변 판단용 뉴럴 네트워크(111)의 학습에 이용될 수 있다.
도 10은 상기 추출모듈(320)이 학습용 데이터 인스턴스를 추출하는 방법의 일 예를 도시한 도면이다. 도 10은 학습 데이터들이 도 1a에 도시돤 바와 같은 경우를 예로 들고 있다.
도 10을 참조하면, 상기 추출모듈(320)은 먼저 각각의 데이터 백 B1 내지 BM에 대하여 단계 S210 내지 S230을 수행할 수 있다(S200).
한편, 상기 추출모듈(320)은 데이터 백 Bi에 대하여(i는 1<=i<=M인 임의의 정수), 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 Dij를 뉴럴 네트워크(111)에 입력하여(j는 1<=j<=N인 임의의 정수), 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 Dij의 가능성 Pij을 산출할 수 있다(S210, S211). 예를 들어, Pij는 제2상태일 가능성일 수 있으며, 데이터 인스턴스 Dij에 대한 Cross-entropy Loss를 가능성 Pij로 산출할 수 있다.
이후 상기 추출모듈(320)은 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 별 가능성(Pi1 내지 PiN), 및 상기 데이터 백에 포함된 각 데이터 인스턴스(Di1 내지 DiN) 중 적어도 일부에 대한 상기 오토인코더(113)의 판단 결과에 기초하여 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스(Di1 내지 DiN) 중 일부를 학습용 인스턴스라고 판단할 수 있으며(S220), 판단된 학습용 인스턴스를 Bi의 라벨 Li로 라벨링할 수 있다(S230).
도 11은 도 10의 단계 S220의 구체적인 과정의 일 예를 도시한 도면이다. 도 11의 예에서는 상기 오토인코더(113)는, 제1상태(즉, 정상 상태)인 데이터 인스턴스만으로 미리 학습되어 있다고 가정한다.
도 11을 참조하면, 상기 추출모듈(320)은 상기 데이터 백이 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더(113)에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단할 수 있다(S221). 이때, 상기 추출모듈(320)은 오토인코더(113)에 입력된 데이터 인스턴스와 오토인코더(113)가 출력한 출력 데이터 간의 차이가 소정의 한계 값 이상인 경우 오토인코더(113)에 입력된 데이터 인스턴스가 제1상태라고 판단할 수 있다.
한편, 상기 데이터 백이 제2상태로 라벨링된 경우, 상기 추출모듈(320)은 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더(113)에 입력하여, 상기 오토인코더(113)에 의해 제2상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단할 수 있다(S222).
도 12는 도 11의 단계 S221의 구체적인 과정의 일 예를 도시한 도면이다.
도 12를 참조하면, 상기 추출모듈(320)은 데이터 백 Bi 내의 데이터 인스턴스(Di1 내지 DiN)를 제2상태일 가능성의 순으로 내림차순 정렬을 할 수 있다(S2211).
상기 추출모듈(320)은 단계 S2211를 통해 정렬된 순서대로 Bi 내의 데이터 인스턴스 Ak를 오토인코더(113)에 입력하여(k는 1<=j<=N인 임의의 정수), 입력된 데이터 인스턴스 Ak의 상태를 판단할 수 있으며(S2213), 데이터 인스턴스 Ak가 제1상태라고 판단된 경우 데이터 인스턴스 Ak를 학습용 인스턴스라고 판단할 수 있다(S2215).
상기 추출모듈(320)은 단계 S2213 내지 단계 S2215를 루프가 종료하거나 데이터 백 Bi에 상응하는 학습용 인스턴스가 미리 정해진 개수 Z만큼 발견될 때까지 수행할 수 있다(S2212, S2216, S2217 참조).
본 발명이 속하는 분야의 통상의 기술자라면, 도 11을 참고하여 도 10의 단계 S222의 구체적인 예 역시 손쉽게 도출할 수 있을 것이므로 상세한 설명은 생략하기로 한다. 한편, 도 10 및 도 11은 도 9의 단계 S220을 구현하는 일 예이며, 도 9의 단계 S220을 구현하는 다양한 방법이 있을 수 있음은 물론이다.
상술한 바와 같은 추출 과정을 통하여, 상기 추출모듈(320)은 하나의 데이터 백에서 여러 개의 데이터 인스턴스를 학습용 인스턴스로 추출할 수 있다. 종래의 다중 인스턴스 학습 방법에서는 하나의 데이터 백에서 여러 개의 학습용 인스턴스를 추출하는 경우 잘못된 학습 데이터 인스턴스가 추출될 가능성이 높아 뉴럴 네트워크의 학습에 부정적인 영향을 미칠 수 있었으나, 본 발명의 기술적 사상에 따른 방법에 의하면, 미리 학습된 오토인코더를 이용하여 학습 데이터를 필터링함으로써, 잘못된 학습 데이터 인스턴스가 추출되는 것을 상당히 줄일 수 있게 되는 효과가 있다.
물론 실시예에 따라서는 상기 병변 판단용 뉴럴 네트워크(111)는 오토 인코더를 이용하지 않는 다중 인스턴스 학습 기법이 적용된 병변 판단용 뉴럴 네트워크 학습 방법을 통하여 미리 학습될 수도 있다.
보다 상세하게는 본 실시예에 따른 오토 인코더를 이용하지 않는 다중 인스턴스 학습 기법이 적용된 병변 판단용 뉴럴 네트워크 학습 방법은, 상기 제1상태 또는 상기 제2상태 중 어느 하나로 라벨링되어 있는 복수의 사전 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계 및 상기 복수의 학습용 이미지 각각에 상응하는 사전 학습용 패치에 기초하여 상기 병변 판단용 뉴럴 네트워크를 학습하는 단계를 포함할 수 있다. 이때, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계는, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 사전 학습용 패치를 학습중인 상기 병변 판단용 뉴럴 네트워크에 입력하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계를 포함할 수 있다. 예를 들면, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 산출된 가능성이 가장 큰 패치를 사전 학습용 패치라고 판단할 수 있다.
다시 도 8을 참조하면, 상기 학습모듈(330)은 상기 추출모듈(320)에 의해 추출된 학습용 인스턴스에 기초하여 상기 병변 판단용 뉴럴 네트워크(111)를 학습할 수 있다.
상기 학습모듈(330)은 널리 알려진 바와 같이, 병변 판단용 뉴럴 네트워크(111)에 입력된 학습용 인스턴스와 출력 값간의 손실 오차를 상기 뉴럴 네트워크(111)에 역전파하여 상기 뉴럴 네트워크(111)를 학습할 수 있다.
상기 병변 판단용 뉴럴 네트워크 학습 방법은, 상기 추출모듈(320)에 의해 수행되는 학습 데이터 인스턴스 추출과정 및 상기 학습모듈(330)에 의해 수행되는 학습과정을 하나의 에폭(epoch)으로 취급하고, 복수의 에폭만큼 이를 반복 수행함으로써 뉴럴 네트워크(111)의 성능을 향상시킬 수 있다.
상술한 컴퓨팅 장치는 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로그램과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크 학습 방법을 수행할 수 있다. 상기 프로세서는 싱글 코어 CPU 혹은 멀티 코어 CPU를 포함할 수 있다. 상기 저장장치는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 컴퓨팅 장치에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템에 이용될 수 있다.

Claims (13)

  1. 병리 슬라이드 이미지를 소정의 단위 크기로 분할한 각각의 패치가 입력되면 입력된 패치에 소정의 질병으로 인한 병변이 존재하는지 여부에 대한 판단 결과를 출력하도록 미리 학습된 뉴럴 네트워크인 병변 판단용 뉴럴 네트워크; 및
    상기 병리 슬라이드 이미지에 기초하여 상기 질병의 중증도를 판단하기 위한 중증도 판단용 뉴럴 네트워크를 저장하는 저장모듈;
    소정의 학습용 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 중증도 판단용 뉴럴 네트워크 학습모듈; 및
    상기 질병의 중증도가 각각 라벨링되어 있는 복수의 병리 슬라이드 이미지 각각에 대하여, 상기 중증도 판단용 뉴럴 네트워크 학습모듈이 상기 병리 슬라이드 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하도록 제어하는 제어모듈을 포함하되,
    상기 중증도 판단용 뉴럴 네트워크 학습모듈은,
    상기 학습용 이미지가 상기 단위 크기로 분할된 복수의 패치 각각에 대하여, 상기 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크가 상기 패치에 대한 판단 결과를 출력하는 과정에서 생성되는 피쳐를 추출하는 피쳐 추출모듈;
    상기 학습용 이미지를 구성하는 상기 복수의 패치 각각에 상응하는 피처에 기초하여, 상기 학습용 이미지에 상응하는 피쳐맵을 생성하는 피쳐맵 생성모듈;
    상기 학습용 이미지에 상응하는 피쳐맵을 상기 학습용 이미지의 중증도 라벨로 라벨링하는 라벨링모듈; 및
    상기 학습용 이미지에 상응하는 피쳐맵을 상기 중증도 판단용 뉴럴 네트워크에 입력하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 학습모듈을 포함하는 중증도 판단용 뉴럴 네트워크 학습 시스템.
  2. 제1항에 있어서,
    상기 병변 판단용 뉴럴 네트워크는,
    상기 단위 크기를 가지는 이미지가 입력되면, 입력된 이미지가 상기 질병으로 인한 병변이 존재하지 않는 제1상태인지 혹은 상기 질병으로 인한 병변이 존재하는 제2상태인지를 판단하기 위한 오토 인코더를 포함하는 병변 판단용 뉴럴 네트워크 학습 시스템에 의해 수행되는 병변 판단용 뉴럴 네트워크 학습 방법에 의해 미리 학습되어 있으며,
    상기 병변 판단용 뉴럴 네트워크 학습 방법은,
    상기 제1상태 또는 상기 제2상태 중 어느 하나로 라벨링되어 있는 복수의 사전 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계; 및
    상기 복수의 학습용 이미지 각각에 상응하는 사전 학습용 패치에 기초하여 상기 병변 판단용 뉴럴 네트워크를 학습하는 단계를 포함하되,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계는,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 사전 학습용 패치를 학습중인 상기 병변 판단용 뉴럴 네트워크에 입력하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더의 판단 결과에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계를 포함하는 중증도 판단용 뉴럴 네트워크 학습 시스템.
  3. 제2항에 있어서,
    상기 오토 인코더는, 상기 단위 크기를 가지며 상기 질병으로 인한 병변을 포함하지 않는 정상 패치만으로 미리 학습되어 있으며,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더의 판단 결과에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계는,
    상기 사전 학습용 병리 슬라이드 이미지가 제1상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토 인코더에 입력하여, 상기 오토 인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계; 및
    상기 사전 학습용 병리 슬라이드 이미지가 제2상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토 인코더에 입력하여, 상기 오토 인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계를 포함하는 중증도 판단용 뉴럴 네트워크 학습 시스템.
  4. 제1항에 있어서,
    상기 병변 판단용 뉴럴 네트워크는,
    병변 판단용 뉴럴 네트워크 학습 시스템에 의해 수행되는 병변 판단용 뉴럴 네트워크 학습 방법에 의해 미리 학습되어 있으며,
    상기 병변 판단용 뉴럴 네트워크 학습 방법은,
    상기 제1상태 또는 상기 제2상태 중 어느 하나로 라벨링되어 있는 복수의 사전 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계; 및
    상기 복수의 학습용 이미지 각각에 상응하는 사전 학습용 패치에 기초하여 상기 병변 판단용 뉴럴 네트워크를 학습하는 단계를 포함하되,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계는,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 사전 학습용 패치를 학습중인 상기 병변 판단용 뉴럴 네트워크에 입력하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계를 포함하는 중증도 판단용 뉴럴 네트워크 학습 시스템.
  5. 병리 슬라이드 이미지를 소정의 단위 크기로 분할한 각각의 패치가 입력되면 입력된 패치에 소정의 질병으로 인한 병변이 존재하는지 여부에 대한 판단 결과를 출력하도록 미리 학습된 뉴럴 네트워크인 병변 판단용 뉴럴 네트워크; 및 상기 병리 슬라이드 이미지에 기초하여 상기 질병의 중증도를 판단하기 위한 중증도 판단용 뉴럴 네트워크를 포함하는 컴퓨팅 시스템에서 수행되는 중증도 판단용 뉴럴 네트워크 학습 방법으로서,
    상기 질병의 중증도가 각각 라벨링되어 있는 복수의 병리 슬라이드 이미지를 획득하는 단계; 및
    상기 복수의 병리 슬라이드 이미지 각각에 대하여, 상기 병리 슬라이드 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 단계를 포함하되,
    상기 병리 슬라이드 이미지에 기초하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 단계는,
    상기 병리 슬라이드 이미지가 상기 단위 크기로 분할된 복수의 패치 각각에 대하여, 상기 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크가 상기 패치에 대한 판단 결과를 출력하는 과정에서 생성되는 피쳐를 추출하는 단계;
    상기 병리 슬라이드 이미지를 구성하는 상기 복수의 패치 각각에 상응하는 피처에 기초하여, 상기 병리 슬라이드에 상응하는 피쳐맵을 생성하는 단계;
    상기 병리 슬라이드에 상응하는 피쳐맵을 상기 병리 슬라이드의 중증도 라벨로 라벨링하는 단계; 및
    상기 병리 슬라이드에 상응하는 피쳐맵을 상기 중증도 판단용 뉴럴 네트워크에 입력하여 상기 중증도 판단용 뉴럴 네트워크를 학습하는 단계를 포함하는 중증도 판단용 뉴럴 네트워크 학습 방법.
  6. 제5항에 있어서,
    상기 병변 판단용 뉴럴 네트워크는,
    상기 단위 크기를 가지는 이미지가 입력되면, 입력된 이미지가 상기 질병으로 인한 병변이 존재하지 않는 제1상태인지 혹은 상기 질병으로 인한 병변이 존재하는 제2상태인지를 판단하기 위한 오토 인코더를 포함하는 병변 판단용 뉴럴 네트워크 학습 시스템에 의해 수행되는 병변 판단용 뉴럴 네트워크 학습 방법에 의해 미리 학습되어 있으며,
    상기 병변 판단용 뉴럴 네트워크 학습 방법은,
    상기 제1상태 또는 상기 제2상태 중 어느 하나로 라벨링되어 있는 복수의 사전 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계; 및
    상기 복수의 학습용 이미지 각각에 상응하는 사전 학습용 패치에 기초하여 상기 병변 판단용 뉴럴 네트워크를 학습하는 단계를 포함하되,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계는,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 사전 학습용 패치를 학습중인 상기 병변 판단용 뉴럴 네트워크에 입력하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더의 판단 결과에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계를 포함하는 중증도 판단용 뉴럴 네트워크 학습 방법.
  7. 제6항에 있어서,
    상기 오토 인코더는, 상기 단위 크기를 가지며 상기 질병으로 인한 병변을 포함하지 않는 정상 패치만으로 미리 학습되어 있으며,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더의 판단 결과에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계는,
    상기 사전 학습용 병리 슬라이드 이미지가 제1상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토 인코더에 입력하여, 상기 오토 인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계; 및
    상기 사전 학습용 병리 슬라이드 이미지가 제2상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토 인코더에 입력하여, 상기 오토 인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계를 포함하는 중증도 판단용 뉴럴 네트워크 학습 방법.
  8. 제5항에 있어서,
    상기 병변 판단용 뉴럴 네트워크는,
    병변 판단용 뉴럴 네트워크 학습 시스템에 의해 수행되는 병변 판단용 뉴럴 네트워크 학습 방법에 의해 미리 학습되어 있으며,
    상기 병변 판단용 뉴럴 네트워크 학습 방법은,
    상기 제1상태 또는 상기 제2상태 중 어느 하나로 라벨링되어 있는 복수의 사전 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계; 및
    상기 복수의 학습용 이미지 각각에 상응하는 사전 학습용 패치에 기초하여 상기 병변 판단용 뉴럴 네트워크를 학습하는 단계를 포함하되,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 사전 학습용 패치를 추출하는 단계는,
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 사전 학습용 패치를 학습중인 상기 병변 판단용 뉴럴 네트워크에 입력하여, 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및
    상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성에 기초하여 상기 사전 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 사전 학습용 패치라고 판단하는 단계를 포함하는 중증도 판단용 뉴럴 네트워크 학습 방법.
  9. 데이터 처리장치에 설치되며 제5항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
  10. 제5항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
  11. 컴퓨팅 시스템으로서,
    프로세서 및 메모리를 포함하되,
    상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 제5항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하도록 하는 컴퓨팅 시스템.
  12. 제5항에 기재된 병변 판단용 뉴럴 네트워크; 및
    제5항에 기재된 중증도 판단용 뉴럴 네트워크 학습 방법에 의해 학습된 중증도 판단용 뉴럴 네트워크를 저장하는 뉴럴 네트워크 저장모듈;
    판단 대상 병리 슬라이드 이미지를 분할한 복수의 진단 패치 각각에 대하여, 상기 진단 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크가 상기 진단 패치에 대한 판단 결과를 출력하는 과정에서 생성되는 피쳐를 추출하는 진단 피쳐 추출모듈; 및
    상기 판단 대상 병리 슬라이드 이미지를 구성하는 상기 복수의 진단 패치 각각에 상응하는 피처에 기초하여 생성되는 피쳐맵을 상기 중증도 판단용 뉴럴 네트워크에 입력하여 상기 중증도 판단용 뉴럴 네트워크에 의한 진단 결과를 출력하는 중증도 출력모듈을 포함하는 뉴럴 네트워크를 이용한 중증도 진단 시스템.
  13. 제12항에 있어서,
    상기 복수의 진단 패치를 입력받은 상기 병변 판단용 뉴럴 네트워크에 의해 획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 판단 대상 이미지의 히트맵을 출력하는 병변영역 출력모듈을 더 포함하는 중증도 진단 시스템.
PCT/KR2021/006967 2020-06-05 2021-06-03 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템 WO2021246811A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/008,426 US20230229927A1 (en) 2020-06-05 2021-06-03 Method and system for training artificial neural network for severity decision
CN202180040649.4A CN115699024A (zh) 2020-06-05 2021-06-03 疾病严重程度判断用神经网络学习方法及系统
EP21818210.3A EP4148625A4 (en) 2020-06-05 2021-06-03 METHOD AND SYSTEM FOR TRAINING NEURAL NETWORK FOR DETERMINING SEVERITY
JP2022572515A JP7499535B2 (ja) 2020-06-05 2021-06-03 重症度判断用のニューラルネットワーク学習方法及びシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200068641A KR102261475B1 (ko) 2020-06-05 2020-06-05 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
KR10-2020-0068641 2020-06-05

Publications (1)

Publication Number Publication Date
WO2021246811A1 true WO2021246811A1 (ko) 2021-12-09

Family

ID=76374818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006967 WO2021246811A1 (ko) 2020-06-05 2021-06-03 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템

Country Status (6)

Country Link
US (1) US20230229927A1 (ko)
EP (1) EP4148625A4 (ko)
JP (1) JP7499535B2 (ko)
KR (1) KR102261475B1 (ko)
CN (1) CN115699024A (ko)
WO (1) WO2021246811A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485415B1 (ko) * 2022-06-02 2023-01-06 주식회사 딥바이오 패치 레벨 중증도 판단 방법, 슬라이드 레벨 중증도 판단 방법 및 이를 수행하는 컴퓨팅 시스템
KR102642137B1 (ko) * 2022-08-08 2024-03-06 한국과학기술원 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
KR102586484B1 (ko) * 2022-09-05 2023-10-12 한국과학기술원 분류 과정에서 발생하는 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
WO2024144328A1 (ko) * 2022-12-29 2024-07-04 엘지전자 주식회사 인공 지능 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101849072B1 (ko) * 2017-08-29 2018-04-16 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템
KR20190112170A (ko) * 2017-02-21 2019-10-02 주식회사 고영테크놀러지 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 방법 및 장치
KR20190119864A (ko) * 2018-04-13 2019-10-23 인하대학교 산학협력단 딥러닝 기반의 소형 물체 검출 기법
KR20200044183A (ko) * 2018-10-05 2020-04-29 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021515240A (ja) 2018-04-12 2021-06-17 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112170A (ko) * 2017-02-21 2019-10-02 주식회사 고영테크놀러지 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 방법 및 장치
KR101849072B1 (ko) * 2017-08-29 2018-04-16 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템
KR20190119864A (ko) * 2018-04-13 2019-10-23 인하대학교 산학협력단 딥러닝 기반의 소형 물체 검출 기법
KR20200044183A (ko) * 2018-10-05 2020-04-29 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEE, YEHA; KIM, HYUN-JUN; KIM, GUK BAE; KIM, NAMKUG: "Deep Learning-based Feature Extraction for Medical Image Analysis", JOURNAL OF THE KOREAN SOCIETY OF IMAGING INFORMATICS IN MEDICINE, vol. 20, no. 1, 1 January 2014 (2014-01-01), Korea, pages 1 - 12, XP009532493 *
See also references of EP4148625A4 *

Also Published As

Publication number Publication date
EP4148625A1 (en) 2023-03-15
JP7499535B2 (ja) 2024-06-14
EP4148625A4 (en) 2024-06-26
JP2023529584A (ja) 2023-07-11
KR102261475B1 (ko) 2021-06-07
US20230229927A1 (en) 2023-07-20
CN115699024A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
WO2021246811A1 (ko) 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2021246810A1 (ko) 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
WO2020071877A1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
WO2017213398A1 (en) Learning model for salient facial region detection
WO2021201422A1 (ko) Ar에 적용 가능한 의미적인 분할 방법 및 시스템
WO2019098414A1 (ko) 약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치
WO2019098449A1 (ko) 메트릭 학습 기반의 데이터 분류와 관련된 장치 및 그 방법
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
Yu et al. On the integration of grounding language and learning objects
Nimisha et al. A brief review of the recent trends in sign language recognition
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
Akilan et al. sEnDec: an improved image to image CNN for foreground localization
WO2021153861A1 (ko) 다중 객체 검출 방법 및 그 장치
CN111428664B (zh) 一种基于深度学习技术的计算机视觉的实时多人姿态估计方法
Lyu et al. Classification of alzheimer's disease via vision transformer: Classification of alzheimer's disease via vision transformer
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2024108522A1 (zh) 基于自监督学习的多模态脑肿瘤影像分割方法
CN115841464A (zh) 基于自监督学习的多模态脑肿瘤影像分割方法
CN117789911A (zh) 基于跨模态融合和记忆监督放射学报告生成方法及系统
Li et al. Knowledge-spreader: Learning semi-supervised facial action dynamics by consistifying knowledge granularity
Hassan et al. Intelligent sign language recognition using enhanced fourier descriptor: a case of Hausa sign language
WO2022019355A1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
WO2019107624A1 (ko) 시퀀스-대-시퀀스 번역 방법 및 이를 위한 장치
WO2022065798A1 (ko) 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21818210

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022572515

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021818210

Country of ref document: EP

Effective date: 20221205

NENP Non-entry into the national phase

Ref country code: DE