WO2023191472A1 - 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
WO2023191472A1
WO2023191472A1 PCT/KR2023/004145 KR2023004145W WO2023191472A1 WO 2023191472 A1 WO2023191472 A1 WO 2023191472A1 KR 2023004145 W KR2023004145 W KR 2023004145W WO 2023191472 A1 WO2023191472 A1 WO 2023191472A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
staining
immunohistochemical staining
mth
nth
Prior art date
Application number
PCT/KR2023/004145
Other languages
English (en)
French (fr)
Inventor
곽태영
양현석
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Publication of WO2023191472A1 publication Critical patent/WO2023191472A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method of learning a machine learning model for analyzing immunohistochemical staining images and a computing system that performs the same. More specifically, by analyzing biological tissue slide images stained by immunohistochemical staining, which stains tissues expressing specific biomarkers, a machine learning model used to analyze the expression level of biomarkers in detail can be learned. , relates to a method for making judgments on pathological specimen images, such as analyzing the expression level of biomarkers, using a learned machine learning model, and a computing system that performs this.
  • NGS Next generation sequencing
  • IHC immunohistochemistry
  • Immunohistochemical staining allows the level of expression of the relevant biomarker to be visually confirmed by staining the tissue using a dye that combines an antibody targeting a specific biomarker with a coloring agent such as diaminobenzidine (DAB). .
  • DAB diaminobenzidine
  • hematoxylin is used as a counterstain to mark cells that do not express the biomarker.
  • immunohistochemically stained tissue is generally made considering the intensity of staining and the proportion of stained tissue.
  • the dyeing intensity is usually divided into four levels: 'almost none', 'weak', 'medium', and 'strong'.
  • the tissue is considered stained when only part of the cell nucleus is stained, and in other cases, when the entire cell membrane is stained, it is considered stained.
  • a target area for example, a cancer lesion
  • the reading rules for immunohistochemically stained tissues vary depending on the target biomarker to be actually measured and the applied organ/disease.
  • the expression pattern is different for each biomarker, and even for the same biomarker, the expression level varies depending on the applied organ/disease. Because it may be different.
  • the percentage of stained tissue is 0 to 5 points, and the staining intensity (intensity score) is 0 to 3 points.
  • the total score obtained by calculating the two separately and adding them up is used, and in the case of a specific immunohistochemical staining method that measures the level of expression of HER2 (human epidermal growth factor receptor 2), the staining intensity and degree of staining of the cell membrane are taken into consideration.
  • the score is determined as 0, 1+, 2+, or 3+ depending on the proportion of cancer cells determined to be cancerous. If the PD-L1 expression rate of tumor-infiltrating immune cells is more than 1%, it is sometimes judged to be expressed. In this case, the cell membrane of the immune cells must also be stained at an intensity higher than the appropriate level.
  • WSI whole-slide image
  • biomarkers can be automatically determined by computer analyzing digital images scanned from immunohistochemistry-stained slides. Software that measures this has emerged and is continuously becoming more sophisticated, and when the expression level of biomarkers is automatically measured by software, problems of consistency between readers and reproducibility of individual readers can be solved.
  • this can be applied to learning a machine learning model to learn a machine learning model used to analyze the expression level of biomarkers in detail, and through this, make judgments on pathology specimen images, such as analyzing the expression level of biomarkers. A capable technical mind is required.
  • the technical task to be achieved by the present invention is to provide a method and system that can analyze the expression level of biomarkers in detail by analyzing immunohistochemically stained tissue slides using machine learning.
  • it provides a method and system that can make judgments on various images of pathological specimens, such as learning a machine learning model used to analyze the expression level of biomarkers in detail and analyzing the expression level of biomarkers through this. .
  • IHC immunohistochemistry
  • the step of generating the nth feature vector of the mth immunohistochemical staining image based on the staining intensity for each pixel of the immunohistochemical staining image and a predetermined nth staining intensity reference value is the step of generating the nth feature vector of the mth immunohistochemical staining image.
  • n-th binarized image corresponding to the m-th immunohistochemical staining image by comparing the staining intensity for each pixel with the n-th staining intensity reference value - wherein the n-th binarized image is higher than the n-th staining intensity reference value. It is an image divided into areas with high staining intensity and areas without - and the nth feature vector of the mth immunohistochemical staining image is based on the nth binarized image corresponding to the mth immunohistochemical staining image.
  • a machine learning model learning method including the creation step is provided.
  • the i-th dyeing intensity reference value may be smaller than the (i+1)-th dyeing intensity reference value.
  • the step of acquiring the mth immunohistochemical staining image includes acquiring the mth original pathology image by scanning a pathology slide stained with a dye mixed with an immunohistochemical staining reagent and a counterstaining reagent; and separating the immunohistochemical staining portion stained by the immunohistochemical staining reagent and the counterstained portion stained by the counterstaining reagent from the mth original pathology image, and the mth corresponding to the mth original pathology image. It may include generating an immunohistochemical staining image and an mth control staining image corresponding to the mth original pathology image.
  • the step of generating the nth feature vector of the mth immunohistochemical staining image based on the nth binarized image corresponding to the mth immunohistochemical staining image includes the mth immunohistochemical staining image.
  • At least one calculation value calculated based on the nth binarized image and the mth control staining image corresponding to the image includes generating an nth feature vector of the mth immunohistochemical staining image, where each is a component of the vector.
  • the at least one calculated value may include at least one of the ratio of stained cell tissue, the ratio of cells with stained cell membranes, and the ratio of cells with stained cell nuclei.
  • the step of generating the mth learning data based on the first staining intensity reference value to the Nth staining intensity reference value and the first to Nth feature vectors of the mth immunohistochemical staining image includes,
  • the m-th learning data is composed of a pair of a first staining intensity reference value and a first feature vector or a pair of an N-th staining intensity reference value and a N-th feature vector, and is labeled with the HER2 (human epidermal growth factor receptor 2) expression score. It may include the step of generating.
  • the step of generating the mth learning data based on the first staining intensity reference value to the Nth staining intensity reference value and the first to Nth feature vectors of the mth immunohistochemical staining image includes, It consists of a pair of the first staining intensity reference value and the first feature vector difference value or a pair of the (N-1) staining intensity reference value and the (N-1) feature vector difference value, and is an ER (estrogen receptor) or PR
  • the computing system includes the step of outputting a decision result for the pathological specimen to be determined by the machine learning model based on the input data, wherein the staining intensity for each pixel of the immunohistochemical staining image to be judged and the The step of generating the nth feature vector of the immunohistochemical staining image to be determined based on the nth staining intensity reference value includes comparing the staining intensity for each pixel of the immunohistochemical staining image to be judged with the nth staining intensity reference value.
  • a method is provided including the step of generating an n-th feature vector of the immunohistochemical staining image to be determined based on the n-th binarized image corresponding to the immunohistochemical staining image to be judged.
  • a computer program installed in a data processing device and recorded on a medium for performing the above-described method is provided.
  • a computer-readable recording medium on which a computer program for performing the above-described method is recorded is provided.
  • the step of generating the mth learning data includes acquiring the mth immunohistochemical staining image.
  • the step of generating the nth feature vector of the mth immunohistochemical staining image based on the staining intensity for each pixel of the immunohistochemical staining image and a predetermined nth staining intensity reference value is the step of generating the nth feature vector of the mth immunohistochemical staining image.
  • Generating an n-th binarized image corresponding to the m-th immunohistochemical staining image by comparing the staining intensity for each pixel with the n-th staining intensity reference value - wherein the n-th binarized image is higher than the n-th staining intensity reference value. It is an image divided into areas with high staining intensity and areas without - and the nth feature vector of the mth immunohistochemical staining image is based on the nth binarized image corresponding to the mth immunohistochemical staining image.
  • a machine learning model learning system including a generation step is provided.
  • a system for providing a judgment result for a pathological specimen includes: a processor; and a memory that stores a computer program, wherein the computer program, when executed by the processor, causes the decision result providing system to use a machine learning model learned by the machine learning model learning method described in claim 1.
  • a method of providing a judgment result for a predetermined judgment target pathology specimen is performed, wherein the judgment result providing system acquires an immunohistochemical staining image of the judgment target, wherein:
  • the immunohistochemical staining image to be judged includes an area corresponding to the immunohistochemically stained tissue of the pathological specimen to be judged stained by the immunohistochemical staining method; Calculating, by the judgment result providing system, a staining intensity by immunohistochemical staining for each pixel of the judgment target immunohistochemical staining image;
  • the determination result providing system includes a step of outputting a determination result for the determination target pathological specimen determined by the machine learning model based on the input data, wherein the staining intensity for each pixel of the determination target immunohistochemical staining image
  • the step of generating the n-th feature vector of the immunohistochemical staining image to be determined based on the n-th staining intensity reference value includes the staining intensity for each pixel of the immunohistochemical staining image to be determined and the n-th staining intensity reference value.
  • a method includes the step of generating an n-th feature vector of the immunohistochemical staining image to be determined based on the n-th binarized image corresponding to the immunohistochemical staining image to be determined.
  • the technical idea of the present invention it is possible to provide a method and system that can analyze the expression level of biomarkers in detail by analyzing immunohistochemically stained tissue slides using deep learning.
  • a method and system that can make judgments on various pathological specimen images, such as learning a machine learning model used to analyze the expression level of biomarkers in detail and analyzing the expression level of biomarkers through this. You can.
  • the machine learning model learning method is characterized by applying several different staining intensity reference values to one immunohistochemical staining image and configuring learning data with the values derived through these, and through this, bio This has the effect of being able to build a machine learning model that can analyze the level of expression of markers in detail.
  • Figure 1 is a diagram schematically showing an environment in which a machine learning model learning method and a method for providing judgment results for a pathological specimen are performed according to the technical idea of the present invention.
  • Figure 2 is a flowchart illustrating a machine learning model learning method according to an embodiment of the present invention.
  • Figure 3a shows a pathology image stained with a dye mixed with an immunohistochemical staining reagent and a counterstaining reagent
  • Figure 3b shows an immunohistochemical staining image in which the immunohistochemical staining color was extracted from Figure 3a.
  • FIG. 4 is a diagram illustrating an example of step S140 of FIG. 2 in more detail.
  • Figure 5 is a diagram showing the results of changes in the binarized image as the dyeing intensity reference value increases.
  • Figure 6 is a flowchart illustrating an example of a method for providing a determination result for a pathology specimen according to an embodiment of the present invention.
  • FIG. 7 is a diagram showing the schematic configuration of a machine learning model learning system according to an embodiment of the present invention
  • FIG. 8 is a diagram showing the schematic configuration of a system for providing judgment results according to an embodiment of the invention.
  • Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. Terms such as first, second, etc. do not indicate a particular order and are used only for the purpose of distinguishing one component from another component.
  • the component when one component 'transmits' data to another component, the component may transmit the data directly to the other component, or through at least one other component. This means that the data can be transmitted to the other components. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without going through the other component.
  • Figure 1 is a diagram schematically showing an environment in which a machine learning model learning method and a method for providing judgment results for a pathological specimen are performed according to the technical idea of the present invention.
  • the machine learning model learning method may be performed by a machine learning model learning system 100 (hereinafter also referred to as 'learning system'), an embodiment of the present invention.
  • the method of providing a judgment result for a pathological specimen according to may be performed by a judgment result provision system 200 for a pathological specimen (hereinafter, also referred to as a 'judgment result provision system').
  • the learning system 100 receives data in a predetermined format derived from the staining intensity of tissues (e.g., cell membranes, cell nuclei, etc.) stained by immunohistochemical staining, and determines the expression level of a predetermined biomarker and pathological specimen. It is possible to learn a machine learning model (300) for detecting lesions included in, outputting diagnostic information for pathological specimens, or providing prognostic information and/or response information for treatment methods, and the judgment result providing system (200) The learned machine learning model 300 can be used to make various judgments about the target specimen (e.g., determination of the level of expression of a given biomarker, detection of lesions, presence or absence of disease, prognosis, judgment of treatment method, etc.). You can.
  • the learning system 100 and/or the decision result providing system 200 may be a computing system that is a data processing device with computing capabilities for implementing the technical idea of the present invention, and is generally accessible to a client through a network. It may include not only servers, which are data processing devices, but also computing devices such as personal computers and mobile terminals.
  • the learning system 100 and/or the decision result providing system 200 may be implemented as any one physical device, but if necessary, a plurality of physical devices may be organically combined to perform the learning according to the technical idea of the present invention.
  • An average expert in the technical field of the present invention can easily deduce that the system 100 and/or the judgment result providing system 200 can be implemented.
  • the learning system 100 can learn the machine learning model 300 based on learning data generated from a plurality of immunohistochemical staining images.
  • the immunohistochemical staining image may be an image or a portion of a slide of a pathology specimen stained using a predetermined immunohistochemical staining method.
  • Pathological specimens may be biopsies collected from various organs of the human body or biological tissues excised through surgery.
  • the immunohistochemical staining image may be a tissue slide image stained with a slide of a pathology specimen using an immunohistochemical staining reagent, or a tissue slide image stained with a dye mixed with an immunohistochemical staining reagent and a counterstaining reagent.
  • the immunohistochemical staining reagent may be a staining agent that combines an antibody targeting a specific biomarker with a coloring agent such as diaminobenzidine (DAB), and the counter staining reagent may be a hematoxylin staining reagent ( Hereinafter referred to as 'H reagent').
  • DAB diaminobenzidine
  • the immunohistochemical staining image may be a digital slide image of a stained pathology specimen or a part of a digital slide image.
  • a slide of a pathology specimen may be a sliced portion of the pathology specimen.
  • a digital slide image of a pathology specimen can be created by slicing the pathology specimen to produce a glass slide, then staining it with a predetermined dye and digitizing it.
  • the immunohistochemical staining image is a pathology slide image in which a pathology specimen is made into a slide and stained with a predetermined staining agent (e.g., an immunohistochemical staining agent or a staining agent mixing immunohistochemical staining and a counterstaining reagent).
  • the image may be a stained pathology slide image divided into predetermined sizes.
  • the learning system 100 can generate individual learning data using a digital pathology image of a pathology specimen and input this into the input layer of the machine learning model 300 to learn the machine learning model 300.
  • the process by which the learning system 100 generates learning data will be described later.
  • the machine learning model 300 may be an artificial neural network or a deep neural network, but is not limited thereto and may include various models that can be trained through learning data.
  • the machine learning model 300 may be a support vector machine, random forest, gradient-boosting tree, or an ensemble model thereof.
  • learning of the machine learning model may be supervised learning.
  • learning of the machine learning model 300 is performed using the predicted value output by the machine learning model that receives the learning data and the actual value labeled in the learning data. It can be performed by back propagation, which updates the weight of the machine learning model 300 so that the loss value, which is the difference between , is minimized. In this case, techniques such as gradient descent can be used. . Since the details of the machine learning model learning process are widely known at the time the present invention is filed, a more detailed description will be omitted.
  • the machine learning model 300 may be a machine learning model learned to output a probability value for the expression level of a specific biomarker.
  • the machine learning model 300 may output values representing the expression levels of human epidermal growth factor receptor 2 (HER2), estrogen receptor (ER), and/or progesterone receptor (PR).
  • HER2 human epidermal growth factor receptor 2
  • ER estrogen receptor
  • PR progesterone receptor
  • the technical idea of the present invention is not limited to this, and a numerical value, that is, a probability value, representing the judgment result for the target sample (for example, the possibility of developing a disease) can be output and tagged in the learning data.
  • the output value may vary depending on the label.
  • the machine learning model 300 may be a machine learning model learned to output a probability value for a given disease, such as whether the disease appears, a treatment method, or the effect of a specific treatment method.
  • the machine learning model 300 may be a patch level classical neural network.
  • a patch-level classification neural network may be a neural network that receives patch-level images as input and outputs values for classifying the patch.
  • the machine learning model 300 may be a pixel-level classification neural network.
  • a pixel-level classification neural network may be a neural network that outputs a value for classifying each pixel included in an image.
  • an artificial neural network is a machine learning model artificially constructed based on the operating principles of human neurons, includes a multi-layer perceptron model, and refers to a set of information expressing a series of design details that define an artificial neural network. can do.
  • the machine learning model 300 may be a convolutional neural network or may include a convolutional neural network.
  • the learned machine learning model 300 can be stored in the judgment result providing system 200, and the judgment result providing system 200 uses the learned machine learning model to make a judgment on a predetermined diagnostic target specimen. can do.
  • the learning system 100 and/or the decision result providing system 200 may be implemented in the form of a subsystem of a certain mother system 10.
  • the parent system 10 may be a server.
  • the server 10 refers to a data processing device with computing power to implement the technical idea of the present invention, and is generally a data processing device that can be accessed by a client through a network, as well as providing a specific service such as a personal computer, mobile terminal, etc.
  • An average expert in the technical field of the present invention can easily deduce that any device capable of performing the above-described tasks can be defined as a server.
  • the learning system 100 and the judgment result providing system 200 may be implemented separately from each other.
  • Figure 2 is a flowchart illustrating a machine learning model learning method according to an embodiment of the present invention.
  • the learning system 100 may acquire the mth immunohistochemical staining image (S110).
  • the mth immunohistochemical staining image may include an area corresponding to an immunohistochemically stained tissue stained by immunohistochemistry (IHC) staining for a predetermined target biomarker.
  • IHC immunohistochemistry
  • the mth immunohistochemical staining image may be a pathology slide image (or patch) stained with diaminobenzidine (DAB) reagent.
  • DAB diaminobenzidine
  • the learning system 100 scans a pathology slide stained with a dye mixed with an immunohistochemical staining reagent (e.g., DAB reagent) and a counterstaining reagent (e.g., H reagent).
  • the original pathology image can be acquired, and the immunohistochemical staining part stained by the immunohistochemical staining reagent and the counter-stained part stained by the counter-staining reagent are separated from the m-th original pathology image, and the m-th original pathology image is separated from the m-th original pathology image.
  • An mth immunohistochemical staining image corresponding to the original pathology image and an mth control staining image corresponding to the mth original pathology image can be generated.
  • the learning system 100 may receive the mth immunohistochemical staining image or the mth original pathology image corresponding to a predetermined pathology specimen from an external terminal.
  • the learning system (100) may be obtained from a memory device that previously stores the mth immunohistochemical staining image or the mth original pathology image corresponding to the pathology specimen.
  • Figure 3a shows a pathology image stained with a dye mixed with an immunohistochemical staining reagent and a counterstaining reagent
  • Figure 3b shows an immunohistochemical staining image in which the immunohistochemical staining color was extracted from Figure 3a.
  • the mth immunohistochemical staining image or the mth original pathology image may be labeled with predetermined information, and the machine learning model 300 may be learned using a supervised learning method.
  • Labeled information may vary depending on the purpose of the machine learning model 300.
  • the information labeled in the m immunohistochemical staining image or the m original pathology image may include the expression level of HER2, proportion score and/or staining intensity score of the immunohistochemical staining area, or ER , it may be a PR expression level score, but the technical idea of the present invention is not limited thereto.
  • the present invention may be used to generate a new biomarker expression level reading rule that did not exist previously.
  • linear regression, logistic regression, and other machine learning models to learn to increase the correlation between the output value and the actual treatment effect, new rules for determining the level of biomarker expression that are very effective in determining the treatment method can be discovered. You may.
  • the learning system 100 can calculate the staining intensity by immunohistochemical staining for each pixel of the mth immunohistochemical staining image (S120).
  • the learning system 100 can calculate the staining intensity of each pixel converted from the optical density determined in the color deconvolution method described above as the staining intensity for each pixel of the mth immunohistochemical staining image.
  • the learning system 100 may convert the mth immunohistochemical staining image into a black and white image and use the brightness of the converted black and white image to calculate the staining intensity for each pixel of the mth immunohistochemical staining image.
  • the n-th feature vector of the m-th immunohistochemical staining image can be generated based on a predetermined n-th staining intensity reference value (S140).
  • the ith dyeing intensity reference value may be smaller than the (i+1)th dyeing intensity reference value.
  • the N dyeing intensity reference values may be values that gradually increase as the number increases.
  • staining intensity reference values may be determined by constructing image data to include various staining intensities and considering the distribution of staining intensity values measured from the constructed data, or may be determined by other methods.
  • FIG. 4 is a diagram illustrating an example of step S140 of FIG. 2 in more detail.
  • the learning system 100 compares the staining intensity for each pixel of the mth immunohistochemical staining image with the nth staining intensity reference value to select the nth staining intensity corresponding to the mth immunohistochemical staining image.
  • a binarized image can be generated (S141).
  • the n-th binarized image is an image divided into an area with a staining intensity greater than the n-th staining intensity reference value and an area that does not.
  • the learning system 100 assigns the value of a pixel with a staining intensity greater than the nth staining intensity reference value as 1, and assigns the value of a pixel with a staining intensity less than the nth staining intensity reference value as 0.
  • a binarized image can be created.
  • Figure 5 is a diagram showing the results of changes in the binarized image as the dyeing intensity reference value increases.
  • Figure 5(a) shows an immunohistochemical staining image
  • Figures 5(b) to 5(h) show binarized images corresponding to the first staining intensity reference value to the seventh staining intensity reference value, respectively. You can see that the binarized image changes as it gets bigger.
  • the learning system 100 may generate the nth feature vector of the mth immunohistochemical staining image based on the nth binarized image corresponding to the mth immunohistochemical staining image.
  • a feature vector may consist of 1 or 2 or more components. Saying that a feature vector is created based on a binarized image means that one of the main elements that determine the feature vector is the binarized image, and that other elements in addition to the binarized image may be used in the process of generating the feature vector. Of course.
  • the learning system 100 is configured so that at least one calculated value calculated based on the nth binarized image and the mth control staining image corresponding to the mth immunohistochemical staining image is each a component of a vector.
  • the nth feature vector of the mth immunohistochemical staining image can be generated.
  • the at least one calculated value may include at least one of the ratio of stained cell tissue, the ratio of cells with stained cell membranes, and the ratio of cells with stained cell nuclei, and the ratio of cells with stained cell membranes may include the ratio of cells with stained cell membranes. This may include the proportion of cells that are completely stained and the proportion of cells that have only a portion of the cell membrane stained.
  • the learning system 100 determines the area of a pixel with a value of '1' in the nth binarized image (i.e., a pixel with a staining intensity greater than the nth staining intensity reference value) and in the mth control staining image.
  • the ratio of the area of the stained pixel By calculating the ratio of the area of the stained pixel, the ratio of the stained cell tissue can be calculated and determined as one of the components of the nth feature vector.
  • the learning system 100 may determine a closed area determined by a pixel with a value of '1' in the nth binarized image (i.e., a pixel with a staining intensity greater than the nth staining intensity reference value), By calculating the ratio of the area occupied by the closed area and the area of the stained pixel in the mth control staining image, the ratio of cells with stained cell membranes can be calculated and determined as one of the components of the nth feature vector.
  • the learning system 100 may determine a closed area determined by a pixel with a value of '1' in the nth binarized image (i.e., a pixel with a staining intensity greater than the nth staining intensity reference value), Among the outlines of each closed area, the proportion of pixels with a value of '1' in the nth binarized image is calculated based on the area of cells surrounded by outlines of a certain size or more, and calculates the ratio of cells with completely stained cell membranes. It can also be determined as one of the components of the nth feature vector. In addition to this, the components of the feature vector can be determined in various ways.
  • the learning system 100 is based on the first staining intensity reference value to the Nth staining intensity reference value and the first to Nth feature vectors of the mth immunohistochemical staining image.
  • mLearning data can be generated (S150).
  • the mth learning data may be composed of a pair of a first dyeing intensity reference value and a first feature vector or a pair of an Nth dyeing intensity reference value and an Nth feature vector.
  • the mth learning data is [ ⁇ t_1, F_1>, ⁇ t_2, F_2>, ... , ⁇ t_N, F_N>] (t_i is the ith staining intensity reference value, and F_i is the ith feature vector of the mth immunohistochemical staining image).
  • the m-th learning data is a pair of a first dyeing intensity reference value and a first feature vector difference value, or a (N-1) dyeing intensity reference value and a (N-1) feature vector difference value. It can be composed of a pair of .
  • the mth learning data is [ ⁇ t_1, F_2-F1>, ⁇ t_2, F_3-F_2>, ... , ⁇ t_(N-1), F_N-F_(N-1)>].
  • each learning data may be labeled with a value indicating a rule for reading the expression level of the biomarker.
  • the values labeled in each learning data may be information pre-tagged in the mth immunohistochemical staining image, the mth immunohistochemistry staining image, or the mth original pathology image, or information derived from such information.
  • each learning data may be labeled with the expression score of HER2, estrogen receptor (ER), progesterone receptor (PR) expression score, proportion score, and/or staining intensity score.
  • ER estrogen receptor
  • PR progesterone receptor
  • values such as treatment effect or post-surgery life expectancy may be labeled, and a predetermined value designed to increase the correlation between the output value obtained using linear regression, logistic regression, and other machine learning models and the actual treatment effect. This may also be labeled.
  • the learning system 100 inputs the generated learning data set as an input layer of the machine learning model 300 to create the machine learning model.
  • (300) can be learned (S160 in FIG. 2).
  • Machine learning processes such as deep learning techniques, which input learning data tagged with correct answer information into the machine learning model 300 and learn the machine learning model 300 through methods such as gradient descent and backpropagation, are widely known. Therefore, detailed description will be omitted.
  • the machine learning model learning method applies several different staining intensity reference values to one immunohistochemical staining image and constructs learning data with the values derived through these. It has the advantage of being able to build a machine learning model that can analyze the expression level of biomarkers in detail.
  • the method of configuring learning data to learn a machine learning model can be applied in a variety of ways.
  • the above learning method is based on [ ⁇ t_i, F_i>] generated by extracting a feature vector F_i containing the ratio of cells with completely stained cell membranes among cancer cells for a plurality of different staining intensity reference values t_i. It can be used to receive values as input, learn a machine learning model that outputs the HER2 expression level score, and determine the expression level of HER2 through the learned model.
  • Figure 6 is a flowchart illustrating an example of a method for providing a determination result for a pathology specimen according to an embodiment of the present invention.
  • the method of providing a judgment result for a pathological specimen according to FIG. 6 may be performed by a judgment result providing system 200, and the judgment result providing system 200 uses a machine learning model learned by the learning system 100 ( 300) may be stored.
  • the determination result providing system 200 may acquire an immunohistochemical image of a predetermined determination target pathological specimen (S210).
  • the immunohistochemical staining image to be judged may include an area corresponding to the immunohistochemically stained tissue of the pathological specimen to be judged stained by the immunohistochemical staining method.
  • the judgment result providing system 200 can calculate the staining intensity by immunohistochemical staining for each pixel of the judgment target immunohistochemical staining image (S220), and the first feature vector to the first feature vector from the judgment target immunohistochemical staining image.
  • An N feature vector can be generated (S230, S240), and input data is generated based on the first staining intensity reference value to the Nth staining intensity reference value and the first to Nth feature vectors of the mth immunohistochemical staining image.
  • the process of generating input data corresponding to the immunohistochemical image of the specimen to be determined is very similar to the process described above, so a separate explanation will be omitted.
  • the determination result providing system 200 inputs input data to the machine learning model 300, outputs the results output by the machine learning model, or determines the pathological specimen to be determined based on the results output by the machine learning model.
  • the judgment result can be output (S260).
  • FIG. 7 is a diagram illustrating a schematic configuration of a machine learning model learning system 100 according to an embodiment of the present invention
  • FIG. 8 is a schematic configuration of a decision result providing system 200 according to an embodiment of the present invention. This is a drawing showing.
  • the machine learning model learning system 100 and the judgment result providing system 200 may refer to a logical configuration equipped with hardware resources and/or software necessary to implement the technical idea of the present invention, and must be It does not mean a single physical component or a single device.
  • the machine learning model learning system 100 and the judgment result providing system 200 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and, if necessary, each other. It may be implemented as a set of logical configurations to implement the technical idea of the present invention by being installed in a separated device and performing each function.
  • the machine learning model training system 100 and the judgment result providing system 200 may refer to a set of components implemented separately for each function or role to implement the technical idea of the present invention.
  • Each component of the machine learning model training system 100 and the judgment result providing system 200 may be located in different physical devices or may be located in the same physical device.
  • the combination of software and/or hardware constituting each component of the machine learning model learning system 100 and the judgment result providing system 200 is also located in different physical devices.
  • the components located in may be organically combined with each other to implement each of the modules.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean a physically connected code or a single type of hardware. can be easily inferred by an average expert in the technical field of the present invention.
  • the machine learning model training system 100 may include a storage module 110, an acquisition module 120, a creation module 130, and a learning module 140.
  • the machine learning model learning system (100 ) may include more components than this.
  • the machine learning model learning system 100 includes a communication module (not shown) for communicating with an external device and a control module (not shown) for controlling the components and resources of the machine learning model learning system 100. It may further include.
  • the storage module 110 can store the machine learning model 300 to be learned.
  • the acquisition module 120 may acquire M immunohistochemical staining images including areas corresponding to immunohistochemically stained tissues stained by immunohistochemical staining for staining a predetermined target biomarker.
  • the acquisition module acquires an original pathology image obtained by scanning a pathology slide stained with a dye mixed with an immunohistochemical staining reagent and a counterstaining reagent, and stained with the immunohistochemical staining reagent from the original pathology image. By separating the immunohistochemically stained portion and the counterstained portion stained by the counterstaining reagent, an immunohistochemical staining image corresponding to the original pathology image and a counterstaining image corresponding to the original pathology image can be generated. .
  • the generation module 130 may generate individual learning data based on each immunohistochemical staining image and predetermined staining intensity reference values, and may configure a learning data set including a plurality of individual learning data.
  • the individual learning data generated by the generation module 130 may be a vector expressing the expression level of a biomarker.
  • the learning module 140 can learn the machine learning model 300 based on the learning data set.
  • the determination result providing system 200 may include a storage module 210, an acquisition module 220, a generation module 230, and a determination module 240.
  • the decision result providing system 200 includes a communication module (not shown) for communicating with the 3-axis vibration sensor 20, and a control module for controlling the components and resources of the decision result providing system 200. (not shown) may further be included.
  • the storage module 210 can store the learned machine learning model 300.
  • the acquisition module 220 may acquire an immunohistochemical staining image to be judged.
  • the generation module 230 may generate input data based on the immunohistochemical staining image to be determined.
  • the judgment module 240 may input the input data into the machine learning model 300 and make a judgment on the judgment target sample based on the predicted value output from the machine learning model 300.
  • the machine learning model training system 100 and the judgment result providing system 200 may include a processor and a memory that stores a program executed by the processor.
  • the processor may include a single core CPU or a multi-core CPU.
  • the memory may include high-speed random access memory and may also include non-volatile memory, such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Access to memory by processors and other components may be controlled by a memory controller.
  • the method according to the embodiment of the present invention can be implemented in the form of computer-readable program instructions and stored in a computer-readable recording medium, and the control program and target program according to the embodiment of the present invention can also be stored on a computer. It may be stored on a readable recording medium.
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system.
  • Program instructions recorded on the recording medium may be those specifically designed and configured for the present invention, or may be known and available to those skilled in the software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks. Includes magneto-optical media such as ROM, RAM, flash memory, and other hardware devices specifically configured to store and execute program instructions. Additionally, computer-readable recording media can be distributed across computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner.
  • Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a device that electronically processes information using an interpreter, for example, a computer.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be used in a method of learning a machine learning model for analyzing immunohistochemical staining images and a computing system that performs the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Primary Health Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioethics (AREA)
  • Pathology (AREA)
  • Biotechnology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

특정 바이오마커가 발현된 조직을 염색하는 면역조직화학 염색법에 의해 염색된 생체 조직 슬라이드 이미지를 분석하여 바이오마커의 발현 정도 등을 세밀하게 분석하는데 이용되는 기계학습모델을 학습할 수 있고, 학습된 기계학습모델을 이용하여 바이오마커의 발현 정도를 분석하는 등의 병리 검체 이미지에 대한 판단을 수행할 수 있는 방법 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 다양한 염색 강도 기준값에 기초하여 산출되는 다수의 특징 벡터로 면역조직화학 염색 이미지에 상응하는 학습 데이터를 생성하여 기계학습모델을 학습하는 방법 및 시스템이 제공된다.

Description

면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
본 발명은 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다. 보다 상세하게는 특정 바이오마커가 발현된 조직을 염색하는 면역조직화학 염색법에 의해 염색된 생체 조직 슬라이드 이미지를 분석하여 바이오마커의 발현 정도 등을 세밀하게 분석하는데 이용되는 기계학습모델을 학습할 수 있고, 학습된 기계학습모델을 이용하여 바이오마커의 발현 정도를 분석하는 등의 병리 검체 이미지에 대한 판단을 수행할 수 있는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.
현대인의 평균 수명이 증가함에 따라 암 등 중증 질병의 발병률도 같이 증가하는 추세이며, 생체 조직에 특정 바이오마커가 얼마나 발현되어 있는지를 측정하는 것은 암과 같은 중증 질병 환자의 예후 예측이나 치료 방법을 결정하는 데 있어서 매우 중요한 요소이다. 생체 조직의 바이오마커 발현 정도를 측정하는 방법으로 최근에는 차세대 염기서열 분석법(next generation sequencing; NGS) 등이 각광받고 있으나, 여전히 의료기관의 임상 현장에서 주로 사용되는 방법은 면역조직화학(immunohistochemistry; IHC) 염색법으로 염색된 조직 슬라이드를 육안으로 관찰하는 것이다.
면역조직화학 염색법은 특정 바이오마커를 표적으로 하는 항체와 다이아미노벤지딘(diaminobenzidine; DAB) 등의 발색제가 결합한 형태의 염색약을 사용하여 조직을 염색함으로써 해당 바이오마커의 발현 정도를 육안으로 확인할 수 있게 함. 이때, 바이오마커가 발현되지 않은 세포들의 표시를 위해 헤마톡실린(hematoxylin)을 대조염색으로 활용한다.
면역조직화학 염색 조직의 판독은 대체로 염색의 강도와 염색된 조직의 비율을 고려하여 이루어진다. 이때, 염색 강도는 보통 '거의 안 됨', '약함', '중간', '강함' 등 4단계로 구분한다. 조직의 염색 여부는 바이오마커에 따라 세포핵이 일부 염색된 것을 염색된 것으로 인정하는 경우도 있고, 세포막이 모두 염색되어야 염색된 것으로 인정하는 경우도 있다. 대체로 바이오마커의 발현 정도를 측정할 대상 영역(예를 들어, 암 병변)을 결정하고, 암세포 혹은 면역세포 등 실제 바이오마커의 발현을 확인할 대상을 선택하여 판독하는 것이 일반적이다.
한편, 면역조직화학 염색 조직의 판독 규칙은 실제 측정하고자 하는 표적 바이오마커 및 적용 장기/질환에 따라 달라지는데, 이는 바이오마커마다 발현 양상이 다르며, 동일 바이오마커에 대해서도 적용 장기/질환에 따라 발현 수준이 다를 수 있기 때문이다. ER(estrogen receptor), PR(progesterone receptor) 발현 정도를 측정하는 특정 면역조직화학 염색법의 경우, 염색된 조직의 비율(proportion score) 0점에서 5점, 염색 강도(intensity score) 0점에서 3점 둘을 각각 구해서 합산한 총점(total score)을 활용하며, HER2(human epidermal growth factor receptor 2) 발현 정도를 측정하는 특정 면역조직화학 염색법의 경우, 세포막의 염색 강도, 염색 정도 등을 고려하여 염색된 것으로 판정된 암세포의 비율에 따라 0, 1+, 2+, 3+로 점수를 결정한다. 종양 침투 면역세포의 PD-L1의 발현 비율이 1% 이상이면 발현한 것으로 판단하는 경우도 있으며 이때에도 면역세포의 세포막이 적절한 수준 이상의 강도로 염색되어야 한다.
이처럼 염색 강도와 염색된 조직의 비율을 고려하여 면역조직화학 염색 조직을 판독하는 것은 다음과 같은 이유로 매우 어렵고, 판독자 간 일치도가 좋지 않으며, 개별 판독자의 재현성도 좋지 않다. 첫째, 염색 강도를 구분하는 기준이 불분명하며, 특히 약함, 중간 등을 구분하는 경계가 명확하지 않은 경우가 많다. 따라서, 판독자의 컨디션에 따라 판독 결과가 날마다 달라지는 경우가 발생할 수도 있다. 둘째, 조직의 염색 여부를 판정하기 어려운 경우가 다수 존재한다. 특히 염색 강도를 고려하여 염색 여부를 판정하게 되는 경우, 일부는 강하게 일부는 중간 혹은 약하게 염색된 세포막을 가지고 있는 세포를 염색이 된 것으로 볼 것인지 판단하기가 쉽지 않다.
한편, 이미지 분석 기술이 발전함에 따라 의료 영역의 다양한 업무에서 머신러닝 기술을 적용하고 상용화하려는 시도가 진행되고 있다. 병리 진단 분야에서도 병리 전문의가 광학 현미경을 통해 염색된 조직 슬라이드를 고배율에서 검경 및 판독하여 진단을 내리는 기존 방법 대신에 조직 슬라이드를 디지털 슬라이드 스캐너를 통해 고해상도의 디지털 이미지로 변환한 후 컴퓨터 모니터를 통해 병리 전문의가 이미지를 판독하는 방식이 점차 실용화되고 있으며, 나아가 머신러닝 기술을 통해 이미지를 분석한 결과를 병리 전문의가 참조하여 더욱 신속하고 정확한 진단을 내릴 수 있도록 하는 제품들이 등장하고 있다. 생체 조직 슬라이드 전체를 스캔하여 생성된 이미지인 전체 슬라이드 이미지(whole-slide image; 이하 WSI)에 대해 이미지 분석 딥러닝 기술을 적용하여 암을 진단하는 방법은 이미 상용 수준에 도달하였으며, 전립선암 등 일부 암종에 대해서는 국내외에서 의료기기로 허가받은 제품들이 존재한다. 이러한 제품들은 염색된 슬라이드로부터 생성된 WSI들을 분석하여 암 병변의 유무를 판별하거나, 검출된 병변의 위치를 시각화하는 등의 기능을 수행한다.
또한, 최근 디지털 병리학의 발전 및 영상 처리, 기계 학습, 딥러닝 등 컴퓨터 기반 이미지 분석 기술이 크게 발전함에 따라, 면역조직화학 염색 슬라이드를 스캔한 디지털 이미지를 컴퓨터로 분석하여 바이오마커의 발현 정도를 자동으로 계측하는 소프트웨어가 등장하고 지속적으로 고도화되고 있으며, 소프트웨어로 바이오마커의 발현 정도를 자동으로 계측하는 경우, 판독자 간 일치도, 개별 판독자의 재현성 문제는 해결될 수 있다.
다만, 사람이 광학 현미경을 통해 계측 판독하는 환경에 맞춰 개발된 판독 규칙에 따라 소프트웨어가 결과를 내게 되므로 바이오마커 발현 정도의 세밀한 분석은 불가능한 상황이다. 예를 들어, 소프트웨어를 사용하면 염색 강도를 '거의 안 됨', '약함', '중간', '강함'보다 훨씬 상세하게 구분할 수 있을뿐더러 각 세포의 염색 수준 또한 정량적으로 판단할 수 있는데, 현재 체계에서는 그런 분석이 불가능하다. 따라서, 바이오마커 발현 정도에 따른 환자의 치료 방법 결정이 좀 더 정밀해지기 위해서는 바이오마커 발현 정도의 세밀한 분석을 할 수 있는 새로운 해석 방법이 필요하다. 또한 이를 기계학습모델을 학습하는데 응용하여 바이오마커의 발현 정도 등을 세밀하게 분석하는데 이용되는 기계학습모델을 학습하고 이를 통해 바이오마커의 발현 정도를 분석하는 등의 병리 검체 이미지에 대한 판단을 수행할 수 있는 기술적 사상이 요구된다.
본 발명이 이루고자 하는 기술적인 과제는 기계학습을 이용하여 면역조직화학 염색 조직 슬라이드를 분석하여 바이오마커의 발현 정도를 세밀하게 분석할 수 있는 방법 및 시스템을 제공하는 것이다. 또한 바이오마커의 발현 정도 등을 세밀하게 분석하는데 이용되는 기계학습모델을 학습하고 이를 통해 바이오마커의 발현 정도를 분석하는 등 다양한 병리 검체 이미지에 대한 판단을 수행할 수 있는 방법 및 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, 기계학습모델을 학습하는 방법으로서, 기계학습모델 학습 시스템이, M개의 개별 학습 데이터(여기서, M은 2 이상의 자연수)를 포함하는 학습 데이터 세트를 생성하는 단계; 및 상기 기계학습모델 학습 시스템이, 상기 학습 데이터 세트에 기초하여 상기 기계학습모델을 학습하는 단계를 포함하되, 상기 M개의 개별 학습 데이터를 포함하는 학습 데이터 세트를 생성하는 단계는, 1<=m<=M인 모든 정수 m에 대하여, 상기 학습 데이터 세트에 포함될 제m학습 데이터를 생성하는 단계를 포함하고, 상기 제m학습 데이터를 생성하는 단계는, 제m면역조직화학 염색 이미지를 획득하는 단계-여기서, 상기 제m면역조직화학 염색 이미지는 소정의 표적 바이오 마커를 염색하기 위한 면역조직화학(immunohistochemistry; IHC) 염색법에 의해 염색된 면역조직화학 염색 조직에 해당하는 영역을 포함함; 상기 제m면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출하는 단계; 1<=n<=N인 모든 정수 n에 대하여(여기서, N은 2 이상의 정수임), 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계; 및 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계를 포함하되, 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는, 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 제m면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성하는 단계-여기서, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지임- 및 상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하는 기계학습모델 학습 방법이 제공된다.
일 실시예에서, 1<=i<=(N-1)인 모든 정수 i에 대하여, 제i염색 강도 기준값은 제(i+1)염색 강도 기준값 보다 작을 수 있다.
일 실시예에서, 제m면역조직화학 염색 이미지를 획득하는 단계는, 면역조직화학 염색 시약과 대조 염색 시약을 혼합한 염색제로 염색한 병리 슬라이드를 스캔한 제m원본 병리 이미지를 획득하는 단계; 및 상기 제m원본 병리 이미지로부터 상기 면역조직화학 염색 시약에 의해 염색된 면역조직화학 염색 부분과 상기 대조 염색 시약에 의해 염색된 대조 염색 부분을 분리하여, 상기 제m원본 병리 이미지에 상응하는 제m면역조직화학 염색 이미지 및 상기 제m원본 병리 이미지에 상응하는 제m대조 염색 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는, 상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지와 제m대조 염색 이미지에 기초하여 산출되는 적어도 하나의 산출 값 각각이 벡터의 성분인 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하되, 상기 적어도 하나의 산출 값은, 염색된 세포 조직의 비율, 세포막이 염색된 세포의 비율 및 세포핵이 염색된 세포의 비율 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계는, 제1염색 강도 기준 값과 제1특징 벡터의 쌍 내지 제N염색 강도 기준 값과 제N특징벡터의 쌍으로 구성되며, HER2(human epidermal growth factor receptor 2) 발현 점수가 라벨링된 상기 제m학습 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계는, 제1염색 강도 기준 값과 제1특징 벡터 차이 값의 쌍 내지 제(N-1)염색 강도 기준 값과 제(N-1)특징 벡터 차이 값의 쌍으로 구성되며, ER(estrogen receptor) 또는 PR(progesterone receptor) 발현 점수가 라벨링된 상기 제m학습 데이터를 생성하는 단계를 포함하되, 1<=i<=(N-1)인 모든 정수 i에 대하여, 제i특징 벡터 차이 값은 제(i+1)특징 벡터와 제i특징 벡터의 차이 값일 수 있다.
본 발명의 다른 일 측면에 따르면, 제1항에 기재된 기계학습모델 학습 방법에 의해 학습된 기계학습모델을 통해 소정의 판단 대상 병리 검체에 대한 판단 결과를 제공하는 방법으로서, 컴퓨팅 시스템이, 판단 대상 면역조직화학 염색 이미지를 획득하는 단계-여기서, 상기 판단 대상 면역조직화학 염색 이미지는 상기 면역조직화학 염색법에 의해 염색된 상기 판단 대상 병리 검체의 면역조직화학 염색 조직에 해당하는 영역을 포함함; 상기 컴퓨팅 시스템이, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출하는 단계; 상기 컴퓨팅 시스템이, 1<=n<=N인 모든 정수 n에 대하여, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계; 및 상기 컴퓨팅 시스템이, 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 판단 대상 면역 조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 입력 데이터를 생성하는 단계; 상기 컴퓨팅 시스템이, 상기 기계학습모델이 상기 입력 데이터에 기초하여 판단한 상기 판단 대상 병리 검체에 대한 판단 결과를 출력하는 단계를 포함하되, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 판단 대상 면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성하는 단계-여기서, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지임- 및 상기 판단 대상 면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 기계학습모델 학습 시스템으로서, 프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 기계학습모델을 학습하는 방법을 수행하도록 하며, 상기 기계학습모델 학습 방법은, 상기 기계학습모델 학습 시스템이, M개의 개별 학습 데이터(여기서, M은 2 이상의 자연수)를 포함하는 학습 데이터 세트를 생성하는 단계; 및 상기 기계학습모델 학습 시스템이, 상기 학습 데이터 세트에 기초하여 상기 기계학습모델을 학습하는 단계를 포함하되, 상기 M개의 개별 학습 데이터를 포함하는 학습 데이터 세트를 생성하는 단계는, 1<=m<=M인 모든 정수 m에 대하여, 상기 학습 데이터 세트에 포함될 제m학습 데이터를 생성하는 단계를 포함하고, 상기 제m학습 데이터를 생성하는 단계는, 제m면역조직화학 염색 이미지를 획득하는 단계-여기서, 상기 제m면역조직화학 염색 이미지는 소정의 표적 바이오 마커를 염색하기 위한 면역조직화학(immunohistochemistry; IHC) 염색법에 의해 염색된 면역조직화학 염색 조직에 해당하는 영역을 포함함; 상기 제m면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출하는 단계; 1<=n<=N인 모든 정수 n에 대하여(여기서, N은 2 이상의 정수임), 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계; 및 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계를 포함하되, 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는, 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 제m면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성하는 단계-여기서, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지임- 및 상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하는 기계학습모델 학습 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 병리 검체에 대한 판단 결과 제공 시스템으로서, 프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 판단 결과 제공 시스템으로 하여금 제1항에 기재된 기계학습모델 학습 방법에 의해 학습된 기계학습모델을 통해 소정의 판단 대상 병리 검체에 대한 판단 결과를 제공하는 방법을 수행하도록 하며, 상기 판단 결과를 제공하는 방법은, 상기 판단 결과 제공 시스템이, 판단 대상 면역조직화학 염색 이미지를 획득하는 단계-여기서, 상기 판단 대상 면역조직화학 염색 이미지는 상기 면역조직화학 염색법에 의해 염색된 상기 판단 대상 병리 검체의 면역조직화학 염색 조직에 해당하는 영역을 포함함; 상기 판단 결과 제공 시스템이, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출하는 단계; 상기 판단 결과 제공 시스템이, 1<=n<=N인 모든 정수 n에 대하여, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계; 및 상기 판단 결과 제공 시스템이, 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 판단 대상 면역 조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 입력 데이터를 생성하는 단계; 상기 판단 결과 제공 시스템이, 상기 기계학습모델이 상기 입력 데이터에 기초하여 판단한 상기 판단 대상 병리 검체에 대한 판단 결과를 출력하는 단계를 포함하되, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 판단 대상 면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성하는 단계-여기서, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지임- 및 상기 판단 대상 면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하는 방법이 제공된다.
본 발명의 기술적 사상에 의하면, 딥러닝을 이용하여 면역조직화학 염색 조직 슬라이드를 분석하여 바이오마커의 발현 정도를 세밀하게 분석할 수 있는 방법 및 시스템을 제공할 수 있다. 즉, 바이오마커의 발현 정도 등을 세밀하게 분석하는데 이용되는 기계학습모델을 학습하고 이를 통해 바이오마커의 발현 정도를 분석하는 등 다양한 병리 검체 이미지에 대한 판단을 수행할 수 있는 방법 및 시스템을 제공할 수 있다.
본 발명의 기술적 사상에 따른 기계학습모델 학습 방법은 하나의 면역조직화학 염색 이미지에 서로 다른 여러 개의 염색 강도 기준 값을 적용하고 이를 통해 도출된 값으로 학습 데이터를 구성하는 특징이 있으며, 이를 통해 바이오마커의 발현 정도를 세밀하게 분석할 수 있는 기계학습모델을 구축할 수 있게 되는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 기계학습모델 학습 방법 및 병리 검체에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 기계학습모델 학습 방법을 설명하기 위한 흐름도이다.
도 3a는 면역조직화학 염색 시약과 대조 염색 시약을 혼합한 염색제로 염색한 병리 이미지를 도시하고 있으며, 도 3b는 도 3a에서 면역조직화학 염색 색상을 추출한 면역조직화학 염색 이미지를 도시한 도면이다.
도 4는 도 2의 S140 단계의 일 예를 보다 구체적으로 도시한 도면이다.
도 5는 염색 강도 기준 값이 커짐에 따라 이진화 이미지가 변화하는 결과를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 병리 검체에 대한 판단 결과 제공 방법의 일 예를 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 기계학습모델 학습 시스템의 개략적인 구성을 도시한 도면이며, 도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템의 개략적인 구성을 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 제1, 제2 등의 용어는 특별한 순서를 나타내는 것이 아니며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 기계학습모델 학습 방법 및 병리 검체에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 기계학습모델 학습 방법은 기계학습모델 학습 시스템(100; 이하, '학습 시스템'이라고도 함)에 의해 수행될 수 있으며, 본 발명의 일 실시예에 따른 병리 검체에 대한 판단 결과 제공 방법은 병리 검체에 대한 판단 결과 제공 시스템(200; 이하, '판단 결과 제공 시스템'이라고도 함)에 의해 수행될 수 있다.
상기 학습 시스템(100)은 면역조직화학 염색법에 의해 염색된 조직(예를 들어, 세포막이나 세포핵 등)의 염색 강도로부터 도출되는 소정의 형식의 데이터를 입력받아 소정의 바이오 마커의 발현 정도, 병리 검체에 포함된 병변 검출, 병리 검체에 대한 진단 정보 출력, 또는 예후 정보 및/또는 치료 방법에 대한 반응 정보를 제공하기 위한 기계학습모델(300)을 학습할 수 있으며, 상기 판단 결과 제공 시스템(200)은 학습된 기계학습모델(300)을 이용하여 대상 검체에 대한 각종 판단(예를 들어, 소정의 바이오 마커의 발현 정도 판단, 병변 검출, 질병 발현 유무, 예후, 치료 방법에 대한 판단 등)을 할 수 있다.
상기 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 상기 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 학습 시스템(100)은 다수의 면역조직화학 염색 이미지로부터 생성된 학습 데이터에 기반하여 상기 기계학습모델(300)을 학습할 수 있다.
면역조직화학 염색 이미지는 병리 검체의 슬라이드를 소정의 면역조직화학 염색법에 의해 염색한 이미지 혹은 그 일부일 수 있다. 병리 검체는 인체의 각종 장기에서 채취한 생검 및 수술로 절제된 생체 조직일 수 있다. 한편 면역조직화학 염색 이미지는 병리 검체의 슬라이드를 면역조직화학 염색 시약에 의해 염색한 조직 슬라이드 이미지 혹은 면역조직화학 염색 시약과 대조 염색 시약을 혼합한 염색제로 염색한 조직 슬라이드 이미지일 수 있다. 이때, 면역조직화학 염색 시약은 특정 바이오마커를 표적으로 하는 항체와 다이아미노벤지딘(diaminobenzidine; DAB) 등의 발색제가 결합한 형태의 염색제일 수 있으며, 대조 염색 시약은 헤마톡실린(Hematoxylin) 염색 시약(이하, 'H 시약' 이라고 함)일 수 있다.
한편, 면역조직화학 염색 이미지는 염색된 병리 검체의 디지털 슬라이드 이미지 혹은 디지털 슬라이드 이미지의 일부일 수 있다. 병리 검체의 슬라이드는 병리 검체를 슬라이스한 일부일 수 있다. 병리 검체의 디지털 슬라이드 이미지는 병리 검체를 슬라이스하여 유리 슬라이드를 제작한 후 이를 소정의 염색제로 염색하고 디지털화함으로써 생성될 수 있다. 즉, 상기 면역조직화학 염색 이미지는, 병리 검체를 슬라이드로 제작하여 소정의 염색제(예를 들어, 면역조직화학 염색제 혹은 면역조직화학 염색과 대조 염색 시약을 혼합한 염색제)로 염색한 병리 슬라이드 이미지 혹은 염색한 병리 슬라이드 이미지를 소정의 크기로 분할한 이미지일 수 있다.
상기 학습 시스템(100)은 병리 검체의 디지털 병리 이미지를 이용하여 개별 학습 데이터를 생성하고, 이를 상기 기계학습모델(300)의 입력 레이어에 입력하여 상기 기계학습모델(300)을 학습할 수 있다. 상기 학습 시스템(100)이 학습 데이터를 생성하는 과정은 후술하기로 한다.
상기 기계학습모델(300)은 인공 뉴럴 네트워크 혹은 딥 뉴럴 네트워크일 수 있으나 이에 한정되는 것은 아니며 학습 데이터를 통해 훈련될 수 있는 다양한 모델을 포함할 수 있다. 예를 들어 상기 기계학습모델(300)은 서포트 벡터 머신(support vector machine), 랜덤 포레스트(random forest), 그라디언트 부스팅 트리(gradient-boosting tree) 혹은 이들의 앙상블 모델일 수도 있다.
또한 상기 기계학습모델의 학습은 지도학습일 수 있다. 예를 들어, 상기 기계학습모델(300)이 딥 뉴럴 네트워크인 경우, 상기 기계학습모델(300)의 학습은 학습 데이터를 입력받는 기계학습모델이 출력한 예측 값과 상기 학습 데이터에 라벨링된 실제 값의 차이인 손실 값이 최소화되도록 상기 기계학습모델(300)의 가중치를 업데이트하는 역전파 방법(back propagation)으로 수행될 수 있으며, 이때, 경사하강법(back propagation) 등의 기법이 이용될 수 있다. 기계학습모델의 학습 과정의 자세한 내용은 본 발명이 출원된 시점에서 널리 알려진 내용이므로 보다 상세한 설명은 생략하기로 한다.
상기 기계학습모델(300)는 특정한 바이오마커의 발현 정도에 대한 확률 값을 출력하도록 학습된 기계학습모델일 수 있다. 예를 들어, 상기 기계학습모델(300)는 HER2(human epidermal growth factor receptor 2) 발현 정도, ER(estrogen receptor) 및/또는 PR(progesterone receptor) 발현 정도를 나타내는 값을 출력할 수 있다. 그러나 본 발명의 기술적 사상이 이에 한정되는 것인 아니며, 대상 검체에 대한 판단 결과(예를 들어, 질병의 발현여부의 가능성)를 나타내는 수치 값 즉, 확률 값을 출력할 수 있으며, 학습데이터에 태깅된 라벨에 의해 그 출력 값이 달라질 수 있다. 실시예예 따라, 상기 기계학습모델(300)는 소정의 질병에 대해 질병의 발현 여부, 치료 방법 또는 특정 치료 방법에 의한 효과 등에 대한 확률 값을 출력하도록 학습된 기계학습모델일 수 있다.
일 실시예에서 상기 기계학습모델(300)는 패치 레벨 클래시피케이션 뉴럴 네트워크일 수 있다. 패치 레벨 클레시피케이션 뉴럴 네트워크는 패치 단위의 이미지를 입력받아 해당 패치를 분류하기 위한 값을 출력하는 뉴럴 네트워크일 수 있다. 다른 일 실시예에서, 상기 기계학습모델(300)는 픽셀 레벨 클래시피케이션 뉴럴 네트워크일 수 있다. 픽셀 레벨 클래시피케이션 뉴럴 네트워크는 이미지에 포함된 각 픽셀 별로 해당 픽셀을 분류하기 위한 값을 출력하는 뉴럴 네트워크일 수 있다.
본 명세서에서 인공 뉴럴 네트워크는 인간의 뉴런의 동작 원리에 기초하여 인공적으로 구축한 기계학습모델로서, 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 일 실시예에서, 상기 기계학습모델(300)는 컨볼루셔널 뉴럴 네트워크이거나 혹은 컨볼루셔널 뉴럴 네트워크를 포함할 수 있다.
한편, 학습된 기계학습모델(300)는 상기 판단 결과 제공 시스템(200)에 저장될 수 있으며, 상기 판단 결과 제공 시스템(200) 학습된 기계학습모델을 이용하여 소정의 진단 대상 검체에 대한 판단을 할 수 있다.
도 1에 도시된 바와 같이, 상기 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 소정의 모(母) 시스템(10)의 서브 시스템의 형태로 구현될 수도 있다. 상기 모 시스템(10)은 서버일 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또는 실시예에 따라, 상기 학습 시스템(100) 및 상기 판단 결과 제공 시스템(200)은 서로 분리된 형태로 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 기계학습모델 학습 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 학습 시스템(100)은 M개의 개별 학습 데이터(여기서, M은 2 이상의 자연수)를 포함하는 학습 데이터 세트를 생성할 수 있다. 이를 위하여 상기 학습 시스템(100)은, 1<=m<=M인 모든 정수 m에 대하여, 상기 학습 데이터 세트에 포함될 제m학습 데이터를 생성할 수 있다(S100).
학습 데이터를 생성하기 위하여, 상기 학습 시스템(100)은 제m면역조직화학 염색 이미지를 획득할 수 있다(S110). 여기서, 상기 제m면역조직화학 염색 이미지는 소정의 표적 바이오 마커를 염색하기 위한 면역조직화학(immunohistochemistry; IHC) 염색법에 의해 염색된 면역조직화학 염색 조직에 해당하는 영역을 포함할 수 있다.
일 실시예에서, 상기 제m면역조직화학 염색 이미지는 다이아미노벤지딘(diaminobenzidine; DAB) 시약으로 염색된 병리 슬라이드 이미지(혹은 패치)일 수 있다.
실시예에 따라, 상기 학습 시스템(100)은 면역조직화학 염색 시약(예를 들어, DAB 시약)과 대조 염색 시약(예를 들어 H 시약)을 혼합한 염색제로 염색한 병리 슬라이드를 스캔한 제m원본 병리 이미지를 획득할 수 있으며, 상기 제m원본 병리 이미지로부터 상기 면역조직화학 염색 시약에 의해 염색된 면역조직화학 염색 부분과 상기 대조 염색 시약에 의해 염색된 대조 염색 부분을 분리하여, 상기 제m원본 병리 이미지에 상응하는 제m면역조직화학 염색 이미지 및 상기 제m원본 병리 이미지에 상응하는 제m대조 염색 이미지를 생성할 수 있다.
면역조직화학 염색 시약(예를 들어, DAB 시약)과 대조 염색 시약(예를 들어 H 시약)을 혼합한 염색제로 염색한 원본 병리 이미지로부터 면역조직화학 염색 부분과 대조 염색 부분을 분리하는 방법은 다양할 수 있으며, 일 예로 컬러 디컨볼루션(color deconvolution)을 이용하는 방법(Quantification of histochemical staining by color deconvolution; Anal Quant Cytol Histol 23: 291-299, 2001.)이 있다. 본 방법은, 개략적으로, 원본 병리 이미지를 표현하는 색 공간에서의 각 채널 별 신호 강도를 광학 밀도로 변환하고, 이후 상기 광학 밀도를 소정의 연관 공식(이는 실험에 의해 결정됨)에 따라 염색 강도로 변환하고, 특정 염색 강도 보다 큰지 작은지 여부에 따라 면역조직화학 염색 부분과 대조 염색 부분을 분리하는 방법이다.
일 실시예에서, 상기 학습 시스템(100)은 외부의 단말로부터 소정의 병리 검체에 상응하는 제m면역조직화학 염색 이미지 혹은 제m원본 병리 이미지를 수신할 수 있으며, 다른 실시예에서, 상기 학습 시스템(100)은 병리 검체에 상응하는 제m면역조직화학 염색 이미지 혹은 제m원본 병리 이미지를 미리 저장하고 있는 메모리 장치로부터 획득할 수도 있다.
도 3a는 면역조직화학 염색 시약과 대조 염색 시약을 혼합한 염색제로 염색한 병리 이미지를 도시하고 있으며, 도 3b는 도 3a에서 면역조직화학 염색 색상을 추출한 면역조직화학 염색 이미지를 도시한 도면이다.
한편, 제m면역조직화학 염색 이미지 혹은 제m원본 병리 이미지에는 소정의 정보가 라벨링되어 있을 수 있으며, 상기 기계학습모델(300)는 지도학습방법에 의해 학습될 수 있다. 라벨링된 정보는 상기 기계학습모델(300)의 목적에 따라 다를 수 있다. 예를 들어 상기 제m면역조직화학 염색 이미지 혹은 제m원본 병리 이미지에 라벨링된 정보는 HER2의 발현 정도, 면역조직화학 염색 부분의 비율 점수(proportion score및/또는 염색 강도 점수(intensity score) 또는 ER, PR 발현 정도 점수일 수 있으나 본 발명의 기술적 사상이 이에 한정되는 것은 아니다. 실시예에 따라 본 발명은 기존에 존재하지 않았던 새로운 바이오마커 발현 정도 판독 규칙을 생성하는 용도로 사용될 수도 있다. 특히, 선형 회귀나 로지스틱 회귀 및 기타 기계 학습 모델을 활용하여 나온 출력 값과 실제 치료 효과 사이의 관련성이 높아지도록 학습하는 방식을 사용하면, 해당 치료 방법의 결정에 매우 유효한 바이오마커 발현 정도 판독 규칙을 새로 발굴할 수도 있다.
한편, 상기 학습 시스템(100)은 제m면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출할 수 있다(S120). 일 실시예에서, 상기 학습 시스템(100)은 상술한 컬러 디컨볼루션 방법에서 결정되는 광학밀도로부터 변환된 각 픽셀의 염색 강도를 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도로서 산출할 수 있다. 또는 상기 학습 시스템(100)은 상기 제m면역조직화학 염색 이미지를 흑백 이미지로 변환하고 변환된 흑백 이미지의 명도를 이용하여 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도를 산출할 수도 있다.
이후 상기 학습 시스템(100)은 N개의 서로 다른 다수의 특징 벡터를 생성할 수 있다(S130). 보다 상세하게는 상기 학습 시스템(100)은, 1<=n<=N인 모든 정수 n에 대하여(여기서, N은 2 이상의 정수임), 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성할 수 있다(S140). 이때, 1<=i<=(N-1)인 모든 정수 i에 대하여, 제i염색 강도 기준값은 제(i+1)염색 강도 기준값 보다 작을 수 있다. 이때 염색 강도 기준값들은 서로 같지 않으며, 1 <= i < j <= N라고 할 때, 기준값 t_i < t_j 를 만족할 수 있다. 즉, N개의 염색 강도 기준값은 갈수로 점점 커지는 값일 수 있다. 한편, 염색 강도 기준값들은 다양한 염색 강도를 포함하도록 이미지 데이터를 구축하고 구축된 데이터에서 측정되는 염색 강도 값들의 분포를 고려하여 결정될 수 있으며, 이외의 다른 방법으로 결정될 수도 있다.
한편, 위의 벡터 생성 방식은 상기 제m면역조직화학 염색 이미지에 대해 하나 이상의 염색 강도 기준값들을 적용하고 해당 기준값을 넘는 염색 강도를 갖는 부분은 염색된 것으로 판정하여 각 기준값에 대응되는 이진화된 이미지를 생성하는 방식으로 구현될 수 있는데, 그 구체적인 방법이 도 4에 도시되어 있다. 도 4는 도 2의 S140 단계의 일 예를 보다 구체적으로 도시한 도면이다.
도 4를 참조하면, 상기 학습 시스템(100)은 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 제m면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성할 수 있다(S141). 이때, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지이다. 예를 들어, 상기 학습 시스템(100)은 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 픽셀의 값을 1로 할당하고, 제n염색 강도 기준값 보다 작은 염색 강도를 가지는 픽셀의 값을 0으로 할당하여 이진화 이미지를 생성할 수 있다.
도 5는 염색 강도 기준 값이 커짐에 따라 이진화 이미지가 변화하는 결과를 도시한 도면이다. 도 5(a)는 면역조직화학 염색 이미지를 나타내며, 도 5(b) 내지 도 5(h)는 각각 제1염색 강도 기준값 내지 제7염색 강도 기준값에 상응하는 이진화 이미지를 나타내고 있는데, 염색 강도 기준값이 점점 커짐에 따라 이진화 이미지가 달라지는 것을 볼 수 있다.
다시 도 4를 참조하면, 상기 학습 시스템(100)은 상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성할 수 있다(S142). 특징 벡터는 1 또는 2 이상의 성분으로 구성될 수 있다. 특징 벡터가 이진화 이미지에 기초하여 생성된다고 함은 특징 벡터가 결정되는 주요한 요소 중 하나가 이진화 이미지라는 것을 의미하며, 특징 벡터를 생성하는 과정에서 이진화 이미지 외에도 다른 요소가 추가로 더 이용될 수 있음은 물론이다.
일 실시예에서, 상기 학습 시스템(100)은 상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지와 제m대조 염색 이미지에 기초하여 산출되는 적어도 하나의 산출 값 각각이 벡터의 성분인 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성할 수 있다. 이때, 상기 적어도 하나의 산출 값은, 염색된 세포 조직의 비율, 세포막이 염색된 세포의 비율 및 세포핵이 염색된 세포의 비율 중 적어도 하나를 포함할 수 있으며, 세포막이 염색된 세포의 비율은 세포막이 완전히 염색된 세포의 비율과 세포막의 일부가 염색된 세포의 비율을 포함할 수 있다.
예를 들어, 상기 학습 시스템(100)은 제n이진화 이미지에서 '1'의 값을 가지는 픽셀(즉, 제n염색 강도 기준 값보다 큰 염색 강도를 가지는 픽셀)의 면적과 제m대조 염색 이미지에서 염색된 픽셀의 면적의 비율을 계산하여 염색된 세포 조직의 비율을 산출하고 이를 제n특징 벡터의 성분 중 하나로 결정할 수 있다. 또는 상기 학습 시스템(100)은 제n이진화 이미지에서 '1'의 값을 가지는 픽셀(즉, 제n염색 강도 기준 값보다 큰 염색 강도를 가지는 픽셀)에 의해 결정되는 닫힌 영역을 판단할 수 있으며, 닫힌 영역이 차지하는 면적과 제m대조 염색 이미지에서 염색된 픽셀의 면적의 비율을 계산하여 세포막이 염색된 세포의 비율을 산출하고 이를 제n특징 벡터의 성분 중 하나로 결정할 수 있다. 또는 상기 학습 시스템(100)은 제n이진화 이미지에서 '1'의 값을 가지는 픽셀(즉, 제n염색 강도 기준 값보다 큰 염색 강도를 가지는 픽셀)에 의해 결정되는 닫힌 영역을 판단할 수 있으며, 각각의 닫힌 영역의 외곽선 중에서 제n이진화 이미지에서 '1'의 값을 가지는 픽셀이 차지하는 비율이 일정한 크기 이상인 외곽선에 의해 둘러 쌓인 세포의 면적에 기반하여 세포막이 완전히 염색된 세포의 비율을 산출하고 이를 제n특징 벡터의 성분 중 하나로 결정할 수도 있다. 이 외에도 다양한 방법으로 특징 벡터의 성분이 결정될 수 있다.
다시 도 2를 참조하면, 상기 학습 시스템(100)은 상기 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성할 수 있다(S150).
일 실시예에서, 상기 제m학습 데이터는 제1염색 강도 기준 값과 제1특징 벡터의 쌍 내지 제N염색 강도 기준 값과 제N특징벡터의 쌍으로 구성될 수 있다. 예를 들어, 상기 제m학습 데이터는 [<t_1, F_1>, <t_2, F_2>, …, <t_N, F_N>]일 수 있다(t_i는 제i염색 강도 기준 값이며, F_i는 제m면역조직화학 염색 이미지의 제i특징 벡터임).
또는 다른 일 실시예에서, 상기 제m학습 데이터는 제1염색 강도 기준 값과 제1특징 벡터 차이 값의 쌍 내지 제(N-1)염색 강도 기준 값과 제(N-1)특징 벡터 차이 값의 쌍으로 구성될 수 있다. 예를 들어, 제m학습 데이터는 [<t_1, F_2-F1>, <t_2, F_3-F_2>, …, <t_(N-1), F_N-F_(N-1)>]일 수 있다.
한편, 각각의 학습 데이터에는 바이오마커의 발현 정도 판독 규칙을 나타내는 값이 라벨링될 수 있다. 각각의 학습 데이터에 라벨링되는 값들은 제m면역조직화학 염색 이미지 혹은 제m면역조직화학 염색 이미지 혹은 제m원본 병리 이미지에 미리 태깅된 정보 혹은 그러한 정보로부터 파생되는 정보일 수 있다.
예를 들어, 각각의 학습 데이터에는 HER2의 발현 정도 점수, ER(estrogen receptor), PR(progesterone receptor) 발현 점수, 염색된 조직의 비율(proportion score) 및/또는 염색 강도(intensity score)가 라벨링될 수 있다. 다만 앞서 열거한 라벨은 예시에 불과하며, 한편, 상기 제m학습 데이터에 상응하는 병리 검체에 대한 진단 정보, 예후 정보, 및/또는 특정 치료 방법에 대한 반응 정보가 존재하는 경우, 상기 학습 시스템(100)은 이를 학습 데이터의 레이블로 설정할 수 있다. 또한 기존에 존재하지 않았던 새로운 바이오마커 발현 정도 판독 규칙을 표현하는 다양한 값이 라벨링될 수도 있다. 예를 들어, 치료 효과나 수술 후 기대 여명 등의 값이 라벨링될 수도 있으며, 선형 회귀나 로지스틱 회귀 및 기타 기계 학습 모델을 활용하여 나온 출력 값과 실제 치료 효과 사이의 관련성이 높아지도록 설계된 소정의 값이 라벨링될 수도 있다.
위와 같은 방법을 통해 M개의 개별 학습 데이터를 포함하는 학습 데이터 세트가 생성되면, 상기 학습 시스템(100)은 생성된 학습 데이터 세트를 상기 기계학습모델(300)의 입력 레이어로 입력하여 상기 기계학습모델(300)을 학습할 수 있다(도 2의 S160). 정답 정보가 태깅되어 있는 학습 데이터를 기계학습모델(300)에 입력하여 경사 하강법 및 역전파 등의 방법을 통해 상기 기계학습모델(300)을 학습하는 딥러닝 기법 등의 기계학습과정은 널리 알려져 있으므로 상세한 설명은 생략하기로 한다.
앞서 살펴본 바와 같이, 이와 같은 본 발명의 기술적 사상에 따른 기계학습모델 학습 방법은 하나의 면역조직화학 염색 이미지에 서로 다른 여러 개의 염색 강도 기준 값을 적용하고 이를 통해 도출된 값으로 학습 데이터를 구성하는 특징이 있으며, 이를 통해 바이오마커의 발현 정도를 세밀하게 분석할 수 있는 기계학습모델을 구축할 수 있게 되는 효과가 있다.
상술한 바와 같이 학습 데이터를 구성하여 기계학습모델을 학습하는 방법은 다양하게 응용될 수 있다. 일 실시예에서, 위 학습 방법은 서로 다른 다수의 염색 강도 기준 값 t_i에 대해 암세포 중 세포막이 완전히 염색된 세포의 비율을 포함하는 특징 벡터 F_i를 추출하여 생성된 [<t_i, F_i>] 에 기초한 값들을 입력받고, HER2의 발현 정도 점수를 출력하는 기계 학습 모델을 학습하고, 학습된 모델을 통해 HER2의 발현 정도를 판단하는데 사용될 수 있다.
또는 서로 다른 다수의 염색 강도 기준 값 t_i에 대해 세포핵이 염색된 세포의 비율을 포함하는 특징 벡터 F_i를 추출하여 생성된 [<t_i, F_i>] 로부터 유도 가능한 [( t_i, F_(i+1) - F_i )] 에 기초한 값들을 입력받고, proportion score와 intensity score를 출력으로 하는 기계 학습 모델을 학습하고, 학습된 모델을 실제로 proportion score와 intensity score를 판단하는데 사용될 수도 있다.
또한 기존에 존재하지 않았던 새로운 바이오마커 발현 정도 판독 규칙을 생성하는 용도로 사용될 수도 있다. 특히, 선형 회귀나 로지스틱 회귀 및 기타 기계 학습 모델을 활용하여 나온 출력 값과 실제 치료 효과 사이의 관련성이 높아지도록 학습하는 방식을 사용하면, 해당 치료 방법의 결정에 매우 유효한 바이오마커 발현 정도 판독 규칙을 새로 발굴할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 병리 검체에 대한 판단 결과 제공 방법의 일 예를 도시한 흐름도이다. 도 6에 따른 병리 검체에 대한 판단 결과 제공 방법은 판단 결과 제공 시스템(200)에 의하여 수행될 수 있으며, 상기 판단 결과 제공 시스템(200)은 상기 학습 시스템(100)에 의해 학습된 기계학습모델(300)가 저장되어 있을 수 있다.
도 6을 참조하면, 상기 판단 결과 제공 시스템(200)은 소정의 판단 대상 병리 검체의 판단 대상 면역조직화 이미지를 획득할 수 있다(S210). 이때, 상기 판단 대상 면역조직화학 염색 이미지는 상기 면역조직화학 염색법에 의해 염색된 상기 판단 대상 병리 검체의 면역조직화학 염색 조직에 해당하는 영역을 포함할 수 있다.
상기 판단 결과 제공 시스템(200)은 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출할 수 있으며(S220), 판단 대상 면역조직화 이미지로부터 제1특징 벡터 내지 제N특징 벡터를 생성할 수 있으며(S230, S240), 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 입력 데이터를 생성할 수 있다(S250). 상기 판단 대상 검체의 면역조직화 이미지에 상응하는 입력 데이터를 생성하는 과정은 앞서 설명한 과정과 매우 유사하므로 별도의 설명은 생략하기로 한다.
상기 판단 결과 제공 시스템(200)은 상기 기계학습모델(300)에 입력 데이터를 입력하고, 상기 기계학습모델이 출력한 결과를 출력하거나 상기 기계학습모델이 출력한 결과에 기초하여 상기 판단 대상 병리 검체에 대한 판단 결과를 출력할 수 있다(S260).
도 7은 본 발명의 일 실시예에 따른 기계학습모델 학습 시스템(100)의 개략적인 구성을 도시한 도면이며, 도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템(200)의 개략적인 구성을 도시한 도면이다.
상기 기계학습모델 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 기계학습모델 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 기계학습모델 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 기계학습모델 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 각 구성은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 기계학습모델 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 구성 요소 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 7을 참조하면, 상기 기계학습모델 학습 시스템(100)은 저장모듈(110), 획득모듈(120), 생성모듈(130) 및 학습모듈(140)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 기계학습모델 학습 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 기계학습모델 학습 시스템(100)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 기계학습모델 학습 시스템(100)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(110)은 학습될 기계학습모델(300)을 저장할 수 있다.
상기 획득모듈(120)은 소정의 표적 바이오 마커를 염색하기 위한 면역조직화학 염색법에 의해 염색된 면역조직화학 염색 조직에 해당하는 영역을 포함하는 M개의 면역조직화학 염색 이미지를 획득할 수 있다. 일 실시예에서, 상기 획득모듈은 면역조직화학 염색 시약과 대조 염색 시약을 혼합한 염색제로 염색한 병리 슬라이드를 스캔한 원본 병리 이미지를 획득하고, 원본 병리 이미지로부터 상기 면역조직화학 염색 시약에 의해 염색된 면역조직화학 염색 부분과 상기 대조 염색 시약에 의해 염색된 대조 염색 부분을 분리하여, 상기 원본 병리 이미지에 상응하는 면역조직화학 염색 이미지 및 상기 원본 병리 이미지에 상응하는 대조 염색 이미지를 생성할 수 있다.
상기 생성모듈(130)은 각각의 면역조직화학 염색 이미지와 소정의 염색 강도 기준 값들에 기초하여 개별 학습 데이터를 생성할 수 있으며, 복수의 개별 학습 데이터를 포함하는 학습 데이터 세트를 구성할 수 있다. 상기 생성모듈(130)이 생성하는 개별 학습 데이터는 바이오마커의 발현 정도를 표현하는 벡터일 수 있다.
상기 학습모듈(140)은 상기 학습 데이터 세트에 기초하여 상기 기계학습모델(300)을 학습할 수 있다.
도 8을 참조하면, 상기 판단 결과 제공 시스템(200)은 저장모듈(210), 획득모듈(220), 생성모듈(230) 및 판단모듈(240)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 판단 결과 제공 시스템(200) 은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 판단 결과 제공 시스템(200)은 상기 3축 진동 센서(20)와 통신하기 위한 통신모듈(미도시), 상기 판단 결과 제공 시스템(200)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(210)은 학습된 기계학습모델(300)을 저장할 수 있다.
상기 획득모듈(220)은 판단 대상 면역조직화학 염색 이미지를 획득할 수 있다.
상기 생성모듈(230)은 상기 판단 대상 면역조직화학 염색 이미지에 기초하여 입력 데이터를 생성할 수 있다.
상기 판단모듈(240)은 상기 입력 데이터를 상기 기계학습모델(300)에 입력하고, 상기 기계학습모델(300)에서 출력되는 예측 값에 기초하여 상기 판단 대상 검체에 대한 판단을 수행할 수 있다.
한편, 구현 예에 따라서, 상기 기계학습모델 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템에 이용될 수 있다.

Claims (16)

  1. 기계학습모델을 학습하는 방법으로서,
    기계학습모델 학습 시스템이, M개의 개별 학습 데이터(여기서, M은 2 이상의 자연수)를 포함하는 학습 데이터 세트를 생성하는 단계; 및
    상기 기계학습모델 학습 시스템이, 상기 학습 데이터 세트에 기초하여 상기 기계학습모델을 학습하는 단계를 포함하되,
    상기 M개의 개별 학습 데이터를 포함하는 학습 데이터 세트를 생성하는 단계는, 1<=m<=M인 모든 정수 m에 대하여, 상기 학습 데이터 세트에 포함될 제m학습 데이터를 생성하는 단계를 포함하고,
    상기 제m학습 데이터를 생성하는 단계는,
    제m면역조직화학 염색 이미지를 획득하는 단계-여기서, 상기 제m면역조직화학 염색 이미지는 소정의 표적 바이오 마커를 염색하기 위한 면역조직화학(immunohistochemistry; IHC) 염색법에 의해 염색된 면역조직화학 염색 조직에 해당하는 영역을 포함함;
    상기 제m면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출하는 단계;
    1<=n<=N인 모든 정수 n에 대하여(여기서, N은 2 이상의 정수임), 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계; 및
    제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계를 포함하되,
    상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는,
    상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 제m면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성하는 단계-여기서, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지임- 및
    상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하는 기계학습모델 학습 방법.
  2. 제1항에 있어서,
    1<=i<=(N-1)인 모든 정수 i에 대하여, 제i염색 강도 기준값은 제(i+1)염색 강도 기준값 보다 작은 것을 특징으로 하는 기계학습모델 학습 방법.
  3. 제1항에 있어서,
    제m면역조직화학 염색 이미지를 획득하는 단계는,
    면역조직화학 염색 시약과 대조 염색 시약을 혼합한 염색제로 염색한 병리 슬라이드를 스캔한 제m원본 병리 이미지를 획득하는 단계; 및
    상기 제m원본 병리 이미지로부터 상기 면역조직화학 염색 시약에 의해 염색된 면역조직화학 염색 부분과 상기 대조 염색 시약에 의해 염색된 대조 염색 부분을 분리하여, 상기 제m원본 병리 이미지에 상응하는 제m면역조직화학 염색 이미지 및 상기 제m원본 병리 이미지에 상응하는 제m대조 염색 이미지를 생성하는 단계를 포함하는 기계학습모델 학습 방법.
  4. 제3항에 있어서,
    상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는,
    상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지와 제m대조 염색 이미지에 기초하여 산출되는 적어도 하나의 산출 값 각각이 벡터의 성분인 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하되,
    상기 적어도 하나의 산출 값은,
    염색된 세포 조직의 비율, 세포막이 염색된 세포의 비율 및 세포핵이 염색된 세포의 비율 중 적어도 하나를 포함하는 기계학습모델 학습 방법.
  5. 제1항에 있어서,
    상기 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계는,
    제1염색 강도 기준 값과 제1특징 벡터의 쌍 내지 제N염색 강도 기준 값과 제N특징벡터의 쌍으로 구성되며, HER2(human epidermal growth factor receptor 2) 발현 점수가 라벨링된 상기 제m학습 데이터를 생성하는 단계를 포함하는 기계학습모델 학습 방법.
  6. 제2항에 있어서,
    상기 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계는,
    제1염색 강도 기준 값과 제1특징 벡터 차이 값의 쌍 내지 제(N-1)염색 강도 기준 값과 제(N-1)특징 벡터 차이 값의 쌍으로 구성되며, ER(estrogen receptor) 또는 PR(progesterone receptor) 발현 점수가 라벨링된 상기 제m학습 데이터를 생성하는 단계를 포함하되,
    1<=i<=(N-1)인 모든 정수 i에 대하여, 제i특징 벡터 차이 값은 제(i+1)특징 벡터와 제i특징 벡터의 차이 값인 기계학습모델 학습 방법.
  7. 제1항에 기재된 기계학습모델 학습 방법에 의해 학습된 기계학습모델을 통해 소정의 판단 대상 병리 검체에 대한 판단 결과를 제공하는 방법으로서,
    컴퓨팅 시스템이, 판단 대상 면역조직화학 염색 이미지를 획득하는 단계-여기서, 상기 판단 대상 면역조직화학 염색 이미지는 상기 면역조직화학 염색법에 의해 염색된 상기 판단 대상 병리 검체의 면역조직화학 염색 조직에 해당하는 영역을 포함함;
    상기 컴퓨팅 시스템이, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출하는 단계;
    상기 컴퓨팅 시스템이, 1<=n<=N인 모든 정수 n에 대하여, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계; 및
    상기 컴퓨팅 시스템이, 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 판단 대상 면역 조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 입력 데이터를 생성하는 단계;
    상기 컴퓨팅 시스템이, 상기 기계학습모델이 상기 입력 데이터에 기초하여 판단한 상기 판단 대상 병리 검체에 대한 판단 결과를 출력하는 단계를 포함하되,
    상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는,
    상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 판단 대상 면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성하는 단계-여기서, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지임- 및
    상기 판단 대상 면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하는 방법.
  8. 데이터 처리장치에 설치되며 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
  9. 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  10. 기계학습모델 학습 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 기계학습모델을 학습하는 방법을 수행하도록 하며,
    상기 기계학습모델 학습 방법은,
    상기 기계학습모델 학습 시스템이, M개의 개별 학습 데이터(여기서, M은 2 이상의 자연수)를 포함하는 학습 데이터 세트를 생성하는 단계; 및
    상기 기계학습모델 학습 시스템이, 상기 학습 데이터 세트에 기초하여 상기 기계학습모델을 학습하는 단계를 포함하되,
    상기 M개의 개별 학습 데이터를 포함하는 학습 데이터 세트를 생성하는 단계는, 1<=m<=M인 모든 정수 m에 대하여, 상기 학습 데이터 세트에 포함될 제m학습 데이터를 생성하는 단계를 포함하고,
    상기 제m학습 데이터를 생성하는 단계는,
    제m면역조직화학 염색 이미지를 획득하는 단계-여기서, 상기 제m면역조직화학 염색 이미지는 소정의 표적 바이오 마커를 염색하기 위한 면역조직화학(immunohistochemistry; IHC) 염색법에 의해 염색된 면역조직화학 염색 조직에 해당하는 영역을 포함함;
    상기 제m면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출하는 단계;
    1<=n<=N인 모든 정수 n에 대하여(여기서, N은 2 이상의 정수임), 상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계; 및
    제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계를 포함하되,
    상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 소정의 제n염색 강도 기준값에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는,
    상기 제m면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 제m면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성하는 단계-여기서, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지임- 및
    상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하는 기계학습모델 학습 시스템.
  11. 제10항에 있어서,
    1<=i<=(N-1)인 모든 정수 i에 대하여, 제i염색 강도 기준값은 제(i+1)염색 강도 기준값 보다 작은 것을 특징으로 하는 기계학습모델 학습 방법.
  12. 제10항에 있어서,
    제m면역조직화학 염색 이미지를 획득하는 단계는,
    면역조직화학 염색 시약과 대조 염색 시약을 혼합한 염색제로 염색한 병리 슬라이드를 스캔한 제m원본 병리 이미지를 획득하는 단계; 및
    상기 제m원본 병리 이미지로부터 상기 면역조직화학 염색 시약에 의해 염색된 면역조직화학 염색 부분과 상기 대조 염색 시약에 의해 염색된 대조 염색 부분을 분리하여, 상기 제m원본 병리 이미지에 상응하는 제m면역조직화학 염색 이미지 및 상기 제m원본 병리 이미지에 상응하는 제m대조 염색 이미지를 생성하는 단계를 포함하는 기계학습모델 학습 방법.
  13. 제12항에 있어서,
    상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는,
    상기 제m면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지와 제m대조 염색 이미지에 기초하여 산출되는 적어도 하나의 산출 값 각각이 벡터의 성분인 상기 제m면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하되,
    상기 적어도 하나의 산출 값은,
    염색된 세포 조직의 비율, 세포막이 염색된 세포의 비율 및 세포핵이 염색된 세포의 비율 중 적어도 하나를 포함하는 기계학습모델 학습 방법.
  14. 제10항에 있어서,
    상기 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계는,
    제1염색 강도 기준 값과 제1특징 벡터의 쌍 내지 제N염색 강도 기준 값과 제N특징벡터의 쌍으로 구성되며, HER2(human epidermal growth factor receptor 2) 발현 점수가 라벨링된 상기 제m학습 데이터를 생성하는 단계를 포함하는 기계학습모델 학습 방법.
  15. 제11항에 있어서,
    상기 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 제m면역조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 상기 제m학습 데이터를 생성하는 단계는,
    제1염색 강도 기준 값과 제1특징 벡터 차이 값의 쌍 내지 제(N-1)염색 강도 기준 값과 제(N-1)특징 벡터 차이 값의 쌍으로 구성되며, ER(estrogen receptor) 또는 PR(progesterone receptor) 발현 점수가 라벨링된 상기 제m학습 데이터를 생성하는 단계를 포함하되,
    1<=i<=(N-1)인 모든 정수 i에 대하여, 제i특징 벡터 차이 값은 제(i+1)특징 벡터와 제i특징 벡터의 차이 값인 기계학습모델 학습 방법.
  16. 병리 검체에 대한 판단 결과 제공 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 판단 결과 제공 시스템으로 하여금 제1항에 기재된 기계학습모델 학습 방법에 의해 학습된 기계학습모델을 통해 소정의 판단 대상 병리 검체에 대한 판단 결과를 제공하는 방법을 수행하도록 하며,
    상기 판단 결과를 제공하는 방법은,
    상기 판단 결과 제공 시스템이, 판단 대상 면역조직화학 염색 이미지를 획득하는 단계-여기서, 상기 판단 대상 면역조직화학 염색 이미지는 상기 면역조직화학 염색법에 의해 염색된 상기 판단 대상 병리 검체의 면역조직화학 염색 조직에 해당하는 영역을 포함함;
    상기 판단 결과 제공 시스템이, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별로 면역조직화학 염색에 의한 염색 강도를 산출하는 단계;
    상기 판단 결과 제공 시스템이, 1<=n<=N인 모든 정수 n에 대하여, 상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계; 및
    상기 판단 결과 제공 시스템이, 제1염색 강도 기준값 내지 제N 염색 강도 기준값 및 상기 판단 대상 면역 조직화학 염색 이미지의 제1특징 벡터 내지 제N특징 벡터에 기초하여 입력 데이터를 생성하는 단계;
    상기 판단 결과 제공 시스템이, 상기 기계학습모델이 상기 입력 데이터에 기초하여 판단한 상기 판단 대상 병리 검체에 대한 판단 결과를 출력하는 단계를 포함하되,
    상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계는,
    상기 판단 대상 면역조직화학 염색 이미지의 각 픽셀 별 염색 강도와 상기 제n염색 강도 기준값을 비교하여 상기 판단 대상 면역조직화학 염색 이미지에 상응하는 제n이진화 이미지를 생성하는 단계-여기서, 상기 제n이진화 이미지는 상기 제n염색 강도 기준값 보다 큰 염색 강도를 가지는 영역과 그렇지 않은 영역으로 구분된 이미지임- 및
    상기 판단 대상 면역조직화학 염색 이미지에 상응하는 상기 제n이진화 이미지에 기초하여 상기 판단 대상 면역조직화학 염색 이미지의 제n특징 벡터를 생성하는 단계를 포함하는 방법.
PCT/KR2023/004145 2022-03-31 2023-03-29 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 WO2023191472A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0040558 2022-03-31
KR1020220040558A KR102471515B1 (ko) 2022-03-31 2022-03-31 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Publications (1)

Publication Number Publication Date
WO2023191472A1 true WO2023191472A1 (ko) 2023-10-05

Family

ID=84237014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/004145 WO2023191472A1 (ko) 2022-03-31 2023-03-29 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Country Status (2)

Country Link
KR (1) KR102471515B1 (ko)
WO (1) WO2023191472A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117936104A (zh) * 2024-03-25 2024-04-26 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种基于局部阈值分割算法的胃癌免疫评分方法及装置
CN117936104B (zh) * 2024-03-25 2024-06-04 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种基于局部阈值分割算法的胃癌免疫评分方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471515B1 (ko) * 2022-03-31 2022-11-28 주식회사 딥바이오 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
KR102471515B1 (ko) * 2022-03-31 2022-11-28 주식회사 딥바이오 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
KR102471515B1 (ko) * 2022-03-31 2022-11-28 주식회사 딥바이오 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FASSLER DANIELLE J., ABOUSAMRA SHAHIRA, GUPTA RAJARSI, CHEN CHAO, ZHAO MAOZHENG, PAREDES DAVID, BATOOL SYEDA AREEHA, KNUDSEN BEATR: "Deep learning-based image analysis methods for brightfield-acquired multiplex immunohistochemistry images", DIAGNOSTIC PATHOLOGY, vol. 15, no. 1, 1 December 2020 (2020-12-01), XP093094427, DOI: 10.1186/s13000-020-01003-0 *
GHOSHAL BIRAJA, HIKMET FERIA, PINEAU CHARLES, TUCKER ALLAN, LINDSKOG CECILIA: "DeepHistoClass: A Novel Strategy for Confident Classification of Immunohistochemistry Images Using Deep Learning", MOLECULAR & CELLULAR PROTEOMICS, AMERICAN SOCIETY FOR BIOCHEMISTRY AND MOLECULAR BIOLOGY, US, vol. 20, 1 January 2021 (2021-01-01), US , pages 100140, XP055869422, ISSN: 1535-9476, DOI: 10.1016/j.mcpro.2021.100140 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117936104A (zh) * 2024-03-25 2024-04-26 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种基于局部阈值分割算法的胃癌免疫评分方法及装置
CN117936104B (zh) * 2024-03-25 2024-06-04 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） 一种基于局部阈值分割算法的胃癌免疫评分方法及装置

Also Published As

Publication number Publication date
KR102471515B1 (ko) 2022-11-28

Similar Documents

Publication Publication Date Title
US11908139B1 (en) Systems and methods for training a statistical model to predict tissue characteristics for a pathology image
US20210073986A1 (en) Systems and methods for processing images of slides to infer biomarkers
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023191472A1 (ko) 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2012041333A1 (en) Automated imaging, detection and grading of objects in cytological samples
US20230186659A1 (en) Machine learning models for cell localization and classification learned using repel coding
CN114981899A (zh) 用于处理用于生物标志物定位的电子图像的系统和方法
CN116157834A (zh) 使用机器学习技术评定数字病理学图像中的特征的异质性
CN111095358A (zh) 辅助组织样本分析的载玻片图像颜色反卷积系统及方法
KR20220113547A (ko) 일반화된 질병 검출을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들
CN111656393A (zh) 组织学图像分析
US20240112341A1 (en) Digital synthesis of histological stains using multiplexed immunofluorescence imaging
US20230281971A1 (en) Method and device for analyzing pathological slide image
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023113414A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023022444A1 (ko) 병리 슬라이드 이미지로부터 예측된 종양 함량에 기초하여 검사와 관련된 가이드를 제공하는 방법 및 장치
Egger Imaging the activity of neuronal populations: when spikes don't flash and flashes don't spike
US20240046670A1 (en) Method and system for analysing pathology image
WO2024025136A1 (ko) 다중 정보 분석 기반 최적의 바이오 마커 분석법 제안 장치 및 방법
CN117425912A (zh) 将组织化学染色图像转换成合成免疫组织化学(ihc)图像
Budginaite et al. Computational methods for metastasis detection in lymph nodes and characterization of the metastasis-free lymph node microarchitecture: A systematic-narrative hybrid review
Yang et al. Deep learning system for true-and pseudo-invasion in colorectal polyps
KR20230026950A (ko) 병리 슬라이드 이미지로부터 예측된 종양 함량에 기초하여 검사와 관련된 가이드를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23781327

Country of ref document: EP

Kind code of ref document: A1