WO2020032560A2 - 진단 결과 생성 시스템 및 방법 - Google Patents

진단 결과 생성 시스템 및 방법 Download PDF

Info

Publication number
WO2020032560A2
WO2020032560A2 PCT/KR2019/009845 KR2019009845W WO2020032560A2 WO 2020032560 A2 WO2020032560 A2 WO 2020032560A2 KR 2019009845 W KR2019009845 W KR 2019009845W WO 2020032560 A2 WO2020032560 A2 WO 2020032560A2
Authority
WO
WIPO (PCT)
Prior art keywords
slide
result
diagnosis
image
disease
Prior art date
Application number
PCT/KR2019/009845
Other languages
English (en)
French (fr)
Other versions
WO2020032560A3 (ko
Inventor
이상훈
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to JP2021505756A priority Critical patent/JP7298943B2/ja
Priority to CN201980053473.9A priority patent/CN112567466A/zh
Priority to US17/266,098 priority patent/US20210327059A1/en
Priority to EP19848747.2A priority patent/EP3819907A4/en
Publication of WO2020032560A2 publication Critical patent/WO2020032560A2/ko
Publication of WO2020032560A3 publication Critical patent/WO2020032560A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents
    • G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a system and method for generating diagnostic results. More specifically, the present invention relates to a system and a method for outputting a result of performing a diagnosis of a disease through an image of biological tissue in a form that both a machine and a human can understand.
  • One of the main tasks of the pathology or pathology department is to read the biometric images of the patient and perform the diagnosis to determine the condition or signs for a particular disease. This diagnosis is dependent on the experience and knowledge of long-term skilled practitioners.
  • diagnosis through deep learning using a neural network does not merely automate the experience and knowledge of a conventionally trained medical practitioner.
  • a neural network eg, CNN
  • the diagnosis of a disease through a neural network using a bioimage uses a piece of the bioimage, that is, a patch (also called a path or tile). That is, a medical practitioner skilled in the tile may annotate a specific disease state (eg, whether cancer is expressed), and train the neural network using the plurality of annotated tiles as training data.
  • the neural network may use a convolutional neural network.
  • the learned neural network determines the disease state of the tile only by the image feature of the tile.
  • the neural network determines not only the specific tissue itself but also the state of the specific tissue.
  • the current state of surrounding tissues eg, shapes, specific patterns, etc.
  • the conventional method has a problem that is not suitable in this case.
  • the color of the bio image or the patch itself is input as input data. That is, input data generally defined by three channel values of RGB is used as it is.
  • the color of the tissue to be stained may be different depending on the characteristics of the staining reagent used for staining the biological tissue corresponding to the biological image, which may directly affect the neural network to be learned. Therefore, it may be necessary to train the neural network in a more robust manner on non-original color characteristics such as dyeing, not on image characteristics of such underlying tissues.
  • the technical problem to be achieved by the present invention is to use not only the specific tile but also the surrounding tiles in order to determine the state (eg, the manifestation of the disease, or an indicator indicating the state of the disease) of the disease of a particular tile. It is to provide a diagnostic system and method using a neural network that can increase the accuracy.
  • the present invention provides a visualization method for clearly identifying the tissue region in which the disease is expressed and a diagnostic system using a neural network capable of performing the same.
  • the present invention provides a system and a method for outputting the results of diagnosis of a disease through an image of a living tissue in a form that both a machine and a human can understand.
  • a marking information generation module for generating marking information indicating a result of diagnosing whether or not a disease exists in a slide which is a bio-image, wherein the marking information is used to determine disease state information for each pixel of the slide.
  • a diagnostic result generating system including a contour extraction module for extracting at least one contour from the marking information and an XML generation module for generating an XML document including outline information of each of the extracted at least one contour do.
  • the disease state information may include normal, Gleason pattern 3, Gleason pattern 4 and Gleason pattern 5.
  • the XML document may further include disease state information of each of the extracted at least one contour.
  • the disease may be characterized in that the prostate cancer.
  • the diagnosis result generation system may further include a diagnosis system that outputs a result of diagnosing whether the disease exists by using the slide and a neural network, wherein the marking information generation module comprises: the diagnosis system The marking information can be generated based on the output diagnosis result.
  • the diagnostic system is a patch neural network for generating a patch level diagnostic result, whether the disease is present in each of the predetermined patches, the slide is divided into a predetermined size, a plurality of patches included in the slide
  • a heatmap generation module for generating a patch level heatmap image corresponding to the slide based on each patch diagnosis result, and a tissue mask corresponding to the slide based on a Hue-Saturation-Value (HSV) model corresponding to the slide
  • HSV Hue-Saturation-Value
  • the tissue mask generation module performs image binarization on the S space corresponding to the slide to generate a first binarization result, where the S space corresponding to the slide corresponds to the HSV corresponding to the slide.
  • the tissue mask image corresponding to the slide may be generated based on the brightness value value space of the HSV model), the first binarization result, and the second binarization result.
  • the diagnosis result visualization module may generate a disease diagnosis visualization image corresponding to the slide by applying a conditional random field to the patch level heat map image and the tissue mask image.
  • Including:-Contour extraction step of extracting at least one contour from the marking information and an XML generating step of generating an XML document including the outline information of each of the at least one contour is provided is provided. .
  • the method of generating a diagnosis result may further include a diagnosis step of outputting a diagnosis result of the presence or absence of the disease by using the slide and a neural network, wherein the marking information generation step comprises the diagnosis system. And generating the marking information based on the output diagnosis result.
  • the diagnosing step may include a patch level diagnosis step of generating a patch level diagnosis result indicating whether a disease exists in each of the predetermined patches in which the slide is divided into a predetermined size using a neural network.
  • the method may include a tissue mask generation step of generating a tissue mask image corresponding to a slide, and a diagnosis result visualization step of generating a diagnosis result of the slide based on the patch level heat map image and the tissue mask image.
  • the generating of the tissue mask may include performing image binarization on the S space corresponding to the slide to generate a first binarization result, wherein the S space corresponding to the slide corresponds to the slide.
  • Generating a second binarization result by performing image binarization on a ⁇ 1-V space corresponding to the slide, wherein the V space corresponding to the slide is the slide;
  • the diagnosis result visualization may include applying a conditional random field to the patch level heat map image and the tissue mask image to generate a disease diagnosis visualization image corresponding to the slide.
  • a computer program installed in a data processing apparatus and recorded in a medium for performing the above-described method.
  • the neural network that can determine the state of the disease of the specific patch by considering the macro patch including the specific patch and further including a peripheral patch. This has the effect of providing higher diagnostic accuracy.
  • gray channels as input data in addition to the input data input, that is, the original color value of the patch (for example, RGB three channel values)
  • the original color value of the patch for example, RGB three channel values
  • FIG. 1 is a view showing a schematic system configuration of a diagnostic result generation system according to the technical spirit of the present invention.
  • FIG. 2A is a diagram for explaining a logical configuration of a diagnosis result generation system according to an exemplary embodiment.
  • 2B is a view for explaining a logical configuration of a system for diagnosing diseases using a neural network according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a hardware configuration of a diagnosis result generation system according to an exemplary embodiment of the present invention.
  • FIG. 4A is a diagram illustrating an image in which a disease area is annotated on a slide.
  • 4B is a diagram illustrating an example of an XML document generated by a diagnosis result generation system according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an exemplary configuration of a neural network according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an exemplary configuration of a neural network according to another embodiment of the present invention.
  • 7A is a diagram illustrating an example of a slide.
  • FIG. 7B is a diagram illustrating an example of a heat map for the slide of FIG. 7A.
  • FIG. 7C is a diagram illustrating an example of a tissue mask image for the slide of FIG. 7A.
  • 7D is a diagram illustrating an example of an image of a result of visualizing a part diagnosed as a disease.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the component when one component 'transmits' data to another component, the component may directly transmit the data to the other component, or through at least one other component. Means that the data may be transmitted to the other component.
  • the component when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • the diagnostic result generation method according to the technical spirit of the present invention may be performed by a diagnostic result generation system.
  • FIG. 1 is a view showing a schematic system configuration of a diagnostic result generation system according to the technical spirit of the present invention.
  • the diagnosis result generation system 100 may be installed in a predetermined server 10 to implement the technical spirit of the present invention.
  • the server 10 refers to a data processing apparatus having a computing capability for implementing the technical idea of the present invention, and generally provides a specific service such as a personal computer, a portable terminal, etc. as well as a data processing apparatus accessible by a client through a network. It will be readily apparent to the average person skilled in the art that any device that can perform may be defined as a server.
  • the server 10 may include a processor 11 and a storage device 12 as shown in FIG. 3.
  • the processor 11 may refer to a computing device capable of driving a program 12-1 for implementing the technical idea of the present invention, and the processor 11 may be affected by a specific disease (for example, prostate cancer). Can generate diagnostic results.
  • the diagnosis result may include information about a specific disease area and / or disease state information (eg, information about how far the disease has progressed) when a disease exists in a slide which is an image of a biological tissue.
  • the processor 11 may perform diagnosis using the program 12-1 and a neural network 12-2.
  • the neural network 12-2 may include a patch neural network for performing patch level diagnosis as will be described later.
  • the storage device 12 may refer to data storage means capable of storing the program 12-1 and the neural network 12-2, and may be implemented as a plurality of storage means according to an embodiment.
  • the storage device 12 may mean not only a main memory device included in the server 10, but also a temporary storage device or a memory that may be included in the processor 11.
  • diagnostic result generation system 100 is illustrated as being implemented as any one physical device in FIG. 1 or 3, a plurality of physical devices are organically coupled as necessary, so that the diagnostic result generation system according to the spirit of the present invention. It will be readily apparent to the average expert in the art that the implementation of (100) can be implemented.
  • the diagnosis result generation system 100 generating a diagnosis result may refer to a series of processes for generating an electronic form of a document including marking information on a site diagnosed as a disease.
  • the diagnosis result generation system 100 may generate an XML (eXtensible Markup Language) type document including marking information indicating a diagnosis result.
  • XML documents are documents encoded in a format that both humans and machines (computers) can recognize and can be implemented in a standardized manner by the World Wide Web Consortium (WWWC).
  • the diagnosis result generation system 100 may generate an XML document using a result of annotating a portion of the slide, which is an image of a biological tissue, by a human or another system to diagnose it as a disease. That is, the diagnosis of the disease itself is performed by a human or another system, and only the function of outputting it in the form of an XML document may be performed by the diagnosis result generation system 100.
  • the diagnosis result generation system 100 may directly diagnose a disease through a slide and output the diagnosis result in the form of an XML document.
  • the diagnosis result generation system 100 When the diagnosis result generation system 100 directly performs a diagnosis, the diagnosis result generation system 100 receives a biometric image representing a biological tissue, that is, a patch that is a whole or part of the slide and is defined in the present specification. A series of processes for outputting output data can be performed, which will be described later.
  • the diagnosis result generation system 100 may include at least one client (eg, 20, 20-20) that may be connected to the server 10. It may also communicate with 1).
  • the client eg, 20, 20-1
  • the diagnosis result generation system 100 may provide a technical idea of the present invention with respect to the transmitted bioimage. Diagnosis can be performed.
  • the diagnosis result may be transmitted to the client (eg, 20, 20-1).
  • FIG. 2A is a diagram for explaining a logical configuration of a diagnosis result generation system according to an exemplary embodiment.
  • the diagnosis result generation system 100 may include a marking information generation module 110, a contour extraction module 120, and an XML generation module 130.
  • the diagnosis result generation system 100 may further include a diagnosis system 200.
  • some of the above-described elements may not necessarily correspond to the elements necessary for the implementation of the present invention, and according to the embodiment, the diagnostic result generation system 100 Of course, may include more components than this.
  • the diagnosis result generation system 100 may further include a communication module (not shown) for communicating with the client (eg, 20, 20-1).
  • the diagnosis result generation system 100 may refer to a logical configuration having hardware resources and / or software necessary for implementing the technical idea of the present invention, and necessarily means one physical component. It does not mean one device. That is, the diagnosis result generation system 100 may refer to a logical combination of hardware and / or software provided to implement the technical idea of the present invention. If necessary, the diagnostic result generation system 100 may be installed in devices spaced apart from each other. It may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the diagnosis result generation system 100 may refer to a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • each of the marking information generation module 110, the contour extraction module 120, the XML generation module 130, and / or the diagnostic system 200 may be located on different physical devices or on the same physical device. You may.
  • the combination of the software and / or hardware configuring the marking information generation module 110, the contour extraction module 120, the XML generation module 130, and / or the diagnostic system 200 may also be used. Components located in different physical devices and components located in different physical devices may be organically combined with each other to implement each of the modules.
  • module in the present specification may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for performing the predetermined code, and does not necessarily mean a physically connected code or a kind of hardware. Can be easily inferred by the average expert in the art.
  • the marking information generating module 110 may generate marking information indicating a result of diagnosing whether or not a disease exists in a slide which is a biological image.
  • the marking information may include disease state information for each pixel of the slide.
  • the marking information corresponding to the slide may be in the form of a matrix of N * M, and each value of the matrix may have state information of a corresponding pixel. .
  • the disease state may include a normal, Gleason pattern 3, Gleason pattern 4 and Gleason pattern 5, the marking information may have a value corresponding to a specific state.
  • the disease state information included in the marking information may be 0 when the corresponding pixel is normal, 1 when Glyson pattern 3, 2 when Glyson pattern 4, and 3 when Glyson pattern 5.
  • FIG. 4A is a diagram illustrating an image in which a disease area is annotated on a slide. As shown in FIG. 4A, the disease area may be annotated with a specific color depending on the disease state.
  • the marking information generation module 110 may generate marking information by setting a value of marking information corresponding to each pixel belonging to the annotated region to a value corresponding to a disease state of the corresponding pixel.
  • the contour extraction module 120 may extract at least one contour from the marking information.
  • the contour can be extracted for each individual area annotated as disease in the slide.
  • the XML generation module 130 may generate an XML document including a diagnosis result (more specifically, a result annotated as a disease area) for the slide.
  • the generated XML document may include outline information of each of the at least one contour extracted by the contour extraction module 120.
  • the XML document may further include disease state information of each of the extracted at least one contour.
  • each annotation region may be distinguished by a tag called ⁇ Annotation>, and disease state information of the region may be specified in a parameter called class. Meanwhile, points constituting the outline of the contour corresponding to the annotation region may be stored through at least one ⁇ Coordinate> tag.
  • the diagnosis result for the slide may be generated in the form of XML according to a standardized format that is divided for each annotated region.
  • the XML document is a document that can be recognized not only by humans but also by machines. Therefore, other diagnostics can easily grasp the diagnosis result and can easily share the diagnosis result with other systems.
  • the diagnosis result generation system 100 can directly diagnose the disease.
  • the diagnosis result generation system 100 diagnoses using a neural network. It may further include a diagnostic system 200 for performing the following, the diagnostic system () will be described in detail.
  • the diagnosis system 200 may perform patch level diagnosis.
  • Patch level diagnosis may mean dividing the slide into patch units and diagnosing whether the disease is expressed in the divided patches. Therefore, the diagnostic system 200 may receive input for each patch of the slide and output whether the disease is expressed in the patch.
  • the neural network for this can be learned and implemented.
  • the neural network performing the patch level diagnosis according to the technical concept of the present invention, it is possible not only to perform the diagnosis using only the patch, but also to consider the peripheral patch of the patch further can perform the diagnosis.
  • This technical idea has been disclosed in detail in the Korean patent application (Application No. 10-2016-0168176, the diagnosis system of the disease using a neural network and its method, filed below). This can increase the accuracy of the diagnosis when considering only the very local area, that is, only the area corresponding to the patch, and considering the area as well as the surrounding area.
  • it is possible to more accurately determine whether a disease exists on the slide by further considering the physical characteristics such as the location, density, cluster size, etc. of the patches in the entire slide as well as the surrounding patches of the specific patch. It works.
  • the previous application is incorporated by reference of the present invention, the contents of which may be treated as described herein.
  • the state information (disease state information) output by the patch level diagnosis may be information indicating a probability of whether a specific disease (eg, a specific type of cancer) is expressed in the tissue corresponding to the patch.
  • the diagnosis system 200 may determine that the patch is a patch expressed by a disease (eg, prostate cancer) when a probability of a specific reference value or more appears.
  • the diagnosis system 200 may be information (or probability corresponding to the degree of progression) indicating the progress of the specific disease as well as whether the specific disease is expressed as disclosed in the previous application.
  • a Gleason Pattern or a Gleason Score which is an indicator of the progression of prostate cancer
  • the state information may mean the probability that the biological tissue corresponding to the patch to be diagnosed corresponds to a specific value (eg, 3, 4, or 5) of the Gleason score.
  • the first state information may indicate a probability that the Gleason score is 3
  • the second state information may indicate a probability that the Gleason score is 4
  • the third state information may indicate a probability that the Gleason score is 5.
  • Both state information and state channels corresponding to the third state information may be defined in the output layer.
  • state information indicating a probability that the Gleason score has a range eg, 3 to 5, 4 to 5, etc.
  • one state information may correspond to a plurality of indices representing the progress of the disease.
  • the neural network may determine that the patch is a disease patch, that is, a patch in which the disease is expressed, when the state information having a Gleason score of 3 or more is a predetermined threshold value or more.
  • the threshold used by the neural network may be variously set. According to an embodiment, a plurality of thresholds may be used. Depending on the threshold value, a particular patch may be determined to be a disease-expressed patch, that is, a disease patch or a normal patch.
  • the neural network may use a plurality of threshold values, and in this case, a disease patch diagnosed according to each of the plurality of threshold values may vary.
  • the diagnostic system 200 may also perform visualization or annotation on the patch level diagnosis result.
  • the visualization of the diagnosis result may mean providing a predetermined visual effect to the part determined to be a disease as a result of diagnosis.
  • the visual effect may refer to an effect that can be recognized by vision.
  • the part determined to be a disease by visualization may be expressed or highlighted in another color.
  • the diagnosis system 200 may perform patch level diagnosis by using a neural network according to the spirit of the present invention.
  • the process of training the neural network may be performed first to perform such a diagnosis.
  • the diagnosis system 200 may be a system for performing diagnosis by receiving a neural network learned in accordance with the technical spirit of the present invention and a program for performing diagnosis using the neural network from an external source. It may be a system that even performs learning.
  • the diagnostic system 200 may be implemented not as a general-purpose data processing device but as a dedicated device manufactured to implement the technical idea of the present invention. In this case, a means for scanning a biological image may be further provided. It may be.
  • the neural network does not only consider the image of the specific patch itself to perform the diagnosis of the specific patch as disclosed in the previous application, but also considers the image of at least one adjacent patch of the specific patch to diagnose the specific patch. It may have a feature to perform. Through this technical idea, it is possible to improve the accuracy to a very significant level in the diagnosis of a disease that should consider not only the living tissue but also the surrounding tissue of the living tissue for the diagnosis of the living tissue corresponding to the specific patch. have. In addition, when dividing the biological image into a plurality of patches, it may have a strong effect on the effect of the diagnostic results that can occur depending on the division method of the patch or the location of the divided tissue.
  • the neural network may not have the features disclosed in the previous application, and in any case, the neural network may be a neural network trained to perform a diagnosis for each patch.
  • the neural network may accept an additional channel as an input value for each pixel included in the patch, unlike the conventional art.
  • the additional channel may be the gray value of each pixel.
  • the neural network may further receive an additional gray channel as an input along with three channels of original values (eg, RGB) of pixels included in the patch while accepting an input for each patch.
  • the color of the biological image may have a strong effect when the color of the bioimage may be changed by factors unrelated to the image characteristics related to the disease (eg, characteristics of the diagnostic institution, staining reagents, etc.).
  • factors unrelated to the image characteristics related to the disease eg, characteristics of the diagnostic institution, staining reagents, etc.
  • the neural network used by the diagnostic system 200 may include a microneural network and a macroneural network.
  • the microneural network may refer to a network that performs learning using one specific tile and performs a series of processes for performing diagnosis on the tile using an image feature of the tile itself.
  • the macro-neural network performs learning using a macro tile including the tile as well as the tile and including at least one adjacent tile of the tile, and performing a diagnosis on the tile by using image features of the entire macrotile. It may refer to a network that performs a series of processes for doing so.
  • the neural network according to the spirit of the present invention does not only consider an image of the specific tile itself to perform a diagnosis on a specific tile, but also considers an image of at least one adjacent tile of the specific tile. It may be characterized by performing a diagnosis.
  • it is possible to improve the accuracy to a very significant level in the diagnosis of a disease that should consider not only the living tissue but also the surrounding tissue of the living tissue for the diagnosis of the living tissue corresponding to a specific tile. have.
  • it may have a strong effect on the effect of the diagnostic results that can occur depending on the division method of the tile or the location of the divided tissue.
  • the diagnostic system 200 for implementing the technical idea may logically have a configuration as shown in FIG. 2B.
  • FIG. 2B is a diagram illustrating a logical configuration of a diagnosis system 200 for performing diagnosis of a disease using a neural network according to an embodiment of the present invention.
  • the diagnostic system 200 includes a control module 210, a neural network module 220 in which a neural network is stored, a preprocessing module 230, a heat map generation module 240, and a tissue mask generation module 250. ), And may include a visualization module 260.
  • a control module 210 the diagnostic system 200 includes a control module 210, a neural network module 220 in which a neural network is stored, a preprocessing module 230, a heat map generation module 240, and a tissue mask generation module 250.
  • a visualization module 260 may be included.
  • the diagnostic system 200 may refer to a logical configuration having hardware resources and / or software necessary to implement the technical idea of the present invention, and necessarily means one physical component or one It does not mean a device. That is, the diagnostic system 200 may mean a logical combination of hardware and / or software provided to implement the technical idea of the present invention, and if necessary, are installed in devices spaced apart from each other to perform respective functions. As a result, it may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the diagnostic system 200 may refer to a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • each of the control module 210, the neural network module 220, the preprocessing module 230, the heat map generation module 240, the tissue mask generation module 250, and / or the diagnosis result visualization module 260 may be in contact with each other. It may be located in another physical device or in the same physical device.
  • the combination of software and / or hardware constituting each of the components 260 may also be located on different physical devices, and components located on different physical devices may be organically combined with each other to implement each of the modules.
  • the control module 210 includes other components included in the diagnosis system 200 (eg, the neural network module 220, the preprocessing module 230, the heat map generation module 240, and the tissue mask generation module 250). , Diagnostic result visualization module 260, etc.) may be controlled.
  • the control module 210 may perform a patch level diagnosis according to the spirit of the present invention by using a neural network stored in the neural network module 220.
  • Patch level diagnosis may be implemented through a deep learning based neural network according to the technical spirit of the present invention as described above. That is, under the control of the control module 210, the neural network may generate a patch level diagnosis result indicating whether a disease exists in each of the predetermined patches in which the slide is divided into predetermined sizes.
  • the neural network may refer to a set of information representing a series of design items defining a neural network.
  • the neural network may be a convolutional neural network.
  • the convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer, as is well known.
  • Each of the plurality of hidden layers may include a convolutional layer and a pulling layer (or subsampling layer).
  • Convolutional neural networks can be defined by functions, filters, strides, weight factors, etc., to define each of these layers.
  • the output layer may be defined as a fully connected forward layer.
  • each layer of the convolutional neural network is well known. For example, known functions may be used for the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and to implement the technical spirit of the present invention. Separately defined functions may be used.
  • the neural network for performing a patch level diagnosis uses a known densenet, and may be designed to consider not only a specific patch but also a peripheral patch to be diagnosed as disclosed in a previous application.
  • various neural networks may be utilized, and in any case, the neural network may be defined to receive a specific patch as an input and output a feature value corresponding to a disease occurrence probability of the specific patch.
  • the control module 210 may receive input data, that is, patch-specific input, to a neural network stored in the neural network module 220, that is, a learned neural network. At this time, as described above, the gray channel value is added to the original value. Of course, the gray channel value may be obtained by converting the pixel value into a gray value. In addition, operations defined by the neural network may be performed to output output data, that is, feature values corresponding to disease expression probabilities corresponding to patches. In addition, according to an embodiment, depending on whether the feature value is a predetermined threshold value for the slide level diagnosis, which will be described later, the corresponding patch may output whether the disease is expressed.
  • the neural network module 220 may store a neural network.
  • the neural network may refer to a set of information representing a series of design items defining a neural network.
  • the neural network may be a convolutional neural network.
  • the convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer, as is well known.
  • Each of the plurality of hidden layers may include a convolutional layer and a pulling layer (or subsampling layer).
  • Convolutional neural networks can be defined by functions, filters, strides, weight factors, etc., to define each of these layers.
  • the output layer may be defined as a fully connected forward layer.
  • each layer of the convolutional neural network is well known. For example, known functions may be used for the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and to implement the technical spirit of the present invention. Separately defined functions may be used.
  • convolution function is a discrete convolution sum.
  • pooling function max pooling, average pooling, or the like may be used.
  • activation function may be sigmoid, tangent hyperbolic, or rectified linear unit.
  • the convolutional neural network in which the design details are defined may be stored in the storage device.
  • a weight factor corresponding to each layer may be specified.
  • the learning of the convolutional new network may mean a process in which weight factors of respective layers are determined.
  • the learned convolutional neural network may receive input data into the input layer and output output data through a predefined output layer.
  • the neural network may be defined by selecting any one or a plurality of well-known design matters as described above, or an independent design matter may be defined for the neural network.
  • the diagnostic module 110 may input input data into a neural network stored in the neural network module 220, that is, a learned neural network.
  • the output data may be output by performing operations defined by the neural network.
  • the preprocessing module 230 may perform preprocessing of the necessary bio-image before performing diagnosis using a neural network.
  • the preprocessing of the bioimage may include tiling the bioimage (ie, slide) into tiles (patches) of a predefined size, and appropriate images in a manner suitable for the neural network as needed.
  • the average person skilled in the art will readily be able to infer that processing can be performed.
  • the neural network according to the technical concept of the present invention has a technical feature including a micro-neural network and a macro-neural network as described above. This example will be described in detail with reference to FIG. 4.
  • FIG. 4 is a diagram illustrating a configuration of a neural network according to an embodiment of the present invention.
  • the neural network 200 includes a microneural network and a macroneural network.
  • the microneural network includes a plurality of layers 210 and an output layer 230.
  • the plurality of layers 210 includes an input layer 211 and a plurality of hidden layers 212.
  • the macroneural network includes a plurality of layers 220 and the output layer 230.
  • the plurality of layers 220 includes an input layer 221 and a plurality of hidden layers 222.
  • the microneural network is defined to receive a specific tile 30 and to output a diagnosis result of the specific tile, that is, output data defined in the output layer 230.
  • the macro neural network is defined to receive the macro tile 40 including the specific tile 30 and at least one adjacent tile of the specific tile 30, and output a diagnosis result of the specific tile.
  • the neural network 200 not only the image characteristic of the specific tile 30 but also the image characteristic of adjacent tiles of the specific tile 30 in order to output the diagnosis result of the specific tile 30.
  • the diagnostic result can be output in consideration.
  • FIG. 4 illustrates an example in which 3 ⁇ 3 tiles surrounding a tile are used in FIG. 4, but various embodiments may be possible.
  • the output layer 230 is a first layer just before the output layer 230 included in the microneural network 212-1 and a layer immediately before the output layer 230 included in the macroneural network.
  • the output data defined in the output layer 230 may be output by receiving output data of each of the second previous layers 222-1.
  • the first immediately before layer 212-1, the second immediately before layer 222-1, and the output layer 230 may be fully connected.
  • the neural network 200 combines the image characteristic of the specific tile 30 with the image characteristic of the macro tile 40 including the specific tile 30 to perform a diagnosis on the specific tile 30.
  • it is learned to output the output data of the output layer 230 corresponding to the annotation values of the plurality of training data.
  • a plurality of training data are used to learn the neural network 200, and the plurality of training data may include a specific tile 30 and a pair of macro tiles 40.
  • the macro tile 40 may also perform learning using the annotation information of the specific tile 30.
  • the neural network 200 may be trained to output output data corresponding to the annotation information of the specific tile 30 in consideration of both the image characteristics of the specific tile 30 and the macro tile 40. Can be.
  • the trained neural network 200 When the trained neural network 200 receives the target tile to be diagnosed and the macro tiles corresponding to the target tiles as input data of the input layer of the micro-neural network and the macro-neural network, respectively, the diagnosis result of the target tile That is, output data of the output layer 230 may be output.
  • the output layer 230 may output output data of a diagnosis result of a specific patch 30 to be diagnosed.
  • the diagnosis result may include at least information on the condition of the disease of the specific patch 30.
  • the information about the condition of the disease may simply mean information about whether a particular disease is expressed in a specific patch 30 (or probability value). However, depending on the type of disease, the information about the condition of the disease may include information indicating the progress of the disease more specifically.
  • the output layer may be designed to output various additional information as well as to simply output the presence of disease as disclosed in the previous application.
  • the information may include information indicating the progress of the disease and / or related factor information indicating the expression level of the related factor associated with the value of the state channel. Since this is disclosed in detail in the previous application detailed description thereof will be omitted.
  • the output data of the output layer 230 is received and a feature value corresponding to the expression probability of the disease of the finally inputted patch is output.
  • a feature value corresponding to the expression probability of the disease of the finally inputted patch is output.
  • the neural network substitutes a layer for outputting a plurality of state channels and associated factor channels, as shown in FIG. 5A, and outputs feature values corresponding to a disease expression probability of an input patch. It may be designed to have a layer 240.
  • the neural network for patch level diagnosis may be designed to have a single path, not a method having two paths (a path for each of the micro network and the macro network) as shown in FIG. 4. have.
  • One such example may be as shown in FIG. 6.
  • FIG. 6 is a diagram illustrating an exemplary configuration of a neural network according to another embodiment of the present invention.
  • the neural network may be defined to receive input in units of patches and determine whether the input patch is diseased.
  • the neural network may receive four channel (eg, RGB and gray channel) data.
  • the input data may be defined to pass through a plurality of layers per convolution layer and max pooling, and output output data, that is, whether the input patch is a disease patch.
  • a neural network may be a neural network using a known densenet model.
  • the neural network according to the technical concept of the present invention can be seen that 1 ⁇ 1 convolution is added compared to the original densenet model, and through this, an internal feature map can be confirmed.
  • a signoid function is used as an active function, various active functions may be used.
  • a neural network may be defined that performs patch level diagnostics in various other ways.
  • the heat map generation module 240 may generate a patch level heat map image corresponding to the slide based on a patch diagnosis result of each of the plurality of patches included in the slide.
  • the heat map generation module 240 may mark the disease patch according to the diagnosis result of each patch. In the patch level diagnosis, since each patch is classified according to a disease, the entire disease patch may be marked as a disease.
  • the heat map generation module 240 may generate a heat map for the slide as shown in FIG. 7A. For example, the heat map generation module 240 may generate a heat map as shown in FIG. 7B. have. As shown in FIG. 7B, when the patch level diagnosis result is visualized in the form of a heat map, the disease part is displayed in a lattice form.
  • the tissue mask generation module 250 may generate a tissue mask image of the slide.
  • the tissue mask generation module 250 may generate a tissue mask image as shown in FIG. 7C.
  • the method of generating a tissue mask image by the tissue mask generation module 250 has the following features.
  • the tissue mask generation module 250 may generate a tissue mask image corresponding to the slide based on a Hue-Saturation-Value (HSV) model corresponding to the slide.
  • HSV Hue-Saturation-Value
  • the tissue mask generation module 250 may generate a first binarization result by performing image binarization on the S space corresponding to the slide.
  • the S space corresponding to the slide is a space composed of saturation values of the HSV model corresponding to the slide.
  • the tissue mask generation module 250 may use Otsu Threshholding as an image binarization method.
  • Otsu Thresholding is a clustering-based image thresholding technique used in computer vision and image processing.
  • the tissue mask generation module 250 may generate a second binarization result by performing image binarization on a ⁇ 1-V space corresponding to the slide.
  • the V space corresponding to the slide is a space consisting of a brightness value (Value) of the HSV model corresponding to the slide (that is, has a size of w ⁇ h and a matrix consisting of a value (brightness value) of the V channel). Is the width of the image, h is the height of the image)), and the 1-V space has a size of w ⁇ h and may be a space obtained by subtracting the value of the V channel from a matrix filled with one.
  • the tissue mask generation module 250 may generate a tissue mask image corresponding to the slide based on the first binarization result and the second binarization result.
  • the first binarization result and the second binarization result may include a binary value (eg, 0 or 1 or 0 or 255) corresponding to each pixel of the slide, and the tissue mask generation module 250 Is for each pixel of the slide a tissue mask image corresponding to the pixel if the binary value of the first binarization result corresponding to the pixel or the binary value of the first binarization result corresponding to the pixel is 1 (or 255). Determine that the pixel of the image of is a tissue pixel (a pixel corresponding to tissue); otherwise (ie, if the binary value is 0), the pixel of the image of the tissue mask image corresponding to the pixel is a non-tissue pixel (corresponding to tissue). And a tissue mask image corresponding to the slide can be generated.
  • the tissue mask generation module 250 may generate a tissue mask image by performing an OR operation between an image binarization result of S space and an image binarization result of 1-V space.
  • the diagnosis result visualization module 260 may generate a disease diagnosis visualization image corresponding to the slide based on the patch level heat map image and the tissue mask image. For example, the diagnosis result visualization module 260 may generate a disease diagnosis visualization image as shown in FIG. 7D.
  • the diagnosis result visualization module 260 may generate a condition diagnosis visualization image corresponding to the slide by applying a conditional random field to the patch level heat map image and the tissue mask image.
  • the conditional random field may be characterized in that the number of labels is 2, and the pixels less than or equal to a specific threshold among pixels included in the patch level heatmap image are converted into zero.
  • the visualization module 260 may include an original tissue image (ie, a slide or a patch), a tissue mask image generated by the tissue mask generation module 250, and the patch level generated by the heat map generation module 240.
  • the heat map image may be input. Looking at the size of each input value, since the original tissue image is RGB three channels, the size is w ⁇ h ⁇ 3, the size of the tissue mask image is w ⁇ h, and the patch level heatmap image is w ⁇ h.
  • the visualization module 260 may convert the patch level heatmap image of w ⁇ h into w ⁇ h ⁇ 2.
  • the original patch level heatmap image is included in w ⁇ h ⁇ [0], and each pixel value of the 1-patch level heat map image is included in w ⁇ h ⁇ [1].
  • a disease eg prostate cancer
  • the tissue mask generation module 250 generates a tissue mask image through a logical sum operation between an image binarization result in S-space and an image binarization result in 1-V space, and a conditional unit.
  • FIG. 7D which is an example of the final visualization result
  • FIG. 7B which is a lattice-shaped heat map
  • the diagnostic result visualization method according to the technical idea of the present invention may be applied to the diagnostic result by the general method of the method that the diagnostic result is derived in units of patches.
  • the diagnostic result is derived in units of patches.
  • the non-tissue part is marked as a disease (see FIG. 7A), but only the tissue part diagnosed with the disease is clearly distinguished from other parts by applying a diagnosis result visualization method according to the inventive concept. There is an effect that can be.
  • the disease diagnosis visualization image generated by the diagnosis result visualization module 260 may be provided to the marking information generation module 110 described above, and may be processed by the contour extraction module 120 and the XML generation module 130. May proceed to generate an XML document containing the diagnostic results.
  • the diagnosis result generation system 100 may include a processor and a memory that stores a program executed by the processor.
  • the processor may include a single core CPU or a multi core CPU.
  • the memory may include fast random access memory and may include nonvolatile memory, such as one or more magnetic disk storage devices, flash memory devices, or other nonvolatile solid state memory devices. Access to memory by the processor and other components may be controlled by the memory controller.
  • the diagnostic method through a neural network is implemented in the form of computer-readable program instructions can be stored in a computer-readable recording medium, the control program and The target program can also be stored in a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • the program instructions recorded on the recording medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the software art.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, floppy disks, and the like. Hardware devices specifically configured to store and execute the same magneto-optical media and program instructions such as ROM, RAM, flash memory and the like are included.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • program instructions include machine language codes such as those produced by a compiler, as well as devices that process information electronically using an interpreter, for example, high-level language code that can be executed by a computer.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be used in "diagnosis result generation systems and methods.”

Abstract

생체 조직의 이미지를 통해 질병의 진단을 수행한 결과를 기계와 인간이 모두 이해할 수 있는 형태로 출력할 수 있는 시스템 및 그 방법이 개시된다. 본 발명의 일 측면에 따르면, 생체 이미지인 슬라이드에 질병이 존재하는지 여부를 진단한 결과를 나타내는 마킹 정보를 생성하는 마킹 정보 생성모듈-여기서, 상기 마킹 정보는 상기 슬라이드의 각 픽셀 별 질병 상태 정보를 포함함-, 상기 마킹 정보로부터 적어도 하나의 컨투어를 추출하는 컨투어 추출모듈 및 추출된 상기 적어도 하나의 컨투어 각각의 외곽선 정보를 포함하는 XML 문서를 생성하는 XML 생성모듈을 포함하는 진단 결과 생성 시스템이 제공된다.

Description

진단 결과 생성 시스템 및 방법
본 발명은 진단 결과 생성 시스템 및 방법에 관한 것이다. 보다 상세하게는 생체 조직의 이미지를 통해 질병의 진단을 수행한 결과를 기계와 인간이 모두 이해할 수 있는 형태로 출력할 수 있는 시스템 및 그 방법에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체이미지를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜 기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예컨대, 컨벌루션 뉴럴 네트워크(Convolution neural network, CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체이미지를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체이미지의 조각 즉, 패치(pathch, 또는 타일(tile)이라고도 함)을 이용한다. 즉, 해당 타일에 대해 숙련된 의료인은 특정 질병의 상태(예컨대, 암이 발현되었는지 여부)를 어노테이션(annotaion)하고, 이러한 어노테이션된 다수의 타일들을 트레이닝 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 이때 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크가 이용될 수 있다.
하지만 이러한 방식의 경우 학습된 뉴럴 네트워크는 해당 타일의 이미지 특징만으로 해당 타일의 질병의 상태를 판단하게 되는데, 실제로는 특정 질병에 대해 특정 생체조직의 상태를 판단할 때에는 상기 특정 생체조직 자체뿐만 아니라 상기 특정 생체조직의 주변 조직의 현황(예컨대, 모양, 특정 패턴이 존재하는지 등)까지 같이 고려되어야 하는 경우가 존재한다. 하지만 종래의 방식은 이러한 경우에 적합하지 않는 문제점이 있다.
한편, 종래의 학습에는 생체이미지 또는 패치의 컬러 그 자체를 입력 데이터로 입력하게 된다. 즉, 일반적으로 RGB의 3가지 채널 값으로 정의되는 입력 데이터를 그대로 이용하게 된다. 하지만 이러한 경우 생체이미지에 상응하는 생체조직의 염색에 쓰이는 염색 시약의 특성에 따라 염색되는 조직의 컬러가 제각기 다를 수 있고, 이는 학습되는 뉴럴 네트워크에 직접적인 영향을 미칠 수 있다. 따라서 이러한 근원적인 조직의 이미지 특성이 아닌, 염색 등에 따른 비근원적인 컬러 특성에 보다 강인한 방식으로 뉴럴 네트워크가 학습되는 것이 필요할 수 있다.
또한, 패치 단위의 진단결과에 따라 질병의 발현여부를 패치 별로 판단하고, 패치 단위 진단 결과를 바로 시각화하는 경우 실제로 조직(티슈)가 아닌 부분까지 시각화되는 문제가 있을 수 있다. 따라서, 질병으로 진단된 조직 부분을 명확히 파악할 수 있도록 하는 시각화 방법이 필요할 수 있다.
한편, 생체 조직 이미지에 대한 진단을 수행한 후 이에 대한 결과를 용이하게 관리하거나 연계되는 타 시스템에 공유하기 위해서는 진단 결과물을 적절한 방식과 포맷으로 구성할 필요가 있다.
*선행기술문헌
-특허문헌
한국공개특허 10-2016-0034814 "뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템"
본 발명이 이루고자 하는 기술적인 과제는 특정 타일의 질병에 대한 상태(예컨대, 질병의 발현여부, 또는 질병의 상태를 나타내는 지표 등)를 판단하기 위해 상기 특정 타일뿐만 아니라 주변 타일까지 학습에 이용하여 보다 정확도를 높일 수 있는 뉴럴 네트워크를 이용하는 진단 시스템 및 그 방법을 제공하는 것이다.
또한 질병의 발현 여부 진단에 근원적인 이미지 특성이 아닌 컬러에 강인한 특성을 가질 수 있는 뉴럴 네트워크를 이용한 진단 시스템 및 그 방법을 제공하는 것이다.
또한 질병이 발현한 조직 부위를 명확히 파악할 수 있도록 하는 시각화 방법 및 이를 수행할 수 있는 뉴럴 네트워크를 이용한 진단 시스템을 제공하는 것이다.
또한 생체 조직의 이미지를 통해 질병의 진단을 수행한 결과를 기계와 인간이 모두 이해할 수 있는 형태로 출력할 수 있는 시스템 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 생체 이미지인 슬라이드에 질병이 존재하는지 여부를 진단한 결과를 나타내는 마킹 정보를 생성하는 마킹 정보 생성모듈-여기서, 상기 마킹 정보는 상기 슬라이드의 각 픽셀 별 질병 상태 정보를 포함함-, 상기 마킹 정보로부터 적어도 하나의 컨투어를 추출하는 컨투어 추출모듈 및 추출된 상기 적어도 하나의 컨투어 각각의 외곽선 정보를 포함하는 XML 문서를 생성하는 XML 생성모듈을 포함하는 진단 결과 생성 시스템이 제공된다.
일 실시예에서, 상기 질병 상태 정보는, 정상, 글리슨 패턴 3, 글리슨 패턴 4 및 글리슨 패턴 5를 포함할 수 있다.
일 실시예에서, 상기 XML 문서는, 추출된 상기 적어도 하나의 컨투어 각각의 질병 상태 정보를 더 포함할 수 있다.
일 실시예에서, 상기 질병은, 전립선 암인 것을 특징으로 할 수 있다.
일 실시예에서, 상기 진단 결과 생성 시스템은, 상기 슬라이드와 뉴럴 네트워크를 이용하여 상기 질병의 존재하는지 여부를 진단한 결과를 출력하는 진단 시스템을 더 포함하되, 상기 마킹 정보 생성모듈은, 상기 진단 시스템이 출력한 진단 결과에 기초하여 상기 마킹 정보를 생성할 수 있다.
일 실시예에서, 상기 진단 시스템은, 상기 슬라이드가 소정의 크기로 분할된 소정의 패치 각각에 질병이 존재하는지 여부인 패치 레벨 진단결과를 생성하는 패치 뉴럴 네트워크, 상기 슬라이드에 포함된 다수의 패치들 각각의 패치 진단결과에 기초하여 상기 슬라이드에 상응하는 패치 레벨 히트맵 이미지를 생성하는 히트맵 생성모듈, 상기 슬라이드에 상응하는 HSV(Hue-Saturation-Value) 모델에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성하는 티슈 마스크 생성모듈 및 기 패치 레벨 히트맵 이미지와 상기 티슈 마스크 이미지에 기초하여 상기 상기 슬라이드에 대한 진단 결과를 생성하는 진단결과 시각화모듈을 포함할 수 있다.
일 실시예에서, 상기 티슈 마스크 생성모듈은, 상기 슬라이드에 상응하는 S 공간에 대한 이미지 이진화를 수행하여 제1이진화 결과를 생성하고(여기서, 상기 슬라이드에 상응하는 S 공간은 상기 슬라이드에 상응하는 HSV 모델의 채도값(Saturation) 공간임), 상기 슬라이드에 상응하는 `1-V 공간에 대한 이미지 이진화를 수행하여 제2이진화 결과를 생성하고(여기서, 상기 슬라이드에 상응하는 V 공간은 상기 슬라이드에 상응하는 HSV 모델의 명도값(Value) 공간임), 상기 제1이진화 결과 및 상기 제2이진화 결과에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성할 수 있다.
일 실시예에서, 상기 진단 결과 시각화모듈은, 상기 패치 레벨 히트맵 이미지 및 상기 티슈 마스크 이미지에 조건부 랜덤 필드(Conditional Random Field)를 적용하여 상기 슬라이드에 상응하는 질병 진단 시각화 이미지를 생성할 수 있다.
본 발명의 다른 일 측면에 따르면, 생체 이미지인 슬라이드에 질병이 존재하는지 여부를 진단한 결과를 나타내는 마킹 정보를 생성하는 마킹 정보 단계-여기서, 상기 마킹 정보는 상기 슬라이드의 각 픽셀 별 질병 상태 정보를 포함함-, 상기 마킹 정보로부터 적어도 하나의 컨투어를 추출하는 컨투어 추출단계 및 출된 상기 적어도 하나의 컨투어 각각의 외곽선 정보를 포함하는 XML 문서를 생성하는 XML 생성단계를 포함하는 진단 결과 생성 방법이 제공된다.
일 실시예에서, 상기 진단 결과 생성 방법은, 상기 슬라이드와 뉴럴 네트워크를 이용하여 상기 질병의 존재하는지 여부를 진단한 결과를 출력하는 진단 단계를 더 포함하되, 상기 마킹 정보 생성단계는, 상기 진단 시스템이 출력한 진단 결과에 기초하여 상기 마킹 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 진단 단계는, 뉴럴 네트워크를 이용하여 상기 슬라이드가 소정의 크기로 분할된 소정의 패치 각각에 질병이 존재하는지 여부인 패치 레벨 진단결과를 생성하는 패치 레벨 진단 단계, 상기 슬라이드에 포함된 다수의 패치들 각각의 패치 진단결과에 기초하여 상기 슬라이드에 상응하는 패치 레벨 히트맵 이미지를 생성하는 히트맵 생성단계, 상기 슬라이드에 상응하는 HSV(Hue-Saturation-Value) 모델에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성하는 티슈 마스크 생성단계 및 상기 패치 레벨 히트맵 이미지와 상기 티슈 마스크 이미지에 기초하여 상기 상기 슬라이드에 대한 진단 결과를 생성하는 진단결과 시각화단계를 포함할 수 있다.
일 실시예에서, 상기 티슈 마스크 생성단계는, 상기 슬라이드에 상응하는 S 공간에 대한 이미지 이진화를 수행하여 제1이진화 결과를 생성하는 단계(여기서, 상기 슬라이드에 상응하는 S 공간은 상기 슬라이드에 상응하는 HSV 모델의 채도값(Saturation) 공간임), 상기 슬라이드에 상응하는 `1-V 공간에 대한 이미지 이진화를 수행하여 제2이진화 결과를 생성하는 단계(여기서, 상기 슬라이드에 상응하는 V 공간은 상기 슬라이드에 상응하는 HSV 모델의 명도값(Value) 공간임), 상기 제1이진화 결과 및 상기 제2이진화 결과에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 진단 결과 시각화단계는, 상기 패치 레벨 히트맵 이미지 및 상기 티슈 마스크 이미지에 조건부 랜덤 필드(Conditional Random Field)를 적용하여 상기 슬라이드에 상응하는 질병 진단 시각화 이미지를 생성할 수 있다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 기술적 사상에 따르면 특정 패치에 대한 진단을 수행하면서 상기 특정 패치를 포함하며 주변패치를 더 포함하는 거시 패치까지 같이 고려하여 상기 특정 패치의 질병에 대한 상태를 판단할 수 있는 뉴럴 네트워크를 제공함으로써 보다 높은 진단의 정확도를 제공할 수 있는 효과가 있다.
또한 본 발명의 기술적 사상에 의하면, 입력되는 입력 데이터 즉, 패치의 오리지널 컬러 값(예컨대, RGB 3채널 값)뿐만 아니라 그레이 채널을 추가로 입력 데이터로 활용함으로써, 단순히 그레이 채널만을 이용하는 경우 발생할 수 있는 컬러 차이가 나타내는 질병과 관련된 이미지 특성이 무시되는 것을 방지하면서도 질병의 발현 여부 진단에 근원적인 이미지 특성이 아닌 컬러의 다양한 요인에 따른 배리에이션(variaton)에 강인한 특성을 가질 수 있다.
또한 본 발명의 기술적 사상에 따르면, 질병이 발현된 것으로 판단된 패치 내에서 조직 부분만을 구분하여 시각화할 수 있는 효과가 있다.
또한 본 발명의 기술적 사상에 따르면, 생체 조직의 이미지를 통해 질병의 진단을 수행한 결과를 기계와 인간이 모두 이해할 수 있는 형태로 출력할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 진단 결과 생성 시스템의 개략적인 시스템 구성을 나타내는 도면이다.
도 2a는 본 발명의 일 실시예에 따른 진단 결과 생성 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 2b는 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 진단 결과 생성 시스템의 하드웨어적 구성을 설명하기 위한 도면이다.
도 4a는 슬라이드에 질병 영역이 어노테이션된 이미지를 도시한 도면이다.
도 4b는 본 발명의 일 실시예에 따른 진단 결과 생성 시스템이 생성하는 XML 문서의 일 예를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 뉴럴 네트워크의 예시적 구성을 설명하기 위한 도면이다.
도 6는 본 발명의 다른 실시 예에 따른 뉴럴 네트워크의 예시적 구성을 설명하기 위한 도면이다.
도 7a은 슬라이드의 일 예를 도시한 도면이다.
도 7b는 도 7a의 슬라이드에 대한 히트맵을 일 예를 도시한 도면이다.
도 7c는 도 7a의 슬라이드에 대한 티슈 마스크 이미지의 일 예를 도시한 도면이다.
도 7d는 질병으로 진단된 부분을 시각화한 결과 이미지의 일 예를 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명의 기술적 사상에 따른 진단 결과 생성 방법은 진단 결과 생성 시스템에 의해 수행될 수 있다.
도 1은 본 발명의 기술적 사상에 따른 진단 결과 생성 시스템의 개략적인 시스템 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 기술적 사상에 따른 진단 결과 생성 시스템 (100)은 소정의 서버(10)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 서버(10)는 도 3에 도시된 바와 같이 프로세서(11) 및 저장장치(12)를 포함할 수 있다. 상기 프로세서(11)는 본 발명의 기술적 사상을 구현하기 위한 프로그램(12-1)을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서(11)는 특정한 질병(예를 들면 전립선 암)에 대한 진단 결과를 생성할 수 있다. 진단 결과는 생체 조직 이미지인 슬라이드에 질병이 존재하는 경우 구체적인 질병 영역에 대한 정보 및/또는 각 영역의 질병 상태 정보(예를 들어, 질병이 얼마나 진행되었는지에 관한 정보 등)를 포함할 수 있다.
또한 상기 프로세서(11)는 상기 프로그램(12-1)과 뉴럴 네트워크(Nerual Network, 12-2)를 이용해 진단을 수행할 수 있다. 상기 뉴럴 네트워크(12-2)는 후술할 바와 같이 패치레벨 진단을 수행하는 패치 뉴럴 네트워크를 포함할 수 있다.
상기 저장장치(12)는 상기 프로그램(12-1) 및 뉴럴 네트워크(12-2)를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치(12)는 상기 서버(10)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서(11)에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 진단 결과 생성 시스템(100)은 도 1 또는 도 3에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 진단 결과 생성 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 명세서에서 상기 진단 결과 생성 시스템(100)이 진단 결과를 생성한다고 함은 질병으로 진단된 부위에 대한 마킹 정보를 포함하는 전자적인 형태의 문서를 생성하기 위한 일련의 프로세스를 의미할 수 있다. 특히 상기 진단 결과 생성 시스템(100)은 진단한 결과를 나타내는 마킹 정보를 포함하는 XML(eXtensible Markup Language) 형태의 문서를 생성할 수 있다. XML 문서는 인간과 기계(컴퓨터)가 모두 인식할 수 있는 포맷으로 인코딩된 문서이며, WWWC(World Wide Web Consortium)에 의해 표준화된 방식으로 구현될 수 있다.
일 실시예에서, 상기 진단 결과 생성 시스템(100)은 생체 조직 이미지인 슬라이드를 인간 혹은 타 시스템이 진단을 수행하여 질병이라고 판단한 부위를 어노테이션한 결과물을 이용하여 XML 문서를 생성할 수도 있다. 즉, 질병에 대한 진단 자체는 인간 혹은 타 시스템에 의해 수행되며, 이를 XML 문서의 형태로 출력하는 기능만이 상기 진단 결과 생성 시스템(100)에 의해 수행될 수 있다.
한편 다른 일 실시예에서는 상기 진단 결과 생성 시스템(100)이 슬라이드를 통해 직접 질병에 대한 진단을 수행하고, 진단 결과를 XML 문서의 형태로 출력할 수도 있다.
상기 진단 결과 생성 시스템(100)은 직접 진단을 수행하는 경우 상기 진단 결과 생성 시스템(100)은 생체조직이 표현된 생체 이미지 즉, 슬라이드의 전체 또는 상기 슬라이드의 일부인 패치를 입력받아 본 명세서에서 정의된 출력 데이터를 출력하는 일련의 프로세스를 수행할 수 있는데, 이에 대하여는 후술하기로 한다.
상기 진단 결과 생성 시스템(100)이 소정의 서버(10)에 포함되어 구현되는 경우, 상기 진단 결과 생성 시스템(100)은 상기 서버(10)에 접속 가능한 적어도 하나의 클라이언트(예컨대, 20, 20-1)와 통신을 수행할 수도 있다. 이러한 경우 상기 클라이언트(예컨대, 20, 20-1)는 생체이미지를 상기 진단 결과 생성 시스템(100)으로 전송할 수 있고, 상기 진단 결과 생성 시스템(100)은 전송된 생체이미지에 대해 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 그리고 진단결과를 상기 클라이언트(예컨대, 20, 20-1)로 전송할 수도 있다.
도 2a는 본 발명의 일 실시예에 따른 진단 결과 생성 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 2a를 참조하면, 상기 진단 결과 생성 시스템(100)은 마킹정보 생성모듈(110), 컨투어 추출모듈(120), XML 생성모듈(130)을 포함할 수 있다. 실시예에 따라서 상기 진단 결과 생성 시스템(100)은 진단 시스템(200)을 더 포함할 수도 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 진단 결과 생성 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 진단 결과 생성 시스템(100)은 상기 클라이언트(예컨대, 20, 20-1)와 통신하기 위한 통신모듈(미도시)을 더 포함할 수 있다.
상기 진단 결과 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 진단 결과 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 진단 결과 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 마킹정보 생성모듈(110), 컨투어 추출모듈(120), XML 생성모듈(130) 및/또는 상기 진단 시스템(200) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 마킹정보 생성모듈(110), 컨투어 추출모듈(120), XML 생성모듈(130) 및/또는 상기 진단 시스템(200) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 마킹정보 생성모듈(110)은 생체 이미지인 슬라이드에 질병이 존재하는지 여부를 진단한 결과를 나타내는 마킹 정보를 생성할 수 있다. 이때 마킹 정보는 상기 슬라이드의 각 픽셀 별 질병 상태 정보를 포함할 수 있다.
예를 들어, 슬라이드가 N*M의 픽셀로 구성되어 있다면, 상기 슬라이드에 상응하는 마킹 정보는 N*M의 행렬의 형태이며, 행렬의 각각의 값은 그에 대응되는 픽셀의 상태 정보를 가질 수 있다.
한편, 상기 질병 상태는 정상, 글리슨 패턴 3, 글리슨 패턴 4 및 글리슨 패턴 5를 포함할 수 있으며, 마킹 정보는 특정 상태에 대응되는 값을 가질 수 있다. 예를 들어 상기 마킹 정보에 포함되는 각각의 질병 상태 정보는, 해당 픽셀이 정상인 경우 0, 글리슨 패턴 3인 경우 1, 글리슨 패턴 4인 경우 2, 글리슨 패턴 5인 경우 3일 수 있다.
도 4a는 슬라이드에 질병 영역이 어노테이션된 이미지를 도시한 도면이다. 도 4a에 도시된 바와 같이, 질병 영역이 질병 상태에 따라 특정한 색상으로 어노테이션될 수 있다. 상기 마킹정보 생성모듈(110)은 어노테이션된 영역에 속하는 각 픽셀에 대응되는 마킹 정보의 값을 해당 픽셀의 질병 상태에 해당하는 값으로 설정함으로써 마킹 정보를 생성할 수 있다.
상기 컨투어 추출모듈(120)은 상기 마킹 정보로부터 적어도 하나의 컨투어를 추출할 수 있다. 슬라이드에서 질병이라고 어노테이션된 개별 영역마다 컨투어가 추출될 수 있다.
한편, 상기 XML 생성모듈(130)은 슬라이드에 대한 진단 결과(보다 상세하게는 질병 영역이라고 어노테이션된 결과)를 포함하는 XML 문서를 생성할 수 있다.
생성되는 XML 문서는 상기 컨투어 추출모듈(120)에 의해 추출된 상기 적어도 하나의 컨투어 각각의 외곽선 정보를 포함할 수 있다. 또한 상기 XML 문서는 추출된 상기 적어도 하나의 컨투어 각각의 질병 상태 정보를 더 포함할 수 있다.
도 4b는 생성된 XML 문서의 일 예를 도시한 도면이다. 도 4b에 도시된 바와 같은 실시예에서, 각각의 어노테이션 영역은 <Annotation>이라는 태그에 의해 구분될 수 있으며 해당 영역의 질병 상태 정보는 class라는 파라미터에 지정될 수 있다. 한편, 해당 어노테이션 영역에 상응하는 컨투어의 외곽선을 구성하는 점들이 적어도 하나의 <Coordinate> 태그를 통해 저장될 수 있다.
상술한 바와 같이 본 발명의 기술적 사상에 따르면, 슬라이드에 대한 진단 결과가 어노테이션된 영역마다 구분되어 표준화된 서식에 의해 XML의 형태로 생성될 수 있다. XML 문서는 인간뿐만 아니라 기계도 인식할 수 있는 형태의 문서이므로 다른 진단자가 이를 통해 진단 결과를 용이하게 파악할 수 있으며, 타 시스템과 손쉽게 진단 결과를 공유할 수 있게 되는 효과가 있다.
한편, 상술한 바와 같이 본 발명의 일 실시예에 따른 진단 결과 생성 시스템(100)은 직접 질병에 대한 진단을 수행할 수 있는데, 이를 위하여 상기 진단 결과 생성 시스템(100)은 뉴럴 네트워크를 이용하여 진단을 수행하는 진단 시스템(200)을 더 포함할 수 있는데, 이하에서는 상기 진단 시스템()에 대하여 상세하게 설명하기로 한다.
본 발명의 일 실시예에 따르면 상기 진단 시스템(200)은 패치 레벨 진단을 수행할 수 있다. 패치 레벨 진단은 상기 슬라이드를 패치 단위로 나누고 나누어진 패치에 질병의 발현되었는지 여부를 진단하는 것을 의미할 수 있다. 따라서 상기 진단 시스템(200)은 슬라이드의 패치별로 입력을 받고 해당 패치에 질병의 발현여부를 출력할 수 있다. 이를 위한 뉴럴 네트워크가 학습되어 구현될 수 있음은 물론이다.
한편, 패치레벨 진단을 수행하는 뉴럴 네트워크는 본 발명의 기술적 사상에 의하면, 해당 패치만을 이용하여 진단을 수행하는 것이 아니라 해당 패치의 주변패치까지 더 고려하여 진단을 수행할 수 있다. 이러한 기술적 사상은 본 출원인이 출원한 한국특허출원(출원번호 10-2016-0168176, 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법, 이하 '이전출원')에서 상세히 개시한 바 있다. 이를 통해 매우 지엽적인 영역 즉, 패치에 해당하는 영역만 단독으로 고려하여 진단을 수행하는 것보다 그 주변 영역까지 같이 고려할 경우, 진단의 정확성을 높일 수 있다. 더욱이 본 발명의 기술적 사상에 의하면, 특정 패치의 주변패치뿐만 아니라 전체 슬라이드에서 패치들의 위치, 밀집도, 클러스터의 크기 등의 물리적 특성을 더 고려함으로써 슬라이드에 질병이 존재하는지 여부를 더욱 정확하게 판단할 수 있는 효과가 있다. 이전출원은 본 발명의 레퍼런스로 포함되며 그 내용은 본 명세서에 기재된 것으로 취급될 수 있다.
한편 패치레벨 진단에 의해 출력되는 상태 정보(질병 상태 정보)는 상기 패치에 해당하는 조직에 특정 질병(예컨대, 특정 종류의 암)이 발현되었는지 여부에 대한 확률을 나타내는 정보일 수 있다. 상기 진단 시스템(200)은 특정 기준 값(문턱 값) 이상의 확률이 나타날 경우 상기 패치를 질병(예컨대, 전립선 암)이 발현한 패치로 판단할 수 있다.
물론, 상기 진단 시스템(200)은 이전출원에 개시된 바와 같이 특정 질병의 발현여부뿐만 아니라, 특정 질병의 진행 정도를 나타내는 정보(또는 상기 진행 정도에 해당할 확률)일 수도 있다. 예컨대, 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 스코어(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 상기 뉴럴 네트워크가 출력하는 질병 상태 정보에 포함될 수 있다. 예컨대, 글리슨 스코어는 2 내지 5의 값을 가지며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 따라서 상기 상태정보는 진단의 대상이 되는 패치에 해당하는 생체조직이 글리슨 스코어의 특정 값(예컨대, 3, 4, 또는 5)에 해당할 확률을 의미할 수도 있다.
상기 상태정보는 복수 개 존재할 수 있다. 예컨대, 제1상태정보는 글리슨 스코어가 3일 확률, 제2상태정보는 글리슨 스코어가 4일 확률, 제3상태정보는 글리슨 스코어가 5일 확률을 나타낼 수 있으며, 이러한 제1상태정보, 제2상태정보, 제3상태정보에 상응하는 상태채널 모두가 상기 출력 레이어에 정의될 수도 있다. 구현 예에 따라서는 글리슨 스코어가 일정 범위(예컨대, 3 내지 5, 4 내지 5 등)를 가질 확률을 나타내는 상태정보가 정의될 수도 있다. 즉, 하나의 상태정보가 질병의 진행상태를 표현하는 복수개의 지표들에 대응할 수도 있다.
이러한 경우, 상기 뉴럴 네트워크는 글리슨 스코어가 3 이상인 상태정보가 소정의 문턱 값 이상일 경우, 상기 패치를 질병 패치 즉 질병이 발현한 패치라고 판단할 수 있다.
한편, 상기 뉴럴 네트워크가 이용하는 문턱 값은 다양하게 설정될 수 있다. 실시 예에 따르면 상기 문턱 값은 복수개 이용될 수 있다. 문턱 값에 따라 특정 패치가 질병이 발현된 패치 즉, 질병 패치로 판단될 수도 있고 노멀 패치로 판단될 수 있음은 물론이다.
본 발명의 기술적 사상에 의하면, 상기 뉴럴 네트워크가 이용하는 문턱 값은 복수 개일 수 있고, 이러한 경우 복수 개의 문턱 값 각각에 따라 진단되는 질병 패치는 달라질 수 있다.
한편, 또한 상기 진단 시스템(200)은 수행된 패치 레벨 진단 결과에 대한 시각화 또는 어노테이션을 수행할 수 있다. 본 명세서에서 진단 결과에 대한 시각화라고 함은 진단 결과 질병이라고 판단된 부분에 소정의 시각적 효과를 부여하는 것을 의미할 수 있다. 시각적 효과는 시각에 의해 인지할 수 있는 효과를 의미할 수 있다. 예를 들어, 시각화에 의해 질병이라고 판단된 부분이 다른 색상으로 표현되거나 강조될 수 있다.
상기 진단 시스템(200)은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용하여 패치레벨 진단을 수행할 수 있다. 물론, 이러한 진단을 수행하기 위해 상기 뉴럴 네트워크를 학습시키는 프로세스를 먼저 수행할 수도 있다.
따라서 상기 진단 시스템(200)은 본 발명의 기술적 사상에 따라 학습된 뉴럴 네트워크 및 상기 뉴럴 네트워크를 이용하여 진단을 수행하기 위한 프로그램을 외부로부터 수신하여 진단을 수행하는 시스템일 수도 있고, 상기 뉴럴 네트워크의 학습까지 수행하는 시스템일 수도 있다. 또한, 상기 진단 시스템(200)은 범용의 데이터처리장치가 아니라 본 발명의 기술적 사상을 구현하기 위해 제작된 전용 장치로 구현될 수도 있고, 이러한 경우에는 생체이미지를 스캔하기 위한 수단 등이 더 구비될 수도 있다.
상기 뉴럴 네트워크는 이전 출원에서 개시된 바와 같이 특정 패치에 대한 진단을 수행하기 위해 상기 특정 패치 자체의 이미지만을 고려하는 것이 아니라, 상기 특정 패치의 인접한 적어도 하나의 패치의 이미지까지도 고려하여 상기 특정 패치의 진단을 수행하는 특징을 가질 수 있다. 이러한 기술적 사상을 통해 실제로 특정 패치에 해당하는 생체조직의 진단을 위해서 상기 생체조직뿐만 아니라 상기 생체조직의 주변조직의 상태까지 고려하여야 하는 질병의 진단에 매우 유의미한 수준으로 정확도의 향상이 가능해지는 효과가 있다. 또한 생체이미지를 다수의 패치로 분할하는 경우, 패치의 분할방식이나 분할된 영역이 생체조직의 어떤 위치인지 여부에 따라 발생할 수 있는 진단결과의 영향에 강인한 효과를 가질 수 있다.
물론 전술한 바와 같이 상기 뉴럴 네트워크는 이전출원에 개시된 특징을 가지지 않을 수도 있으며, 어떠한 경우든 상기 뉴럴 네트워크는 패치별로 진단을 수행하도록 학습되는 뉴럴 네트워크일 수 있다.
이때 상기 뉴럴 네트워크는 종래와 달리 패치에 포함된 픽셀들 각각에 대해 추가 채널을 더 입력값으로 받아들일 수 있다. 상기 추가 채널은 각각의 픽셀들의 그레이 값일 수 있다. 따라서 상기 뉴럴 네트워크는 패치별로 입력을 받아들이면서 상기 패치에 포함된 픽셀들의 오리지널 값(예컨대, RGB) 3채널과 더불어 추가채널인 그레이 채널을 더 입력으로 받아들일 수 있다.
이러한 경우 생체이미지의 컬러가 질병과 관련된 이미지 특성과 무관한 요인(예컨대, 진단기관의 특성, 염색시약 등)에 의해 변화가 있을 수 있는 경우에 강인한 효과를 가질 수 있다. 물론, 단순히 원래의 오리지널 값을 이용하지 않고 그레이 채널만을 이용하는 경우 발생할 수 있는, 질병과 관련된 이미지 특성이 컬러로 반영되어 표시될 때 이러한 중요한 정보들이 학습에 반영되지 못하는, 문제점을 가질 수 있으며 이러한 문제점을 해결할 수도 있다.
본 발명의 기술적 사상에 따른 진단 시스템(200)이 이용하는 뉴럴 네트워크는 미시 뉴럴 네트워크 및 거시 뉴럴 네트워크를 포함할 수 있다.
상기 미시 뉴럴 네트워크는 특정 하나의 타일을 이용하여 학습을 수행하고 상기 타일 자체의 이미지 특징을 이용하여 상기 타일에 대한 진단을 수행하기 위한 일련의 프로세스를 수행하는 네트워크를 의미할 수 있다.
상기 거시 뉴럴 네트워크는 상기 타일뿐만 아니라 상기 타일을 포함하며 상기 타일의 인접 타일을 적어도 하나 포함하는 거시타일을 이용하여 학습을 수행하고 상기 거시타일 전체의 이미지 특징을 이용하여 상기 타일에 대한 진단을 수행하기 위한 일련의 프로세스를 수행하는 네트워크를 의미할 수 있다.
따라서 본 발명의 기술적 사상에 따른 뉴럴 네트워크는 특정 타일에 대한 진단을 수행하기 위해 상기 특정 타일 자체의 이미지만을 고려하는 것이 아니라, 상기 특정 타일의 인접한 적어도 하나의 타일의 이미지까지도 고려하여 상기 특정 타일의 진단을 수행하는 특징을 가질 수 있다. 이러한 기술적 사상을 통해 실제로 특정 타일에 해당하는 생체조직의 진단을 위해서 상기 생체조직뿐만 아니라 상기 생체조직의 주변조직의 상태까지 고려하여야 하는 질병의 진단에 매우 유의미한 수준으로 정확도의 향상이 가능해지는 효과가 있다. 또한 생체이미지를 다수의 타일로 분할하는 경우, 타일의 분할방식이나 분할된 영역이 생체조직의 어떤 위치인지 여부에 따라 발생할 수 있는 진단결과의 영향에 강인한 효과를 가질 수 있다.
이러한 기술적 사상을 구현하기 위한 상기 진단 시스템(200)은 논리적으로 도 2b와 같은 구성을 가질 수 있다.
도 2b는 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용하여 질병의 진단을 수행하는 진단 시스템(200)의 논리적 구성을 설명하기 위한 도면이다.
도 2b를 참조하면, 상기 진단 시스템(200)은 제어모듈(210), 뉴럴 네트워크가 저장된 뉴럴 네트워크 모듈(220), 전처리 모듈(230), 히트맵 생성모듈(240), 티슈 마스크 생성모듈(250), 시각화 모듈(260)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 진단 시스템(200)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.
상기 진단 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 진단 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 진단 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 제어모듈(210), 뉴럴 네트워크 모듈(220), 전처리 모듈(230), 히트맵 생성모듈(240), 티슈 마스크 생성모듈(250) 및/또는 진단 결과 시각화 모듈(260) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 제어모듈(210), 뉴럴 네트워크 모듈(220), 전처리 모듈(230), 히트맵 생성모듈(240), 티슈 마스크 생성모듈(250), 및/또는 진단 결과 시각화 모듈(260) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
상기 제어모듈(210)은 상기 진단 시스템(200)에 포함된 다른 구성(예컨대, 상기 뉴럴 네트워크 모듈(220), 전처리 모듈(230), 히트맵 생성모듈(240), 티슈 마스크 생성모듈(250), 진단 결과 시각화 모듈(260) 등)의 기능 및/또는 리소스를 제어할 수 있다.
상기 제어모듈(210)은 상기 뉴럴 네트워크 모듈(220)에 저장된 뉴럴 네트워크를 이용하여 본 발명의 기술적 사상에 따른 패치 레벨 진단을 수행할 수 있다. 패치 레벨 진단은 전술한 바와 같이 본 발명의 기술적 사상에 따른 딥러닝 기반의 뉴럴 네트워크를 통해 구현될 수 있다. 즉 상기 제어모듈(210)의 제어에 의하여 상기 뉴럴 네트워크는 상기 슬라이드가 소정의 크기로 분할된 소정의 패치 각각에 질병이 존재하는지 여부인 패치 레벨 진단결과를 생성할 수 있다.
상기 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 본 명세서에서 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크일 수 있다.
상기 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
본 발명의 실시 예에 따르면, 패치레벨 진단을 수행하는 뉴럴 네트워크는 공지된 densenet을 이용하였고, 이때 이전 출원에 개시된 바와 같이 진단의 대상이 되는 특정 패치뿐만 아니라 주변 패치까지도 고려할 수 있도록 설계될 수 있다. 이외에도 다양한 뉴럴 네트워크가 활용될 수 있으며, 어떠한 경우든 상기 뉴럴 네트워크는 특정 패치를 입력으로 받고 해당 특정 패치의 질병 발현 확률에 상응하는 피쳐 값을 출력하도록 정의될 수 있다.
상기 제어모듈(210)은 상기 뉴럴 네트워크 모듈(220)에 저장된 뉴럴 네트워크 즉, 학습된 뉴럴 네트워크에 입력 데이터 즉, 패치별 입력을 받을 수 있다. 이때 전술한 바와 같이 오리지널 값에 그레이 채널 값이 추가된 값을 입력 받을 수 있다. 그레이 채널 값은 픽셀 값을 그레이 값으로 변환하여 획득될 수 있음은 물론이다. 그리고 뉴럴 네트워크에 의해 정의되는 연산들을 수행하여 출력 데이터 즉, 패치에 해당하는 질병 발현 확률에 상응하는 피쳐 값을 출력할 수 있다. 또한, 실시 예에 따라서는 후술할 바와 같은 슬라이드 레벨 진단을 위해 상기 피쳐 값이 소정의 문턱 값지 여부에 따라 해당 패치가 질병이 발현되었는지 여부를 출력할 수도 있다.
상기 뉴럴 네트워크 모듈(220)은 뉴럴 네트워크를 저장할 수 있다. 상기 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 본 명세서에서 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크일 수 있다.
상기 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다.
이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
상기 진단모듈(110)은 상기 뉴럴 네트워크 모듈(220)에 저장된 뉴럴 네트워크 즉, 학습된 뉴럴 네트워크에 입력 데이터를 입력할 수 있다. 그리고 뉴럴 네트워크에 의해 정의되는 연산들을 수행하여 출력 데이터를 출력할 수 있다.
상기 전처리 모듈(230)은 뉴럴 네트워크를 이용하여 진단을 수행하기 전에 필요한 생체이미지의 전처리를 수행할 수 있다. 예컨대, 상기 생체이미지의 전처리는 상기 생체이미지(즉, 슬라이드)를 미리 정의된 크기의 타일(패치)들로 타일화하는 과정을 포함할 수 있으며, 필요에 따라 상기 뉴럴 네트워크에 적합한 방식으로 적절한 이미지 프로세싱을 수행할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 본 발명의 기술적 사상에 따른 뉴럴 네트워크는 전술한 바와 같이 미시 뉴럴 네트워크와 거시 뉴럴 네트워크를 포함하는 기술적 특징을 가진다. 이러한 일 예는 도 4를 참조하여 상세히 설명하도록 한다.
도 4는 본 발명의 실시 예에 따른 뉴럴 네트워크의 구성을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 기술적 사상에 따른 뉴럴 네트워크(200)는 미시 뉴럴 네트워크 및 거시 뉴럴 네트워크를 포함한다.
미시 뉴럴 네트워크는 복수의 레이어들(210) 및 출력 레이어(230)를 포함한다. 복수의 레이어들(210)에는 입력 레이어(211) 및 복수의 히든 레이어들(212)이 포함된다.
거시 뉴럴 네트워크는 복수의 레이어들(220) 및 상기 출력 레이어(230)를 포함한다. 상기 복수의 레이어들(220)에는 입력 레이어(221) 및 복수의 히든 레이어들(222)이 포함된다.
상기 미시 뉴럴 네트워크는 특정 타일(30)을 입력 받고, 특정 타일의 진단결과 즉, 출력 레이어(230)에 정의된 출력 데이터들을 출력하도록 정의된다.
또한 상기 거시 뉴럴 네트워크는 상기 특정 타일(30)을 포함하며 상기 특정 타일(30)의 인접 타일을 적어도 하나 포함하는 거시 타일(40)을 입력 받고, 상기 특정 타일의 진단결과를 출력하도록 정의된다.
즉, 본 발명의 기술적 사상에 따른 뉴럴 네트워크(200)는 특정 타일(30)의 진단결과를 출력하기 위해 특정 타일(30)의 이미지 특성뿐만 아니라 상기 특정 타일(30)의 인접한 타일들의 이미지 특성까지 고려하여 진단결과를 출력할 수 있다.
상기 거시 타일(40)은 도 4에서는 타일을 둘러싼 3×3타일이 이용되는 일 예를 도시하고 있지만, 다양한 실시예가 가능할 수 있음은 물론이다.
상기 출력 레이어(230)는 상기 미시 뉴럴 네트워크에 포함된 상기 출력 레이어(230)의 직전 레이어인 제1직전 레이어(212-1)와 거시 뉴럴 네트워크에 포함된 상기 출력 레이어(230)의 직전 레이어인 제2직전 레이어(222-1) 각각의 출력 데이터를 입력받아 상기 출력 레이어(230)에 정의된 출력 데이터를 출력할 수 있다. 상기 제1직전 레이어(212-1), 상기 제2직전 레이어(222-1), 및 상기 출력 레이어(230)는 풀리 커넥티드(fully connected)될 수 있다.
상기 출력 레이어(230)를 정의하는 전방향(Feedforward) 함수로는 입력 레이어로 입력받은 입력 데이터가 뉴럴 네트워크(200)을 통해 결과로 출력 레이어(230)로 출력 데이터를 출력하는 다양한 함수 중 어느 하나가 이용될 수 있다.
결국, 상기 뉴럴 네트워크(200)는 특정 타일(30)에 대해 진단을 수행하기 위해 상기 특정 타일(30)의 이미지 특성과 상기 특정 타일(30)을 포함하는 거시 타일(40)의 이미지 특성을 같이 고려하여, 다수의 트레이닝 데이터들의 어노테이션 값과 상응하는 출력 레이어(230)의 출력 데이터를 출력하도록 학습된다.
즉, 상기 뉴럴 네트워크(200)를 학습하기 위해서는 다수의 트레이닝 데이터들이 이용되며, 다수의 트레이닝 데이터는 특정 타일(30) 및 거시 타일(40) 한쌍을 포함할 수 있다. 그리고 거시 타일(40) 역시 상기 특정 타일(30)의 어노테이션 정보를 이용하여 학습을 수행할 수 있다.
그러면 상기 뉴럴 네트워크(200)는 상기 특정 타일(30)과 상기 거시 타일(40)의 이미지 특성을 모두 고려하여, 상기 특정 타일(30)의 어노테이션 정보에 상응하는 출력 데이터를 출력할 수 있도록 학습될 수 있다.
그리고 학습된 뉴럴 네트워크(200)는 진단의 대상이 되는 대상 타일 및 상기 대상 타일에 상응하는 거시 타일을 각각 미시 뉴럴 네트워크 및 거시 뉴럴 네트워크의 입력 레이어의 입력 데이터로 입력받으면, 상기 대상 타일의 진단 결과 즉, 출력 레이어(230)의 출력 데이터를 출력할 수 있다.
상기 출력 레이어(230)는 도 5a에 도시된 바와 같이 진단의 대상이 되는 특정 패치(30)의 진단결과를 출력 데이터를 출력할 수 있다. 진단결과는 상기 특정 패치(30)의 질병의 상태에 대한 정보를 적어도 포함할 수 있다. 질병의 상태에 대한 정보는 단순히 특정 질병이 특정 패치(30)에 발현되었는지 여부(또는 확률 값)에 대한 정보를 의미할 수도 있다. 하지만 질병의 종류에 따라 질병의 상태에 대한 정보에는 보다 구체적으로 질병의 진행정도를 나타내는 정보가 포함될 수도 있다.
상기 출력 레이어는 이전출원에 개시된 바와 같이 단순히 질병의 발현여부를 출력하는 것뿐만 아니라, 여러 추가적인 정보를 출력하도록 설계될 수도 있다. 예컨대, 질병의 진행정도를 나타내는 정보 및/또는 상기 상태채널의 값과 연관된 연관인자의 발현정도를 나타내는 연관인자 정보를 포함할 수도 있다. 이에 대해서는 이전 출원에 상세히 개시되어 있으므로 상세한 설명은 생략하도록 한다.
도 5a에 도시된 뉴럴 네트워크(200)가 이용되는 경우, 도 5a에서는 도시되지 않았지만 상기 출력 레이어(230)의 출력 데이터를 입력받아 최종적으로 입력된 패치의 질병의 발현 확률에 상응하는 피쳐 값을 출력하는 레이어가 더 존재할 수 있음은 물론이다.
또는 도 5b에 도시된 바와 같이 상기 뉴럴 네트워크는 도 5a에 도시된 바와 같이 복수의 상태채널 및 연관인자 채널을 출력하는 레이어를 대체하여 입력된 패치의 질병의 발현 확률에 상응하는 피쳐 값을 출력하는 레이어(240)를 가지도록 설계될 수도 있다.
본 발명의 다른 일 실시 예에 의하면, 패치레벨 진단을 위한 뉴럴 네트워크는 도 4에 도시된 바와 같이 두 경로(미시 네트워크 및 거시 네트워크 각각의 경로)를 갖는 방식이 아니라 단일의 경로를 갖도록 설계될 수도 있다. 이러한 일 예는 도 6에 도시된 바와 같을 수 있다.
도 6는 본 발명의 다른 실시 예에 따른 뉴럴 네트워크의 예시적 구성을 설명하기 위한 도면이다.
도 6를 참조하면, 전술한 바와 같이 뉴럴 네트워크는 패치단위로 입력을 받고 입력된 패치의 질병 여부를 판단하도록 정의될 수 있다. 이때 도시된 바와 같이 상기 뉴럴 네트워크는 4채널(예컨대, RGB 및 Gray 채널) 데이터를 입력받을 수 있다.
입력된 데이터는 도 6에 도시된 바와 같이 컨볼루션 레이어, 맥스풀링 당 다수의 레이어들을 통과하여 출력 데이터 즉, 입력된 패치가 질병 패치인지 여부를 출력하도록 정의될 수 있다. 이러한 뉴럴 네트워크는 공지의 densenet 모델을 이용한 뉴럴 네트워크일 수 있다. 그리고 이때 본 발명의 기술적 사상에 따른 상기 뉴럴 네트워크는 원래의 densenet 모델 대비 1×1 컨볼루션이 추가됨을 알 수 있고, 이를 통해 내부 피쳐 맵을 확인할 수 있는 효과가 있다. 또한 활성함수로 시그노이드(Signoid)함수가 이용되고 있지만 다양한 활성함수가 이용될 수도 있다.
기타 다양한 방식으로 패치레벨 진단을 수행하는 뉴럴 네트워크가 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 본 발명의 기술적 사상에 따르면, 질병이 발현된 것으로 판단된 패치 내에서 조직 부분만을 구분하여 시각화할 수 있는데, 이하에서는 이에 대하여 보다 상세하게 설명하기로 한다.
다시 도 2b를 참조하면 상기 히트맵 생성모듈(240)은 상기 슬라이드에 포함된 다수의 패치들 각각의 패치 진단결과에 기초하여 상기 슬라이드에 상응하는 패치 레벨 히트맵 이미지를 생성할 수 있다.
상기 히트맵 생성모듈(240)은 각 패치의 진단 결과에 따라 질병 패치를 마킹할 수 있다. 상기 패치 레벨 진단에서는 각 패치가 질병 여부에 따라 클래시피케이션(분류)되므로 질병 패치 전체가 질병으로 마킹될 수 있다. 상기 히트맵 생성모듈(240)은 도 7a에 도시된 바와 같은 슬라이드에 대한 히트맵을 생성할 수 있다 예컨대, 상기 히트맵 생성모듈(240)은 도 7b에 도시된 바와 같은 히트맵을 생성할 수 있다. 도 7b에 도시된 바와 같이 패치 레벨 진단 결과를 히트맵의 형태로 시각화하게 되면 질병 부위가 격자형태로 나타나게 된다.
한편, 상기 티슈 마스크 생성모듈(250)은 상기 슬라이드에 대한 티슈 마스크 이미지를 생성할 수 있다. 예컨대, 상기 티슈 마스크 생성모듈(250)은 도 7c에 도시된 바와 같은 티슈 마스크 이미지를 생성할 수 있다.
상기 티슈 마스크 생성모듈(250)이 티슈 마스크 이미지를 생성하는 방법에는 다음과 같은 특징이 있다.
보다 구체적으로 설명하면 다음과 같다. 상기 티슈 마스크 생성모듈(250)은 상기 슬라이드에 상응하는 HSV(Hue-Saturation-Value) 모델에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성할 수 있다.
일 실시예에서, 상기 티슈 마스크 생성모듈(250)은 상기 슬라이드에 상응하는 S 공간에 대한 이미지 이진화를 수행하여 제1이진화 결과를 생성할 수 있다. 이때, 상기 슬라이드에 상응하는 S 공간은 상기 슬라이드에 상응하는 HSV 모델의 채도값(Saturation)으로 이루어진 공간이다.
상기 티슈 마스크 생성모듈(250)은 이미지 이진화 방법으로 오츠 스레시홀딩(Otsu Threshholding)을 이용할 수 있다. 오츠 스레시홀딩은 컴퓨터 비전이나 이미지 프로세싱 분야에서 사용되는 클러스터링-기반의 이미지 스레쉬홀딩 기법이다.
또한 상기 티슈 마스크 생성모듈(250)은 상기 슬라이드에 상응하는 `1-V 공간에 대한 이미지 이진화를 수행하여 제2이진화 결과를 생성할 수 있다. 이때, 상기 슬라이드에 상응하는 V 공간은 상기 슬라이드에 상응하는 HSV 모델의 명도값(Value)으로 이루어진 공간(즉, w×h의 크기를 가지며, V 채널의 값(명도값)으로 이루어진 매트릭스(w는 이미지의 너비, h는 이미지의 높이))이며, 1-V 공간은 w×h의 크기를 가지며 1로 채워진 매트릭스에서 V 채널의 값을 뺀 공간일 수 있다.
한편, 상기 티슈 마스크 생성모듈(250)은 상기 제1이진화 결과 및 상기 제2이진화 결과에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성할 수 있다.
상기 제1이진화 결과 및 상기 제2이진화 결과는, 상기 슬라이드의 각 픽셀에 상응하는 이진 값(예를 들어, 0 또는 1 혹은 0 또는 255)을 포함할 수 있으며, 상기 티슈 마스크 생성모듈(250)은 상기 슬라이드의 각 픽셀에 대하여, 상기 픽셀에 상응하는 제1이진화 결과의 이진 값 또는 상기 픽셀에 상응하는 제1이진화 결과의 이진 값이 1(혹은 255)인 경우 상기 픽셀에 상응하는 티슈 마스크 이미지의 상의 픽셀을 티슈 픽셀(티슈에 해당하는 픽셀)이라고 판단하고, 그렇지 않은 경우(즉, 이진 값이 0인 경우) 상기 픽셀에 상응하는 티슈 마스크 이미지의 상의 픽셀을 논-티슈 픽셀(티슈에 해당하지 않는 픽셀)이라고 판단함으로써 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성할 수 있다. 요약하면, 상기 티슈 마스크 생성모듈(250)은 S 공간에 대한 이미지 이진화 결과와 1-V 공간에 대한 이미지 이진화 결과간의 논리합 연산을 통하여 티슈 마스크 이미지를 생성할 수 있다.
한편, 상기 진단 결과 시각화 모듈(260)은 상기 패치 레벨 히트맵 이미지와 상기 티슈 마스크 이미지에 기초하여 상기 슬라이드에 상응하는 질병 진단 시각화 이미지를 생성할 수 있다. 예를 들어 상기 진단 결과 시각화 모듈(260)은 도 7d에 도시된 바와 같은 질병 진단 시각화 이미지를 생성할 수 있다.
일 실시예에서, 상기 진단 결과 시각화 모듈(260)은 상기 패치 레벨 히트맵 이미지 및 상기 티슈 마스크 이미지에 조건부 랜덤 필드(Conditional Random Field)를 적용하여 상기 슬라이드에 상응하는 질병 진단 시각화 이미지를 생성할 수 있다. 특히 상기 조건부 랜덤 필드는 라벨의 개수가 2이며, 상기 패치 레벨 히트맵 이미지에 포함된 픽셀 중 특정 스레쉬홀드 이하인 픽셀을 0으로 변환하는 것을 특징으로 할 수 있다.
보다 상세하게 설명하면 다음과 같다.
상기 시각화 모듈(260)에는 원래의 조직 이미지(즉, 슬라이드 또는 패치), 상기 티슈 마스크 생성모듈(250)에 의해 생성된 티슈 마스크 이미지 및 상기 히트맵 생성모듈(240)에 의해 생성된 상기 패치 레벨 히트맵 이미지가 입력될 수 있다. 각 입력 값의 크기를 살펴보면, 원래의 조직 이미지는 RGB 3채널이므로 크기가 w×h×3이되며, 티슈 마스크 이미지의 크기는 w×h이며, 패치 레벨 히트맵 이미지 역시 w×h가 된다. 한편, 상기 시각화 모듈(260)은 w×h의 패치 레벨 히트맵 이미지를 w×h×2로 변환할 수 있다. 이때, w×h×[0]에는 원래의 패치 레벨 히트맵 이미지가 들어가며, w×h×[1]에는 1-패치 레벨 히트맵 이미지의 각 픽셀 값이 들어가게 된다. 이후 디멘젼=3에 대하여 소프트맥스(softmax)를 취하여 각 픽셀이 질병(예를 들면 전립선암)을 나타내는 확률 공간을 구성하게 되며, 이 확률에 따라 CRF 알고리즘에 의해 실제 조직 이미지의 모양이 영향을 받아 변형되면서 실제 조직의 모양에 맞도록 질병 이미지가 시각화될 수 있다.
특히 본 발명의 바람직한 일 실시예에서는, 상기 티슈 마스크 생성모듈(250)은 S 공간에 대한 이미지 이진화 결과와 1-V 공간에 대한 이미지 이진화 결과간의 논리합 연산을 통하여 티슈 마스크 이미지를 생성하는 방법과 조건부 랜덤 필드(Conditional Random Field)를 적용하는 방법을 한꺼번에 적용함으로써 슬라이드에서 질병으로 진단되는 부분을 매우 정확하게 시각화할 수 있다.
최종적인 시각화 결과의 일 예인 도 7d와 격자 형태의 히트맵인 도 7b를 비교해보면, 도 7d의 형태가 훨씬 미려함을 알 수 있다.
한편, 본 발명의 기술적 사상에 따른 진단 결과 시각화 방법은 패치 단위로 진단 결과가 도출되는 일반적인 클래시피케이션 방법에 의한 진단 결과에도 적용될 수 있다. 패치 단위 클래시피케이션의 경우 조직이 아닌 부분까지도 질병으로 표시되지만(도 7a 참조), 본 발명의 기술적 사상에 따른 진단 결과 시각화 방법을 적용함으로써 질병으로 진단된 조직 부분만이 다른 부분과 명확하게 구분될 수 있는 효과가 있다.
한편, 상기 진단 결과 시각화 모듈(260)에 의해 생성되는 질병 진단 시각화 이미지는 앞서 설명한 마킹 정보 생성모듈(110)로 제공될 수 있으며, 컨투어 추출모듈(120) 및 XML 생성모듈(130)에 의한 프로세스가 진행되어 진단 결과를 포함하는 XML 문서가 생성될 수 있다.
한편 본 명세서에서는 전립선 암에 대해 본 발명의 기술적 사상이 적용된 일 예를 주로 설명하였지만, 특정 조직뿐만 아니라 해당 조직이 주변조직의 상태까지 고려하여 상기 특정 조직의 진단을 수행할 필요가 있는 다른 질병에 대해서도 본 발명의 기술적 사상이 적용될 경우 정확한 진단 및 진단 결과에 대한 시각화가 가능할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 구현 예에 따라서, 상기 진단 결과 생성 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 뉴럴 네트워크를 통한 진단 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 "진단 결과 생성 시스템 및 방법"에 이용될 수 있다.

Claims (16)

  1. 생체 이미지인 슬라이드에 질병이 존재하는지 여부를 진단한 결과를 나타내는 마킹 정보를 생성하는 마킹 정보 생성모듈-여기서, 상기 마킹 정보는 상기 슬라이드의 각 픽셀 별 질병 상태 정보를 포함함;
    상기 마킹 정보로부터 적어도 하나의 컨투어를 추출하는 컨투어 추출모듈; 및
    추출된 상기 적어도 하나의 컨투어 각각의 외곽선 정보를 포함하는 XML 문서를 생성하는 XML 생성모듈을 포함하는 진단 결과 생성 시스템.
  2. 제1항에 있어서,
    상기 질병 상태 정보는,
    정상, 글리슨 패턴 3, 글리슨 패턴 4 및 글리슨 패턴 5를 포함하는 진단 결과 생성 시스템.
  3. 제2항에 있어서, 상기 XML 문서는,
    추출된 상기 적어도 하나의 컨투어 각각의 질병 상태 정보를 더 포함하는 진단 결과 생성 시스템.
  4. 제1항에 있어서, 상기 질병은,
    전립선 암인 것을 특징으로 하는 진단 결과 생성 시스템.
  5. 제1항에 있어서,
    상기 진단 결과 생성 시스템은,
    상기 슬라이드와 뉴럴 네트워크를 이용하여 상기 질병의 존재하는지 여부를 진단한 결과를 출력하는 진단 시스템을 더 포함하되,
    상기 마킹 정보 생성모듈은,
    상기 진단 시스템이 출력한 진단 결과에 기초하여 상기 마킹 정보를 생성하는 진단 결과 생성 시스템.
  6. 제5항에 있어서,
    상기 진단 시스템은,
    상기 슬라이드가 소정의 크기로 분할된 소정의 패치 각각에 질병이 존재하는지 여부인 패치 레벨 진단결과를 생성하는 패치 뉴럴 네트워크;
    상기 슬라이드에 포함된 다수의 패치들 각각의 패치 진단결과에 기초하여 상기 슬라이드에 상응하는 패치 레벨 히트맵 이미지를 생성하는 히트맵 생성모듈;
    상기 슬라이드에 상응하는 HSV(Hue-Saturation-Value) 모델에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성하는 티슈 마스크 생성모듈; 및
    상기 패치 레벨 히트맵 이미지와 상기 티슈 마스크 이미지에 기초하여 상기 상기 슬라이드에 대한 진단 결과를 생성하는 진단결과 시각화모듈을 포함하는 진단 결과 생성 시스템.
  7. 제6항에 있어서,
    상기 티슈 마스크 생성모듈은,
    상기 슬라이드에 상응하는 S 공간에 대한 이미지 이진화를 수행하여 제1이진화 결과를 생성하고(여기서, 상기 슬라이드에 상응하는 S 공간은 상기 슬라이드에 상응하는 HSV 모델의 채도값(Saturation) 공간임),
    상기 슬라이드에 상응하는 `1-V 공간에 대한 이미지 이진화를 수행하여 제2이진화 결과를 생성하고(여기서, 상기 슬라이드에 상응하는 V 공간은 상기 슬라이드에 상응하는 HSV 모델의 명도값(Value) 공간임),
    상기 제1이진화 결과 및 상기 제2이진화 결과에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성하는 진단 결과 생성 시스템.
  8. 제6항에 있어서,
    상기 진단 결과 시각화 모듈은,
    상기 패치 레벨 히트맵 이미지 및 상기 티슈 마스크 이미지에 조건부 랜덤 필드(Conditional Random Field)를 적용하여 상기 슬라이드에 상응하는 질병 진단 시각화 이미지를 생성하는 진단 시스템.
  9. 생체 이미지인 슬라이드에 질병이 존재하는지 여부를 진단한 결과를 나타내는 마킹 정보를 생성하는 마킹 정보 단계-여기서, 상기 마킹 정보는 상기 슬라이드의 각 픽셀 별 질병 상태 정보를 포함함;
    상기 마킹 정보로부터 적어도 하나의 컨투어를 추출하는 컨투어 추출단계; 및
    추출된 상기 적어도 하나의 컨투어 각각의 외곽선 정보를 포함하는 XML 문서를 생성하는 XML 생성단계를 포함하는 진단 결과 생성 방법.
  10. 제9항에 있어서,
    상기 질병 상태 정보는,
    정상, 글리슨 패턴 3, 글리슨 패턴 4 및 글리슨 패턴 5를 포함하는 진단 결과 생성 방법.
  11. 제10항에 있어서, 상기 XML 문서는,
    추출된 상기 적어도 하나의 컨투어 각각의 질병 상태 정보를 더 포함하는 진단 결과 생성 방법.
  12. 제9항에 있어서,
    상기 진단 결과 생성 방법은,
    상기 슬라이드와 뉴럴 네트워크를 이용하여 상기 질병의 존재하는지 여부를 진단한 결과를 출력하는 진단 단계를 더 포함하되,
    상기 마킹 정보 생성단계는,
    상기 진단 시스템이 출력한 진단 결과에 기초하여 상기 마킹 정보를 생성하는 단계를 포함하는 진단 결과 생성 방법.
  13. 제12항에 있어서,
    상기 진단 단계는,
    뉴럴 네트워크를 이용하여 상기 슬라이드가 소정의 크기로 분할된 소정의 패치 각각에 질병이 존재하는지 여부인 패치 레벨 진단결과를 생성하는 패치 레벨 진단 단계;
    상기 슬라이드에 포함된 다수의 패치들 각각의 패치 진단결과에 기초하여 상기 슬라이드에 상응하는 패치 레벨 히트맵 이미지를 생성하는 히트맵 생성단계;
    상기 슬라이드에 상응하는 HSV(Hue-Saturation-Value) 모델에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성하는 티슈 마스크 생성단계; 및
    상기 패치 레벨 히트맵 이미지와 상기 티슈 마스크 이미지에 기초하여 상기 상기 슬라이드에 대한 진단 결과를 생성하는 진단결과 시각화단계를 포함하는 진단 결과 생성 방법.
  14. 제13항에 있어서,
    상기 티슈 마스크 생성단계는,
    상기 슬라이드에 상응하는 S 공간에 대한 이미지 이진화를 수행하여 제1이진화 결과를 생성하는 단계(여기서, 상기 슬라이드에 상응하는 S 공간은 상기 슬라이드에 상응하는 HSV 모델의 채도값(Saturation) 공간임);
    상기 슬라이드에 상응하는 `1-V 공간에 대한 이미지 이진화를 수행하여 제2이진화 결과를 생성하는 단계(여기서, 상기 슬라이드에 상응하는 V 공간은 상기 슬라이드에 상응하는 HSV 모델의 명도값(Value) 공간임);
    상기 제1이진화 결과 및 상기 제2이진화 결과에 기초하여 상기 슬라이드에 상응하는 티슈 마스크 이미지를 생성하는 단계를 포함하는 진단 결과 생성 방법.
  15. 제13항에 있어서,
    상기 진단 결과 시각화 단계는,
    상기 패치 레벨 히트맵 이미지 및 상기 티슈 마스크 이미지에 조건부 랜덤 필드(Conditional Random Field)를 적용하여 상기 슬라이드에 상응하는 질병 진단 시각화 이미지를 생성하는 진단 방법.
  16. 데이터 처리장치에 설치되며 제9항 내지 제15항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
PCT/KR2019/009845 2018-08-07 2019-08-07 진단 결과 생성 시스템 및 방법 WO2020032560A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021505756A JP7298943B2 (ja) 2018-08-07 2019-08-07 診断結果生成システム及び方法
CN201980053473.9A CN112567466A (zh) 2018-08-07 2019-08-07 诊断结果生成系统及其方法
US17/266,098 US20210327059A1 (en) 2018-08-07 2019-08-07 Diagnosis result generation system and method
EP19848747.2A EP3819907A4 (en) 2018-08-07 2019-08-07 SYSTEM AND METHOD FOR GENERATING DIAGNOSTIC RESULTS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180092030A KR102215269B1 (ko) 2018-08-07 2018-08-07 진단 결과 생성 시스템 및 방법
KR10-2018-0092030 2018-08-07

Publications (2)

Publication Number Publication Date
WO2020032560A2 true WO2020032560A2 (ko) 2020-02-13
WO2020032560A3 WO2020032560A3 (ko) 2020-03-26

Family

ID=69415506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009845 WO2020032560A2 (ko) 2018-08-07 2019-08-07 진단 결과 생성 시스템 및 방법

Country Status (6)

Country Link
US (1) US20210327059A1 (ko)
EP (1) EP3819907A4 (ko)
JP (1) JP7298943B2 (ko)
KR (1) KR102215269B1 (ko)
CN (1) CN112567466A (ko)
WO (1) WO2020032560A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220093017A (ko) * 2020-12-24 2022-07-05 (주)제이엘케이 인공지능 기반의 전립선암 병리 영상 레포트 시스템
KR102393957B1 (ko) 2021-12-30 2022-05-03 서울대학교병원 전립선암 분석 장치 및 프로그램, 이의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034814A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ717700A0 (en) * 2000-04-28 2000-05-18 Canon Kabushiki Kaisha A method of annotating an image
JP4864548B2 (ja) * 2005-05-31 2012-02-01 株式会社東芝 医療用レポート作成システム、当該システムを内蔵する超音波診断装置、医療用レポート作成プログラム
KR100882275B1 (ko) * 2007-05-25 2009-02-06 전남대학교산학협력단 얼굴영상을 이용한 질병분류시스템
CA2671226A1 (en) * 2008-07-11 2010-01-11 National Research Council Of Canada Color analyzer and calibration tool
JP5321145B2 (ja) * 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
US20120209115A1 (en) * 2009-10-30 2012-08-16 Hitachi Medical Corporation Ultrasonic diagnostic device, method for generating image for evaluating disorder of part to be diagnosed of object, and program for generating image for evaluating disorder of part to be diagnosed of object
KR101033416B1 (ko) * 2009-11-30 2011-05-11 재단법인대구경북과학기술원 맥박 진단 로봇 시스템 및 그를 이용한 맥박 진단 방법
US11244745B2 (en) * 2010-01-22 2022-02-08 Deka Products Limited Partnership Computer-implemented method, system, and apparatus for electronic patient care
KR101214349B1 (ko) * 2011-04-27 2012-12-20 주식회사 포스코아이씨티 분산 처리 기반의 질병 진단 시스템 및 방법
EP2764468A4 (en) * 2011-10-05 2015-11-18 Cireca Theranostics Llc PROCESS FOR ANALYZING BIOLOGICAL SAMPLES BY SPECTRAL IMAGING
KR101431745B1 (ko) * 2012-03-06 2014-08-29 주식회사 아이벡 생체 중의 특정 부위에 대한 분석정보 출력방법 및 장치
JP5995215B2 (ja) * 2012-05-14 2016-09-21 学校法人東京理科大学 癌細胞領域抽出装置、方法、及びプログラム
JP2015534141A (ja) * 2012-08-06 2015-11-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療治療イベントの注釈付き記録を管理する方法及び装置
US20140313303A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
JP6654634B2 (ja) * 2014-12-03 2020-02-26 ベンタナ メディカル システムズ， インコーポレイテッド 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置
US9754383B1 (en) * 2014-12-22 2017-09-05 Flagship Biosciences, Inc. Automated methods for assessment of celiac disease
US10061972B2 (en) * 2015-05-28 2018-08-28 Tokitae Llc Image analysis systems and related methods
CN110073404B (zh) * 2016-10-21 2023-03-21 南坦生物组学有限责任公司 数字组织病理学和显微解剖
KR101869438B1 (ko) * 2016-11-22 2018-06-20 네이버 주식회사 딥 러닝을 이용하여 환자의 진단 이력으로부터 질병 예후를 예측하는 방법 및 시스템
US11449985B2 (en) * 2016-12-02 2022-09-20 Regents Of The University Of Minnesota Computer vision for cancerous tissue recognition
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
CA3067824A1 (en) * 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
US20190108912A1 (en) * 2017-10-05 2019-04-11 Iquity, Inc. Methods for predicting or detecting disease
US10460150B2 (en) * 2018-03-16 2019-10-29 Proscia Inc. Deep learning automated dermatopathology
KR102162895B1 (ko) * 2018-06-04 2020-10-07 주식회사 딥바이오 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
KR102172213B1 (ko) * 2018-06-04 2020-10-30 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034814A (ko) 2014-09-22 2016-03-30 삼성전자주식회사 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3819907A4

Also Published As

Publication number Publication date
EP3819907A2 (en) 2021-05-12
KR20200016666A (ko) 2020-02-17
CN112567466A (zh) 2021-03-26
EP3819907A4 (en) 2022-03-02
WO2020032560A3 (ko) 2020-03-26
KR102215269B1 (ko) 2021-02-15
JP7298943B2 (ja) 2023-06-27
JP2021533473A (ja) 2021-12-02
US20210327059A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2018106005A1 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
WO2021010671A9 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2020032560A2 (ko) 진단 결과 생성 시스템 및 방법
WO2022005090A1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
WO2020017875A1 (en) Electronic apparatus, method for processing image and computer-readable recording medium
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2022050719A1 (ko) 사용자의 치매 정도 결정 방법 및 장치
WO2021210796A1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2021101045A1 (en) Electronic apparatus and method for controlling thereof
WO2021210797A1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
WO2023120831A1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2023075434A1 (ko) 머신러닝 기반 바운딩 박스를 이용한 디지털 참고서 제공 시스템 및 그 방법
WO2020145606A1 (ko) 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치
WO2024014789A1 (ko) 차트축감지방법 및 장치
WO2019235827A1 (ko) 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
WO2020141907A1 (ko) 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법
WO2019231162A1 (ko) 이미지 분할 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19848747

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2021505756

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019848747

Country of ref document: EP

Effective date: 20210205