WO2022065798A1 - 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
WO2022065798A1
WO2022065798A1 PCT/KR2021/012653 KR2021012653W WO2022065798A1 WO 2022065798 A1 WO2022065798 A1 WO 2022065798A1 KR 2021012653 W KR2021012653 W KR 2021012653W WO 2022065798 A1 WO2022065798 A1 WO 2022065798A1
Authority
WO
WIPO (PCT)
Prior art keywords
pathological image
lesion region
image
learning
lesion
Prior art date
Application number
PCT/KR2021/012653
Other languages
English (en)
French (fr)
Inventor
곽태영
허지민
장혜윤
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Publication of WO2022065798A1 publication Critical patent/WO2022065798A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to a method for visualizing an analysis result so that a diagnostician can more easily understand a pathological analysis result for a pathological image.
  • Specimens obtained through biopsy are produced in the form of stained glass slides through a series of processes, and in the past, these slides were visually observed and read by a pathologist through an optical microscope for diagnosis.
  • these slides are scanned with a digital slide scanner, converted into digital images, and observed and diagnosed through a computer monitor.
  • pathology slide image viewer software for diagnosis, a software that provides functions such as detecting lesions or diagnosing diseases by analyzing various types of medical images with artificial intelligence, is emerging. It is common to convert the analysis result (eg, a lesion area within a tissue, etc.) into visual elements such as polygons or heat maps of various colors and provide them in the form of being superimposed on the original medical image. 1 shows an example of a diagnostic pathology slide displayed by these software.
  • This analysis result visualization method has an advantage in that the location or intensity of the analysis result can be quickly identified at a glance, but since the visual element of the analysis result covers the original image, in order to check the original image of the area, the visual element is temporarily disabled. There are inconveniences such as having to remove it. In other words, since the user cannot check the location of the analysis result the moment the visual element is removed, the user must check the original image referring to the memorized location. case is common
  • a method of displaying only the boundary line of the area (eg, lesion area) designated by the analysis result and leaving the inside blank may be used. This method enlarges the image Accordingly, when it is impossible to check all the boundaries of the corresponding area, it may be difficult to distinguish the inner area and the outer area of the boundary line.
  • a bag which is a set of instances, is regarded as a learning unit. So, in individual instance training, you label the instances, whereas in multi-instance training you label the bag, not the instance.
  • Multi-instance learning is similar to individual-instance learning except in terms of units of learning, but with the following limitations: In performing binary classification, it is assumed that if the bag is positive, at least one of the instances present in the bag is positive, and if the bag is negative, all instances in the bag are negative.
  • multi-instance learning can be applied to, for example, a field of diagnosing a lesion from a pathological Whole Slide Image using a neural network.
  • a neural network for diagnosing a lesion not a hole-slide-image, but an image patch divided into a certain size is used as training data. Because it is given to -slide-image.
  • 3A is a diagram illustrating an example of learning data used for multi-instance learning.
  • 1 shows M bags B 1 to B M , each containing N data instances.
  • 3B is a diagram illustrating a pseudo code illustrating an example of a process of learning a neural network (NN) through a multi-instance learning technique.
  • 3B shows a process of learning learning data by one epoch, and in the actual learning process, learning may be performed by a plurality of epochs. In FIG. 3B , it is assumed that learning proceeds with the learning data shown in FIG. 3A .
  • the process of extracting training data instances (T 1 to T M ) from each bag (B 1 to B M ) is performed ( S10 ), and then to the extracted training data instances.
  • a process (S20) of training the neural network (NN) is performed.
  • the probability that the corresponding instance is positive is calculated (S11, S12).
  • the data instance D ik with the highest positive probability of the data instance is determined as the training data instance Ti ( S13 ), and the label of the training data instance Ti is the label given to the bag B i . becomes (S14).
  • the neural network before training is completed is used in the process of extracting the training data instances. Therefore, if multiple data instances are extracted from one bag, the possibility of incorrect instances being extracted increases. will occur
  • the technical problem to be achieved by the present invention is to provide a method and system for identifying the location and size of information such as a lesion area detected as a result of analyzing a pathological slide image without obscuring the original image.
  • a computing system includes: acquiring a pathological image; determining, by the computing system, a lesion region in the pathological image; applying, by the computing system, a predetermined visual effect to the non-lesion region of the pathological image so that the lesion region of the pathological image and the non-lesion region of the pathological image are visually distinguished; and outputting, by the computing system, a pathological image to which a visual effect is applied to the non-lesion region.
  • the imparting of a predetermined visual effect to the non-lesion region of the pathological image includes: adjusting transparency of the non-lesion region of the pathological image; adjusting the saturation of the non-lesion region of the pathological image; Alternatively, the method may include adjusting the brightness of the non-lesion region of the pathological image.
  • the computing system alternates between a pathological image to which a visual effect is applied to the non-lesion region and an original pathological image to which a visual effect is not applied to the non-lesion region whenever a predetermined toggle command is input from the user.
  • the step of outputting may be further included.
  • the determining of the lesion region in the pathological image may include inputting each of a plurality of diagnostic patches obtained by dividing the pathological image into a predetermined size into a pre-trained neural network to correspond to each of the plurality of diagnostic patches. obtaining a judgment result; and determining a lesion region in the pathological image based on the obtained determination results of each of the plurality of diagnostic patches.
  • the neural network is trained in advance by a predetermined neural network learning method using an autoencoder for determining whether the input patch is in the first state or the second state - where the patch is an image It is one of partitions of a predetermined size, wherein the first state is a state in which a lesion does not exist, and the second state is a state in which a lesion is present.
  • the autoencoder is trained in advance with only the patch in the first state, the possibility of each patch constituting the learning image, and the autoencoder for at least a portion of each patch constituting the learning image
  • the step of judging a part of each patch constituting the training image as a training patch based on the determination result may include, when the training image is labeled in the first state, from the patch most likely to be in the second state to the second state.
  • the autoencoder inputting to the autoencoder in the order of decreasing probability, and determining that the upper partial patch determined to be in the first state by the autoencoder is a learning patch corresponding to the learning image; and when the learning image is labeled as the second state, it is input to the autoencoder in the order from the patch most likely to be in the second state to the less likely patch to be in the second state, and determined to be in the second state by the autoencoder It may include the step of determining that the patch of the upper part of the training patch corresponding to the training image.
  • a computer program installed in a data processing apparatus and recorded in a medium for performing the above-described method.
  • a computer-readable recording medium in which a computer program for performing the above-described method is recorded.
  • a computing system comprising a processor and a memory, wherein the memory, when executed by the processor, causes the computing system to perform the above-described method.
  • an acquisition module for acquiring a pathological image; a determination module for determining a lesion area in the pathological image; a processing module for applying a predetermined visual effect to the non-lesion region of the pathological image so as to visually distinguish the lesion region of the pathological image from the non-lesion region of the pathological image; and an output module for outputting a pathological image to which a visual effect is applied to the non-lesion region is provided.
  • the processing module is configured to adjust the transparency of the non-lesion region of the pathological image, adjust the saturation of the non-lesion region of the pathological image, or , it may be characterized in that the brightness of the non-lesion region of the pathological image is adjusted.
  • the output module alternates between a pathological image to which a visual effect is applied to the non-lesion region and an original pathological image to which a visual effect is not applied to the non-lesion region whenever a predetermined toggle command is input from the user.
  • the step of outputting may be further included.
  • the determination module is configured to input each of a plurality of diagnostic patches obtained by dividing the pathological image into predetermined sizes into a pre-trained neural network to obtain a determination result corresponding to each of the plurality of diagnostic patches, and obtain Based on the determination result of each of the plurality of diagnostic patches, the lesion region in the pathological image may be determined.
  • the neural network is trained in advance by a predetermined neural network learning method using an autoencoder for determining whether the input patch is in the first state or the second state - where the patch is an image It is one of partitions of a predetermined size, wherein the first state is a state in which a lesion does not exist, and the second state is a state in which a lesion is present.
  • the autoencoder is trained in advance with only the patch in the first state, the possibility of each patch constituting the learning image, and the autoencoder for at least a portion of each patch constituting the learning image
  • the step of judging a part of each patch constituting the training image as a training patch based on the determination result may include, when the training image is labeled in the first state, from the patch most likely to be in the second state to the second state.
  • the autoencoder inputting to the autoencoder in the order of decreasing probability, and determining that the upper partial patch determined to be in the first state by the autoencoder is a learning patch corresponding to the learning image; and when the learning image is labeled as the second state, it is input to the autoencoder in the order from the patch most likely to be in the second state to the less likely patch to be in the second state, and determined to be in the second state by the autoencoder It may include the step of determining that the patch of the upper part of the training patch corresponding to the training image.
  • the lesion area and the non-lesion area can be easily distinguished, and the lesion area, which the diagnostician mainly examines for diagnosis, remains intact. can be maintained in the state of
  • an instance for learning multiple data instances from one data bag may be extracted.
  • the conventional multi-instance learning method when multiple instances for training are extracted from one data bag, there is a high possibility that an incorrect training data instance is extracted, which may negatively affect the learning of the neural network, but the method according to the technical idea of the present invention
  • According to by filtering the training instances using the pre-trained autoencoder, there is an effect that it is possible to significantly reduce the number of wrong training data instances being extracted. It has the effect of being able to
  • FIG. 1 shows an example of a diagnostic pathology slide displayed by conventional software.
  • FIG. 2 shows another example of a pathology slide for diagnosis displayed by conventional software.
  • 3A is a diagram illustrating an example of learning data used for multi-instance learning.
  • 3B is a diagram illustrating a pseudo code illustrating an example of a process of learning a neural network through a multi-instance learning technique.
  • FIG. 4 is a diagram schematically illustrating a configuration of a computing system for performing a pathological image analysis result output method according to an embodiment of the present invention.
  • 5A is a diagram illustrating an example of a pathological image in a state in which transparency of only a non-lesioned region of the pathological image is increased.
  • 5B is a diagram illustrating an example of a pathological image in a state in which saturation of only a non-lesion region of the pathological image is reduced.
  • 5C is a diagram illustrating an example of a pathological image in a state in which brightness of only a non-lesion region of the pathological image is reduced.
  • FIG. 6 is a diagram illustrating an example of a determination result (lattice map) for each diagnostic patch obtained by dividing a pathological image in a grid form.
  • FIG. 7 is a diagram illustrating a schematic configuration of a computing system for performing a neural network learning method according to the technical idea of the present invention.
  • FIG. 8 is a diagram schematically illustrating the structure of an autoencoder used in a neural network learning method according to the technical idea of the present invention.
  • FIG. 9 is a diagram illustrating an example of a method of extracting a data instance for learning by a neural network learning system according to the technical idea of the present invention.
  • FIG. 10 is a diagram illustrating an example of a specific process of step S120 of FIG. 9 .
  • step S121 of FIG. 10 is a diagram illustrating an example of a specific process of step S121 of FIG. 10 .
  • FIG. 12 is a diagram illustrating a pathological image analysis result output method according to an embodiment of the present invention.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 4 is a diagram schematically illustrating a configuration of a computing system for performing a pathological image analysis result output method according to an embodiment of the present invention.
  • a computing system that performs the pathological image analysis result output method according to the technical spirit of the present invention may be referred to as a pathological image analysis result output system.
  • the pathological image analysis result output method may be performed by the pathological image analysis result output system 100 .
  • the pathological image analysis result output system 100 may be a computing system that is a data processing device having computing power to implement the technical idea of the present invention, and generally not only a server, a data processing device that a client can access through a network, but also a server. It may include a computing device such as a personal computer or a portable terminal.
  • the pathological image analysis result output system 100 may be implemented as any one physical device, but if necessary, a plurality of physical devices are organically coupled to the pathological image analysis result output system 100 according to the technical idea of the present invention. An average expert in the technical field of the present invention can easily infer that it can be implemented.
  • the pathological image analysis result output system 100 may include a display device 150 , and may output a pathological image analysis result through the display device 150 .
  • the pathological image analysis result output system 100 is connected to a predetermined terminal 200 through a network and outputs the result of analyzing the pathological image to the terminal 200 at the request of the terminal 200 can be printed out.
  • the pathological image analysis result output system 100 may include an acquisition module 110 , a determination module 120 , a processing module 130 , and an output module 340 . According to an embodiment, the pathological image analysis result output system 100 may further include a storage module 150 .
  • the pathological image analysis result output system ( 100) may include more components than this, of course.
  • the system 100 may include other components of the pathological image analysis result output system 100 (eg, an acquisition module 110 , a determination module 120 , a processing module 130 , an output module 340 ). etc.) may further include a control module (not shown) for controlling functions and/or resources.
  • the pathological image analysis result output system 100 may mean a logical configuration having hardware resources and/or software necessary to implement the technical idea of the present invention, and must include one physical component. It does not mean or imply a single device. That is, the system 100 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, installed in devices spaced apart from each other to perform each function. It may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the system 100 may mean a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • each of the acquisition module 110 , the determination module 120 , the processing module 130 , and the output module 340 may be located in different physical devices or may be located in the same physical device.
  • the combination of software and/or hardware constituting each of the acquisition module 110, the determination module 120, the processing module 130, and the output module 340 is also located in different physical devices, Components located in different physical devices may be organically coupled to each other to implement the respective modules.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, which necessarily means physically connected code or means one type of hardware. It can be easily deduced to an average expert in the art of the present invention.
  • the storage module 150 may store various data necessary to implement the technical idea of the present invention.
  • the storage module 150 may store a pathological image to be described later, a neural network to be described later, and the like.
  • the acquisition module 110 may acquire a pathological image.
  • the pathology image may be various biological images including a tissue image, and may be a pathological slide image obtained by scanning a glass slide stained with biological tissue with a digital scanner or an image extracted from a part of the pathological slide image.
  • the acquisition module 110 may acquire a pathological image from the terminal 200 through a network.
  • the acquisition module 110 may acquire the pathological image stored in the storage module 150 .
  • the determination module 120 may determine a lesion area in the pathological image.
  • the lesion area is an area including a lesion, and may be an area in which a pathological change has occurred due to a pathological cause such as a disease, and the determination module 120 may determine the lesion area in the pathological image in various ways. For example, when a predetermined area is designated by the user, the determination module 120 may determine the designated area as a lesion area.
  • the lesion area may be automatically determined through a predetermined algorithm or machine learning.
  • the determination module 120 may input a pathological image to a pre-trained artificial neural network and determine a lesion region using the result output from the neural network, which will be described in more detail later.
  • the processing module 130 may provide a predetermined visual effect to the non-lesion region of the pathological image in order to visually distinguish the lesion region of the pathological image and the non-lesion region of the pathological image.
  • the pathology image may be divided into a lesion region including a lesion and a non-lesion region not including a lesion by the determination module 120, and the processing module 130 applies a visual effect to the non-lesion region, not the lesion region.
  • the processing module 130 is configured such that the processing module maintains the original state of the lesion region in order to provide a visual effect to the non-lesion region of the pathological image, and the transparency, saturation, At least some of the brightness can be adjusted. That is, the processing module 130 may adjust the transparency of the non-lesion region of the pathological image, adjust the saturation of the non-lesion region of the pathological image, or adjust the brightness of the non-lesion region of the pathological image.
  • 5A is a diagram illustrating an example of a pathological image in a state in which transparency of only a non-lesioned region of the pathological image is increased. As shown in FIG. 5A , if the transparency of the non-lesion region in the pathological image is increased, the color of the image of the non-lesion region is merged with the background color and the sharpness of the corresponding part is lowered, and the lesion region in the original state is relatively will be clearly visible as
  • 5B is a diagram illustrating an example of a pathological image in a state in which saturation of only a non-lesion region of the pathological image is reduced. As shown in FIG. 5B , when the saturation of the non-lesion region in the pathological image is lowered, the color of the non-lesion region is partially discolored, and the lesion region in the original state becomes relatively distinct.
  • 5C is a diagram illustrating an example of a pathological image in a state in which brightness of only a non-lesion region of the pathological image is reduced. As shown in FIG. 5C , when the brightness of the non-lesion region in the pathological image is lowered, the color of the non-lesion region is merged with black, and the lesion region in the original state becomes relatively distinct.
  • the processing module 130 may adjust at least some of transparency, saturation, and brightness to a predetermined level so that the lesion region and the non-lesion region can be clearly distinguished (eg, transparency 30%/ 50%/70% etc., Saturation 25%/50%/75% etc., Brightness 25%/50%/75% etc.).
  • the processing module 130 may receive a level of transparency, brightness, and/or saturation from a user, and may provide a visual effect according to the level.
  • the processing module 130 may provide a user interface for inputting the level of transparency, brightness, and/or saturation to the user.
  • the processing module 130 provides the user with several profiles including predetermined levels of transparency, brightness and/or saturation, and the level of brightness and/or saturation included in the profile selected by the user. A visual effect can be given accordingly.
  • the processing module 130 provides a visual effect to the non-lesioned region, not the lesioned region, so that the lesion and non-lesion regions can be easily distinguished from each other and the diagnostician mainly examines them for diagnosis.
  • the visible lesion area can be maintained in its original state.
  • the output module 140 may output a pathological image to which a visual effect is applied to the non-lesion region to the outside of the system 100 .
  • the output module 140 may include a terminal 200 connected to the pathological image analysis result output system 100 through a network or a display connected to the pathological image analysis result output system 100 through a predetermined interface.
  • the device 150 may output a pathological image in which a visual effect is applied to the non-lesion region.
  • a pathological image to which a visual effect is applied to the non-lesion region and an original pathological image to which a visual effect is not applied to the non-lesion region are displayed. They can be printed alternately.
  • the determination module 120 may determine a lesion region in the pathological image using a pre-learned neural network to perform patch-by-patch determination.
  • the determination module 120 may obtain a determination result corresponding to each of the plurality of diagnostic patches by inputting each of the plurality of diagnostic patches obtained by dividing the pathological image into predetermined sizes into a pre-trained neural network. and, based on the obtained determination results of each of the plurality of diagnostic patches, it is possible to determine a lesion region in the pathological image.
  • the determination module 120 may generate a grid map for the pathological image based on a determination result of each of the plurality of diagnostic patches.
  • the grid map may refer to a map capable of distinguishing a region composed of a patch in a lesion state and a region composed of a patch in a non-lesion state.
  • FIG. 6 is a diagram illustrating an example of a determination result (ie, the grid map) for each diagnostic patch obtained by dividing a pathological image in a grid format.
  • the determination module 120 divides the pathological slide 10 into diagnostic patches (eg, 11-1, 11-2, etc.) having a predetermined size, and inputs each patch to a pre-trained neural network. , it is possible to determine whether each patch is a lesion region or a non-lesion region according to the determination result of the neural network for each patch. When determination of all patches is completed, the determination module 120 may determine a portion of the pathological slide 10 corresponding to the lesion area.
  • diagnostic patches eg, 11-1, 11-2, etc.
  • the neural network used by the determination module 120 can be learned in advance by multi-instance learning and an original neural network learning method using an auto-encoder, which will be described in more detail below.
  • the neural network learning method according to the technical idea of the present invention may be performed by the neural network learning system 300 .
  • the neural network learning system 300 may be a computing system that is a data processing device having computational capability for implementing the technical idea of the present invention, and in general, a personal computer as well as a server, which is a data processing device that a client can access through a network. or a computing device such as a portable terminal.
  • the neural network learning system 300 may be implemented as any one physical device, but if necessary, a plurality of physical devices may be organically combined to implement the neural network learning system 300 according to the technical idea of the present invention. An average expert in the technical field of the present invention can easily infer.
  • the neural network learning system 300 may include a storage module 310 , an extraction module 320 , and a learning module 330 .
  • some of the above-described components may not necessarily correspond to the components essential for the implementation of the present invention, and according to the embodiment, the neural network learning system 300 Of course, it may include more components than this.
  • the system 100 may include functions and/or resources of other components of the neural network learning system 300 (eg, storage module 310, extraction module 320, learning module 330, etc.) It may further include a control module (not shown) for controlling the.
  • the neural network learning system 300 may further include a database (DB) 340 for storing various types of information and/or data required to implement the technical idea of the present invention.
  • DB database
  • the neural network learning system 300 may mean a logical configuration having hardware resources and/or software necessary to implement the technical idea of the present invention, and necessarily means one physical component or It is not meant to be a single device. That is, the system 100 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, installed in devices spaced apart from each other to perform each function. It may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the system 100 may mean a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • each of the storage module 310 , the extraction module 320 , and the learning module 330 may be located in different physical devices or may be located in the same physical device.
  • the combination of software and/or hardware constituting each of the storage module 310, the extraction module 320, and the learning module 330 is also located in different physical devices and located in different physical devices. Components may be organically combined with each other to implement each of the above modules.
  • the storage module 310 may store the neural network 311 and the autoencoder 312 .
  • a neural network includes a multilayer perceptron model, and may refer to a set of information representing a series of design items defining an artificial neural network.
  • the neural network 311 may be a convolutional neural network.
  • a convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer.
  • Each of the plurality of hidden layers may include a convolution layer and a pooling layer (or sub-sampling layer).
  • the convolutional neural network may be defined by a function, filter, stride, weight factor, etc. for defining each of these layers.
  • the output layer may be defined as a fully connected FeedForward layer.
  • each layer constituting the convolutional neural network The design details for each layer constituting the convolutional neural network are widely known. For example, well-known functions may be used for each of the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and implement the technical spirit of the present invention Separately defined functions may be used to do this.
  • An example of the convolution function is a discrete convolution sum and the like.
  • max pooling, average pooling, etc. may be used.
  • An example of the activation function may be a sigmoid, a tangent hyperbolic (tanh), a rectified linear unit (ReLU), or the like.
  • the convolutional neural network in which design matters are defined may be stored in a storage device. And when the convolutional neural network is learned, a weight factor corresponding to each layer may be specified.
  • learning of the convolutional neural network may refer to a process in which weight factors of respective layers are determined. And when the convolutional neural network is learned, the learned convolutional neural network may receive input data to an input layer and output output data through a predefined output layer.
  • a neural network according to an embodiment of the present invention may be defined by selecting one or a plurality of well-known design items as described above, or an independent design item may be defined for the neural network.
  • the neural network 311 may be a classification neural network that can be used for classification of input data.
  • the neural network 311 may be a neural network used for binary classification of the input data by outputting a possibility of whether the input data is in a predetermined first state or a predetermined second state.
  • the neural network 311 may be a neural network for receiving a biometric image and determining a possibility that a lesion caused by a predetermined disease (eg, cancer) exists in the image.
  • a predetermined disease eg, cancer
  • the neural network 311 may output a possibility that a value input to the neural network 311 is a predetermined first state or a predetermined second state.
  • the first state may be either positive or negative, and the second state may be the other one of positive or negative.
  • the first state may be a negative state in which no lesion is present, and the second state may be a positive state in which a lesion is present.
  • the probability that the neural network 311 outputs is a loss function (eg, mean squared error (MSE), cross entropy error (CEE)) or two vectors in the neural network 311 . It may be a value calculated by a distance (eg, a function representing a Euclidean distance, an n-norm distance, a Manhattan distance, etc.).
  • MSE mean squared error
  • CEE cross entropy error
  • the autoencoder 312 is a neural network structure mainly used in an unsupervised learning methodology.
  • the autoencoder 312 is an unsupervised machine learning model in the form of reducing and then restoring the dimension of an input value, and has a function of learning the characteristics of values used for learning.
  • the autoencoder 312 learns a function to approximate the output value to the input value, extracts features for the input value through the encoder, and reconstructs the input value through the decoder.
  • the autoencoder 312 may include an encoder part 312 - 1 including a convolutional layer and a decoder part 312 - 2 including a deconvolutional layer.
  • the original data (x) is input to the encoder 111
  • the autoencoder is also a type of neural network, learning by a plurality of training data is preceded. In the learning stage of the autoencoder, the following processes 1) to 3) are performed for each training data d.
  • the training data d is input to the autoencoder 312, and through encoding and decoding processes, restored data d' corresponding to the training data d is generated.
  • the autoencoder 312 may be used to determine whether the input value is in the first state or the second state.
  • the auto-encoder 312 may be pre-learned only with the learning data in the first state, and the auto-encoder 312 is restored by inputting a predetermined prediction target value into the learned auto-encoder 312 .
  • the prediction target value is in the second state.
  • the autoencoder 312 may be pre-learned only with data in the second state, and a predetermined prediction target value is input to the learned autoencoder 312 to restore the autoencoder 312.
  • a predetermined prediction target value is input to the learned autoencoder 312 to restore the autoencoder 312.
  • the autoencoder 312 may include a Variational AutoEncoder (VAE).
  • VAE Variational AutoEncoder
  • the DB 340 may store training data to be used for training the neural network 311 .
  • the training data may be data for multi-instance training as described with reference to FIG. 3A . That is, each of the training data stored in the DB 340 may be a data bag including a plurality of data instances.
  • each of the plurality of training data may be a hole-image, and a data instance constituting each training data may be each image patch obtained by dividing the corresponding hole-image into predetermined sizes.
  • each of the training data may be an intact pathological slide image.
  • the data bag becomes one complete pathology slide image, and the data instance included in the data bag may be an individual patch obtained by dividing the pathological slide image into predetermined sizes.
  • the learning data stored in the DB 340 may be labeled as a first state or a second state, respectively.
  • each of the learning data may be labeled with a diagnosis result (eg, presence or absence of a lesion) for the pathological slide image.
  • the learning data is not stored in the DB 340, but may be input from a user through an external input means, or may be stored in the form of a file in a storage device such as HDD or SDD. .
  • the extraction module 320 performs an extraction step of extracting some of the data instances included in the data bag as a learning instance for each of the plurality of data bags labeled in either the first state or the second state.
  • the learning instance extracted by the extraction module 320 may be used for learning the pepper neural network 311 .
  • FIG. 9 is a diagram illustrating an example of a method in which the extraction module 320 extracts a data instance for learning.
  • FIG. 9 exemplifies the case where the training data is as shown in FIG. 3A.
  • the extraction module 320 may first perform steps S110 to S130 for each data bag B 1 to B M ( S100 ).
  • the probability P ij of each data instance D ij included in the data bag B i can be calculated ( S110 and S111 ).
  • P ij may be a possibility of the second state, and a cross-entropy loss for the data instance D ij may be calculated as a probability P ij .
  • the extraction module 320 is configured to at least some of the possibilities (P i1 to P iN ) for each data instance included in the data bag B i , and each data instance (D i1 to D iN ) included in the data bag. Based on the determination result of the autoencoder 312 for It can be labeled with the label L i of B i ( S130 ).
  • FIG. 10 is a diagram illustrating an example of a specific process of step S120 of FIG. 9 .
  • the autoencoder 312 has been previously trained only on the data instance in the first state.
  • the extraction module 320 performs the autoencoder 312 in the order from the data instance most likely to be in the second state to the less likely to be in the second state. ), it can be determined that the upper part of the data instance determined to be in the first state by the autoencoder is the instance for learning corresponding to the data bag (S121). At this time, when the difference between the data instance input to the auto-encoder 312 and the output data output by the auto-encoder 312 is greater than a predetermined limit value, the extraction module 320 determines that the data instance input to the auto-encoder 112 is It can be determined as the first state.
  • the extraction module 320 inputs to the autoencoder 312 in the order from the data instance most likely to be in the second state to the less likely to be in the second state. , it may be determined that the upper part of the data instance determined to be in the second state by the autoencoder 312 is a learning instance corresponding to the data bag (S122).
  • step S121 of FIG. 10 is a diagram illustrating an example of a specific process of step S121 of FIG. 10 .
  • the extraction module 320 may sort the data instances D i1 to D iN in the data bag B i in descending order in the order of possibility of the second state ( S1211 ).
  • the state of the instance A k may be determined ( S1213 ), and when it is determined that the data instance A k is in the first state, it may be determined that the data instance A k is a learning instance ( S1215 ).
  • the extraction module 320 may perform steps S1213 to S1215 until the loop ends or a predetermined number of learning instances Z corresponding to the data bag B i are found (see S1212 , S1216 , and S1217 ).
  • FIGS. 10 and 11 are examples of implementing step S120 of FIG. 9 , and it goes without saying that there may be various methods of implementing step S120 of FIG. 9 .
  • the extraction module 320 may extract multiple data instances from one data bag as instances for learning.
  • the conventional multi-instance learning method when multiple instances for training are extracted from one data bag, there is a high possibility that an incorrect training data instance is extracted, which may negatively affect the learning of the neural network, but the method according to the technical idea of the present invention According to , by filtering using the pre-trained autoencoder as a training data instance having only one state, there is an effect that it is possible to significantly reduce the extraction of the wrong training data instance.
  • the learning module 330 may learn the neural network 311 based on the learning instance extracted by the extraction module 320 .
  • the learning module 330 can learn the neural network 311 by backpropagating the loss error between the training instance input to the neural network 311 and the output value to the neural network 311 . .
  • the neural network learning method treats the learning data instance extraction process performed by the extraction module and the learning process performed by the learning module 330 as one epoch, and repeats this for a plurality of epochs By doing so, the performance of the neural network 311 may be improved.
  • the neural network learning method according to the technical idea of the present invention can be applied to learning a neural network for image-based disease diagnosis, which can be used for image-based disease diagnosis or diagnosis assistance to help a doctor diagnose.
  • image-based disease diagnosis which can be used for image-based disease diagnosis or diagnosis assistance to help a doctor diagnose.
  • the neural network 311 receives an image patch obtained by dividing a whole-slide-image into a predetermined size and determines the presence or absence of a lesion due to a predetermined disease in the header image patch. It may be a neural network for diagnosis or a diagnosis aid.
  • the DB 340 may store a plurality of pathological image slides.
  • the pathology slide image may be various biometric images including tissue images. Meanwhile, each pathological slide image may be labeled with either a first state in which a lesion does not exist (normal state) or a second state in which the lesion exists (abnormal state).
  • the autoencoder 312 may be previously learned only from image patches in a normal state in which no lesions exist. For example, the learner selects only those labeled as normal among the pathological slide images stored in the DB 340 for learning the neural network 311 and divides them into patches, and then learns the autoencoder 312 in advance. There is. Alternatively, the learner may learn the autoencoder 312 in advance by collecting a separate patch in a normal state that is not used for learning the neural network 311 .
  • the extraction module 320 extracts a patch for learning that is a part of the patches constituting the pathological slide image for learning for each of a plurality of pathological slide images for learning that are labeled in either a normal state or an abnormal state. step may be performed, and the learning module 330 may perform a learning step of learning the neural network 311 based on the extracted training patch.
  • the extraction module 320 inputs each patch constituting the pathological slide image for training into the neural network 311 being trained, and calculates the probability of each patch constituting the pathological slide image for training Possibility of each patch constituting the pathological slide image for learning, and the pathology slide image for learning based on the determination result of the auto-encoder 112 for at least a portion of each patch constituting the pathological slide image for learning It can be determined that a part of each patch constituting the patch is a patch for learning.
  • the extraction module 320 is input to the autoencoder 312 in the order from the patch most likely to be abnormal to the less likely to be abnormal. Accordingly, it can be determined that the upper part of the patch determined to be in a normal state by the autoencoder 312 is a patch for learning corresponding to the image for learning.
  • the extraction module 320 inputs to the auto encoder 112 in the order from the patch most likely to be abnormal to the less likely to be abnormal, and the auto encoder It may be determined that the upper part of the patch determined to be in an abnormal state by 112 is a patch for learning corresponding to the image for learning.
  • the neural network learned by the neural network learning method may be loaded into the pathological image analysis result output system 100 and used to determine the pathological image. That is, the neural network may determine whether a predetermined image (diagnostic patch) is in a lesion state or a non-lesion state.
  • FIG. 12 is a diagram illustrating a pathological image analysis result output method 200 according to an embodiment of the present invention.
  • the pathological image analysis result output system 100 may acquire a pathological image ( S210 ).
  • the pathological image analysis result output system 100 may determine a lesion area in the pathological image (S220). In an embodiment, the pathological image analysis result output system 100 may determine the lesion area using a pre-trained neural network.
  • the pathological image analysis result output system 100 may provide a predetermined visual effect to the non-lesion region of the pathological image so that the lesion region of the pathological image and the non-lesion region of the pathological image are visually distinguished. (S230). In one embodiment, the pathology image analysis result output system 100 adjusts the transparency of the non-lesion region of the pathological image, adjusts the saturation of the non-lesion region of the pathological image, or You can adjust the brightness.
  • the pathological image analysis result output system 100 outputs a pathological image to which a visual effect is applied to the non-lesion region (240).
  • the computing device 100; 300 may include a processor and a storage device.
  • the processor may mean an arithmetic device capable of driving a program for implementing the technical idea of the present invention, and may perform a neural network learning method defined by the program and the technical idea of the present invention.
  • the processor may include a single-core CPU or a multi-core CPU.
  • the storage device may mean a data storage means capable of storing a program and various data necessary for implementing the technical idea of the present invention, and may be implemented as a plurality of storage means according to an embodiment.
  • the storage device may be meant to include not only the main storage device included in the computing device 100; 300, but also a temporary storage device or memory that may be included in the processor.
  • the memory may include high-speed random access memory and may include non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Access to memory by the processor and other components may be controlled by a memory controller.
  • the method according to the embodiment of the present invention may be implemented in the form of a computer-readable program command and stored in a computer-readable recording medium, and the control program and the target program according to the embodiment of the present invention are also implemented in the computer. It may be stored in a readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the software field.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floppy disks. hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium is distributed in network-connected computer systems, and computer-readable codes can be stored and executed in a distributed manner.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by an apparatus for electronically processing information using an interpreter or the like, for example, a computer.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be applied to a method for outputting pathological image analysis results and a computing system for performing the same.

Abstract

본 발명은 진단자가 병리 이미지에 대한 병리학적 분석 결과를 보다 용이하게 파악할 수 있도록 분석 결과를 시각화하기 위한 방법 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 본 발명의 일 측면에 따르면, 컴퓨팅 시스템이, 병리 이미지를 획득하는 단계, 상기 컴퓨팅 시스템이, 상기 병리 이미지 중 병변 영역을 판단하는 단계, 상기 컴퓨팅 시스템이, 상기 병리 이미지의 병변 영역과 상기 병리 이미지의 비(非)병변 영역이 시각적으로 구분되도록 하기 위하여, 상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여하는 단계 및 상기 컴퓨팅 시스템이, 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지를 출력하는 단계를 포함하는 방법이 제공된다.

Description

병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템
본 발명은 진단자가 병리 이미지에 대한 병리학적 분석 결과를 보다 용이하게 파악할 수 있도록 분석 결과를 시각화하기 위한 방법에 관한 것이다.
디지털 병리학의 발전으로 디지털 병리 진단 시스템을 도입하는 의료기관이 점점 늘어나고 있다.
조직 검사를 통해 확보된 검체는 일련의 과정을 거쳐 염색된 유리 슬라이드 형태로 제작되며, 과거에는 이러한 슬라이드들을 광학 현미경을 통해 병리 전문의가 육안으로 관찰하고 판독하여 진단하였다. 반면 디지털 병리 진단 시스템에서는 이러한 슬라이드들을 디지털 슬라이드 스캐너로 스캔하여 디지털 영상으로 변환한 후 컴퓨터 모니터를 통해 관찰하고 진단하게 된다.
한편, 영상 처리 인공지능 기술의 발전으로 다양한 형태의 의료 영상을 인공지능으로 분석하여 병변을 검출하거나 질병을 진단하는 등의 기능을 제공하는 소프트웨어인 진단용 병리 슬라이드 영상 뷰어 소프트웨어가 등장하고 있다. 이들은 분석 결과(예를 들면, 조직 내의 병변 영역 등)를 다양한 색상의 다각형이나 히트맵 등 시각적 요소로 변환하여 원래의 의료 영상 위에 중첩하여 보여주는 형태로 제공하는 것이 일반적이다. 도 1은 이들 소프트웨어들이 디스플레이하는 진단용 병리 슬라이드의 일 예를 도시하고 있다.
이러한 분석 결과 시각화 방법은 분석 결과의 위치나 강도 등을 빠르게 한 눈에 들어오게 하는 점에서 장점이 있으나, 분석 결과 시각적 요소가 원본 영상을 가리기 때문에 해당 영역의 원본 영상을 확인하기 위해서는 시각적 요소를 일시적으로 제거해야 하는 등의 불편함이 존재한다. 즉, 시각적 요소를 제거하는 순간 사용자는 해당 분석 결과의 위치를 확인할 수 없기 때문에 기억했던 위치를 참고하여 원본 영상을 확인해야 하며, 따라서 분석 결과 시각적 요소를 제거했다가 복원하는 과정을 여러 번 반복하는 경우가 일상적이다.
이를 해결하기 위해, 도 2에 도시된 바와 같이, 분석 결과가 지정하는 영역(예를 들어, 병변 영역)의 경계선만을 표시하고 그 내부는 비워두거나 하는 방식이 사용될 수 있는데, 이 방법은 영상을 확대하여 해당 영역의 경계선을 모두 확인할 수 없게 된 경우, 경계선의 내부 영역과 외부 영역을 구분하기 어려울 수 있다.
한편, 본 발명의 배경 기술 중 하나인 다중 인스턴스 학습(Multiple Instance Learning)에 관하여 도 3a 및 도 3b를 참조하여 설명한다.
인스턴스(instance) 하나를 학습 단위로 사용하는 개별 인스턴스 학습과는 달리 다중 인스턴스 학습에서는 인스턴스의 집합인 백(Bag)을 학습 단위로 간주한다. 따라서 개별 인스턴스 학습에서는 인스턴스에 레이블을 다는 반면, 다중 인스턴스 학습에서는 인스턴스가 아닌 백에 레이블을 달게 된다. 다중 인스턴스 학습은 학습 단위 측면에서 제외하고 개별 인스턴스 학습와 유사하지만 다음 제약사항을 추가로 가진다. 이진 분류를 수행함에 있어 백이 긍정(positive)이면 적어도 백 안에 존재하는 인스턴스 중 하나 이상이 긍정임을, 백이 부정(negative)이면 백 안에 모든 인스턴스들이 부정임을 가정한다.
이러한 특징으로 인하여 다중 인스턴스 학습은, 예를 들어, 뉴럴 네트워크를 이용하여 병리 홀-슬라이드-이미지(Whole Slide Image)로부터 병변을 진단하는 분야에 적용될 수 있다. 병변을 진단하는 뉴럴 네트워크를 학습하기 위해서는 홀-슬라이드-이미지가 아니라 이를 일정한 크기로 분할한 이미지 패치를 학습 데이터로 사용하게 되지만, 병변의 유무에 관한 정보(즉, 레이블)는 패치 단위가 아니라 홀-슬라이드-이미지에 부여되어 있기 때문이다.
도 3a는 다중 인스턴스 학습에 이용되는 학습 데이터의 일 예를 도시한 도면이다. 도 1은 각각 N개의 데이터 인스턴스를 포함하는 M개의 백(B1 내지 BM)을 도시하고 있다. 도 1에서 백 Bi는 Li로 라벨링되어 있으며(여기서, i는 1<=i<=M인 임의의 정수), 데이터 인스턴스 Dij는 백 Bi에 포함되어 있는 j번째 인스턴스를 나타낸다(여기서, j는 1<=j<=N인 임의의 정수).
도 3b는 다중 인스턴스 학습 기법을 통하여 뉴럴 네트워크(NN)를 학습하는 과정의 일 예를 나타내는 의사코드(pseudo code)를 도시한 도면이다. 도 3b는 학습 데이터를 1 에폭(epoch)만큼 학습하는 과정을 나타내고 있으며, 실제 학습 과정에서는 다수의 에폭만큼 학습이 진행될 수 있다. 도 3b에서는 도 3a에 도시된 학습 데이터로 학습이 진행된다고 가정한다.
도 3b를 참조하면, 다중 인스턴스 학습에서는 먼저 각각의 백(B1 내지 BM)으로부터 학습 데이터 인스턴스(T1 내지 TM)를 추출하는 과정(S10)에 수행되며, 이후 추출된 학습 데이터 인스턴스로 뉴럴 네트워크(NN)을 훈련하는 과정(S20)이 수행된다.
S10 단계에 대하여 보다 상세하게 설명하면, 백 Bi에 대하여 다음의 과정이 수행된다(여기서, i는 1<=i<=M인 임의의 정수).
현재 학습이 진행 중인 뉴럴 네트워크(NN) 백 Bi내의 각 데이터 인스턴스를 입력하여 해당 인스턴스가 긍정(positive; 예를 들어, 병변이 존재함)일 가능성을 산출한다(S11, S12).
백 Bi 내의 모든 데이터 인스턴스 중 해당 데이터 인스턴스의 긍정 가능성이 가장 큰 데이터 인스턴스 Dik를 학습 데이터 인스턴스 Ti로 결정하며(S13), 학습 데이터 인스턴스 Ti의 레이블은 백 Bi에 부여된 레이블이 된다(S14).
위에서 설명한 종래의 다중 인스턴스 학습에서는 백 하나당 인스턴스 하나를 추출하여 학습에 이용하기 때문에, 뉴럴 네트워크의 성능을 높이기 위해서는 많은 양의 백이 필요하다는 문제점이 있다. 예를 들어, 병변을 검출하기 위한 뉴럴 네트워크에 기존의 다중 인스턴스 학습을 이용하기 위해서는 병변 유무에 관한 표지가 부여된 많은 수의 홀-슬라이드-이미지가 필요하게 되는 것이다.
또한 앞서 설명한 바와 같이 다중 인스턴스 학습에서는 학습 데이터 인스턴스의 추출 과정에서 학습이 완료되기 전의 뉴럴 네트워크가 이용되기 때문에, 하나의 백으로부터 다수의 데이터 인스턴스를 추출하게 되면 잘못된 인스턴스가 추출될 가능성이 높아지는 문제점이 발생하게 된다.
본 발명이 이루고자 하는 기술적인 과제는 병리 슬라이드 영상을 분석한 결과로 인하여 검출된 병변 영역 등의 정보를 원본 영상을 가리지 않으면서 위치와 크기 등을 확인할 수 있도록 하기 위한 방법 및 시스템을 제공하는 것이다.
또한 하나의 데이터 백에서 여러 개의 데이터 인스턴스를 학습용 인스턴스를 추출함으로써, 상대적으로 적은 수의 데이터로도 적절하게 뉴럴 네트워크를 학습할 수 있는 방법 및 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, 컴퓨팅 시스템이, 병리 이미지를 획득하는 단계; 상기 컴퓨팅 시스템이, 상기 병리 이미지 중 병변 영역을 판단하는 단계; 상기 컴퓨팅 시스템이, 상기 병리 이미지의 병변 영역과 상기 병리 이미지의 비(非)병변 영역이 시각적으로 구분되도록 하기 위하여, 상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여하는 단계; 및 상기 컴퓨팅 시스템이, 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지를 출력하는 단계를 포함하는 방법이 제공된다.
일 실시예에서, 상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여하는 단계는, 상기 병리 이미지의 비병변 영역의 투명도를 조정하는 단계; 상기 병리 이미지의 비병변 영역의 채도를 조정하는 단계; 또는 상기 병리 이미지의 비병변 영역의 명도를 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 컴퓨팅 시스템이, 사용자로부터 소정의 토글 명령이 입력될 때마다, 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지와 상기 비병변 영역에 시각적 효과를 부여하지 않은 원본 병리 이미지를 번갈아 출력하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 병리 이미지 중 병변 영역을 판단하는 단계는, 상기 병리 이미지를 소정의 크기로 분할한 복수의 진단 패치 각각을 미리 학습된 뉴럴 네트워크에 입력하여 상기 복수의 진단 패치 각각에 상응하는 판단 결과를 획득하는 단계; 및 획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 병리 이미지 중 병변 영역을 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 뉴럴 네트워크는, 입력된 패치가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더를 이용한 소정의 뉴럴 네트워크 학습 방법에 의하여 미리 학습되어 있으며-여기서, 상기 패치는 이미지를 소정의 크기로 분할한 것 중 하나이며, 제1상태는 병변이 존재하지 않는 상태이며, 제2상태는 병변이 존재하는 상태임-, 상기 뉴럴 네트워크 학습 방법은, 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 학습용 이미지 각각에 대하여, 상기 학습용 이미지를 구성하는 패치 중 일부인 학습용 패치를 추출하는 추출단계; 및 상기 복수의 학습용 이미지 각각에 상응하는 학습용 패치에 기초하여 상기 뉴럴 네트워크를 학습하는 학습단계를 포함하되, 상기 추출단계는, 상기 학습용 이미지를 구성하는 각 패치를 훈련중인 상기 뉴럴 네트워크에 입력하여, 상기 학습용 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 오토인코더는, 제1상태인 패치만으로 미리 학습되어 있으며, 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 단계는, 상기 학습용 이미지가 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계; 및 상기 학습용 이미지가 제2상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템으로서, 프로세서 및 메모리를 포함하되, 상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 상술한 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 병리 이미지를 획득하는 획득모듈; 상기 병리 이미지 중 병변 영역을 판단하는 판단모듈; 상기 병리 이미지의 병변 영역과 상기 병리 이미지의 비(非)병변 영역이 시각적으로 구분되도록 하기 위하여, 상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여하는 처리모듈; 및 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지를 출력하는 출력모듈을 포함하는 컴퓨팅 시스템이 제공된다.
일 실시예에서, 상기 처리모듈은, 상기 병리 이미지의 비병변 영역에 시각적 효과를 부여하기 위하여, 상기 병리 이미지의 비병변 영역의 투명도를 조정하거나, 상기 병리 이미지의 비병변 영역의 채도를 조정하거나, 상기 병리 이미지의 비병변 영역의 명도를 조정하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 출력모듈은, 사용자로부터 소정의 토글 명령이 입력될 때마다, 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지와 상기 비병변 영역에 시각적 효과를 부여하지 않은 원본 병리 이미지를 번갈아 출력하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 판단모듈은, 상기 병리 이미지를 소정의 크기로 분할한 복수의 진단 패치 각각을 미리 학습된 뉴럴 네트워크에 입력하여 상기 복수의 진단 패치 각각에 상응하는 판단 결과를 획득하고, 획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 병리 이미지 중 병변 영역을 판단할 수 있다.
일 실시예에서, 상기 뉴럴 네트워크는, 입력된 패치가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더를 이용한 소정의 뉴럴 네트워크 학습 방법에 의하여 미리 학습되어 있으며-여기서, 상기 패치는 이미지를 소정의 크기로 분할한 것 중 하나이며, 제1상태는 병변이 존재하지 않는 상태이며, 제2상태는 병변이 존재하는 상태임-, 상기 뉴럴 네트워크 학습 방법은, 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 학습용 이미지 각각에 대하여, 상기 학습용 이미지를 구성하는 패치 중 일부인 학습용 패치를 추출하는 추출단계; 및 상기 복수의 학습용 이미지 각각에 상응하는 학습용 패치에 기초하여 상기 뉴럴 네트워크를 학습하는 학습단계를 포함하되, 상기 추출단계는, 상기 학습용 이미지를 구성하는 각 패치를 훈련중인 상기 뉴럴 네트워크에 입력하여, 상기 학습용 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 오토인코더는, 제1상태인 패치만으로 미리 학습되어 있으며, 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 단계는, 상기 학습용 이미지가 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계; 및 상기 학습용 이미지가 제2상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계를 포함할 수 있다.
앞서 설명한 바와 같이, 종래에는 병변 영역과 같이 병리적 분석을 수행한 분석 결과를 원본 병리 이미지 위에 히트맵의 형태로 중첩하여 출력하는 것이 일반적이었다. 그러나 종래의 이러한 방법은 분석 결과의 시각적 요소(예를 들어, 히트맵)가 원본 영상을 가리기 때문에 해당 이미지로 진단을 해야 하는 진단자(예를 들어, 의사)는 분석 결과 시각적 요소를 제거했다가 복원하는 과정을 여러 번 반복하여야 했다. 반면, 본 발명의 일 실시예에 따르면, 병변 영역이 아니라 비병변 영역에 시각적 효과를 부여함으로써, 병변 영역과 비병변 영역을 쉽게 구분할 수 있으면서도 진단자가 진단을 위해 주로 살펴보게 되는 병변 영역을 원본 그대로의 상태로 유지할 수 있다.
또한 본 발명의 일 실시예에 의하면, 하나의 데이터 백에서 여러 개의 데이터 인스턴스를 학습용 인스턴스가 추출될 수 있다. 종래의 다중 인스턴스 학습 방법에서는 하나의 데이터 백에서 여러 개의 학습용 인스턴스를 추출하는 경우 잘못된 학습 데이터 인스턴스가 추출될 가능성이 높아 뉴럴 네트워크의 학습에 부정적인 영향을 미칠 수 있었으나, 본 발명의 기술적 사상에 따른 방법에 의하면, 미리 학습된 오토인코더를 이용하여 학습용 인스턴스를 필터링을 함으로써, 잘못된 학습 데이터 인스턴스가 추출되는 것을 상당히 줄일 수 있게 되는 효과가 있다.. 따라서, 보다 적은 수의 데이터만으로 효과적으로 뉴럴 네트워크를 학습할 수 있게 되는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 종래의 소프트웨어들이 디스플레이하는 진단용 병리 슬라이드의 일 예를 도시하고 있다.
도 2는 종래의 소프트웨어들이 디스플레이하는 진단용 병리 슬라이드의 다른 일 예를 도시하고 있다.
도 3a는 다중 인스턴스 학습에 이용되는 학습 데이터의 일 예를 도시한 도면이다.
도 3b는 다중 인스턴스 학습 기법을 통하여 뉴럴 네트워크를 학습하는 과정의 일 예를 나타내는 의사코드(pseudo code)를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 병리 이미지 분석 결과 출력 방법을 수행하는 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다.
도 5a는 병리 이미지의 비병변 영역만의 투명도를 증가시킨 상태의 병리 이미지의 일 예를 도시한 도면이다.
도 5b는 병리 이미지의 비병변 영역만의 채도를 감소시킨 상태의 병리 이미지의 일 예를 도시한 도면이다.
도 5c는 병리 이미지의 비병변 영역만의 명도를 감소시킨 상태의 병리 이미지의 일 예를 도시한 도면이다.
도 6은 병리 이미지를 격자 형태로 분할한 각 진단 패치 별 판단 결과(격자맵)의 일 예를 도시한 도면이다.
도 7는 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법을 수행하기 위한 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다.
도 8은 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법에서 이용하는 오토인코더의 구조를 개략적으로 도시한 도면이다.
도 9는 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 시스템이 학습용 데이터 인스턴스를 추출하는 방법의 일 예를 도시한 도면이다.
도 10는 도 9의 단계 S120의 구체적인 과정의 일 예를 도시한 도면이다.
도 11은 도 10의 단계 S121의 구체적인 과정의 일 예를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 병리 이미지 분석 결과 출력 방법을 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 병리 이미지 분석 결과 출력 방법을 수행하는 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다. 본 명세서에서는 경우에 따라, 본 발명의 기술적 사상에 따른 병리 이미지 분석 결과 출력 방법을 수행하는 컴퓨팅 시스템을 병리 이미지 분석 결과 출력 시스템으로 칭할 수 있다.
본 발명의 기술적 사상에 따른 병리 이미지 분석 결과 출력 방법은 병리 이미지 분석 결과 출력 시스템(100)에 의해 수행될 수 있다.
상기 병리 이미지 분석 결과 출력 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 병리 이미지 분석 결과 출력 시스템(100)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 병리 이미지 분석 결과 출력 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
일 실시예에서, 상기 병리 이미지 분석 결과 출력 시스템(100)은 디스플레이 장치(150)를 구비할 수 있으며, 병리 이미지를 분석한 결과를 상기 디스플레이 장치(150)를 통해 출력할 수 있다.
다른 일 실시예에서, 상기 병리 이미지 분석 결과 출력 시스템(100)은 소정의 단말(200)과 네트워크를 통해 연결되어 단말(200)의 요청에 의해 상기 단말(200)로 병리 이미지를 분석한 결과를 출력할 수 있다.
도 4를 참조하면, 상기 병리 이미지 분석 결과 출력 시스템(100)은 획득모듈(110), 판단모듈(120), 처리모듈(130), 출력모듈(340)을 포함할 수 있다. 실시예에 따라 상기 병리 이미지 분석 결과 출력 시스템(100)은 저장모듈(150)을 더 포함할 수 있다.
본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 병리 이미지 분석 결과 출력 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 병리 이미지 분석 결과 출력 시스템(100)의 다른 구성(예를 들면, 획득모듈(110), 판단모듈(120), 처리모듈(130), 출력모듈(340) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다.
상기 병리 이미지 분석 결과 출력 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 획득모듈(110), 판단모듈(120), 처리모듈(130), 출력모듈(340) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 획득모듈(110), 판단모듈(120), 처리모듈(130), 출력모듈(340) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들어, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 저장모듈(150)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 데이터를 저장할 수 있다. 예를 들어 상기 저장모듈(150)은 후술할 병리 이미지, 후술할 뉴럴 네트워크 등을 저장할 수 있다.
상기 획득모듈(110)은 병리 이미지를 획득할 수 있다. 병리 이미지는 조직 이미지를 비롯한 다양한 생체 이미지일 수 있으며, 생체 조직을 염색한 유리 슬라이드를 디지털 스캐너로 스캔한 병리 슬라이드 이미지 혹은 병리 슬라이드 이미지의 일부를 발췌한 이미지일 수 있다.
일 실시예에서, 상기 획득모듈(110)은 상기 단말(200)로부터 네트워크를 통해 병리 이미지를 획득할 수 있다. 또는 상기 획득모듈(110)은 상기 저장모듈(150)에 저장된 병리 이미지를 획득할 수 있다.
상기 판단모듈(120)은 상기 병리 이미지 중 병변 영역을 판단할 수 있다.
병변 영역은 병변을 포함하는 영역으로서, 질병 등의 병리적 원인으로 인하여 병리적인 변화가 일어난 영역일 수 있으며, 상기 판단모듈(120)은 다양한 방법으로 상기 병리 이미지 중 병변 영역을 판단할 수 있다. 예를 들어, 상기 판단모듈(120)은 사용자로부터 소정의 영역이 지정되면 지정된 영역을 병변 영역으로 판단할 수 있다.
다른 일 실시예에서, 상기 병변 영역은 소정의 알고리즘 혹은 머신 러닝을 통하여 자동으로 판단될 수 있다. 특히 상기 판단모듈(120)은 미리 학습된 인공 뉴럴 네트워크에 병리 이미지를 입력하고, 뉴럴 네트워크에서 출력된 결과를 이용하여 병변 영역을 판단할 수 있는데, 이에 대해서는 이후에 보다 상세하게 설명하기로 한다.
한편, 상기 처리모듈(130)은 상기 병리 이미지의 병변 영역과 상기 병리 이미지의 비(非)병변 영역이 시각적으로 구분되도록 하기 위하여, 상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여할 수 있다.
상기 판단모듈(120)에 의해 병리 이미지는 병변을 포함하는 병변 영역과 병변을 포함하지 않는 비병변 영역으로 구분될 수 있으며, 상기 처리모듈(130)은 병변 영역이 아니라 비병변 영역에 시각적 효과를 부여할 수 있다.
일 실시예에서, 상기 처리모듈(130)은 상기 처리모듈은, 상기 병리 이미지의 비병변 영역에 시각적 효과를 부여하기 위하여, 병변 영역은 원본 상태를 그대로 유지하고, 비병변 영역의 투명도, 채도, 명도 중 적어도 일부를 조정할 수 있다. 즉, 상기 처리모듈(130)은 상기 병리 이미지의 비병변 영역의 투명도를 조정하거나, 상기 병리 이미지의 비병변 영역의 채도를 조정하거나, 상기 병리 이미지의 비병변 영역의 명도를 조정할 수 있다.
도 5a는 병리 이미지의 비병변 영역만의 투명도를 증가시킨 상태의 병리 이미지의 일 예를 도시한 도면이다. 도 5a에 도시된 바와 같이, 병리 이미지 중 비병변 영역의 투명도를 높이게 되면 비병변 영역의 영상의 색상이 배경 색상과 합쳐지며 해당 부분의 선명도가 낮아지게 되고, 원본 그대로의 상태인 병변 영역은 상대적으로 뚜렷하게 보이게 된다.
도 5b는 병리 이미지의 비병변 영역만의 채도를 감소시킨 상태의 병리 이미지의 일 예를 도시한 도면이다. 도 5b에 도시된 바와 같이, 병리 이미지 중 비병변 영역의 채도가 낮아지게 되면 비병변 영역의 색상이 일부 탈색되는 효과가 발생하고, 원본 그대로의 상태인 병변 영역은 상대적으로 뚜렷하게 보이게 된다.
도 5c는 병리 이미지의 비병변 영역만의 명도를 감소시킨 상태의 병리 이미지의 일 예를 도시한 도면이다. 도 5c에 도시된 바와 같이, 병리 이미지 중 비병변 영역의 명도가 낮아지게 되면 비병변 영역의 색상이 검정색과 합쳐지는 효과가 발생하며, 원본 그대로의 상태인 병변 영역은 상대적으로 뚜렷하게 보이게 된다.
일 실시예에서, 상기 처리모듈(130)은 병변 영역과 비병변 영역이 명확히 구분될 수 있도록 미리 정해진 일정 수준으로 투명도, 채도, 명도 중 적어도 일부를 조정할 수 있다(예를 들어, 투명도 30%/50%/70% 등, 채도 25%/50%/75% 등, 명도 25%/50%/75% 등).
한편, 일 실시예에서, 상기 처리모듈(130)은 사용자로부터 투명도, 명도 및/또는 채도의 수준을 입력받고 해당 수준에 맞게 시각적 효과를 부여할 수 있다. 이를 위하여 상기 처리모듈(130)은 사용자에게 투명도, 명도 및/또는 채도의 수준을 입력하기 위한 사용자 인터페이스를 제공할 수 있다. 또한 다른 일 실시예에서, 상기 처리모듈(130)은 미리 결정된 투명도, 명도 및/또는 채도의 수준을 포함하는 몇 가지 프로파일을 사용자에게 제공하고 사용자가 선택한 프로파일에 포함된 명도 및/또는 채도의 수준에 따라 시각적 효과를 부여할 수 있다.
앞서 설명한 바와 같이, 종래에는 병변 영역과 같이 병리적 분석을 수행한 분석 결과를 원본 병리 이미지 위에 히트맵의 형태로 중첩하여 출력하는 것이 일반적이었다. 그러나 종래의 이러한 방법은 분석 결과의 시각적 요소(예를 들어, 히트맵)가 원본 영상을 가리기 때문에 해당 이미지로 진단을 해야 하는 진단자(예를 들어, 의사)는 분석 결과 시각적 요소를 제거했다가 복원하는 과정을 여러 번 반복하여야 했다.
반면, 본 발명의 일 실시예에 따르면, 상기 처리모듈(130)은 병변 영역이 아니라 비병변 영역에 시각적 효과를 부여함으로써, 병변 영역과 비병변 영역을 쉽게 구분할 수 있으면서도 진단자가 진단을 위해 주로 살펴보게 되는 병변 영역을 원본 그대로의 상태로 유지할 수 있다.
다시 도 4를 참조하면, 상기 출력모듈(140)은 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지를 상기 시스템(100)의 외부로 출력할 수 있다. 예를 들어, 상기 출력모듈(140)은 상기 병리 이미지 분석 결과 출력 시스템(100)과 네트워크를 통해 연결되어 있는 단말(200) 혹은 상기 병리 이미지 분석 결과 출력 시스템(100)과 소정의 인터페이스로 연결된 디스플레이 장치(150)로 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지를 출력할 수 있다.
실시예에 따라, 상기 출력모듈(140) 사용자로부터 소정의 토글 명령이 입력될 때마다, 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지와 상기 비병변 영역에 시각적 효과를 부여하지 않은 원본 병리 이미지를 번갈아 출력할 수 있다.
한편, 상기 판단모듈(120)은 패치 단위의 판단을 수행할 수 있도록 미리 학습된 뉴럴 네트워크를 이용하여 상기 병리 이미지 중 병변 영역을 판단할 수 있다. 보다 상세하게는 상기 판단모듈(120)은 상기 병리 이미지를 소정의 크기로 분할한 복수의 진단 패치 각각을 미리 학습된 뉴럴 네트워크에 입력하여 상기 복수의 진단 패치 각각에 상응하는 판단 결과를 획득할 수 있으며, 획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 병리 이미지 중 병변 영역을 판단할 수 있다.
일 실시예에서, 상기 판단모듈(120)은 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 병리 이미지에 대한 격자맵을 생성할 수 있다. 상기 격자맵은 병변 상태의 패치로 구성된 영역과 비병변 상태의 패치로 구성된 영역을 구분할 수 있는 맵을 의미할 수 있다.
도 6은 병리 이미지를 격자 형태로 분할한 각 진단 패치 별 판단 결과(즉, 상기 격자맵)의 예를 도시한 도면이다.
상기 판단모듈(120)은 병리 슬라이드(10)를 일정한 크기를 가지는 진단 패치(예를 들어, 11-1, 11-2 등)로 분할하여, 각 패치를 미리 학습된 뉴럴 네트워크에 입력할 수 있으며, 각 패치에 대한 뉴럴 네트워크의 판단 결과에 따라 각 패치가 병변 영역인지 비병변 영역인지를 판단할 수 있다. 모든 패치에 대한 판단이 완료되면 상기 판단모듈(120)은 상기 병리 슬라이드(10) 중 병변 영역에 해당하는 부분을 판단할 수 있다.
한편 상기 판단모듈(120)이 이용하는 뉴럴 네트워크는 다중 인스턴스 학습 및 오토 인코더를 이용한 독창적인 뉴럴 네트워크 학습 방법에 의해 미리 학습될 수 있는데, 이하에서는 이에 대하여 보다 상세하게 설명하기로 한다.
도 7은 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법을 수행하기 위한 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다. 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법은 뉴럴 네트워크 학습 시스템(300)에 의해 수행될 수 있다.
상기 뉴럴 네트워크 학습 시스템(300)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 뉴럴 네트워크 학습 시스템(300)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 시스템(300)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 7를 참조하면, 상기 뉴럴 네트워크 학습 시스템(300)은 저장모듈(310), 추출모듈(320) 및 학습모듈(330)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 뉴럴 네트워크 학습 시스템(300)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 뉴럴 네트워크 학습 시스템(300) 의 다른 구성(예를 들면, 저장모듈(310), 추출모듈(320), 학습모듈(330) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다. 또한 실시예에 따라 상기 뉴럴 네트워크 학습 시스템(300)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보 및/또는 데이터를 저장하기 위한 데이터베이스(Database; DB; 340)를 더 포함할 수도 있다.
상기 뉴럴 네트워크 학습 시스템(300)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 저장모듈(310), 추출모듈(320), 학습모듈(330) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 저장모듈(310), 추출모듈(320), 학습모듈(330) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
상기 저장모듈(310)은 뉴럴 네트워크(311) 및 오토인코더(312)를 저장할 수 있다.
본 명세서에서 뉴럴 네트워크는 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.
일 실시예에서, 상기 뉴럴 네트워크(311)는 컨볼루션 뉴렬 네트워크일 수 있다. 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예를 들어, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다.
이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
상기 뉴럴 네트워크(311)는 입력된 데이터의 분류(classification)에 이용될 수 있는 클래시피케이션 뉴럴 네트워크일 수 있다. 바람직하게는 상기 뉴럴 네트워크(311)는 입력된 데이터가 소정의 제1상태 또는 제2상태인지 여부에 대한 가능성을 출력함으로써, 상기 입력된 데이터에 대한 이진 분류에 이용되는 뉴럴 네트워크일 수 있다. 예를 들어, 상기 뉴럴 네트워크(311)는 생체 이미지를 입력받아 해당 이미지에 소정의 질병(예를 들면, 암)에 의해 발생하는 병변이 존재할 가능성을 판단하기 위한 뉴럴 네트워크일 수 있다.
즉, 상기 뉴럴 네트워크(311)는 상기 뉴럴 네트워크(311)에 입력되는 값이 소정의 제1상태 또는 제2상태일 가능성을 출력할 수 있다. 제1상태는 긍정(positive) 또는 부정(negative) 중 어느 하나일 수 있으며, 제2상태는 긍정(positive) 또는 부정(negative) 중 나머지 하나일 수 있다. 예를 들어, 제1상태는 병변이 존재하지 않는 정상 상태(negative)이고 제2상태는 병변이 존재하는 비정상 상태(positive)일 수 있다.
상기 뉴럴 네트워크(311)가 출력하는 가능성은, 상기 뉴럴 네트워크(311) 내의 손실함수(예를 들면, 평균 제곱 오차(mean squared error; MSE), 교차 엔트로피 오차(cross entropy error; CEE) 또는 두 벡터 간의 거리(예를 들면, 유클리드 거리, n-노름 거리, 맨해튼 거리 등)를 나타내는 함수 등)에 의해 산출되는 값일 수 있다.
상기 오토인코더(312)는 비지도 학습 방법론에서 주로 사용되는 뉴럴 네트워크 구조이다. 상기 오토인코더(312)는 입력되는 값의 차원을 축소했다가 다시 복원하는 형태의 비지도 기계학습 모델로서, 학습에 사용되는 값들이 가지는 특징을 학습하는 기능을 가진다. 보다 상세하게는 상기 오토인코더(312)는 출력 값을 입력 값에 근사하도록 하는 함수를 학습하며, 인코더를 통해 입력 값에 대한 피쳐를 추출하고, 디코더를 통해 입력 값를 재구성한다.
도 8은 상기 오토인코더(312)의 구조를 개략적으로 도시한 도면이다. 도 8을 참조하면, 오토인코더(312)는 컨볼루셔널 레이어를 포함하는 인코더 파트(312-1) 및 디컨볼루셔널 레이어를 포함하는 디코더 파트(312-2)를 포함할 수 있다. 인코더(111)로 원본 데이터(x)가 입력되면 인코더 파트(312-1)에서 원본 데이터(x)에 대한 인코딩이 수행되어 원본 데이터(x)의 피쳐(z=E(x))가 생성될 수 있다. 생성된 피쳐(z)는 디코더 파트(312-2)에서 디코딩되어 원본 데이터(x)에 상응하는 복원 데이터(x'=D(z))가 생성될 수 있다.
오토인코더 역시 뉴럴 네트워크의 일종이므로 다수의 훈련 데이터에 의한 학습이 선행되는데, 오토 인코도의 학습 단계에서는 각각의 학습 데이터 d에 대해 아래의 1) 내지 3) 과정이 수행된다.
1) 학습 데이터 d가 오토인코더(312)에 입력되어 인코딩 및 디코딩 과정을 거쳐 학습 데이터 d에 상응하는 복원 데이터 d'이 생성된다.
2) 학습 데이터 d와 복원 데이터 d' 간의 차이인 오차 e=L(d, d')가 산출된다(L은 손실함수).
3) 오차 역전파(error backpropagation) 방법에 따라 오토인코더(312) 내의 가중치가 갱신된다.
한편, 상기 오토인코더(312)는 입력된 값이 제1상태인지 제2상태인지를 판단하는데 이용될 수 있다.
일 실시예에서, 상기 오토인코더(312)는 제1상태의 학습 데이터만으로 미리 학습될 수 있으며, 소정의 예측 대상 값을 학습된 상기 오토인코더(312)에 입력하여 상기 오토인코더(312)가 복원(즉, 출력)한 결과 값과 상기 예측 대상 값이 소정의 한계 값 이상 차이가 나는 경우, 상기 예측 대상 값은 제2상태라고 판단될 수 있다.
다른 일 실시예예서, 상기 오토인코더(312)는 제2상태의 데이터만으로 미리 학습될 수 있으며, 소정의 예측 대상 값을 학습된 상기 오토인코더(312)에 입력하여 상기 오토인코더(312)가 복원(즉, 출력)한 결과 값과 상기 예측 대상 값이 소정의 한계 값 이상 차이가 나는 경우, 상기 예측 대상 값은 제1상태라고 판단될 수 있다.
한편, 실시예에 따라 상기 오토인코더(312)는 변분 오토인코더(Variational AutoEncoder; VAE)를 포함할 수 있다.
다시 도 7를 참조하면, 상기 DB(340)은 상기 뉴럴 네트워크(311)의 학습에 이용될 학습 데이터를 저장할 수 있다. 학습 데이터는 도 3a을 참조하여 설명한 바와 같은 다중 인스턴스 학습용 데이터일 수 있다. 즉, 상기 DB(340)에 저장된 학습 데이터 각각은 다수의 데이터 인스턴스를 포함하는 데이터 백일 수 있다.
일 실시예에서, 상기 복수의 학습 데이터 각각은 홀-이미지일 수 있으며, 각각의 학습 데이터를 구성하는 데이터 인스턴스는 해당 홀-이미지를 소정의 크기로 분할한 각각의 이미지 패치일 수 있다. 예를 들어, 상기 학습 데이터 각각은 온전한 병리 슬라이드 이미지일 수 있다. 이 경우 데이터 백은 하나의 온전한 병리 슬라이드 이미지가 되며, 해당 데이터 백에 포함된 데이터 인스턴스는 해당 병리 슬라이드 이미지를 소정의 크기로 분할한 개별 패치일 수 있다.
한편, 상기 DB(340)에 저장된 학습 데이터는 각각 제1상태 또는 제2상태로 라벨링되어 있을 수 있다. 예를 들어, 상기 복수의 학습 데이터가 병리 슬라이드 이미지일 경우, 각각의 학습 데이터는 병리 슬라이드 이미지에 대한 진단 결과(예를 들어, 병변의 유무 등)가 라벨링되어 있을 수 있다.
한편, 실시예에 따라서는 상기 학습 데이터들은 DB(340)에 저장되어 있는 것이 아니라 외부 입력 수단을 통해 사용자로부터 입력될 수도 있으며, HDD나 SDD와 같은 저장장치에 파일의 형태로 저장되어 있을 수도 있다.
상기 추출모듈(320)은 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 데이터 백 각각에 대하여, 상기 데이터 백에 포함된 데이터 인스턴스들 중 일부를 학습용 인스턴스로 추출하는 추출단계를 수행할 수 있다. 상기 추출모듈(320)에 의해 추출된 학습용 인스턴스는 후추 상기 뉴럴 네트워크(311)의 학습에 이용될 수 있다.
도 9는 상기 추출모듈(320)이 학습용 데이터 인스턴스를 추출하는 방법의 일 예를 도시한 도면이다. 도 9는 학습 데이터들이 도 3a에 도시돤 바와 같은 경우를 예로 들고 있다.
도 9를 참조하면, 상기 추출모듈(320)은 먼저 각각의 데이터 백 B1 내지 BM에 대하여 단계 S110 내지 S130을 수행할 수 있다(S100).
한편, 상기 추출모듈(320)은 데이터 백 Bi에 대하여(i는 1<=i<=M인 임의의 정수), 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 Dij를 뉴럴 네트워크(311)에 입력하여(j는 1<=j<=N인 임의의 정수), 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 Dij의 가능성 Pij을 산출할 수 있다(S110, S111). 예를 들어, Pij는 제2상태일 가능성일 수 있으며, 데이터 인스턴스 Dij에 대한 Cross-entropy Loss를 가능성 Pij로 산출할 수 있다.
이후 상기 추출모듈(320)은 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 별 가능성(Pi1 내지 PiN), 및 상기 데이터 백에 포함된 각 데이터 인스턴스(Di1 내지 DiN) 중 적어도 일부에 대한 상기 오토인코더(312)의 판단 결과에 기초하여 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스(Di1 내지 DiN) 중 일부를 학습용 인스턴스라고 판단할 수 있으며(S120), 판단된 학습용 인스턴스를 Bi의 라벨 Li로 라벨링할 수 있다(S130).
도 10는 도 9의 단계 S120의 구체적인 과정의 일 예를 도시한 도면이다. 도 10의 예에서는 상기 오토인코더(312)는, 제1상태인 데이터 인스턴스만으로 미리 학습되어 있다고 가정한다.
도 10를 참조하면, 상기 추출모듈(320)은 상기 데이터 백이 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더(312)에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단할 수 있다(S121). 이때, 상기 추출모듈(320)은 오토인코더(312)에 입력된 데이터 인스턴스와 오토인코더(312)가 출력한 출력 데이터 간의 차이가 소정의 한계 값 이상인 경우 오토 인코더(112)에 입력된 데이터 인스턴스가 제1상태라고 판단할 수 있다.
한편, 상기 데이터 백이 제2상태로 라벨링된 경우, 상기 추출모듈(320)은 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더(312)에 입력하여, 상기 오토인코더(312)에 의해 제2상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단할 수 있다(S122).
도 11은 도 10의 단계 S121의 구체적인 과정의 일 예를 도시한 도면이다.
도 11을 참조하면, 상기 추출모듈(320)은 데이터 백 Bi 내의 데이터 인스턴스(Di1 내지 DiN)를 제2상태일 가능성의 순으로 내림차순 정렬을 할 수 있다(S1211).
상기 추출모듈(320)은 단계 S1211를 통해 정렬된 순서대로 Bi 내의 데이터 인스턴스 Ak를 오토인코더(312)에 입력하여(k는 1<=j<=N인 임의의 정수), 입력된 데이터 인스턴스 Ak의 상태를 판단할 수 있으며(S1213), 데이터 인스턴스 Ak가 제1상태라고 판단된 경우 데이터 인스턴스 Ak를 학습용 인스턴스라고 판단할 수 있다(S1215).
상기 추출모듈(320)은 단계 S1213 내지 단계 S1215를 루프가 종료하거나 데이터 백 Bi에 상응하는 학습용 인스턴스가 미리 정해진 개수 Z만큼 발견될 때까지 수행할 수 있다(S1212, S1216, S1217 참조).
본 발명이 속하는 분야의 통상의 기술자라면, 도 11을 참고하여 도 10의 단계 S122의 구체적인 예 역시 손쉽게 도출할 수 있을 것이므로 상세한 설명은 생략하기로 한다. 한편, 도 10 및 도 11은 도 9의 단계 S120을 구현하는 일 예이며, 도 9의 단계 S120을 구현하는 다양한 방법이 있을 수 있음은 물론이다.
상술한 바와 같은 추출 과정을 통하여, 상기 추출모듈(320)은 하나의 데이터 백에서 여러 개의 데이터 인스턴스를 학습용 인스턴스로 추출할 수 있다. 종래의 다중 인스턴스 학습 방법에서는 하나의 데이터 백에서 여러 개의 학습용 인스턴스를 추출하는 경우 잘못된 학습 데이터 인스턴스가 추출될 가능성이 높아 뉴럴 네트워크의 학습에 부정적인 영향을 미칠 수 있었으나, 본 발명의 기술적 사상에 따른 방법에 의하면, 어느 하나의 상태만을 가지는 학습 데이터 인스턴스로 미리 학습된 오토인코더를 이용하여 필터링을 함으로써, 잘못된 학습 데이터 인스턴스가 추출되는 것을 상당히 줄일 수 있게 되는 효과가 있다.
다시 도 7를 참조하면, 상기 학습모듈(330)은 상기 추출모듈(320)에 의해 추출된 학습용 인스턴스에 기초하여 상기 뉴럴 네트워크(311)를 학습할 수 있다.
상기 학습모듈(330)은 널리 알려진 바와 같이, 뉴럴 네트워크(311)에 입력된 학습용 인스턴스와 출력 값간의 손실 오차를 상기 뉴럴 네트워크(311)에 역전파하여 상기 뉴럴 네트워크(311)를 학습할 수 있다.
상기 뉴럴 네트워크 학습 방법은, 상기 추출모듈에 의해 수행되는 학습 데이터 인스턴스 추출과정 및 상기 학습모듈(330)에 의해 수행되는 학습과정을 하나의 에폭(epoch)으로 취급하고, 복수의 에폭만큼 이를 반복 수행함으로써 뉴럴 네트워크(311)의 성능을 향상시킬 수 있다.
한편, 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법은 이미지 기반의 질병 진단 혹은 의사의 진단에 도움을 주기 위한 진단 보조에 이용될 수 있는 이미지 기반의 질병 진단을 위한 뉴럴 네트워크를 학습하는데 응용될 수 있는데, 이하에서는 이러한 응용예에 대하여 설명하기로 한다.
본 응용예에서 상기 뉴럴 네트워크(311)는 홀-슬라이드-이미지(whole-slide-image)를 소정의 크기로 분할한 이미지 패치를 입력받아 해딩 이미지 패치에 소정의 질병으로 인한 병변의 유무를 판단하는 진단용 혹은 진단 보조용 뉴럴 네트워크일 수 있다. 이 경우 상기 DB(340)는 복수의 병리 이미지 슬라이드를 저장할 수 있다. 병리 슬라이드 이미지는 조직 이미지를 비롯한 다양한 생체 이미지일 수 있다. 한편, 각각의 병리 슬라이드 이미지는 병변이 존재하지 않는 제1상태(정상 상태), 또는 상기 병변이 존재하는 제2상태(비정상 상태) 중 어느 하나로 라벨링되어 있을 수 있다. 한편, 본 응용예에서, 상기 오토인코더(312)는 병변이 존재하지 않는 정상 상태의 이미지 패치만으로 미리 학습되어 있을 수 있다. 예를 들어, 학습자는 뉴럴 네트워크(311)의 학습을 위해 상기 DB(340)에 저장된 병리 슬라이드 이미지 중 정상 상태로 라벨링된 것만을 골라 패치로 분할한 후 상기 오토인코더(312)를 미리 학습할 수 있다. 또는 학습자는 뉴럴 네트워크(311)의 학습에 이용되지 않는 별도의 정상 상태의 패치를 수집하여 상기 오토인코더(312)를 미리 학습할 수도 있다.
본 응용예에서, 상기 추출모듈(320)은 정상 상태 또는 비정상 상태 중 어느 하나로 라벨링되어 있는 복수의 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 학습용 패치를 추출하는 추출단계를 수행할 수 있으며, 상기 학습모듈(330)은 추출된 학습용 패치에 기초하여 상기 뉴럴 네트워크(311)를 학습하는 학습단계를 수행할 수 있다.
이때, 상기 추출단계에서, 상기 추출모듈(320)은 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치를 훈련중인 뉴럴 네트워크(311)에 입력하여, 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출할 수 있으며, 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더(112)의 판단 결과에 기초하여 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단할 수 있다.
보다 상세하게는 상기 추출모듈(320)은 상기 학습용 병리 슬라이드 이미지가 정상 상태로 라벨링된 경우, 비정상 상태일 가능성이 가장 높은 패치에서부터 비정상 상태일 가능성이 낮아지는 순서로 상기 오토인코더(312)에 입력하여, 상기 오토인코더(312)에 의해 정상상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단할 수 있다. 또한 상기 추출모듈(320)은 상기 학습용 이미지가 비정상 상태로 라벨링된 경우, 비정상 상태일 가능성이 가장 높은 패치에서부터 비정상 상태일 가능성이 낮아지는 순서로 상기 오토 인코더(112)에 입력하여, 상기 오토 인코더(112)에 의해 비정상 상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단할 수 있다.
상기 뉴럴 네트워크 학습 방법에 의해 학습된 뉴럴 네트워크는 상술한 바와 같이, 병리 이미지 분석 결과 출력 시스템(100)에 탑재되어, 병리 이미지에 대한 판단에 이용될 수 있다. 즉, 상기 뉴럴 네트워크는 소정의 이미지(진단 패치)가 병변 상태 또는 비병변 상태인지 여부를 판단할 수 있다.
도 12는 본 발명의 일 실시예에 따른 병리 이미지 분석 결과 출력 방법(200)을 도시한 도면이다.
도 12를 참조하면, 병리 이미지 분석 결과 출력 시스템(100)은, 병리 이미지를 획득할 수 있다(S210).
상기 병리 이미지 분석 결과 출력 시스템(100)은 상기 병리 이미지 중 병변 영역을 판단할 수 있다(S220). 일 실시예에서, 상기 상기 병리 이미지 분석 결과 출력 시스템(100)은 미리 학습된 뉴럴 네트워크를 이용하여 병변 영역을 판단할 수 있다.
상기 병리 이미지 분석 결과 출력 시스템(100)은 상기 병리 이미지의 병변 영역과 상기 병리 이미지의 비병변 영역이 시각적으로 구분되도록 하기 위하여, 상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여할 수 있다(S230). 일 실시예에서, 상기 병리 이미지 분석 결과 출력 시스템(100)은 상기 병리 이미지의 비병변 영역의 투명도를 조정하거나, 상기 병리 이미지의 비병변 영역의 채도를 조정하거나, 상기 병리 이미지의 비병변 영역의 명도를 조정할 수 있다.
이후 상기 병리 이미지 분석 결과 출력 시스템(100)은 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지를 출력하는 단계(240).
한편, 상기 컴퓨팅 장치(100; 300)는 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로그램과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크 학습 방법을 수행할 수 있다. 상기 프로세서는 싱글 코어 CPU 혹은 멀티 코어 CPU를 포함할 수 있다. 상기 저장장치는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 컴퓨팅 장치(100; 300)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템에 이용될 수 있다.

Claims (11)

  1. 컴퓨팅 시스템이, 병리 이미지를 획득하는 단계;
    상기 컴퓨팅 시스템이, 상기 병리 이미지 중 병변 영역을 판단하는 단계;
    상기 컴퓨팅 시스템이, 상기 병리 이미지의 병변 영역과 상기 병리 이미지의 비(非)병변 영역이 시각적으로 구분되도록 하기 위하여, 상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여하는 단계; 및
    상기 컴퓨팅 시스템이, 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지를 출력하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여하는 단계는,
    상기 병리 이미지의 비병변 영역의 투명도를 조정하는 단계;
    상기 병리 이미지의 비병변 영역의 채도를 조정하는 단계; 또는
    상기 병리 이미지의 비병변 영역의 명도를 조정하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 컴퓨팅 시스템이,
    사용자로부터 소정의 토글 명령이 입력될 때마다, 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지와 상기 비병변 영역에 시각적 효과를 부여하지 않은 원본 병리 이미지를 번갈아 출력하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 병리 이미지 중 병변 영역을 판단하는 단계는,
    상기 병리 이미지를 소정의 크기로 분할한 복수의 진단 패치 각각을 미리 학습된 뉴럴 네트워크에 입력하여 상기 복수의 진단 패치 각각에 상응하는 판단 결과를 획득하는 단계; 및
    획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 병리 이미지 중 병변 영역을 판단하는 단계를 포함하는 방법.
  5. 데이터 처리장치에 설치되며 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
  6. 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  7. 컴퓨팅 시스템으로서,
    프로세서 및 메모리를 포함하되,
    상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하도록 하는 컴퓨팅 시스템.
  8. 병리 이미지를 획득하는 획득모듈;
    상기 병리 이미지 중 병변 영역을 판단하는 판단모듈;
    상기 병리 이미지의 병변 영역과 상기 병리 이미지의 비(非)병변 영역이 시각적으로 구분되도록 하기 위하여, 상기 병리 이미지의 비병변 영역에 소정의 시각적 효과를 부여하는 처리모듈; 및
    상기 비병변 영역에 시각적 효과를 부여한 병리 이미지를 출력하는 출력모듈을 포함하는 컴퓨팅 시스템.
  9. 제8항에 있어서,
    상기 처리모듈은, 상기 병리 이미지의 비병변 영역에 시각적 효과를 부여하기 위하여,
    상기 병리 이미지의 비병변 영역의 투명도를 조정하거나,
    상기 병리 이미지의 비병변 영역의 채도를 조정하거나,
    상기 병리 이미지의 비병변 영역의 명도를 조정하는 것을 특징으로 하는 컴퓨팅 시스템.
  10. 제8항에 있어서,
    상기 출력모듈은,
    사용자로부터 소정의 토글 명령이 입력될 때마다, 상기 비병변 영역에 시각적 효과를 부여한 병리 이미지와 상기 비병변 영역에 시각적 효과를 부여하지 않은 원본 병리 이미지를 번갈아 출력하는 단계를 더 포함하는 방법.
  11. 제8항에 있어서,
    상기 판단모듈은,
    상기 병리 이미지를 소정의 크기로 분할한 복수의 진단 패치 각각을 미리 학습된 뉴럴 네트워크에 입력하여 상기 복수의 진단 패치 각각에 상응하는 판단 결과를 획득하고,
    획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 병리 이미지 중 병변 영역을 판단하는 컴퓨팅 시스템.
PCT/KR2021/012653 2020-09-28 2021-09-16 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템 WO2022065798A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200125500A KR20220042558A (ko) 2020-09-28 2020-09-28 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템
KR10-2020-0125500 2020-09-28

Publications (1)

Publication Number Publication Date
WO2022065798A1 true WO2022065798A1 (ko) 2022-03-31

Family

ID=80846068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012653 WO2022065798A1 (ko) 2020-09-28 2021-09-16 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템

Country Status (2)

Country Link
KR (2) KR20220042558A (ko)
WO (1) WO2022065798A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005504595A (ja) * 2001-10-03 2005-02-17 レティナリゼ・ダンマーク・アクティーゼルスカブ 画像内の病変の評定
KR100958491B1 (ko) * 2004-07-30 2010-05-17 애플 인크. 터치 감지 입력 장치용 모드 기반 그래픽 사용자 인터페이스
KR20120034891A (ko) * 2010-10-04 2012-04-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2018038789A (ja) * 2016-09-02 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2019148473A (ja) * 2018-02-27 2019-09-05 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR102043672B1 (ko) * 2019-03-29 2019-11-12 주식회사 딥노이드 딥러닝 기반의 병변 판독 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005504595A (ja) * 2001-10-03 2005-02-17 レティナリゼ・ダンマーク・アクティーゼルスカブ 画像内の病変の評定
KR100958491B1 (ko) * 2004-07-30 2010-05-17 애플 인크. 터치 감지 입력 장치용 모드 기반 그래픽 사용자 인터페이스
KR20120034891A (ko) * 2010-10-04 2012-04-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2018038789A (ja) * 2016-09-02 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2019148473A (ja) * 2018-02-27 2019-09-05 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR102043672B1 (ko) * 2019-03-29 2019-11-12 주식회사 딥노이드 딥러닝 기반의 병변 판독 시스템 및 방법

Also Published As

Publication number Publication date
KR20220043064A (ko) 2022-04-05
KR20220042558A (ko) 2022-04-05

Similar Documents

Publication Publication Date Title
Rathod et al. Diagnosis of skin diseases using Convolutional Neural Networks
WO2019132170A1 (ko) 학습용 데이터 관리방법, 장치 및 프로그램
WO2017213398A1 (en) Learning model for salient facial region detection
WO2021246810A1 (ko) 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2021246811A1 (ko) 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2019050297A1 (ko) 뉴럴 네트워크 학습 방법 및 장치
WO2021210796A1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2021210797A1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
WO2019035544A1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
EP3459009A2 (en) Adaptive quantization method for iris image encoding
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2019221586A1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2022065798A1 (ko) 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022019390A1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
WO2020141907A1 (ko) 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법
WO2022019355A1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872827

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21872827

Country of ref document: EP

Kind code of ref document: A1