WO2022092993A1 - 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 - Google Patents

대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 Download PDF

Info

Publication number
WO2022092993A1
WO2022092993A1 PCT/KR2021/015734 KR2021015734W WO2022092993A1 WO 2022092993 A1 WO2022092993 A1 WO 2022092993A1 KR 2021015734 W KR2021015734 W KR 2021015734W WO 2022092993 A1 WO2022092993 A1 WO 2022092993A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inference
sub
pixels
images
Prior art date
Application number
PCT/KR2021/015734
Other languages
English (en)
French (fr)
Inventor
유인완
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to EP21802585.6A priority Critical patent/EP4239533A1/en
Priority to US17/671,936 priority patent/US20220172009A1/en
Publication of WO2022092993A1 publication Critical patent/WO2022092993A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present disclosure relates to a method and system for performing an inference operation on a target image, and more particularly, to a method and system for performing an inference operation on a target image by using inference results for a plurality of sub-images in the target image will provide
  • AI artificial intelligence
  • the pathology slide image may be input to the object detection model to classify cell, tissue and/or structural regions contained within the pathology slide image.
  • the pathological slide image is a high-resolution and high-capacity image, and there is a problem in that a high-capacity and high-cost computational resource and memory are required to perform an inference operation using the pathological slide image directly.
  • the pathological slide image may be divided into a plurality of images, and an inference operation may be performed on the plurality of divided images. Then, in order to complete the inference task on the pathological slide image, it may be necessary to merge the inference task on the plurality of segmented images. Since the pathological slide image is divided and the reasoning operation is performed respectively, the result value of the reasoning operation near the dividing line between the plurality of divided images may not be accurate. For example, a phenomenon in which an inference result seems to be cut off may occur near a dividing line between a plurality of divided images. The inaccuracy of the reasoning result near the dividing line may deteriorate the reasoning performance for the entire pathological slide.
  • the present disclosure provides a method and system for performing an inference operation on a target image to solve the above problems.
  • the present disclosure may be implemented in various ways, including a method, an apparatus, a system (eg, a server system, a cloud system, etc.) or a computer-readable storage medium storing instructions, a computer program, and the like.
  • a system eg, a server system, a cloud system, etc.
  • a computer-readable storage medium storing instructions, a computer program, and the like.
  • a method of performing an inference operation on a target image includes dividing the target image into a plurality of sub-images, and predicting a plurality of pixels included in each of the plurality of divided sub-images. ) generating a result, applying a weight to the inference result for the plurality of pixels, and merging the inference result for the plurality of pixels to which the weight is applied.
  • the dividing the target image into a plurality of sub-images includes dividing a portion of a first image included in the plurality of sub-images to overlap a portion of a second image adjacent to the first image. includes steps.
  • applying the weight to the inference result for the plurality of pixels includes applying a bilinear weight to the inference result for the pixel included in each of the plurality of sub-images. .
  • the bilinear weight is a weight used for bilinear interpolation applied to an inference result for a plurality of pixels, and is calculated as a value corresponding to each of the plurality of pixels.
  • the merging of the inference results for a plurality of weighted pixels may include: the inference result to which a first weight corresponding to a pixel included in a portion of the overlapping first image is applied and the overlapping second image. and merging an inference result to which a second weight corresponding to the pixels included in the portion is applied.
  • generating an inference result for a plurality of pixels included in each of the plurality of divided sub-images may include determining a class for each of the plurality of pixels and an inference result including the determined class and creating a class, wherein the class is one of the plurality of classes representing the plurality of objects.
  • the determining of the class for each of the plurality of pixels includes inputting each of the plurality of divided sub-images to a segmentation machine learning model, and the plurality of sub-images included in each outputting the class for each of the pixels of
  • generating an inference result including the determined class includes determining values for a plurality of channels corresponding to the plurality of classes by using the class for each of the plurality of pixels. .
  • generating the speculation result including the determined class further includes generating an array corresponding to the speculation result for the plurality of pixels based on the determined values for the plurality of channels.
  • applying the weight to the inference result for the plurality of pixels includes applying the weight to each of the plurality of channels.
  • a memory for storing one or more instructions, and by executing the stored one or more instructions, the target image is divided into a plurality of sub-images, and a plurality of sub-images included in each of the divided plurality of sub-images and a processor configured to generate inference results for pixels of
  • the processor may generate an inference result for each of a plurality of sub-images divided from the target image, and may apply a weight equally or differently to each of the generated inference results. Then, an inference operation may be performed on the target image by merging the weighted inference results. This weight may be determined to prevent performance degradation of the inference result that may occur between the dividing lines between the plurality of sub-images according to the merging, and as a result, the performance of the inference result of the target image may be maintained or improved. there is.
  • the final inference result is cut off at the boundary line between the inference results for the plurality of sub-images. It is possible to prevent the appearance of errors, and it is possible to prevent the loss of results such as blurring of the final inference result. That is, it is possible to further improve the performance of the inference operation on the target image.
  • the size of a region in which a plurality of sub-images included in a target image overlap with adjacent sub-images may be determined in consideration of an inference operation speed, computational resources, memory, inference performance, and the like. That is, by determining the size of the overlapping area according to the hardware or resource environment, the performance for the optimal reasoning operation can be achieved.
  • FIG. 1 is an exemplary diagram in which an information processing system according to an embodiment of the present disclosure performs an inference operation on a target image.
  • FIG. 2 is a block diagram illustrating an internal configuration of a processor according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating a method of performing an inference operation on a target image according to an embodiment of the present disclosure.
  • FIG. 4 is an exemplary diagram of performing an inference operation on a target image according to an embodiment of the present disclosure.
  • FIG. 5 is an exemplary diagram of dividing a target image into a plurality of sub-images according to an embodiment of the present disclosure.
  • FIG. 6 is an exemplary diagram of generating a final inference result for a target image by merging inference results for sub-images according to an embodiment of the present disclosure.
  • FIG. 7 is an exemplary diagram illustrating an artificial neural network model according to an embodiment of the present disclosure.
  • FIG. 8 is an exemplary diagram of a pathological slide image and at least one patch included in a pathological slide image as a target image and sub-image according to an embodiment of the present disclosure
  • FIG. 9 is an exemplary diagram of an inference result for a target image generated by merging inference results for two sub-images according to embodiments of the present disclosure.
  • FIG. 10 is an exemplary diagram of an inference result for a pathological slide image generated by merging inference results for a plurality of patches according to embodiments of the present disclosure.
  • 11 is an exemplary system configuration diagram for performing an inference operation on a target image according to an embodiment of the present disclosure.
  • 'module' or 'unit' used in the specification means a software or hardware component, and 'module' or 'unit' performs certain roles.
  • 'module' or 'unit' is not meant to be limited to software or hardware.
  • a 'module' or 'unit' may be configured to reside on an addressable storage medium or configured to reproduce one or more processors.
  • 'module' or 'unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, may include at least one of procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays or variables.
  • Components and 'modules' or 'units' are the functions provided therein that are combined into a smaller number of components and 'modules' or 'units' or additional components and 'modules' or 'units' can be further separated.
  • a 'module' or a 'unit' may be implemented with a processor and a memory.
  • 'Processor' should be construed broadly to include general purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, and the like.
  • a 'processor' may refer to an application specific semiconductor (ASIC), a programmable logic device (PLD), a field programmable gate array (FPGA), or the like.
  • ASIC application specific semiconductor
  • PLD programmable logic device
  • FPGA field programmable gate array
  • 'Processor' refers to a combination of processing devices, such as, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in combination with a DSP core, or any other such configuration. You may. Also, 'memory' should be construed broadly to include any electronic component capable of storing electronic information.
  • RAM random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • PROM programmable read-only memory
  • EPROM erase-programmable read-only memory
  • a memory is said to be in electronic communication with the processor if the processor is capable of reading information from and/or writing information to the memory.
  • a memory integrated in the processor is in electronic communication with the processor.
  • a 'system' may include at least one of a server device and a cloud device, but is not limited thereto.
  • a system may consist of one or more server devices.
  • a system may consist of one or more cloud devices.
  • the system may be operated with a server device and a cloud device configured together.
  • 'target image' and 'sub-image' may refer to any image data or image data item that can be used for training and/or inference of a machine learning model.
  • 'target image' and 'sub-image' the entire pathological slide image and/or a plurality of patches included in the pathological slide image are used for description, but this is not limited and can be used for machine learning model learning.
  • Arbitrary data may correspond to a 'target image' and a 'sub image'.
  • the 'sub-image' may refer to some images extracted from the 'target image'.
  • the 'sub-image' may be a plurality of patches included in the pathological slide image.
  • the 'sub image' may refer to a portion of the patch corresponding to the target image, i.e., a size smaller than the patch corresponding to the target image. It could be a patch.
  • a 'pixel' may refer to a pixel included in a target image and/or a sub-image.
  • a pixel may refer to one pixel.
  • a pixel may refer to a plurality of pixels, ie, one group of pixels.
  • the 'pathology slide image' refers to an image of a pathological slide fixed and stained through a series of chemical treatments to observe a tissue removed from the human body under a microscope.
  • the pathological slide image may refer to a whole slide image including a high-resolution image of the entire slide.
  • the pathological slide image may refer to a digital image photographed using a microscope, and may include information on cells, tissues, and/or structures in the human body.
  • the pathology slide image may include one or more patches.
  • a 'patch' may refer to a small area within a pathological slide image.
  • the patch may refer to a sub-image generated by segmenting the pathological slide image to perform segmentation on the pathological slide image.
  • the patch may include regions corresponding to semantic objects extracted by performing segmentation on the pathological slide image.
  • an 'artificial neural network model' is an example of a machine learning model, and may include any model used to infer an answer to a given input.
  • the artificial neural network model may include an artificial neural network model including an input layer (layer), a plurality of hidden layers, and an output layer.
  • each layer may include one or more nodes.
  • the artificial neural network model may be trained to infer class information for a plurality of pixels included in the target image and/or sub-images.
  • the artificial neural network model may include weights associated with a plurality of nodes included in the artificial neural network model.
  • the weight may include any parameter associated with the artificial neural network model.
  • class and class information' may refer to classified information about cells, tissues, and/or structures in a patch.
  • class and class information may include helper T cells, cytotoxic T cells, natural killer T cells, memory T cells, and regulatory T cells. It can represent objects such as lymphocytes, such as suppressor T cells and B cells, neutrophils, eosinophils, basophils, monocytes, red blood cells, and platelets.
  • the processor may determine a pixel of a region corresponding to a lymphocyte in the target image and/or the sub-image as the lymphocyte class.
  • each of a plurality of A' or 'each of a plurality of A' may refer to each of all components included in the plurality of As, or may refer to each of some components included in the plurality of As. .
  • each of the plurality of sub-images may refer to each of all sub-images included in the plurality of sub-images or may refer to each of some sub-images included in the plurality of sub-images.
  • 'a plurality of pixels included in each of the plurality of sub-images' may mean that each of the sub-images includes a plurality of pixels.
  • the 'inference result' may refer to data itself output from the processor and/or information displayed on an image based on the output data.
  • the inference result may be referred to as an output.
  • the inference result may refer to displaying various visual marks such as area marks, figure marks, color marks, texts, etc. indicating each class in the target image and/or sub-images based on data output from the processor. there is.
  • the inference result may refer to a matrix, vector, or array including a value representing a class for each of a plurality of pixels.
  • the inference result for a pixel of 2X2 Is can be expressed as
  • the inference result may include a plurality of channels corresponding to each of a plurality of classes, and may include values for a plurality of channels determined according to a class for each of a plurality of pixels.
  • the inference result is a value of a channel corresponding to a normal cell class. , which is the value of the channel corresponding to the cancer stroma class , which is the value of the channel corresponding to the cancer epithelial class may include
  • a 'final inference result' may refer to an inference result for a target image, and for example, may be generated by merging inference results for each of a plurality of sub-images included in the target image.
  • the 'inference result of the image' or the 'inference result of the image' may include inference results with respect to a plurality of pixels included in the image.
  • the 'inference result for a plurality of pixels' may refer to an inference result for an image including a plurality of pixels or an inference result of the image.
  • the 'weight' may refer to a numerical value indicating the degree to which the inference result of each of a plurality of sub-images included in the target image is reflected when generating the inference result for the target image. For example, according to a weight applied to each of the plurality of sub-images in the target image, the influence that the inference result for each of the plurality of sub-images may have on the inference result for the target image, that is, the final inference result may be determined. .
  • Such 'weight' may be calculated and/or applied in units of pixels or in units of pixel groups including a plurality of pixels.
  • the information processing system 100 may include a communication module 110 and a processor 120 .
  • the information processing system 100 may receive the target image 130 on which an inference operation is to be performed through the communication module 110 .
  • the target image may refer to a whole slide image (WSI) that is an image or an image photographed with a microscope.
  • the subject image may include a pathology slide image or one or more patches contained within the pathology slide image.
  • the processor 120 may perform an inference operation on the received target image 130 . Meanwhile, in order for the processor 120 to perform an inference operation using the target image 130 as it is, a high-capacity and high-cost memory and computational resource may be required. In addition, when the reasoning operation is performed using the high-resolution target image 130 as it is, the operation speed of the processor 120 may be reduced. Under these conditions, the processor 120 may divide the target image 130 into a plurality of sub-images before performing the inference operation.
  • the processor 120 may perform an inference operation on a plurality of pixels included in each of the plurality of divided sub-images. For example, the processor 120 may determine a class for each of the plurality of pixels. Here, the class may mean a target object such as a cell, tissue, or structure in the human body to be distinguished in the corresponding target image 130 .
  • the processor 120 may include a machine learning model for performing inference tasks. For example, the processor 120 may input each of the plurality of divided sub-images to a segmentation machine learning model, and output a class for each of a plurality of pixels included in each of the plurality of sub-images. there is.
  • the processor 120 may output the final inference result 140 for the target image 130 by merging all the inference results for the plurality of pixels included in each of the plurality of sub-images.
  • the final inference result 140 since the final inference result 140 is generated by merging the inference results for the plurality of sub-images, the inference results at the boundary of the plurality of sub-images may not be naturally connected. For example, when the inference results of two sub-images near the boundary line are completely different from each other, the inference result near the boundary line may appear to be cut off.
  • the processor 120 may divide each sub-image to partially overlap with another adjacent sub-image.
  • the processor 120 may generate a final inference result for the target image by applying a weight to a partial region where the inference results for the plurality of sub-images overlap, and merging the weighted inference results.
  • the processor 120 may calculate a weight for generating and/or outputting a final inference result 150 in which inference results for a plurality of sub-images have smooth boundaries within the target image.
  • the processor 120 may set different weights according to positions of respective pixels of the plurality of sub-images. For example, the processor 120 may apply a bilinear weight to inference results for pixels included in each of the plurality of sub-images.
  • a weight to be applied to an inference result for a pixel close to the center in the plurality of sub-images may be set to be greater than a weight to be applied to an inference result for a pixel close to an edge in the plurality of sub-images.
  • the processor 120 may determine different weights to be applied to at least some pixels among the pixels of the plurality of sub-images, and may determine to apply the same weight to the remaining pixels. The weight determined in this way may be applied to inference results for the plurality of sub-images.
  • the processor 120 may include an image segmentation module 210 , an inference operation performing module 220 , and an inference result merging module 230 .
  • the image division module 210 may divide the target image into a plurality of sub images.
  • the target image may be the entire slide image, and the sub image may correspond to a patch of the entire slide image.
  • the image segmentation module 210 may segment the target image so that a plurality of sub-images partially overlap with other adjacent sub-images.
  • the image segmentation module 210 may divide a portion of the first image included in the plurality of sub-images to overlap a portion of the second image adjacent to the first image. Accordingly, when one sub-image has a quadrangular shape, four adjacent sub-images may exist, and one sub-image may be divided to overlap at least one sub-image among the four adjacent sub-images.
  • the inference operation performing module 220 may perform an inference operation on a plurality of pixels included in each of the plurality of divided sub-images.
  • the inference operation performing module 220 may determine a class for each of the plurality of pixels.
  • the inference task performing module 220 may input each of the plurality of divided sub-images to the segmentation machine learning model, and output a class for each of the plurality of pixels included in each of the plurality of sub-images.
  • the class may be one class among a plurality of classes representing a plurality of objects.
  • the reasoning operation performing module 220 may generate an inference result including the determined class. For example, the inference operation performing module 220 may determine values for a plurality of channels corresponding to the plurality of classes by using a class for each of the plurality of pixels. Additionally, the inference operation performing module 220 may generate a set (eg, an array, etc.) corresponding to the inference result for the plurality of pixels based on the determined values for the plurality of channels.
  • the size of the generated array is a value (w*h*c) multiplied by the width (w) of each of the plurality of sub-images, the height (h) of each of the plurality of sub-images, and the size (c) of the plurality of channels. ) can be
  • the inference result merging module 230 may apply a weight to the inference result for a plurality of pixels.
  • the inference result merging module 230 may apply a bilinear weight to an inference result for a pixel included in each of the plurality of sub-images.
  • the bilinear weight is a weight used for bilinear interpolation applied to an inference result for a plurality of pixels, and may be calculated as a value corresponding to each of the plurality of pixels. For example, such a double linear weight may be calculated using Equation 1 below.
  • the inference result merging module 230 may apply a weight to each of the plurality of channels.
  • the inference result merging module 230 may merge the inference result for a plurality of pixels to which the weight has been applied.
  • the inference result merging module 230 applies a weight corresponding to a pixel included in a portion of an overlapping second image with an inference result to which a weight corresponding to a pixel included in a portion of the overlapping first image is applied
  • Inference results can be merged. That is, the inference result merging module 230 may calculate a final inference result by partially overlapping and merging the inference results for each sub-image to which the weight is applied.
  • the inference result merging module 230 may initialize an array for each of the final result and the final weight to 0, and generate a bilinear weight array. Thereafter, the inference result merging module 230 adds the result of multiplying the inference result for each sub-image (eg, patch) by a weight for each channel to the initialized final result array, and adds the double linear weight to the final weight array can be added That is, the inference result merging module 230 may arrange the inference results for the plurality of weighted sub-images according to positions of the plurality of sub-images in the target image, and merge the weighted inference results.
  • the inference result merging module 230 may arrange the inference results for the plurality of weighted sub-images according to positions of the plurality of sub-images in the target image, and merge the weighted inference results.
  • the inference result merging module 230 may divide the value of each pixel in the final result array by the final weight value of the corresponding pixel in the final weight array to calculate the final inference result.
  • the inference result merging module 230 may calculate a final inference result based on Equations 1 to 8 below.
  • the method 300 for performing an inference operation on a target image may be performed by a processor (eg, at least one processor of an information processing system). As shown, the method 300 for performing an inference operation on the target image may be initiated by the processor dividing the target image into a plurality of sub-images ( S310 ). The processor may divide a portion of the first image included in the plurality of sub-images to overlap a portion of the second image adjacent to the first image.
  • each of the first image and the second image may be one or more sub-images.
  • the processor may generate a prediction result for a plurality of pixels included in each of the plurality of divided sub-images ( S320 ).
  • the processor may determine a class for each of the plurality of pixels, and generate an inference result including the determined class.
  • the class may be one class among a plurality of classes representing a plurality of objects.
  • the processor may input each of the plurality of divided sub-images to the segmentation machine learning model, and output a class for each of the plurality of pixels included in each of the plurality of sub-images.
  • the processor may determine values for a plurality of channels corresponding to the plurality of classes by using the class for each of the plurality of pixels. Additionally, the processor may generate an array corresponding to an inference result for the plurality of pixels based on the determined values for the plurality of channels.
  • the processor may apply a weight to the inference result for the plurality of generated pixels (S330).
  • the processor may apply a bilinear weight to an inference result for a pixel included in each of the plurality of sub-images.
  • the bilinear weight may include a weight corresponding to each pixel calculated through bilinear interpolation.
  • the processor may apply a weight to each of the plurality of channels.
  • the processor may merge the inference results for the plurality of pixels to which the weight is applied ( S340 ).
  • the processor is configured to: a first weighted inference result corresponding to a pixel included in a portion of the overlapping first image and a second weighted inference result corresponding to a pixel included in a portion of the overlapped second image can be merged.
  • the processor may divide the target image 410 into a plurality of sub-images 420 to perform an inference operation on the target image 410 .
  • the processor determines the size and/or number of the plurality of sub-images 420 based on work speed, computational resources, memory, etc., and based on the determined size and/or number of sub-images 420 , , the target image 410 may be divided into a plurality of sub-images 420 .
  • each of the plurality of sub-images 520 is illustrated as having the same size, but is not limited thereto, and sizes of at least some of the plurality of sub-images 520 may be different from each other.
  • the processor may perform segmentation on each of the plurality of divided sub-images 420 to generate a plurality of inference results 430 corresponding to the plurality of sub-images 420 .
  • the processor may determine a class for each of a plurality of pixels included in the plurality of sub-images, and generate an inference result including the determined class.
  • the class may be one of a plurality of classes representing a plurality of objects (eg, each cell, tissue, and/or structure, etc.).
  • the inference result for each sub-image is displayed using color, but the present invention is not limited thereto, and various methods for indicating a class may be applied.
  • the processor may determine values for a plurality of channels corresponding to the plurality of classes by using the class for each of the plurality of pixels. Also, the processor may generate an array corresponding to an inference result for the plurality of pixels based on the determined values for the plurality of channels.
  • the inference result 430 for each sub-image may have as many channels as the number of classes that the result becomes a target. For example, when the processor segments two classes of 'cancer cells' and 'lymphocytes' in the sub-image, the inference result may have two channels.
  • the processor may generate the final inference result 440 for the target image by arranging and merging the inference results 430 according to the respective positions of the plurality of sub-images 420 in the target image 410 .
  • the target image 410 may be a full slide image that is an image taken with a microscope, and the entire slide image includes an area on which tissue is placed on a glass slide (that is, a tissue area that is an object to be inferred from) and an area on which it is not placed. can be divided into Alternatively, the target image 410 may be a partial image corresponding to a tissue region among the entire slide image.
  • the processor divides the target image 410 into a plurality of sub-images 420 so that the plurality of sub-images 420 cover the entire area of the target image 410 , but is not limited thereto.
  • the processor may segment the plurality of sub-images 420 to cover a tissue region that is a part of the target image 410 .
  • FIG. 5 is an exemplary diagram in which a target image 510 is divided into a plurality of sub-images 520 according to an embodiment of the present disclosure.
  • the processor divides the target image 510 into a plurality of sub-images 520 , Each sub-image may be divided so that it partially overlaps with other adjacent sub-images.
  • the periphery of the sub-image has a narrower receptive field than the center, the performance of segmentation may be deteriorated.
  • the processor may improve the segmentation performance of the target image 510 by dividing the target image 510 so that the plurality of sub-images 520 have overlapping regions (ie, regions overlapping with adjacent sub-images). .
  • the processor may divide a part of the first image 522 that is a sub-image of the target image to overlap a part of the second image 524 that is another sub-image of the target image.
  • the first image 522 and the second image 524 may be sub-images adjacent to each other.
  • four adjacent sub-images including the first image 522 and the second image 524 may be divided to overlap each other.
  • the inference performance of the processor may be improved.
  • the processor may have to process larger sub-images and/or more sub-images. Accordingly, the processor may determine the size of the region where the plurality of sub-images overlap each other so that optimal inference performance may be reached in consideration of the operation speed, computational resource, memory, inference performance, and the like.
  • the processor may perform an inference operation on a plurality of pixels included in each of the plurality of sub-images 520 divided in this way.
  • FIG. 5 illustrates an example in which the target image 510 is divided into a plurality of sub-images 520 of the same size
  • the present invention is not limited thereto, and the target image 510 may be divided into a plurality of sub-images of different sizes.
  • the processor divides the target image 510 so that each of the plurality of sub-images 520 has the same size of an overlapping area with another adjacent sub-image, but is not limited thereto, and the size of the overlapping area is not limited thereto.
  • the target image 510 may be divided to be different.
  • the shape of the target image 510 and the sub-image 520 is illustrated as a rectangle in FIG. 5 , the shape is not limited thereto, and may have different shapes such as polygons such as triangles and trapezoids, circles, and curves.
  • the inference result of each of the plurality of sub-images may be displayed in color, but is not limited thereto, and may be displayed by any information capable of displaying the inference result.
  • the inference result of each of the plurality of sub-images may be displayed in RGB color, one-dimensional monochrome, multi-dimensional image, and the like.
  • light blue may indicate a cancer epithelial class
  • yellow may indicate a lymphocyte cell class
  • purple may indicate a cancer stromal class
  • indigo blue may indicate a normal cell.
  • the processor may apply a weight mask to the inference result 610 for each of the plurality of sub-images. That is, the processor may apply a weight to the inference result 610 for a plurality of pixels included in each of the plurality of sub-images. In an embodiment, the processor may apply a double linear weight to the inference result 610 for a plurality of pixels included in each of the plurality of sub-images.
  • the bilinear weight is a weight corresponding to each pixel and may be calculated through bilinear interpolation.
  • the processor may apply a weight to each of the plurality of channels.
  • the processor may generate a final inference result 620 for the target image by arranging and merging the inference results for each of the plurality of sub-images to which the weight is applied according to the position of each of the plurality of sub-images in the target image.
  • the processor may merge the inference results for the plurality of weighted pixels. For example, the processor may merge an inference result to which a weight corresponding to a pixel included in a portion of the overlapping first image is applied and an inference result to which a weight corresponding to a pixel included in a portion of the overlapping second image is applied.
  • the processor may output the final inference result 620 having a smooth boundary as shown by merging the inference results for each of the sub-images to which the double linear weight is applied.
  • each of the inference results is for other adjacent sub-images in addition to the inference result 610 shown as an example in FIG. 6 .
  • It can be merged with the inference result.
  • a color in which the inference result (not shown) for other sub-images adjacent to the right is merged may be displayed.
  • a color merged with the inference result (not shown) for other sub-images adjacent to the bottom may be displayed.
  • a merged color may be displayed together with an inference result (not shown) for a sub-image adjacent to the right and an inference result (not shown) for a sub-image adjacent to the bottom.
  • the artificial neural network model 700 is an example of a machine learning model, and in machine learning technology and cognitive science, a statistical learning algorithm implemented based on the structure of a biological neural network or a structure for executing the algorithm.
  • the artificial neural network model 700 as in a biological neural network, nodes that are artificial neurons that form a network by combining synapses repeatedly adjust the weights of synapses, By learning to reduce the error between the output and the inferred output, it is possible to represent a machine learning model with problem-solving ability.
  • the artificial neural network model 700 may include arbitrary probabilistic models, neural network models, etc. used in artificial intelligence learning methods such as machine learning and deep learning.
  • the artificial neural network model 700 may include an artificial neural network model configured to output a class for each pixel by inputting a target image or sub-image.
  • the artificial neural network model 700 may include a pathological slide image or an artificial neural network model configured to output a class for each pixel by inputting at least one patch included in the pathological slide image.
  • the artificial neural network model 700 is implemented as a multilayer perceptron (MLP) composed of multilayer nodes and connections between them.
  • the artificial neural network model 700 according to the present embodiment may be implemented using one of various artificial neural network model structures including MLP.
  • the artificial neural network model 700 includes an input layer 720 that receives an input signal or data 710 from the outside, and an output layer that outputs an output signal or data 750 corresponding to the input data. 740 , located between the input layer 720 and the output layer 740 , receiving a signal from the input layer 720 , extracting characteristics, and transferring the characteristics to the output layer 740 . It is composed of hidden layers 730_1 to 730_n.
  • the output layer 740 receives signals from the hidden layers 730_1 to 730_n and outputs them to the outside.
  • the learning method of the artificial neural network model 700 includes a supervised learning method that learns to be optimized to solve a problem by input of a teacher signal (correct answer), and an unsupervised learning method that does not require a teacher signal. ) is a way.
  • the information processing system may supervise and/or unsupervise the artificial neural network model 700 so that class information for each of a plurality of pixels included in the target image and/or sub-images may be inferred.
  • the artificial neural network model 700 learned in this way may be stored in a memory (not shown) of the information processing system, and in response to an input of the target image or sub-image received from the communication module and/or memory, the target image or sub-image Class information for each of a plurality of pixels included in the .
  • the input variable of the machine learning model capable of performing segmentation may be a pathological slide image or at least one patch included in the pathological slide image.
  • the input variable input to the input layer 720 of the artificial neural network model 700 is an image vector 710 composed of a pathological slide image or at least one patch included in a pathological slide image as one vector data element.
  • the output variable output from the output layer 740 of the artificial neural network model 700 includes class information for each of a plurality of pixels included in at least a part of the pathological slide image. It can be a vector 750 that represents or characterizes.
  • the output layer 740 of the artificial neural network model 700 may be configured to output a vector indicating reliability and/or accuracy of the output class information.
  • the output variable of the artificial neural network model 700 is not limited to the type described above, and may include any information/data indicating class information.
  • a plurality of output variables corresponding to a plurality of input variables are respectively matched to the input layer 720 and the output layer 740 of the artificial neural network model 700, and the input layer 720, the hidden layers 730_1 to 730_n, and By adjusting synaptic values between nodes included in the output layer 740 , it may be learned to extract a correct output corresponding to a specific input. Through this learning process, the characteristics hidden in the input variables of the artificial neural network model 700 can be identified, and the nodes of the artificial neural network model 700 are reduced so that the error between the output variable calculated based on the input variable and the target output is reduced. You can adjust the synaptic value (or weight) between them. Using the artificial neural network model 700 learned in this way, in response to the input pathological slide image or at least one patch included in the pathological slide image, class information for a plurality of pixels included in the input image may be output. .
  • the pathology slide image 810 is a digital image generated by photographing a pathological slide stained and/or fixed through a microscope and a camera through a series of chemical treatment processes for at least a portion of the tissue removed from the human body.
  • the pathology slide image 810 may be one stained with H&E staining (hematoxylin and eosin stain), but is not limited thereto.
  • the target image according to embodiments of the present disclosure may be a pathological slide image 810 , and the sub-image may be a patch 820 included in the pathological slide image 810 .
  • the target image according to embodiments of the present disclosure may be a patch 820 included in the pathological slide image 810, and the sub-image is a patch 830 of a smaller unit than the patch 820, which is the target image.
  • the patch 830 of a small unit that is a sub image may be included in the patch 820 that is a target image.
  • the processor inputs the pathological slide image 810 and/or the patches 820 and 830 into the machine learning model, and performs an inference operation on the pathological slide image 810 and/or the patches 820 and 830, and infers results can be generated.
  • the processor inputs the pathological slide image 810 and/or the patches 820 and 830 into the machine learning model, so that a plurality of the pathological slide images 810 and/or the patches 820 and 830 are included. It is possible to output a plurality of classes for each pixel of .
  • the machine learning model may be a segmentation machine learning model (eg, the artificial neural network model 700 of FIG.
  • segmentation machine learning model may be, for example, a semantic segmentation machine learning model and/or an instance segmentation machine learning model.
  • Class information may be tagged and/or displayed.
  • class information of cancer stroma may be displayed on the first region of the pathological slide image 810, and class information of cancer epithelium may be displayed on the second region.
  • the first region corresponding to the cancer stromal region may be colored in purple
  • the second region corresponding to the cancer epithelial region may be colored in light blue.
  • the class information may be expressed in various visual indications such as area indications, graphic indications, other color indications, or text.
  • the pathological slide image 810 may be provided to the processor as a target image in a compressed form of an original image photographed with a microscope, and when the compressed image is divided into a plurality of patches 820 as a plurality of sub images, a plurality of patches ( A decompressed image corresponding to 820 may be provided to the processor. Similarly, an enlarged image of the patch 830 of a small unit included in the patch 820 may be acquired.
  • the images corresponding to the patch 820 and the small patch 830 are each enlarged at a specific magnification, but the present invention is not limited thereto, and the pathological slide image and/or the image corresponding to the patch included therein are various. It can be enlarged or reduced by magnification.
  • the processor may divide the target image into a first sub-image and a second sub-image, and perform an inference operation on each of the divided first and second sub-images. That is, an inference operation may be performed on a plurality of pixels included in each of the first sub-image and the second sub-image. Thereafter, the processor may generate an inference result for the target image by merging the inference results for the first sub-image and the second sub-image.
  • the first inference result 910 is a result of dividing the target image so that the first sub-image and the second sub-image do not overlap each other, and simply arranging and merging the inference results of the first and second sub-images without overlap. indicates In this case, when the inference result for the first sub-image and the inference result for the second sub-image are completely different, it can be confirmed that the inference result near the boundary between the first and second sub-images does not naturally connect. That is, it may appear that the inference result is cut off in a part of the final inference result 910 generated by merging the inference results of each sub-image without overlapping regions. Accordingly, as illustrated, a clear boundary may appear between the red inference result and the blue inference result. Considering the human cell and/or histological composition, it may be difficult to guarantee the accuracy of the inference result near the boundary between the first sub-image and the second sub-image due to such a clear boundary.
  • the second inference result 920 divides the first sub-image and the second sub-image so that they overlap each other, and sets the area where the inference result of the first sub-image and the inference result of the second sub-image overlap in the first sub-image.
  • a result obtained by calculating an average of the inference result and the inference result of the second sub-image is shown.
  • an artifact as if the inference results are cut off at the boundary where the sub-images overlap may occur.
  • the region where the red inference result and the blue inference result overlap appears purple, which is an intermediate value. Accordingly, the boundary between red and purple and the boundary between purple and blue are clearly revealed, and, like the first inference result 910 , the accuracy of the second inference result 920 when considering human cells and/or histological composition may be difficult to guarantee.
  • the third inference result 930 is divided so that the first sub-image and the second sub-image overlap each other, and the inference result of the plurality of pixels included in the first sub-image and the plurality of pixels included in the second sub-image are divided. It represents the merged result by applying different weights (eg, linear weights) to the inference results for In this case, unlike the first inference result 910 and the second inference result 920 , it can be confirmed that there is a smooth boundary between the inference results for the sub-image. For example, as illustrated, a smooth boundary may appear between the red inference result and the blue inference result. Accordingly, it is possible to prevent a cut-off defect from occurring in the final inference result for the target image, and the accuracy of the third inference result 930 is higher than that of the first inference result 910 and the second inference result 920 . can be improved
  • the final inference result for the target image is generated by merging the inference results for the two sub-images, but the present invention is not limited thereto, and the final inference on the target image by merging the inference results for a plurality of three or more sub-images results can be generated.
  • FIG. 10 is an exemplary diagram of inference results 1020 and 1030 for a pathological slide image 1010 generated by merging inference results for a plurality of patches according to embodiments of the present disclosure.
  • the processor may divide the pathological slide image 1010 into a plurality of patches, and perform an inference operation on a plurality of pixels included in each of the plurality of divided patches. Here, each of the plurality of divided patches may partially overlap an adjacent patch. Thereafter, the processor applies a weight to the inference result for a plurality of pixels included in each of the plurality of patches, merges the inference result for the plurality of pixels to which the weight is applied, and obtains the inference result for the pathological slide image 1010 can create
  • the first inference result 1020 is obtained by applying an average weight to the inference results for a plurality of pixels included in each of the plurality of patches, and merging the inference results for the plurality of pixels to which the average weight is applied. can show the results. That is, the processor may calculate the reasoning result of the region where the plurality of patches overlap as an average value of the speculation results for the overlapping pixels. As shown in the red dotted line box area of the first inference result 1020 , the boundary line of the patch is clearly revealed, and a defect may occur in which the inference results are cut off. Accordingly, it may be difficult to guarantee the accuracy of the first reasoning result 1020 when considering human cells and/or histological composition.
  • the second inference result 1030 applies a double linear weight to the inference result for a plurality of pixels included in each of the plurality of patches, and applies the inference result to the plurality of pixels to which the double linear weight is applied.
  • the merged result can be displayed. It can be seen that, unlike the first inference result 1020 in which a clear boundary line appears in the red dotted line box area, a defect as if the result is cut off does not occur among the inference results of a plurality of patches in the second inference result 1030 . .
  • the method of merging by applying a double linear weighting method can further improve the accuracy of the inference result for the pathological slide image 1010 than the method of merging by applying the average weight to the inference results for the patch. there is.
  • inference results 1020 and 1030 for the pathological slide image 1010 are illustrated as black and white images, but the present invention is not limited thereto.
  • the inference result for the pathological slide image may be displayed as RGB color and/or multidimensional image.
  • the information processing system 100 includes one or more processors 1110 , a bus 1130 , a communication interface 1140 , and a memory for loading a computer program 1160 executed by the processor 1110 .
  • 1120 and a storage module 1150 for storing the computer program 1160 may be included.
  • FIG. 11 only the components related to the embodiment of the present disclosure are illustrated in FIG. 11 . Accordingly, those of ordinary skill in the art to which the present disclosure pertains can understand that other general-purpose components other than those shown in FIG. 11 may be further included.
  • the processor 1110 controls the overall operation of each component of the information processing system 100 .
  • the processor 1110 includes a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), a graphic processing unit (GPU), or any type of processor well known in the art of the present disclosure. can be In addition, the processor 1110 may perform an operation on at least one application or program for executing the method according to the embodiments of the present disclosure.
  • the information processing system 100 may include one or more processors.
  • the memory 1120 may store various data, commands, and/or information.
  • the memory 1120 may load one or more computer programs 1160 from the storage module 1150 to execute methods/operations according to various embodiments of the present disclosure.
  • the memory 1120 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.
  • the bus 1130 may provide a communication function between components of the information processing system 100 .
  • the bus 1130 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.
  • the communication interface 1140 may support wired/wireless Internet communication of the information processing system 100 . Also, the communication interface 1140 may support various communication methods other than Internet communication. To this end, the communication interface 1140 may be configured to include a communication module well-known in the technical field of the present disclosure.
  • the storage module 1150 may non-temporarily store one or more computer programs 1160 .
  • the storage module 1150 is a non-volatile memory, such as a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, or in the technical field to which the present disclosure pertains. It may be configured to include any well-known computer-readable recording medium.
  • the computer program 1160 may include one or more instructions that, when loaded into the memory 1120 , cause the processor 1110 to perform an operation/method according to various embodiments of the present disclosure. That is, the processor 1110 may perform operations/methods according to various embodiments of the present disclosure by executing one or more instructions.
  • the computer program 1160 divides the target image into a plurality of sub-images, generates an inference result for a plurality of pixels included in each of the divided plurality of sub-images, It may include one or more instructions for performing an operation of applying a weight to the inference result and an operation of merging the inference result for a plurality of pixels to which the weight has been applied.
  • a system for performing an inference operation on a target image according to some embodiments of the present disclosure through the information processing system 100 may be implemented.
  • example implementations may refer to utilizing aspects of the presently disclosed subject matter in the context of one or more standalone computer systems, the subject matter is not so limited, but rather in connection with any computing environment, such as a network or distributed computing environment. may be implemented. Still further, aspects of the presently disclosed subject matter may be implemented in or across a plurality of processing chips or devices, and storage may be similarly affected across the plurality of devices. Such devices may include PCs, network servers, and handheld devices.

Abstract

본 개시는 대상 이미지에 대한 추론 작업을 수행하는 방법에 관한 것이다. 이 방법은, 대상 이미지를 복수의 서브 이미지로 분할하는 단계, 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론(prediction) 결과를 생성하는 단계, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계 및 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 단계를 포함할 수 있다.

Description

대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템
본 개시는 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템에 관한 것으로, 보다 구체적으로, 대상 이미지 내의 복수의 서브 이미지에 대한 추론 결과를 이용하여 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템을 제공하는 것이다.
최근 프로세서, 메모리 및 카메라 등의 하드웨어가 급속히 발전됨에 따라, 인공지능(AI) 기술이 발전되고 각광받고 있다. 예를 들어, 이러한 AI 기술을 이미지 처리 분야에 적용하는 연구가 활발히 이루어지고 있다. 특히, 조직 샘플에 대한 병리 슬라이드 이미지를 분석하는 분야에 AI 기술이 활용되고 있다. 예를 들어, 병리 슬라이드 이미지를 객체 탐지 모델에 입력하여, 병리 슬라이드 이미지 내에 포함된 세포, 조직 및/또는 스트럭처 영역을 분류할 수 있다.
한편, 병리 슬라이드 이미지는 고해상도 및 고용량의 이미지로, 병리 슬라이드 이미지를 바로 사용하여 추론 작업을 수행하기 위해서는 고용량 및 고비용의 계산 리소스와 메모리를 필요로 한다는 문제가 있다. 이를 보완하기 위해, 병리 슬라이드 이미지를 복수의 이미지로 분할하여 복수의 분할 이미지에 대한 추론 작업이 수행될 수 있다. 그리고 나서, 병리 슬라이드 이미지에 대한 추론 작업을 완료하기 위하여, 복수의 분할 이미지에 대한 추론 작업을 병합하는 것이 필요할 수 있다. 병리 슬라이드 이미지를 분할하여 각각 추론 작업을 수행했기 때문에, 복수의 분할 이미지 사이의 분할선 부근에서의 추론 작업의 결과값이 정확하지 않을 수 있다. 예를 들어, 복수의 분할 이미지 사이의 분할선 부근에서 추론 결과물이 끊어지는 듯한 현상이 발생할 수 있다. 이러한 분할선 부근의 추론 결과의 부정확성은 병리 슬라이드 전체에 대한 추론 성능을 저하시킬 수 있다.
본 개시는 상기와 같은 문제점을 해결하기 위한 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템을 제공한다.
본 개시는 방법, 장치, 시스템(예: 서버 시스템, 클라우드 시스템 등) 또는 명령어들을 저장하는 컴퓨터 판독가능 저장 매체, 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 방법은 대상 이미지를 복수의 서브 이미지로 분할하는 단계, 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론(prediction) 결과를 생성하는 단계, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계 및 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 단계를 포함한다.
일 실시예에 따르면, 대상 이미지를 복수의 서브 이미지로 분할하는 단계는, 복수의 서브 이미지에 포함된 제1 이미지의 일부가 제1 이미지와 인접한 제2 이미지의 일부와 오버랩(overlap)되도록 분할하는 단계를 포함한다.
일 실시예에 따르면, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계는, 복수의 서브 이미지의 각각에 포함된 픽셀에 대한 추론 결과에 이중 선형 가중치(bilinear weight)를 적용하는 단계를 포함한다.
일 실시예에 따르면, 이중 선형 가중치는 복수의 픽셀에 대한 추론 결과에 적용되는 이중 선형 보간법(bilinear interpolation)을 위해 사용되는 가중치로서, 복수의 픽셀의 각각에 대응하는 값으로 산출된다.
일 실시예에 따르면, 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 단계는, 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 제1 가중치가 적용된 추론 결과와 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 제2 가중치가 적용된 추론 결과를 병합하는 단계를 포함한다.
일 실시예에 따르면, 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하는 단계는, 복수의 픽셀의 각각에 대한 클래스를 결정하는 단계 및 결정된 클래스를 포함하는 추론 결과를 생성하는 단계를 포함하고, 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스이다.
일 실시예에 따르면, 복수의 픽셀의 각각에 대한 클래스를 결정하는 단계는, 분할된 복수의 서브 이미지의 각각을 세그멘테이션(segmentation) 기계학습 모델에 입력하여, 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력하는 단계를 포함한다.
일 실시예에 따르면, 결정된 클래스를 포함하는 추론 결과를 생성하는 단계는, 복수의 픽셀의 각각에 대한 클래스를 이용하여, 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정하는 단계를 포함한다.
일 실시예에 따르면, 결정된 클래스를 포함하는 추론 결과를 생성하는 단계는, 결정된 복수의 채널에 대한 값을 기초로, 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성하는 단계를 더 포함한다.
일 실시예에 따르면, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계는, 복수의 채널 각각에 가중치를 적용하는 단계를 포함한다.
다른 실시예에 따르면, 하나 이상의 인스트럭션(instructions)을 저장하는 메모리, 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 대상 이미지를 복수의 서브 이미지로 분할하고, 상기 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하고, 상기 복수의 픽셀에 대한 추론 결과에 가중치를 적용하고, 상기 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하도록 구성된 프로세서를 포함한다.
본 개시의 일부 실시예에서, 프로세서가 대상 이미지로부터 분할된 복수의 서브 이미지 각각에 대한 추론 결과를 생성하고, 생성된 각 추론 결과에 가중치를 동일 또는 상이하게 적용할 수 있다. 그리고 나서, 가중치가 적용된 추론 결과를 병합함으로써 대상 이미지에 대한 추론 작업을 수행할 수 있다. 이러한 가중치는, 이러한 병합에 따른 복수의 서브 이미지 사이의 분할선 사이에 생겨날 수 있는 추론 결과의 성능 저하를 방지하도록 결정될 수 있고, 이 결과, 대상 이미지의 추론 결과에 대한 성능이 유지되거나 향상될 수 있다.
본 개시의 일부 실시예에서, 대상 이미지에 포함된 복수의 서브 이미지 각각에 대한 추론 결과에 이중 선형 가중치를 적용하여 병합함으로써, 복수의 서브 이미지에 대한 추론 결과 사이의 경계선에서 최종 추론 결과물이 끊어지는 듯한 오류를 방지할 수 있으며, 최종 추론 결과물이 흐려지는 등의 결과물 손실을 방지할 수 있다. 즉, 대상 이미지에 대한 추론 작업에 대한 성능을 더욱 향상시킬 수 있다.
본 개시의 일부 실시예에서, 추론 작업 속도, 계산 리소스, 메모리, 추론 성능 등을 고려하여, 대상 이미지에 포함된 복수의 서브 이미지가 서로 인접한 서브 이미지와 오버랩되는 영역의 크기를 결정할 수 있다. 즉, 하드웨어 또는 리소스 환경에 따라 오버랩되는 영역의 크기를 결정함으로써, 최적의 추론 작업에 대한 성능이 달성될 수 있다.
본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 본 개시에 속하는 기술 분야에서 통상의 지식을 가진 자(이하, '통상의 기술자'라 함)에게 명확하게 이해될 수 있을 것이다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 정보 처리 시스템이 대상 이미지에 대한 추론 작업을 수행하는 예시도이다.
도 2는 본 개시의 일 실시예에 따른 프로세서의 내부 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 방법을 나타내는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시도이다.
도 5는 본 개시의 일 실시예에 따른 대상 이미지를 복수의 서브 이미지로 분할하는 예시도이다.
도 6은 본 개시의 일 실시예에 따른 서브 이미지에 대한 추론 결과를 병합하여 대상 이미지에 대한 최종 추론 결과를 생성하는 예시도이다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 모델을 나타내는 예시도이다.
도 8은 본 개시의 일 실시예에 따른 대상 이미지 및 서브 이미지로서, 병리 슬라이드 이미지 및 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 대한 예시도이다.
도 9는 본 개시의 실시예들에 따른 두 개의 서브 이미지에 대한 추론 결과의 병합으로 생성되는 대상 이미지에 대한 추론 결과의 예시도이다.
도 10은 본 개시의 실시예들에 따른 복수의 패치에 대한 추론 결과의 병합으로 생성되는 병리 슬라이드 이미지에 대한 추론 결과의 예시도이다.
도 11은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시적인 시스템 구성도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만 '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
본 개시에서, '시스템'은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.
본 개시에서, '대상 이미지' 및 '서브 이미지'는 기계학습 모델의 학습 및/또는 추론에 사용될 수 있는 임의의 이미지 데이터 또는 이미지 데이터 아이템을 지칭할 수 있다. 여기서, '대상 이미지' 및 '서브 이미지'로서 병리 슬라이드 이미지의 전체 및/또는 병리 슬라이드 이미지에 포함된 복수의 패치를 이용하여 설명하고 있으나, 이는 한정되지 않으며, 기계 학습 모델의 학습에 사용될 수 있는 임의의 데이터가 '대상 이미지' 및 '서브 이미지'에 해당될 수 있다. 또한, '서브 이미지'는 '대상 이미지'로부터 추출한 일부 이미지를 지칭할 수 있다. 예를 들어, '대상 이미지'가 병리 슬라이드 이미지인 경우, '서브 이미지'는 병리 슬라이드 이미지에 포함된 복수의 패치일 수 있다. 대안적으로, '대상 이미지'가 병리 슬라이드 이미지에 포함된 패치인 경우, '서브 이미지'는 대상 이미지에 해당하는 패치의 일부를 지칭할 수 있으며, 즉, 대상 이미지에 해당하는 패치보다 작은 크기의 패치일 수 있다.
본 개시에서, '픽셀'은 대상 이미지 및/또는 서브 이미지 내에 포함된 픽셀을 지칭할 수 있다. 예를 들어, 픽셀은 하나의 픽셀을 지칭할 수 있다. 다른 예로서, 픽셀은 복수의 픽셀, 즉, 하나의 픽셀 그룹을 지칭할 수 있다.
본 개시에서, '병리 슬라이드 이미지'란, 인체에서 떼어낸 조직 등을 현미경으로 관찰하기 위해 일련의 화학적 처리과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 가리킨다. 여기서, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고 해상도의 이미지를 포함하는 전체 슬라이드 이미지(whole slide image)를 지칭할 수 있다. 예를 들어, 병리 슬라이드 이미지는 현미경을 이용하여 촬영된 디지털 이미지를 지칭할 수 있으며, 인체 내의 세포(cell), 조직(tissue) 및/또는 스트럭처(structure)에 대한 정보를 포함할 수 있다. 또한, 병리 슬라이드 이미지는 하나 이상의 패치를 포함할 수 있다. 본 개시에서, '패치'는 병리 슬라이드 이미지 내의 작은 영역을 지칭할 수 있다. 예를 들어, 패치는 병리 슬라이드 이미지에 대해 세그멘테이션을 수행하기 위해, 병리 슬라이드 이미지를 분할하여 생성한 서브 이미지를 지칭할 수 있다. 대안적으로, 패치는 병리 슬라이드 이미지에 대해 세그멘테이션을 수행함으로써 추출된 의미론적 객체에 대응하는 영역을 포함할 수 있다.
본 개시에서, '인공신경망 모델'은 기계학습 모델의 일 예로서, 주어진 입력에 대한 답을 추론하는 데 사용하는 임의의 모델을 포함할 수 있다. 일 실시예에 따르면, 인공신경망 모델은 입력 레이어(층), 복수 개의 은닉 레이어 및 출력 레이어를 포함한 인공신경망 모델을 포함할 수 있다. 여기서, 각 레이어는 하나 이상의 노드를 포함할 수 있다. 예를 들어, 인공신경망 모델은 대상 이미지 및/또는 서브 이미지에 포함된 복수의 픽셀에 대해 클래스 정보를 추론하도록 학습될 수 있다. 또한, 인공신경망 모델은 인공신경망 모델에 포함된 복수의 노드와 연관된 가중치를 포함할 수 있다. 여기서, 가중치는 인공신경망 모델과 연관된 임의의 파라미터를 포함할 수 있다.
본 개시에서, '클래스(class)' 및 '클래스 정보'는 패치 내의 세포(cell), 조직(tissue) 및/또는 스트럭처(structure)에 대한 분류화된 정보를 지칭할 수 있다. 예를 들어, 클래스 및 클래스 정보는 보조 T 세포(helper T cell), 세포독성 T 세포(killer T cell), 자연 살해 T 세포(natural killer T cell), 기억 T 세포(memory T cell), 조절 T 세포(suppressor T cell) 및 B 세포(B cell) 등의 림프구, 호중구, 호산구, 호염기구, 단핵구, 적혈구, 혈소판 등의 객체를 나타낼 수 있다. 예를 들어, 프로세서는 대상 이미지 및/또는 서브 이미지에서 림프구에 해당하는 영역의 픽셀을 림프구 클래스로 결정할 수 있다.
본 개시에서, '복수의 A의 각각' 또는 '복수의 A 각각'은 복수의 A에 포함된 모든 구성 요소의 각각을 지칭하거나, 복수의 A에 포함된 일부 구성 요소의 각각을 지칭할 수 있다. 예를 들어, 복수의 서브 이미지의 각각은, 복수의 서브 이미지에 포함된 모든 서브 이미지의 각각을 지칭하거나 복수의 서브 이미지에 포함된 일부 서브 이미지의 각각을 지칭할 수 있다. 본 개시에서, '복수의 서브 이미지의 각각에 포함된 복수의 픽셀'은 각각의 서브 이미지들이 복수의 픽셀을 포함함을 의미할 수 있다.
본 개시에서, '추론 결과'는 프로세서에서 출력되는 데이터 자체 및/또는 출력된 데이터를 기초로 이미지 상에 표시되는 정보를 지칭할 수 있다. 추론 결과는 출력(output)이라고 칭할 수도 있다. 일 실시예에서, 추론 결과는, 프로세서로부터 출력되는 데이터를 기초로 대상 이미지 및/또는 서브 이미지에 각 클래스를 나타내는 영역 표지, 도형 표지, 색체 표지, 텍스트 등과 같은 다양한 시각적 표지가 표시된 것을 지칭할 수 있다. 다른 실시예에서, 추론 결과는, 복수의 픽셀 각각에 대한 클래스를 나타내는 값을 포함하는 행렬, 벡터 또는 어레이(array)를 지칭할 수 있다. 예를 들어, 정상 세포 클래스를 나타내는 값이 0이고, 암 기질(cancer stroma) 클래스를 나타내는 값이 1이고, 암 상피(cancer epithelium) 클래스를 나타내는 값이 2인 경우, 2X2의 픽셀에 대한 추론 결과는
Figure PCTKR2021015734-appb-img-000001
로 나타낼 수 있다. 또 다른 실시예에서, 추론 결과는 복수의 클래스 각각과 대응되는 복수의 채널을 포함하고, 복수의 픽셀 각각에 대한 클래스에 따라 결정되는 복수의 채널에 대한 값을 포함할 수 있다. 예를 들어, 추론 결과는, 정상 세포 클래스와 대응되는 채널의 값인
Figure PCTKR2021015734-appb-img-000002
, 암 기질 클래스와 대응되는 채널의 값인
Figure PCTKR2021015734-appb-img-000003
, 암 상피 클래스와 대응되는 채널의 값인
Figure PCTKR2021015734-appb-img-000004
를 포함할 수 있다.
본 개시에서, '최종 추론 결과'는 대상 이미지에 대한 추론 결과를 지칭할 수 있는데, 예를 들어, 대상 이미지에 포함된 복수의 서브 이미지 각각에 대한 추론 결과들을 병합하여 생성될 수 있다.
본 개시에서, '이미지에 대한 추론 결과' 또는 '이미지의 추론 결과'는 이미지에 포함된 복수의 픽셀에 대한 추론 결과를 포함할 수 있다. 역으로, '복수의 픽셀에 대한 추론 결과'는 복수의 픽셀을 포함하는 이미지에 대한 추론 결과 또는 이미지의 추론 결과를 지칭할 수 있다.
본 개시에서, '가중치'는 대상 이미지에 포함된 복수의 서브 이미지 각각의 추론 결과가 대상 이미지에 대한 추론 결과를 생성할 시에 반영되는 정도를 나타내는 수치를 지칭할 수 있다. 예를 들어, 대상 이미지 내의 복수의 서브 이미지의 각각에 적용되는 가중치에 따라, 복수의 서브 이미지 각각에 대한 추론 결과가 대상 이미지에 대한 추론 결과, 즉 최종 추론 결과에 미칠 수 있는 영향력이 결정될 수 있다. 이러한 '가중치'는 픽셀 단위 또는 복수의 픽셀을 포함하는 픽셀 그룹 단위로 산출 및/또는 적용될 수 있다.
도 1은 본 개시의 일 실시예에 따른 정보 처리 시스템(100)이 대상 이미지(130)에 대한 추론 작업을 수행하는 예시도이다. 도시된 바와 같이, 정보 처리 시스템(100)은 통신 모듈(110) 및 프로세서(120)를 포함할 수 있다. 정보 처리 시스템(100)은 통신 모듈(110)을 통해 추론 작업을 수행할 대상 이미지(130)를 수신할 수 있다. 여기서, 대상 이미지는 현미경으로 촬영된 이미지 또는 영상인 전체 슬라이드 이미지(Whole Slide Image; WSI)를 지칭할 수 있다. 예를 들어, 대상 이미지는 병리 슬라이드 이미지 또는 병리 슬라이드 이미지 내에 포함된 하나 이상의 패치를 포함할 수 있다.
프로세서(120)는 수신된 대상 이미지(130)에 대한 추론 작업을 수행할 수 있다. 한편, 프로세서(120)가 대상 이미지(130)를 그대로 사용하여 추론 작업을 수행하기 위해서는 고용량 및 고비용의 메모리 및 계산 리소스(resource)를 필요로 할 수 있다. 또한, 고해상도의 대상 이미지(130)를 그대로 사용하여 추론 작업을 수행하는 경우, 프로세서(120)의 작업 속도가 저하될 수 있다. 이러한 조건 하에서, 프로세서(120)는 추론 작업을 수행하기 전에 대상 이미지(130)를 복수의 서브 이미지로 분할할 수 있다.
프로세서(120)는 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다. 예를 들어, 프로세서(120)는 복수의 픽셀의 각각에 대한 클래스를 결정할 수 있다. 여기서, 클래스는 해당 대상 이미지(130)에서 구분하고자 하는 인체 내의 세포(cell), 조직(tissue), 스트럭처(structure) 등의 대상 객체를 의미할 수 있다. 일 실시예에서, 프로세서(120)는 추론 작업을 수행하기 위한 기계학습 모델을 포함할 수 있다. 예를 들어, 프로세서(120)는 분할된 복수의 서브 이미지의 각각을 세그멘테이션(segmentation) 기계학습 모델에 입력하여, 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력할 수 있다.
프로세서(120)는 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 모두 병합하여, 대상 이미지(130)에 대한 최종 추론 결과(140)를 출력할 수 있다. 이 경우, 최종 추론 결과(140)는 복수의 서브 이미지에 대한 추론 결과들이 병합되어 생성된 것이므로, 복수의 서브 이미지의 경계선에서의 추론 결과들이 자연스럽게 연결되지 못할 수 있다. 예를 들어, 경계선 부근의 2개의 서브 이미지의 추론 결과가 전혀 상이할 경우, 경계선 부근에서의 추론 결과는 끊어지는 것과 같이 보일 수 있다. 이를 방지하기 위해, 프로세서(120)는 대상 이미지(130)를 복수의 서브 이미지로 분할할 때, 각각의 서브 이미지가 인접한 다른 서브 이미지와 일부 오버랩(overlap)되도록 분할할 수 있다. 또한, 프로세서(120)는 복수의 서브 이미지에 대한 추론 결과들이 오버랩되는 일부 영역에 가중치를 적용하고, 가중치가 적용된 추론 결과들을 병합하여 대상 이미지에 대한 최종 추론 결과를 생성할 수 있다.
프로세서(120)는 대상 이미지 내에서 복수의 서브 이미지에 대한 추론 결과들이 부드러운 경계를 갖는 최종 추론 결과(150)를 생성 및/또는 출력하기 위한 가중치를 산출할 수 있다. 일 실시예에 따르면, 프로세서(120)는 복수의 서브 이미지의 각각의 픽셀의 위치에 따라 가중치가 상이하게 설정될 수 있다. 예를 들어, 프로세서(120)는 복수의 서브 이미지의 각각에 포함된 픽셀에 대한 추론 결과들에 이중 선형 가중치(bilinear weight)를 적용할 수 있다. 다른 예로서, 복수의 서브 이미지에서 중심부에 가까운 픽셀에 대한 추론 결과에 적용될 가중치가 복수의 서브 이미지에서 가장 자리에 가까운 픽셀에 대한 추론 결과에 적용될 가중치보다 더 크도록 설정될 수 있다. 다른 실시예에 따르면, 프로세서(120)는 복수의 서브 이미지의 각각의 픽셀 중 적어도 일부 픽셀에 적용될 가중치는 상이하게 결정하고, 나머지 픽셀에 대해 동일한 가중치를 적용하도록 결정할 수 있다. 이렇게 결정된 가중치는 복수의 서브 이미지에 대한 추론 결과들에 적용될 수 있다.
도 2는 본 개시의 일 실시예에 따른 프로세서(120)의 내부 구성을 나타내는 블록도이다. 프로세서(120)는 이미지 분할 모듈(210), 추론 작업 수행 모듈(220) 및 추론 결과 병합 모듈(230)을 포함할 수 있다. 이미지 분할 모듈(210)은 대상 이미지를 복수의 서브 이미지로 분할할 수 있다. 여기서, 대상 이미지는 전체 슬라이드 이미지일 수 있고, 서브 이미지는 전체 슬라이드 이미지의 패치에 해당할 수 있다. 일 실시예에서, 이미지 분할 모듈(210)은, 복수의 서브 이미지가 인접한 다른 서브 이미지와 일부 오버랩되도록 대상 이미지를 분할할 수 있다. 예를 들어, 이미지 분할 모듈(210)은, 복수의 서브 이미지에 포함된 제1 이미지의 일부가 제1 이미지와 인접한 제2 이미지의 일부와 오버랩되도록 분할할 수 있다. 이에 따라, 하나의 서브 이미지이 사각형인 경우, 인접한 네 개의 서브 이미지가 존재할 수 있으며, 하나의 서브 이미지는 인접한 네 개의 서브 이미지 중 적어도 하나의 서브 이미지와 오버랩되도록 분할될 수 있다.
추론 작업 수행 모듈(220)은 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다. 일 실시예에서, 추론 작업 수행 모듈(220)은 복수의 픽셀의 각각에 대한 클래스를 결정할 수 있다. 예를 들어, 추론 작업 수행 모듈(220)은 분할된 복수의 서브 이미지의 각각을 세그멘테이션 기계학습 모델에 입력하여, 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력할 수 있다. 여기서, 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스일 수 있다.
일 실시예에서, 추론 작업 수행 모듈(220)은 결정된 클래스를 포함하는 추론 결과를 생성할 수 있다. 예를 들어, 추론 작업 수행 모듈(220)은 복수의 픽셀의 각각에 대한 클래스를 이용하여, 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정할 수 있다. 추가적으로, 추론 작업 수행 모듈(220)은 결정된 복수의 채널에 대한 값을 기초로, 복수의 픽셀에 대한 추론 결과에 대응하는 집합(예: 어레이(array) 등)을 생성할 수 있다. 여기서, 생성된 어레이의 크기는, 복수의 서브 이미지의 각각의 폭(w), 복수의 서브 이미지의 각각의 높이(h) 및 복수의 채널의 크기(c)를 곱한 값(w*h*c)일 수 있다.
추론 결과 병합 모듈(230)은 복수의 픽셀에 대한 추론 결과에 가중치를 적용할 수 있다. 일 실시예에서, 추론 결과 병합 모듈(230)은 복수의 서브 이미지의 각각에 포함된 픽셀에 대한 추론 결과에 이중 선형 가중치(bilinear weight)를 적용할 수 있다. 예를 들어, 이중 선형 가중치는 복수의 픽셀에 대한 추론 결과에 적용되는 이중 선형 보간법(bilinear interpolation)을 위해 사용되는 가중치로서, 복수의 픽셀의 각각에 대응하는 값으로 산출될 수 있다. 예를 들어, 이러한 이중 선형 가중치는 아래 수학식 1를 이용하여 산출될 수 있다. 다른 실시예에서, 추론 결과가 복수의 채널을 포함하는 경우, 추론 결과 병합 모듈(230)은 복수의 채널 각각에 가중치를 적용할 수 있다. 그리고 나서, 추론 결과 병합 모듈(230)은 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합할 수 있다. 일 실시예에서, 추론 결과 병합 모듈(230)은 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 가중치가 적용된 추론 결과와 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 가중치가 적용된 추론 결과를 병합할 수 있다. 즉, 추론 결과 병합 모듈(230)은 가중치가 적용된 각각 서브 이미지에 대한 추론 결과를 일부 오버랩하여 병합함으로써 최종 추론 결과를 산출할 수 있다.
일 실시예에서, 추론 결과 병합 모듈(230)은 최종 결과 및 최종 가중치 각각에 대한 어레이를 0으로 초기화하고, 이중 선형 가중치 어레이(bilinear weight array)를 생성할 수 있다. 그 후, 추론 결과 병합 모듈(230)은 각각의 서브 이미지(예를 들면, 패치)에 대한 추론 결과에 채널 별로 가중치를 곱한 결과를 초기화된 최종 결과 어레이에 더하고, 이중 선형 가중치를 최종 가중치 어레이에 더할 수 있다. 즉, 추론 결과 병합 모듈(230)은 대상 이미지에서의 복수의 서브 이미지의 위치 대로, 가중치가 적용된 복수의 서브 이미지에 대한 추론 결과를 배열하고, 가중치가 적용된 추론 결과들을 병합할 수 있다. 그리고 나서, 추론 결과 병합 모듈(230)은 최종 결과 어레이에서의 각 픽셀에 대한 값을 최종 가중치 어레이에서의 해당 픽셀에 대한 최종 가중치 값으로 나누어, 최종 추론 결과를 산출할 수 있다. 여기서, 최종 결과 어레이에서의 각 픽셀에 대한 값을 0으로 나누는 것을 방지하기 위해, 최종 가중치 값이 0보다 큰 경우에만 최종 가중치 값으로 나누거나, 최종 가중치 값에 매우 작은 수, 예를 들어, 엡실론(epsilon)을 더한 값으로 나눌 수 있다. 예를 들어, 추론 결과 병합 모듈(230)은 아래 수학식 1 내지 8을 기초로 최종 추론 결과를 산출할 수 있다.
Figure PCTKR2021015734-appb-img-000005
Figure PCTKR2021015734-appb-img-000006
Figure PCTKR2021015734-appb-img-000007
Figure PCTKR2021015734-appb-img-000008
Figure PCTKR2021015734-appb-img-000009
Figure PCTKR2021015734-appb-img-000010
Figure PCTKR2021015734-appb-img-000011
Figure PCTKR2021015734-appb-img-000012
Figure PCTKR2021015734-appb-img-000013
Figure PCTKR2021015734-appb-img-000014
Figure PCTKR2021015734-appb-img-000015
Figure PCTKR2021015734-appb-img-000016
Figure PCTKR2021015734-appb-img-000017
Figure PCTKR2021015734-appb-img-000018
Figure PCTKR2021015734-appb-img-000019
Figure PCTKR2021015734-appb-img-000020
도 3은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 방법(300)을 나타내는 흐름도이다. 일 실시예에서, 대상 이미지에 대한 추론 작업을 수행하는 방법(300)은 프로세서(예를 들어, 정보 처리 시스템의 적어도 하나의 프로세서)에 의해 수행될 수 있다. 도시된 바와 같이, 대상 이미지에 대한 추론 작업을 수행하는 방법(300)은 프로세서가 대상 이미지를 복수의 서브 이미지로 분할함으로써 개시될 수 있다(S310). 프로세서는, 복수의 서브 이미지에 포함된 제1 이미지의 일부가 제1 이미지와 인접한 제2 이미지의 일부와 오버랩되도록 분할할 수 있다. 여기서, 제1 이미지 및 제2 이미지는 각각 하나 이상의 서브 이미지일 수 있다.
그 후, 프로세서는 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론(prediction) 결과를 생성할 수 있다(S320). 일 실시예에서, 프로세서는 복수의 픽셀의 각각에 대한 클래스를 결정하고, 결정된 클래스를 포함하는 추론 결과를 생성할 수 있다. 여기서, 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스일 수 있다. 예를 들어, 프로세서는 분할된 복수의 서브 이미지의 각각을 세그멘테이션 기계학습 모델에 입력하여, 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력할 수 있다. 또한, 프로세서는 복수의 픽셀의 각각에 대한 클래스를 이용하여, 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정할 수 있다. 추가적으로, 프로세서는 결정된 복수의 채널에 대한 값을 기초로, 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성할 수 있다.
프로세서는 생성된 복수의 픽셀에 대한 추론 결과에 가중치를 적용할 수 있다(S330). 일 실시예에서, 프로세서는 복수의 서브 이미지의 각각에 포함된 픽셀에 대한 추론 결과에 이중 선형 가중치(bilinear weight)를 적용할 수 있다. 여기서, 이중 선형 가중치는 이중 선형 보간법(bilinear interpolation)을 통해 산출된, 각 픽셀에 대응하는 가중치를 포함할 수 있다. 일 실시예에서, 추론 결과가 복수의 채널을 포함하는 경우, 프로세서는 복수의 채널 각각에 가중치를 적용할 수 있다. 프로세서는 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합할 수 있다(S340). 일 실시예에서, 프로세서는 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 제1 가중치가 적용된 추론 결과와 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 제2 가중치가 적용된 추론 결과를 병합할 수 있다.
도 4는 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시도이다. 프로세서는 대상 이미지(410)에 대한 추론 작업을 수행하기 위해, 대상 이미지(410)를 복수의 서브 이미지(420)로 분할할 수 있다. 일 실시예에서, 프로세서는 작업 속도, 계산 리소스, 메모리 등을 기초로 복수의 서브 이미지(420)의 크기 및/또는 갯수를 결정하고, 결정된 서브 이미지(420)의 크기 및/또는 갯수를 기초로, 대상 이미지(410)를 복수의 서브 이미지(420)로 분할할 수 있다. 도 4에서는, 복수의 서브 이미지(520)의 각각의 크기가 동일한 것으로 도시되어 있으나, 이에 한정되지 않으며, 복수의 서브 이미지(520)의 적어도 일부의 이미지의 크기가 서로 상이할 수 있다.
프로세서는 분할된 복수의 서브 이미지(420) 각각에 대한 세그멘테이션을 수행하여, 복수의 서브 이미지(420)와 대응하는 복수의 추론 결과(430)를 생성할 수 있다. 일 실시예에서, 프로세서는 복수의 서브 이미지에 포함된 복수의 픽셀의 각각에 대한 클래스를 결정하고, 결정된 클래스를 포함하는 추론 결과를 생성할 수 있다. 여기서, 클래스는 복수의 객체(예를 들면, 각각의 세포, 조직 및/또는 스트럭처 등)를 나타내는 복수의 클래스 중 하나의 클래스일 수 있다. 도 4에서는 각 서브 이미지에 대한 추론 결과가 색채를 이용하여 표시되었으나, 이에 한정되지 않으며, 클래스를 나타내는 다양한 방식이 적용될 수 있다.
프로세서는 복수의 픽셀의 각각에 대한 클래스를 이용하여, 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정할 수 있다. 또한, 프로세서는 결정된 복수의 채널에 대한 값을 기초로, 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성할 수 있다. 여기서, 각각의 서브 이미지에 대한 추론 결과(430)는 결과는 타겟(target)이 되는 클래스의 수만큼의 채널을 가질 수 있다. 예를 들어, 프로세서가 서브 이미지에서 '암 세포' 와 '림프구 세포' 두 개의 클래스에 대한 세그멘테이션을 하는 경우, 추론 결과는 두 개의 채널을 가질 수 있다.
프로세서는 대상 이미지(410)에서의 복수의 서브 이미지(420) 각각의 위치대로 추론 결과들(430)을 배열하여 병합함으로써, 대상 이미지에 대한 최종 추론 결과(440)를 생성할 수 있다. 여기서, 대상 이미지(410)는 현미경으로 촬영된 영상인 전체 슬라이드 이미지일 수 있고, 전체 슬라이드 이미지는 유리 슬라이드에 조직을 올려놓은 영역(즉, 추론 작업을 수행할 대상인 조직 영역)과 올려놓지 않은 영역으로 구분될 수 있다. 대안적으로, 대상 이미지(410)는 전체 슬라이드 이미지 중 조직 영역에 해당하는 일부 이미지일 수 있다.
도 4에서는, 복수의 서브 이미지(420)가 대상 이미지(410)의 전체 영역을 커버하도록, 프로세서가 대상 이미지(410)를 복수의 서브 이미지(420)로 분할하고 있으나, 이에 한정되지 않는다. 예를 들어, 프로세서는 복수의 서브 이미지(420)가 대상 이미지(410)의 일부인 조직 영역을 커버하도록, 분할할 수 있다.
도 5는 본 개시의 일 실시예에 따른 대상 이미지(510)를 복수의 서브 이미지(520)로 분할하는 예시도이다. 일 실시예에서, 복수의 서브 이미지 각각에 대한 추론 결과를 병합함으로써 생성되는 최종 추론 결과의 성능을 더욱 향상시키기 위하여, 프로세서는 대상 이미지(510)를 복수의 서브 이미지(520)로 분할할 때, 각각의 서브 이미지가 인접한 다른 서브 이미지와 일부 오버랩되도록 분할할 수 있다. 일반적으로, 서브 이미지의 주변부가 중심부보다 수용 영역(receptive field)이 좁으므로, 세그멘테이션의 성능이 떨어질 수 있다.
프로세서는 복수의 서브 이미지(520)가 중복되는 영역(즉, 서로 인접한 서브 이미지와 오버랩되는 영역)을 갖도록 대상 이미지(510)를 분할함으로써, 대상 이미지(510)에 대한 세그멘테이션 성능을 향상시킬 수 있다. 예를 들어, 도시된 바와 같이, 프로세서는 대상 이미지의 서브 이미지인 제1 이미지(522)의 일부가 대상 이미지의 다른 서브 이미지인 제2 이미지(524)의 일부와 오버랩되도록 분할할 수 있다. 여기서, 제1 이미지(522) 및 제2 이미지(524)는 서로 인접한 서브 이미지일 수 있다. 예를 들어, 도 5의 대상 이미지(510) 내에서 도시된 바와 같이, 제1 이미지(522) 및 제2 이미지(524)를 포함한 네 개의 인접한 서브 이미지가 서로 중첩되도록 분할될 수 있다.
복수의 서브 이미지가 서로 오버랩되는 영역의 크기가 클수록 프로세서의 추론 성능이 향상될 수 있다. 그러나, 복수의 서브 이미지가 서로 오버랩되는 영역의 크기가 클수록, 프로세서는 더 큰 서브 이미지 및/또는 더 많은 서브 이미지를 처리해야 할 수 있다. 이에 따라, 프로세서는 작업 속도, 계산 리소스, 메모리, 추론 성능 등을 고려하여, 최적의 추론 성능이 도달할 수 있도록 복수의 서브 이미지가 서로 오버랩되는 영역의 크기를 결정할 수 있다. 프로세서는 이렇게 분할된 복수의 서브 이미지(520)의 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다.
도 5에서는 대상 이미지(510)를 동일한 크기의 복수의 서브 이미지(520)로 분할하는 예시를 도시하고 있으나, 이에 한정되지 않고, 상이한 크기의 복수의 서브 이미지로 분할할 수 있다. 또한, 도 5에서 프로세서는, 복수의 서브 이미지(520) 각각이 인접한 다른 서브 이미지와 오버랩되는 영역의 크기가 동일하도록 대상 이미지(510)를 분할하고 있으나, 이에 한정되지 않고, 오버랩되는 영역의 크기가 상이하도록 대상 이미지(510)를 분할할 수 있다. 또한, 도 5에서 대상 이미지(510) 및 서브 이미지(520)의 모양을 사각형으로 도시하고 있으나, 이에 한정되지 않고, 삼각형, 사다리꼴 등의 다각형, 원형, 곡선형 등 상이한 모양일 수 있다.
도 6은 본 개시의 일 실시예에 따른 서브 이미지에 대한 추론 결과(610)를 병합하여 대상 이미지에 대한 최종 추론 결과(620)를 생성하는 예시도이다. 도 6에서 도시하는 바와 같이, 복수의 서브 이미지 각각의 추론 결과는 색채로 표시될 수 있으나, 이에 한정되지 않으며, 추론 결과를 표시할 수 있는 임의의 정보에 의해 표시될 수 있다. 예를 들어, 복수의 서브 이미지 각각의 추론 결과는 RGB 색채, 1차원 흑백, 다차원 이미지 등으로 표시될 수 있다. 도 6에서는, 추론 결과로서 표시되는 색채 중 하늘색은 암 상피 클래스를 나타내고, 노란색은 림프구 세포 클래스를 나타내고, 자주색은 암 기질 클래스를 나타내고, 남색은 정상 세포를 나타낼 수 있다.
프로세서는 복수의 서브 이미지 각각에 대한 추론 결과(610)에 가중치 마스크를 적용할 수 있다. 즉, 프로세서는 복수의 서브 이미지 각각에 포함된 복수의 픽셀에 대한 추론 결과(610)에 가중치를 적용할 수 있다. 일 실시예에서, 프로세서는 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과(610)에 이중 선형 가중치를 적용할 수 있다. 여기서, 이중 선형 가중치는 각 픽셀에 대응하는 가중치로, 이중 선형 보간법을 통해 산출될 수 있다. 다른 실시예에서, 복수의 픽셀에 대한 추론 결과(610)가 복수의 채널을 갖는 경우, 프로세서는 복수의 채널 각각에 가중치를 적용할 수 있다.
이후, 프로세서는 복수의 서브 이미지 각각의 대상 이미지에서의 위치에 따라, 가중치가 적용된 복수의 서브 이미지 각각에 대한 추론 결과를 배열하고 병합함으로써, 대상 이미지에 대한 최종 추론 결과(620)를 생성할 수 있다. 일 실시예에서, 프로세서는 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합할 수 있다. 예를 들어, 프로세서는 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 가중치가 적용된 추론 결과와 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 가중치가 적용된 추론 결과를 병합할 수 있다. 프로세서는 이중 선형 가중치가 적용된 서브 이미지 각각에 대한 추론 결과를 병합함으로써, 도시된 바와 같이 부드러운 경계를 갖는 최종 추론 결과(620)를 출력할 수 있다.
도 6에서는 복수의 서브 이미지 중 4개의 서브 이미지에 대한 추론 결과(610)만을 예시로 표시하고 있으나, 각각의 추론 결과들은 도 6에 예시로 도시된 추론 결과(610) 외에도 인접한 다른 서브 이미지에 대한 추론 결과와 병합될 수 있다. 예를 들어, 도 6의 최종 추론 결과(620)에 도시된 바와 같이, 노란색 추론 결과의 일부 영역에서, 우측에 인접한 다른 서브 이미지에 대한 추론 결과(미도시)가 함께 병합된 색채가 표시될 수 있다. 또한, 자주색 추론 결과의 일부 영역에서, 하단에 인접한 다른 서브 이미지에 대한 추론 결과(미도시)와 함께 병합된 색채가 표시될 수 있다. 또한, 남색 추론 결과의 일부 영역에서, 우측에 인접한 서브 이미지에 대한 추론 결과(미도시) 및 하단에 인접한 서브 이미지에 대한 추론 결과(미도시)와 함께 병합된 색체가 표시될 수 있다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 모델(700)을 나타내는 예시도이다. 인공신경망 모델(700)은, 기계학습 모델의 일 예로서, 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조이다.
일 실시예에 따르면, 인공신경망 모델(700)은, 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 기계학습 모델을 나타낼 수 있다. 예를 들어, 인공신경망 모델(700)은 기계 학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.
일 실시예에 따르면, 인공신경망 모델(700)은 대상 이미지 또는 서브 이미지를 입력하여 각 픽셀에 대한 클래스를 출력하도록 구성된 인공신경망 모델을 포함할 수 있다. 예를 들어, 인공신경망 모델(700)은 병리 슬라이드 이미지 또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치를 입력하여 각 픽셀에 대한 클래스를 출력하도록 구성된 인공신경망 모델을 포함할 수 있다.
인공신경망 모델(700)은 다층의 노드들과 이들 사이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현된다. 본 실시예에 따른 인공신경망 모델(700)은 MLP를 포함하는 다양한 인공신경망 모델 구조들 중의 하나를 이용하여 구현될 수 있다. 도 5에 도시된 바와 같이, 인공신경망 모델(700)은, 외부로부터 입력 신호 또는 데이터(710)를 수신하는 입력층(720), 입력 데이터에 대응한 출력 신호 또는 데이터(750)를 출력하는 출력층(740), 입력층(720)과 출력층(740) 사이에 위치하며 입력층(720)으로부터 신호를 받아 특성을 추출하여 출력층(740)으로 전달하는 n개(여기서, n은 양의 정수)의 은닉층(730_1 내지 730_n)으로 구성된다. 여기서, 출력층(740)은 은닉층(730_1 내지 730_n)으로부터 신호를 받아 외부로 출력한다.
인공신경망 모델(700)의 학습 방법에는, 교사 신호(정답)의 입력에 의해서 문제의 해결에 최적화되도록 학습하는 지도 학습(Supervised Learning) 방법과, 교사 신호를 필요로 하지 않는 비지도 학습(Unsupervised Learning) 방법이 있다. 정보 처리 시스템은 대상 이미지 및/또는 서브 이미지에 포함된 복수의 픽셀 각각에 대한 클래스 정보가 추론될 수 있도록 인공신경망 모델(700)을 지도 학습 및/또는 비지도 학습시킬 수 있다.
이렇게 학습된 인공신경망 모델(700)은 정보 처리 시스템의 메모리(미도시)에 저장될 수 있으며, 통신 모듈 및/또는 메모리로부터 수신된 대상 이미지 또는 서브 이미지의 입력에 응답하여, 대상 이미지 또는 서브 이미지에 포함된 복수의 픽셀 각각에 대한 클래스 정보를 출력할 수 있다.
일 실시예에 따르면, 세그멘테이션을 수행할 수 있는 기계학습 모델, 즉, 인공신경망 모델(700)의 입력변수는, 병리 슬라이드 이미지 또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치가 될 수 있다. 예를 들어, 인공신경망 모델(700)의 입력층(720)에 입력되는 입력변수는, 병리 슬라이드 이미지 또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치를 하나의 벡터 데이터 요소로 구성한, 이미지 벡터(710)가 될 수 있다. 병리 슬라이드 이미지의 적어도 일부를 포함한 이미지의 입력에 응답하여, 인공신경망 모델(700)의 출력층(740)에서 출력되는 출력 변수는 병리 슬라이드 이미지의 적어도 일부에 포함된 복수의 픽셀 각각에 대한 클래스 정보를 나타내거나 특징화하는 벡터(750)가 될 수 있다. 이에 더하여, 인공신경망 모델(700)의 출력층(740)은 출력된 클래스 정보에 대한 신뢰도 및/또는 정확도를 나타내는 벡터를 출력하도록 구성될 수 있다. 본 개시에 있어서, 인공신경망 모델(700)의 출력변수는, 이상에서 설명된 유형에 한정되지 않으며, 클래스 정보를 나타내는 임의의 정보/데이터를 포함할 수 있다.
이와 같이, 인공신경망 모델(700)의 입력층(720)과 출력층(740)에 복수의 입력변수와 대응되는 복수의 출력변수가 각각 매칭되고, 입력층(720), 은닉층(730_1 내지 730_n) 및 출력층(740)에 포함된 노드들 사이의 시냅스 값이 조정됨으로써, 특정 입력에 대응한 올바른 출력이 추출될 수 있도록 학습될 수 있다. 이러한 학습 과정을 통해, 인공신경망 모델(700)의 입력변수에 숨겨져 있는 특성을 파악할 수 있고, 입력변수에 기초하여 계산된 출력변수와 목표 출력 간의 오차가 줄어들도록 인공신경망 모델(700)의 노드들 사이의 시냅스 값(또는 가중치)를 조정할 수 있다. 이렇게 학습된 인공신경망 모델(700)을 이용하여, 입력된 병리 슬라이드 이미지 또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 응답하여, 입력 이미지에 포함된 복수의 픽셀에 대한 클래스 정보가 출력될 수 있다.
도 8은 본 개시의 일 실시예에 따른 대상 이미지 및 서브 이미지로서, 병리 슬라이드 이미지 및 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 대한 예시도이다. 도시된 바와 같이, 병리 슬라이드 이미지(810)는 인체로부터 떼어낸 조직의 적어도 일부에 대한 일련의 화학적 처리 과정을 거쳐 염색 및/또는 고정된 병리 슬라이드를 현미경 및 카메라를 통해 촬영함으로써 생성된 디지털 이미지를 지칭할 수 있다. 예를 들어, 병리 슬라이드 이미지(810)는 H&E 염색(hematoxylin and eosin stain) 기법으로 염색된 것일 수 있으나, 이에 한정되지 않고, 이미 알려진 상이한 염색 기법으로 염색한 병리 슬라이드를 현미경 및 카메라를 통해 촬영함으로써 생성된 이미지를 포함할 수 있다.
본 개시의 실시예들에 따른 대상 이미지는 병리 슬라이드 이미지(810)일 수 있으며, 서브 이미지는 병리 슬라이드 이미지(810)에 포함된 패치(820)일 수 있다. 대안적으로, 본 개시의 실시예들에 따른 대상 이미지는 병리 슬라이드 이미지(810)에 포함된 패치(820)일 수 있고, 서브 이미지는 대상 이미지인 패치(820)보다 작은 단위의 패치(830)일 수 있다. 여기서, 서브 이미지인 작은 단위의 패치(830)는 대상 이미지인 패치(820)에 포함될 수 있다.
프로세서는, 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)를 기계학습 모델에 입력하여, 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)에 대한 추론 작업을 수행하고, 추론 결과를 생성할 수 있다. 일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)를 기계학습 모델에 입력하여, 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)에 포함된 복수의 픽셀 각각에 대한 복수의 클래스를 출력할 수 있다. 여기서, 기계학습 모델은 이미지를 입력으로 받아, 이미지에 포함된 복수의 픽셀 각각에 대한 클래스를 출력하도록 학습된 세그멘테이션 기계학습 모델(예: 도 7의 인공신경망 모델(700))일 수 있다. 여기서 세그멘테이션 기계학습 모델은 다양한 세그멘테이션 알고리즘이 적용될 수 있으며, 예를 들면 시맨틱(semantic) 세그멘테이션 기계학습 모델 및/또는 인스턴스(instance) 세그멘테이션 기계학습 모델일 수 있다.
본 개시의 실시예들에 따른 추론 결과로서, 프로세서에 의해 출력된 복수의 클래스 정보에 따라, 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)에 포함된 복수의 픽셀 중 적어도 일부에 대한 클래스 정보가 태깅 및/또는 표시될 수 있다. 일 실시예에 따르면, 병리 슬라이드 이미지(810)의 제1 영역은 암 기질(cancer stroma)이라는 클래스 정보가 표시될 수 있고, 제2 영역은 암 상피(cancer epithelium)라는 클래스 정보가 표시될 수 있다. 예를 들어, 암 기질 영역에 해당하는 제1 영역은 자주색으로 채색되고, 암 상피 영역에 해당하는 제2 영역은 하늘색으로 채색될 수 있다. 대안적으로, 클래스 정보는 영역 표시, 도형 표시, 다른 색채 표시 또는 텍스트 등의 다양한 시각적 표시로 표현될 수 있다.
병리 슬라이드 이미지(810)는 현미경으로 촬영된 원본 이미지의 압축된 형태로 대상 이미지로서 프로세서에 제공될 수 있으며, 압축된 이미지가 복수의 서브 이미지로서 복수의 패치(820)로 분할되면 복수의 패치(820)에 대응하는 압축 해제된 이미지가 프로세서에 제공될 수 있다. 이에 마찬가지로, 패치(820)에 포함된 작은 단위의 패치(830)에 대한 확대된 이미지가 획득될 수 있다. 도 2에서는, 패치(820) 및 작은 단위의 패치(830)에 대응하는 이미지가 각각 특정 배율로 확대되어 있으나, 이에 제한되지 않고, 병리 슬라이드 이미지 및/또는 이에 포함된 패치에 대응하는 이미지는 다양한 배율로 확대되거나 축소될 수 있다.
도 9는 본 개시의 실시예들에 따른 두 개의 서브 이미지에 대한 추론 결과의 병합으로 생성되는 대상 이미지에 대한 추론 결과의 예시도이다. 프로세서는 대상 이미지를 제1 서브 이미지 및 제2 서브 이미지로 분할하고, 분할된 제1 서브 이미지 및 제2 서브 이미지 각각에 대한 추론 작업을 수행할 수 있다. 즉, 제1 서브 이미지 및 제2 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다. 그 후, 프로세서는 제1 서브 이미지 및 제2 서브 이미지에 대한 추론 결과를 병합하여, 대상 이미지에 대한 추론 결과를 생성할 수 있다.
제1 추론 결과(910)는 제1 서브 이미지와 제2 서브 이미지가 서로 오버랩되지 않도록 대상 이미지를 분할하고, 제1 서브 이미지 및 제2 서브 이미지 각각의 추론 결과를 오버랩 없이 단순히 배열하여 병합한 결과를 나타낸다. 이 경우, 제1 서브 이미지에 대한 추론 결과와 제2 서브 이미지에 대한 추론 결과가 전혀 상이한 경우, 제1 및 제2 서브 이미지 사이의 경계 부근의 추론 결과가 자연스럽게 이어지지 않는 것을 확인할 수 있다. 즉, 서브 이미지 각각의 추론 결과를 겹치는 영역 없이 병합하여 생성된 최종 추론 결과(910)의 일부에서 추론 결과물이 끊어지는 것처럼 나타날 수 있다. 이에 따라, 도시된 바와 같이, 빨간색의 추론 결과와 파란색의 추론 결과 사이에 명확한 경계가 나타날 수 있다. 인체 세포 및/또는 조직학적인 구성을 고려할 때, 이러한 명확한 경계는 제1 서브 이미지와 제2 서브 이미지 사이의 경계 부근의 추론 결과의 정확성은 담보되기 어려울 수 있다.
제2 추론 결과(920)는, 제1 서브 이미지와 제2 서브 이미지가 서로 오버랩되도록 분할하고, 제1 서브 이미지의 추론 결과 및 제2 서브 이미지의 추론 결과가 오버랩되는 영역을 제1 서브 이미지의 추론 결과와 제2 서브 이미지의 추론 결과의 평균값으로 산출하여 병합한 결과를 나타낸다. 이 경우, 출력되는 추론 결과가 서브 이미지 별로 상이한 경우, 서브 이미지가 오버랩되는 경계선에서 추론 결과들이 끊어지는 듯한 결함(artifact)이 발생할 수 있다. 도시된 바와 같이, 빨간색의 추론 결과와 파란색의 추론 결과가 오버랩되는 영역이 중간 값인 보라색이 나타난다. 따라서, 빨간색과 보라색 사이의 경계, 보라색과 파란색 사이의 경계가 명확히 드러나고, 제1 추론 결과(910)와 마찬가지로, 인체 세포 및/또는 조직학적 구성을 고려할 때, 제2 추론 결과(920)의 정확성은 보장되기 어려울 수 있다.
제3 추론 결과(930)는 제1 서브 이미지와 제2 서브 이미지가 서로 오버랩되도록 분할하고, 제1 서브 이미지에 포함된 복수의 픽셀에 대한 추론 결과 및 제2 서브 이미지에 포함된 복수의 픽셀에 대한 추론 결과에 상이한 가중치(예: 선형 가중치)를 적용하여 병합한 결과를 나타낸다. 이 경우, 제1 추론 결과(910) 및 제2 추론 결과(920)와 달리 서브 이미지에 대한 추론 결과들 사이에서 부드러운 경계를 갖는 것을 확인할 수 있다. 예를 들어, 도시된 바와 같이, 빨간색의 추론 결과와 파란색의 추론 결과 사이에서 부드러운 경계가 나타날 수 있다. 이에 따라, 대상 이미지에 대한 최종 추론 결과에서 끊어지는 듯한 결함이 발생하는 것을 방지할 수 있으며, 제3 추론 결과(930)의 정확성은 제1 추론 결과(910) 및 제2 추론 결과(920) 보다 향상될 수 있다.
도 9에서는 두 개의 서브 이미지에 대한 추론 결과를 병합하여 대상 이미지에 대한 최종 추론 결과를 생성하고 있으나, 이에 한정되지 않고, 3이상의 복수의 서브 이미지에 대한 추론 결과를 병합하여 대상 이미지에 대한 최종 추론 결과를 생성할 수 있다.
도 10은 본 개시의 실시예들에 따른 복수의 패치에 대한 추론 결과의 병합으로 생성되는 병리 슬라이드 이미지(1010)에 대한 추론 결과(1020, 1030)의 예시도이다. 프로세서는 병리 슬라이드 이미지(1010)를 복수의 패치로 분할하고, 분할된 복수의 패치 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다. 여기서, 분할된 복수의 패치 각각은 인접한 패치와 일부 오버랩될 수 있다. 그 후, 프로세서는 복수의 패치 각각에 포함된 복수의 픽셀에 대한 추론 결과에 가중치를 적용하고, 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하여, 병리 슬라이드 이미지(1010)에 대한 추론 결과를 생성할 수 있다.
일 실시예에 따르면, 제1 추론 결과(1020)는, 복수의 패치 각각에 포함된 복수의 픽셀에 대한 추론 결과에 평균 가중치를 적용하고, 평균 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합한 결과를 보여줄 수 있다. 즉, 프로세서는 복수의 패치가 오버랩되는 영역의 추론 결과를 오버랩되는 픽셀들에 대한 추론 결과의 평균값으로 산출할 수 있다. 제1 추론 결과(1020)의 빨간색 점선 박스 영역에서 나타나는 바와 같이, 패치의 경계선이 명확히 드러나고, 추론 결과들이 끊어지는 듯한 결함이 발생할 수 있다. 따라서, 인체 세포 및/또는 조직학적 구성을 고려할 때, 제1 추론 결과(1020)의 정확성은 보장되기 어려울 수 있다.
다른 실시예에 따르면, 제2 추론 결과(1030)는, 복수의 패치 각각에 포함된 복수의 픽셀에 대한 추론 결과에 이중 선형 가중치를 적용하고, 이중 선형 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합한 결과를 보여줄 수 있다. 빨간색 점선 박스 영역에서 명확한 경계선이 나타나는 제1 추론 결과(1020)와 달리, 제2 추론 결과(1030)에서는 복수의 패치의 추론 결과들 사이에서 결과물이 끊어지는 듯한 결함이 발생하지 않는 것을 확인할 수 있다. 두 추론 결과를 비교해볼 때, 패치에 대한 추론 결과에 평균 가중치를 적용하여 병합하는 방식보다 이중 선형 가중치를 적용하여 병합하는 방식이 병리 슬라이드 이미지(1010)에 대한 추론 결과의 정확성을 더욱 향상시킬 수 있다.
도 10에서는 병리 슬라이드 이미지(1010)에 대한 추론 결과(1020, 1030)를 흑백 이미지로 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 병리 슬라이드 이미지에 대한 추론 결과는 RGB 색채 및/또는 다차원 이미지 등으로 표시될 수 있다.
도 11은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시적인 시스템 구성도이다. 도시된 바와 같이, 정보 처리 시스템(100)은 하나 이상의 프로세서(1110), 버스(1130), 통신 인터페이스(1140), 프로세서(1110)에 의해 수행되는 컴퓨터 프로그램(1160)을 로드(load)하는 메모리(1120) 및 컴퓨터 프로그램(1160)을 저장하는 저장 모듈(1150)을 포함할 수 있다. 다만, 도 11에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 11에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(1110)는 정보 처리 시스템(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1110)는 본 개시의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 정보 처리 시스템(100)은 하나 이상의 프로세서를 구비할 수 있다.
메모리(1120)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(1120)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 저장 모듈(1150)로부터 하나 이상의 컴퓨터 프로그램(1160)을 로드할 수 있다. 메모리(1120)는 RAM과 같은 휘발성 메모리로 구현될 수 있으나, 본 개시의 기술적 범위는 이에 한정되지 아니한다.
버스(1130)는 정보 처리 시스템(100)의 구성 요소 간 통신 기능을 제공할 수 있다. 버스(1130)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(1140)는 정보 처리 시스템(100)의 유무선 인터넷 통신을 지원할 수 있다. 또한, 통신 인터페이스(1140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1140)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
저장 모듈(1150)은 하나 이상의 컴퓨터 프로그램(1160)을 비임시적으로 저장할 수 있다. 저장 모듈(1150)은 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(1160)은 메모리(1120)에 로드될 때 프로세서(1110)로 하여금 본 개시의 다양한 실시예들에 따른 동작/방법을 수행하도록 하는 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(1110)는 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예들에 따른 동작/방법들을 수행할 수 있다.
예를 들어, 컴퓨터 프로그램(1160)은 대상 이미지를 복수의 서브 이미지로 분할하는 동작, 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하는 동작, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 동작, 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 정보 처리 시스템(100)을 통해 본 개시의 몇몇 실시예들에 따른 대상 이미지에 대한 추론 작업을 수행하는 시스템이 구현될 수 있다.
본 개시의 앞선 설명은 통상의 기술자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 통상의 기술자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예들에 제한되도록 의도된 것이 아니고, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
비록 예시적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에서 첨부된 특허 청구의 범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

  1. 대상 이미지에 대한 추론 작업을 수행하는 방법에 있어서,
    상기 대상 이미지를 복수의 서브 이미지로 분할하는 단계;
    상기 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론(prediction) 결과를 생성하는 단계;
    상기 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계; 및
    상기 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 단계
    를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  2. 제1항에 있어서,
    상기 대상 이미지를 복수의 서브 이미지로 분할하는 단계는,
    상기 복수의 서브 이미지에 포함된 제1 이미지의 일부가 상기 제1 이미지와 인접한 제2 이미지의 일부와 오버랩(overlap)되도록 분할하는 단계
    를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  3. 제2항에 있어서,
    상기 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계는,
    상기 복수의 픽셀에 대한 추론 결과에 이중 선형 가중치(bilinear weight)를 적용하는 단계
    를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  4. 제3항에 있어서,
    상기 이중 선형 가중치는, 상기 복수의 픽셀에 대한 추론 결과에 적용되는 이중 선형 보간법(bilinear interpolation)을 위해 사용되는 가중치로서, 상기 복수의 픽셀의 각각에 대응하는 값으로 산출되는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  5. 제3항에 있어서,
    상기 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 단계는,
    상기 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 제1 가중치가 적용된 추론 결과와 상기 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 제2 가중치가 적용된 추론 결과를 병합하는 단계
    를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  6. 제1항에 있어서,
    상기 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하는 단계는,
    상기 복수의 픽셀의 각각에 대한 클래스를 결정하는 단계 - 상기 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스임 -; 및
    상기 결정된 클래스를 포함하는 추론 결과를 생성하는 단계
    를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  7. 제6항에 있어서,
    상기 복수의 픽셀의 각각에 대한 클래스를 결정하는 단계는,
    상기 분할된 복수의 서브 이미지의 각각을 세그멘테이션(segmentation) 기계학습 모델에 입력하여, 상기 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력하는 단계
    를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  8. 제6항에 있어서,
    상기 결정된 클래스를 포함하는 추론 결과를 생성하는 단계는,
    상기 복수의 픽셀의 각각에 대한 클래스를 이용하여, 상기 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정하는 단계
    를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  9. 제8항에 있어서,
    상기 결정된 클래스를 포함하는 추론 결과를 생성하는 단계는,
    상기 결정된 복수의 채널에 대한 값을 기초로, 상기 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성하는 단계
    를 더 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  10. 제8항에 있어서,
    상기 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계는,
    상기 복수의 채널 각각에 상기 가중치를 적용하는 단계
    를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
  11. 정보 처리 시스템에 있어서,
    하나 이상의 인스트럭션(instructions)을 저장하는 메모리; 및
    상기 저장된 하나 이상의 인스트럭션을 실행함으로써,
    대상 이미지를 복수의 서브 이미지로 분할하고, 상기 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하고, 상기 복수의 픽셀에 대한 추론 결과에 가중치를 적용하고, 상기 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하도록 구성된 프로세서를 포함하는,
    정보 처리 시스템.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 서브 이미지에 포함된 제1 이미지의 일부가 상기 제1 이미지와 인접한 제2 이미지의 일부와 오버랩되도록 분할하도록 더 구성된,
    정보 처리 시스템.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 복수의 픽셀에 대한 추론 결과에 이중 선형 가중치를 적용하도록 더 구성된,
    정보 처리 시스템.
  14. 제13항에 있어서,
    상기 이중 선형 가중치는, 상기 복수의 픽셀에 대한 추론 결과에 적용되는 이중 선형 보간법을 위해 사용되는 가중치로서, 상기 복수의 픽셀의 각각에 대응하는 값으로 산출되는, 정보 처리 시스템.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 제1 가중치가 적용된 추론 결과와 상기 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 제2 가중치가 적용된 추론 결과를 병합하도록 더 구성된,
    정보 처리 시스템.
  16. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 픽셀의 각각에 대한 클래스를 결정하고 - 상기 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스임 -, 상기 결정된 클래스를 포함하는 추론 결과를 생성하도록 더 구성된,
    정보 처리 시스템.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 분할된 복수의 서브 이미지의 각각을 세그멘테이션 기계학습 모델에 입력하여, 상기 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력하도록 더 구성된,
    정보 처리 시스템.
  18. 제16항에 있어서,
    상기 프로세서는,
    상기 복수의 픽셀의 각각에 대한 클래스를 이용하여, 상기 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정하도록 더 구성된,
    정보 처리 시스템.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 결정된 복수의 채널에 대한 값을 기초로, 상기 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성하도록 더 구성된,
    정보 처리 시스템.
  20. 제18항에 있어서,
    상기 프로세서는,
    상기 복수의 채널 각각에 상기 가중치를 적용하도록 더 구성된,
    정보 처리 시스템.
PCT/KR2021/015734 2020-11-02 2021-11-02 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 WO2022092993A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21802585.6A EP4239533A1 (en) 2020-11-02 2021-11-02 Method and system for performing prediction operation on target image
US17/671,936 US20220172009A1 (en) 2020-11-02 2022-02-15 Method and system for performing prediction work on target image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0144411 2020-11-02
KR1020200144411A KR102429534B1 (ko) 2020-11-02 2020-11-02 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/671,936 Continuation US20220172009A1 (en) 2020-11-02 2022-02-15 Method and system for performing prediction work on target image

Publications (1)

Publication Number Publication Date
WO2022092993A1 true WO2022092993A1 (ko) 2022-05-05

Family

ID=81383025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015734 WO2022092993A1 (ko) 2020-11-02 2021-11-02 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템

Country Status (4)

Country Link
US (1) US20220172009A1 (ko)
EP (1) EP4239533A1 (ko)
KR (2) KR102429534B1 (ko)
WO (1) WO2022092993A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572423B1 (ko) * 2023-03-07 2023-08-30 주식회사 에이모 인스턴스 레이어를 생성하는 방법 및 장치
KR102563550B1 (ko) 2023-04-14 2023-08-11 고려대학교산학협력단 읽기 전용 프롬프트 학습 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190028235A (ko) * 2017-09-08 2019-03-18 삼성전자주식회사 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스
US20200258223A1 (en) * 2018-05-14 2020-08-13 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US10754035B2 (en) * 2017-01-17 2020-08-25 Aptiv Technologies Limited Ground classifier system for automated vehicles
US10783632B2 (en) * 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101400410B1 (ko) * 2012-08-14 2014-05-28 이화여자대학교 산학협력단 현미경 영상 내 세포 분류 방법 및 장치
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
US10223788B2 (en) * 2016-08-31 2019-03-05 International Business Machines Corporation Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
US10929665B2 (en) * 2018-12-21 2021-02-23 Samsung Electronics Co., Ltd. System and method for providing dominant scene classification by semantic segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10754035B2 (en) * 2017-01-17 2020-08-25 Aptiv Technologies Limited Ground classifier system for automated vehicles
KR20190028235A (ko) * 2017-09-08 2019-03-18 삼성전자주식회사 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스
US20200258223A1 (en) * 2018-05-14 2020-08-13 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US10783632B2 (en) * 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds

Also Published As

Publication number Publication date
KR20220113891A (ko) 2022-08-17
US20220172009A1 (en) 2022-06-02
EP4239533A1 (en) 2023-09-06
KR102429534B1 (ko) 2022-08-04
KR20220059155A (ko) 2022-05-10

Similar Documents

Publication Publication Date Title
WO2022092993A1 (ko) 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템
WO2019074195A1 (ko) 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
WO2021201422A1 (ko) Ar에 적용 가능한 의미적인 분할 방법 및 시스템
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
US20220092765A1 (en) Defect inspection device
WO2005119589A1 (en) Information processing method and apparatus, and image pickup device
WO2021210796A1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2020116768A1 (ko) 영상 처리 장치 및 그 동작방법
WO2022005091A1 (ko) 골 연령 판독 방법 및 장치
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2021210797A1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
WO2020231005A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020055181A1 (ko) 영상 처리 장치 및 그 동작방법
WO2022019390A1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
CN110097080B (zh) 一种分类标签的构建方法及装置
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
WO2021225422A1 (ko) 병리 슬라이드 이미지에 대한 면역 표현형과 연관된 정보를 제공하는 방법 및 장치
WO2019235827A1 (ko) 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
WO2022019389A1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2021246625A1 (ko) 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
WO2021177532A1 (ko) 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램
WO2020231006A1 (ko) 영상 처리 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21802585

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021802585

Country of ref document: EP

Effective date: 20230602