WO2022231200A1 - 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
WO2022231200A1
WO2022231200A1 PCT/KR2022/005634 KR2022005634W WO2022231200A1 WO 2022231200 A1 WO2022231200 A1 WO 2022231200A1 KR 2022005634 W KR2022005634 W KR 2022005634W WO 2022231200 A1 WO2022231200 A1 WO 2022231200A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
resolution patch
artificial neural
low
layer
Prior art date
Application number
PCT/KR2022/005634
Other languages
English (en)
French (fr)
Inventor
최준영
곽태영
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to JP2023564222A priority Critical patent/JP2024519459A/ja
Priority to EP22796033.3A priority patent/EP4318497A1/en
Priority to CN202280031793.6A priority patent/CN117256033A/zh
Priority to US18/288,380 priority patent/US20240221373A1/en
Publication of WO2022231200A1 publication Critical patent/WO2022231200A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0041—Detection of breast cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • the present invention relates to a learning method for learning an artificial neural network for determining a breast cancer lesion region, and a computing system for performing the same. More particularly, it relates to a learning method for learning an artificial neural network capable of discriminating a breast cancer lesion region in consideration of both microscopic and macroscopic features of a living tissue, and a computing system for performing the same.
  • One of the major tasks performed in pathology or pathology is to perform a diagnosis to determine the condition, sign, or lesion of a specific disease by reading a patient's biological tissue image.
  • This diagnosis is a method that depends on the experience and knowledge of skilled medical personnel for a long time.
  • a great advantage that can be expected from the method of diagnosing biometric images using an artificial neural network learned from a large number of data is that it does not simply automate the experience and knowledge of conventionally skilled medical personnel, but it In terms of finding and deriving the desired answer, it is possible to find out the characteristics of disease factors that experienced medical personnel were not aware of in the image.
  • mastectomy is widely used to excise areas with cancer lesions.
  • pathological examination of the resected breast cancer tissue is required, and the invasive cancer lesion area and ductal carcinoma in situ in the breast cancer resection tissue are required.
  • DCIS Also called ductal carcinoma in situ or ductal carcinoma
  • the macroscopic tissue shape is very important to determine whether the breast cancer lesion area is invasive or ductal epithelial cancer through artificial neural networks such as convolutional neural networks. very important.
  • the conventional single-resolution convolutional neural network has limitations in accurately classifying the lesion region by capturing these features well.
  • the technical task of the present invention is to propose a structure of an artificial neural network capable of detecting a lesion region caused by a specific disease from a biological tissue image, and to provide a method for learning it.
  • a structure of an artificial neural network that can determine the lesion area by considering both the macroscopic features of the tissue area, such as the tissue shape and the microscopic features of the cell shape and cell nucleus, and provide a learning method.
  • both macroscopic and microscopic characteristics of the tissue need to be considered in determining whether the breast cancer lesion area is invasive or ductal epithelial cancer.
  • This is to propose a deep learning model for bio-image analysis that detects the lesion area and classifies the detected lesion area as invasive cancer or ductal epithelial cancer in consideration of the shape and size of the cell nucleus.
  • a system comprising the step of learning the artificial neural network by inputting the ith high-resolution patch and the ith low-resolution patch, wherein the artificial neural network includes a first encoding convolutional neural network, a second encoding convolutional neural network, and
  • the first encoding convolutional neural network is a convolutional neural network that receives an ith high-resolution patch and outputs a first feature map corresponding to the ith high-resolution patch
  • the second encoding convolutional neural network includes , a convolutional neural network that receives the ith low-resolution patch and outputs context information corresponding to the ith low-resolution patch
  • the decoding neural network includes the first feature map corresponding to the ith high-resolution patch.
  • An artificial neural network learning method which is a convolutional neural network that reflects context information corresponding to the i-th low-resolution patch and generates predetermined prediction information for determining a lesion region in the i-th high-resolution patch based on a result value reflecting the context information this is provided
  • the living tissue slide is a breast cancer resection tissue slide, and an invasive cancer region, which is a lesion region due to invasive cancer, and an intraductal epithelial cancer region, which is a lesion region due to ductal epithelial cancer, may be annotated on the slide image.
  • the decoding neural network determines a normalization parameter using the context information output from a first convolutional layer performing a convolution operation on the first feature map and the second encoding convolutional neural network, and , a first post-processing layer that reflects the context information in the first feature map by performing adaptive normalization on the result value output from the first convolutional layer with the determined normalization parameter.
  • the decoding neural network includes a first convolutional layer performing a convolution operation on the first feature map and the second encoding convolutional neural network targeting a result value output from the first convolutional layer
  • a first post-processing layer that reflects the context information in the first feature map may be included.
  • the first encoding convolutional neural network further outputs a second feature map corresponding to the i-th high-resolution patch, wherein the second feature map is a feature map of a lower level than the first feature map-
  • the decoding convolutional neural network includes a non-local block layer that performs a non-local block operation on the second feature map, a result transmitted from the first post-processing layer, and a result transmitted from the non-local block layer
  • a concatenation layer for concatenating a second convolution layer for performing a convolution operation on the result transmitted from the concatenation layer, and a context corresponding to the i-th low-resolution patch on the result output from the second convolution layer
  • It may further include a second post-processing layer reflecting the information, and output the prediction information based on a result output from the second post-processing layer.
  • a method of providing a determination result for a predetermined biological tissue slide to be determined through an artificial neural network learned by the artificial neural network learning method wherein a computing system includes: obtaining a judgment target slide image; generating, by the computing system, a first judgment target high-resolution patch to an N-th judgment target high-resolution patch from the judgment target slide image; the computing system, the j-th judgment target high-resolution patch (
  • the j-th judgment target high-resolution patch and the j-th judgment target low-resolution patch corresponding thereto are the same has a size, and the central point of the j-th judgment target high-resolution patch and the j-th judgment target low-resolution patch point to the same position on the slide of the biological tissue to be judged - and the computing system determines the j-th judgment target
  • a computer program installed in a data processing apparatus and recorded in a medium for performing the above-described method.
  • a computer-readable recording medium in which a computer program for performing the above-described method is recorded.
  • an artificial neural network learning system including a processor and a memory storing a computer program, wherein the computer program, when executed by the processor, causes the artificial neural network learning system to An artificial neural network learning system for performing a learning method is provided.
  • a system for providing a determination result for a slide of a biological tissue to be determined comprising a processor and a memory for storing a computer program, wherein the computer program, when executed by the processor, determines A judgment result providing system is provided, which causes the result providing system to perform the method for providing the judgment result.
  • the technical idea of the present invention it is possible to determine the lesion region in consideration of both the macroscopic feature of the tissue region, such as the tissue shape, and the microscopic feature, such as the shape of the cell or the size of the cell nucleus. That is, an artificial neural network for judging a lesion area by considering microscopic features of the tissue through a high-resolution image and macroscopic features of the tissue through a low-resolution image and a method for learning the same can be provided.
  • the lesion area can be detected very effectively and the detected lesion area can be classified as invasive cancer or ductal epithelial cancer.
  • FIG. 1 is a diagram schematically illustrating an environment in which a method for learning an artificial neural network and a method for providing a judgment result for a biological tissue slide according to the technical idea of the present invention are performed.
  • FIG. 2 is a flowchart illustrating an artificial neural network learning method according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of a biological tissue slide image in which an invasive cancer region and an intraluminal epithelial cancer region are annotated.
  • 4A is a diagram for explaining a high-resolution patch.
  • 4B is a diagram illustrating an example of a region covered by a high-resolution patch whose center point is the same position on a slide image of a living tissue and an area covered by a corresponding low-resolution patch.
  • FIG. 5 is a diagram for explaining the structure of an artificial neural network according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an example of a method for providing a determination result for a living tissue slide according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a schematic configuration of an artificial neural network learning system according to an embodiment of the present invention
  • FIG. 8 is a diagram illustrating a schematic configuration of a system for providing judgment results according to an embodiment of the present invention.
  • the component when any one component 'transmits' data to another component, the component may directly transmit the data to the other component or through at least one other component. This means that the data may be transmitted to the other component. Conversely, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.
  • FIG. 1 is a diagram schematically illustrating an environment in which a method for learning an artificial neural network and a method for providing a judgment result for a biological tissue slide according to the technical idea of the present invention are performed.
  • the artificial neural network learning method may be performed by the artificial neural network learning system 100 , and a method for providing a determination result for a biological tissue slide according to an embodiment of the present invention may be performed by the judgment result providing system 200 (hereinafter, referred to as a 'judgment result providing system') for a predetermined judgment target biological tissue slide.
  • the judgment result providing system 200 hereinafter, referred to as a 'judgment result providing system'
  • the artificial neural network learning system 100 may learn the artificial neural network 300 .
  • the artificial neural network learning system 100 may learn the artificial neural network 300 based on learning data generated from a plurality of pathological specimens.
  • the pathological specimen may be a biopsy taken from various organs of the human body or a living tissue excised by surgery.
  • the artificial neural network learning system 100 can learn the artificial neural network 300 by generating individual learning data using a digital pathology slide image of a pathological specimen, and inputting it to the input layer of the artificial neural network 300 . .
  • the artificial neural network 300 may be an artificial neural network that can be learned to output a probability value of whether or not a disease is present with respect to a predetermined disease.
  • the artificial neural network 300 outputs a numerical value, that is, a probability value, indicating a determination result (eg, whether a lesion is caused by a specific disease (especially breast cancer)) for a target sample based on data input through an input layer. can do.
  • an artificial neural network is a neural network artificially constructed based on the operation principle of a human neuron, includes a multi-layer perceptron model, and may refer to a set of information expressing a series of design items defining an artificial neural network.
  • the artificial neural network 300 may be a convolutional neural network or may include a convolutional neural network.
  • the convolutional neural network may include an input layer, a plurality of hidden layers, and an output layer.
  • Each of the plurality of hidden layers may include a convolution layer and a pooling layer (or a sub-sampling layer).
  • the convolutional neural network may be defined by a function, filter, stride, weight factor, etc. for defining each of these layers.
  • the output layer may be defined as a fully connected FeedForward layer. The design details for each layer constituting the convolutional neural network are widely known.
  • well-known functions may be used for each of the number of layers to be included in a plurality of layers, a convolution function for defining the plurality of layers, a pooling function, and an activation function, and to implement the technical idea of the present invention Separately defined functions may be used.
  • the learned artificial neural network 300 may be stored in the determination result providing system 200 , and using the artificial neural network 300 learned by the determination result providing system 200 , a predetermined diagnosis target sample or diagnosis target Judgment can be made on the slide image of the specimen.
  • the artificial neural network 300 receives a biological tissue slide image or a patch (also referred to as a 'tile') that is a part of a biological tissue slide image, and provides diagnostic information, prognosis information, and/or treatment method for biological tissue. It may be a neural network for providing response information.
  • the artificial neural network 300 may receive a biological tissue slide image or a patch that is a part of the biological tissue slide image.
  • the slide image may be a scanned image of a biological tissue slide
  • the patch may be a portion of a biological tissue slide image divided in a grid form.
  • the living tissue slide may be a breast cancer excision tissue slide, and in this case, the lesion region may include an invasive cancer region, which is a lesion region due to invasive cancer, and an intraductal epithelial cancer region, which is a lesion region due to ductal epithelial cancer.
  • the artificial neural network 300 may be a region division model (ie, a pixel unit classification model) for an input image. That is, the output value of the artificial neural network 300 may be a region division result (ie, a pixel unit classification result). In other words, the artificial neural network 300 may output predetermined prediction information for determining the lesion region in the corresponding image. Also, the artificial neural network 300 may be a pixel-level classification neural network that classifies an input image in units of pixels. For example, the artificial neural network 300 may be a neural network that outputs, for each pixel constituting an image, a probability of an invasive cancer, a probability of an endothelial cancer, and a probability that it is not cancer.
  • the artificial neural network learning system 100 may learn the artificial neural network 300 by inputting a plurality of biological tissue patches.
  • the learning data ie, the biotissue patch
  • the learning data may be annotated with an invasive cancer region, which is a lesion region due to invasive cancer, and an intraluminal epithelial cancer region, which is a lesion region due to ductal epithelial cancer.
  • the determination result providing system 200 uses the learned artificial neural network 300 to make various determinations on the target sample (eg, determination of the lesion area, the presence or absence of disease expression, prognosis, determination of treatment method, etc.) can do.
  • the artificial neural network learning system 100 and/or the judgment result providing system 200 may be a computing system that is a data processing device having computational power to implement the technical idea of the present invention, and generally, a client through a network It may include a computing device such as a personal computer or a portable terminal as well as a server that is an accessible data processing device.
  • the artificial neural network learning system 100 and/or the determination result providing system 200 may be implemented as any one physical device, but if necessary, a plurality of physical devices may be organically coupled to each other according to the technical idea of the present invention.
  • An average expert in the technical field of the present invention can easily infer that the artificial neural network learning system 100 and/or the judgment result providing system 200 can be implemented.
  • the artificial neural network learning system 100 and/or the determination result providing system 200 may be implemented in the form of a subsystem of a predetermined parent system 10 .
  • the parent system 10 may be a server.
  • the server 10 means a data processing device having computational capability for implementing the technical idea of the present invention, and generally provides a specific service such as a personal computer, a mobile terminal, etc. as well as a data processing device that a client can access through a network.
  • An average expert in the art of the present invention can easily infer that any device capable of performing can be defined as a server.
  • the artificial neural network learning system 100 and the determination result providing system 200 may be implemented in a form separated from each other.
  • FIG. 2 is a flowchart illustrating an artificial neural network learning method according to an embodiment of the present invention.
  • the artificial neural network learning system 100 may acquire a biological tissue slide image ( S100 ).
  • a lesion region may be annotated on the biological tissue slide image.
  • the living tissue slide image may be annotated with an invasive cancer region, which is a lesion region due to invasive cancer, and an intraductal epithelial cancer region, which is a lesion region due to ductal epithelial cancer.
  • Invasive cancer and intraluminal epithelial cancer may be present simultaneously in one living tissue slide image, and the type of lesion may be annotated for each lesion area.
  • FIG. 3 is a diagram illustrating an example of a biological tissue slide image in which an invasive cancer region and an intraluminal epithelial cancer region are annotated.
  • a region marked in red eg, 1
  • a region marked in yellow eg, 2
  • an endothelial cancer region e.g.
  • the artificial neural network learning system 100 may obtain N high-resolution patches (where N is an integer of 2 or more) from the biological tissue slide image ( S110 ).
  • the high resolution does not mean a specific magnification or higher than a specific resolution, but rather has a relatively high resolution compared to a low-resolution patch to be described later.
  • the artificial neural network learning system 100 may obtain the N high-resolution patches by dividing the biological tissue slide image into a predetermined size.
  • the artificial neural network learning system 100 may generate a high-resolution patch (eg, 11) by dividing the biological tissue slide image 10 in a grid shape.
  • an original biological tissue slide image may be obtained.
  • the N high-resolution patches may be mutually exclusive, but the present invention is not limited thereto, and at least some of the N high-resolution patches may have regions overlapping other high-resolution patches.
  • the low-resolution patch may be a patch having a relatively lower resolution than a high-resolution patch.
  • a high-resolution patch is a 50x image
  • the low-resolution patch may be a 12.5x image.
  • the high-resolution patch is an image at 50x and the low-resolution patch is an image at 12.5x. Assume and explain.
  • the central point of the ith high-resolution patch and the central point of the ith low-resolution patch may point to the same position on the biological tissue slide.
  • the ith high-resolution patch and the ith low-resolution patch may have the same size.
  • the size of the high-resolution patch is 256 ⁇ 256
  • the size of the low-resolution patch may also be 256 ⁇ 256.
  • the high-resolution patch is a 50x image and the low-resolution patch is a 12.5x image, which is 1/4 ratio
  • the area on the slide image covered by the high-resolution patch and the area on the slide image covered by the corresponding low-resolution patch The area of may be 1:16.
  • the artificial neural network learning system 100 may extract a wide part (strictly, a part covered by the low-resolution patch) from the center point of the high-resolution patch and then reduce it to obtain a low-resolution patch. For example, in order to obtain a low-resolution patch corresponding to a high-resolution patch having a size of 256 ⁇ 256 and the center point coordinates of (2048, 2560), the artificial neural network learning system 100 sets the coordinates (2048, 2048, 2560), a low-resolution patch can be generated by extracting a 1024 ⁇ 1024 area and then reducing it to a size of 256 ⁇ 256.
  • both the high-resolution patch 11 and the corresponding low-resolution patch may have the same center point 13 on the biological tissue slide 10, and the area of the area 12 covered by the low-resolution patch is The area of the region 11 covered by the high-resolution patch may be 16 times larger.
  • the living tissue slide may include only images of a single magnification, but according to an embodiment, the living tissue slide may include a plurality of images ranging from high magnification to low magnification in a pyramidal format.
  • the biological tissue image may include a high-resolution slide image with a magnification of 50 and a low-resolution slide image with a magnification of 12.5.
  • the artificial neural network learning system 100 may obtain a plurality of high-resolution patches by dividing the high-resolution slide image, and extract a corresponding low-resolution patch from the low-resolution slide image for each high-resolution patch.
  • a low-resolution patch corresponding to a high-resolution patch having a size of 256 ⁇ 256 and a center point coordinates of (2048, 2560)
  • the artificial neural network learning system 100 coordinates (512, 640) among the low-resolution slide images. )
  • a low-resolution patch can be obtained by extracting a 256x256-sized area as the center.
  • the artificial neural network learning system 100 may learn the artificial neural network 300 by inputting the i-th high-resolution patch and the i-th low-resolution patch corresponding thereto to the artificial neural network 300 ( S140).
  • step S100 to Step S140 may be performed.
  • FIG. 5 is a diagram for explaining the structure of the artificial neural network 300 according to an embodiment of the present invention.
  • the artificial neural network 300 may include a first encoding convolutional neural network 310 , a second convolutional neural network 320 , and a decoding convolutional neural network 330 .
  • the first encoded convolutional neural network 310 and the second encoded convolutional neural network may be implemented as MNASNET, which is a type of convolutional neural network, but is not limited thereto, and may be implemented with other convolutional neural networks such as RESNET.
  • MNASNET is a type of convolutional neural network, but is not limited thereto, and may be implemented with other convolutional neural networks such as RESNET.
  • the first encoded convolutional neural network 310 may receive a high-resolution patch 301
  • the second encoded convolutional neural network 320 may receive a low-resolution patch 302 corresponding to the high-resolution patch 301 .
  • the first encoded convolutional neural network 310 receives a 50x high-resolution patch with a size of 512x512
  • the second encoding convolutional neural network 320 receives a 12.5x low-resolution patch with a size of 512x512. will be input.
  • the first encoding convolutional neural network 310 may generate two or more feature maps corresponding to the input high-resolution patch 301, and in FIG. 5, a first feature map 311 that is a low-level feature map and a high-level feature map are An example in which the second feature map 312 is generated is shown.
  • the first feature map 311 is a 32 ⁇ 128 ⁇ 128 dimension (size 128 ⁇ 128, 32 channels) low-level feature map
  • the second feature map 312 is a 128 ⁇ 32 ⁇ 32 dimension (size 32 ⁇ 32, 128). channel) may be a high-level feature map.
  • the term "low-level" feature map is generated in a hidden layer relatively close to the input layer compared to the high-level feature map, or is relatively less abstract compared to the high-level feature map, and can mean that it has a larger amount of information.
  • the dimension of a value output from a specific neural network or layer is expressed as c ⁇ a ⁇ b, the corresponding value indicates that the value is a value of a c channel having a size of a ⁇ b.
  • the reason that the high-level feature map has a larger number of channels compared to the low-level feature map is that the size of the image is reduced by half horizontally and vertically through max pooling in the middle of the convolutional neural network. This is because the number of channels will be increased for That is, while data flows from the convolutional layer close to the input to the convolutional layer close to the output, the size of the feature map is reduced to try abstraction, and instead the number of channels is increased to increase the amount of abstract information.
  • the second encoding convolutional neural network 320 may receive the low-resolution patch 302 and output context information 321 corresponding to the low-resolution patch 302 .
  • the context information 321 output by the second encoding convolutional neural network 320 may not be the final output value of the second encoding convolutional neural network 320 , and the final output value of the second encoding convolutional neural network 320 .
  • An output of a layer immediately preceding a fully connected layer for output may be the context information 321 .
  • FIG. 5 shows an example of outputting the 1280-dimensional context information 321, it goes without saying that the size of the context information 321 may vary depending on the structure of the neural network.
  • the decoding neural network 330 reflects the context information 321 corresponding to the low-resolution patch 302 in the feature map 311 and/or 312 output by the first encoding convolutional neural network 310, Predetermined prediction information 337 for determining a lesion area in the high-resolution patch 301 may be generated based on a result value reflecting the context information 321 .
  • the decoding neural network 330 may output a probability corresponding to a normal region/invasive cancer lesion region/endothelial carcinoma lesion region for each pixel constituting the high-resolution patch 301 .
  • the decoding neural network 330 may output prediction information of 3 ⁇ 512 ⁇ 512 dimensions, but is not limited thereto.
  • the decoding neural network 330 performs a normal/invasive cancer lesion area/intraductal epithelial cancer lesion for each pixel group (eg, a pixel group consisting of four pixels in a square shape) constituting the high-resolution patch 301 . You can output the probability that it corresponds to the region.
  • the decoding neural network 330 may output prediction information of 3 ⁇ 128 ⁇ 128 dimensions.
  • the sum of the probability that each pixel or each pixel group is normal, the probability of an invasive cancer lesion area, and the probability of an intraluminal epithelial cancer lesion area may be 1 .
  • the decoding neural network 330 may include a first convolutional layer 331 and a first post-processing layer 332 .
  • the decoding neural network 330 includes a non-local block layer 333, a concatenation layer 334, a second convolution layer 335, and a second post-processing layer 336. It may include more.
  • the decoding neural network 330 may include only a part of the layer shown in FIG. 5 , or may further include other layers other than the layer shown in FIG. 5 .
  • the decoding neural network 330 may include only the first convolutional layer 331 and the first post-processing layer 332 among the layers shown in FIG. 5, and in some cases, one or more convolutional layers and It may further include a post-processing layer.
  • the first convolution layer 331 may perform a convolution operation on the first feature map 311 .
  • the first convolution layer 331 may output a 32 ⁇ 128 ⁇ 128 dimension result by performing a convolution operation through a 3 ⁇ 3 convolution filter.
  • the first post-processing layer 332 may reflect the context information 321 output from the second encoding convolutional neural network 320 in the result generated by the first convolutional layer 331 .
  • the first post-processing layer 332 may reflect the context information 321 through an adaptive normalization technique.
  • Adaptive regularization refers to a technique in which a fully connected layer that outputs the mean and standard deviation (or variance), which are regularization parameters, is inputted as an input, and normalization is performed using the mean and standard deviation output here.
  • the first post-processing layer 332 determines a normalization parameter (eg, mean and standard deviation) using the context information 321 , and uses the determined normalization parameter as the first convolutional layer.
  • a normalization parameter eg, mean and standard deviation
  • the context information 321 may be reflected in the first feature map 311 .
  • the first post-processing layer 332 may reflect the context information 321 through an attention mechanism. That is, the first post-processing layer 332 is based on the context information 321 output from the second encoding convolutional neural network 320 with respect to the result value output from the first convolutional layer 331 . By performing the attention mechanism, the context information 321 may be reflected in the first feature map 311 .
  • context information is used as input and passes through a fully connected layer that outputs parameters that can be used in the attention mechanism.
  • the value output from the post-processing layer (eg, the second post-processing layer 336) including the first post-processing layer 332 is a predetermined activation function (such as Relu or Sigmoid) activation function) and can be transferred to the next layer.
  • a predetermined activation function such as Relu or Sigmoid activation function
  • Non-local block layer 333 may perform a non-local block operation on the second feature map.
  • Non-local block operation refers to an operation used to calculate a non-local correlation of an input feature map, and a detailed description thereof can be found in Kaiming He et al.'s paper "Non-local Neural Networks" (https://arxiv. org/pdf/1711.07971.pdf).
  • upscaling may be performed on the value output from the non-local block layer 333 , and through this, the result output from the first post-processing layer 332 and A result having the same size (eg, 128 ⁇ 128) may be generated and transmitted to the next layer (ie, the combining layer 334). Meanwhile, as an upscaling technique, interpolation or transposed convolution may be used.
  • the concatenation layer 334 may concatenate the result transmitted from the first post-processing layer 332 and the result transmitted from the non-local block layer 333 .
  • the combining layer may perform a combining operation through channel stacking. For example, when a 32 ⁇ 128 ⁇ 128-dimensional result is delivered from the first post-processing layer 332 and a 128 ⁇ 128 ⁇ 128-dimensional result is delivered from the non-local block layer 333, the combination
  • the layer 334 may output a combined result of 160 ⁇ 128 ⁇ 128 dimensions through channel stacking.
  • the second convolution layer 335 may perform a convolution operation on the result output from the combining layer 334 .
  • the second convolution layer 334 may output a 128 ⁇ 128 ⁇ 128 dimension result by performing a convolution operation through a 3 ⁇ 3 convolution filter.
  • the second post-processing layer 336 may reflect the context information 321 corresponding to the low-resolution patch to the result output from the second convolutional layer 335 . Like the first post-processing layer 335 , the second post-processing layer 336 may also perform an adaptive normalization technique or an attention mechanism to which the context information 321 is applied.
  • the decoding convolutional neural network 330 may output the prediction information 340 based on a result output from the second post-processing layer 336 .
  • one or more additional convolutional layers and an additional post-processing layer connected thereto may be further included between the second post-processing layer 336 and the layer that finally outputs the prediction information 340 .
  • the decoding convolutional neural network 330 may further include a third convolutional layer 337 and a third post-processing layer 338 .
  • the additional convolution layer performs a convolution operation on the result value output from the previous layer like the other convolution layers described above, and the additional post-processing layer also applies the context information 321 like the other post-processing layers described above.
  • An adaptive normalization technique or an attention mechanism may be performed.
  • the decoding convolutional neural network 330 may further output the prediction information 337 through an additional layer (eg, an additional convolutional layer and/or a fully connected layer, an output layer, etc.). have.
  • the decoding convolutional neural network 330 may further include a fourth convolutional layer 339.
  • the artificial neural network 300 covers a large area of a living tissue. It has a structure in which a value output from an encoding convolutional neural network receiving a low-resolution image including the input is reflected to an output value of an encoding convolutional neural network receiving a high-resolution image as an input.
  • the artificial neural network 300 reflects not only the macroscopic features of the biological tissue appearing in the low-resolution image covering a wide area, but also the microscopic features extracted from the high-resolution image that covers a narrow area but shows the detailed characteristics of the tissue well. There are advantages to doing.
  • FIG. 6 is a flowchart illustrating an example of a method for providing a determination result for a living tissue slide according to an embodiment of the present invention.
  • the method of providing a determination result for a biological tissue slide according to FIG. 6 may be performed by the determination result providing system 200 , and the determination result providing system 200 includes a method previously learned by the artificial neural network learning system 100 .
  • the artificial neural network 300 may be stored.
  • the determination result providing system 200 may acquire a determination target slide image that is a slide image of a predetermined determination target biological tissue slide ( S200 ).
  • the determination result providing system 200 may obtain a first determination object high-resolution patch to an N-th determination object high-resolution patch from the determination object slide image (S220).
  • the determination result providing system 200 may generate a low-resolution patch corresponding to each of the first determination target high-resolution patch to the N-th high-resolution determination target high-resolution patch (S220 and S230).
  • the process of obtaining the first judgment target high-resolution patch to the N-th judgment target high-resolution patch and the low-resolution patch corresponding to each of them from the slide image to be judged is very similar to the process described above with reference to FIGS. 4A to 4B, so a separate description is to be omitted.
  • the determination result providing system 200 determines the j-th determination target high-resolution patch based on the prediction result output by the artificial neural network 300 receiving the j-th determination target high-resolution patch and the j-th determination target low-resolution patch input. It is possible to determine the lesion area included in (S240).
  • FIG. 7 is a diagram illustrating a schematic configuration of an artificial neural network learning system 100 according to an embodiment of the present invention
  • FIG. 8 is a schematic configuration of a judgment result providing system 200 according to an embodiment of the present invention. It is the drawing shown.
  • the artificial neural network learning system 100 and the determination result providing system 200 may mean a logical configuration having hardware resources and/or software necessary to implement the technical idea of the present invention, and must be one It does not mean a physical component or a single device. That is, the artificial neural network learning system 100 and the determination result providing system 200 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and may be spaced apart from each other if necessary. It can also be implemented as a set of logical configurations for implementing the technical idea of the present invention by being installed in an established device and performing each function. In addition, the artificial neural network learning system 100 and the determination result providing system 200 may refer to a set of components separately implemented for each function or role for implementing the technical idea of the present invention.
  • Each component of the artificial neural network learning system 100 and the determination result providing system 200 may be located in different physical devices or may be located in the same physical device.
  • the combination of software and/or hardware constituting each of the components of the artificial neural network learning system 100 and the determination result providing system 200 are also located in different physical devices, and are located in different physical devices. Positioned components may be organically combined with each other to implement the respective modules.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or one type of hardware. can be easily inferred to an average expert in the technical field of the present invention.
  • the artificial neural network learning system 100 may include a storage module 110 , an acquisition module 120 , a generation module 130 , and a learning module 140 .
  • some of the above-described components may not necessarily correspond to the components essential for the implementation of the present invention, and according to the embodiment, the artificial neural network learning system 100 Of course, it may include more components than this.
  • the artificial neural network learning system 100 further includes a communication module (not shown) for communicating with an external device, and a control module (not shown) for controlling components and resources of the artificial neural network learning system 100 .
  • a communication module not shown
  • a control module not shown
  • the storage module 110 may store the artificial neural network 30 to be learned.
  • the storage module 110 may further store data to be used for learning of the artificial neural network 30 (eg, a biological tissue slide image in which a lesion region is annotated).
  • the acquisition module 120 may acquire a slide image of a biological tissue slide.
  • N is an integer of 2 or more
  • An i-th low-resolution patch corresponding to an arbitrary integer (N) may be obtained.
  • the i-th high-resolution patch and the i-th low-resolution patch corresponding thereto have the same size, and the center point of the i-th high-resolution patch and the center point of the i-th low-resolution patch may point to the same position on the living tissue slide.
  • the learning module 140 may learn the artificial neural network 300 by inputting the ith high-resolution patch and the ith low-resolution patch.
  • the determination result providing system 200 may include a storage module 210 , an acquisition module 220 , a generation module 230 , and a determination module 240 .
  • some of the above-described components may not necessarily correspond to the components essential for the implementation of the present invention, and also according to the embodiment, the determination result providing system 200 Of course, it may include more components than this.
  • the determination result providing system 200 further includes a communication module (not shown) for communicating with an external device, and a control module (not shown) for controlling components and resources of the determination result providing system 200 .
  • a communication module not shown
  • a control module not shown
  • the storage module 210 may store the previously learned artificial neural network 300 .
  • the acquisition module 220 may acquire a slide image to be judged, which is a slide image of a slide image of a biological tissue slide to be judged.
  • the j-th judgment target high-resolution patch and the j-th judgment target low-resolution patch corresponding thereto have the same size, and the center point of the j-th judgment target high-resolution patch and the j-th judgment target low-resolution patch target biological tissue slide It can point to the same location on the
  • the artificial neural network learning system 100 and the determination result providing system 200 may include a processor and a memory for storing a program executed by the processor.
  • the processor may include a single-core CPU or a multi-core CPU.
  • the memory may include high-speed random access memory and may include non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Access to memory by the processor and other components may be controlled by a memory controller.
  • the method according to the embodiment of the present invention may be implemented in the form of a computer-readable program command and stored in a computer-readable recording medium, and the control program and the target program according to the embodiment of the present invention are also implemented in the computer. It may be stored in a readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the software field.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floppy disks. hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • Examples of the program instruction include not only machine code such as generated by a compiler, but also a device for electronically processing information using an interpreter or the like, for example, a high-level language code that can be executed by a computer.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention may be used in a learning method for learning an artificial neural network for determining a breast cancer lesion region, and a computing system for performing the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Oncology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

생체 조직의 미시적인 특징 및 거시적인 특징을 모두 고려하여 유방암 병변 영역을 판별할 수 있는 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 인공 신경망 학습 시스템이, 생체 조직 슬라이드의 슬라이드 이미지를 획득하는 단계, 상기 인공 신경망 학습 시스템이, 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치를 획득하는 단계, 상기 인공 신경망 학습 시스템이, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득하는 단계-여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킴- 및 상기 인공 신경망 학습 시스템이, 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망을 학습하는 단계를 포함하는 합성곱 신경망인 인공 신경망 학습 방법이 제공된다.

Description

유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
본 발명은 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다. 보다 상세하게는 생체 조직의 미시적인 특징 및 거시적인 특징을 모두 고려하여 유방암 병변 영역을 판별할 수 있는 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체 조직 이미지를 판독하여 특정 질병에 대한 상태나 징후 혹은 병변을 판단하는 진단을 수행하는 일이다.
이러한 진단은 오랜 기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다. 최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 인공 신경망을 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
많은 수의 데이터를 통해 학습된 인공 신경망을 이용하여 생체 이미지를 진단하는 방식에 기대할 수 있는 큰 장점은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아낼 수도 있다는 것이다.
일반적으로 인공 신경망을 생체 이미지의 진단 분야에 적용하기 위해서는 슬라이드를 스캐닝한 디지털 이미지에 숙련된 의료인이 특정 질병의 상태(예를 들어, 암의 발현 여부, 특정 질병으로 인한 병변 영역)를 어노테이션(annotation)하여 다수의 학습 데이터를 만든 후 이를 통해 인공 신경망을 학습해야 하는데, 이때 인공 신경망의 학습에 이용되는 학습 데이터들은 통상적으로 단일 해상도로 구성된 이미지들이다.
한편, 유방암 환자의 치료를 위해 암 병변 있는 영역을 절제하는 유방 절제술이 많이 활용된다. 그런데, 유방암 환자의 수술 후 예후를 예측하거나 추가 항암 치료를 결정하기 위해서는 절제된 유방암 조직에 대한 병리적인 검토가 필요하며, 유방암 절제 조직에서 침윤암 (invasive cancer) 병변 영역과 관내상피암 (ductal carcinoma in situ; DCIS; 유관상피내암 또는 관상피내암이라고도 함) 병변 영역을 구분하여 크기, 비율 등을 확인하는 것은 주요한 병리 검토 항목에 속한다.
전통적인 광학 현미경 기반의 육안 판독 및 크기, 비율 등의 계측은 판독자인 병리 전문의의 피로도를 증가시킬 뿐만 아니라 주관적인 판독에 따른 부정확성을 발생시키게 되므로 인공 신경망 기반의 이미지 분석 딥러닝 기술 적용을 통해 병변 영역을 구분하여 검출하고 그 크기를 측정할 필요성이 크게 대두되고 있다.
합성곱 신경망(Convolutional Neural Network) 등 인공 신경망을 통해 유방암 병변 영역의 침윤암 혹은 관내상피암 여부를 판별하기 위해서는 거시적인 조직의 형태가 매우 중요하며, 그와 동시에 미시적인 세포의 형태 및 세포핵의 크기 등도 매우 중요하다. 그러나 종전의 단일 해상도 합성곱 신경망으로는 이러한 특징을 잘 잡아내어 병변 영역의 분류를 정확히 하기에 한계가 있다.
본 발명이 이루고자 하는 기술적인 과제는 생체 조직 이미지로부터 특정 질병으로 인한 병변 영역을 검출할 수 있는 인공 신경망의 구조를 제안하고 이를 을 학습하는 방법을 제공하는 것이다. 보다 상세하게는 조직 영역의 거시적인 특징인 조직 형태와 미시적인 특징인 세포의 형태나 세포핵의 크기 등을 모두 고려하여 병변 영역을 판단할 수 있는 인공 신경망의 구조를 제안하고 이를 학습하는 방법을 제공하는 것이다.
특히 유방암의 경우에는 유방암 병변 영역의 침윤암 혹은 관내상피암 여부를 판별하는데 있어서 조직의 거시적인 형태와 미시적인 특징을 모두 고려해야 할 필요가 높으므로, 유방암 절제 조직에서 거시적인 조직의 형태와 미시적인 세포의 형태 및 세포핵의 크기 등을 모두 고려하여 병변 영역을 검출하고 검출된 병변 영역을 침윤암 혹은 관내상피암으로 분류하는 생체 이미지 분석용 딥러닝 모델을 제안하는 것이다.
본 발명의 일 측면에 따르면, 인공 신경망 학습 시스템이, 생체 조직 슬라이드의 슬라이드 이미지를 획득하는 단계, 상기 인공 신경망 학습 시스템이, 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치(여기서, N은 2 이상의 정수)를 획득하는 단계, 상기 인공 신경망 학습 시스템이, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득하는 단계- 여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킴- 및 상기 인공 신경망 학습 시스템이, 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망을 학습하는 단계를 포함하되, 상기 인공 신경망은, 제1인코딩 합성곱 신경망, 제2인코딩 합성곱 신경망, 및 디코딩 합성곱 신경망을 포함하고, 상기 제1 인코딩 합성곱 신경망은, 제i고해상도 패치를 입력받아 상기 제i고해상도 패치에 상응하는 제1피쳐맵을 출력하는 합성곱 신경망이며, 상기 제2인코딩 합성곱 신경망은, 상기 제i저해상도 패치를 입력받아 상기 제i저해상도 패치에 상응하는 컨텍스트 정보(context information)를 출력하는 합성곱 신경망이며, 상기 디코딩 신경망은, 상기 제i고해상도 패치에 상응하는 제1 피쳐맵에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하고, 상기 컨텍스트 정보를 반영한 결과 값에 기초하여 상기 제i고해상도 패치 내의 병변 영역을 판단하기 위한 소정의 예측 정보를 생성하는 합성곱 신경망인 인공 신경망 학습 방법이 제공된다.
일 실시예에서, 상기 생체 조직 슬라이드는, 유방암 절제 조직 슬라이드이며, 상기 슬라이드 이미지에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션되어 있을 수 있다.
일 실시예에서, 상기 디코딩 신경망은, 상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층 및 상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보를 이용하여 정규화 파라미터를 결정하고, 결정된 상기 정규화 파라미터로 상기 제1합성곱 계층에서 출력된 결과 값에 대한 적응적 정규화(adaptive normalization)를 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함할 수 있다.
일 실시예에서, 상기 디코딩 신경망은, 상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층 및 상기 제1합성곱 계층에서 출력된 결과 값을 대상으로 상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보에 기반한 어텐션 메커니즘(attention mechanism)을 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함할 수 있다.
일 실시예에서, 상기 제1인코딩 합성곱 신경망은, 상기 제i고해상도 패치에 상응하는 제2피쳐맵을 더 출력하고-여기서, 상기 제2피쳐맵은 상기 제1피쳐맵 보다 저레벨의 피쳐맵임-, 상기 디코딩 합성곱 신경망은, 상기 제2피쳐맵에 대한 논-로컬 블록 연산을 수행하는 논-로컬 블록 계층, 상기 제1후처리 계층으로부터 전달된 결과 및 상기 논-로컬 블록 계층으로부터 전달된 결과를 결합(concatenation)하는 결합 계층, 상기 결합 계층으로부터 전달된 결과에 대한 합성곱 연산을 수행하는 제2합성곱 계층, 상기 제2합성곱 계층에서 출력된 결과에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하는 제2후처리 계층을 더 포함하고, 상기 제2후처리 계층에서 출력된 결과에 기초하여 상기 예측 정보를 출력할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 인공 신경망 학습 방법에 의해 학습된 인공 신경망을 통해 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과를 제공하는 방법으로서, 컴퓨팅 시스템이, 상기 판단 대상 생체 조직 슬라이드의 판단 대상 슬라이드 이미지를 획득하는 단계, 상기 컴퓨팅 시스템이, 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 생성하는 단계, 상기 컴퓨팅 시스템이, 제j판단 대상 고해상도 패치(여기서, j는 1<=j<=N인 임의의 정수)에 상응하는 제j판단 대상 저해상도 패치를 생성하는 단계- 여기서 상기 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치는 동일한 크기를 가지며, 상기 제j판단 대상 고해상도 패치의 중심점과 상기 제j판단 대상 저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킴- 및 상기 컴퓨팅 시스템이, 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단하는 단계를 포함하는 판단 결과 제공 방법이 제공된다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 인공 신경망 학습 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 인공 신경망 학습 시스템으로 하여금 상기 인공 신경망 학습 방법을 수행하도록 하는 인공 신경망 학습 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과 제공 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 판단 결과 제공 시스템으로 하여금 상기 판단 결과를 제공 방법을 수행하도록 하는 판단 결과 제공 시스템이 제공된다.
본 발명의 기술적 사상에 의하면, 조직 영역의 거시적인 특징인 조직 형태와 미시적인 특징인 세포의 형태나 세포핵의 크기 등을 모두 고려하여 병변 영역을 판단할 수 있다. 즉, 고해상도 이미지를 통해 조직의 미시적인 특징을 고려하는 동시에 저해상도 이미지를 통해 조직의 거시적인 특징까지 고려하여 병변 영역을 판단하는 인공 신경망 및 이를 학습하는 방법이 제공될 수 있다.
특히 유방암의 경우에는 유방암 병변 영역의 침윤암 혹은 관내상피암 여부를 판별하는데 있어서 조직의 거시적인 형태와 미시적인 특징을 모두 고려해야 할 필요가 높으므로 본 발명의 기술적 사상에 따른 인공 신경망 및 이를 학습하는 방법을 유방암 절제 조직의 슬라이드 이미지에 적용하는 경우 매우 효과적으로 병변 영역을 검출하고 검출된 병변 영역을 침윤암 혹은 관내상피암으로 분류할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 인공 신경망 학습 방법 및 생체 조직 슬라이드에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공 신경망 학습 방법을 설명하기 위한 흐름도이다.
도 3은 침윤암 영역 및 관내상피암 영역이 어노테이션되어 있는 생체 조직 슬라이드 이미지의 일 예를 도시한 도면이다.
도 4a는 고해상도 패치를 설명하기 위한 도면이다.
도 4b는 생체 조직 슬라이드 이미지 상의 동일한 위치가 중심점인 고해상도 패치가 커버하는 영역 및 그에 상응하는 저해상도 패치가 커버하는 영역의 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공 신경망의 구조를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 생체 조직 슬라이드에 대한 판단 결과 제공 방법의 일 예를 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 인공 신경망 학습 시스템의 개략적인 구성을 도시한 도면이며, 도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템의 개략적인 구성을 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 제1, 제2 등의 용어는 특별한 순서를 나타내는 것이 아니며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 인공 신경망 학습 방법 및 생체 조직 슬라이드에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공 신경망 학습 방법은 인공 신경망 학습 시스템(100)에 의해 수행될 수 있으며, 본 발명의 일 실시예에 따른 생체 조직 슬라이드에 대한 판단 결과 제공 방법은 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과 제공 시스템(200; 이하, '판단 결과 제공 시스템'이라고 함)에 의해 수행될 수 있다.
상기 인공 신경망 학습 시스템(100)은 인공 신경망(300)을 학습할 수 있다.
상기 인공 신경망 학습 시스템(100)은 다수의 병리 검체로부터 생성된 학습 데이터에 기반하여 상기 인공 신경망(300)을 학습할 수 있다.
병리 검체는 인체의 각종 장기에서 채취한 생검 또는 수술로 절제된 생체 조직일 수 있다. 상기 인공 신경망 학습 시스템(100)은 병리 검체의 디지털 병리 슬라이드 이미지를 이용하여 개별 학습 데이터를 생성하고, 이를 상기 인공 신경망(300)의 입력 레이어에 입력하여 상기 인공 신경망(300)을 학습할 수 있다.
일 실시예에서, 상기 인공 신경망(300)은 소정의 질병에 대해 질병의 발현여부에 대한 확률 값을 출력하도록 학습될 수 있는 인공 뉴럴 네트워크일 수 있다. 상기 인공 신경망(300)은 입력 레이어를 통해 입력된 데이터에 기초하여 대상 검체에 대한 판단 결과(예를 들어, 특정한 질병(특히, 유방암)으로 인한 병변 여부)를 나타내는 수치 값 즉, 확률 값을 출력할 수 있다.
본 명세서에서 인공 신경망은 인간의 뉴런의 동작 원리에 기초하여 인공적으로 구축한 신경망로서, 다층 퍼셉트론 모델을 포함하며, 인공 신경망을 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.
일 실시예에서, 상기 인공 신경망(300)은 합성곱 신경망(convolutional neural network) 이거나 혹은 합성곱 신경망을 포함할 수 있다.
상기 합성곱 신경망은 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다. 합성곱 신경망은 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다. 합성곱 신경망을 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
한편, 학습된 인공 신경망(300)은 상기 판단 결과 제공 시스템(200)에 저장될 수 있으며, 상기 판단 결과 제공 시스템(200) 학습된 인공 신경망(300)을 이용하여 소정의 진단 대상 검체 혹은 진단 대상 검체의 슬라이드 이미지에 대한 판단을 할 수 있다.
일 실시예에서 상기 인공 신경망(300)은 생체 조직 슬라이드 이미지 혹은 생체 조직 슬라이드 이미지의 일부인 패치(혹은 '타일'이라고도 함)를 입력받아 생체 조직에 대한 진단 정보, 예후 정보 및/또는 치료 방법에 대한 반응 정보를 제공하기 위한 신경망일 수 있다.
특히, 일 실시예서, 상기 인공 신경망(300)은 생체 조직 슬라이드 이미지 혹은 생체 조직 슬라이드 이미지의 일부인 패치를 입력 받을 수 있다.
슬라이드 이미지는 생체 조직 슬라이드를 스캔한 이미지일 수 있으며, 패치는 생체 조직 슬라이드 이미지를 격자 형태로 분할한 일부일 수 있다.
일 실시예에서, 생체 조직 슬라이드는 유방암 절제 조직 슬라이드일 수 있으며, 이 경우 병변 영역은 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역을 포함할 수 있다.
한편, 상기 인공 신경망(300)은 입력된 이미지에 대한 영역 분할 모델(즉, 픽셀 단위의 분류 모델)일 수 있다. 즉, 상기 인공 신경망(300)의 출력값은 영역 분할 결과(즉, 픽셀 단위 분류 결과)일 수 있다. 다시 말하면, 상기 인공 신경망(300)은 해당 이미지 내의 병변 영역을 판단하기 위한 소정의 예측 정보를 출력할 수 있다. 또한 상기 인공 신경망(300)은 입력된 이미지를 각 픽셀 단위로 분류하는 픽셀 레벨 클래시피케이션 신경망일 수 있다. 예를 들어, 상기 인공 신경망(300)은 이미지를 구성하는 각 픽셀 별로 침윤암일 확률, 관내상피암일 확률 및 암이 아닐 확률을 출력하는 신경망일 수 있다.
상기 인공 신경망 학습 시스템(100)은 복수의 생체 조직 패치를 입력하여 상기 인공 신경망(300)을 학습할 수 있다. 이때 학습 데이터(즉, 생체 조직 패치)에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션(annotation)되어 있을 수 있다.
상기 판단 결과 제공 시스템(200)은 학습된 상기 인공 신경망(300)을 이용하여 대상 검체에 대한 각종 판단(예를 들어, 병변 영역에 대한 판단, 질병 발현 유무, 예후, 치료 방법에 대한 판단 등)을 할 수 있다.
상기 인공 신경망 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 인공 신경망 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 상기 인공 신경망 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 1에 도시된 바와 같이, 상기 인공 신경망 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 소정의 모(母) 시스템(10)의 서브 시스템의 형태로 구현될 수도 있다. 상기 모 시스템(10)은 서버일 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또는 실시예에 따라, 상기 인공 신경망 학습 시스템(100) 및 상기 판단 결과 제공 시스템(200)은 서로 분리된 형태로 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 인공 신경망 학습 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 상기 인공 신경망 학습 시스템(100)은 생체 조직 슬라이드 이미지를 획득할 수 있다(S100).
상기 생체 조직 슬라이드 이미지에는 병변 영역이 어노테이션되어 있을 수 있다. 일 실시예에서, 상기 생체 조직 슬라이드 이미지에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션되어 있을 수 있다.
하나의 생체 조직 슬라이드 이미지에 침윤암 및 관내상피암이 동시에 각각 존재할 수 있으며, 각 병변 영역마다 병변의 종류가 같이 어노테이션되어 있을 수 있다.
도 3은 침윤암 영역 및 관내상피암 영역이 어노테이션되어 있는 생체 조직 슬라이드 이미지의 일 예를 도시한 도면이다. 도 3에서 적색으로 표시된 영역(예를 들어, 1)이 침윤암 영역이며, 황색으로 표시된 영역(예를 들어, 2)이 관내상피암 영역이다.
다시 도 2를 참조하면, 상기 인공 신경망 학습 시스템(100)은 상기 생체 조직 슬라이드 이미지로부터 N개(여기서 N은 2 이상의 정수)의 고해상도 패치를 획득할 수 있다(S110). 여기서 고해상도라고 함은 특정 배율 혹은 특정 해상도 이상을 의미하는 것이 아니라 후술하는 저해상도 패치에 비하여 상대적으로 높은 해상도를 가진다는 의미이다.
일 실시예에서, 상기 인공 신경망 학습 시스템(100)은 상기 생체 조직 슬라이드 이미지를 일정한 크기로 분할하여 상기 N개의 고해상도 패치를 획득할 수 있다.
도 4a는 고해상도 패치를 설명하기 위한 도면이다. 도 4a를 참조하면, 상기 인공 신경망 학습 시스템(100)은 생체 조직 슬라이드 이미지(10)를 격자 형태로 분할하여 고해상도 패치(예를 들어 11)을 생성할 수 있다.
도 4a에 도시된 예와 같이, 상기 N개의 고해상도 패치를 모두 정합하면 원래의 생체 조직 슬라이드 이미지가 될 수 있다. 상기 N개의 고해상도 패치는 서로 배타적일 수도 있으나, 이에 한정되는 것은 아니며 상기 N개의 고해상도 패치 중 적어도 일부는 다른 고해상도 패치와 겹치는 영역이 있을 수도 있다.
한편 상기 인공 신경망 학습 시스템(100)은 1<=i<=N인 모든 정수에 대하여, 제i고해상도 패치에 상응하는 제i저해상도 패치를 획득할 수 있다(S120, S130).
저해상도 패치는 고해상도 패치에 비하여 상대적으로 낮은 해상도를 가지는 패치일 수 있다. 예를 들어, 고해상도 패치가 50배율 이미지라고 하면, 저해상도 패치는 12.5배율 이미지일 수 있으며, 이하에서는 이해의 편의를 위하여, 특별한 언급이 없는 한, 고해상도 패치는 50배율 이미지이고 저해상도 패치는 12.5배율 이미지라고 가정하고 설명하기로 한다.
상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킬 수 있다. 또한 상기 제i고해상도 패치와 상기 제i저해상도 패치는 동일한 크기를 가질 수 있다. 예를 들어 고해상도 패치의 크기가 256×256인 경우 저해상도 패치의 크기 역시 256×256일 수 있다. 한편, 고해상도 패치가 50배율 이미지이고, 저해상도 패치는 이에 비하여 1/4 비율인 12.5배율 이미지인 경우, 고해상도 패치가 커버하는 슬라이드 이미지 상의 영역의 면적과 그에 상응하는 저해상도 패치가 커버하는 슬라이드 이미지 상의 영역의 면적은 1:16일 수 있다.
일 실시예에서, 상기 인공 신경망 학습 시스템(100)은 고해상도 패치의 중심점을 중심으로 넓은 부분(엄밀하게는 저해상도 패치가 커버하는 부분)을 추출한 후 이를 축소하여 저해상도 패치를 획득할 수 있다. 예를 들어, 크기가 256×256이며 중심점의 좌표가 (2048, 2560)인 고해상도 패치에 상응하는 저해상도 패치를 획득하기 위하여, 상기 인공 신경망 학습 시스템(100)은 상기 생체 슬라이드 이미지에서 좌표 (2048, 2560)를 중심으로 1024×1024 크기의 영역을 추출한 후 이를 256×256의 크기로 축소함으로써 저해상도 패치를 생성할 수 있다.
도 4b는 생체 조직 슬라이드 이미지 상의 동일한 위치가 중심점인 고해상도 패치가 커버하는 영역 및 그에 상응하는 저해상도 패치가 커버하는 영역의 예를 도시한 도면이다. 도 4b를 참조하면, 고해상도 패치(11)와 그에 상응하는 저해상도 패치는 모두 그 중심점이 생체 조직 슬라이드(10) 상의 동일한 위치(13)일 수 있으며, 저해상도 패치가 커버하는 영역(12)의 면적은 고해상도 패치가 커버하는 영역(11)의 면적이 16배일 수 있다.
앞서 설명한 예와 같이 상기 생체 조직 슬라이드는 단일 배율의 이미지만을 포함할 수도 있으나, 실시예에 따라서 상기 생체 조직 슬라이드는 피라미드 형식으로 고배율에서 저배율까지의 이미지를 다수 포함할 수 있다. 예를 들어, 생체 조직 이미지는 50배율의 고해상도 슬라이드 이미지 및 12.5배율의 저해상도 슬라이드 이미지를 포함할 수 있다. 이 경우, 상기 인공 신경망 학습 시스템(100)은 고해상도 슬라이드 이미지를 분할하여 복수의 고해상도 패치를 획득하고, 각각의 고해상도 패치마다 그에 상응하는 저해상도 패치를 저해상도 슬라이드 이미지에서 추출할 수 있다. 예를 들어, 상기 인공 신경망 학습 시스템(100)은 크기가 256×256이며 중심점의 좌표가 (2048, 2560)인 고해상도 패치에 상응하는 저해상도 패치를 획득하기 위하여, 저해상도 슬라이드 이미지 중 좌표 (512, 640)을 중심으로 256×256 크기의 영역을 추출함으로써 저해상도 패치를 획득할 수 있다.
다시 도 2를 참조하면, 상기 인공 신경망 학습 시스템(100)은 제i고해상도 패치 및 그에 상응하는 제i저해상도 패치를 상기 인공 신경망(300)에 입력하여 상기 인공 신경망(300)을 학습할 수 있다(S140).
도 2는 하나의 생체 조직 슬라이드 이미지로 인공 신경망을 학습하는 과정을 도시하고 있으나 실제로는 다수의 생체 조직 슬라이드 이미지로 인공 신경망이 학습될 수 있으며, 각각의 생체 조직 슬라이드 이미지마다 도 2의 S100 단계 내지 S140 단계가 수행될 수 있다.
도 5는 본 발명의 일 실시예에 따른 인공 신경망(300)의 구조를 설명하기 위한 도면이다.
도 5를 참조하면, 상기 인공 신경망(300)은 제1인코딩 합성곱 신경망(310), 제2합성곱 신경망(320), 및 디코딩 합성곱 신경망(330)을 포함할 수 있다.
상기 제1인코딩 합성곱 신경망(310) 및 상기 제2인코딩 합성곱 신경망은 합성곱 신경망의 일종인 MNASNET으로 구현될 수 있으나 이에 한정되는 것은 아니며, RESNET 등과 같은 다른 합성곱 신경망으로 구현될 수도 있다.
상기 제1인코딩 합성곱 신경망(310)은 고해상도 패치(301)를 입력받을 수 있으며, 상기 제2인코딩 합성곱 신경망(320)은 상기 고해상도 패치(301)에 상응하는 저해상도 패치(302)를 입력받을 수 있다. 도 5의 예에서, 상기 제1인코딩 합성곱 신경망(310)은 512×512 크기의 50배율 고해상도 패치를 입력받으며, 상기 제2인코딩 합성곱 신경망(320)은 512×512 크기의 12.5배율 저해상도 패치를 입력받게 된다.
한편 상기 제1인코딩 합성곱 신경망(310)은 최종 출력물을 생성하는 과정 중에 피쳐맵을 생성할 수 있다. 즉, 피쳐맵은 상기 제1인코딩 합성곱 신경망(310)의 은닉 계층(예를 들어, 합성곱 계층)에서 생성되는 중간 생성물일 수 있다.
상기 제1인코딩 합성곱 신경망(310)은 입력된 고해상도 패치(301)에 상응하는 2 이상의 피쳐맵을 생성할 수 있으며, 도 5에서는 저레벨 피쳐맵인 제1피쳐맵(311)과 고레벨 피쳐맵인 제2피쳐맵(312)이 생성되는 예를 도시하고 있다. 제1피쳐맵(311)은 32×128×128차원(크기 128×128, 32채널)의 저레벨 피쳐맵이며, 제2피쳐맵(312)은 128×32×32차원(크기 32×32, 128채널)의 고레벨 피쳐맵일 수 있다. 본 명세서에서 피쳐맵이 저레벨이라고 함은 고레벨 피쳐맵에 비하여 상대적으로 입력 레이어로부터 가까운 히든 레이어에서 생성되거나 고레벨 피쳐맵에 비하여 상대적으로 덜 추상화되어 있으며, 보다 큰 정보량을 가짐을 의미할 수 있다. 또한 본 명세서에서 특정 신경망 혹은 계층에서 출력되는 값의 차원을 c×a×b로 표기한 경우, 해당 값은 크기가 a×b인 c채널의 값임을 나타낸다.
한편, 고레벨 피쳐맵이 저레벨 피쳐맵에 비하여 채널의 개수가 큰 이유는 통상적으로 합성곱 신경망의 중간 중간에 max pooling 등을 통해 이미지의 크기를 가로 세로 각각 절반씩 줄여나가게 되며, 이때 정보 손실을 줄이기 위해 채널의 수를 늘리게 되기 때문이다. 즉 입력에 가까운 합성곱 계층에서 출력에 가까운 합성곱 계층으로 데이터가 흘러가는 동안, 피쳐맵의 크기는 줄여서 추상화를 시도하고, 대신 추상적인 정보의 양을 늘리기 위해 채널의 수를 늘리게 되는 것이다.
한편, 상기 제2인코딩 합성곱 신경망(320)은 상기 저해상도 패치(302)를 입력받아 상기 저해상도 패치(302)에 상응하는 컨텍스트 정보(context information; 321)를 출력할 수 있다.
상기 제2인코딩 합성곱 신경망(320)이 출력하는 컨텍스트 정보(321)는 상기 제2인코딩 합성곱 신경망(320)의 최종 출력 값이 아닐 수 있으며, 상기 제2인코딩 합성곱 신경망(320)의 최종 출력을 위한 완전 연결 계층(fully connected layer) 바로 앞 계층의 출력이 컨텍스트 정보(321)일 수 있다.
도 5 는 1280 차원의 컨텍스트 정보(321)를 출력하는 예를 도시하고 있으나, 컨텍스트 정보(321)의 크기는 신경망의 구조에 따라 달라질 수 있음은 물론이다.
한편, 상기 디코딩 신경망(330)은 상기 제1인코딩 합성곱 신경망(310)이 출력한 피쳐맵(311 및/또는 312)에 상기 저해상도 패치(302)에 상응하는 컨텍스트 정보(321)를 반영하고, 상기 컨텍스트 정보(321)를 반영한 결과 값에 기초하여 상기 고해상도 패치(301) 내의 병변 영역을 판단하기 위한 소정의 예측 정보(337)를 생성할 수 있다.
일 실시예에서, 상기 디코딩 신경망(330)은 상기 고해상도 패치(301)를 구성하는 각 픽셀 별로 정상 영역/침윤암 병변 영역/관내상피암 병변 영역에 해당될 확률을 출력할 수 있다. 이 경우 상기 디코딩 신경망(330)은 3×512×512 차원의 예측 정보를 출력할 수 있으나 이에 한정되는 것은 아니다. 실시예에 따라서 상기 디코딩 신경망(330)은 상기 고해상도 패치(301)를 구성하는 각 픽셀군(예를 들어, 정사각형 형태의 4개의 픽셀로 구성된 픽셀군) 별로 정상/침윤암 병변 영역/관내상피암 병변 영역에 해당될 확률을 출력할 수 있다. 이 경우 상기 디코딩 신경망(330)은 3×128×128 차원의 예측 정보를 출력할 수 있다.
각 픽셀 혹은 각 픽셀군이 정상일 확률, 침윤암 병변 영역일 확률 및 관내상피암 병변 영역일 확률을 합하면 1일 수 있다.
도 5를 참조하면, 상기 디코딩 신경망(330)은 제1합성곱 계층(331) 및 제1후처리 계층(332)을 포함할 수 있다. 또한 상기 디코딩 신경망(330)은 논-로컬 블록 계층(non-local block layer; 333), 결합 계층(concatenation layer; 334), 제2합성곱 계층(335) 및 제2후처리 계층(336)을 더 포함할 수도 있다.
실시예에 따라서, 상기 디코딩 신경망(330)은 도 5에 도시된 계층의 일부만을 포함할 수도 있으며, 도 5에 도시된 계층외의 다른 계층을 더 포함할 수도 있다. 예를 들어 상기 디코딩 신경망(330)은 도 5에 도시된 계층 중 제1합성곱 계층(331) 및 제1후처리 계층(332)만을 포함할 수도 있으며, 경우에 따라서는 하나 이상의 합성곱 계층 및 후처리 계층을 더 포함할 수도 있다.
상기 제1합성곱 계층(331)은 상기 제1피쳐맵(311)에 대한 합성곱 연산을 수행할 수 있다. 예를 들어 상기 제1합성곱 계층(331)은 3×3 합성곱 필터를 통한 합성곱 연산을 수행하여 32×128×128 차원의 결과물을 출력할 수 있다.
상기 제1후처리 계층(332)은 상기 제1합성곱 계층(331)이 생성한 결과물에 상기 제2 인코딩 합성곱 신경망(320)에서 출력한 상기 컨텍스트 정보(321)를 반영할 수 있다.
일 실시예에서 상기 제1후처리 계층(332)은 적응적 정규화(adaptive normalization) 기법을 통해 상기 컨텍스트 정보(321)를 반영할 수 있다. 적응적 정규화는 컨텍스트 정보를 입력으로 하여 정규화 파라미터인 평균과 표준편차(또는 분산)을 출력하는 완전 연결 계층 하나를 두고, 여기서 출력되는 평균 및 표준편차를 활용해서 정규화를 수행하는 기법을 말한다.
보다 상세하게는 상기 제1후처리 계층(332)은 상기 컨텍스트 정보(321)를 이용하여 정규화 파라미터(예를 들면, 평균 및 표준편차)를 결정하고, 결정된 상기 정규화 파라미터로 상기 제1합성곱 계층(331)에서 출력된 결과 값에 대한 적응적 정규화를 수행함으로써, 상기 제1 피쳐맵(311)에 상기 컨텍스트 정보(321)를 반영할 수 있다.
다른 일 실시예에서, 상기 제1후처리 계층(332)은 어텐션 메커니즘(attention mechanism)을 통해 상기 컨텍스트 정보(321)를 반영할 수 있다. 즉, 상기 제1후처리 계층(332)은 상기 제1합성곱 계층(331)에서 출력된 결과 값을 대상으로 상기 제2 인코딩 합성곱 신경망(320)에서 출력한 상기 컨텍스트 정보(321)에 기반한 어텐션 메커니즘을 수행함으로써, 상기 제1 피쳐맵(311)에 상기 컨텍스트 정보(321)를 반영할 수 있다.
어텐션 메커니즘에서 컨텍스트 정보는, 이를 입력으로 하여 어텐션 메커니즘 에서 사용할 수 있는 파라미터 들을 출력하는 완전 연결 계층 하나를 통과하는 방식으로 활용된다. 어텐션 메커니즘을 적용하기 위한 다양한 방법이 있을 수 있다. 예를 들어, 채널 단위의 가중치 값(채널 별로 각자 나온 가중치 값을 곱함)을 어텐션으로 보는 방법도 있고, 논-로컬 블록과 같이 self-attention으로 가는 구조에서 원래의 입력으로부터 완전 연결 계층을 통해 생성되는 쿼리(query) 부분을 컨텍스트 정보만으로 생성하거나 혹은 원래의 입력과 컨텍스트 정보를 피쳐맵 크기 조정을 통해 크기를 맞춘 후 연결(concatenation)한 후 이를 쿼리를 생성하는 완전 연결 계층에 입력하는 방식도 있을 수 있다.
도 5에는 도시되어 있지 않으나, 제1후처리 계층(332)을 비롯한 후처리 계층(예를 들어, 제2후처리 계층(336))에서 출력되는 값은 Relu나 Sigmoid와 같은 소정의 활성함수(activation function)을 거쳐 다음 계층으로 전달될 수 있다.
한편, 상기 논-로컬 블록 계층(333)은 상기 제2피쳐맵에 대한 논-로컬 블록 연산을 수행할 수 있다. 논-로컬 블록 연산은 입력된 피쳐 맵의 비국소적인 상관관계를 산출하는데 이용되는 연산을 의미하며, 이에 대한 상세한 설명은 Kaiming He 등의 논문 "Non-local Neural Networks"(https://arxiv.org/pdf/1711.07971.pdf)에 개시되어 있다.
한편, 도 5에는 도시되어 있지 않으나 상기 논-로컬 블록 계층(333)에서 출력된 값에 업스케일링(upscaling)이 수행될 수 있으며, 이를 통해 상기 제1후처리 계층(332)에서 출력되는 결과물과 동일한 크기(예를 들어, 128×128)를 가지는 결과물이 생성되어 다음 계층(즉, 상기 결합 계층(334))으로 전달될 수 있다. 한편 업스케일링 기법으로 보간법(interpolation)이나 transposed convolution이 이용될 수 있다.
상기 결합 계층(334)는 상기 제1후처리 계층(332)로부터 전달된 결과 및 상기 논-로컬 블록 계층(333)로부터 전달된 결과를 결합(concatenation)할 수 있다. 상기 결합 계층은 채널 스태킹(channel stacking)을 통해 결합 연산을 수행할 수 있다. 예를 들어, 상기 제1후처리 계층(332)으로부터 32×128×128 차원의 결과물이 전달되었고, 상기 논-로컬 블록 계층(333)로부터 128×128×128 차원의 결과물이 전달한 경우, 상기 결합 계층(334)은 채널 스태킹을 통해 160×128×128 차원의 결합 결과물을 출력할 수 있다.
상기 제2합성곱 계층(335)은 상기 결합 계층(334)에서 출력한 결과에 대한 합성곱 연산을 수행할 수 있다. 예를 들어 상기 제2합성곱 계층(334)은 3×3 합성곱 필터를 통한 합성곱 연산을 수행하여 128×128×128 차원의 결과물을 출력할 수 있다.
상기 제2후처리 계층(336)은 상기 제2합성곱 계층(335)에서 출력된 결과에 상기 저해상도 패치에 상응하는 컨텍스트 정보(321)를 반영할 수 있다. 상기 제2후처리 계층(336) 역시 상기 제1후처리 계층(335)과 마찬가지로 상기 컨텍스트 정보(321)를 적용한 적응적 정규화 기법 또는 어텐션 메커니즘을 수행할 수 있다.
한편 상기 디코딩 합성곱 신경망(330)은 상기 제2후처리 계층(336)에서 출력된 결과물에 기초하여 상기 예측 정보(340)를 출력할 수 있다.
본 발명의 일 실시예에 따르면, 제2후처리 계층(336)과 예측 정보(340)를 최종적으로 출력하는 계층 중간에 1 이상의 추가적인 합성곱 계층 및 이와 연결된 추가적인 후처리 계층이 더 포함될 수도 있다. 예를 들어, 도 5에 도시된 바와 같이, 상기 디코딩 합성곱 신경망(330)은 제3합성곱 계층(337) 및 제3후처리 계층(338)을 더 포함할 수 있다. 추가적인 합성곱 계층은 앞서 설명한 다른 합성곱 계층과 마찬가지로 이전 계층에서 출력된 결과 값에 대한 합성곱 연산을 수행하며, 추가적인 후처리 계층 역시 앞서 설명한 다른 후처리 계층과 마찬가지로 상기 컨텍스트 정보(321)를 적용한 적응적 정규화 기법 또는 어텐션 메커니즘을 수행할 수 있다.
이 외에도 실시예에 따라서, 상기 디코딩 합성곱 신경망(330)은 추가적인 계층(예를 들어 추가적인 합성곱 계층 및/또는 완전 연결 계층, 출력 계층 등)을 더 거쳐 상기 예측 정보(337)를 출력할 수 있다. 예를 들어 도 5에 도시된 바와 같이 상기 디코딩 합성곱 신경망(330)은 제4합성곱 계층(339)을 더 포함할 수 있다.상술한 바와 같이 인공 신경망(300)은 생체 조직의 넓은 영역을 포함하는 저해상도 이미지를 입력받는 인코딩 합성곱 신경망에서 출력되는 값을 고해상도 이미지를 입력으로 하는 인코딩 합성곱 신경망의 출력 값에 반영하는 구조를 가진다. 즉, 상기 인공 신경망(300)은 넓은 영역을 커버하는 저해상도 이미지에 나타나는 생체 조직의 거시적인 특징뿐만 아니라 좁은 영역을 커버하지만 조직의 세부적인 특징을 잘 나타내는 고해상도 이미지에서 추출된 미시적인 특징을 모두 반영할 수 있는 장점이 있다.
도 6은 본 발명의 일 실시예에 따른 생체 조직 슬라이드에 대한 판단 결과 제공 방법의 일 예를 도시한 흐름도이다. 도 6에 따른 생체 조직 슬라이드에 대한 판단 결과 제공 방법은 판단 결과 제공 시스템(200)에 의하여 수행될 수 있으며, 상기 판단 결과 제공 시스템(200)에는 상기 인공 신경망 학습 시스템(100)에 의해 미리 학습된 인공 신경망(300)이 저장되어 있을 수 있다.
도 6을 참조하면, 상기 판단 결과 제공 시스템(200)은 소정의 판단 대상 생체 조직 슬라이드의 슬라이드 이미지인 판단 대상 슬라이드 이미지를 획득할 수 있다(S200).
상기 판단 결과 제공 시스템(200)은 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 획득할 수 있다(S220).
또한 상기 판단 결과 제공 시스템(200)은 제1판단 대상 고해상도 패치 내지 제N고해상도 판단 대상 고해상도 패치 각각에 상응하는 저해상도 패치를 생성할 수 있다(S220, S230). 이때, 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치(j는 1<=j<=N인 임의의 정수)는 동일한 크기를 가지며, 상기 제j고해상도 패치의 중심점과 상기 제j저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킬 수 있다.
상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치 및 이들 각각에 상응하는 저해상도 패치를 획득하는 과정은 앞서 도 4a 내지 도 4b를 참조하여 설명한 과정과 매우 유사하므로 별도의 설명은 생략하기로 한다.
한편, 상기 판단 결과 제공 시스템(200)은 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망(300)이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단할 수 있다(S240).
도 7은 본 발명의 일 실시예에 따른 인공 신경망 학습 시스템(100)의 개략적인 구성을 도시한 도면이며, 도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템(200)의 개략적인 구성을 도시한 도면이다.
상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 각 구성은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 구성 요소 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 7을 참조하면, 상기 인공 신경망 학습 시스템(100)은 저장모듈(110), 획득모듈(120), 생성모듈(130) 및 학습모듈(140)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 인공 신경망 학습 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 인공 신경망 학습 시스템(100)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 인공 신경망 학습 시스템(100)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(110)은 학습될 인공 신경망(30)를 저장할 수 있다. 또한 상기 저장모듈(110)은 상기 인공 신경망(30)의 학습에 이용될 데이터(예를 들어, 병변 영역이 어노테이션된 생체 조직 슬라이드 이미지)를 더 저장할 수 있다.
상기 획득모듈(120)은 생체 조직 슬라이드의 슬라이드 이미지를 획득할 수 있다.
상기 생성모듈(130)은 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치(여기서, N은 2 이상의 정수)를 생성할 수 있으며, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득할 수 있다. 여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킬 수 있다.
상기 학습모듈(140)은 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망(300)을 학습할 수 있다.
도 8을 참조하면, 상기 판단 결과 제공 시스템(200)은 저장모듈(210), 획득모듈(220), 생성모듈(230) 및 판단모듈(240)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 판단 결과 제공 시스템(200) 은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 판단 결과 제공 시스템(200)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 판단 결과 제공 시스템(200)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(210)은 미리 학습된 인공 신경망(300)을 저장할 수 있다.
상기 획득모듈(220)은 소정의 판단 대상 생체 조직 슬라이드의 슬라이드 이미지인 판단 대상 슬라이드 이미지를 획득할 수 있다.
상기 생성모듈(230)은 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 생성할 수 있으며, 제j판단 대상 고해상도 패치(여기서, j는 1<=j<=N인 임의의 정수)에 상응하는 제j판단 대상 저해상도 패치를 생성할 수 있다. 여기서 상기 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치는 동일한 크기를 가지며, 상기 제j판단 대상 고해상도 패치의 중심점과 상기 제j판단 대상 저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킬 수 있다.
상기 판단모듈(240)은 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망(300)이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단할 수 있다.
한편, 구현 예에 따라서, 상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템에 이용될 수 있다.

Claims (14)

  1. 인공 신경망 학습 시스템이, 생체 조직 슬라이드의 슬라이드 이미지를 획득하는 단계;
    상기 인공 신경망 학습 시스템이, 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치(여기서, N은 2 이상의 정수)를 획득하는 단계;
    상기 인공 신경망 학습 시스템이, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득하는 단계- 여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킴-; 및
    상기 인공 신경망 학습 시스템이, 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망을 학습하는 단계를 포함하되,
    상기 인공 신경망은, 제1인코딩 합성곱 신경망; 제2인코딩 합성곱 신경망; 및 디코딩 합성곱 신경망을 포함하고,
    상기 제1 인코딩 합성곱 신경망은,
    제i고해상도 패치를 입력받아 상기 제i고해상도 패치에 상응하는 제1피쳐맵을 출력하는 합성곱 신경망이며,
    상기 제2인코딩 합성곱 신경망은,
    상기 제i저해상도 패치를 입력받아 상기 제i저해상도 패치에 상응하는 컨텍스트 정보(context information)를 출력하는 합성곱 신경망이며,
    상기 디코딩 신경망은,
    상기 제i고해상도 패치에 상응하는 제1 피쳐맵에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하고, 상기 컨텍스트 정보를 반영한 결과 값에 기초하여 상기 제i고해상도 패치 내의 병변 영역을 판단하기 위한 소정의 예측 정보를 생성하는 합성곱 신경망인 인공 신경망 학습 방법.
  2. 제1항에 있어서,
    상기 생체 조직 슬라이드는, 유방암 절제 조직 슬라이드이며,
    상기 슬라이드 이미지에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션되어 있는 인공 신경망 학습 방법.
  3. 제1항에 있어서,
    상기 디코딩 신경망은,
    상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층; 및
    상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보를 이용하여 정규화 파라미터를 결정하고, 결정된 상기 정규화 파라미터로 상기 제1합성곱 계층에서 출력된 결과 값에 대한 적응적 정규화(adaptive normalization)를 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함하는 인공 신경망 학습 방법.
  4. 제1항에 있어서,
    상기 디코딩 신경망은,
    상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층; 및
    상기 제1합성곱 계층에서 출력된 결과 값을 대상으로 상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보에 기반한 어텐션 메커니즘(attention mechanism)을 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함하는 인공 신경망 학습 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 제1인코딩 합성곱 신경망은,
    상기 제i고해상도 패치에 상응하는 제2피쳐맵을 더 출력하고-여기서, 상기 제2피쳐맵은 상기 제1피쳐맵 보다 저레벨의 피쳐맵임-,
    상기 디코딩 합성곱 신경망은,
    상기 제2피쳐맵에 대한 논-로컬 블록 연산을 수행하는 논-로컬 블록 계층;
    상기 제1후처리 계층으로부터 전달된 결과 및 상기 논-로컬 블록 계층으로부터 전달된 결과를 결합(concatenation)하는 결합 계층;
    상기 결합 계층으로부터 전달된 결과에 대한 합성곱 연산을 수행하는 제2합성곱 계층;
    상기 제2합성곱 계층에서 출력된 결과에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하는 제2후처리 계층을 더 포함하고,
    상기 제2후처리 계층에서 출력된 결과에 기초하여 상기 예측 정보를 출력하는 인공 신경망 학습 방법.
  6. 제1항에 기재된 인공 신경망 학습 방법에 의해 학습된 인공 신경망을 통해 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과를 제공하는 방법으로서,
    컴퓨팅 시스템이, 상기 판단 대상 생체 조직 슬라이드의 판단 대상 슬라이드 이미지를 획득하는 단계;
    상기 컴퓨팅 시스템이, 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 생성하는 단계;
    상기 컴퓨팅 시스템이, 제j판단 대상 고해상도 패치(여기서, j는 1<=j<=N인 임의의 정수)에 상응하는 제j판단 대상 저해상도 패치를 생성하는 단계- 여기서 상기 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치는 동일한 크기를 가지며, 상기 제j판단 대상 고해상도 패치의 중심점과 상기 제j판단 대상 저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킴-; 및
    상기 컴퓨팅 시스템이, 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단하는 단계를 포함하는 방법.
  7. 데이터 처리장치에 설치되며 제1항 또는 제6항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
  8. 제1항 또는 제6항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  9. 인공 신경망 학습 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 인공 신경망 학습 시스템으로 하여금 인공 신경망 학습 방법을 수행하도록 하며,
    상기 인공 신경망 학습 방법은,
    인공 신경망 학습 시스템이, 생체 조직 슬라이드의 슬라이드 이미지를 획득하는 단계;
    상기 인공 신경망 학습 시스템이, 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치(여기서, N은 2 이상의 정수)를 획득하는 단계;
    상기 인공 신경망 학습 시스템이, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득하는 단계- 여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킴-; 및
    상기 인공 신경망 학습 시스템이, 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망을 학습하는 단계를 포함하되,
    상기 인공 신경망은, 제1인코딩 합성곱 신경망; 제2인코딩 합성곱 신경망; 및 디코딩 합성곱 신경망을 포함하고,
    상기 제1 인코딩 합성곱 신경망은,
    제i고해상도 패치를 입력받아 상기 제i고해상도 패치에 상응하는 제1피쳐맵을 출력하는 합성곱 신경망이며,
    상기 제2인코딩 합성곱 신경망은,
    상기 제i저해상도 패치를 입력받아 상기 제i저해상도 패치에 상응하는 컨텍스트 정보(context information)를 출력하는 합성곱 신경망이며,
    상기 디코딩 신경망은,
    상기 제i고해상도 패치에 상응하는 제1 피쳐맵에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하고, 상기 컨텍스트 정보를 반영한 결과 값에 기초하여 상기 제i고해상도 패치 내의 병변 영역을 판단하기 위한 소정의 예측 정보를 생성하는 합성곱 신경망인 인공 신경망 학습 시스템.
  10. 제9항에 있어서,
    상기 생체 조직 슬라이드는, 유방암 절제 조직 슬라이드이며,
    상기 슬라이드 이미지에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션되어 있는 인공 신경망 학습 시스템.
  11. 제9항에 있어서,
    상기 디코딩 신경망은,
    상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층; 및
    상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보를 이용하여 정규화 파라미터를 결정하고, 결정된 상기 정규화 파라미터로 상기 제1합성곱 계층에서 출력된 결과 값에 대한 적응적 정규화(adaptive normalization)를 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함하는 인공 신경망 학습 시스템.
  12. 제9항에 있어서,
    상기 디코딩 신경망은,
    상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층; 및
    상기 제1합성곱 계층에서 출력된 결과 값을 대상으로 상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보에 기반한 어텐션 메커니즘(attention mechanism)을 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함하는 인공 신경망 학습 시스템.
  13. 제11항 또는 제12항에 있어서,
    상기 제1인코딩 합성곱 신경망은,
    상기 제i고해상도 패치에 상응하는 제2피쳐맵을 더 출력하고-여기서, 상기 제2피쳐맵은 상기 제1피쳐맵 보다 저레벨의 피쳐맵임-,
    상기 디코딩 합성곱 신경망은,
    상기 제2피쳐맵에 대한 논-로컬 블록 연산을 수행하는 논-로컬 블록 계층;
    상기 제1후처리 계층으로부터 전달된 결과 및 상기 논-로컬 블록 계층으로부터 전달된 결과를 결합(concatenation)하는 결합 계층;
    상기 결합 계층으로부터 전달된 결과에 대한 합성곱 연산을 수행하는 제2합성곱 계층;
    상기 제2합성곱 계층에서 출력된 결과에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하는 제2후처리 계층을 더 포함하고,
    상기 제2후처리 계층에서 출력된 결과에 기초하여 상기 예측 정보를 출력하는 인공 신경망 학습 시스템.
  14. 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과 제공 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 판단 결과 제공 시스템으로 하여금 제1항에 기재된 인공 신경망 학습 방법에 의해 학습된 인공 신경망을 통해 상기 판단 대상 생체 조직 슬라이드에 대한 판단 결과를 제공하는 방법을 수행하도록 하며,
    상기 판단 결과를 제공하는 방법은,
    상기 판단 결과 제공 시스템이, 상기 판단 대상 생체 조직 슬라이드의 판단 대상 슬라이드 이미지를 획득하는 단계;
    상기 판단 결과 제공 시스템이, 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 생성하는 단계;
    상기 판단 결과 제공 시스템이, 제j판단 대상 고해상도 패치(여기서, j는 1<=j<=N인 임의의 정수)에 상응하는 제j판단 대상 저해상도 패치를 생성하는 단계- 여기서 상기 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치는 동일한 크기를 가지며, 상기 제j판단 대상 고해상도 패치의 중심점과 상기 제j판단 대상 저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킴-; 및
    상기 판단 결과 제공 시스템이, 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단하는 단계를 포함하는 판단 결과 제공 시스템.
PCT/KR2022/005634 2021-04-28 2022-04-20 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 WO2022231200A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023564222A JP2024519459A (ja) 2021-04-28 2022-04-20 乳がんの病変領域を判別するための人工ニューラルネットワークの学習方法、及びこれを行うコンピュータシステム
EP22796033.3A EP4318497A1 (en) 2021-04-28 2022-04-20 Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same
CN202280031793.6A CN117256033A (zh) 2021-04-28 2022-04-20 用于学习判断乳腺癌病变区域的人工神经网络的学习方法及执行其的计算系统
US18/288,380 US20240221373A1 (en) 2021-04-28 2022-04-20 Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0055207 2021-04-28
KR1020210055207A KR102446638B1 (ko) 2021-04-28 2021-04-28 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Publications (1)

Publication Number Publication Date
WO2022231200A1 true WO2022231200A1 (ko) 2022-11-03

Family

ID=83452651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005634 WO2022231200A1 (ko) 2021-04-28 2022-04-20 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Country Status (6)

Country Link
US (1) US20240221373A1 (ko)
EP (1) EP4318497A1 (ko)
JP (1) JP2024519459A (ko)
KR (1) KR102446638B1 (ko)
CN (1) CN117256033A (ko)
WO (1) WO2022231200A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230095805A (ko) 2021-12-22 2023-06-29 (주)제이엘케이 클러스터링 알고리즘 기반의 효율적인 어노테이션 검수 작업 방법 및 시스템
CN118366002B (zh) * 2024-06-19 2024-09-06 江汉大学 穴位反射区确定方法、装置、针灸机器人及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017261A (ko) * 2018-08-08 2020-02-18 주식회사 딥바이오 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
JP6710373B2 (ja) * 2017-03-30 2020-06-17 国立研究開発法人産業技術総合研究所 超音波画像診断支援方法、およびシステム
WO2020198380A1 (en) * 2019-03-26 2020-10-01 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
WO2020243556A1 (en) * 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Neural network based identification of areas of interest in digital pathology images
WO2021061947A1 (en) * 2019-09-24 2021-04-01 Carnegie Mellon University System and method for analyzing medical images based on spatio-temporal data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
KR102097741B1 (ko) * 2019-07-25 2020-04-06 주식회사 딥노이드 인공지능 학습용 의료 영상 데이터 정제 시스템 및 그 구동방법
KR102205430B1 (ko) * 2019-08-05 2021-01-20 에스케이텔레콤 주식회사 인공 신경망을 이용한 학습 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6710373B2 (ja) * 2017-03-30 2020-06-17 国立研究開発法人産業技術総合研究所 超音波画像診断支援方法、およびシステム
KR20200017261A (ko) * 2018-08-08 2020-02-18 주식회사 딥바이오 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
WO2020198380A1 (en) * 2019-03-26 2020-10-01 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
WO2020243556A1 (en) * 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Neural network based identification of areas of interest in digital pathology images
WO2021061947A1 (en) * 2019-09-24 2021-04-01 Carnegie Mellon University System and method for analyzing medical images based on spatio-temporal data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL., NON-LOCAL NEURAL NETWORKS, Retrieved from the Internet <URL:https://arxiv.org/pdf/1711.07971.pdf>

Also Published As

Publication number Publication date
EP4318497A1 (en) 2024-02-07
CN117256033A (zh) 2023-12-19
KR102446638B1 (ko) 2022-09-26
US20240221373A1 (en) 2024-07-04
JP2024519459A (ja) 2024-05-14

Similar Documents

Publication Publication Date Title
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
CN111402228B (zh) 图像检测方法、装置和计算机可读存储介质
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2021093451A1 (zh) 病理切片图像的处理方法、装置、系统及存储介质
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2023234730A1 (ko) 패치 레벨 중증도 판단 방법, 슬라이드 레벨 중증도 판단 방법 및 이를 수행하는 컴퓨팅 시스템
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2019189972A1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
CN113792807B (zh) 皮肤病分类模型训练方法、系统、介质和电子设备
JP2024530388A (ja) 多重免疫蛍光イメージングを使用する組織学的染色のデジタル合成
WO2021125671A1 (ko) 의료 영상 데이터의 익명화 방법, 프로그램, 컴퓨터 장치
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
CN114092427B (zh) 一种基于多序列mri图像的克罗病与肠结核分类方法
WO2022019355A1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
WO2022103122A1 (ko) 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템
KR20240052193A (ko) 다중 배율 비전 변환기 기반의 디지털 병리 영상 분석 방법 및 장치
CN114974522A (zh) 医学影像处理方法、装置、电子设备及存储介质
CN113706449B (zh) 基于病理图像的细胞分析方法、装置、设备及存储介质
WO2022197045A1 (ko) 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템
WO2022181879A1 (ko) 딥러닝 모델 기반의 종양-스트로마 비율 예측 방법 및 분석장치
WO2023113414A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22796033

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023564222

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022796033

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 18288380

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280031793.6

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022796033

Country of ref document: EP

Effective date: 20231023

NENP Non-entry into the national phase

Ref country code: DE