WO2021132633A1 - Ａｉを用いた病理診断支援方法、及び支援装置 - Google Patents

Ａｉを用いた病理診断支援方法、及び支援装置 Download PDF

Info

Publication number
WO2021132633A1
WO2021132633A1 PCT/JP2020/048926 JP2020048926W WO2021132633A1 WO 2021132633 A1 WO2021132633 A1 WO 2021132633A1 JP 2020048926 W JP2020048926 W JP 2020048926W WO 2021132633 A1 WO2021132633 A1 WO 2021132633A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tissue
pathological diagnosis
learning
diagnosis support
Prior art date
Application number
PCT/JP2020/048926
Other languages
English (en)
French (fr)
Inventor
智理子 山本
Original Assignee
公益財団法人がん研究会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=76574739&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2021132633(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 公益財団法人がん研究会 filed Critical 公益財団法人がん研究会
Priority to KR1020227025235A priority Critical patent/KR20220119447A/ko
Priority to EP20905469.1A priority patent/EP4083907A4/en
Priority to AU2020411972A priority patent/AU2020411972A1/en
Priority to US17/788,055 priority patent/US20230045882A1/en
Priority to CN202080096757.9A priority patent/CN115087867A/zh
Priority to JP2021553077A priority patent/JP7004871B2/ja
Priority to CA3169403A priority patent/CA3169403A1/en
Publication of WO2021132633A1 publication Critical patent/WO2021132633A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a pathological diagnosis support method using AI and a support device. It also relates to a method of classifying a tumor from a pathological section of the tumor to determine a course of treatment.
  • Pathological diagnosis in which tissues and cells collected from patients are searched and diagnosed mainly using an optical microscope, plays a major role as the final diagnosis. In particular, for tumors, it is an important diagnosis for determining the treatment policy, evaluating the therapeutic effect, and determining the prognosis.
  • endoscopic treatment such as EMR (endoscopic mucosal regression) or ESD (endoscopic submucosal dissection) is recommended when it is judged to be early by pathological diagnosis.
  • EMR endoscopic mucosal regression
  • ESD endoscopic submucosal dissection
  • Endoscopic resection is the recommended treatment for early gastric cancer, but the indications are, in principle, (1) the risk of lymph node metastasis is extremely low, and (2) the tumor is of a size and site that can be resected all at once. It is necessary to meet two points.
  • Non-Patent Documents 1 and 2 state that endoscopic and surgical resections provide equivalent results for lesions with an estimated risk of lymph node metastasis of less than 1%. Then, the merit of choosing endoscopic treatment is great. Furthermore, it is known as evidence that the size of intramucosal cancer with a risk of lymph node metastasis less than 1% depends on the histological type of gastric cancer, especially the degree of differentiation. Diagnosis is important.
  • the histological types of gastric cancer are roughly classified into two types, differentiated cancer and undifferentiated cancer, which are classified by the Japanese Society of Gastric Cancer. This roughly corresponds to the internationally used Lauren classification Industrial (intestinal type) and Diffuse (diffuse type).
  • the histological type of gastric cancer includes the classification of the Japanese Society of Gastric Cancer, the Lauren classification, and the WHO classification. Unless otherwise specified, the classification of the Japanese Society of Gastric Cancer is used here.
  • differentiated cancer there is no risk of lymph node metastasis until the size exceeds 3 cm, but in undifferentiated type, there is a risk of lymph node metastasis when the size exceeds 2 cm (Non-Patent Documents 1 and 2).
  • biopsy tissue is first collected to obtain information on the histological type and degree of differentiation of the cancer, and preoperative diagnosis is performed to determine the size from the endoscopic findings.
  • the preoperative diagnosis determines whether endoscopic treatment is indicated and the resection range in the case of indication, and if it is judged to be therapeutic indication, the treatment is performed.
  • the curability of the treatment is determined by histopathologically searching the endoscopically resected specimen. It will be.
  • the histological findings of the endoscopically resected specimen indicate that it is not a radical resection, it will be subject to additional surgical resection. Specifically, if undifferentiated cancer exceeds 2 cm in size in a lesion in which differentiated cancer is predominant as the histological type of the resected specimen, it is treated as non-curative resection and additional surgical resection is indicated. The lymph nodes are dissected. In addition, even if the lesion is predominantly differentiated, those with an undifferentiated lesion in the submucosal layer (SM) infiltrated part are treated as non-curative resection and are indicated for additional surgical resection.
  • SM submucosal layer
  • the pathologist judges the distribution and depth of invasion of each of the differentiated and undifferentiated types in the entire lesion, reconstructs the entire lesion, and makes a comprehensive judgment. Specifically, a comprehensive judgment is made according to the following procedure to make a diagnosis (Fig. 17).
  • tissue specimen After fixing the endoscopically resected specimen with formalin, a pathologist cuts out the tissue specimen. Cut out the excised tissue pieces in parallel at intervals of 2 to 3 mm, and take a macroscopic photograph of the fixed specimen with the cut out dividing line.
  • a paraffin block is prepared through sample processing (tissue dehydration, permeation, paraffin immersion), and a sample preparation is prepared by slicing, staining, and encapsulation.
  • sample preparation the excised tissue slices are arranged in parallel (see FIG. 17, sample preparation).
  • the entire lesion diagram is reconstructed.
  • a comprehensive judgment is made such as whether the distribution of undifferentiated components and their size do not exceed 2 cm, and whether there is an undifferentiated type in the submucosal layer (SM) infiltrated part.
  • SM submucosal layer
  • the tissue type is determined and classified under a microscope (Classification), the result is reconstructed into an overall lesion diagram (Integration), and a comprehensive judgment is made from the entire specimen (Decision). ), The comprehensive judgment is made through the above three steps.
  • a certain amount of time and experience is required to make a comprehensive judgment from the preparation microscope.
  • the step from Classification to Decision usually takes about 30 minutes even for a skilled pathologist.
  • about 12 to 3 years of experience is required to become a skilled pathologist who has undergone a certain amount of experience. Therefore, there is a need for a method or system capable of streamlining the diagnosis of a skilled pathologist and shortening the time to the decision, or assisting an inexperienced pathologist to make an accurate diagnosis.
  • AI Artificial Intelligence
  • Patent Documents 1 to 3 Also in the diagnostic support of pathological tissues, devices that support the diagnosis using a computer system are disclosed (Patent Documents 1 to 3). All of these devices are devices and methods that mainly detect regions characteristic of lesions from local tissue images and support pathological diagnosis.
  • the present invention performs a precise analysis in the lesion site while recording the position in the lesion, maps it to the lesion area, and reconstructs the entire lesion to change the degree of differentiation in the tumor and the tumor failure.
  • An object of the present invention is to provide a system and a method for visualizing uniformity and supporting diagnosis. According to the system and method of the present invention, it is possible to provide a system and method for visualizing inhomogeneity in a lesion and efficiently performing a diagnosis without depending on the skill level of a pathologist.
  • the present invention relates to the following pathological diagnosis support methods, systems, programs, and trained models.
  • a pathological diagnosis support method including a determination step of determining a tissue type based on learning data by the above and a reconstruction step of displaying the determined tissue type at each position.
  • the neural network uses an image having a resolution of 0.1 ⁇ m / pixel to 4 ⁇ m / pixel as a learning image.
  • a pseudo immunohistochemical-stained specimen is prepared using the Natural style transfer method, and the histological type is determined by a learning model in which the immunohistochemical specimen image is trained.
  • An image acquisition means for continuously acquiring microscopic observation image data of a tissue sample, an image processing means for dividing the image data into image patches of a predetermined size while retaining position information, and each divided image.
  • a pathological diagnosis support system equipped with a classification means for determining a tissue type based on learning data by machine learning and a reconstruction means for displaying the classified tissue type at each position.
  • the machine learning is a neural network.
  • the pathological diagnosis support system according to any one of (8) to (11), wherein the disease for supporting pathological diagnosis is cancer.
  • the acquired image data is divided into a predetermined size while retaining the position information, and the organization type is determined by machine learning for each divided image using a learning model trained using the teacher data.
  • a pathological diagnosis support program that causes a computer to perform a process of displaying and reconstructing the tissue type at each position.
  • a trained model for determining the tissue type of the image data based on the microscopic observation image data of the tissue sample, and the microscopic observation image data of the target tissue sample is divided into a predetermined size and input. It is equipped with an input layer to be used and an output layer that displays the tissue type determination result of the divided image data at each position of the tissue sample, and also includes data learned based on the image whose tissue type is determined by the doctor as teacher data.
  • a trained model that is equipped with a classifier that classifies the tissue type, determines the tissue type of the microscopic observation image data that has been input and divided into predetermined sizes, and displays the tissue type at each position of the tissue sample. .. (16) The trained model according to (15), wherein the teacher data is obtained by preprocessing an image. (17) A method of diagnosing a patient based on a reconstructed diagram in which an analysis result is expressed by using the pathological diagnosis support method according to any one of (1) to (7). (18) A method for treating a patient, characterized in that a treatment policy is determined based on a reconstructed diagram obtained by using the pathological diagnosis support system according to any one of (8) to (12). How to treat a patient.
  • (B) to (D) show an example of a learning curve, (B) shows the examination of the baseline, and (C) and (D) show the adjustment result.
  • (A) shows an example of image data for learning.
  • (B) is Alexnet18
  • (C) is Alexnetv3
  • (D) is Vgg-11 with batch normalization (Vgg-11_BN)
  • (E) is Densenet121
  • (F) is Squarezenet1 (Squeezenet version1.0) The results using Alexnet are shown.
  • (A) shows an example of image data for learning.
  • (B) shows the result using Densenet121
  • (C) shows the result using Resenet18
  • (D) shows the result using Squarezenet1
  • E is Inceptionv3
  • (F) shows the result using Vgg-11_BN.
  • the devices required to assist the pathological diagnosis are an optical system, an image processing system, a learning system, a classification system, a reconstruction system, and a control / judgment system.
  • a microscope an image pickup device connected to the microscope, a device for performing image processing, a learning device for learning and determining parameters using an image after image processing, and a diagnostic image after image processing are used.
  • It is a computer system that reconstructs the classification judgment based on the parameters determined by the learning device and the classified judgment image.
  • the computer system of the image processing system, the classification system, the learning system, the reconstruction system, and the supervision / judgment system can be constructed as a system in the server as illustrated in FIG.
  • FIG. an example of building a system on different servers is shown, but it may be built as a system controlled by a separate program on one server.
  • FIG. 2 if a PC equipped with a high-performance CPU or GPU is used as illustrated in FIG. 2, it is sufficient to perform the functions of image processing, learning, classification, reconstruction, and determination step by step in one PC. Is possible.
  • the image processing system, the learning system, the classification system, the reconstruction system, and the supervision / judgment system may be constructed so as to be performed on separate PCs.
  • it goes without saying that it is possible to construct a system that suits the situation of each facility, not limited to these. Hereinafter, embodiments will be shown and described.
  • FIG. 1 A system using a server will be described. Computer systems other than the control / judgment PC are built on the server (Fig. 1).
  • the optical system consists of a bright-field optical microscope and an imaging device. The operator sets the imaging field under the optical microscope and acquires a histopathological image with the imaging device.
  • the continuous images may be acquired by manually moving the field of view or by using an electric stage. Further, an image may be acquired from a WSI (Whole Slide Image) of a tissue sample, a so-called virtual slide.
  • the image acquired by the image pickup device is sent to the image processing system server for image processing.
  • WSI Whole Slide Image
  • An image patch (an image patch is also referred to as an image tile or an image grid) is created by dividing an image into an appropriate size. After that, in the case of a learning image, it is sent to a learning server with labels such as non-tumor (normal), differentiated, and undifferentiated, and in the case of a diagnostic image, it is sent to a classification server without a label.
  • the parameters to be used in the classification system are determined and sent to the classification server.
  • learning using a large-scale image data set is possible by utilizing high-performance GPU resources.
  • high-performance GPU resources For example, by uploading annotations such as which area was judged as a disease area along with images from many facilities, pathologists at multiple facilities can participate in the creation of classification criteria and aim for uniform diagnostic criteria. be able to.
  • pathologists at multiple facilities can participate in the creation of classification criteria and aim for uniform diagnostic criteria. be able to.
  • it is possible to control the accuracy of classification criteria by restricting participation in uploading images and annotations according to the experience and specialty of the pathologist.
  • the classification system server has a function of performing classification determination using the parameters determined by the learning system for the diagnostic image received from the image processing system and sending the result data to the reconstruction system.
  • Multiple diagnostic images can be obtained in the vertical direction, usually 3 to 5 image patches, depending on the thickness of the mucous membrane.
  • the images are given a number that retains the horizontal order of the tissue specimen slices that indicate their position throughout the specimen, so that the image is analyzed to be differentiated, undifferentiated, or non-tumor (normal).
  • the result of which class of) was judged (output with 0, 1, 2) is saved for each slice and sent to the reconstruction system.
  • a one-dimensional vector for each slice is obtained by determining that even one of the three image patches in the vertical direction is undifferentiated for each vertical column. It is converted to grayscale, the differentiated type is associated with black and the undifferentiated type is drawn with white, and the image is drawn, and a straight line showing the differentiated type and the undifferentiated type is obtained by white and black. This straight line is arranged based on the coordinates of the start point of each slice and the coordinates of the start point of the cancerous part to obtain a reconstructed diagram of the analysis result.
  • FIG. 2 A system that performs calculations of an image processing system, a classification system, a reconstruction system, a judgment system, and a learning system in a PC will be described (FIG. 2).
  • the optical system is the same as that of the first embodiment, but the image processing system, the classification system, the reconstruction system, the judgment system, and the learning system are all systems constructed in a single PC.
  • the calculation is performed in a single PC, the basic processing performed is the same as that in the first embodiment.
  • GPGPU General-purpose computing on graphics processing units
  • gastric cancer will be described as an example, but it goes without saying that any disease that requires pathological diagnosis can be applied to any disease by learning an appropriate image using an appropriate classifier. ..
  • a high accuracy rate can be obtained by selecting an appropriate model depending on the organ.
  • the analysis is performed using a neural network having high image recognition ability, particularly a convolutional neural network, but new models for image recognition such as EffectinentNet, Big Transfer (Bit), and ResNeSt can also be used.
  • a model such as Transformer, Self-Attention or BERT (Visual Encoder Representations from Transformers) used in the field of natural language processing may be used as a Vision Transfermer (ViT) applied to an image system.
  • ViT Vision Transfermer
  • a pathological diagnosis support method will be described by taking a gastric cancer tissue specimen that has undergone endoscopic resection as an example (Fig. 3).
  • the tissue image is continuously acquired by the optical system device.
  • the position information is acquired as the coordinates on the sample and sent to the reconstruction system server.
  • the acquired image is subjected to image processing in an image processing system and then divided to be divided into appropriate sizes to create an image patch.
  • the technique of creating and training image patches can significantly reduce the time and effort required for annotation, which is extremely useful for streamlining the development cycle, including model selection and adjustment.
  • the image patch here refers to image data that covers all morphologies existing in the tumor.
  • the upper and lower margins are cut out from the collected original image to make only the tissue part, which is divided into three from the left to make three small images 1 to 3, and each of them is further divided.
  • the small image 1 of the three divisions four small patches can be obtained by dividing the small image into two vertically and horizontally. If the small image 1 is 512 ⁇ 512 pixel, four 256 ⁇ 256 pixel image patches can be obtained.
  • the method using an image patch makes it possible to obtain high-quality training data, which is very effective for obtaining a high-performance model.
  • the position information on the original image is sent to the reconstruction system.
  • each image patch is analyzed and judged based on the parameters created by the learning image.
  • the determination result is sent to the reconstruction system and mapped on the original image.
  • the judgment system judges whether or not additional surgical resection is necessary and displays it on the monitor.
  • the doctor corrects the reconstructed drawing by AI based on his / her own microscopic examination result, confirms the judgment result, and makes a diagnosis (Fig. 3).
  • Non-cancer cells coexist with cancer cells in the tissue of gastric cancer, and most of them are inflammatory cells such as lymphocytes and macrophages, and non-epithelial cells such as fibroblasts. Since the differentiated and undifferentiated classification system created here is based on the morphology and construction of cancer, non-epithelial cells are not required. Therefore, first, instead of the hematoxylin / eosin (HE) -stained specimen used for general daily diagnosis, a tissue specimen subjected to immunohistochemistry (IHC) with the intracellular protein cytokeratin possessed by epithelial cells was used. ing.
  • HE hematoxylin / eosin
  • Cytokeratin is classified into 20 subtypes, is present in all epithelium, and stable expression is observed even if it becomes a tumor. For example, it is expressed in cancers such as the esophagus, stomach, large intestine, liver, bile duct, mammary gland, and prostate.
  • An antibody against cytokeratin expressed on epithelial cells is bound on a tissue section and colored to obtain a tissue specimen in which only epithelial cells are colored. By acquiring an image from a colored tissue specimen, it is possible to discriminate morphological classification only for epithelial tissue.
  • immunohistochemical staining with cytokeratin can stain only epithelial tissue, it is effective as image data when performing morphological classification discrimination using only the construction of epithelial tissue. Therefore, if the cancer is derived from epithelial tissue, a pathological diagnosis support method using immunohistochemical staining with cytokeratin can be applied to most cancers.
  • Adenocarcinoma is particularly effective, and gastric cancer, colon cancer, pancreatic cancer, cholangiocarcinoma, breast cancer, lung cancer and the like are listed as epithelial tissue-derived cancers to which immunohistochemical staining with cytokeratin can be suitably applied. That is, the method of classifying using immunohistochemical staining with cytokeratin can be applied to many cancers.
  • pathological diagnosis in actual clinical practice is mainly performed using HE-stained specimens.
  • a pathologist unknowingly identifies, extracts, and visually recognizes epithelial tissue and non-epithelial tissue from the tissue image of the HE-stained specimen when observing the tissue specimen using an optical microscope, the epithelial tissue is visually recognized. Morphological judgment is made only for chisel, and cancer is diagnosed.
  • This step which is unknowingly performed by a pathologist, can be performed by converting HE-stained specimens by image processing using AI, or by performing image conversion or image generation using deep learning, and immunohistochemistry using cytokeratin. It can be converted and generated into an image equivalent to staining.
  • AI can learn and analyze the image.
  • an HE-stained specimen By using an HE-stained specimen, it can be applied regardless of the type of tumor.
  • the HE-stained image cannot be used as it is, such as a sample with advanced fading, a sample with light staining, or a difference in sample color between facilities, use the Natural style transfer method. If the HE-stained image is processed into a pseudo-cytokeratin-stained image, it can be determined by the pathological diagnosis support system.
  • An image suitable for morphological classification of epithelial tissue can also be obtained by combining general image processing methods such as RGB channel separation, image histogram analysis, and image binarization.
  • a learning image suitable for morphological classification can be generated by image generation using a deep learning method such as GAN (Generative Advanced Network).
  • GAN Generic Advanced Network
  • the result of quantifying the degree of abnormality is 1200 units for the learned normal gastric gland tissue (4, 5), but the crypt epithelium (1, 2) that has never been learned and This is a large value for the image of poorly differentiated adenocarcinoma (3).
  • the pathological specimen to be used shall be quality-controlled equipment / reagents and procedures so that the color tone and shading of the staining can be discriminated in addition to uniform section preparation. This is very important.
  • the training image plays an important role in the construction of the classification system.
  • For shift learning it is possible to use an excellent model that has been devised in a competition using large-scale image data, but the image to be learned must be prepared by the user in light of his or her own problems. The user needs to devise a learning image suitable for the task to be realized in each field.
  • the following examples of gastric cancer endoscopically resected specimens are image patches so that they can be roughly distinguished from normal mucous membranes, differentiated cancers, and undifferentiated cancers based on images obtained from the normal and cancerous parts of the mucous membrane. It was created.
  • the image resolution is generally in the range of about 0.1 ⁇ m / pixel to 4 ⁇ m / pixel depending on the combination of the objective lens and the photographing lens, preferably 0.2 ⁇ m / pixel to 4 ⁇ m / pixel, and more preferably 0.25 to 2 ⁇ m.
  • / Pixel can be preferably used from the resolution of the microscope in which it is usually used.
  • As the size of the image a range of approximately 34x34pixel to 1024x1024pixel was used. If you want to identify a morphology that is localized to a very small area, you can learn using a small image with high resolution.
  • the cytokeratin immunohistochemical sample learning was performed based on an image having a size of 256x256pixel, but it is also necessary to use a larger image depending on the model used for learning.
  • the size of the image can be appropriately selected according to the task to be realized, the state of the organization, and the learning model.
  • the image patches used here for learning and diagnosis are made as small as possible so that they can be visually recognized. By making the image patch smaller, it becomes possible to bring the morphology of the tissue contained in one image patch closer to a single image patch. Furthermore, by using a small image patch containing only a single morphology, it is possible to analyze tumors with borderline morphology, which was difficult to determine by the conventional dichotomy based on differentiated / undifferentiated, from a new perspective. It becomes.
  • An image patch created for a diagnostic image covers all histopathological morphologies contained within an individual tumor, along with location data within that tumor tissue.
  • the deep learning used here is not particularly limited as long as it is a network suitable for image processing.
  • a convolutional neural network CNN
  • a Transformer, Self-Attention, or BERT (Bidilectional Encoder Repression) image system used in the field of natural language processing is applied to the image system.
  • a model such as a Vision Transformer (ViT) that has been created can be exemplified.
  • ViT Vision Transformer
  • Many examples of convolutional neural networks have been developed in an image recognition competition (ILSVRC) using a large-scale object recognition data set (ImageNet). , SQueezenet, etc., and new models for image recognition such as EffectiveNet, Big Transfer (BitT), ResNeSt, etc. can also be used.
  • ILSVRC image recognition competition
  • ImageNet image recognition competition
  • SQueezenet SQueezenet
  • new models for image recognition such as EffectiveNet, Big Transfer (BitT), ResNeSt, etc.
  • Example 1 First, using an immunohistochemically stained sample of cytokeratin, transfer learning was performed with ResNet using a differentiated and undifferentiated data set shown in Set a (FIG. 6). Transfer learning utilizes the learned network and parameter values for new tasks. Using the initial values of the parameters (weights) learned by ResNet in a large-scale data set, transfer learning trained with its own image data and only the structure of the model without using the initial values of the learned parameters. The learning was performed by both Scratch learning in which the model was trained by using its own image data.
  • Overfitting means that the generalization performance deteriorates and the accuracy of the verification data decreases because the parameters specialized for the training data are learned.
  • Increasing training data is the best solution to prevent overfitting, but there is data expansion (Data Augmentation) as a method of efficiently increasing training data based on a small amount of data.
  • Data expansion is a method of increasing training data by performing processing such as rotation, deformation, center cutting, enlargement, and reduction on the image of training data.
  • processing such as rotation, deformation, center cutting, enlargement, and reduction on the image of training data.
  • the data for the training image is expanded by these processes.
  • the dimensions of the data are gradually reduced, and the essential features (also called latent representation or internal representation) of the input image are extracted.
  • the feature amount (latent expression, internal representation) is extracted from the original data by the Encoder (encoder), and the original data is restored by the Decoder (decoder) based on this. ..
  • a convolutional neural network can be used for the encoder part, but this can also be seen as using a neural network as a method for extracting latent expressions.
  • the feature quantity is extracted from the image patch created for the diagnostic image, and the feature quantity is further reduced to two dimensions to obtain the feature quantity from the tissue morphology.
  • the distribution map of can be visualized as a scatter plot.
  • FIG. 9 shows a two-dimensional scatter plot by reducing the dimension of the morphological features present in the tumor.
  • a comprehensive image patch of the histopathological morphology contained in each tissue is obtained together with the position data in the tissue. Therefore, it is possible to cluster tumors having a borderline morphology, which was difficult to determine by the conventional dichotomy based on differentiated / undifferentiated, using a scatter plot. Furthermore, by tracing where the image patch derived from the individual points of the scatter plot was located in the lesion, it is possible to know how the feature clusters are distributed in the actual tumor (Fig.). 9 right).
  • categorical data such as gender
  • numerical data such as test data
  • image data such as radiographic images
  • data in different formats such as genetic change information
  • Example 2 [Create Reconstruction Map] Using the determination system constructed above, analysis and reconstruction were performed using tissue specimens of gastric cancer in which differentiated and undifferentiated components coexist (Fig. 10). In this example, a model trained using immunohistochemical stained specimens with cytokeratin is constructed and used for judgment.
  • Cut out tissue slices are arranged in parallel on the sample preparation.
  • the sample is prepared by cutting into two long and short pieces (A and B) in order to fit the tissue sample in the slide glass as shown in FIG.
  • Tissue images are continuously acquired from one slice synthesized from A and B on a cytokeratin-stained specimen while moving the imaging field of view. Here, three consecutive images are shown.
  • the coordinates of the starting point of each slice of the tissue sample and the coordinates of the starting point of the cancerous part are collected.
  • the above-mentioned continuous image is divided and processed to generate a 256x256pixel image.
  • the divided images are numbered horizontally to maintain the order on the original sample slice.
  • the above image set is analyzed by the already created classification / judgment system. Whether the analysis result is determined to be a differentiated type or an undifferentiated type is output as a result of 0 and 1, and saved as a one-dimensional vector.
  • 0 corresponds to two colors of black and 255 to white.
  • the obtained two-dimensional vector is drawn as an image, and a straight line showing the differentiated type and the undifferentiated type by black and white is obtained. In this example, white corresponds to the undifferentiated type and black corresponds to the differentiated type.
  • the same one-dimensional vector is double-nested using NumPy to make it two-dimensional, and then the two-dimensional vector is made using the pyprot module of the graph drawing package Matplotlib that functions under NumPy. It is drawn as a straight line.
  • NumPy is a library that provides multidimensional array operations and numerical calculation functions under a development environment in the Python language.
  • the one-dimensional vector of the analysis result output by the determination system is doubly nested using NumPy to make it two-dimensional, and is drawn as a straight line using the pyprot module.
  • a reconstructed diagram of the analysis result for the entire sample tissue can be obtained.
  • Example 3 A method for supporting pathological diagnosis using HE-stained images will be described. Pathological diagnosis in clinical practice is mainly performed using HE-stained specimens. In order to make the classifier constructed from the immunohistochemical stained specimen of cytokeratin more versatile, a classifier based on the HE stained specimen is required. A learning data set was created for HE-stained specimens, and a two-class classifier for differentiated and undifferentiated gastric cancer was first constructed (Fig. 11).
  • a learning image data set is important.
  • a large number of differentiated and undifferentiated two-class learning image data sets as shown in FIG. 11 (A) were prepared.
  • the tissue morphological component contained in one learning image should be as single as possible, and the learning image should be prepared so as not to include a plurality of components.
  • the size of the image itself is specified by the convolutional neural network used for the classifier, such as 224x224pixel or 299x299pixel, so prepare the image so that a small area consisting of only a single morphological component fits in that size. To do. Even when a large image is divided to obtain a specified size image, the size of the division is examined so that the divided image satisfies the above conditions.
  • FIG. 11 shows an example of a learning curve when Resnet18 is used as a model.
  • the correct answer rate fluctuates greatly in the verification data (val) for each epoch (Fig. 11 (B)). Therefore, the learning curve was improved from baseline to 1 (FIG. 11 (C)) and 2 (FIG. 11 (D)) by adjusting the learning rate and the batch size.
  • the learning curve of 2 there was almost no tendency of overfitting, and the highest value of the correct answer rate in the verification data was 0.9683.
  • Example 4 A classifier with a high accuracy rate was created by comparing 6 models using 3 classes of learning data sets in which normal tissues were added to the differentiated and undifferentiated types of gastric cancer (Fig. 12). Typical histological images of differentiated, undifferentiated, and normal are shown in FIG. 12 (A). Using these training image data sets, a classifier was created using 6 models. There are many models that can be used for image classification by transfer learning, and all of them are models evaluated in an image recognition competition using the ImageNet dataset and improved versions thereof. In Resnet18 (Fig. 12 (B)) and Inception V3 (Fig. 12 (C)), the maximum correct answer rate in the verification data was 0.93 and 0.92 or more, and in Alexnet (Fig.
  • the pathological diagnosis support method shown in the examples can be applied not only to gastric cancer but also to various cancers.
  • a learning data set is prepared, a model suitable for the learning data set is selected, transfer learning is performed, parameters are stored, and a pathological diagnosis support method used in a classification system is shown.
  • This series of methods can be used not only for differentiated / undifferentiated gastric cancer but also for cancers of other organs.
  • there is a mixture of histological types in the same tumor and examples of those described in the handling rules include endometrial cancer, thyroid cancer, and breast cancer.
  • a well-differentiated component papillary cancer or follicular cancer
  • 50% or more of the poorly-differentiated component is described as a poorly-differentiated type.
  • Endometrial cancer is classified into three stages according to its proportion in the tumor. Even in such a case, if a well-differentiated type and a poorly-differentiated image data set for learning are constructed to create a classifier, it is possible to create a well-differentiated / poorly-differentiated map.
  • FIG. 13 An example of building a learning model for thyroid cancer is shown (Fig. 13).
  • a model was constructed with three classes (Fig. 13 (A)) of well-differentiated thyroid (papillary cancer), poorly-differentiated, and normal thyroid tissue.
  • Resnet18 FIG. 13 (C)
  • InceptionV3 FIG. 13 (E)
  • Squarezenet1 FIG. 13 (D)
  • Densenet121 FIG. 13
  • B) it is possible to obtain a model with a correct answer rate of about 90% by completing the learning up to about 40 epochs and obtaining the parameters.
  • Vgg11_BN FIG.
  • the correct answer rate in the verification data tends to increase slightly, so it is considered that the correct answer rate can be improved by further increasing the number of epochs for learning.
  • the optimal model differs for each organ. Therefore, it is necessary to select a model for each organ and select a model with a high accuracy rate.
  • Example 6 For tumors for which characteristic histopathological features related to gene changes and expression are known, prepare a training data set, select a model suitable for the training data set, save the parameters, and classify the tumor.
  • the pathological diagnosis support method used in the above can be used. A huge amount of information is accumulated on changes in genes and proteins related to cancer, but those known to be related to histomorphological information are classified based on the characteristic histopathological image. This makes it possible to determine what kind of gene or cell biological search should be carried out further. It will also help in recommending orders for further tests.
  • Non-Patent Document 4 Chromosome Institute (CIN) Generic table (GS) Microsatellite instability (MSI) Epstein-Barr Virus (EBV)
  • CIN Chromosome Institute
  • GS Generic table
  • MSI Microsatellite instability
  • EBV Epstein-Barr Virus
  • Non-Patent Document 5 A method of estimating MSI from HE-stained images using deep learning has already been reported (Non-Patent Document 5).
  • Gastric cancer with overexpression / gene amplification of HER2 protein is treated with molecular-targeted drugs, and companion diagnostics by immunohistochemistry and FISH method have been established. Therefore, if HER2 protein overexpression / gene amplification can be estimated by HE staining in addition to MSI, more appropriate treatment can be performed without overlooking HER2-positive gastric cancer at the stage of pathological diagnosis by HE staining.
  • the intestinal type (tubular adenocarcinoma) has a significantly higher frequency of overexpression of HER2 protein among the intestinal type (tubular adenocarcinoma) and diffuse type (poorly differentiated adenocarcinoma) according to the Lauren classification. It is known that when intestinal (tubular adenocarcinoma) and diffuse histology are mixed, companion diagnostics are recommended for specimens containing a large amount of intestinal type.
  • a histological image (A) from a cancer tissue with overexpression / gene amplification of HER2 protein a histological image (B) from a cancer tissue with confirmed MSI, and mutations in genes found in diffuse cancer.
  • a learning image data set was created using a tissue image (C) from a certain cancer tissue, and three classes were classified. Images classified into three classes were trained, a classifier was created, and the images were verified with diagnostic images. Alexnet gave a correct answer rate of 0.9656, and Resnet18 required twice as many epochs as Alexnet for learning, but a correct answer rate of 0.9089 was obtained.
  • a characteristic histopathological image related to gene mutation or expression is known, it is possible to infer a gene mutation or change in expression from the pathological image.
  • a definitive diagnosis is made by immunohistochemical staining and treatment targeting HER2. It can be performed.
  • the histopathological image associated with such gene mutation or expression is often understood by a pathologist at a facility with a large number of cases (High volume center). It is possible to implement the accumulation of such expert experience as a classifier in the pathological diagnosis support system.
  • classification is performed as the above three classes, but if a new characteristic histological image related to gene changes and changes is found, new classes can be added in sequence to create a classifier. ..
  • Example 7 When actually creating a differentiated / undifferentiated map from an endoscopically resected specimen using a classifier created from an image dataset of HE-stained specimens, 3 to 5 sheets in the vertical direction depending on the thickness of the mucous membrane. Image patch is obtained.
  • FIG. 15A shows an example in which three image patches were obtained in the vertical direction. This example is an image patch of the gastric lamina intestinal in the HE specimen with 3 vertical and 10 horizontal directions.
  • the patch for which the classification result is judged to be normal in this image patch is shown in gray, the differentiated type is shown in black, and the undifferentiated type is shown in white.
  • the map in which even one of the three image patches in the vertical direction is determined to be undifferentiated is determined to be undifferentiated is shown in the lower row.
  • a criterion for determining that it is undifferentiated is set, but how many patches in the thickness direction are undifferentiated.
  • the criteria for creating a horizontal map with the column as undifferentiated can be freely changed. By performing such a process, it is possible to make a judgment even in the case of a lesion with a ridge or when a small image patch is used.
  • Example 8 Pathological diagnosis in clinical practice is mainly performed using HE-stained specimens, but convolutional neural networks are used as a countermeasure against specimens that have faded over time, specimens that are lightly stained, and specimen color differences between facilities.
  • There is utilization of the neural style specimen (Non-Patent Document 6).
  • a content image that corresponds to the global composition of an image features, colors, and textures that do not depend on the position in the image are processed as a style image using a method such as a Natural-Style algorithm.
  • a Natural-Style algorithm As an example, an example was shown in which an image of a faded specimen was converted into an immunohistochemical stained specimen of cytokeratin by a Natural style transfer (Fig. 16).
  • the image converted to pseudo-cytokeratin (IHC) by the conversion can be judged by a classifier constructed from the cytokeratin-stained specimen and a map can be created.
  • this diagnostic support method can be applied using HE-stained specimens of gastric cancer and thyroid cancer, but if an appropriate model is selected, the histological type of cancer can be determined in any organ and tumors can be determined. It can be used for pathological diagnosis support by visualizing the inhomogeneity within and taking a bird's-eye view.
  • the morphology on which the pathological diagnosis is based that is, histological findings such as typical normal tissue, benign tumor, and malignant tumor (carcinosarcoma), is described and shared in histology and pathological diagnosis books. Histological findings are inherited in the course of training until becoming a pathologist, and are clearly stated as cancer handling rules and WHO classification, and are shared at academic societies and case review meetings.
  • the difference in tissue morphology is continuous, and there are many cases in which diagnosis is difficult in actual clinical practice, such as normal tissue and tumor, and differentiated / undifferentiated type in the tumor. It is entrusted to. It is also well known that in gastric cancer, the judgment of intramucosal cancer differs between Japan and Europe and the United States.
  • this method allows easy reexamination of the relationship between the results of this system and prognosis based on past data, and recurrence of past pathological data and lymph node metastasis rate.
  • the prognosis can also be examined by checking the rate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Immunology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Analytical Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Biochemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hospice & Palliative Care (AREA)
  • Cell Biology (AREA)
  • Oncology (AREA)
  • Microbiology (AREA)

Abstract

位置を特定して顕微鏡観察画像データを取得し、ＡＩを用いて画像データを組織型に分類し、分類結果を病変部位に再構築することによって、診断を支援する。病理医が通常用いるＨＥ染色によって、病理診断を精度良く、かつ効率的に行う支援技術を提供することができる病理診断支援方法を提供する。さらに、病理診断支援システム、病理診断支援プログラム、学習済みモデルを提供する。

Description

ＡＩを用いた病理診断支援方法、及び支援装置
　本発明は、ＡＩを用いた病理診断支援方法、及び支援装置に関する。また、治療の方針を決定するために腫瘍の病理切片から腫瘍を分類する方法に関する。
　患者から採取された組織や細胞を主として光学顕微鏡を用いて検索し診断を行う病理診断は、最終診断として大きな役割を担っている。特に、腫瘍においては、治療方針の決定や、治療効果の評価、予後判定を行う重要な診断となる。
　例えば胃癌の場合、病理診断によって早期と判断された場合には、ＥＭＲ（ｅｎｄｏｓｃｏｐｉｃ　ｍｕｃｏｓａｌ　ｒｅｓｅｃｔｉｏｎ）や、ＥＳＤ（ｅｎｄｏｓｃｏｐｉｃ　ｓｕｂｍｕｃｏｓａｌ　ｄｉｓｓｅｃｔｉｏｎ）といった内視鏡的治療が推奨されている。早期胃癌の内視鏡治療は、外科手術と比較して、患者の負担が軽く、術後の回復も良いなどの利点から、外科治療よりＱＯＬが良好であるというデータが得られている。そのため、内視鏡治療で根治が得られる可能性が高い病巣に対しては、内視鏡治療を行うことが推奨されている。
　内視鏡的切除は早期胃癌においては推奨される治療法であるが、適応は原則として（１）リンパ節転移のリスクが極めて低く、（２）腫瘍が一括切除できる大きさと部位にあるという、２点を満たしていることが必要である。
　ガイドライン（非特許文献１、２）では、リンパ節転移の危険性が１％未満と推定される病変では内視鏡的摘除と外科的切除で同等の成績が得られるとしており、そのような症例では内視鏡治療を選択することのメリットが大きい。さらに、リンパ節転移のリスクが１％未満である粘膜内癌の大きさは、胃癌の組織型、なかでも分化度によって異なることがエビデンスとして知られているため、組織型を判断するための病理診断が重要となる。
　胃癌の組織型は、本邦では日本胃癌学会分類である分化型癌、未分化型癌の大きく２つに区分されている。これは、国際的に用いられるＬａｕｒｅｎ分類のＩｎｔｅｓｔｉｎａｌ（腸型）、Ｄｉｆｆｕｓｅ（びまん型）に概ね相当する。胃癌の組織型は日本胃癌学会分類、Ｌａｕｒｅｎ分類の他、ＷＨＯ分類などがあるが、ここでは特に断りにない限り、日本胃癌学会分類を用いている。分化型癌では大きさが３ｃｍを超えるまでリンパ節転移のリスクがないが、未分化型では２ｃｍを超えるとリンパ節転移のリスクがある（非特許文献１、２）。これらのエビデンスを踏まえ、早期胃癌に対する内視鏡治療のガイドラインが構築されている。ただし、癌病巣内では、分化型と未分化型が同一病変内に混在する不均一性（ｈｅｔｅｒｏｇｅｎｅｉｔｙ）がしばしば存在し、治療方針の選択に大きな影響を及ぼす。
　そのため内視鏡的切除を行う前には、まず生検組織を採取して癌の組織型や分化度の情報を得るとともに、内視鏡所見から大きさを判定する術前診断が行われる。術前診断により、内視鏡治療が適応か否かの判断と、適応の場合の切除範囲が決定され、治療適応と判断されると施術が行われる。しかし、施術前の内視鏡所見では正確な大きさや深達度を計測することは困難なので、内視鏡的切除された標本を病理組織学的に検索して治療の根治性が判定されることになる。
　内視鏡的切除標本の組織学的所見によって根治切除でないと判定されると、追加外科切除の対象となる。具体的には、切除標本の組織型として、分化型癌が優位の病変内に未分化型癌が大きさ２ｃｍを超えて混在していた場合は、非治癒切除として扱い、追加外科切除の適応となり、リンパ節の郭清が行われる。また、分化型優位の病変であっても、粘膜下層（Ｓｕｂｍｕｃｏｓａｌ　ｌａｙｅｒ：ＳＭ）浸潤部に未分化型病変があるものは非治癒切除として扱われ、追加外科切除の適応となる。
　こうした根治性の判定を行うために、病理医は病変全体における分化型、未分化型それぞれの成分の分布、深達度を判断し、病変全体図を再構築し、総合判断を行う。具体的には、以下の手順により総合判断を行い、診断を行っている（図１７）。
（１）組織標本の作製
　内視鏡的切除標本はホルマリン固定の後、病理医が組織標本を切り出す。切除組織片を２～３ｍｍの間隔で平行に切り出し、切り出した割線の入った固定標本の肉眼写真を撮影する。
　標本処理(組織の脱水、透徹、パラフィン浸漬)を経てパラフィンブロックを作製し、薄切、染色、封入により検体プレパラートが作製される。作製された検体プレパラートでは、切り出された組織スライスが平行に配置されている（図１７、検体プレパラート参照）。
（２）組織標本の顕微鏡観察及び診断
　顕微鏡観察を行い、組織型を記録する。複数の組織型が併存する場合は、各組織型を優位な順に、例えば、ｔｕｂ１（管状腺癌　高分化型）＞ｐｏｒ（低分化腺癌）などのように全て記載する。病理組織標本の全スライスを顕微鏡的に観察して癌の分化度（分化型・未分化型）判定を行う。
　顕微鏡観察の結果を、割線を入れた肉眼写真での当該スライスの割線上に、分化型の分布する範囲を赤線、未分化型を青線などに色わけして記入する（図１７、Ｉｎｔｅｇｒａｔｉｏｎ参照）。
　スライスごとに分化度が記入されることにより、病変全体図が再構築される。再構築図を用いて、未分化型成分の分布やその大きさが２ｃｍを超えていないか、粘膜下層（Ｓｕｂｍｕｃｏｓａｌ　ｌａｙｅｒ：ＳＭ）浸潤部に未分化型があるかなどの総合判断を行う。
　すなわち、パラフィン切片から検体プレパラート作製後、顕微鏡下で組織型を判定して分類を行い（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、その結果を病変全体図に再構築し（Ｉｎｔｅｇｒａｔｉｏｎ）、標本全体から総合的に判断する（Ｄｅｃｉｓｉｏｎ）、以上の３つの段階を経て総合判断が行われる。
　プレパラートの検鏡から総合判断し診断を行うには、一定の時間と経験が必要とされる。例えば、内視鏡切除された早期胃癌の場合、ＣｌａｓｓｉｆｉｃａｔｉｏｎからＤｅｃｉｓｉｏｎまでのステップは熟練した病理医であっても通常３０分程度を要する。また、一定の経験を経た熟練した病理医となるためには１２、３年程度の経験が必要であると言われている。そのため、熟練した病理医の診断を効率化しＤｅｃｉｓｉｏｎまでの時間を短縮する、あるいは経験の浅い病理医を補助して正確な診断を行うことのできる方法やシステムが必要とされている。
　近年、機械学習による画像認識の精度が飛躍的に向上したＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）を画像診断の支援に利用しようとする試みが始められ、内視鏡画像や眼底検査などにおいては、病変部位の検出を補助するための支援装置の実用化が進められている。
　病理組織の診断支援においても、コンピューターシステムを用いて診断を支援する装置が開示されている（特許文献１～３）。これらの装置は、いずれも主に局所の組織画像から病変に特徴的な領域を検出し、病理診断を支援する装置や方法である。
特開平１０－１９７５２２号公報 特開２０１２－８０２７号公報 特開２０１２－７３１７９号公報
胃癌治療ガイドライン　医師用　改訂第５版、２０１８年１月、日本胃癌学会編、金原出版株式会社 小野　裕之ら、胃癌に対するＥＳＤ/ＥＭＲガイドライン（第２版）、2020年２月、日本消化器内視鏡学会雑誌、第６２巻、第２７５～２９０頁 Schlegl,T. et al., IPMI2017: Information Processing in Medical Imaging pp. 146-157 TheCancer Genome Atlas Research Network， 2014，Nature, Vol.513, pp.203-209 Kather,J.N., et al., 2019, Nature Medicine, Vol.25, pp.1054-1056. Gatys, L. A. et al., Journal of Vision September2016, Vol.16, 326. doi:https://doi.org/10.1167/16.12.326
　しかし、いずれの文献も病変に特徴的な部位を探索し、病変の有無を検出するにとどまる。すなわち「癌（悪性腫瘍）」か「非癌（非悪性腫瘍）」かの判定を行う。言い換えるとＡＩによる癌か非癌かの判定結果をマッピングしたものである。本発明ではこれとは異なって、ＡＩを用いて癌をさらに臨床的エビデンスに基づいて分類した判定結果をマッピングすることで、癌の中にある不均一性を可視化する。すなわち、癌か非癌かの判断だけではなく、管状腺癌や低分化腺癌などのように病変内の詳細な分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を連続的に行い、病変全体の再構築（Ｉｎｔｅｇｒａｔｉｏｎ）をした後に総合判定する（Ｄｅｃｉｓｉｏｎ）までの全工程を備えたシステムを構築する。上述のように内視鏡治療で根治の可能性が高いか、追加外科切除が必要かといった判断においては、病変部位において単に癌か癌でないかを判定するだけではなく、病変内の連続的で不均一な分化度の程度を考慮しつつ、病変内における細分類とその分布と割合を認識し、総合評価する必要がある。
　本発明は、その病変内での位置を記録しながら病変部位内における精密分析を行い、病変領域にマッピングし、病変全体の再構成をすることによって、腫瘍内の分化度の変化と腫瘍の不均一性を可視化し、診断を支援するシステム、及び方法を提供することを課題とする。本発明のシステム、及び方法により、病理医の熟練度に依存することなく、病変内の不均一性を可視化し、診断を効率よく実施するシステム、及び方法を提供することができる。
　本発明は、以下の病理診断支援方法、システム、プログラム、及び学習済みモデルに関する。
（１）組織標本の顕微鏡観察画像データを連続して取得する画像取得工程と、前記画像データを位置情報を保持したまま所定のサイズに分割し画像パッチを得る工程と、画像パッチ毎に機械学習による学習データをもとに組織型を判定する判定工程と、判定された組織型を各位置で表示する再構築工程とを備えた病理診断支援方法。
（２）機械学習によって判定された組織型を各位置で表示する前記再構築工程が腫瘍内の分化度の変化と腫瘍の不均一性を表示することを特徴とする（１）記載の病理診断支援方法。
（３）前記機械学習が、ニューラルネットワークによることを特徴とする（１）、又は（２）記載の病理診断支援方法。
（４）前記ニューラルネットワークが、学習用画像として解像度０．１μｍ／ｐｉｘｅｌ～４μｍ／ｐｉｘｅｌの画像を用いることを特徴とする（３）記載の病理診断支援方法。
（５）前記組織標本が癌組織に由来するものであり、癌の病理診断を支援することを特徴とする（１）～（４）いずれか１つ記載の病理診断支援方法。
（６）前記組織標本がＨＥ染色、又は免疫組織化学染色標本であることを特徴とする（１）～（５）いずれか１つ記載の病理診断支援方法。
（７）前記ＨＥ染色標本が標準化されていない標本の場合、Ｎｅｕｒａｌ　ｓｔｙｌｅ　ｔｒａｎｓｆｅｒ手法を用い、擬似的な免疫組織化学染色標本を作成し、免疫組織化学標本像を学習させた学習モデルによって組織型を判定することを特徴とする（６）記載の病理診断支援方法。
（８）組織標本の顕微鏡観察画像データを連続して取得する画像取得手段と、前記画像データを位置情報を保持したまま所定のサイズの画像パッチに分割する画像処理手段と、分割された画像毎に機械学習による学習データをもとに組織型を判定する分類手段と、分類された組織型を各位置で表示する再構築手段とを備えた病理診断支援システム。
（９）前記画像処理手段が、組織染色標本を標準化する手段を含むことを特徴とする（８）記載の病理診断支援システム。
（１０）前記機械学習が、ニューラルネットワークであることを特徴とする（８）又は（９）記載の病理診断支援システム。
（１１）前記ニューラルネットワークが、転移学習で予め得られた組織型のパラメータ値を用いることを特徴とする（１０）記載の病理診断支援システム。
（１２）病理診断支援する疾患が、癌であることを特徴とする（８）～（１１）いずれか１つ記載の病理診断支援システム。
（１３）取得された画像データを位置情報を保持したまま所定のサイズに分割し、教師データを用いて学習させた学習モデルを用い、分割した画像毎に機械学習によって組織型を判定し、判定された組織型を各位置で表示し再構成させる処理をコンピューターに実行させる病理診断支援プログラム。
（１４）組織標本の顕微鏡観察画像を連続して取得させる処理を含む（１３）記載の病理診断支援プログラム。
（１５）組織標本の顕微鏡観察画像データに基いて、画像データの組織型を判定するための学習済みモデルであって、対象となる組織標本の顕微鏡観察画像データを所定のサイズに分割して入力する入力層と、分割された画像データの組織型判定結果を組織標本の各位置で表示する出力層を備え、教師データとして医師によって組織型を判断された画像に基いて学習されたデータをもとに前記組織型を分類する分類器を備え、入力され所定のサイズに分割された顕微鏡観察画像データの組織型を判定し、組織標本の各位置で表示するコンピューターを機能させるための学習済みモデル。
（１６）前記教師データが画像の前処理を行ったものであることを特徴とする（１５）記載の学習済みモデル。
（１７）（１）～（７）いずれか１つ記載の病理診断支援方法を用いて、分析結果が表出された再構築図に基づいて患者を診断する方法。
（１８）患者を治療する方法であって、（８）～（１２）いずれか１つ記載の病理診断支援システムを用い、得られた再構築図に基づいて治療方針を決定することを特徴とする患者の治療方法。
病理診断支援システムの一実施態様を示す図。 病理診断支援システムの別の実施態様を示す図。 病理診断支援方法の実施態様の流れを示す図。 画像パッチの作成方法の例を示す図。 正常組織のＤＣＧＡＮをベースとした異常検知による判定系の例を示す図。 学習を行うために用意した画像データセットの例を示す図。 分化型／未分化型の画像データセットを用いたＳｃｒａｔｃｈ学習、ファインチューニングによるトレーニング、バリデーションのＡｃｃｕｒａｃｙを示す図。 分化型と未分化型の混在なし／混在ありの画像データセットを用いたＳｃｒａｔｃｈ学習、ファインチューニングによるトレーニング、バリデーションのＡｃｃｕｒａｃｙを示す図。 診断用画像の画像パッチから形態特徴量の２次元での分布を散布図として可視化し、散布図の点が由来する画像パッチの病変全体での局在を表すことを模式的に示した図。 病理診断支援装置を用いた病理診断支援の流れを示す図。 ＨＥ染色標本を用いた胃癌の２クラス分類器の構築及び結果を示す図。（Ａ）は学習用画像データの例を示す。（Ｂ）～（Ｄ）は学習曲線の例を示し、（Ｂ）はｂａｓｅｌｉｎｅの検討、（Ｃ）、（Ｄ）は調整結果を示す。 ＨＥ染色標本を用いた胃癌の３クラス分類器の構築及び結果を示す図。（Ａ）は学習用画像データの例を示す。（Ｂ）はＲｅｓｅｎｅｔ１８、（Ｃ）はＩｎｃｅｐｔｉｏｎv３、（Ｄ）はＶｇｇ－１１　ｗｉｔｈ　ｂａｔｃｈ　ｎｏｒｍａｌｉｚａｔｉｏｎ（Ｖｇｇ-１１＿ＢＮ）、（Ｅ）はＤｅｎｓｅｎｅt１２１、（Ｆ）はＳｑｕｅｅｚｅｎｅｔ１（Ｓｑｕｅｅｚｅｎｅｔ　ｖｅｒｓｉｏｎ１．０）、（Ｇ）はＡｌｅｘｎｅｔを用いた結果を示す。 ＨＥ染色標本を用いた甲状腺癌の３クラス分類器の構築及び結果を示す図。（Ａ）は学習用画像データの例を示す。（Ｂ）はＤｅｎｓｅｎｅｔ１２１、（Ｃ）はＲｅｓｅｎｅｔ１８、（Ｄ）はＳｑｕｅｅｚｅｎｅｔ１、（ＥはＩｎｃｅｐｔｉｏｎv３、（Ｆ）はＶｇｇ-１１＿ＢＮを用いた結果を示す。 遺伝子の変化や発現に関連した特徴的な病理組織像を用いた分類器の構築及び結果を示す図。 粘膜の厚さを考慮して組織型を分類する方法を示す図。（Ａ）は粘膜の厚さに応じて縦方向に３枚の画像パッチが得られた例を示す。（Ｂ）は画像パッチの分類結果をもとにマップを作成する手順を示す。 Ｎｅｕｒａｌ　ｓｔｙｌｅ　ｔｒａｎｓｆｅｒを用いた画像の加工を示す図。 従来技術による病理診断の流れを示す図。
　最初に本発明に係る病理診断支援システムの実施形態について説明する（図１、２）。病理診断を補助するために必要な装置は、光学系、画像処理系、学習系、分類系、再構築系、統括・判定系のシステムである。具体的には、顕微鏡、及び顕微鏡に接続された撮像装置、画像処理を行う装置、画像処理後の画像を用いて学習させパラメータを決定する学習装置、また、画像処理後の診断用画像を用いて学習装置で決定されたパラメータによる分類判定、分類判定された画像を再構築するコンピューターシステムである。画像処理系、分類系、学習系、再構築系、統括・判定系のコンピューターシステムは、図１に例示するように、サーバー内のシステムとして構築することができる。ここでは異なるサーバー上でシステムを構築した例を示しているが、一つのサーバー上において、別個のプログラムによって制御されるシステムとして構築してもよい。
　また、図２に例示するように高性能のＣＰＵやＧＰＵを備えたＰＣを用いれば、画像処理、学習、分類、再構築、判定の機能は、１つのＰＣ内で順を追って行うことが十分に可能である。あるいは、ここでは示さないが、画像処理系、学習系、分類系、再構築系、統括・判定系、それぞれを別個のＰＣで行うように構築してもよい。また、これらに限らず、各施設の状況に即したシステムを構築することが可能であることは言うまでもない。以下に、実施態様を示し説明する。
［実施態様１］
　サーバーを用いたシステムについて説明する。統括・判定ＰＣ以外のコンピューターシステムは、サーバー上におかれ構築されている（図１）。光学系は明視野光学顕微鏡と撮像装置からなり、操作者が光学顕微鏡下で撮影視野を設定し、撮像装置で病理組織画像を取得する。連続した画像の取得は、手動で視野を移動することにより取得しても、電動ステージを用いて取得してもよい。また、組織標本のＷＳＩ（Whole Slide Image）、いわゆるヴァーチャルスライドから画像を取得してもよい。撮像装置で取得した画像は画像処理系サーバーに送られ、画像処理が行われる。
　画像処理系サーバーでは、ＲＧＢのチャンネル分離や画像のヒストグラム解析、画像の２値化のような一般的な画像処理や、後述のＨＥ染色画像から上皮性組織の識別、抽出を行う処理の後、画像を適切な大きさに分割して画像パッチ（なお、画像パッチは、画像タイル、画像グリッドとも称される。）を作成する。その後、学習用画像の場合は、非腫瘍（正常）、分化、未分化などのラベルを付与して学習系サーバーに送られ、診断用画像の場合はラベルの付与なく分類系サーバーに送られる。
　学習系サーバーとしては自施設のローカルサーバーだけでなく、クラウドサービスやデータセンターを使用することができる。学習系システムでは、分類系システムで用いるためのパラメータを決定し、分類系サーバーに送る。
　図１に示したようにクラウドサービスやデータセンターを使用する実施形態では、高性能のＧＰＵ資源を活用して大規模な画像データセットを用いた学習が可能となる。例えば、多くの施設から画像とともにどの領域を疾患領域として判断したか等のアノテーションをアップロードすることにより、多施設の病理医が分類基準の作成に参加することができ、診断基準の均一化を図ることができる。また、質の高い判定系を作るためには、病理医の経験度や専門性に応じて画像とアノテーションのアップロードへの参加を制限することにより、分類基準の精度管理が可能になる。
　分類系サーバーでは、画像処理系システムから受け取った診断用画像に対して、学習系システムで決定されたパラメータを用いた分類判定を行い、結果データを再構築系システムに送る機能を有する。
　診断用画像は粘膜の厚さに応じて縦方向に複数枚、通常３～５枚の画像パッチが得られる。この縦方向の順序と共に、標本全体での位置を示す組織標本スライスの水平方向での順序を保持した番号が付与されているので、その画像が分析により分化型、未分化型、非腫瘍（正常）のどのクラスに判定されたかの結果（０、１、２で出力）をスライス毎に保存し、再構築系に送る。
　再構築系では、縦の１列ごとに、縦方向の３個の画像パッチのうち１個でも未分化と判定された部分は未分化と判定することによりスライス毎の1次元ベクトルを得て、グレースケールに変換し、分化型を黒、未分化型を白で対応させ画像として描出し、白と黒により分化型、未分化型を表示した直線を得る。この直線を、各スライスの開始点の座標と癌部の開始点の座標をもとに配置して、分析結果の再構築図を得る。
　［実施態様２］
　ＰＣ内で、画像処理系、分類系、再構築系、判定系、学習系の演算を行うシステムについて説明する（図２）。光学系は実施態様１と同様だが、画像処理系、分類系、再構築系、判定系、学習系の演算を行うシステムはすべて単一のＰＣ内に構築されたシステムとなっている。単一のＰＣ内で演算を行っているが、行われる基本的な処理は、実施態様１と同様である。
　ニューラルネットワークを用いた深層学習では、データテンソルに対して繰返し行われる演算の処理に当たって、ＧＰＵを演算器として用いる技術；ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ　ｃｏｍｐｕｔｉｎｇ　ｏｎ　ｇｒａｐｈｉｃｓ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔｓ）により時間の短縮と性能が飛躍的に向上されてきた。自施設ローカル内のサーバー、あるいは図２に示すＰＣを用いたシステム、いずれの場合であっても、高性能のＧＰＵを導入することにより自施設内で大量の画像データで学習することが可能となっている。
　最初に胃癌を例として説明するが、病理診断が必要とされる疾患であれば、適切な分類器を用い適切な画像を学習させることによって、どのような疾患であっても適用できることは言うまでもない。また、後述のように、臓器によって適切なモデルを選択することによって高い正解率を得ることができる。ここでは、画像認識力の高いニューラルネットワーク、特に畳み込みニューラルネットワークを用いて解析を行っているが、ＥｆｆｉｃｉｎｅｎｔＮｅｔやＢｉｇ　Ｔｒａｎｓｆｅｒ（ＢｉＴ）、ＲｅｓＮｅＳｔなどの画像認識用の新しいモデルも使用することができる。また、自然言語処理の分野で用いられるTｒａｎｓｆｏｒｍｅｒ、Ｓｅｌｆ－ＡｔｔｅｎｔｉｏｎやＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ　Ｅｎｃｏｄｅｒ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｆｒｏｍ　ｔｒａｎｓｆｏｒｍｅｒｓ）が画像系に応用されたＶｉｓｉｏｎ　Ｔｒａｎｓｆｏｒｍｅｒ（ＶｉＴ）などのモデルを使用してもよい。さらに、今後開発される画像認識力の高いモデルを使用できることは言うまでもない。
[病理診断支援方法]
　内視鏡的切除が行われた胃癌組織標本を例に、病理診断支援方法について説明する（図３）。従来と同様に光学系装置により組織画像を連続して取得する。この際に位置情報は標本上での座標として取得し再構築系サーバーに送られる。取得した画像は、画像処理系システムにおいて画像処理ののち、分割処理を行って適当な大きさに分割して画像パッチを作成する。画像パッチを作成して学習させる手法は、アノテーションに必要な時間や労力を大幅に削減できるため、モデルの選択や調整を含めた開発サイクルの効率化に非常に役立つ。
　画像パッチとは、ここでは腫瘍内に存在する全ての形態が網羅されている画像データをいう。図４に示した例は、採取した元の画像から、上下の余白部を切り取って組織の部分のみとし、それを左から３分割して１～３の３枚の小画像とし、さらにそれぞれを縦横２分割して４枚とすることで３Ｘ４＝１２枚の画像パッチを作る例を示している。３分割したうちの小画像１についていえば、縦横２分割することによって、４つの小パッチが得られることになる。小画像１が５１２×５１２ｐｉｘｅｌであれば、２５６×２５６ｐｉｘｅｌの画像パッチが４枚得られることになる。高い正解率を得るためには、１つ１つの学習データに含まれる組織成分を単一化することが非常に重要である。画像パッチを用いる方法は、１つの画像パッチ内の組織像が均一になり得ることから、質の高い学習データを得ることが可能となり、高性能のモデルを得るために非常に有効である。
　原画像上での位置情報は再構築系に送られている。分類系システムにおいては、各画像パッチについて、学習用画像によって作成されたパラメータをもとに分析と判定が行われる。判定結果は、再構築系システムに送られ、原画像上にマッピングされる。判定系システムでは再構築系システムの結果に基づき、追加外科切除の必要性の有無を判定し、モニタ上に表示する。医師は自身の検鏡結果を元にＡＩによる再構築図の修正を行って判定結果を確認し、診断を行う（図３）。
[組織型の分類・判定系の構築］
１．開発環境
　開発環境はプログラミング言語にＰｙｔｈｏｎを用い、深層学習フレームワーク(Ｆｒａｍｅｗｏｒｋ)としてはPｙｔｏｒｃｈ、及びＴｅｎｓｏｒＦｌｏｗをバックエンドとしたＫｅｒａｓにより開発を行なった。
２．学習用データ
　ＡＩを用いた診断支援システムを構築するためには、新しく組織標本画像データが入力された場合に、組織型が正確に分類できるように予め学習させておく必要がある。そのために、学習用データとして、熟練した病理医によって、各組織型が判断された学習用データを用意する必要がある。この学習用データは、学習用画像と病理医が判断した非腫瘍（正常）、腫瘍、腫瘍の組織型などのラベルからなり、教師あり学習として利用される。
　分化型胃癌と未分化型胃癌の病理組織画像を用い、学習用画像を作成した。胃癌の組織内には癌細胞とともに非癌細胞が混在し、そのほとんどはリンパ球やマクロファージなどの炎症細胞、繊維芽細胞などの非上皮性細胞である。ここで作成する分化型、未分化型の分類系は癌の形態や構築に基づいて行うので、非上皮性細胞は必要ない。そこでまず、一般的な日常診断に用いるヘマトキシリン・エオジン（ＨＥ）染色標本ではなく、上皮細胞が有する細胞内タンパク質サイトケラチン（Ｃｙｔｏｋｅｒaｔｉｎ）による免疫組織化学染色（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ、ＩＨＣ）を行った組織標本を用いている。
　サイトケラチンは、２０種類のサブタイプに分類され、全ての上皮に存在して、腫瘍化しても安定した発現がみられる。たとえば、食道、胃、大腸、肝、胆管、乳腺、前立腺などの癌に発現している。上皮性細胞に発現しているサイトケラチンに対する抗体を組織切片上で結合させ、発色させることで上皮性細胞のみが着色された組織標本を得る。着色された組織標本から画像を取得することで、上皮性組織のみに対する形態学的分類判別が可能となる。
　サイトケラチンによる免疫組織化学染色は、上皮性組織のみを染色できるため、上皮性組織の構築のみを使って形態学的分類判別を行う際の画像データとして有効である。したがって、上皮組織由来の癌であれば、ほとんどの癌にサイトケラチンによる免疫組織化学染色を用いた病理診断支援方法が適用可能である。特に有効であるのは腺癌であり、胃癌、大腸癌、膵癌、胆管癌、乳癌、肺癌などはサイトケラチンによる免疫組織化学染色を好適に適用できる上皮組織由来の癌として挙げられる。すなわちサイトケラチンによる免疫組織化学染色を用いて分類する方法は、多くの癌に応用することができる。
　一方で、実臨床での病理診断は主としてＨＥ染色標本を用いて行われている。病理医が、光学顕微鏡を用いて組織標本を観察する際には、ＨＥ染色標本の組織画像から上皮性組織と非上皮性組織とを無意識のうちに識別、抽出して視認し、上皮性組織のみに対して形態学的な判断をし、癌の診断を行っている。病理医が無意識のうちに行なっているこのステップは、ＡＩを用いてＨＥ染色標本に画像処理による変換を行ったり、深層学習を用いた画像変換や画像生成を行えば、サイトケラチンによる免疫組織化学染色と同等の画像に変換、生成することができる。実臨床で用いている標本と同じＨＥ標本を元に画像変換や画像生成を行うことによって、ＡＩに画像を学習させたり分析することができる。ＨＥ染色標本を使用することにより、腫瘍の種類を問わず適用することが可能となる。また、後述するように、褪色化が進んだ標本、染色の薄い標本、施設間により標本色に差がある場合など、ＨＥ染色画像をそのまま使用できない場合には、Ｎｅｕｒａｌ　ｓｔｙｌｅ　ｔｒａｎｓｆｅｒ手法を用いて、ＨＥ染色画像を擬似サイトケラチン染色画像に加工すれば、病理診断支援システムにより判定することができる。
　一般的な画像処理の手法、例えばＲＧＢのチャンネル分離や画像のヒストグラム解析、画像の２値化などを組み合わることによっても上皮性組織の形態分類に適した画像を得ることができる。また、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ）を初めとする深層学習の手法を用いた画像生成により形態分類に適した学習用画像を生成することができる。深層学習を用いる場合には、ＨＥ染色標本と連続したサイトケラチンの免疫組織化学染色標本とをペアで学習させることにより、画像のｐｉｘｅｌ単位で対応した変換画像を得ることが可能となる。このような画像の前処理は、学習の効率とスピードアップに最も重要であるとともに、施設間での染色状態の違いや、標本の厚さの違いなどから来る画像の色の差異を補正し標準化することになり学習画像や診断画像の標準化にもつながる。
　ＧＡＮによる画像生成を用いることにより、未だ頻度の低い病変を判定する事も可能になる。頻度の低い病変では大量の学習用画像を用意することが難しいため、従来のような分類モデルで判定をすることが難しい。しかしながらＧＡＮと機械学習による異常検知を組み合わせた方法（ＡｎｏＧＡＮ等）では、正常組織を学習させておいたＧＡＮモデルを利用して画像の異常度を数値化して判定することができる。図５では、正常胃底腺組織画像のみを畳み込みニューラルネットワークモデルで学習させたＧＡＮモデル（ＤＣＧＡＮ；Ｄｅｅｐ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　ＧＡＮ）を用いて、異常検知を行うＡｎｏＧＡＮモデルによる判定を行った（非特許文献３）。異常度を数値化した結果は、学習された正常胃底腺組織（４、５）に対しては１２００台の数値となっているが、学習したことのない腺窩上皮（１、２）や低分化腺癌（３）の画像に対しては、大きな数値となる。正常組織の画像を用いて機械学習を行う異常検知の手法を用いれば、大量の学習用画像を用意することが難しい病変であっても、正常組織との差異として検出することが可能となる。
　なお、いずれの染色方法を用いる場合であっても、用いる病理標本は、均一的な切片作成に加えて、染色の色調や濃淡も判別できるように、品質管理された機器・試薬と手順で行うことが重要である。
　分類系の性能はニューラルネットワークモデルの性能と学習画像の２つで決定されることから、学習画像は分類系の構築において重要な役割を果たす。転位学習は大規模な画像データを用いたコンペティションで工夫を重ねた優秀なモデルを利用することができるが、学習させる画像は利用者が自身の問題に照らし合わせて用意しなければならない。利用者は各分野で実現すべき課題に適した学習用画像を工夫する必要がある。以下の胃癌の内視鏡切除検体での例は、粘膜の正常部、癌部から取得した画像をもとに、概ね正常粘膜部、分化型癌、未分化型癌と識別できるように画像パッチを作成した。
　画像の解像度は、対物レンズ、撮影レンズの組み合わせにより概ね０．１μｍ／ｐｉｘｅｌ～４μｍ／ｐｉｘｅｌ程度の範囲で、好ましくは、０．２μｍ／ｐｉｘｅｌ～４μｍ／ｐｉｘｅｌ、より好ましくは、０．２５～２μｍ／ｐｉｘｅｌが通常用いられている顕微鏡の解像度から好ましく用いることができる。画像の大きさとしては概ね３４ｘ３４ｐｉｘｅｌから１０２４ｘ１０２４ｐｉｘｅｌの範囲を用いた。非常に小さな領域に限局した形態を識別したい場合は、解像度の高い、小さな画像を用いて学習を行うことができる。また、サイトケラチン免疫組織化学標本による実施例では２５６ｘ２５６ｐｉｘｅｌの大きさの画像をもとに学習を行ったが、学習に使用するモデルによっては、より大きい画像を用いることも必要となる。画像の大きさは、実現すべき課題、組織の状態、学習モデルによって適宜選択することができる。
　ここで学習用や診断用に用いている画像パッチは、目視で認識可能な限りできるだけ小さくしている。画像パッチを小さくすることにより、ひとつの画像パッチ内に含まれる組織の形態を単一に近づけることが可能となる。さらに、単一な形態のみを含んだ小さな画像パッチを用いると、従来の分化・未分化による２分法での判定が困難であった境界的形態をとる腫瘍を新しい観点から解析することも可能となる。診断用画像について作成される画像パッチでは、個々の腫瘍内に含まれる全ての病理組織形態を網羅したものがその腫瘍組織内での位置データと共に得られる。
３．深層学習
　抗サイトケラチン抗体を用いた免疫組織化学染色を行った標本から癌部の組織画像を取得し、画像の回転や分割などの増幅処理を行い、２５６ｘ２５６ｐｉｘｅｌの画像を各セット６４４枚作成して学習用データセットとした。実際の情報量は、色情報も含まれることから、２５６ｘ２５６ｘ３のデータ量となる。データセットは、分化型、未分化型がはっきり区別できるセットａ、未分化型成分が分化型成分に混在している未分化型成分なし／ありのセットｂを用意した（図６）。
　ここで用いる深層学習は、画像処理に適したネットワークであれば、特に限定されない。画像認識力の高いニューラルネットワークとしては、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＣＮＮ）や、あるいは自然言語処理の分野で用いられるＴｒａｎｓｆｏｒｍｅｒ、Ｓｅｌｆ－ＡｔｔｅｎｔｉｏｎやＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ　Ｅｎｃｏｄｅｒ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｆｒｏｍ　ｔｒａｎｓｆｏｒｍｅｒｓ）が画像系に応用されたＶｉｓｉｏｎ　Ｔｒａｎｓｆｏｒｍｅｒ（ＶｉＴ）などのモデルを例示できる。畳み込みニューラルネットワークの例としては大規模物体認識データセット（ＩｍａｇｅＮｅｔ）を用いた画像認識コンペティション（ＩＬＳＶＲＣ）で開発されたものが多く、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ｖ３、ＶＧＧ、ＡｌｅｘＮｅｔ、Ｕ－Ｎｅｔ、ＳｅｇＮｅｔ、Ｄｅｎｓｅｎｅｔ、Ｓｑｕｅｅｚｅｎｅｔなどが挙げられ、ＥｆｆｉｃｉｎｅｎｔＮｅｔやＢｉｇ　Ｔｒａｎｓｆｅｒ（ＢｉＴ）、ＲｅｓＮｅＳｔなどの画像認識用の新しいモデルも用いることができる。さらに、今後開発される画像認識力の高いモデルを使用できることは言うまでもない。
［実施例１］
　まず、サイトケラチンの免疫組織化学染色標本を用い、Ｓｅｔ　ａ（図６）に示す判定の容易な分化型、未分化型のデータセットによって、ＲｅｓＮｅｔで転移学習を行った。転移学習は、学習済のネットワークとパラメータ値を利用して、新たなタスクに活用するものである。ＲｅｓＮｅｔが大規模なデータセットで学習したパラメーター（重み）の初期値を利用し、自前の画像データで学習させた転移学習と、学習済みのパラメータの初期値を用いずに、モデルの構造のみを利用して自前の画像データをモデルに学習させるＳｃｒａｔｃｈ学習の両方によって学習を行わせた。
　本発明では、以下の機器システムを用いた。
Ａ；ＣＰＵ；Ｉｎｔｅｌ　ｃｏｒｅｉ７　ＧＰＵなし
Ｂ；ＣＰＵ；Ｉｎｔｅｌ　ｃｏｒｅｉ７，　ＧＰＵ　ＮＶＩＤＩＡ　ＧｅＦｏｒｃｅ　１０８０－Ｔｉ
Ｃ；ＣＰＵ；Ｉｎｔｅｌ　Ｘｅｏｎ　ＧＰＵ　ＮＶＩＤＩＡ　　ＧｅＦｏｒｃｅ　ＲＴＸ　２０８０－Ｔｉ
Ｄ；ＣＰＵ；Ｉｎｔｅｌ　ｃｏｒｅｉ９，　ＧＰＵ　ＮＶＩＤＩＡ　　Ｔｉｔａｎ－Ｖ
　分化型／未分化型胃癌のサイトケラチン免疫組織化学染色標本から作成したデータセットａを用いた学習では、認識精度は、Ｓｃｒａｔｃｈ学習により０．９６０９、転移学習（ファインチューニング）により０．９８８３と、充分な認識精度が得られた（図７）。
　次に、未分化型成分の混在なし／ありの胃癌のサイトケラチン免疫組織化学染色標本であるＳｅｔ　ｂ（図６）を用いた学習では、Ｓｃｒａｔｃｈ学習により０．９２１９、転移学習（ファインチューニング）により０．９１０２と、こちらのデータセットでも診断支援に用いるための充分な認識精度が得られた（図８）。未分化成分の混在なし／ありの標本は、病理医にとっても難易度の高い組織像である。病理医にとっても判断が難しいデータセットに関してはＡＩによる正答率も低くなるものの、その場合であっても９０％以上の正答率を出せることから、充分な精度があるものと考えられる。
　過学習は訓練データに特化したパラメータが学習されてしまうことで汎化性能が低下し、検証データでの精度が低下してしまうことである。過学習を防ぐには、訓練データを増やすことが最善の解決方法であるが、少ないデータをもとに効率よく訓練データを増やす方法として、データ拡張（Ｄａｔａ　Ａｕｇｍｅｎｔａｔｉｏｎ）がある。データ拡張は、訓練データの画像に回転、変形、中心部切り出し、拡大、縮小などの加工を行なって訓練データを増やす方法である。ここでも学習用画像に対してはこれらの処理によるデータ拡張を行なっている。
　深層ニューラルネットワークにかけることにより、データの次元は順次に削減されながら、入力画像の持つ本質的な特徴量（潜在表現、内部表現とも呼ばれる）が抽出される。特徴量（潜在表現、内部表現）をデータから得る方法の一つとして自己符号化器（Ａｕｔｏｅｎｃｏｄｅｒ）がある。これはＥｎｃｏｄｅｒ(符号化器)により、元のデータから特徴量（潜在表現、内部表現）を抽出し、これをもとにＤｅｃｏｄｅｒ（復号化器）により元のデータへの復元を行うものである。画像データの場合は、符号化器の部分に畳み込みニューラルネットワークを用いることができるが、これは潜在表現の抽出の方法としてニューラルネットワークを用いていると見ることもできる。転移学習で作成した分類器を特徴抽出器として用いることで、診断用画像について作成される画像パッチから特徴量を抽出し、さらに２次元まで次元削減することで、組織形態から得られた特徴量の分布図を散布図として可視化することができる。分化型と未分化型胃癌の組織標本から作成した画像パッチから特徴量をさらに２次元まで次元削減することで、形態特徴量の２次元での分布を散布図として可視化することができる。
　図９左は、腫瘍に存在する形態特徴量の次元削減による２次元での散布図を示している。診断用画像について作成される画像パッチでは、個々の組織内に含まれる病理組織形態の網羅的画像パッチがその組織内での位置データと共に得られている。そのため、散布図を用いて従来の分化・未分化による２分法での判定が困難であった境界的形態をとる腫瘍をクラスタリングすることが可能となる。さらに散布図の個々の点が由来する画像パッチが病変内のどこに存在していたかをたどることにより、特徴量クラスターが実際の腫瘍内でどの様に分布しているのかを知ることもできる（図９右）。
　病理組織画像から抽出された特徴量、潜在表現を用いることで、画像以外の型式の異なる他のモダリティのデータから得られた特徴量との結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）や融合（ｆｕｓｉｏｎ）が可能となる。これにより異なったモダリティの特徴量同士を結合して、結果の推論を行うマルチモーダル学習に用いることができる。分化型、未分化型といった従来の分類カテゴリーではなく、病理組織画像の持つ特徴量そのものを、型式の異なる他のモダリティのデータから抽出された特徴量と結合することで、異なったモダリティの情報が結果の推論に対して相補的に働くことを利用できるようになる。例えば治療方針決定のような臨床での意思決定では、性別などのカテゴリカルデータや、検査データなどの数値データ、放射線画像などの画像データ、遺伝子変化の情報などの形式の異なるデータを融合して判断を形成するシステムが構築できる。
［実施例２］
［再構築マップの作成］
　上記で構築された判定系を用いて、分化型と未分化型成分の混在する胃癌の組織標本を用いた解析と再構築を行った（図１０）。この例では、サイトケラチンによる免疫組織化学染色標本を用いて学習させたモデルを構築し、判定に用いている。
　検体プレパラート上には、切り出された組織スライスが平行に配置されている。組織検体の１スライスの長さがスライドガラスよりも大きい場合は、図１０に示すようにスライドガラスに収めるために、長短の２本（ＡとＢ）に切断されて標本が作成されている。サイトケラチン染色標本上のＡとＢから合成される１本のスライスから、撮影視野を移動させながら、組織画像を連続して取得する。ここでは連続する３枚の画像を示している。画像取得とともに、組織標本の各スライスの開始点の座標、癌部の開始点の座標を採取する。上記の連続した画像を分割処理し、２５６ｘ２５６ｐｉｘｅｌの画像を生成する。また、サイトケラチンによる免疫組織化学染色標本を用いた分類器では、学習画像に多少異なる組織成分が含まれていても高い正解率が得られたため、弱拡大画像による解析が可能であった。そのため、この例では縦方向（粘膜の厚み方向）は１列の画像パッチでカバーすることができた。
　分割した画像には水平方向に番号を付与して、元の標本スライス上での順序を保持させる。上記の画像セットを、すでに作成した分類、判定系で分析する。分析結果は分化型、未分化型のどちらに判定されたかを、０と１で結果出力させ、１次元ベクトルとして保存する。１つのスライスから得られた１次元ベクトルを二次元化し、ベクトルの値１を値２５５に変換することで、０が黒、２５５が白、の２色に対応させる。得られた二次元ベクトルを画像として描出、黒、白により分化型、未分化型を表示した直線を得る。この例では、白が未分化型、黒を分化型に対応させている。
　ここでは、ＮｕｍＰｙを用いて同じ１次元ベクトルを二重にネストすることで２次元化し、続いてＮｕｍＰｙのもとで機能するグラフ描画パッケージＭａｔｐｌｏｔｌｉｂのｐｙｐｌｏｔモジュールを用いて、２次元化されたベクトルを直線として描出している。なお、ＮｕｍＰｙはＰｙｔｈｏｎ言語での開発環境下において、多次元配列の操作と数値演算機能を提供するライブラリである。ここでは判定系で出力された分析結果の１次元ベクトルを、ＮｕｍＰｙを用いて二重にネストして２次元化し、ｐｙｐｌｏｔモジュールを用いて直線として描出している。
　各スライスから得られた直線を、各スライスの開始点の座標、癌部の開始点の座標をもとに配置することにより、検体組織全体についての分析結果の再構築図が得られる。従来、病変の存在判定だけであった深層学習の利用をさらに発展させ、本実施例で示すように癌病巣の分化度と位置の情報で癌病巣を総合判定可能なパターンへと再構築している。その結果、癌病巣の未分化度マップを描出し、未分化型成分の位置や大きさを一目で判断し、迅速に転移のリスク等について判定することが可能となる。
　また、病理医が顕微鏡下の観察により判断した分化度の結果を精密に検体全体図の割線上に描出するには限界があり、とりわけ非常に狭い範囲に分化度の異なる組織が混在している場合には、分布を忠実にマップして再現することは難しい。従ってヒトが作成する再構築図には精密度の点で自ずと限界があり、再構築図の作成にも多大な時間を要する。今回開発した方法を用いれば精密なマップの作成が可能であり、治療法の選択に大きく貢献できる。
　本システムを用いて病理医が実際の標本を検鏡する際には、ＡＩが作成した再構築図を参照しながら、自身の検鏡結果をもとにＡＩによる再構築図の修正を行って、診断報告用の再構築図を完成する。これにより再構築図の精密度が格段に向上するだけでなく診断報告の作成に要する時間が大幅に短縮できる。
［実施例３］
　ＨＥ染色画像による病理診断支援方法について説明する。実臨床での病理診断は主としてＨＥ染色標本を用いて行われる。サイトケラチンの免疫組織化学染色標本で構築した分類器を、さらに汎用性の高いものとするためにはＨＥ染色標本による分類器が必要である。ＨＥ染色標本での学習用データセットを作成し、まず胃癌の分化・未分化の２クラス分類器を構築した（図１１）。
　正解率の高い分類器を作るためには、学習用画像データセットが重要である。図１１（Ａ）に示すような分化型、未分化型の２クラスの学習用画像データセットを多数用意した。学習用画像１枚に含まれる組織形態学的な成分は可能な限り単一とし、複数の成分が含まれないように学習用画像を準備する。しかしながら画像そのものの大きさは、分類器に用いる畳み込みニューラルネットにより、２２４ｘ２２４ｐｉｘｅｌや２９９ｘ２９９ｐｉｘｅｌなどの指定があるので、その大きさに単一の形態学的成分のみからなる小さな領域が収まるように画像を準備する。大きな画像を分割して規程サイズの画像を得る場合も、分割した画像が上記の条件を満たすように、分割のサイズを検討する。
　次に、一つのモデルについて、学習の条件を変えながら、検証データで正解率が高くなるように調整を行なっていく。図１１ではモデルにＲｅｓｎｅｔ１８を用いた場合の学習曲線の例を示した。ｂａｓｅｌｉｎｅの検討では、エポックごとの検証用データ（ｖａｌ）での正解率の変動が大きい（図１１（Ｂ））。そこで学習率の調整とバッチサイズの調整により、学習曲線はｂａｓｅｌｉｎｅから１（図１１（Ｃ））、２（図１１（Ｄ））へと改良された。２の学習曲線では、概ね過学習の傾向は見られず、検証用データでの正解率の最高値は０．９６８３が得られた。
［実施例４］
　胃癌の分化型、未分化型に正常組織を加えた３クラスの学習用データセットを用いて、６個のモデルを比較しながら、正解率の高い分類器を作成した（図１２）。分化型、未分化型、正常の典型的な組織像を図１２（Ａ）に示す。これらの学習用画像データセットを用い、６つのモデルを使用して、分類器の作成を行った。転移学習による画像分類に用いることのできるモデルは多数あり、いずれもＩｍａｇｅＮｅｔデータセットを用いた画像認識のコンペティションで評価されたモデルやその改良版である。Ｒｅｓｎｅｔ１８（図１２（Ｂ））及びＩｎｃｅｐｔｉｏｎＶ３（図１２（Ｃ））では検証用データでの正解率の最高値は０．９３および０．９２以上が得られ、Ａｌｅｘｎｅｔ（図１２（Ｇ））では０．９６３９の正解率が得られた。この他、Ｄｅｎｓｅｎｅｔ１２１（図１２（Ｅ））では１００エポックの学習ではようやく汎化性能が出始めるところにあり、１００エポックを超えて学習すれば、充分な汎化性能を得る可能性がある。一方でＶｇｇ１１＿ＢＮ（図１２（Ｄ））での６０エポック以降やＳｑｕｅｅｚｅｎｅｔ１（図１２（Ｆ））では過学習の傾向が認められる。このように、学習曲線を見ながら、過学習に陥らずに汎化性能をえられる最適なモデルとエポックでパラメータを取得し、実臨床に応用することができる。
［実施例５］
　次に、実施例で示してきた病理診断支援方法は、胃癌だけではなく、様々な癌においても適用可能であることを示す。本明細書では、学習データセットを準備し、その学習データセットに適したモデルを選択して転移学習を行い、パラメータを保存して分類系で用いる病理診断支援方法を示している。この一連の方法は、胃癌の分化・未分化に限らず他臓器の癌にも用いることができる。胃癌以外の様々な癌において、同一の腫瘍内に組織型の混在があることが知られ、取り扱い規約に記載のあるものの例として、子宮内膜癌、甲状腺癌、乳癌などがある。例えば甲状腺癌では高分化型の成分（乳頭癌や濾胞癌）と低分化型の成分が混在した場合、５０％以上を低分化型が占める場合に低分化型として記載される。子宮内膜癌では腫瘍内に占める割合により３段階に分類されている。このような場合にも高分化型と低分化型のそれぞれの学習用画像データセットを構築して分類器を作成すれば、高分化・低分化のマップを作成することが可能となる。
　甲状腺癌での学習モデル構築の例を示す（図１３）。甲状腺の高分化型（乳頭癌）と低分化型、正常甲状腺組織の３クラス分類（図１３（Ａ））でモデルを構築した。この甲状腺でのデータセットでは、Ｒｅｓｎｅｔ１８（図１３（Ｃ））やＩｎｃｅｐｔｉｏｎＶ３（図１３（Ｅ））、Ｓｑｕｅｅｚｅｎｅｔ１（図１３（Ｄ））などで過学習に陥りやすい傾向にあるが、Ｄｅｎｓｅｎｅｔ１２１（図１３（Ｂ））では４０エポック程度までで学習を終了してパラメータを得ることで正解率９０％程度のモデルを得ることが可能である。またＶｇｇ１１＿ＢＮ（図１３（Ｆ））では検証データでの正解率はわずかながら増加傾向にあるので、さらにエポック数を増やして学習することにより正解率が向上することが考えられる。胃癌、甲状腺癌の例で示すように、臓器毎に最適なモデルは異なっている。したがって、各臓器毎にモデルを選択し、正解率の高いモデルを選択する必要がある。
［実施例６］
　遺伝子の変化や発現に関連した特徴的な病理組織像が知られている腫瘍についても、学習データセットを準備し、その学習データセットに適したモデルを選択して、パラメータを保存して分類系で用いる病理診断支援方法を用いることができる。癌に関連した遺伝子やタンパクの変化は膨大な情報が蓄積しているが、そのうち組織形態学的な情報との関連が知られているものについては、特徴的な病理組織像を基盤として分類することにより、どのような遺伝子や細胞生物学的な検索をさらに行なっていくかの方針を決めることができる。また、さらなる検査のオーダーを推奨する上でも補助になると考えられる。
　ＮＣＩ（Ｎａｔｉｏｎａｌ　Ｃａｎｃｅｒ　Ｉｎｓｔｉｔｕｔｅ）によるＴｈｅ　Ｃａｎｃｅｒ　Ｇｅｎｏｍｅ　Ａｔｒａｓ（ＴＣＧＡ）では胃癌が以下の４つのｍｏｌｅｃｕｌａｒ　ｓｕｂｔｙｐｅに大別されることが知られている（非特許文献４）。
Ｃｈｒｏｍｏｓｏｍａｌ　Ｉｎｓｔａｂｉｌｉｔｙ（ＣＩＮ）
Ｇｅｎｏｍｉｃａｌｌｙ　ｓｔａｂｌｅ（ＧＳ）
Ｍｉｃｒｏｓａｔｅｌｌｉｔｅ　ｉｎｓｔａｂｉｌｉｔｙ（ＭＳＩ）
Ｅｐｓｔｅｉｎ－Ｂａｒｒ　Ｖｉｒｕｓ（ＥＢＶ）
このうちＭＳＩやＥＢＶのタイプの胃癌では腫瘍内へのリンパ球の浸潤が著しいという特徴的組織像が知られている。また、ＧＳに含まれる癌は組織学的にびまん型（低分化型腺癌）が多くを占め、その中にもいくつかの遺伝子の変化を伴う群が知られている。
　すでに、深層学習を用いて、ＨＥ染色画像からＭＳＩを推定する方法が報告されている（非特許文献５）。ＨＥＲ２タンパクの過剰発現／遺伝子増幅を伴う胃癌では分子標的薬による治療が行われ、免疫組織化学やＦＩＳＨ法によるコンパニオン診断が確立している。したがって、ＭＳＩに加えてＨＥＲ２タンパクの過剰発現／遺伝子増幅に関しても、ＨＥ染色で推定することができれば、ＨＥＲ２陽性胃癌をＨＥ染色による病理診断の段階で見逃すことなく、より適切な治療を行い得る。こうしたＨＥＲ２陽性胃癌では、Ｌａｕｒｅｎ分類による腸管型（管状腺癌）とびまん型（低分化型腺癌など）のうち、腸管型（管状腺癌）のほうが有意にＨＥＲ２タンパクの過剰発現の頻度が高いことが知られ、腸管型（管状腺癌）とびまん型の組織像が混在する場合には、腸管型が多く含まれる標本でのコンパニオン診断が推奨されている。
　図１４では、ＨＥＲ２　タンパクの過剰発現／遺伝子増幅のある癌組織からの組織画像（Ａ）、ＭＳＩの確認された癌組織からの組織画像（Ｂ）、びまん型の癌にみられる遺伝子に変異のある癌組織からの組織画像（Ｃ）を用いて学習画像データセットを作成し、３クラスの分類を行なった。３つのクラスに分類した画像を学習させ、分類器を作成し、診断用画像で検証した。Ａｌｅｘｎｅｔでは０．９６５６の正解率が得られ、Ｒｅｓｎｅｔ１８では、Ａｌｅｘｎｅｔの倍のエポックを学習に要するが、０．９０８９の正解率が得られた。
　遺伝子の変異や発現に関連した特徴的な病理組織像が知られている場合には、病理画像から遺伝子の変異や発現の変化を推測することができる。実施例で示したように、ＨＥＲ２タンパクの過剰発現／遺伝子増幅の可能性をＨＥ染色による病理診断の際に指摘することができれば、免疫組織化学染色により確定診断を行い、ＨＥＲ２を標的とした治療を行うことができる。このような遺伝子の変異や発現に関連した病理組織像は、症例数の多い施設（Ｈｉｇｈ　ｖｏｌｕｍｅ　ｃｅｎｔｅｒ）の病理医はおおよその特徴を把握していることが多い。このようなエキスパートの経験による蓄積を分類器として病理診断支援システムに実装することが可能となる。さらに、診断精度が高くなれば、ＨＥ染色をコンパニオン診断として分子標的薬の選択を行うことも可能となる。実施例では、上記の３クラスとして分類を行なっているが、新しく遺伝子の変化や変化と関連した特徴的な組織像がわかれば新しいクラスを順次追加して分類器を作成していくことができる。
［実施例７］
　ＨＥ染色標本の画像データセットから作成した分類器を用いて、実際に内視鏡切除標本から分化・未分化マップを作成する際には、粘膜の厚さに応じて縦方向に３～５枚の画像パッチが得られる。図１５（Ａ）に、縦方向に３枚の画像パッチが得られた例を示す。この例は、ＨＥ標本での胃粘膜固有層の縦方向が３枚横方向が１０枚の画像パッチである。
　図１５（Ｂ）中段には、この画像パッチにおいて分類結果が正常と判定されたパッチを灰色、分化型を黒、未分化型を白で示している。縦の１列ごとに、縦方向の３個の画像パッチのうち１個でも未分化と判定された部分は未分化と判定するマップを下段に示した。ここでは縦１列ごと、すなわち厚み方向に１個でも未分化と判定されたパッチがある場合には、未分化と判定する基準を設けているが、厚み方向のパッチのうち何個が未分化とされた場合にその列を未分化として水平方向のマップを作るかの基準は自由に変更することが出来る。このような処理を行うことにより、隆起のある病変の場合や小さい画像パッチを使用する場合でも判定を行うことが可能となる。
［実施例８］
　実臨床での病理診断は主としてＨＥ染色標本を用いて行われるが、経年により褪色の進んでしまった標本や、染色の薄い標本、標本色の施設間差への対策として、畳み込みニューラルネットワークを用いたＮｅｕｒａｌ　ｓｔｙｌｅ　ｔｒａｎｓｆｅｒ（非特許文献６）の活用がある。画像の大域的な構図に当たるｃｏｎｔｅｎｔ　ｉｍａｇｅに対し、画像内の位置によらない特徴、色やテクスチャーをｓｔｙｌｅ　ｉｍａｇｅとして、Ｎｅｕｒａｌ－Ｓｔｙｌｅ　ａｌｇｏｒｉｔｈｍなどの手法を用い加工するものである。例としては褪色の進んでしまった標本をＮｅｕｒａｌ　ｓｔｙｌｅ　ｔｒａｎｓｆｅｒによりサイトケラチンの免疫組織化学染色標本に画像変換した例を示した（図１６）。変換により擬似サイトケラチン（ＩＨＣ）化された画像は、サイトケラチン染色標本で構築した分類器により判定しマップの作成を行うことができる。
　本明細書では、胃癌、甲状腺癌のＨＥ染色標本を用い、本診断支援方法を適用可能であることを示したが、適切なモデルを選択すればあらゆる臓器で癌の組織型を判定し、腫瘍内の不均一性を可視化して俯瞰することで病理診断支援に利用することができる。また、胃癌においてサイトケラチンの免疫組織化学染色の画像による組織型による判定を示したが、サイトケラチンに限らず、癌の悪性度の指標となるタンパク質や治療への反応性を示すタンパク質（バイオマーカー）による免疫組織化学染色の画像を利用すれば、腫瘍の悪性度マップや治療反応性マップを作成して腫瘍内の不均一性を俯瞰することが可能である。また、実施例で示したように、ＨＥ画像からＨＥＲ２の過剰発現が疑われる癌を判断できることは、デジタルコンパニオン診断へと応用できることを示している。
　病理診断が根拠としている形態学、すなわち典型的な正常組織、良性腫瘍、悪性腫瘍（癌、肉腫）などの組織所見は、組織学や病理診断学の成書に記載され共有されている。組織所見は、さらに病理専門医となるまでの研修の過程で指導継承され、また癌取り扱い規約やＷＨＯ分類として明示され、学会や症例検討会などの場で共有されている。しかしながら組織の形態の違いは連続的であり、正常組織と腫瘍、腫瘍の中の分化型・未分化型など、実臨床での診断困難例は少なくなく、微妙な判断は突き詰めれば個々の病理医に委ねられている。胃癌では日本と欧米で粘膜内癌の判断が異なることもよく知られている。コンセンサスが一定でない組織所見についても、この方法であれば、過去のデータをもとに、本システムの結果と予後の関係を容易に再度検討し、過去の病理データとリンパ節転移率などの再発率を確認することにより予後を検討する事もできる。その結果、治療法の選択と予後の関係から、患者に適切な治療法を提供することができ、これまで判定が難しかった腫瘍内が不均一な癌の治療法の確立に寄与することができる。
 

Claims (16)

  1. 　組織標本の顕微鏡観察画像データを連続して取得する画像取得工程と、
    　前記画像データを位置情報を保持したまま所定のサイズに分割し画像パッチを得る工程と、
    　画像パッチ毎に機械学習による学習データをもとに組織型を判定する判定工程と、
    　判定された組織型を各位置で表示する再構築工程とを備えた病理診断支援方法。
  2. 　機械学習によって判定された組織型を各位置で表示する前記再構築工程が
    　腫瘍内の分化度の変化と腫瘍の不均一性を表示することを特徴とする請求項１記載の病理診断支援方法。
  3. 　前記機械学習が、
    　ニューラルネットワークによることを特徴とする請求項１、又は２記載の病理診断支援方法。
  4. 　前記ニューラルネットワークが、
    　学習用画像として解像度０．１μｍ／ｐｉｘｅｌ～４μｍ／ｐｉｘｅｌの画像を用いることを特徴とする請求項３記載の病理診断支援方法。
  5. 　前記組織標本が癌組織に由来するものであり、
    　癌の病理診断を支援することを特徴とする請求項１～４いずれか１項記載の病理診断支援方法。
  6. 　前記組織標本がＨＥ染色、又は免疫組織化学染色標本であることを特徴とする請求項１～５いずれか１項記載の病理診断支援方法。
  7. 　前記ＨＥ染色標本が標準化されていない標本の場合、
    　Ｎｅｕｒａｌ　ｓｔｙｌｅ　ｔｒａｎｓｆｅｒ手法を用い、
    　擬似的な免疫組織化学染色標本を作成し、
    　免疫組織化学標本像を学習させた学習モデルによって組織型を判定することを特徴とする請求項６記載の病理診断支援方法。
  8. 　組織標本の顕微鏡観察画像データを連続して取得する画像取得手段と、
    　前記画像データを位置情報を保持したまま所定のサイズの画像パッチに分割する画像処理手段と、
    　分割された画像毎に機械学習による学習データをもとに組織型を判定する分類手段と、
    　分類された組織型を各位置で表示する再構築手段とを備えた病理診断支援システム。
  9. 　前記画像処理手段が、
    　組織染色標本を標準化する手段を含むことを特徴とする請求項８記載の病理診断支援システム。
  10. 　前記機械学習が、
    　ニューラルネットワークであることを特徴とする請求項８又は９記載の病理診断支援システム。
  11. 　前記ニューラルネットワークが、
    　転移学習で予め得られた組織型のパラメータ値を用いることを特徴とする請求項１０記載の病理診断支援システム。
  12. 　病理診断支援する疾患が、
    　癌であることを特徴とする請求項８～１１いずれか１項記載の病理診断支援システム。
  13. 　取得された画像データを位置情報を保持したまま所定のサイズに分割し、
    　教師データを用いて学習させた学習モデルを用い、
    　分割した画像毎に機械学習によって組織型を判定し、
    　判定された組織型を各位置で表示し再構成させる処理をコンピューターに実行させる病理診断支援プログラム。
  14. 　組織標本の顕微鏡観察画像を連続して取得させる処理を含む請求項１３記載の病理診断支援プログラム。
  15. 　組織標本の顕微鏡観察画像データに基いて、画像データの組織型を判定するための学習済みモデルであって、
    　対象となる組織標本の顕微鏡観察画像データを所定のサイズに分割して入力する入力層と、
    　分割された画像データの組織型判定結果を組織標本の各位置で表示する出力層を備え、
    　教師データとして医師によって組織型を判断された画像に基いて学習されたデータをもとに前記組織型を分類する分類器を備え、
    　入力され所定のサイズに分割された顕微鏡観察画像データの組織型を判定し、組織標本の各位置で表示するコンピューターを機能させるための学習済みモデル。
  16. 　前記教師データが画像の前処理を行ったものであることを特徴とする請求項１５記載の学習済みモデル。
     
PCT/JP2020/048926 2019-12-26 2020-12-25 Ａｉを用いた病理診断支援方法、及び支援装置 WO2021132633A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020227025235A KR20220119447A (ko) 2019-12-26 2020-12-25 Ai를 이용한 병리 진단 지원 방법, 및 지원 장치
EP20905469.1A EP4083907A4 (en) 2019-12-26 2020-12-25 METHOD FOR SUPPORTING PATHOLOGICAL DIAGNOSIS USING AI AND SUPPORT DEVICE
AU2020411972A AU2020411972A1 (en) 2019-12-26 2020-12-25 Pathological diagnosis assisting method using AI, and assisting device
US17/788,055 US20230045882A1 (en) 2019-12-26 2020-12-25 Pathological diagnosis assisting method using ai, and assisting device
CN202080096757.9A CN115087867A (zh) 2019-12-26 2020-12-25 使用ai的病理诊断辅助方法和辅助装置
JP2021553077A JP7004871B2 (ja) 2019-12-26 2020-12-25 Ａｉを用いた病理診断支援方法、及び支援装置
CA3169403A CA3169403A1 (en) 2019-12-26 2020-12-25 Pathological diagnosis assisting method using ai, and assisting device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019236352 2019-12-26
JP2019-236352 2019-12-26

Publications (1)

Publication Number Publication Date
WO2021132633A1 true WO2021132633A1 (ja) 2021-07-01

Family

ID=76574739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048926 WO2021132633A1 (ja) 2019-12-26 2020-12-25 Ａｉを用いた病理診断支援方法、及び支援装置

Country Status (8)

Country Link
US (1) US20230045882A1 (ja)
EP (1) EP4083907A4 (ja)
JP (1) JP7004871B2 (ja)
KR (1) KR20220119447A (ja)
CN (1) CN115087867A (ja)
AU (1) AU2020411972A1 (ja)
CA (1) CA3169403A1 (ja)
WO (1) WO2021132633A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327258A (zh) * 2021-07-15 2021-08-31 重庆邮电大学 一种基于深度学习的肺部ct图像识别方法
CN114468977A (zh) * 2022-01-21 2022-05-13 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质
CN115393230A (zh) * 2022-10-28 2022-11-25 武汉楚精灵医疗科技有限公司 超声内镜图像标准化方法、装置及其相关装置
CN115861212A (zh) * 2022-11-25 2023-03-28 中国医学科学院肿瘤医院 基于胃粘膜活检样本对相关病症进行区分的系统和应用
CN115937567A (zh) * 2022-09-07 2023-04-07 北京交通大学 一种基于小波散射网络和ViT的图像分类方法
WO2023206591A1 (en) * 2022-04-25 2023-11-02 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated ai solutions and method
WO2024024587A1 (ja) * 2022-07-26 2024-02-01 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム
JP7427717B2 (ja) 2021-08-05 2024-02-05 楽天グループ株式会社 マルチモーダルのトランスフォーマベースのアイテム分類システム、データ処理システム、データ処理方法、及びコンピュータ実行方法
WO2024090265A1 (ja) * 2022-10-28 2024-05-02 株式会社biomy 情報処理装置、情報処理方法及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11950877B2 (en) * 2019-02-05 2024-04-09 University Of Virginia Patent Foundation System and method for fully automatic LV segmentation of myocardial first-pass perfusion images
CN113469119B (zh) * 2021-07-20 2022-10-04 合肥工业大学 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
KR102622960B1 (ko) * 2022-08-25 2024-01-10 (재)씨젠의료재단 조직 병리 판독 지원 장치 및 그 방법
CN115954100B (zh) * 2022-12-15 2023-11-03 东北林业大学 胃癌病理图像智能辅助诊断系统
CN117153343B (zh) * 2023-08-16 2024-04-05 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统
CN116883397B (zh) * 2023-09-06 2023-12-08 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统
CN117275681B (zh) * 2023-11-23 2024-02-09 太原理工大学 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197522A (ja) 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
JP2009009290A (ja) * 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
JP2012008027A (ja) 2010-06-25 2012-01-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012073179A (ja) 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020019896A2 (pt) * 2018-03-30 2021-01-05 The Regents Of The University Of California Método e sistema para coloração digital de imagens de fluorescência sem etiquetas usando aprendizagem profunda

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197522A (ja) 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
JP2009009290A (ja) * 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
JP2012008027A (ja) 2010-06-25 2012-01-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012073179A (ja) 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
"Guideline for gastric cancer treatment, for medical doctors", January 2018
"Nature", vol. 513, 2014, article "The Cancer Genome Atlas Research Network", pages: 203 - 209
GATYS, L. A. ET AL., JOURNAL OF VISION, vol. 16, September 2016 (2016-09-01), pages 326
HIROYUKI ONO , KENSHI YAO , MITSUHIRO FUJISHIRO , ICHIRO ODA , SATOSHI NIMURA , NAOHISA YAHAGI , HIROYASU IISHI , MASASHI OKA : "ESD/EMR guidelines for gastric cancer", GASTROENTEROLOGICAL ENDOSCOPY , vol. 56, no. 2, 1 February 2014 (2014-02-01), pages 310 - 323, XP055946926, ISSN: 0387-1207, DOI: 10.11280/gee.56.310 *
HIROYUKI ONO ET AL.: "ESD/EMR guideline for gastric cancer", vol. 62, February 2020, article "Gastroenterological endoscopy", pages: 275 - 290
KATHER, J.N. ET AL., NATURE MEDICINE, vol. 25, 2019, pages 1054 - 1056
SCHLEGL, T ET AL., IPMI2017: INFORMATION PROCESSING IN MEDICAL IMAGING, pages 146 - 157
See also references of EP4083907A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327258A (zh) * 2021-07-15 2021-08-31 重庆邮电大学 一种基于深度学习的肺部ct图像识别方法
JP7427717B2 (ja) 2021-08-05 2024-02-05 楽天グループ株式会社 マルチモーダルのトランスフォーマベースのアイテム分類システム、データ処理システム、データ処理方法、及びコンピュータ実行方法
CN114468977A (zh) * 2022-01-21 2022-05-13 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质
WO2023206591A1 (en) * 2022-04-25 2023-11-02 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated ai solutions and method
WO2024024587A1 (ja) * 2022-07-26 2024-02-01 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム
CN115937567A (zh) * 2022-09-07 2023-04-07 北京交通大学 一种基于小波散射网络和ViT的图像分类方法
CN115393230A (zh) * 2022-10-28 2022-11-25 武汉楚精灵医疗科技有限公司 超声内镜图像标准化方法、装置及其相关装置
CN115393230B (zh) * 2022-10-28 2023-02-03 武汉楚精灵医疗科技有限公司 超声内镜图像标准化方法、装置及其相关装置
WO2024090265A1 (ja) * 2022-10-28 2024-05-02 株式会社biomy 情報処理装置、情報処理方法及びプログラム
CN115861212A (zh) * 2022-11-25 2023-03-28 中国医学科学院肿瘤医院 基于胃粘膜活检样本对相关病症进行区分的系统和应用
CN115861212B (zh) * 2022-11-25 2023-07-14 中国医学科学院肿瘤医院 基于胃粘膜活检样本对相关病症进行区分的系统和装置

Also Published As

Publication number Publication date
EP4083907A4 (en) 2024-01-17
US20230045882A1 (en) 2023-02-16
AU2020411972A1 (en) 2022-08-25
EP4083907A1 (en) 2022-11-02
CA3169403A1 (en) 2021-07-01
KR20220119447A (ko) 2022-08-29
JP7004871B2 (ja) 2022-02-10
CN115087867A (zh) 2022-09-20
JPWO2021132633A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
WO2021132633A1 (ja) Ａｉを用いた病理診断支援方法、及び支援装置
US11682118B2 (en) Systems and methods for analysis of tissue images
Sena et al. Deep learning techniques for detecting preneoplastic and neoplastic lesions in human colorectal histological images
CN114207675A (zh) 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法
CN106462767B (zh) 用于处理和分析图像的检查设备
JP2018504674A (ja) 早期癌予知のための計算病理学システム及び方法
CA2704796A1 (en) Systems and methods for automated characterization of genetic heterogeneity in tissue samples
Wang et al. Predicting EGFR and PD-L1 status in NSCLC patients using multitask AI system based on CT images
You et al. Real-time intraoperative diagnosis by deep neural network driven multiphoton virtual histology
US20240144477A1 (en) Systems and methods to process electronic images for continuous biomarker prediction
CN115210772B (zh) 用于处理通用疾病检测的电子图像的系统和方法
CN115176319A (zh) 用于处理疾病计算评估的电子图像的系统和方法
US20230343074A1 (en) Systems and methods for generating histology image training datasets for machine learning models
Padmanaban et al. Between-tumor and within-tumor heterogeneity in invasive potential
Liu et al. Pathological prognosis classification of patients with neuroblastoma using computational pathology analysis
US20240087112A1 (en) Representing a biological image as a grid data-set
Silva et al. Development of a quantitative semi-automated system for intestinal morphology assessment in Atlantic salmon, using image analysis
CN114529554A (zh) 一种胃癌her2数字病理切片智能辅助判读方法
CN112396616A (zh) 一种基于组织形态分析的骨肉瘤复发风险预测模型
Zhou et al. Rapid visualization of PD-L1 expression level in glioblastoma immune microenvironment via machine learning cascade-based Raman histopathology
US20240161926A1 (en) Prognostic method using sex specific features of tumor infiltrating lymphocytes
Klose Prediction of histopathological markers for computer-aided grading of mammary carcinoma
Pereira E-cadherin and CD44v6 in Gastric Cancer: Role, crosstalk and clinical implications
Tiwari Quantitative chemical imaging: A top-down systems pathology approach to predict colon cancer patient survival
CN116958072A (zh) 基于abvs的乳腺癌her2基因突变预测方法及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20905469

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021553077

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227025235

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3169403

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020905469

Country of ref document: EP

Effective date: 20220726

ENP Entry into the national phase

Ref document number: 2020411972

Country of ref document: AU

Date of ref document: 20201225

Kind code of ref document: A