WO2019208703A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2019208703A1
WO2019208703A1 PCT/JP2019/017659 JP2019017659W WO2019208703A1 WO 2019208703 A1 WO2019208703 A1 WO 2019208703A1 JP 2019017659 W JP2019017659 W JP 2019017659W WO 2019208703 A1 WO2019208703 A1 WO 2019208703A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
histomorphological
cell nucleus
pathological image
prediction
Prior art date
Application number
PCT/JP2019/017659
Other languages
English (en)
French (fr)
Inventor
朝春 喜友名
慶子 吉原
弘泰 齊賀
紀子 元井
吉田　裕
裕一郎 大江
隆志 河野
Original Assignee
日本電気株式会社
国立研究開発法人国立がん研究センター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立研究開発法人国立がん研究センター filed Critical 日本電気株式会社
Priority to US17/044,427 priority Critical patent/US20210033599A1/en
Priority to CN201980028354.8A priority patent/CN112020647A/zh
Priority to JP2020515568A priority patent/JPWO2019208703A1/ja
Publication of WO2019208703A1 publication Critical patent/WO2019208703A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/531—Production of immunochemical test materials
    • G01N33/532—Production of labelled immunochemicals
    • G01N33/534—Production of labelled immunochemicals with radioactive label
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6876—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes
    • C12Q1/6883—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material
    • C12Q1/6886—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material for cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q2600/00—Oligonucleotides characterized by their use
    • C12Q2600/158—Expression markers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/52—Predicting or monitoring the response to treatment, e.g. for selection of therapy based on assay results in personalised medicine; Prognosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to image analysis of pathological images.
  • a pathological image is an image obtained by imaging a stained section prepared from a tissue of a human or animal body with a camera or a digital slide scanner.
  • Patent Literature 1 discloses a technique for calculating a feature amount related to a cell nucleus from pathological image data, and predicting a prognosis of a disease and a malignancy of the disease based on the calculated feature amount and an evaluation function.
  • Patent Document 2 discloses a technique for analyzing the correlation between the constituent elements in the cell from the change in the feature amount of each constituent element of the cell with respect to the stimulus.
  • image analysis for pathological image data is used for the limited purpose of predicting the malignancy and prognosis of the above-mentioned diseases and analyzing intracellular correlations with stimuli.
  • the present inventor has found that image analysis on pathological image data can be utilized for purposes other than these purposes.
  • One of the objects of the present invention is to provide a new utilization method of image analysis on pathological image data.
  • the information processing apparatus of the present invention uses 1) an extraction unit that extracts tissue morphological features included in pathological image data of a target patient, and 2) uses the extracted histomorphological features to And a generation unit that generates prediction data indicating prediction regarding the influence of the cancer therapeutic agent.
  • the control method of the present invention is a control method executed by a computer.
  • the control method includes 1) an extraction step for extracting a tissue morphological feature of a tissue included in the pathological image data of the target patient, and 2) using the extracted histomorphological feature to perform cancer on the target patient. Generating prediction data indicating prediction regarding the influence of the therapeutic agent.
  • the program of the present invention causes a computer to execute each step of the control method of the present invention.
  • a new utilization method of image analysis for pathological image data is provided.
  • FIG. 2 is a diagram conceptually illustrating an operation of the information processing apparatus according to the first embodiment. It is a block diagram which illustrates the functional composition of an information processor. It is a figure which illustrates the computer for implement
  • 3 is a flowchart illustrating a flow of processing executed by the information processing apparatus according to the first embodiment. It is a figure which illustrates the flow of the process which extracts the histomorphological feature from pathological image data. It is a figure which illustrates prediction data in a table format.
  • each block diagram unless otherwise specified, each block represents a functional unit configuration, not a hardware unit configuration.
  • FIG. 1 is a diagram conceptually illustrating the operation of the information processing apparatus 2000 according to the first embodiment.
  • FIG. 1 merely shows an example of the operation for facilitating the understanding of the information processing apparatus 2000, and does not limit the functions of the information processing apparatus 2000 at all.
  • the information processing apparatus 2000 performs image analysis on the pathological image data 10.
  • the pathological image data 10 is image data obtained by imaging a tissue in the body of a person to be diagnosed or another animal (hereinafter, “target patient”) with a camera. More specifically, for example, a tissue is collected from the body of the target patient, a tissue section cut out from the collected tissue is enlarged with a microscope, and the enlarged tissue is imaged with a camera, thereby generating pathological image data 10 can do.
  • the information processing apparatus 2000 performs prediction regarding the influence of the cancer therapeutic agent on the target patient based on the histomorphological characteristics of the tissue included in the pathological image data 10. Specifically, the information processing apparatus 2000 extracts the histomorphological features of the tissue included in the pathological image data 10 and generates the prediction data 30 based on the extracted histomorphological features.
  • the prediction data 30 is information indicating prediction regarding the influence of the cancer therapeutic drug on the target patient. Specifically, the prediction data 30 indicates one or more of prediction regarding the effect of the cancer therapeutic agent on the target patient and prediction regarding the side effect of the cancer therapeutic agent on the target patient.
  • the information processing apparatus 2000 of the present embodiment prediction regarding the influence of a cancer therapeutic agent on the target patient is obtained using the histomorphological characteristics obtained by image analysis of the pathological image data 10 of the target patient. It is done. Therefore, according to the information processing apparatus 2000, the pathological image data can be used for new predictions other than the prediction of disease malignancy and prognosis.
  • a doctor can determine whether or not to administer a cancer therapeutic drug to a target patient after referring to predictions regarding the effects and side effects of the cancer therapeutic drug by a computer. it can. Thus, a doctor can more accurately determine whether or not to administer a cancer therapeutic drug.
  • the information processing apparatus 2000 makes predictions regarding effects and side effects for each of a plurality of cancer therapeutic agents, the doctor can determine which type of cancer therapeutic agent is suitable for the target patient. It becomes possible to judge more accurately.
  • the effect that cancer can be cured can be increased, and the possibility of side effects of cancer drugs can be reduced. There is an effect that can be done. In addition, there is also an effect that a more accurate explanation of the effects and side effects of the cancer therapeutic agent can be given to the patient before administration of the cancer therapeutic agent.
  • FIG. 2 is a block diagram illustrating the functional configuration of the information processing apparatus 2000.
  • the information processing apparatus 2000 includes an extraction unit 2020 and a generation unit 2040.
  • the extraction unit 2020 extracts the histomorphological features of the tissue included in the pathological image data 10 of the target patient.
  • the generation unit 2040 generates the prediction data 30 using the extracted histomorphological features.
  • Each functional component of the information processing apparatus 2000 may be realized by hardware (eg, a hard-wired electronic circuit) that implements each functional component, or a combination of hardware and software (eg: It may be realized by a combination of an electronic circuit and a program for controlling it).
  • hardware eg, a hard-wired electronic circuit
  • software eg: It may be realized by a combination of an electronic circuit and a program for controlling it.
  • FIG. 3 is a diagram illustrating a computer 1000 for realizing the information processing apparatus 2000.
  • the computer 1000 is an arbitrary type of computer.
  • the computer 1000 is a Personal Computer (PC), a server machine, a tablet terminal, or a smartphone.
  • the computer 1000 may be a dedicated computer designed for realizing the information processing apparatus 2000 or a general-purpose computer.
  • the processor 1040 is various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field-Programmable Gate Array).
  • the memory 1060 is a main storage device realized using a RAM (Random Access Memory) or the like.
  • the storage device 1080 is an auxiliary storage device realized by using a hard disk, an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory).
  • the input / output interface 1100 is an interface for connecting the computer 1000 and an input / output device.
  • the input / output interface 1100 is connected to an input device such as a keyboard and an output device such as a display device.
  • the network interface 1120 is an interface for connecting the computer 1000 to a communication network.
  • This communication network is, for example, “LAN (Local Area Network)” or “WAN (Wide Area Network)”.
  • a method of connecting the network interface 1120 to the communication network may be a wireless connection or a wired connection.
  • the storage device 1080 stores a program module that implements each functional component of the information processing apparatus 2000.
  • the processor 1040 implements a function corresponding to each program module by reading each program module into the memory 1060 and executing the program module.
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the information processing apparatus 2000 according to the first embodiment.
  • the extraction unit 2020 acquires the pathological image data 10 (S102).
  • the extraction unit 2020 extracts the histomorphological features of the tissue included in the pathological image data 10 (S104).
  • the generation unit 2040 generates the prediction data 30 using the extracted histomorphological features (S106).
  • the timing at which the information processing apparatus 2000 executes the series of processes shown in FIG. 4 varies.
  • the information processing apparatus 2000 executes a series of processes in response to a user operation that instructs execution of the processes.
  • the user performs an operation of selecting one of the pathological image data 10 stored in the storage device.
  • the information processing apparatus 2000 generates the prediction data 30 for the selected pathological image data 10.
  • the information processing apparatus 2000 may execute a series of processes illustrated in FIG. 4 in response to receiving the pathological image data 10 from an external apparatus.
  • the pathological image data 10 is transmitted from the camera that generated the pathological image data 10.
  • the cancer therapeutic drug to be predicted is any drug used for the treatment of cancer.
  • cancer therapeutics are immune checkpoint inhibitors.
  • the cancer therapeutic agent may be an anticancer agent.
  • the information processing apparatus 2000 may predict the effect of the cancer therapeutic agent without specifying the type of cancer, or may predict the effect of the cancer therapeutic agent for a specific type of cancer. For example, the information processing apparatus 2000 predicts the effect of a cancer therapeutic agent for lung cancer and melanoma.
  • the types of cancer for which the information processing apparatus 2000 can predict effects are not limited to these types.
  • the information processing apparatus 2000 acquires the pathological image data 10 (S102).
  • the pathological image data 10 may be image data itself generated by a camera, or may be processed image data generated by a camera. In the latter case, for example, the pathological image data 10 is image processing (trimming) for deleting unnecessary image regions and color correction for facilitating the extraction of histomorphological features from the image data generated by the camera. And so on. These image processes may be performed by the information processing apparatus 2000, or may be performed by an apparatus other than the information processing apparatus 2000.
  • the tissue section is stained by a predetermined method so that the image analysis of the substance from which the histomorphological features are to be extracted becomes easy.
  • the substance from which the histomorphological features are extracted is, for example, PD-L1, immune cells, or tumor cells, as described later.
  • immunohistochemical staining IHC: Immunohistochemistry
  • HE hematoxylin and eosin
  • the pathological image data 10 is generated for each substance from which the histomorphological features are extracted by staining a plurality of tissue sections collected from the target patient using different methods.
  • the plurality of tissue sections are preferably generated by cutting out a plurality of sections from a group of tissues. By doing so, a plurality of pathological image data 10 representing substantially the same tissue structure can be obtained.
  • the method by which the information processing apparatus 2000 acquires the pathological image data 10 is arbitrary.
  • the information processing apparatus 2000 acquires the pathological image data 10 by accessing a storage device in which the pathological image data 10 is stored.
  • the storage device in which the pathological image data 10 is stored may be provided inside the camera that generates the pathological image data 10 or may be provided outside the camera.
  • the information processing apparatus 2000 may acquire the pathological image data 10 by receiving the pathological image data 10 transmitted from the camera.
  • the extraction unit 2020 extracts the histomorphological features of the tissue included in the pathological image data 10 (S104).
  • the extracted histomorphological features are image features related to the shape and distribution of substances such as cells and proteins constituting the tissue.
  • substance the morphological features are extracted and what kind of histological features are extracted from the substance.
  • PD-L1 is a molecule expressed in tumor cells and the like, and suppresses the activity of immune cells by binding to PD-1 molecules of immune cells. Therefore, if PD-L1 is expressed in a large amount, the activity of immune cells is greatly suppressed. This suggests that PD-L1 is a substance closely related to cancer healing. Therefore, it is considered that there is a correlation between the histomorphological characteristics of PD-L1 and the effects of cancer drugs on target patients. In particular, the effect of immune checkpoint inhibitors is thought to have a large correlation with the histomorphological characteristics of PD-L1. This is because an immune checkpoint inhibitor is a drug that prevents the activity of immune cells from being suppressed by binding to PD-L1 of tumor cells instead of PD-1 of immune cells.
  • the extraction unit 2020 extracts the histomorphological features of PD-L1 included in the pathological image data 10.
  • the extraction unit 2020 has a positive rate, an index value indicating how much PD-L1 surrounds tumor cells (circumferentiality of PD-L1 with respect to tumor cells), and the degree of PD-L1 staining (PD- One or more of L1 ⁇ staining intensity) and tumor cell size expressing PD-L1 is extracted as a histomorphological feature.
  • the positive rate is the percentage of cells that are positive for the expression of the molecule to be stained with respect to all evaluation targets. For example, for PD-L1, “stainability of target tumor cells in the cell membrane is evaluated, and tumor proportion score (TPS, the ratio of ⁇ ⁇ PD-L1 positive cells to all tumor cells) is used as an index. Regardless of whether the staining of the cell membrane is partial or circumferential, it is determined as positive if it is stained even a little. " Thus, for example, the positive rate of PD-L1 is calculated as a ratio using the total number of tumor cells as the denominator and the number of tumor cells expressing PD-L1 as the numerator.
  • the circumference of PD-L1 with respect to tumor cells is expressed, for example, by the ratio between the sum of the lengths of the stained portions of the cell membrane of the tumor cells and the overall length of the cell membrane.
  • the staining intensity of PD-L1 is expressed, for example, as a ratio between the statistical value (for example, average value) of the luminance of the pixel representing PD-L1 in the pathological image data 10 and the reference luminance.
  • the pixel representing PD-L1 is a pixel representing a stained portion in the pathological image data 10.
  • the standard luminance is the luminance of PD-L1 when dyed most intensely.
  • the size of the tumor cell in which PD-L1 is expressed is expressed, for example, by the distance between the center of the nucleus of the tumor cell and the cell membrane of the tumor cell.
  • tumor cells need to be detected from the pathological image data 10 in order to calculate the circumference of PD-L1 and the size of tumor cells expressing PD-L1 relative to the tumor cells.
  • a method for detecting tumor cells from the pathological image data 10 will be described later.
  • the circumference of PD-L1 with respect to tumor cells and the size of tumor cells expressing PD-L1 are calculated for multiple tumor cells.
  • the extraction unit 2020 extracts the statistical values of these index values calculated for a plurality of tumor cells as histomorphological features related to PD-L1.
  • the extraction unit 2020 calculates the omnidirectionality of PD-L1 for a plurality of tumor cells, and calculates statistical values (for example, average values) of the plurality of calculated values for all of PD-L1 extracted from the pathological image data 10. Peripheral. The same applies to the size of tumor cells.
  • the index value such as circumference may be calculated for all detected tumor cells, or may be calculated for some of the detected tumor cells.
  • Immune cells especially CD4-positive T cells and CD8-positive T cells
  • CD4-positive T cells and CD8-positive T cells have a function of eliminating tumor cells, and thus can be said to be closely related to cancer healing. Therefore, it is considered that there is a correlation between the histomorphological characteristics of these immune cells and the effects of cancer therapeutic agents on the target patient.
  • the extraction unit 2020 extracts the histomorphological features of immune cells (for example, one or both of CD4 -positive T cells and CD8 -positive T cells) included in the pathological image data 10. For example, the extraction unit 2020 extracts any one or more of the positive rate, the degree of staining of immune cells (staining intensity of immune cells), the size of immune cells, and the distribution of immune cells as histomorphological features. To do.
  • immune cells for example, one or both of CD4 -positive T cells and CD8 -positive T cells
  • the extraction unit 2020 extracts any one or more of the positive rate, the degree of staining of immune cells (staining intensity of immune cells), the size of immune cells, and the distribution of immune cells as histomorphological features. To do.
  • the positive rate of immune cells can be calculated as a ratio based on the number of cells, for example, similarly to the positive rate of PD-L1.
  • the positive rate of immune cells may be calculated as a ratio using the tumor tissue area as a denominator and the area occupied by immune cells as a molecule.
  • the method of expressing the staining intensity and size of immune cells is the same as the method of expressing the staining intensity and size of PD-L1, respectively.
  • the size of immune cells is calculated for a plurality of immune cells.
  • the extraction unit 2020 uses a histomorphological feature representing the size of immune cells, and a histomorphological feature representing the size of tumor cells calculated for a plurality of tumor cells expressing PD-L1. Extract in the same way as
  • the distribution of immune cells is an index representing the distribution of the positions of immune cells in the pathological image data 10.
  • the distribution of immune cells represents the degree to which immune cells are scattered throughout the pathological image data 10.
  • the extraction unit 2020 divides the image area of the pathological image data 10 into a plurality of partial areas, and counts the number of immune cells included in each partial area. By doing so, a histogram representing the number of immune cells included in each partial region can be obtained, and the distribution of immune cells is represented by this histogram.
  • the distribution of immune cells may be a distribution determined by the positional relationship between immune cells and tumor cells.
  • the distribution of immune cells is calculated as a ratio with the total number of immune cells as the denominator and the number of immune cells located in the tumor cells as the numerator. In this way, when information related to tumor cells is used for calculation of the distribution of immune cells, the extraction unit 2020 detects tumor cells from the pathological image data 10.
  • a cancer therapeutic agent is an agent that directly or indirectly eliminates tumor cells. Therefore, various information on tumor cells is considered to be greatly related to the effects and side effects of cancer therapeutic agents. Therefore, it can be said that the histomorphological characteristics regarding tumor cells have a large correlation with the influence of cancer therapeutic agents on target patients.
  • the extraction unit 2020 extracts the histomorphological features of the cell nuclei of one or more tumor cells included in the pathological image data 10. For example, the extraction unit 2020 extracts an area, a perimeter, a circularity (degree close to a perfect circle), a contour complexity, an index value related to texture, a major axis, a minor axis, a density, and an area of the cell nucleus and the cell nucleus. Any one or more of the ratio to the circumscribed rectangle area is extracted as a histomorphological feature.
  • the index value regarding the texture of the cell nucleus is, for example, angular second moment, contrast, uniformity, or entropy.
  • the existing technique can be utilized for the technique which extracts the histomorphological characteristic regarding the cell nucleus mentioned above from image data.
  • the extraction unit 2020 detects tumor cells from the pathological image data 10 in order to extract histomorphological features.
  • An existing technique can be used as a technique for detecting tumor cells from the pathological image data 10.
  • a detector realized by a neural network or the like is learned to detect tumor cells from image data. By doing so, a detector for detecting tumor cells from the pathological image data 10 can be configured.
  • the extraction unit 2020 detects tumor cells from the pathological image data 10 by inputting the pathological image data 10 to the detector.
  • the extraction unit 2020 preferably performs detection of tumor cells using image data of tissue sections stained with HE.
  • pathological image data 10 of tissue sections stained by different methods is generated by cutting a plurality of tissue sections from a group of tissues collected from a target patient.
  • each of the plurality of pathological image data 10 includes tissues having substantially the same structure.
  • the extraction unit 2020 detects tumor cells by performing image analysis on the pathological image data 10 of the tissue section stained with HE. Then, the extraction unit 2020 considers that the tumor cells detected from the pathological image data 10 of the HE-stained tissue section are also present in the pathological image data 10 stained by other methods at the same size and position. Then, the histomorphological features are extracted from each pathological image data 10.
  • the extraction unit 2020 may extract histomorphological features from the entire pathological image data 10, or may extract histomorphological features from some image regions of the pathological image data 10.
  • this “partial image area” is referred to as ROI.
  • the ROI extracted from one pathological image data 10 may be one or plural.
  • the extraction unit 2020 receives a user operation that specifies ROI.
  • the extraction unit 2020 automatically extracts ROI from the pathological image data 10.
  • a method of automatically extracting “ROI” will be described.
  • the extraction unit 2020 performs image processing on the pathological image data 10 to generate image data in which the center of the cell nucleus is emphasized.
  • the enhancement of the center of the cell nucleus can be realized, for example, by applying a ring filter having a radius similar to that of the cell nucleus to image data obtained by converting the pathological image data 10 to gray scale.
  • image data obtained by inverting the G (green) channel constituting the pathological image data 10 may be used.
  • the extraction unit 2020 specifies the center position of each cell nucleus by searching for the peak of the luminance value for the image data in which the center of the cell nucleus is emphasized. Then, the extraction unit 2020 extracts an image area having a predetermined shape and size and having a center position that is the center position of the cell nucleus as an ROI. By doing so, one ROI is extracted per cell nucleus.
  • the extraction unit 2020 reduces the ROI by adjusting the overlap of the ROI (that is, thins out the ROI).
  • the thinning out of ROI can be realized as follows, for example.
  • the extraction unit 2020 counts the cell nuclei existing in the image area having a predetermined radius d from the center, and orders the ROI by the number of counted cell nuclei.
  • the extraction unit 2020 identifies the “ROI” having the largest cell nucleus count as the “ROI” that is not deleted.
  • the extraction unit 2020 deletes ROI having a center in the image area having a predetermined radius R from the center of the specified ROI. Thereby, since the “ROI” existing in the vicinity of the “ROI” that is not deleted is deleted, the overlap between the ROIs is reduced.
  • the extraction unit 2020 identifies, among the remaining ROIs (excluding those specified as ROI that is not deleted), ROI that has the largest number of cell nuclei as ROI that is not deleted, and a predetermined radius R from the center of this ROI. Delete the ROI that has the center in the image area. Thereafter, the extraction unit 2020 repeats the same processing until all the remaining ROI s become ROI that is not deleted.
  • pathological image data 10 of tissue sections stained by different methods is generated by cutting out a plurality of tissue sections from a group of tissues collected from a target patient.
  • the extraction unit 2020 may extract ROI having the same position and size from the plurality of pathological image data 10. Specifically, the extraction unit 2020 first extracts ROI for one of the plurality of pathological image data 10 based on a user operation or a predetermined standard. Thereafter, the extraction unit 2020 extracts the same ROI from other pathological image data 10. By doing so, it is possible to reduce the time and computer resources required to extract ROI.
  • FIG. 5 is a diagram illustrating a flow of processing for extracting histomorphological features from the pathological image data 10.
  • the extraction unit 2020 extracts ROI from the pathological image data 10 (S202).
  • the extraction unit 2020 detects tumor cells from the ROI sputum (S204).
  • the extraction unit 2020 extracts histomorphological features from the ROI sputum using the tumor cell detection result (S206).
  • the generation unit 2040 generates the prediction data 30 using the histomorphological features extracted by the extraction unit 2020 (S106). There may be one or a plurality of histomorphological features used for generating the prediction data 30. When a plurality of histomorphological features are used, a histomorphological feature extracted from one pathological image data 10 may be used, or a histomorphology extracted from a plurality of pathological image data 10 may be used. Characteristic features may be used. For example, in the former case, multiple histomorphological features related to PL-D1 are used. On the other hand, in the latter case, for example, one or more histomorphological features relating to PL-D1 and one or more histomorphological features relating to immune cells are utilized.
  • the prediction data 30 indicates one or more of prediction regarding the effect of the cancer therapeutic agent on the target patient and prediction regarding the side effect of the cancer therapeutic agent on the target patient. Each will be described below.
  • Predictive data 30 relating to the effects of cancer therapeutic agents is based on whether or not the cancer therapeutic agents are effective for the target patient (either “effective” or “ineffective”), The probability of exerting an effect on the target patient, the magnitude of the effect of the cancer therapeutic agent on the target patient, and the like are shown.
  • a prediction model learned to output a prediction of the effect of a cancer therapeutic agent on the target patient is used.
  • various models such as a neural network, an SVM (support vector machine), or a decision tree can be adopted.
  • the generation unit 2040 inputs the histomorphological features extracted by the extraction unit 2020 to the prediction model. As a result, data representing the prediction regarding the effect of the cancer therapeutic agent is output from the prediction model.
  • the prediction model targets the cancer therapeutic drug in response to the input of the histomorphological characteristics. Data indicating whether or not the patient is effective is output. For example, when it is predicted that the effect will be exhibited, 1 is output from the prediction model, and when it is predicted that the effect is not exhibited, 0 is output from the prediction model.
  • the prediction model indicates that the cancer therapeutic agent is applied to the target patient in response to the input of histomorphological features. The probability that the effect is exerted is output.
  • the prediction model When generating the prediction data 30 indicating the magnitude of the effect that the cancer therapeutic drug exerts on the target patient, the prediction model indicates that the cancer therapeutic drug is applied to the target patient according to the input of the histomorphological characteristics. Outputs data representing the magnitude of the effect exerted on.
  • the magnitude of the effect of the cancer therapeutic agent is represented, for example, by any one of a predetermined number of stages of evaluation (for example, 5-stage evaluation).
  • teacher data is generated when a doctor actually administers a cancer drug to a patient and diagnoses the patient's condition thereafter.
  • the teacher data represents (1) a histomorphological feature extracted from image data of a patient's tissue section, and (2) a patient's condition after administration of a cancer drug to the patient. It is a combination with data (hereinafter, result data).
  • the result data Is the data indicating whether or not the effect has been exerted after administration to the patient (for example, 1 when the effect is exhibited and 0 when the effect does not appear).
  • the result data is data representing how much the effect was after the cancer therapeutic agent was administered to the patient. The magnitude of the effect of the cancer therapeutic agent is determined, for example, by selecting one from a predetermined number of stages of evaluation by the doctor who diagnosed the patient.
  • a prediction model for each type of cancer therapeutic drug For example, learning of a prediction model for performing prediction regarding the cancer therapeutic agent A is performed by using teacher data generated for a patient who has been administered the cancer therapeutic agent A, and learning for a prediction model for performing prediction regarding the cancer therapeutic agent B. Uses the teacher data generated for the patient who received the cancer treatment drug B.
  • generation part 2040 produces
  • the prediction data 30 indicating the prediction regarding the side effect of the cancer therapeutic agent is, for example, whether or not a side effect occurs due to administration of the cancer therapeutic agent to the target patient (either “occurs” or “does not occur”), The probability that a side effect occurs due to administration of a cancer therapeutic agent to a target patient, or the magnitude of a side effect that occurs due to administration of a cancer therapeutic agent to a target patient is shown.
  • Prediction data 30 indicating the prediction regarding the side effect of the cancer therapeutic agent can be generated in the same manner as the prediction data 30 indicating the prediction regarding the effect of the cancer therapeutic agent. For example, a prediction model that is learned to output a prediction regarding the side effects that the cancer drug has on the target patient is used.
  • the generation unit 2040 obtains a prediction related to the side effect of the cancer therapeutic agent by inputting the histomorphological features extracted by the extraction unit 2020 into the prediction model, and generates prediction data 30 indicating the prediction.
  • the teacher data used to learn the prediction model that outputs predictions about the side effects of cancer treatment drugs is similar to the teacher data used to learn prediction models that output predictions about the effects of cancer treatment drugs. It can be generated by actually administering a cancer drug to the patient and diagnosing the patient's condition thereafter.
  • the generation unit 2040 inputs the histomorphological features extracted by the extraction unit 2020 to each prediction model, thereby generating the prediction data 30 in which side effects for each cancer therapeutic agent are predicted for the target patient.
  • the generation unit 2040 may generate the prediction data 30 by distinguishing the types of side effects. That is, the generation unit 2040 may generate the prediction data 30 for each type of side effect. In this case, a prediction model is prepared for each type of side effect. The generation unit 2040 generates the prediction data 30 in which each side effect is predicted for the target patient by inputting the histomorphological features extracted by the extraction unit 2020 into each prediction model.
  • a prediction model is prepared for each combination of “type of cancer therapeutic agent, type of side effects”.
  • One or more histomorphological features used for the prediction may be automatically determined by the information processing apparatus 2000, or may be manually determined by a user (for example, a doctor) of the information processing apparatus 2000.
  • a deep neural network that is, when prediction data 30 is generated using deep learning
  • a plurality of tissue morphological features are obtained as a result of learning of a prediction model using teacher data.
  • histomorphological features useful for prediction are automatically determined.
  • a user when manually determining the histomorphological features to be used, a user such as a doctor, for example, determines one or more histomorphological features useful for prediction, and predicts using the determined histomorphological features.
  • a prediction model is generated so that the data 30 is generated. In this case, it is not always necessary to generate a prediction model by machine learning, and the user may generate a prediction model (that is, determine parameters to be set in the prediction model).
  • Prediction data 30 is generated for one or more types of cancer therapeutics.
  • the information processing apparatus 2000 may be configured to generate the prediction data 30 for a predetermined type of cancer therapeutic agent in advance, or specify the type of cancer therapeutic agent to be predicted, and the specified type Prediction data 30 may be generated for a cancer therapeutic.
  • the information processing apparatus 2000 receives an input operation for designating the type of cancer therapeutic drug to be predicted.
  • the information processing apparatus 2000 generates the prediction data 30 for the specified type of cancer therapeutic agent.
  • information indicating the type of cancer therapeutic drug to be predicted may be stored in the storage device. In this case, the information processing apparatus 2000 reads the information from the storage device to identify the type of cancer therapeutic drug to be predicted.
  • the effect of a cancer therapeutic agent may be predicted without specifying the type of cancer, or may be predicted for a specific type of cancer.
  • the information processing apparatus 2000 may be configured to generate the prediction data 30 for a predetermined type of cancer in advance, specify the type of cancer to be predicted, and specify the specified type of cancer.
  • Predictive data 30 may be generated for cancer.
  • the method for specifying the type of cancer to be predicted is the same as the method for specifying the type of cancer therapeutic agent to be predicted.
  • the prediction data 30 is generated for one or more types of side effects.
  • the information processing apparatus 2000 may be configured to generate the prediction data 30 for a predetermined type of side effect in advance, specify the type of side effect to be predicted, and use the prediction data 30 for the specified type of side effect. It may be generated.
  • the method for identifying the side effect to be predicted is the same as the method for identifying the cancer therapeutic drug to be predicted.
  • the generation unit 2040 outputs the generated prediction data 30 in some form.
  • the generation unit 2040 stores the prediction data 30 in the storage device.
  • the generation unit 2040 may display the prediction data 30 on the display device.
  • FIG. 6 is a diagram illustrating the prediction data 30 in a table format.
  • the table 200 exemplifies prediction data 30 indicating prediction regarding the effect of a cancer therapeutic agent.
  • the table 300 exemplifies the prediction data 30 indicating the prediction regarding the side effects of the cancer therapeutic drug.
  • the table 200 has columns of a patient identifier 202, a cancer type 204, a drug 206, and a prediction 208.
  • the patient identifier 202 is an identifier assigned to the target patient.
  • the cancer type 204 indicates the type of cancer to be predicted.
  • the drug 206 indicates the type of cancer therapeutic drug to be predicted.
  • a prediction 208 indicates a prediction regarding the effect of the cancer therapeutic agent. In the record on the first line, the prediction 208 indicates the prediction of the presence or absence of the effect of the cancer therapeutic agent. In the record on the second line, the prediction 208 indicates the prediction of the probability that the effect of the cancer therapeutic agent will appear. In the record on the third line, a prediction 208 indicates a prediction of the magnitude of the effect of the cancer therapeutic drug with a five-step evaluation.
  • the table 300 includes columns of a patient identifier 302, a side effect type 304, a drug 306, and a prediction 308.
  • the patient identifier 302 is an identifier assigned to the target patient.
  • the type of side effect 304 indicates the type of side effect that is a prediction target.
  • the drug 306 and the type of cancer therapeutic drug to be predicted are shown.
  • Prediction 308 indicates a prediction regarding the side effects of the cancer drug. In the record on the first line, the prediction 308 indicates the prediction of the presence or absence of side effects. In the record on the second line, the prediction 308 indicates the prediction of the probability that a side effect appears. In the record on the third line, the prediction 308 indicates the prediction of the magnitude of the side effect with a five-level evaluation.
  • the cancer therapeutic agent is an immune checkpoint inhibitor; The information processing apparatus described in 1.
  • the pathological image data is image data including a tissue subjected to immunohistochemistry (IHC: Immunohistochemistry), The extraction unit extracts a histomorphological feature of PD-L1 included in the pathological image data. Or 2.
  • the histomorphological characteristics of PD-L1 extracted by the extractor are as follows: PD-L1 peripheries in PD-L1 expressing tumor cells, PD-L1 staining intensity, and PD-L1 expressing tumor cells 2. one or more of the sizes of The information processing apparatus described in 1. 5.
  • the pathological image data is image data including a tissue subjected to immunohistochemistry (IHC: Immunohistochemistry), The extraction unit extracts a histomorphological feature of immune cells included in the pathological image data.
  • IHC Immunohistochemistry
  • the histomorphological characteristics of immune cells extracted by the extraction unit are any one or more of positive rate, staining intensity of immune cells, and size of immune cells.
  • the pathological image data is image data including a tissue subjected to hematoxylin and eosin staining,
  • the extraction unit extracts a histomorphological feature of a cell nucleus of a tumor cell included in the pathological image data.
  • the information processing apparatus according to any one of the above. 8).
  • the histological features of the cell nuclei extracted by the extraction unit include the area of the cell nucleus, the perimeter of the cell nucleus, the degree of circularity of the cell nucleus, the degree of complexity of the outline of the cell nucleus, the index value related to the texture of the cell nucleus, the major axis of the cell nucleus, the shortness of the cell nucleus 6. one or more of a diameter, a ratio of the area of the cell nucleus and the area of the circumscribed rectangle of the cell nucleus, and a density of the cell nucleus; The information processing apparatus described in 1. 9.
  • the generation unit extracts a tissue extracted by the extraction unit with respect to a learned prediction model that outputs a prediction regarding the influence of a cancer therapeutic agent on the target patient in response to input of a histomorphological feature Generating said prediction data by applying morphological features; To 8.
  • the information processing apparatus according to any one of the above. 10.
  • the extraction unit detects a tumor cell from a cell nucleus included in the partial region included in the pathological image data, and detects the cell nucleus of the detected tumor cell or PD-L1 expressed in the tumor cell. Extract histomorphological features; Thru 9.
  • the information processing apparatus according to any one of the above.
  • a control method executed by a computer An extraction step for extracting histomorphological features of the tissue included in the pathological image data of the target patient; Using the extracted histomorphological features, generating prediction data indicating one or more of prediction regarding the effect of the cancer therapeutic agent on the target patient and prediction regarding the side effect of the cancer therapeutic agent on the target patient And a generating step.
  • the cancer therapeutic agent is an immune checkpoint inhibitor, The control method described in 1.
  • the pathological image data is image data including a tissue subjected to immunohistochemistry (IHC: Immunohistochemistry), 10.
  • IHC Immunohistochemistry
  • the histomorphological characteristics of PD-L1 extracted in the extraction step are PD-L1 peripheries in PD-L1 expressing tumor cells, PD-L1 staining intensity, and PD-L1 expressing tumor cells. Any one or more of the following sizes: 13.
  • the pathological image data is image data including a tissue subjected to immunohistochemistry (IHC: Immunohistochemistry), 10.
  • IHC Immunohistochemistry
  • a histomorphological feature of immune cells included in the pathological image data is extracted.
  • the histomorphological characteristics of immune cells extracted in the extraction step are any one or more of positive rate, staining intensity of immune cells, and size of immune cells.
  • the pathological image data is image data including a tissue subjected to hematoxylin and eosin staining, 10.
  • a histomorphological feature of a cell nucleus of a tumor cell included in the pathological image data is extracted.
  • the histomorphological characteristics of the cell nucleus extracted in the extraction step include the area of the cell nucleus, the perimeter of the cell nucleus, the degree of circularity of the cell nucleus, the degree of complexity of the outline of the cell nucleus, the index value relating to the texture of the cell nucleus, the major axis of the cell nucleus, the shortness of the cell nucleus 16.
  • a tumor cell is detected from the cell nucleus included in the partial region, and the detected cell nucleus of the detected tumor cell or PD-L1 expressed in the tumor cell 10. Extract histomorphological features; Thru 19.

Abstract

情報処理装置（２０００）は、病理画像データ（１０）に含まれる組織の組織形態学的特徴を抽出する。さらに情報処理装置（２０００）は、抽出した組織形態学的特徴に基づいて、予測データ（３０）を生成する。予測データ（３０）は、対象患者に対するがん治療薬の効果に関する予測、及び対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す。

Description

情報処理装置、制御方法、及びプログラム
　本発明は、病理画像の画像解析に関する。
　人や動物の疾患を診断する方法の１つとして、病理画像を用いた病理診断が行われている。病理画像とは、人や動物の体の組織から作製した染色切片をカメラやデジタルスライドスキャナーで撮像することで得られる画像である。
　そして、病理画像のデータ（以下、病理画像データ）を画像解析することで、疾患に関する情報などを得る技術が開発されている。例えば特許文献１は、病理画像データから細胞核に関する特徴量を算出し、算出した特徴量と評価関数に基づいて、疾患の予後の予測及び疾患の悪性度の予測を行う技術を開示している。その他にも例えば、特許文献２は、刺激に対する細胞の各構成要素の特徴量変化から、細胞内の構成要素間の相関を解析する技術を開示している。
国際公開第２０１５／０４０９９０号 国際公開第２０１８／００３０６３号
　現状、病理画像データに対する画像解析は、前述した疾患の悪性度及び予後の予測、並びに刺激に対する細胞内の相関解析という限定的な目的で活用されている。本発明者は、病理画像データに対する画像解析をこれらの目的以外にも活用できることを見出した。本発明の目的の一つは、病理画像データに対する画像解析の新たな活用方法を提供することである。
　本発明の情報処理装置は、１）対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出部と、２）抽出した組織形態学的特徴を用いて、対象患者に対してがん治療薬が与える影響に関する予測を示す予測データを生成する生成部と、を有する。
　本発明の制御方法は、コンピュータによって実行される制御方法である。当該制御方法は、１）対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出ステップと、２）抽出した組織形態学的特徴を用いて、対象患者に対してがん治療薬が与える影響に関する予測を示す予測データを生成する生成ステップと、を有する。
　本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
　本発明によれば、病理画像データに対する画像解析の新たな活用方法が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態１の情報処理装置の動作を概念的に例示する図である。 情報処理装置の機能構成を例示するブロック図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 病理画像データから組織形態学的特徴を抽出する処理の流れを例示する図である。 予測データをテーブル形式で例示する図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
［実施形態１］
　図１は、実施形態１の情報処理装置２０００の動作を概念的に例示する図である。なお、図１は、情報処理装置２０００の理解を容易にするためにその動作の一例を示しているにすぎず、情報処理装置２０００の機能を何ら限定するものではない。
　情報処理装置２０００は、病理画像データ１０について画像解析を行う。病理画像データ１０は、診断対象の人その他の動物（以下、対象患者）の体内の組織をカメラで撮像することで得られる画像データである。より具体的には、例えば、対象患者の体内から組織を採取し、採取した組織から切り出した組織切片を顕微鏡で拡大し、拡大された組織をカメラで撮像することで、病理画像データ１０を生成することができる。
　情報処理装置２０００は、病理画像データ１０に含まれる組織の組織形態学的特徴に基づいて、がん治療薬が対象患者に与える影響に関する予測を行う。具体的には、情報処理装置２０００は、病理画像データ１０に含まれる組織の組織形態学的特徴を抽出し、抽出した組織形態学的特徴に基づいて、予測データ３０を生成する。予測データ３０は、がん治療薬が対象患者に与える影響に関する予測を示す情報である。具体的には、予測データ３０は、対象患者に対するがん治療薬の効果に関する予測、及び対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す。
＜作用・効果＞
　本実施形態の情報処理装置２０００によれば、対象患者の病理画像データ１０を画像解析することで得られる組織形態学的特徴を用いて、がん治療薬が対象患者に与える影響に関する予測が得られる。よって、情報処理装置２０００によれば、病理画像データを、病気の悪性度や予後の予測以外の新たな予測に活用することができる。
　また、情報処理装置２０００を利用することにより、医師は、コンピュータによるがん治療薬の効果や副作用に関する予測を参照した上で、がん治療薬を対象患者に投与するかどうかを判断することができる。よって、がん治療薬を投与するか否かを、医師がより正確に判断することができるようになる。また、後述するように、情報処理装置２０００が、複数のがん治療薬それぞれについて効果や副作用に関する予測を行えば、医師は、どの種類のがん治療薬が対象患者に適しているのかを、より正確に判断することができるようになる。
　このようにがん治療薬の投与についてより正確な判断ができるようになることには、がんが治る確率を高くすることができるという効果や、がん治療薬の副作用が発生する確率を低くすることができるという効果がある。また、がん治療薬の投与を行う前に、患者に対し、がん治療薬の効果や副作用についてより正確な説明をすることができるという効果もある。
　以下、本実施形態についてさらに詳細を述べる。
＜機能構成の例＞
　図２は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は、抽出部２０２０及び生成部２０４０を有する。抽出部２０２０は、対象患者の病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する。生成部２０４０は、抽出した組織形態学的特徴を用いて、予測データ３０を生成する。
＜情報処理装置２０００のハードウエア構成の例＞
　情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は、任意の種類の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
＜処理の流れ＞
　図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。抽出部２０２０は、病理画像データ１０を取得する（Ｓ１０２）。抽出部２０２０は、病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する（Ｓ１０４）。生成部２０４０は、抽出した組織形態学的特徴を用いて予測データ３０を生成する（Ｓ１０６）。
　情報処理装置２０００が図４に示す一連の処理を実行するタイミングは様々である。例えば情報処理装置２０００は、処理の実行を指示するユーザ操作が行われたことに応じて、一連の処理を実行する。例えばユーザは、記憶装置に記憶されている病理画像データ１０の中から１つを選択する操作を行う。その結果、情報処理装置２０００は、選択された病理画像データ１０を対象として予測データ３０の生成を行う。その他にも例えば、情報処理装置２０００は、外部の装置から病理画像データ１０を受信したことに応じて、図４に示す一連の処理を実行してもよい。例えば病理画像データ１０は、病理画像データ１０を生成したカメラから送信される。
＜がん治療薬について＞
　予測の対象とするがん治療薬は、がんの治療に用いられる任意の薬である。例えばがん治療薬は、免疫チェックポイント阻害剤である。その他にも例えば、がん治療薬は、抗がん剤などでもよい。
＜がんの種類について＞
　情報処理装置２０００は、がんの種類を特定せずにがん治療薬の効果を予測してもよいし、特定の種類のがんについてがん治療薬の効果を予測してもよい。例えば情報処理装置２０００は、肺がんやメラノーマを対象として、がん治療薬の効果を予測する。情報処理装置２０００が効果を予測できるがんの種類は、これらの種類に限定されない。
＜病理画像データ１０の取得：Ｓ１０２＞
　情報処理装置２０００は、病理画像データ１０を取得する（Ｓ１０２）。病理画像データ１０は、カメラによって生成された画像データそのものであってもよいし、カメラによって生成された画像データを加工したものであってもよい。後者の場合、例えば病理画像データ１０は、カメラによって生成された画像データに対し、不要な画像領域を削除する画像処理（トリミング）や、組織形態学的特徴の抽出を容易にするための色調補正などを施すことで生成される。これらの画像処理は、情報処理装置２０００によって行われてもよいし、情報処理装置２０００以外の装置によって行われてもよい。
　病理画像データ１０を生成する際、組織形態学的特徴の抽出対象である物質の画像解析が容易になるように、組織切片が所定の方法で染色される。組織形態学的特徴の抽出対象となる物質は、例えば後述するように、PD-L1、免疫細胞、又は腫瘍細胞などである。PD-L1 や免疫細胞について組織形態学的特徴を抽出する場合には、例えば、組織切片に対して免疫組織染色(IHC: Immunohistochemistry）が施される。また、腫瘍細胞について組織形態学的特徴を抽出する場合には、例えば、組織切片に対してヘマトキシリン・エオシン（HE）染色が施される。なお、PD-L1 に関する組織形態学的特徴を抽出するために行う IHC 染色と、免疫細胞に関する組織形態学的特徴を抽出するために行う IHC 染色は、それぞれ異なる抗体を用いて行われる。
　ここで、複数の種類の物質から組織形態学的特徴を抽出するとする。この場合、対象患者から採取した複数の組織切片をそれぞれ異なる方法で染色することで、組織形態学的特徴を抽出する物質ごとに病理画像データ１０を生成する。この際、これら複数の組織切片は、ひとかたまりの組織から複数の切片を切り出すことで生成されることが好ましい。こうすることで、略同一の組織構造を表す複数の病理画像データ１０を得ることができる。
　情報処理装置２０００が病理画像データ１０を取得する方法は任意である。例えば情報処理装置２０００は、病理画像データ１０が記憶されている記憶装置にアクセスすることで、病理画像データ１０を取得する。病理画像データ１０が記憶されている記憶装置は、病理画像データ１０を生成するカメラの内部に設けられていてもよいし、そのカメラの外部に設けられていてもよい。その他にも例えば、情報処理装置２０００は、カメラから送信される病理画像データ１０を受信することで、病理画像データ１０を取得してもよい。
＜組織形態学的特徴の抽出：Ｓ１０４＞
　抽出部２０２０は、病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する（Ｓ１０４）。抽出される組織形態学的特徴は、組織を構成する細胞やタンパク質などの物質の形状や分布などに関する画像特徴である。以下、どの物質について組織形態学的特徴を抽出するか、及びその物質についてどのような組織形態学的特徴を抽出するかについて、具体例を挙げて説明する。
＜＜PD-L1 に関する組織形態学的特徴＞＞
　PD-L1 は、腫瘍細胞などに発現する分子であり、免疫細胞の PD-1 分子と結合することで、免疫細胞の活動を抑制する。よって、PD-L1 が多く発現していると、免疫細胞の活動が大きく抑制されてしまうこととなる。このことから、PD-L1 は、がんの治癒に密接に関連している物質であるといえる。そのため、PD-L1 に関する組織形態学的特徴とがん治療薬が対象患者に与える影響との間には、相関があると考えられる。特に、免疫チェックポイント阻害剤の効果は、PD-L1 に関する組織形態学的特徴との相関が大きいと考えられる。なぜなら、免疫チェックポイント阻害剤は、免疫細胞の PD-1 に代わって腫瘍細胞の PD-L1 と結合することにより、免疫細胞の活動が抑制されないようにする薬剤であるためである。
　そこで例えば、抽出部２０２０は、病理画像データ１０に含まれる PD-L1 の組織形態学的特徴を抽出する。例えば抽出部２０２０は、陽性率、PD-L1 が腫瘍細胞をどの程度囲っているかを表す指標値（腫瘍細胞に対する PD-L1 の全周性）、PD-L1 が染色されている度合い（PD-L1 の染色強度）、及び PD-L1 が発現している腫瘍細胞の大きさのいずれか１つ以上を、組織形態学的特徴として抽出する。
　陽性率とは、全評価対象に対し、染色対象分子の発現が陽性である細胞の割合である。例えばPD-L1については、「対象腫瘍細胞の細胞膜における染色性を評価の対象とし、tumor proportion score（TPS, 全腫瘍細胞に対して PD-L1 陽性細胞が占める割合）を指標として用いる。染色強度や細胞膜の染色が部分的か全周性かに関わらず、わずかでも染色されていれば陽性と判定する」と定められている。そこで例えば、PD-L1 の陽性率は、腫瘍細胞の総数を分母とし、PD-L1 が発現している腫瘍細胞の個数を分子とした割合として算出する。
　腫瘍細胞に対する PD-L1 の全周性は、例えば、腫瘍細胞の細胞膜において染色されている部分の長さの合計と、その細胞膜全体の長さとの比率で表される。PD-L1 の染色強度は、例えば、病理画像データ１０において PD-L1 を表す画素の輝度の統計値（例えば平均値）と、基準の輝度との比率で表される。PD-L1 を表す画素とは、病理画像データ１０において染色されている部分を表す画素である。基準の輝度とは、最も強く染色された場合における PD-L1 の輝度である。PD-L1 が発現している腫瘍細胞の大きさは、例えば、その腫瘍細胞の細胞核の中心と、その腫瘍細胞の細胞膜との間の距離で表される。
　なお、腫瘍細胞に対する PD-L1 の全周性やPD-L1 が発現している腫瘍細胞の大きさを算出するためには、病理画像データ１０から腫瘍細胞を検出する必要がある。病理画像データ１０から腫瘍細胞を検出する方法については後述する。
　腫瘍細胞に対する PD-L1 の全周性や、PD-L1 が発現している腫瘍細胞の大きさは、複数の腫瘍細胞について算出される。例えば抽出部２０２０は、複数の腫瘍細胞について算出されたこれらの指標値の統計値を、PD-L1 に関する組織形態学的特徴として抽出する。例えば抽出部２０２０は、複数の腫瘍細胞について PD-L1 の全周性を算出し、算出した複数の値の統計値（例えば平均値）を、病理画像データ１０から抽出された PD-L1 の全周性とする。腫瘍細胞の大きさについても同様である。なお、全周性等の指標値は、検出された全ての腫瘍細胞について算出されてもよいし、検出された腫瘍細胞のうちの一部について算出されてもよい。
＜＜免疫細胞に関する組織形態学的特徴＞＞
　免疫細胞（特に、CD4 陽性 T 細胞や CD8 陽性 T 細胞）は、腫瘍細胞を排除する機能を持つため、がんの治癒に密接に関連している物質であるといえる。そのため、これらの免疫細胞に関する組織形態学的特徴とがん治療薬が対象患者に与える影響との間には、相関があると考えられる。
　そこで例えば、抽出部２０２０は、病理画像データ１０に含まれる免疫細胞（例えば、CD4 陽性 T 細胞及び CD8 陽性 T 細胞のいずれか一方又は双方）についての組織形態学的特徴を抽出する。例えば抽出部２０２０は、陽性率、免疫細胞が染色されている度合い（免疫細胞の染色強度）、免疫細胞の大きさ、免疫細胞の分布のいずれか１つ以上を、組織形態学的特徴として抽出する。
　免疫細胞の陽性率は、例えば PD-L1 の陽性率と同様に、細胞数に基づく割合として算出することができる。その他にも例えば、免疫細胞の陽性率は、腫瘍組織面積を分母とし、免疫細胞の占める面積を分子とした割合として算出してもよい。
　免疫細胞の染色強度及び大きさの表し方はそれぞれ、PD-L1 の染色強度及び大きさの表し方と同様である。
　免疫細胞の大きさは、複数の免疫細胞について算出される。この点、抽出部２０２０は、免疫細胞の大きさを表す組織形態学的特徴を、PD-L1 が発現している複数の腫瘍細胞について算出された腫瘍細胞の大きさを表す組織形態学的特徴と同様に抽出する。
　免疫細胞の分布は、病理画像データ１０における免疫細胞の位置の分布を表す指標である。例えば、免疫細胞の分布は、免疫細胞が病理画像データ１０の全体にばらけている度合いを表す。例えばこの場合、抽出部２０２０は、病理画像データ１０の画像領域を複数の部分領域に分割し、各部分領域に含まれる免疫細胞の個数をカウントする。こうすることで、各部分領域に含まれる免疫細胞の個数を表すヒストグラムを得ることができ、このヒストグラムによって免疫細胞の分布が表される。
　その他にも例えば、免疫細胞の分布は、免疫細胞と腫瘍細胞との位置関係で定まる分布であってもよい。例えばこの場合、免疫細胞の分布は、免疫細胞の総数を分母とし、腫瘍細胞の中に位置する免疫細胞の個数を分子とした割合として算出される。このように免疫細胞の分布の算出に腫瘍細胞に関する情報を利用する場合、抽出部２０２０は、病理画像データ１０から腫瘍細胞の検出を行う。
＜＜腫瘍細胞に関する組織形態学的特徴＞＞
　がん治療薬は、直接的又は間接的に腫瘍細胞を排除する薬剤である。そのため、腫瘍細胞に関する種々の情報は、がん治療薬の効果や副作用に大きく関係すると考えられる。よって、腫瘍細胞に関する組織形態学的特徴は、がん治療薬が対象患者に与える影響と相関が大きいと言える。
　そこで例えば、抽出部２０２０は、病理画像データ１０に含まれる１つ以上の腫瘍細胞の細胞核について、組織形態学的特徴を抽出する。例えば抽出部２０２０は、腫瘍細胞の細胞核について、面積、周囲長、円形度合い（真円に近い度合い）、輪郭の複雑度合い、テクスチャに関する指標値、長径、短径、密度、及び細胞核の面積と細胞核の外接矩形の面積との比率のいずれか１つ以上を、組織形態学的特徴として抽出する。細胞核のテクスチャに関する指標値とは、例えば、角二次モーメント、コントラスト、一様性、又はエントロピーである。なお、上述した細胞核に関する組織形態学的特徴を画像データから抽出する技術には、既存の技術を利用することができる。
＜＜腫瘍細胞の検出＞＞
　前述したように、抽出部２０２０は、組織形態学的特徴を抽出するために、病理画像データ１０から腫瘍細胞を検出する。病理画像データ１０から腫瘍細胞を検出する技術には、既存の技術を利用することができる。例えば、ニューラルネットワークなどで実現される検出器を、画像データから腫瘍細胞を検出するように学習させておく。こうすることで、病理画像データ１０から腫瘍細胞を検出する検出器を構成することができる。抽出部２０２０は、この検出器に対して病理画像データ１０を入力することで、病理画像データ１０から腫瘍細胞を検出する。
　ここで、IHC 染色された組織切片よりも、HE 染色された組織切片の方が、腫瘍細胞を検出しやすい。そこで抽出部２０２０は、腫瘍細胞の検出を HE 染色された組織切片の画像データを用いて行うことが好適である。例えば前述した様に、対象患者から採取したひとかたまりの組織から複数の組織切片を切り出すことで、それぞれ異なる方法で染色された組織切片の病理画像データ１０を生成するとする。この場合、複数の病理画像データ１０にはいずれも、略同一の構造の組織が含まれている。
　そこでまず、抽出部２０２０は、HE 染色された組織切片の病理画像データ１０を画像解析することで、腫瘍細胞を検出する。そして抽出部２０２０は、HE 染色された組織切片の病理画像データ１０から検出された腫瘍細胞が、同一の大きさ及び位置で、他の方法で染色された病理画像データ１０にも存在するとみなして、各病理画像データ１０から組織形態学的特徴の抽出を行う。
＜＜ROI（Region of Interest）の抽出＞＞
　抽出部２０２０は、病理画像データ１０全体から組織形態学的特徴を抽出してもよいし、病理画像データ１０の一部の画像領域から組織形態学的特徴を抽出してもよい。以下、この「一部の画像領域」を ROI と呼ぶ。１つの病理画像データ１０から抽出される ROI は、１つであってもよいし、複数であってもよい。
　病理画像データ１０から ROI を抽出する方法は様々である。例えば抽出部２０２０は、ROI を指定するユーザ操作を受け付ける。その他にも例えば、抽出部２０２０は、病理画像データ１０の中から自動的に ROI を抽出する。以下、自動的に ROI を抽出する方法について説明する。
　まず抽出部２０２０は、病理画像データ１０を画像処理することで、細胞核の中心が強調された画像データを生成する。細胞核の中心の強調は、例えば、病理画像データ１０をグレースケール化することで得られる画像データに対し、細胞核と同程度の半径を持つリングフィルタを適用することで実現できる。なお、病理画像データ１０をグレースケール化することで得られる画像データの代わりに、病理画像データ１０を構成する G（緑）チャネルを反転することで得られる画像データを利用してもよい。
　さらに抽出部２０２０は、細胞核の中心が強調された画像データについて、輝度値のピークを探索することで、各細胞核の中心位置を特定する。そして抽出部２０２０は、所定の形状及びサイズを持ち、なおかつ中心位置が細胞核の中心位置である画像領域を、ROI として抽出する。こうすることで、１つの細胞核につき１つの ROI が抽出される。
　ただし、この方法では、ROI 同士の重なりが大きくなることが多いと考えられる。そこで抽出部２０２０は、ROI の重なりを調整することで ROI を削減する（すなわち、ROI の間引きを行う）ことが好適である。ROI の間引きは、例えば以下のように実現できる。
　まず抽出部２０２０は、各 ROI について、その中心から所定半径 d の画像領域内に存在する細胞核をカウントし、カウントした細胞核の数で ROI を順序づける。抽出部２０２０は、細胞核のカウント数が最大である ROI を、削除しない ROI として特定する。抽出部２０２０は、特定された ROI の中心から所定半径 R の画像領域内に中心を持つ ROI を削除する。これにより、削除しない ROI の近傍に存在する ROI が削除されるため、ROI 同士の重なりが減る。
　さらに抽出部２０２０は、残った ROI（削除しない ROI として特定されたものを除く）のうち、細胞核のカウント数が最大である ROI を、削除しない ROI として特定し、この ROI の中心から所定半径 R の画像領域内に中心を持つ ROI を削除する。以下、抽出部２０２０は、同様の処理を、残った ROI の全てが削除しない ROI となるまで繰り返す。
　なお、前述した様に、対象患者から採取したひとかたまりの組織から複数の組織切片を切り出すことで、それぞれ異なる方法で染色された組織切片の病理画像データ１０を生成するとする。この場合、抽出部２０２０は、これら複数の病理画像データ１０について、同一の位置及び大きさの ROI を抽出するようにしてもよい。具体的には、まず抽出部２０２０は、複数の病理画像データ１０のうちの１つについて、ユーザ操作や所定の基準に基づき、ROI を抽出する。その後、抽出部２０２０は、同じ ROI を他の病理画像データ１０からも抽出する。こうすることで、ROI の抽出に要する時間や計算機資源を削減することができる。
＜＜組織形態学的特徴を抽出する処理の流れの一例＞＞
　前述した腫瘍細胞の検出や ROI の抽出を考慮すると、病理画像データ１０から組織形態学的特徴を抽出する処理の流れは、例えば図５のようになる。図５は、病理画像データ１０から組織形態学的特徴を抽出する処理の流れを例示する図である。
　抽出部２０２０は、病理画像データ１０から ROI を抽出する（Ｓ２０２）。抽出部２０２０は、ROI から腫瘍細胞を検出する（Ｓ２０４）。抽出部２０２０は、腫瘍細胞の検出結果を用いて、ROI から組織形態学的特徴を抽出する（Ｓ２０６）。
＜予測データ３０の生成：Ｓ１０６＞
　生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を用いて、予測データ３０を生成する（Ｓ１０６）。予測データ３０の生成に利用される組織形態学的特徴は、１つであってもよいし、複数であってもよい。また、複数の組織形態学的特徴を利用する場合、１つの病理画像データ１０から抽出された組織形態学的特徴を利用してもよいし、複数の病理画像データ１０から抽出された組織形態学的特徴を利用してもよい。例えば、前者の場合、PL-D1 に関する複数の組織形態学的特徴を利用する。一方、後者の場合、例えば、PL-D1 に関する１つ以上の組織形態学的特徴と、免疫細胞に関する１つ以上の組織形態学的特徴とを利用する。
　予測データ３０は、対象患者に対するがん治療薬の効果に関する予測、及び対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す。以下、それぞれについて説明する。
＜＜がん治療薬の効果に関する予測＞＞
　がん治療薬の効果に関する予測データ３０は、がん治療薬が対象患者に対して効果を発揮するか否か（「効果あり」及び「効果なし」のいずれか一方）、がん治療薬が対象患者に対して効果を発揮する確率、又はがん治療薬が対象患者に対して発揮する効果の大きさなどを示す。
　組織形態学的特徴を用いてこれらの予測を行う方法は様々である。例えば、対象患者に対するがん治療薬の効果の予測を出力するように学習された予測モデルを利用する。予測モデルには、ニューラルネットワーク、SVM（サポートベクトルマシン）、又は決定木などの種々のモデルを採用できる。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を予測モデルに入力する。その結果、予測モデルから、がん治療薬の効果に関する予測を表すデータが出力される。
　がん治療薬が対象患者に対して効果を発揮するか否かを示す予測データ３０を生成する場合、予測モデルは、組織形態学的特徴が入力されたことに応じ、がん治療薬が対象患者に対して効果を発揮するか否かを表すデータを出力する。例えば、効果を発揮すると予測される場合には予測モデルから１が出力され、効果を発揮しないと予測される場合には予測モデルから０が出力される。がん治療薬が対象患者に対して効果を発揮する確率を示す予測データ３０を生成する場合、予測モデルは、組織形態学的特徴が入力されたことに応じ、がん治療薬が対象患者に対して効果を発揮する確率を出力する。がん治療薬が対象患者に対して発揮する効果の大きさを示す予測データ３０を生成する場合、予測モデルは、組織形態学的特徴が入力されたことに応じ、がん治療薬が対象患者に対して発揮する効果の大きさを表すデータを出力する。がん治療薬の効果の大きさは、例えば、所定数の段階の評価（例えば５段階評価）のうちのいずれか１つで表される。
　予測モデルの学習は、教師データを利用して行われる。例えば教師データは、医師が実際に患者にがん治療薬を投与し、その後の患者の状態を診断することで生成される。具体的には、教師データは、（１）患者の組織切片の画像データから抽出された組織形態学的特徴と、（２）その患者にがん治療薬を投与した後の患者の状態を表すデータ（以下、結果データ）との組み合わせである。
　がん治療薬が対象患者に対して効果を発揮するか否かの予測、又はがん治療薬が対象患者に対して効果を発揮する確率の予測を行う場合、結果データは、がん治療薬を患者に投与した後、その効果が発揮されたか否かを表すデータ（例えば、効果が発揮された場合には１、効果が現れなかった場合には０）である。がん治療薬が対象患者に対して発揮する効果の大きさの予測を行う場合、結果データは、がん治療薬を患者に投与した後、その効果がどの程度大きかったかを表すデータである。がん治療薬の効果の大きさは、例えば、患者の診断を行った医師が所定数の段階の評価の中から１つを選択することで決められる。
　効果を予測するがん治療薬が複数種類ある場合、がん治療薬の種類ごとに予測モデルを用意しておく。例えば、がん治療薬Ａに関する予測を行う予測モデルの学習には、がん治療薬Ａを投与した患者について生成した教師データを利用し、がん治療薬Ｂに関する予測を行う予測モデルの学習には、がん治療薬Ｂを投与した患者について生成した教師データを利用する。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を各予測モデルに入力することにより、がん治療薬ごとに対象患者についての予測データ３０を生成する。
＜＜副作用に関する予測＞＞
　がん治療薬の副作用に関する予測を示す予測データ３０は、例えば、対象患者に対するがん治療薬の投与によって副作用が発生するか否か（「発生する」及び「発生しない」のいずれか一方）、対象患者に対するがん治療薬の投与によって副作用が発生する確率、又は対象患者に対するがん治療薬の投与によって発生する副作用の大きさを示す。がん治療薬の副作用に関する予測を示す予測データ３０は、がん治療薬の効果に関する予測を示す予測データ３０と同様の方法で生成することができる。例えば、がん治療薬が対象患者に与える副作用に関する予測を出力するように学習された予測モデルを利用する。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を予測モデルに入力することでがん治療薬の副作用に関する予測を得て、その予測を示す予測データ３０を生成する。
　がん治療薬の副作用に関する予測を出力する予測モデルの学習に利用する教師データは、例えば、がん治療薬の効果に関する予測を出力する予測モデルの学習に利用する教師データと同様に、医師が実際に患者にがん治療薬を投与し、その後の患者の状態を診断することで生成できる。
　副作用を予測するがん治療薬が複数種類ある場合、がん治療薬の種類ごとに予測モデルを用意しておく。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を各予測モデルに入力することにより、がん治療薬ごとの副作用を対象患者について予測した予測データ３０を生成する。
　また、副作用の種類が複数存在することもある。この場合、生成部２０４０は、副作用の種類を区別して予測データ３０を生成してもよい。すなわち、生成部２０４０は、副作用の種類ごとに予測データ３０を生成してもよい。この場合、副作用の種類ごとに予測モデルを用意しておく。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を各予測モデルに入力することにより、各副作用を対象患者について予測した予測データ３０を生成する。
　さらに、副作用を予測するがん治療薬が複数種類ある場合には、「がん治療薬の種類、副作用の種類」の組み合わせごとに予測モデルを用意しておく。
＜＜予測に利用する組織形態学的特徴について＞＞
　予測に利用する１つ以上の組織形態学的特徴は、情報処理装置２０００が自動的に決定してもよし、情報処理装置２０００のユーザ（例えば医師）が手動で決定してもよい。例えば、予測モデルとしてディープニューラルネットワークを利用する場合（すなわち、深層学習を利用して予測データ３０を生成する場合）、教師データを利用した予測モデルの学習の結果として、複数の組織形態学的特徴の中から、予測に有用な組織形態学的特徴が自動的に決定される。
　一方、利用する組織形態学的特徴を手動で決定する場合、例えば医師等のユーザが予測に有用な組織形態学的特徴を１つ以上決定し、決定した組織形態学的特徴を利用して予測データ３０の生成を行うように予測モデルを生成する。この場合、必ずしも機械学習によって予測モデルを生成する必要はなく、ユーザが予測モデルの生成（すなわち、予測モデルに設定するパラメータの決定）を行ってもよい。
＜＜予測対象とするがん治療薬や副作用の種類について＞＞
　予測データ３０は、１つ以上の種類のがん治療薬について生成される。情報処理装置２０００は、予め所定の種類のがん治療薬について予測データ３０を生成するように構成されていてもよいし、予測対象とするがん治療薬の種類を特定し、特定した種類のがん治療薬について予測データ３０を生成してもよい。後者の場合、例えば情報処理装置２０００は、予測対象とするがん治療薬の種類を指定する入力操作を受け付ける。この場合、情報処理装置２０００は、指定された種類のがん治療薬について、予測データ３０を生成する。その他にも例えば、予測対象とするがん治療薬の種類を示す情報を記憶装置に記憶させておいてもよい。この場合、情報処理装置２０００は、この記憶装置から情報を読み出すことで、予測対象とするがん治療薬の種類を特定する。
　がん治療薬の効果は、がんの種類を特定せずに予測されてもよいし、特定の種類のがんについて予測されてもよい。後者の場合、情報処理装置２０００は、予め所定の種類のがんについて予測データ３０を生成するように構成されていてもよいし、予測対象とするがんの種類を特定し、特定した種類のがんについて予測データ３０を生成してもよい。予測対象とするがんの種類を特定する方法は、予測対象とするがん治療薬の種類を特定する方法と同様である。
　副作用の種類が複数ある場合、予測データ３０は、１つ以上の種類の副作用について生成される。情報処理装置２０００は、予め所定の種類の副作用について予測データ３０を生成するように構成されていてもよいし、予測対象とする副作用の種類を特定し、特定した種類の副作用について予測データ３０を生成してもよい。予測対象とする副作用を特定する方法は、予測対象とするがん治療薬を特定する方法と同様である。
＜予測データ３０の出力＞
　生成部２０４０は、生成した予測データ３０を何らかの形で出力する。例えば生成部２０４０は、予測データ３０を記憶装置に記憶させる。その他にも例えば、生成部２０４０は、予測データ３０をディスプレイ装置に表示させてもよい。
　図６は、予測データ３０をテーブル形式で例示する図である。テーブル２００は、がん治療薬の効果に関する予測を示す予測データ３０を例示している。一方、テーブル３００は、がん治療薬の副作用に関する予測を示す予測データ３０を例示している。
　テーブル２００は、患者識別子２０２、がんの種類２０４、薬剤２０６及び予測２０８という列を有する。患者識別子２０２は、対象患者に割り当てられた識別子である。がんの種類２０４は、予測対象としたがんの種類を示す。薬剤２０６は、予測対象としたがん治療薬の種類を示す。予測２０８は、がん治療薬の効果に関する予測を示す。１行目のレコードにおいて、予測２０８は、がん治療薬の効果の有無の予測を示している。２行目のレコードにおいて、予測２０８は、がん治療薬の効果が現れる確率の予測を示している。３行目のレコードにおいて、予測２０８は、がん治療薬の効果の大きさの予測を５段階評価で示している。
　テーブル３００は、患者識別子３０２、副作用の種類３０４、薬剤３０６、及び予測３０８という列を有する。患者識別子３０２は、対象患者に割り当てられた識別子である。副作用の種類３０４は、予測対象とした副作用の種類を示す。薬剤３０６、予測対象としたがん治療薬の種類を示す。予測３０８は、がん治療薬の副作用に関する予測を示す。１行目のレコードにおいて、予測３０８は、副作用の有無の予測を示している。２行目のレコードにおいて、予測３０８は、副作用が現れる確率の予測を示している。３行目のレコードにおいて、予測３０８は、副作用の大きさの予測を５段階評価で示している。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出部と、
　前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成部と、を有する情報処理装置。
２．　前記がん治療薬は、免疫チェックポイント阻害剤である、１．に記載の情報処理装置。
３．　前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
　前記抽出部は、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、１．又は２．に記載の情報処理装置。
４．　前記抽出部が抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、３．に記載の情報処理装置。
５．　前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
　前記抽出部は、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、１．乃至４．いずれか一つに記載の情報処理装置。
６．　前記抽出部が抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、５．に記載の情報処理装置。
７．　前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
　前記抽出部は、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、１．乃至６．いずれか一つに記載の情報処理装置。
８．　前記抽出部が抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、７．に記載の情報処理装置。
９．　前記生成部は、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出部によって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、１．乃至８．いずれか一つに記載の情報処理装置。
１０．　前記抽出部は、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、１．乃至９．いずれか一つに記載の情報処理装置。
１１．　コンピュータによって実行される制御方法であって、
　対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出ステップと、
　前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成ステップと、を有する制御方法。
１２．　前記がん治療薬は、免疫チェックポイント阻害剤である、１１．に記載の制御方法。
１３．　前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
　前記抽出ステップにおいて、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、１１．又は１２．に記載の制御方法。
１４．　前記抽出ステップにおいて抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、１３．に記載の制御方法。
１５．　前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
　前記抽出ステップにおいて、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、１１．乃至１４．いずれか一つに記載の制御方法。
１６．　前記抽出ステップにおいて抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、１５．に記載の制御方法。
１７．　前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
　前記抽出ステップにおいて、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、１１．乃至１６．いずれか一つに記載の制御方法。
１８．　前記抽出ステップにおいて抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、１７．に記載の制御方法。
１９．　前記生成ステップにおいて、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出ステップによって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、１１．乃至１８．いずれか一つに記載の制御方法。
２０．　前記抽出ステップにおいて、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、１１．乃至１９．いずれか一つに記載の制御方法。
２１．　１１．乃至２０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
　この出願は、２０１８年４月２６日に出願された日本出願特願２０１８－０８５５４０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (21)

  1. 　対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出部と、
    　前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成部と、を有する情報処理装置。
  2. 　前記がん治療薬は、免疫チェックポイント阻害剤である、請求項１に記載の情報処理装置。
  3. 　前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
    　前記抽出部は、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、請求項１又は２に記載の情報処理装置。
  4. 　前記抽出部が抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、請求項３に記載の情報処理装置。
  5. 　前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
    　前記抽出部は、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、請求項１乃至４いずれか一項に記載の情報処理装置。
  6. 　前記抽出部が抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、請求項５に記載の情報処理装置。
  7. 　前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
    　前記抽出部は、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、請求項１乃至６いずれか一項に記載の情報処理装置。
  8. 　前記抽出部が抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、請求項７に記載の情報処理装置。
  9. 　前記生成部は、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出部によって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、請求項１乃至８いずれか一項に記載の情報処理装置。
  10. 　前記抽出部は、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、請求項１乃至９いずれか一項に記載の情報処理装置。
  11. 　コンピュータによって実行される制御方法であって、
    　対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出ステップと、
    　前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成ステップと、を有する制御方法。
  12. 　前記がん治療薬は、免疫チェックポイント阻害剤である、請求項１１に記載の制御方法。
  13. 　前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
    　前記抽出ステップにおいて、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、請求項１１又は１２に記載の制御方法。
  14. 　前記抽出ステップにおいて抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、請求項１３に記載の制御方法。
  15. 　前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
    　前記抽出ステップにおいて、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、請求項１１乃至１４いずれか一項に記載の制御方法。
  16. 　前記抽出ステップにおいて抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、請求項１５に記載の制御方法。
  17. 　前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
    　前記抽出ステップにおいて、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、請求項１１乃至１６いずれか一項に記載の制御方法。
  18. 　前記抽出ステップにおいて抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、請求項１７に記載の制御方法。
  19. 　前記生成ステップにおいて、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出ステップによって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、請求項１１乃至１８いずれか一項に記載の制御方法。
  20. 　前記抽出ステップにおいて、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、請求項１１乃至１９いずれか一項に記載の制御方法。
  21. 　請求項１１乃至２０いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
PCT/JP2019/017659 2018-04-26 2019-04-25 情報処理装置、制御方法、及びプログラム WO2019208703A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/044,427 US20210033599A1 (en) 2018-04-26 2019-04-25 Information processing apparatus, control method, and program
CN201980028354.8A CN112020647A (zh) 2018-04-26 2019-04-25 信息处理装置、控制方法和程序
JP2020515568A JPWO2019208703A1 (ja) 2018-04-26 2019-04-25 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-085540 2018-04-26
JP2018085540 2018-04-26

Publications (1)

Publication Number Publication Date
WO2019208703A1 true WO2019208703A1 (ja) 2019-10-31

Family

ID=68295493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017659 WO2019208703A1 (ja) 2018-04-26 2019-04-25 情報処理装置、制御方法、及びプログラム

Country Status (4)

Country Link
US (1) US20210033599A1 (ja)
JP (1) JPWO2019208703A1 (ja)
CN (1) CN112020647A (ja)
WO (1) WO2019208703A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090659A1 (ja) * 2019-11-07 2021-05-14 テルモ株式会社 心臓再同期療法治療効果予測装置、方法およびプログラム
WO2022004726A1 (ja) * 2020-06-30 2022-01-06 凸版印刷株式会社 評価装置、学習装置、予測装置、評価方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
WO2022201415A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 検査支援装置、検査支援システム、検査支援方法、および記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019195304A (ja) 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
CN109903280B (zh) * 2019-02-27 2020-09-29 上海联影智能医疗科技有限公司 肿瘤确定系统、方法及存储介质
JP7381003B2 (ja) * 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
CN112326961B (zh) * 2020-10-30 2021-08-06 福州迈新生物技术开发有限公司 一种非小细胞肺癌中pd-l1阳性肿瘤细胞比例的分析方法和存储设备
CN112991263B (zh) * 2021-02-06 2022-07-22 杭州迪英加科技有限公司 用于提升pd-l1免疫组化病理切片tps计算准确度的方法及设备
CN115171894A (zh) * 2022-07-01 2022-10-11 核工业总医院 布拉格决策方案评估方法和决策方案评估方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001095599A (ja) * 1999-03-15 2001-04-10 Fuji Photo Film Co Ltd プロテアーゼの測定方法
JP2011227838A (ja) * 2010-04-23 2011-11-10 Kyoto Univ 予測装置及びその学習装置並びにそれらのコンピュータプログラム
WO2016088791A1 (ja) * 2014-12-02 2016-06-09 国立大学法人 東京大学 抗ｃｄ４抗体を有効成分とする抗がん剤の治療効果を判定する方法
US20170130271A1 (en) * 2014-04-24 2017-05-11 Dana-Farber Cancer Institute, Inc. Tumor suppressor and oncogene biomarkers predictive of anti-immune checkpoint inhibitor response
WO2017181111A2 (en) * 2016-04-15 2017-10-19 Genentech, Inc. Methods for monitoring and treating cancer
JP2018502279A (ja) * 2014-11-10 2018-01-25 ベンタナ メディカル システムズ， インコーポレイテッド 組織学画像中の核の分類
US20180107786A1 (en) * 2016-10-07 2018-04-19 Omniseq, Inc. Methods and systems for determining personalized therapies

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5413818B2 (ja) * 2007-03-29 2014-02-12 国立大学法人佐賀大学 蛍光多重染色による蛋白定量法
CA2679436C (en) * 2007-04-05 2018-10-23 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
JP5648479B2 (ja) * 2008-10-09 2015-01-07 日本電気株式会社 病理組織診断支援システム、病理組織診断支援プログラム、病理組織診断支援方法
CN102421916A (zh) * 2009-04-21 2012-04-18 日本电气株式会社 用于评估癌症的方法
JP5387146B2 (ja) * 2009-06-03 2014-01-15 日本電気株式会社 病理組織画像解析装置、病理組織画像解析方法、病理組織画像解析プログラム
JP5703508B2 (ja) * 2009-07-09 2015-04-22 株式会社Ｕｂｅ科学分析センター 毒性試験法
US9076198B2 (en) * 2010-09-30 2015-07-07 Nec Corporation Information processing apparatus, information processing system, information processing method, program and recording medium
CN103140757A (zh) * 2010-09-30 2013-06-05 日本电气株式会社 信息处理设备、信息处理系统、信息处理方法、程序和记录介质
JP6168426B2 (ja) * 2013-09-19 2017-07-26 学校法人慶應義塾 疾患分析装置、制御方法、及びプログラム
EP3079772B1 (en) * 2013-12-10 2020-02-05 Merck Sharp & Dohme Corp. Immunohistochemical proximity assay for pd-1 positive cells and pd-ligand positive cells in tumor tissue
CN104732230A (zh) * 2015-03-27 2015-06-24 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于细胞核统计信息的病理图像局部特征提取方法
CN106282294A (zh) * 2015-06-26 2017-01-04 广州中医药大学科技产业园有限公司 一种细胞核大小形态测量方法在生殖毒性评价中的应用
TWI609183B (zh) * 2015-08-10 2017-12-21 中國醫藥大學附設醫院 用於評估多形性膠質母細胞瘤患者適用以樹突狀細胞腫瘤疫苗爲基礎的免疫治療之方法及預測多形性膠質母細胞瘤患者經樹突狀細胞腫瘤疫苗治療後的存活率之方法
WO2017050855A1 (en) * 2015-09-22 2017-03-30 Institut Gustave Roussy A scoring method for predicting the efficiency of a treatment with anti-pd-1 and/or anti-pd-l1 monoclonal antibodies
JP6898316B2 (ja) * 2015-10-23 2021-07-07 ノバルティス・エイジーＮｏｖａｒｔｉｓ ＡＧ 拡張版ａｑｕａを支援するコンピュータ処理
TWI594207B (zh) * 2016-04-26 2017-08-01 財團法人金屬工業研究發展中心 細胞核影像輪廓擷取裝置及其方法
CN107236728A (zh) * 2017-06-16 2017-10-10 天津市肿瘤医院 一种提取动物细胞核内染色质及其相关蛋白的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001095599A (ja) * 1999-03-15 2001-04-10 Fuji Photo Film Co Ltd プロテアーゼの測定方法
JP2011227838A (ja) * 2010-04-23 2011-11-10 Kyoto Univ 予測装置及びその学習装置並びにそれらのコンピュータプログラム
US20170130271A1 (en) * 2014-04-24 2017-05-11 Dana-Farber Cancer Institute, Inc. Tumor suppressor and oncogene biomarkers predictive of anti-immune checkpoint inhibitor response
JP2018502279A (ja) * 2014-11-10 2018-01-25 ベンタナ メディカル システムズ， インコーポレイテッド 組織学画像中の核の分類
WO2016088791A1 (ja) * 2014-12-02 2016-06-09 国立大学法人 東京大学 抗ｃｄ４抗体を有効成分とする抗がん剤の治療効果を判定する方法
WO2017181111A2 (en) * 2016-04-15 2017-10-19 Genentech, Inc. Methods for monitoring and treating cancer
US20180107786A1 (en) * 2016-10-07 2018-04-19 Omniseq, Inc. Methods and systems for determining personalized therapies

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ILIE, M. ET AL.: "Assesment of the PD-L1 status by immunohistochemistry: challenges and perspectives for therapeutic strategies in lung cancer patients", VIREHOWS ARCH, vol. 468, no. 5, 25 February 2016 (2016-02-25), pages 511 - 525, XP035881129, ISSN: 0945-6317, DOI: 10.1007/s00428-016-1910-4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090659A1 (ja) * 2019-11-07 2021-05-14 テルモ株式会社 心臓再同期療法治療効果予測装置、方法およびプログラム
WO2022004726A1 (ja) * 2020-06-30 2022-01-06 凸版印刷株式会社 評価装置、学習装置、予測装置、評価方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
JP2022011833A (ja) * 2020-06-30 2022-01-17 凸版印刷株式会社 評価システム、学習装置、予測装置、評価方法、及びプログラム
WO2022201415A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 検査支援装置、検査支援システム、検査支援方法、および記録媒体

Also Published As

Publication number Publication date
JPWO2019208703A1 (ja) 2021-04-30
US20210033599A1 (en) 2021-02-04
CN112020647A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
WO2019208703A1 (ja) 情報処理装置、制御方法、及びプログラム
CN110889826B (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
WO2014186838A1 (en) A system and method for remote medical diagnosis
US9895121B2 (en) Methods and systems for determining breast density
US9916658B2 (en) Disease analysis apparatus, control method, and program
US20210219839A1 (en) Method for classifying fundus image of subject and device using same
EP3479349B1 (en) Change detection in medical images
Garnavi et al. Weighted performance index for objective evaluation of border detection methods in dermoscopy images
CN110246109A (zh) 融合ct影像和个性化信息的分析系统、方法、装置及介质
Zhou et al. Mammogram classification using convolutional neural networks
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN113571194B (zh) 肝细胞癌远期预后预测的建模方法及装置
US20200315517A1 (en) Diffusion imaging in parkinson's disease and parkinsonism
JP5961512B2 (ja) 画像処理装置およびその作動方法並びに画像処理プログラム
CN111738975B (zh) 图像辨识方法及图像辨识装置
KR102280047B1 (ko) 딥 러닝 기반 종양 치료 반응 예측 방법
CN111161240B (zh) 血管分类方法、装置、计算机设备和可读存储介质
Vizcaíno et al. Neuron cell count with deep learning in highly dense hippocampus images
CN112236832A (zh) 诊断辅助系统、诊断辅助方法以及诊断辅助程序
US20220036558A1 (en) Method and system for predicting expression of biomarker from medical image
Mishra et al. Automatic Nuclei Segmentation Method using Median Filter for Denoising
CN116912213B (zh) 一种医学Dicom图像边缘轮廓多边检测算法和检测系统
Fadzil et al. Blood vessels segmentation of retinal fundus image via wStack-based object-oriented region growing
Ortega-Ruiz et al. Multiclass Semantic Segmentation of Immunostained Breast Cancer Tissue with a Deep-Learning Approach
US20230052847A1 (en) Method and system for parallel processing for medical image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19794055

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020515568

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19794055

Country of ref document: EP

Kind code of ref document: A1