WO2020100660A1 - 情報処理方法および情報処理システム - Google Patents

情報処理方法および情報処理システム Download PDF

Info

Publication number
WO2020100660A1
WO2020100660A1 PCT/JP2019/043338 JP2019043338W WO2020100660A1 WO 2020100660 A1 WO2020100660 A1 WO 2020100660A1 JP 2019043338 W JP2019043338 W JP 2019043338W WO 2020100660 A1 WO2020100660 A1 WO 2020100660A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
evaluation
evaluator
sample
image
Prior art date
Application number
PCT/JP2019/043338
Other languages
English (en)
French (fr)
Inventor
真司 渡辺
山根 健治
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020530404A priority Critical patent/JPWO2020100660A1/ja
Priority to EP19885077.8A priority patent/EP3723040A4/en
Priority to CN201980007268.9A priority patent/CN111542857A/zh
Priority to US16/959,805 priority patent/US20220005188A1/en
Publication of WO2020100660A1 publication Critical patent/WO2020100660A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present disclosure relates to an information processing method and an information processing system.
  • the pigment amount distribution of the sample image is approximated to the pigment amount of the standard sample image for the purpose of standardizing the variation of staining when observing the biological tissue by image processing.
  • AI artificial intelligence
  • the AI learner and the user are the same, for example, the AI is learned and used for a sample image of a specific organ taken by a specific microscope with specific parameters in a specific hospital.
  • the above conditions are easily met.
  • it is difficult to say that the above conditions are easily satisfied when a user different from the learner uses AI. Therefore, even when a user different from the learner uses AI, a mechanism that facilitates satisfying the above condition, or facilitates obtaining an appropriate evaluation result by AI even when the above condition is not satisfied It is desirable that a mechanism be provided.
  • the present disclosure provides a mechanism that facilitates evaluation using AI of a sample based on a sample image.
  • an evaluator that evaluates the first sample based on the first sample image of the first sample to which the first action is applied, which is imaged by the first imaging device.
  • Learning evaluator parameters storing evaluation setting information including the evaluator parameters and learning environment information indicating a learning environment of the evaluator parameters in a storage medium, and the evaluation settings stored in the storage medium.
  • An evaluation environment for acquiring information and evaluating a second sample imaged by a second imaging device different from the first imaging device based on the acquired evaluation setting information An information processing method including reproducing an environment equivalent to a learning environment is provided.
  • an evaluation that evaluates the first sample based on a first sample image of the first sample to which the first effect is applied, which is imaged by the first imaging device.
  • An information processing method comprises: learning evaluator parameters of an evaluator; and storing evaluation setting information, which includes the evaluator parameters and learning environment information indicating a learning environment of the evaluator parameters, in a storage medium.
  • the evaluation of the first sample learned based on the first sample image of the first sample to which the first effect is applied, which is imaged by the first imaging device Acquiring evaluation setting information from a storage medium, including evaluation environment parameters of an evaluator performing evaluation, and learning environment information indicating a learning environment of the evaluation apparatus parameters, and based on the acquired evaluation setting information, An information processing method including reproducing an environment equivalent to the learning environment as an evaluation environment for evaluating a second sample imaged by a second imaging device different from the first imaging device. It
  • pathological diagnosis a part of the cut off organ is used as a sample.
  • the action in pathological diagnosis refers to staining cells according to the purpose at the time of sampling.
  • HE Hematoxylin-Eosin
  • IHC Immunohistochemistry staining is adopted when the purpose is to evaluate tumor immunity.
  • IHC staining with HER2, ER, PgR, Ki-67 protein and the like is performed.
  • the sample to which the action is applied is set on the stage of the digital microscope and continuously imaged while changing the imaging range. Then, a large single sample image (also referred to as a pathological image) is generated by joining the continuously captured images.
  • a sample image is also called WSI (whole slide imaging).
  • a technique for learning and using AI for supporting pathological diagnosis based on WSI or an image obtained by cutting out a part of WSI (hereinafter collectively referred to as a sample image) is rapidly spreading.
  • teacher data using a sample image as data and labeling information (also referred to as annotation information) indicating a tumor region in the sample image is used.
  • labeling information also referred to as annotation information
  • the annotation information indicating the tumor area in the sample image is output.
  • AI that supports pathological diagnosis includes classification of tumors (eg, cancer grading), cancer diagnosis to judge cancer / non-cancer, or treatment prediction. For AI.
  • the present disclosure provides a mechanism for holding parameters at the time of learning and reproducing the parameters at the time of diagnosis, or performing processing for filling the difference between the parameters.
  • FIG. 1 is a diagram illustrating an example of a configuration of a diagnostic system according to an embodiment of the present disclosure.
  • the diagnostic system 1 shown in FIG. 1 includes an imaging device 10 (10A and 10B), a hospital server 20 (20A and 20B), an evaluation recipe server 30, and a terminal device 40 (40A and 40B).
  • the imaging device 10 is a device that images a sample and generates a sample image.
  • the image pickup device 10 is, for example, an electron microscope in which an image pickup element is attached to a microscope.
  • the imaging device 10 generates a sample image and outputs the generated sample image to the terminal device 40.
  • the hospital server 20 is an information processing device that manages various types of information related to medical service in a hospital.
  • the hospital server 20 generates and uploads the evaluation recipe or downloads the evaluation recipe. Details of the evaluation recipe will be described later.
  • the hospital server 20 generates an evaluation recipe based on the sample image generated by the imaging device 10 and transmits it to the evaluation recipe server 30.
  • the hospital server 20 acquires an evaluation recipe for evaluating the sample image generated by the imaging device 10 from the evaluation recipe server 30 and outputs the evaluation recipe to the terminal device 40.
  • the evaluation recipe server 30 is an information processing device that manages evaluation recipes.
  • the evaluation recipe server 30 stores the evaluation recipe received from the hospital server 20.
  • the evaluation recipe server 30 also transmits the evaluation recipe requested by the hospital server 20 to the hospital server 20.
  • Terminal device 40 is an information processing device that performs evaluation based on the sample image generated by the imaging device 10.
  • the terminal device 40 includes a user interface, and the staff of the hospital inputs information and outputs the information to the staff of the hospital.
  • the imaging device 10A (corresponding to the first imaging device), the hospital server 20A, and the terminal device 40A are arranged in the first hospital.
  • the first hospital is a hospital where the evaluation recipe is generated.
  • the imaging device 10A generates a first sample image of the first sample to which the first action is applied and outputs it to the terminal device 40A.
  • the evaluation based on the first sample image is performed.
  • the evaluation result by the staff of the first hospital is input to the terminal device 40A.
  • the hospital server 20A stores the first sample image and the meta information of the first sample image in association with each other, and generates an evaluation recipe based on the stored information.
  • the hospital server 20A generates an evaluation recipe based on the first sample image in which at least a part of the meta information is common. Details of the meta information will be described later.
  • the evaluation recipe is evaluation setting information indicating the settings related to the evaluation of the sample image using the evaluator.
  • the evaluation recipe includes an evaluator parameter and learning environment information indicating a learning environment of the evaluator parameter.
  • the evaluator parameter is a parameter that defines an evaluator that outputs evaluation result information based on the input information.
  • the evaluator receives at least a sample image and outputs an evaluation result (eg, pathological diagnosis result) of the sample image.
  • the evaluator is composed of an arbitrary AI such as a neural network or SVM (Support Vector Machine).
  • the evaluator parameter is a set of weights indicating the strength of connection between the nodes forming the neural network.
  • the learning environment is a feature common to the sample images used for learning the evaluator parameters.
  • the learning environment information is meta information common to the sample images used for learning the evaluator parameters.
  • the evaluation recipe is generated for each learning environment. That is, the evaluator parameter is learned for each learning environment. For example, it is assumed that the first specimen image of the first specimen that has been collected from the liver of a male and to which HE staining has been applied has been collected for a plurality of patients and the evaluator parameters have been learned. In that case, an evaluation recipe including the learned evaluator parameters, learning environment information indicating “liver” and “HE staining”, and accompanying information such as sex is generated.
  • the hospital server 20A transmits the generated evaluation recipe to the evaluation recipe server 30 to store it.
  • the hospital server 20B (corresponding to the second imaging device), the hospital server 20B, and the terminal device 40B are arranged in the second hospital.
  • the second hospital is a hospital where the evaluation recipe is used.
  • the hospital server 20B acquires the evaluation recipe from the evaluation recipe server 30 and outputs it to the terminal device 40B.
  • the imaging device 10B produces
  • the imaging device 10B may generate the second sample image based on the evaluation recipe acquired from the evaluation recipe server 30.
  • the terminal device 40B evaluates the second sample image generated by the imaging device 10B using the evaluation recipe acquired by the hospital server 20B.
  • the evaluation environment is an environment for using the evaluator parameters.
  • the evaluation environment is a characteristic of the meta information of the second sample image input to the evaluator to which the evaluator parameters are applied.
  • the evaluation recipe to be used is downloaded from the evaluation recipe server 30 and used.
  • the learning environment and the evaluation environment become equivalent, and it is possible to improve the evaluation accuracy of the second sample using the evaluator.
  • the additional information such as “male” such as gender, it is possible to present it as statistical information such as the similarity of evaluation and the number of patients.
  • Meta Information of the sample image includes at least one of image parameter, action information, sample attribute information, and evaluation result information.
  • the image parameter is a parameter related to the generation of the sample image.
  • the image parameter includes an imaging parameter and an image processing parameter.
  • the imaging parameter is a parameter related to the imaging of the sample image by the imaging device 10.
  • the imaging parameter may include at least one of identification information of the imaging device 10 (for example, a model number indicating the type of the imaging device 10), autofocus setting, magnification, exposure time, and gamma correction value.
  • the image processing parameter is information indicating the image processing applied to the sample image captured by the imaging device 10.
  • the image processing may include color correction and / or scaling. Further, the image processing may include rotation or brightness correction.
  • Action information is a parameter related to the action applied to the sample shown in the sample image.
  • the action information includes information on the staining applied to the specimen.
  • the action information may include staining information indicating the type of staining such as HE staining or IHC staining, and antibody information indicating the type of antibody used for staining such as HER2, ER, PgR, or Ki-67.
  • the action information may also include information indicating a combination of staining type and antibody type, such as IHC-HER2, IHC-ER, IHC-PgR, and IHC-Ki-67.
  • administration of a drug and / or application of a light stimulus may be applied, and the action information may include information regarding these actions.
  • the sample attribute information is information indicating the attribute of the sample shown in the sample image.
  • the sample attribute information includes information indicating which sample of which organ is used (whether it is a biopsy material or a surgical material), and information about a sampling source of the sample.
  • the sample attribute information includes patient age, sex, age at the time of examination, type of organ from which the sample is collected, sampling method, examination date, pathological diagnosis result, pathological findings, thumbnail image of the sample, and sample It may include genomic information.
  • the sample attribute information may include the shape, morphology, and area of cells included in the sample.
  • the sample attribute information can be used not only for diagnosis support but also for treatment support.
  • sample attribute information can also be used for predicting the therapeutic effect of drugs, chemotherapy, radiation therapy, or the like.
  • genome information is one of the powerful information that can be used not only for diagnosis support but also for treatment support.
  • genomic information is useful for providing patient-specific medical care (eg, companion diagnostics).
  • Evaluation result information is information indicating an evaluation result based on a sample image.
  • the evaluation result information is a pathological diagnosis result (that is, a definite diagnosis).
  • the evaluation result information includes annotation information indicating a tumor area, a cancer / non-cancer determination result, and a tumor classification result.
  • the evaluation result information may include the shape, morphology, and area of the tumor region.
  • first may be attached to the information about the first sample image
  • second may be attached to the information about the second sample image.
  • image parameter of the first sample image is also referred to as the first image parameter
  • sample attribute information of the second sample image is also referred to as the second sample attribute information.
  • the learning environment information is information indicating the learning environment of the evaluator parameters.
  • the evaluation recipe includes the evaluator parameter and learning environment information indicating the learning environment of the evaluator parameter.
  • the learning environment information includes meta information common to the first sample image used when learning the evaluator parameters.
  • the learning environment information includes the first image parameter relating to the generation of the first sample image, and the first action information indicating the first action applied to the first sample reflected in the first sample image.
  • the learning environment information may include first sample attribute information that is sample attribute information of the first sample.
  • FIG. 2 is a diagram showing an example of the functional configuration of the diagnostic system 1 according to the present embodiment.
  • the hospital server 20A includes a first acquisition unit 21, a learning unit 22, and a generation unit 23.
  • the evaluation recipe server 30 includes a storage control unit 31 and a storage unit 32.
  • the hospital server 20B includes a second acquisition unit 24.
  • the terminal device 40B includes an input unit 41, a reproduction unit 42, an evaluation unit 43, and an output unit 44.
  • FIG. 3 is a diagram showing a flow of information regarding evaluation recipe generation according to the present embodiment.
  • the first sample attribute information, the first evaluation result information, and the first sample image are input to the learning unit 22, and the evaluator parameters are generated. Further, the first image parameter, the first action information, the first sample attribute information, and the evaluator parameter are input to the generation unit 23, and the evaluation recipe is generated.
  • First acquisition unit 21 The first acquisition unit 21 has a function of acquiring various information for generating the evaluation recipe. Specifically, the first acquisition unit 21 acquires the first sample image and the meta information of the first sample image.
  • the meta information of the acquired first sample image is the first image parameter, the first action information, the first sample attribute information, and the first evaluation result information. These pieces of information are acquired, for example, from the imaging device 10A, the terminal device 40A, or the information system in the first hospital.
  • the learning unit 22 has a function of learning the evaluator. Specifically, the learning unit 22 evaluates the evaluator that evaluates the first sample based on the first sample image of the first sample to which the first effect is applied, which is imaged by the imaging device 10A.
  • the instrument parameters For example, the learning unit 22 learns the evaluator parameter based on the teacher data having the first sample image as data and the first evaluation result information as a label. In this case, the evaluator that inputs the sample image and outputs the evaluation result information is learned.
  • the learning unit 22 learns the evaluator parameters based on the teacher data having at least a part of the first sample image and the first sample attribute information as data and the first evaluation result information as a label. You may.
  • an evaluator that receives at least a part of the sample image and the sample attribute information and outputs the evaluation result information is learned. For example, an evaluator that receives the sample image and the age and sex of the patient from which the sample shown in the sample image is collected, and outputs annotation information indicating a tumor area is learned.
  • the learning unit 22 learns the evaluator parameters for each learning environment. That is, the learning unit 22 learns the evaluator parameters based on the first sample images having the same learning environment (that is, the same). More specifically, the learning unit 22 learns the evaluator parameter based on the teacher data in which at least a part of the first image parameter, the first action information, and the first sample attribute information is common. For example, the learning unit 22 learns the evaluator parameter based on the plurality of first sample images in which the identification information of the imaging device 10A and the setting of the magnification are common. In addition, for example, the learning unit 22 learns the evaluator parameters based on the first sample images of a plurality of patients having the same gene expression tendency in the genome information. In these cases, in the evaluation environment, it is possible to improve the evaluation accuracy by using the evaluator parameters learned in the same learning environment (for example, the same) as the evaluation environment.
  • the classification of stains such as HE and IHC can be identified relatively easily by image recognition.
  • image recognition it is difficult to identify the type of antibody. Therefore, evaluator parameters are learned for each antibody type, and the evaluator parameters learned in a learning environment in which the type of antibody used is the same as the evaluation environment are used at the time of evaluation to improve the evaluation accuracy. It is possible to improve.
  • the first sample image is generated with different image parameters for the same first sample and used for learning. For example, it is desirable to image the same first sample with a plurality of different imaging devices 10A, or to apply a plurality of types of image processing (color correction and / or scaling) to the captured images. This allows the evaluator parameters to be learned in a plurality of different learning environments based on the same first sample.
  • different evaluator recipes may be learned from the same teacher data.
  • a plurality of evaluator recipes having different neural network layers may be learned from the same teacher data.
  • the generation unit 23 has a function of generating an evaluation recipe.
  • the generation unit 23 generates the evaluation recipe by associating the evaluator parameters learned by the learning unit 22 with the learning environment information indicating the learning environment of the evaluator parameters.
  • the generation unit 23 transmits the evaluation recipe to the evaluation recipe server 30 and causes the evaluation recipe server 30 to store the evaluation recipe.
  • Information other than learning environment information may be attached to the evaluation recipe.
  • the evaluation recipe may include each of the meta information of the plurality of first sample images used for learning as attached information.
  • the evaluation recipe does not include personal information such as a name of a patient who is a collection source of the first sample shown in the first sample image used for learning.
  • Table 1 shows an example of the generated evaluation recipe.
  • the evaluation recipe includes learning environment information, an evaluator parameter, and accompanying information.
  • the recipe A is the first sample obtained by imaging the first sample collected from the liver to which the HE staining has been applied with the imaging device 10A of the “device A” at a magnification of “20 ⁇ ”. Contains evaluator parameters learned based on the image.
  • the storage control unit 31 has a function of storing information in the storage unit 32 and managing the information stored in the storage unit 32. For example, the storage control unit 31 stores the evaluation recipe received from the hospital server 20A in the storage unit 32. In addition, the storage control unit 31 retrieves the evaluation recipe corresponding to the request from the hospital server 20B from the storage unit 32 and transmits it to the hospital server 20B. For example, the storage control unit 31 receives information indicating the evaluation environment from the hospital server 20B, and transmits the evaluation recipe including the evaluator parameter learned in the learning environment equivalent to the evaluation environment to the hospital server 20B.
  • the storage unit 32 is a storage medium that stores various types of information.
  • the storage unit 32 stores the evaluation recipe acquired from the hospital server 20A.
  • the storage unit 32 stores the evaluation recipe shown in Table 1.
  • Second acquisition unit 24 acquires the evaluation recipe stored in the evaluation recipe server 30.
  • the second acquisition unit 24 acquires an evaluation recipe based on the evaluation environment of the second sample image. Acquisition of the evaluation recipe by the second acquisition unit 24 will be described later in detail.
  • the input unit 41 has a function of receiving input of various information.
  • the input unit 41 accepts an evaluation recipe selection operation and the like performed by the staff of the second hospital.
  • the reproduction unit 42 has a function of reproducing an environment equivalent to the learning environment as an evaluation environment for evaluating the second sample, based on the evaluation recipe acquired by the second acquisition unit 24. For example, the reproduction unit 42 applies the second action identical to the first action indicated by the first action information to the second sample, and / or the second image parameter equivalent to the first image parameter. The second sample image is generated. The reproduction of the evaluation environment equivalent to the learning environment by the reproduction unit 42 will be described later in detail.
  • Evaluation unit 43 evaluates the second sample image using an evaluator to which the evaluator parameters included in the evaluation recipe are applied. For example, regarding the pathological diagnosis of cancer, the evaluation unit 43 can determine the presence or absence of cancer cells in the second specimen. In addition, the evaluation unit 43 can specify the region in which the cancer cells are expressed in the second sample image. In addition, the evaluation unit 43 can determine the malignancy of cancer cells. Furthermore, the evaluation unit 43 can specify a drug for treating cancer cells.
  • Output unit 44 has a function of outputting various information.
  • the input unit 41 outputs information indicating the evaluation result by the evaluation unit 43.
  • the first reproduction process is a process of acquiring an evaluation recipe in a state where the second captured image has not been captured yet and reproducing an evaluation environment equivalent to the learning environment.
  • the second effect may or may not be applied when the evaluation recipe is acquired.
  • the second sample to be evaluated since the second sample to be evaluated exists, at least the second sample attribute information is fixed.
  • the second image parameter is undetermined, and the second action information is also undetermined when the second action has not been applied. These undetermined parameters are controlled in order to reproduce an evaluation environment equivalent to the learning environment.
  • the second acquisition unit 24 acquires an evaluation recipe capable of reproducing an evaluation environment equivalent to the learning environment. Equivalence here does not necessarily mean the same (perfect match). For example, even if the image parameters are different, if the difference can be pseudo-filled by the image processing, the learning environment and the evaluation environment are considered to be equivalent.
  • the second acquisition unit 24 refers to the first image parameter of the evaluation recipe stored in the evaluation recipe server 30 and determines the second image parameter equivalent to the first image parameter. Obtain an evaluation recipe that is reproducible. For example, the second acquisition unit 24 acquires an evaluation recipe in which the imaging device 10A and the imaging device 10B have the same type. In addition, the second acquisition unit 24 acquires an evaluation recipe that can fill the difference between the types by the image processing even if the image capturing apparatus 10A and the image capturing apparatus 10B have different types.
  • the second acquisition unit 24 has different types of the image capturing apparatus 10A and the image capturing apparatus 10B and different color appearances and / or different magnifications
  • an equivalent color appearance and / or scale may be obtained by performing color correction and / or scaling. If the magnification is reproducible, the evaluation recipe of the imaging device 10A is acquired.
  • the second acquisition unit 24 refers to the first sample attribute information of the evaluation recipe stored in the evaluation recipe server 30, and determines the first sample attribute information and the second sample attribute. Acquire an evaluation recipe that is the same as the information. For example, the 2nd acquisition part 24 acquires the evaluation recipe containing the evaluator parameter learned about the 1st sample collected from the same organ as the 2nd sample. This makes it possible to reproduce the same evaluation environment as the learning environment for the sample attribute information.
  • the second acquisition unit 24 may acquire an evaluation recipe in which the first sample attribute information and the second sample attribute information do not match in all items, but some of them match. In that case, it is possible to reproduce the same evaluation environment as the learning environment for the first sample whose sample attribute information is similar to the second sample.
  • the second acquisition unit 24 refers to the first action information of the evaluation recipe stored in the evaluation recipe server 30, The evaluation recipe in which the action information of 1 is the same as the second action information is acquired.
  • the second acquisition unit 24 acquires an evaluation recipe including an evaluator parameter learned based on the first sample image to which the first effect that is the same as the second effect is applied. This makes it possible to reproduce the same evaluation environment as the learning environment with respect to the action.
  • the second acquisition unit 24 refers to the first action information of the evaluation recipe stored in the evaluation recipe server 30 and can use it as the second action information.
  • the evaluation recipe including the action information 1 is acquired.
  • the second acquisition unit 24 is an evaluation learned based on the first sample image to which the action applicable to the second hospital (for example, owning equipment for staining) is applied. Acquire an evaluation recipe that includes a vessel parameter. This makes it possible to avoid evaluation recipes that are difficult to reproduce in the second hospital.
  • the reproduction unit 42 reproduces an environment corresponding to the learning environment indicated by the evaluation recipe as an evaluation environment for evaluation of the second sample.
  • the reproduction unit 42 does not process the action in particular.
  • the reproduction unit 42 supports the application of the second action, which is the same as the first action, to the second sample.
  • the reproducing unit 42 causes the output unit 44 to output the first action information, and assists the action in which the staff of the second hospital applies the same second action as the first action to the second sample. .. This makes it possible to apply the same second effect as the first effect to the second sample.
  • the reproducing unit 42 controls the equipment to apply the second action to the second sample. Good.
  • the evaluation recipe is downloaded with the second sample prepared, the steps from action to evaluation are automatically executed and the evaluation result is output, which is a fully automatic evaluation system. Can also be built.
  • the reproduction unit 42 reproduces a second image parameter equivalent to the first image parameter. More simply, a second sample image having the same appearance as the first sample image is generated. This makes it possible to make the appearance of the second sample image the same as the appearance of the first sample image.
  • the reproduction unit 42 sets the second image parameter to be the same as the first image parameter included in the evaluation recipe. Specifically, the reproduction unit 42 sets the same second imaging parameter as the first imaging parameter included in the evaluation recipe in the imaging device 10B. For example, the reproduction unit 42 sets the autofocus setting, the magnification, the exposure time, and the gamma correction value indicated by the first image pickup parameter in the image pickup apparatus 10B. Then, the reproduction unit 42 applies the same second image processing as the first image processing indicated by the first image processing parameter to the second sample image captured by the image capturing apparatus 10B.
  • the reproduction unit 42 sets the same “setting A” as the first imaging parameter in the imaging device 10B, and Similar to the image processing of No. 1, no particular image processing is applied.
  • the reproducing unit 42 sets the same “setting B” as the first image capturing parameter in the image capturing apparatus 10B, and the first image processing is performed. The same "color correction B" is applied to the second sample image.
  • the reproduction unit 42 fills the difference between the first imaging parameter of the imaging device 10A and the second imaging parameter of the imaging device 10B.
  • Image processing is applied to the second sample image.
  • Such image processing may include, for example, color correction and / or scaling.
  • the reproduction unit 42 applies the color correction for filling the difference between the molds to the second sample image.
  • the reproducing unit 42 sets the same “setting A” as the first imaging parameter to the imaging device 10B.
  • the second image processing “color correction B” different from the first image processing “none” is set to the second sample image.
  • the reproduction unit 42 sets the same “setting A” as the first imaging parameter in the imaging device 10B, and the first The second image processing “color correction D”, which is different from the image processing “color correction C”, is applied to the second sample image.
  • the reproduction unit 42 sets the same “setting A” as the first imaging parameter in the imaging device 10B, and the first The second image processing “none”, which is different from the image processing “color correction E” of No. 3, is applied to the second sample image.
  • Evaluation The evaluation unit 43 evaluates the second sample image of the second sample imaged by the imaging device 10B in the evaluation environment reproduced as the environment corresponding to the learning environment, as an evaluator parameter included in the evaluation recipe. It is evaluated by the evaluator to which is applied. That is, the evaluation unit 43 applies the evaluator parameters included in the evaluation recipe to the evaluator, and inputs the second sample image obtained by the reproduction unit 42 performing the above-described reproduction processing to the evaluator. Then, the evaluation result is obtained.
  • the second reproduction process is a process of reproducing the evaluation environment equivalent to the learning environment in a state where the second effect has been applied and the second sample image has been captured.
  • the second sample to be evaluated exists, the second effect has been applied, and the second sample image has been captured, so at least the second sample attribute information is acquired.
  • the second action information, and the second imaging parameter are fixed.
  • the second image processing parameter is undetermined. This undetermined parameter can be controlled to reproduce an evaluation environment equivalent to the learning environment.
  • the second acquisition unit 24 acquires an evaluation recipe whose learning environment is equivalent to the evaluation environment.
  • the second acquisition unit 24 acquires an evaluation recipe including an evaluator parameter learned in a learning environment equivalent to the evaluation environment of the second sample image.
  • Equivalence does not necessarily mean the same (perfect match). For example, even if the image parameters are different, if the difference can be pseudo-filled by the image processing, the learning environment and the evaluation environment are considered to be equivalent.
  • the second acquisition unit 24 refers to the first image parameter of the evaluation recipe stored in the evaluation recipe server 30, and the first image parameter and the second image parameter are equal to each other. Get an evaluation recipe that is.
  • the second acquisition unit 24 acquires an evaluation recipe in which the imaging device 10A and the imaging device 10B have the same type.
  • the second acquisition unit 24 acquires an evaluation recipe that can fill the difference between the types by the image processing even if the image capturing apparatus 10A and the image capturing apparatus 10B have different types.
  • the second acquisition unit 24 has different types of the image capturing apparatus 10A and the image capturing apparatus 10B and different color appearances and / or different magnifications
  • an equivalent color appearance and / or scale may be obtained by performing color correction and / or scaling. If the magnification is reproducible, the evaluation recipe of the imaging device 10A is acquired.
  • the second acquisition unit 24 refers to the first sample attribute information of the evaluation recipe stored in the evaluation recipe server 30, and determines the first sample attribute information and the second sample attribute. Acquire an evaluation recipe that is the same as the information. For example, the 2nd acquisition part 24 acquires the evaluation recipe containing the evaluator parameter learned about the 1st sample collected from the same organ as the 2nd sample. This makes it possible to reproduce the same evaluation environment as the learning environment for the sample attribute information.
  • the second acquisition unit 24 may acquire an evaluation recipe in which the first sample attribute information and the second sample attribute information do not match in all items, but some of them match. In that case, it is possible to reproduce the same evaluation environment as the learning environment for the first sample whose sample attribute information is similar to the second sample.
  • the second acquisition unit 24 refers to the first action information of the evaluation recipe stored in the evaluation recipe server 30, and the first action information and the second action information are the same. Get an evaluation recipe that is.
  • the second acquisition unit 24 acquires an evaluation recipe including an evaluator parameter learned based on the first sample image to which the first effect that is the same as the second effect is applied. This makes it possible to reproduce the same evaluation environment as the learning environment with respect to the action.
  • the reproduction unit 42 reproduces an environment corresponding to the learning environment indicated by the evaluation recipe as an evaluation environment for evaluation of the second sample.
  • the second reproduction process is performed in a state in which the second effect has been applied, the second imaging parameter has been set, and the second captured image has been captured. Therefore, basically, when the evaluation recipe is acquired, the evaluation environment equivalent to the learning environment has already been reproduced.
  • the imaging parameters may be different, such as the imaging device 10A and the imaging device 10B being different types.
  • the reproduction unit 42 applies image processing for filling the difference between the first imaging parameter of the imaging device 10A and the second imaging parameter of the imaging device 10B to the second sample image.
  • image processing may include, for example, color correction and / or scaling.
  • image processing may include arbitrary processing such as brightness correction, rotation, and / or binarization. This makes it possible to make the appearance of the second sample image the same as that of the first sample image, and improve the evaluation accuracy of the second sample.
  • the evaluation unit 43 is an evaluator that has learned the second sample image of the second sample to which the second effect has been applied, which is imaged by the imaging device 10B, in a learning environment equivalent to the evaluation environment. Evaluate by the evaluator to which the parameters are applied. That is, the evaluation unit 43 applies the evaluator parameters included in the evaluation recipe to the evaluator, and inputs the second sample image obtained by the reproduction unit 42 performing the above-described reproduction processing to the evaluator. Then, the evaluation result is obtained.
  • FIG. 4 is a diagram showing an example of a UI (User Interface) according to this embodiment.
  • the UI 100 shown in FIG. 4 is output as an image by the output unit 44.
  • the recipe selection field 101 the identification information of the selected (that is, downloaded) evaluation recipe is displayed.
  • the similar case display field 102 information on a case similar to the case of the second sample that is the evaluation target is displayed.
  • the AI selection field 103 identification information of a plurality of evaluator parameters included in the evaluation recipe is displayed, and an operation of selecting an evaluator parameter to be applied to the evaluator is accepted.
  • the diagnosis result by the pathologist of the second sample to be evaluated is displayed.
  • the AI determination result field 105 information indicating the evaluation result of the second sample by the evaluator to which the evaluator parameter selected in the AI selection field 103 is applied is displayed.
  • the AI determination result detail display field 106 (106A and 106B) information indicating the evaluation result of the second sample by the evaluator to which the evaluator parameter selected in the AI selection field 103 is applied is the second sample image 107. It is displayed by being superimposed on (107A and 107B).
  • the evaluator parameter identification information 108 (108A and 108B), the annotation information 109 (109A and 109B) indicating the range of the tumor region, and the information 110 (110A and 110B) indicating the tumor content are displayed in a superimposed manner. ..
  • the staff of the second hospital can switch the evaluation recipe and the evaluator parameter, and simultaneously display and compare the evaluation results of different evaluator parameters. This allows the staff of the second hospital to easily select appropriate evaluation recipes and evaluator parameters.
  • FIG. 5 is a flowchart showing an example of the flow of an evaluation recipe upload process executed in the hospital server 20A according to the present embodiment.
  • the first acquisition unit 21 acquires the first image parameter, the first action information, the first sample attribute information, the first evaluation result information, and the first sample image. It is acquired (step S102).
  • the learning unit 22 learns the evaluator parameter for each learning environment based on the teacher data having the first sample image as data and the first evaluation result information as a label (step S104).
  • the generation unit 23 outputs the evaluator parameter and information indicating the learning environment (for example, the first image parameter, the first action information, and / or the first sample attribute information common to the teacher data).
  • the evaluation recipe is generated in association with each other (step S106). Then, the generation unit 23 transmits the generated evaluation recipe to the evaluation recipe server 30 (step S108).
  • FIG. 6 is a flowchart showing an example of the flow of the storage processing of the evaluation recipe executed in the evaluation recipe server 30 according to the present embodiment. As shown in FIG. 6, first, the storage control unit 31 receives the evaluation recipe (step S202). Next, the storage unit 32 stores the received evaluation recipe (step S204).
  • FIG. 7 is a flowchart showing an example of the flow of the first reproduction process executed by the hospital server 20B and the terminal device 40B according to this embodiment.
  • the second acquisition unit 24 acquires an evaluation recipe that can reproduce an evaluation environment equivalent to the learning environment (step S302).
  • the second acquisition unit 24 refers to the first image parameter, the first sample attribute information, and the first action information included in the evaluation recipe stored in the evaluation recipe server 30, and the equivalent second An evaluation recipe capable of reproducing the image parameter of, the second sample attribute information, and the second action information is acquired.
  • the reproduction unit 42 supports the application of the second action, which is the same as the first action indicated by the first action information included in the acquired evaluation recipe, to the second sample (step S304).
  • the reproduction unit 42 reproduces the second image parameter equivalent to the first image parameter included in the acquired evaluation recipe (step S306).
  • the second sample image generated in the evaluation environment equivalent to the learning environment is obtained.
  • the evaluation unit 43 inputs the second sample image to the evaluator to which the evaluator parameters included in the evaluation recipe are applied, and evaluates the second sample (step S308).
  • FIG. 8 is a flowchart showing an example of the flow of the second reproduction process executed in the hospital server 20B and the terminal device 40B according to this embodiment. Note that the second action is applied to the second sample and the second sample image is captured before this flow is executed.
  • the second acquisition unit 24 acquires an evaluation recipe whose learning environment is equivalent to the evaluation environment (step S402).
  • the second acquisition unit 24 refers to the first image parameter, the first sample attribute information, and the first action information included in the evaluation recipe stored in the evaluation recipe server 30, and these are the second.
  • the image parameter, the second sample attribute information, and the evaluation recipe equivalent to the second action information are acquired.
  • the reproduction unit 42 applies image processing for filling the difference between the first imaging parameter and the second imaging parameter included in the evaluation recipe to the second sample image (step S404).
  • the evaluation unit 43 inputs the second sample image to the evaluator to which the evaluator parameters included in the evaluation recipe are applied, and evaluates the second sample (step S406).
  • drug evaluation the state of cells after giving the drug is observed.
  • the action in drug evaluation is administration of the drug.
  • drug evaluation the effect of a drug is proved by repeating the same test.
  • the effect of the drug is evaluated by pulsation analysis of cardiomyocytes. At that time, the effect of the drug is evaluated based on the time interval of the pulsation and the magnitude of the amplitude.
  • the evaluator in drug evaluation outputs the effect of the drug based on, for example, the time interval of the pulsation and the magnitude of the amplitude.
  • the evaluation recipe in the drug evaluation includes drug information as information indicating the learning environment, and further includes an evaluator parameter of the evaluator.
  • the present technology is applicable to quality evaluation during culture of iPS cells.
  • iPS cells during culture In the quality evaluation of iPS cells during culture, the ability to differentiate into the target tissue or organ is evaluated. The action in quality evaluation of iPS cells during culture is gene and protein introduction or drug treatment. In the quality evaluation of iPS cells during culture, the presence or absence of tumor damage due to genomic damage or undifferentiated cells is evaluated. In addition, in the process of culturing cells, iPS cells and Non-iPS cells are judged by images. An evaluator for image recognition may be used to find the cells of interest. In the case of iPS cells, since long-term monitoring is also required, it is possible to develop quality prediction technology using images.
  • the evaluator in the quality evaluation during the culture of iPS cells is based on the images during the culture, and whether or not there is tumor formation due to genomic damage or undifferentiated cells, iPS cells or Non-iPS cells, and / or future quality. Evaluate.
  • the evaluation recipe in the quality evaluation during the culture of iPS cells includes information on gene and protein introduction or drug treatment as information indicating the learning environment, and further includes the evaluator parameters of the evaluator.
  • the present technology is applicable to judgment of transplantation of cells in regenerative medicine.
  • the evaluator evaluates the transplantability based on the image of the cells.
  • the evaluation recipe includes the evaluator parameter and learning environment information indicating the learning environment of the evaluator parameter.
  • the evaluation recipe is not limited to this example.
  • the evaluation recipe may include case information and evaluation result information.
  • the case information indicates information about a symptom of a disease and information about a disease name.
  • the case information indicates information about a case or disease name such as prostate cancer, colon cancer, breast cancer, lung cancer.
  • the evaluation result information indicates the type and content of the diagnosis evaluated by the evaluator.
  • the evaluation recipe including the case information and the evaluation result information may be referred to as a “diagnosis recipe” in order to distinguish it from the evaluation recipe described above.
  • the diagnostic recipe is a concept included in the evaluation recipe.
  • the evaluation result information is information about the determination result for determining “cancer” or “non-cancer”.
  • the evaluation result information is information related to the determination result of determining whether or not a cancer is “1 (cancer)” or “0 (non-cancer)”.
  • the information indicating the determination result of the presence or absence of cancer is output information by the evaluator.
  • the evaluation result information is information about an annotation result indicating a tumor area. In this case, the information indicating the annotation result indicating the tumor area becomes the output information by the evaluator.
  • the evaluation result information is information about the result of tumor classification.
  • the information indicating the result of the tumor classification is the output information from the evaluator.
  • the evaluation result information is information on the shape, morphology, area, and position of cells and tissues of the tumor.
  • information indicating the shape, morphology, and area of the tumor, or information regarding the position of cells or tissues is output information by the evaluator.
  • it can be used as auxiliary information for diagnosis.
  • it can be used as an auxiliary tool for cancer genome diagnosis.
  • diagnosis recipe 1 “case information: prostate cancer” + “evaluation result information: cancer / non-cancer determination”
  • diagnosis recipe 2 “case information: colorectal cancer” + “evaluation result information: annotation result indicating tumor area”.
  • the learning environment information included in the evaluation recipe is not limited to the above example.
  • the example in which the imaging recipe is included in the evaluation recipe has been described as an example of the device information regarding the imaging device.
  • the imaging parameters may include color information regarding the color of the image and information regarding the resolution of the image, in addition to the above-described magnification and the like.
  • the evaluation recipe may include not only the color information of the device information but also the staining information of the sample and the color information of the organ information which is an example of the sample attribute information.
  • the color of the image may be different depending on not only the device but also the staining of the specimen and the organ. Further, the fact that the magnification, color, resolution, etc. of an image differ depending on the imaging device, staining, and organ will be referred to as “variation” as appropriate below. Hereinafter, a method of suppressing the variation by correcting the magnification, color and resolution of the image will be described.
  • an example in which the imaging device 10B generates the second sample image based on the evaluation recipe an example in which the reproduction unit 42 reproduces an environment equivalent to the learning environment based on the evaluation recipe, and an evaluation unit. 43 shows an example in which the evaluation is performed using the evaluator parameters included in the evaluation recipe.
  • the method of matching the learning environment and the evaluation environment is not limited to the above embodiment.
  • a pattern of a method of matching the learning environment and the evaluation environment including the examples shown in the above embodiment, will be described with reference to FIGS. 9 to 12.
  • 9 to 12 a case of correcting the resolution will be described as an example.
  • 9 to 12 the case of correcting the resolution will be described as an example, but the same applies to the case of correcting the magnification and the color.
  • evaluation H1 the evaluator generated at the time of learning
  • evaluation H2 the evaluator used for evaluation
  • FIG. 9 shows a case where the second sample image captured by the image capturing apparatus 10B is evaluated by using the evaluator generated based on the first sample image captured by the image capturing apparatus 10A.
  • the imaging device 10A and the imaging device 10B are different devices, the resolution of the sample image is different, and it may not be possible to appropriately evaluate the second sample image.
  • the performances and imaging conditions of the imaging devices are different among the imaging devices, so that the sample images captured by the imaging devices 10A and 10B also have different resolutions among the imaging devices. For example, even if the same sample is imaged by the imaging device 10A and the imaging device 10B, the first sample image and the second sample image may have different resolutions.
  • the evaluator generated based on the first sample image captured by the image capturing apparatus 10A uses the first sample image captured by the image capturing apparatus 10A as correct answer information, the image capturing apparatus different from the image capturing apparatus 10A. Even if the sample image is applied to the second sample image captured by 10B, the sample image may vary among the image capturing devices, and thus may not be properly evaluated. That is, the evaluator generated based on the first sample image captured by the image capturing apparatus 10A appropriately evaluates the first sample image captured by the image capturing apparatus 10A, and is not necessarily the image capturing apparatus. It does not properly evaluate the second sample image captured in 10B.
  • the evaluator generated based on the first sample image captured by the image capturing apparatus 10A it is determined whether or not the second sample image captured by the image capturing apparatus 10B includes information regarding a lesion. If estimated, an error may occur in the estimation result. It is to be noted that the proper evaluation means, for example, highly accurate evaluation.
  • 10 to 12 show a case where the resolution of the sample image is corrected.
  • FIG. 10 shows a case where an evaluator is generated based on sample images picked up by a plurality of image pickup devices.
  • an evaluator corresponding to each imaging device is individually generated.
  • the evaluator for the imaging device 10A is based on the first sample image captured by the imaging device 10A
  • the imaging device is based on the second sample image captured by the imaging device 10B.
  • An evaluator for 10B and an evaluator for the imaging device 10C are generated based on a sample image captured by the imaging device 10C (hereinafter, appropriately referred to as “third sample image”).
  • an evaluator for the image capturing apparatus 10A when evaluating the first sample image captured by the image capturing apparatus 10A, an evaluator for the image capturing apparatus 10A is used, and when evaluating the second sample image captured by the image capturing apparatus 10B, the image capturing apparatus is used.
  • the evaluator for 10B When using the evaluator for 10B to evaluate the third sample image captured by the imaging device 10C, by using the evaluator for each imaging device, such as using the evaluator for the imaging device 10C, It can be evaluated with high accuracy.
  • an evaluator corresponding to each imaging device may be generated instead of generating an evaluator corresponding to each imaging device.
  • An evaluator that corresponds to any of the first sample image, the second sample image, and the third sample image may be generated.
  • the image capturing apparatus 10C captures the image. Even when the evaluated third sample image is evaluated, the evaluation can be appropriately performed by using the evaluator corresponding to all the imaging devices.
  • FIG. 11 shows a case where the resolution is corrected to a predetermined standard at the time of evaluation.
  • FIG. 11 shows a case where the learning environment is adapted as in the above embodiment.
  • the second sample image is evaluated by using the evaluator generated based on the first sample image captured by the image capturing apparatus 10A.
  • the corrected second sample image obtained by correcting the second sample image captured by the image capturing apparatus 10B to a predetermined reference resolution is used as the first sample image captured by the image capturing apparatus 10A.
  • the captured second sample image is corrected to a predetermined reference corresponding to the first sample image.
  • the second sample image captured by the image capturing apparatus 10B can be evaluated without error, and thus the second sample image can be evaluated more appropriately.
  • it since it is input to the evaluator after being corrected to the standard resolution, it may take time for evaluation. The above is the case where the learning environment is adapted.
  • learning may be performed according to the evaluation environment.
  • the first hospital side may reproduce a learning environment equivalent to the evaluation environment for evaluation of the second sample and perform learning in the reproduced learning environment.
  • FIG. 12 shows a case where learning is performed according to the evaluation environment.
  • FIG. 12 shows a case where the resolution is corrected to a predetermined standard when the evaluator is generated.
  • the evaluator is generated based on the corrected first sample image obtained by correcting the first sample image captured by the image capturing apparatus 10A to a predetermined reference resolution.
  • the first sample image captured by the image capturing apparatus 10A is changed to the second sample image. Correct to the corresponding predetermined standard. Accordingly, the second sample image captured by the image capturing apparatus 10B can be evaluated without error, and thus the second sample image can be evaluated more appropriately.
  • the evaluator since the evaluator is generated after correction to the standard resolution, it may take time to generate the evaluator.
  • the same processing may be performed when correcting the magnification and color of the image.
  • the generation unit 23 has described the case of generating the evaluation recipe including the evaluator parameter and the learning environment information, but the present invention is not limited to these examples.
  • the generation unit 23 may generate a diagnostic recipe that is an evaluation recipe that includes case information and evaluation result information.
  • the generation unit 23 generates an evaluator using the evaluation result information included in the diagnostic recipe as correct answer information for determining a lesion. For example, the generation unit 23 uses the evaluation result as the correct answer information, such as the determination result of the determination indicating whether or not a cancer is present among the evaluation result information included in the diagnostic recipe, and the result information such as the annotation result indicating the tumor area. To generate. In this case, the generation unit 23 sets, as the evaluator parameter, information regarding the evaluation content, such as cancer / sad cancer determination and annotation indicating a tumor area, among the evaluation result information included in the diagnostic recipe. Generate an evaluator.
  • the generation unit 23 generates an evaluator using the information corrected based on the information on the device, the staining, the organ, etc. as the evaluator parameter. For example, the generation unit 23 generates an evaluator using the information obtained by correcting the magnification, the color, the resolution, and the like so as to be a predetermined reference based on the information on the device, the stain, the organ, and the like as the evaluator parameter.
  • the flow of information processing using the evaluation recipe will be described below with reference to FIGS.
  • Information processing using the evaluation recipe has two cases. Specifically, there are cases where the correction is made at the time of generating the evaluator and cases where the correction is made at the time of evaluation.
  • the reproduction unit 42 may perform processing using the evaluation recipe stored in the evaluation recipe server 30 and may perform processing using information that is not stored in the evaluation recipe server 30. 13 and 14 show a case where the reproduction unit 42 performs processing using the evaluation recipe stored in the evaluation recipe server 30.
  • the information processing in the case of performing the correction at the time of learning will be described with reference to FIG.
  • FIG. 13 is a diagram illustrating an example of an information processing procedure when the information stored by the generation unit 23 is corrected during learning.
  • the generation unit 23 acquires patient information.
  • the generation unit 23 acquires the patient information input by the pathologist.
  • the generation unit 23 acquires organ information.
  • the generation unit 23 is not limited to organ information as long as it is information about the patient's living body, and may acquire any information as patient information.
  • the generation unit 23 may acquire attribute information such as the age, height, and sex of the patient.
  • the generation unit 23 acquires information about the pathological slide.
  • the generation unit 23 acquires information regarding the pathological slide corresponding to the acquired patient information.
  • the generation unit 23 acquires information regarding a pathological slide that has been sliced or stained.
  • the generation unit 23 acquires dyeing (action) information.
  • the target of staining may be any object as long as it is related to a living body.
  • the target of staining may be cells or blood.
  • the generation unit 23 acquires information about the sample image. For example, the generation unit 23 acquires information regarding the specimen image of the pathological slide. For example, the generation unit 23 acquires information regarding the stained sample image of the target. For example, the generation unit 23 acquires the device information of the imaging device that captured the sample image.
  • the generation unit 23 acquires information regarding the diagnosis result. For example, the generation unit 23 acquires information regarding the diagnosis result based on the captured sample image. For example, the generation unit 23 acquires case information. For example, the generation unit 23 acquires annotation information.
  • the diagnosis shown in FIG. 13 includes observation and recording. For example, the generation unit 23 acquires the recorded annotation information.
  • the generation unit 23 stores information about the acquired sample image. For example, the generation unit 23 stores the sample image in a predetermined storage unit. For example, the generation unit 23 stores the annotation information.
  • the generation unit 23 corrects based on the patient information, the pathological slide information, and the pathological image information. For example, the generation unit 23 makes a correction based on the organ information, the staining information, and the device information. For example, the generation unit 23 can reduce the variation due to the organ by performing the correction based on the organ information. For example, the generation unit 23 can reduce variation due to dyeing by performing correction based on the dyeing information. For example, the generation unit 23 can reduce the variation due to the device by performing the correction based on the device information. In addition, color variations may occur due to variations in organs. The generator 23 corrects the color of the organ and the predetermined reference color. In addition, color variations may occur due to variations in dyeing.
  • the generation unit 23 corrects the dyed color and the predetermined reference color. Further, there is a possibility that an error may occur in at least one of color, magnification, and resolution due to variations in the device.
  • the generation unit 23 performs correction according to at least one of a predetermined reference color, a predetermined reference magnification, and a predetermined reference resolution. Thereby, the generation unit 23 can improve the evaluation accuracy. Accordingly, the generation unit 23 can improve the evaluation accuracy by correcting at least one of the color, the magnification, and the resolution.
  • the generation unit 23 may use the organ information as auxiliary information for correction. That is, the generation unit 23 corrects the sample image using the organ information. For example, in the case of detecting cell nuclei or the like, when the color of the tissue of the organ or the cell nucleus changes due to staining (for example, HE staining), the generation unit 23 uses the organ information as auxiliary information for correction. Good.
  • the generation unit 23 may use information such as the mucous membrane, hematopoietic system, and salivary gland as auxiliary information for correction in the case of detecting cell nuclei.
  • the generation unit 23 performs learning by machine learning. For example, the generation unit 23 performs learning based on a neural network such as deep learning.
  • the generation unit 23 generates an evaluator based on the corrected patient information, the corrected pathological slide information, and the corrected sample image information. For example, the generation unit 23 may generate the evaluator using the result information of the evaluation result information as the correct answer information.
  • the learning according to the embodiment is not limited to learning based on a neural network such as deep learning, and may be any learning as long as it is learning by machine learning. For example, the learning according to the embodiment may be learning based on random forest.
  • the generation unit 23 stores the evaluator and the evaluation recipe.
  • the reproduction unit 42 acquires organ information, staining information, and device information based on the same processing as the generation unit 23.
  • the reproduction unit 42 requests the generation unit 23 for an evaluator corresponding to the acquired information.
  • the reproduction unit 42 identifies the pathological target based on the evaluator transmitted from the generation unit 23. In this way, the reproducing unit 42 uses the evaluator generated by the generating unit 23 to make a diagnosis.
  • FIG. 14 is a diagram illustrating an example of an information processing procedure when the information acquired by the reproduction unit 42 is corrected at the time of evaluation.
  • the generation unit 23 acquires the patient information, the information about the pathological slide, the information about the sample image, and the information about the diagnosis result based on the same processing as that in FIG. 13.
  • the generation unit 23 also stores information about the sample image and annotation information.
  • the generation unit 23 performs machine learning using the acquired information.
  • the generation unit 23 performs learning based on patient information, information regarding pathological slides, and information regarding sample images.
  • the generation unit 23 stores the evaluation device and the evaluation recipe.
  • the reproducing unit 42 acquires organ information, staining information, and device information based on the same processing as in FIG.
  • the reproduction unit 42 corrects the acquired organ information, staining information, and device information.
  • the reproduction unit 42 corrects the organ information, the staining information, and the device information based on a predetermined standard.
  • the reproducing unit 42 requests the generator 23 for an evaluator corresponding to the corrected information.
  • the reproduction unit 42 identifies the pathological target based on the evaluator transmitted from the generation unit 23.
  • 13 and 14 show the case where the correction is performed at either the learning time or the evaluation time, but the correction may be performed at both the learning time and the evaluation time.
  • 13 and 14 show the case where the generation unit 23 provides the evaluator to the reproduction unit 42, the generation unit 23 provides the estimation result output using the evaluation unit to the reproduction unit 42. You may. In this case, the reproduction unit 42 may specify the pathological target based on the provided estimation result.
  • sample attribute information Modified example of sample attribute information>
  • the sample attribute information the age of the patient, sex, age at the time of examination, the type of organ from which the sample is collected, collection method, test date, pathological diagnosis result, pathological findings, thumbnail image of the sample, and sample Including genome information.
  • the sample attribute information may include information regarding ethnicity such as nationality and race of the patient.
  • the generation unit 23 may generate the evaluation recipe by using information such as the nationality and race of the patient as the patient information.
  • the sample attribute information may include information about a diagnosis place such as a hospital or a country where a patient is diagnosed. In this case, the generation unit 23 may generate the evaluation recipe by using the information such as the hospital or country where the patient is diagnosed as the patient information.
  • the generation unit 23 may generate different evaluation recipes according to the sample attribute information. For example, the generation unit 23 may generate different evaluation recipes depending on the nationality and race of the patient. For example, the generation unit 23 may generate the evaluation recipe based on the patient information that differs according to the nationality and race of the patient.
  • the generator 23 may generate different evaluators according to the sample attribute information. For example, the generation unit 23 may generate different evaluators for different nationalities and races of patients. For example, the generation unit 23 may generate an evaluator based on patient information that differs according to the nationality and race of the patient. For example, the generation unit 23 may generate an evaluator based on an evaluation recipe that differs depending on the nationality and race of the patient.
  • the generation unit 23 reproduces a corresponding evaluator according to sample attribute information corresponding to ethnicity such as nationality or race of a patient to be evaluated, or a diagnosis place such as a hospital or a country where the patient is diagnosed. It may be transmitted to the section 42.
  • the generation unit 23 may generate a composite recipe that is a recipe that is a combination of evaluation recipes. And the production
  • the diagnostic system 1 according to the embodiment is not limited to the example shown in FIG. 1 and may have a plurality of components.
  • the diagnostic system 1 includes a plurality of imaging devices 10 (a plurality of units 10A and a plurality of units 10B), a plurality of hospital servers 20 (a plurality of units 20A and a plurality of units 20B), and a plurality of units.
  • a single evaluation recipe server 30 and a plurality of terminal devices 40 (a plurality of 40A and a plurality of 40B) may be included.
  • the diagnostic system 1 according to the embodiment is not limited to the example shown in FIG. 2, and each function (for example, each processing unit) included in each component may be plural.
  • the hospital server 20 may include a plurality of learning units 22 and a plurality of generation units 23.
  • the information processing system according to the embodiment may be realized by a plurality of diagnostic systems 1.
  • the hospital server 20 includes the first acquisition unit 21, the learning unit 22, the generation unit 23, and the second acquisition unit 24, but is not limited to this example.
  • the hospital server 20 may include a providing unit 25 that provides an evaluator.
  • the providing unit 25 provides the evaluator generated by the generating unit 23.
  • the providing unit 25 provides the evaluator acquired by the second acquisition unit 24.
  • the providing unit 25 transmits various kinds of information to the terminal device 40.
  • the providing unit 25 provides the estimation result output using the evaluator.
  • the diagnosis is not limited to the pathologist and may be any method.
  • the person who makes a diagnosis may be a person related to a hospital such as a doctor or a technician.
  • what makes a diagnosis will be appropriately referred to as a “user”.
  • the medical diagnosis is not limited to the pathological diagnosis and may be any medical diagnosis related to any medical care.
  • the case where the sample image is acquired has been described, but any medical image may be acquired as long as it is a medical image related to medical treatment, without being limited to the sample image.
  • the evaluator may be generated based on the evaluation recipe according to the medical image.
  • FIG. 15 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to this embodiment.
  • the information processing apparatus 900 illustrated in FIG. 15 can realize the hospital server 20A, the hospital server 20B, the evaluation recipe server 30, or the terminal device 40B illustrated in FIG. 2, for example.
  • Information processing by the hospital server 20A, the hospital server 20B, the evaluation recipe server 30, or the terminal device 40B according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing device 900 also includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may have a processing circuit such as an electric circuit, a DSP, or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores a program used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like.
  • the CPU 901 can form, for example, the first acquisition unit 21, the learning unit 22, and the generation unit 23 illustrated in FIG. 2. Further, the CPU 901 can form, for example, the storage control unit 31 shown in FIG. Further, the CPU 901 can form, for example, the second acquisition unit 24 illustrated in FIG. 2. Further, the CPU 901 can form, for example, the reproduction unit 42 and the evaluation unit 43 illustrated in FIG. 2.
  • the CPU 901, the ROM 902, and the RAM 903 are connected to each other by a host bus 904a including a CPU bus and the like.
  • the host bus 904a is connected to an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be separately configured, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever, to which information is input by the user. Further, the input device 906 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or a PDA that supports the operation of the information processing device 900. .. Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above-described input means and outputs the input signal to the CPU 901. By operating the input device 906, the user of the information processing device 900 can input various data to the information processing device 900 and instruct a processing operation. The input device 906 can form the input unit 41 shown in FIG. 2, for example.
  • the output device 907 is formed of a device capable of visually or auditorily notifying the user of the acquired information. Such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, and printer devices. .
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900, for example. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it audibly.
  • the output device 907 may form the output unit 44 shown in FIG. 2, for example.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded in the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form the storage unit 32 illustrated in FIG. 2, for example.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing device 900.
  • the drive 909 reads out information recorded on a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs it to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of data transmission by, for example, a USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various kinds of communication.
  • the communication device 913 can send and receive signals and the like to and from the Internet and other communication devices, for example, according to a predetermined protocol such as TCP / IP.
  • the communication device 913 can send and receive signals between the devices illustrated in FIG. 2, for example.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), WAN (Wide Area Network), and the like.
  • the network 920 may also include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the above computer program may be distributed, for example, via a network without using a recording medium.
  • the hospital server 20A uses the first sample based on the first sample image of the first sample to which the first effect is applied, which is imaged by the imaging device 10A. Learn the evaluator parameters of the evaluator that evaluates. Then, the hospital server 20A generates an evaluation recipe including the evaluator parameter and learning environment information indicating the learning environment of the evaluator parameter, and stores the evaluation recipe in the evaluation recipe server 30. On the other hand, the hospital server 20B according to the present embodiment acquires the evaluation recipe stored in the evaluation recipe server 30.
  • the terminal device 40B is based on the evaluation recipe acquired by the hospital server 20B, and as the evaluation environment for evaluation of the second sample imaged by the imaging device 10B different from the imaging device 10A, An environment equivalent to the learning environment indicated by the learning environment information is reproduced. This makes it possible to apply the evaluator parameters learned in a learning environment equivalent to the evaluation environment of the second sample to the evaluator to evaluate the second sample, and thus the evaluation of the second sample It is possible to improve accuracy.
  • the evaluation recipe is acquired while the second captured image has not been captured, and the evaluation environment equivalent to the learning environment is reproduced. Then, the terminal device 40B evaluates the second sample image of the second sample imaged by the imaging device 10B in the reproduced evaluation environment by the evaluator to which the evaluator parameters included in the evaluation recipe are applied. ..
  • the evaluation environment equivalent to the learning environment is reproduced in a state where the second effect has been applied and the second sample image has been captured. Then, the terminal device 40B uses the second sample image of the second sample to which the second effect is applied, which is imaged by the imaging device 10B, as the evaluator parameter learned in the learning environment equivalent to the evaluation environment. Evaluate by the applied evaluator. In any case, since the learning environment and the evaluation environment are the same, the evaluation accuracy of the evaluator can be improved.
  • the setting of the imaging parameter to the imaging device 10B in the evaluation environment, the application of the second action, and the like are often performed manually by a human even though a protocol is prepared.
  • at least a part of the reproduction processing based on the evaluation recipe can be mechanically executed. Therefore, it is possible to reduce the human work load, reduce human error, and improve the evaluation accuracy.
  • each component is mapped to the hospital server 20A, the evaluation recipe server 30, the hospital server 20B, and the terminal device 40B as illustrated in FIG. 2 has been described.
  • the terminal device 40B may include the second acquisition unit 24, and other arbitrary mapping is allowed.
  • the evaluator parameters of the evaluator for evaluating the first sample are learned based on the first sample image of the first sample to which the first effect is applied, which is imaged by the first imaging device. That Storing evaluation setting information including learning environment information indicating a learning environment of the evaluator parameter and the evaluator parameter in a storage medium, Acquiring the evaluation setting information stored in the storage medium, Based on the acquired evaluation setting information, an environment equivalent to the learning environment is set as an evaluation environment for evaluating the second sample imaged by the second imaging device different from the first imaging device. To reproduce Information processing method including. (2) The information processing method according to (1), wherein the learning includes learning the evaluator parameter for each learning environment.
  • the learning environment information includes a first image parameter relating to generation of the first sample image, action information indicating the first action, and first attribute information indicating an attribute of the first sample, The information processing method described in (1).
  • the first image parameter includes a first image capturing parameter of the first image capturing device and first image processing information indicating image processing applied to the first sample image, the (3 Information processing method described in ().
  • the action information includes information indicating a staining type and information indicating an antibody type used for staining.
  • the information processing method is A second sample image of the second sample captured by the second image capturing device in the reproduced evaluation environment is used by the evaluator to which the evaluator parameter included in the evaluation setting information is applied.
  • the information processing according to (8), wherein the reproducing includes making a second image parameter related to generation of the second sample image the same as the first image parameter included in the learning environment information. Method.
  • the reproducing applies image processing for filling the difference between the first imaging parameter of the first imaging device and the second imaging parameter of the second imaging device to the second sample image.
  • the information processing method includes the support for applying a second action, which is the same as the first action, to the second specimen.
  • the information processing method is The second sample image of the second sample to which the second effect is applied, which is captured by the second image capturing device, is used as the evaluation parameter learned in the learning environment equivalent to the evaluation environment.
  • the information processing method according to any one of (3) to (7), further including performing evaluation by the applied evaluator.
  • the first imaging device and the second imaging device have the same type, and the first attribute information of the first sample and the second attribute information of the second sample are the same.
  • the evaluating applies image processing to the difference between the first imaging parameter of the first imaging device and the second imaging parameter of the second imaging device to the second sample image.
  • the information processing method is The identification information of the evaluation setting information, the identification information of the evaluator parameter, and the output of information indicating the evaluation result of the second sample, according to any one of (1) to (16) above.
  • the evaluating includes determining the presence or absence of cancer cells in the second specimen, identifying the region in which the cancer cells are expressed in the second specimen image of the second specimen, The information processing method according to any one of (1) to (17) above, which comprises determining malignancy and identifying a drug for treating cancer cells.
  • the evaluator parameters of the evaluator for evaluating the first sample are learned based on the first sample image of the first sample to which the first effect is applied, which is imaged by the first imaging device.
  • Information processing method including. (20) An evaluator parameter of an evaluator for evaluating the first sample, which is learned based on a first sample image of the first sample to which the first effect is applied, which is imaged by the first imaging device. And acquiring learning setting information including learning environment information indicating a learning environment of the evaluator parameter from a storage medium, Based on the acquired evaluation setting information, an environment equivalent to the learning environment is set as an evaluation environment for evaluating the second sample imaged by the second imaging device different from the first imaging device. To reproduce Information processing method including.
  • the evaluator parameters of the evaluator for evaluating the first sample are learned based on the first sample image of the first sample to which the first effect is applied, which is imaged by the first imaging device.
  • a first information processing device including a learning unit and a generation unit that generates evaluation setting information including learning environment information indicating a learning environment of the evaluator parameter and the evaluator parameter;
  • a second information processing device including a storage medium for storing the evaluation setting information; An acquisition unit that acquires the evaluation setting information stored in the storage medium, and a second imaging device that is different from the first imaging device and that is imaged based on the acquired evaluation setting information.
  • a third information processing device including a reproduction unit that reproduces an environment equivalent to the learning environment, as an evaluation environment for evaluating the sample
  • An information processing system including. (22) The evaluator parameters of the evaluator for evaluating the first sample are learned based on the first sample image of the first sample to which the first effect is applied, which is imaged by the first imaging device. Learning part, A generation unit that generates evaluation setting information including learning environment information indicating a learning environment of the evaluator parameter and the evaluator parameter; An information processing apparatus including. (23) An evaluator parameter of an evaluator for evaluating the first sample, which is learned based on a first sample image of the first sample to which the first effect is applied, which is imaged by the first imaging device.
  • a reproduction part to reproduce, An information processing apparatus including. (24) An information processing system, An acquisition unit that acquires information related to a sample image captured for pathological diagnosis, which is information transmitted from a terminal device used by the pathologist in response to an operation by the pathologist.
  • a generator that generates an evaluator based on an evaluation recipe that is evaluation setting information indicating settings related to evaluation of the sample image after correction, which is corrected according to information about the sample image acquired by the acquisition unit, An evaluator generated by the generation unit, the providing unit providing information regarding the evaluator for evaluating the sample image to the terminal device, Information processing system including.
  • An information processing system An acquisition unit that acquires information related to a sample image captured for pathological diagnosis, which is information transmitted from a terminal device used by the pathologist in response to an operation by the pathologist.
  • a generation unit that generates an evaluator based on an evaluation recipe that is evaluation setting information indicating settings related to the evaluation of the sample image, according to the information related to the sample image acquired by the acquisition unit, An evaluator that is generated by the generation unit, and a providing unit that provides the terminal device with information regarding an evaluator for evaluating the corrected sample image that is corrected according to the evaluator, Information processing system including.
  • An information processing system An acquisition unit that acquires information related to a medical image captured for diagnosis, which is information transmitted from a terminal device used by the user according to an operation by the user, After the correction, which is corrected according to the information about the medical image acquired by the acquisition unit, a generating unit that generates an evaluator based on the evaluation recipe that is the evaluation setting information indicating the setting related to the evaluation of the medical image, An evaluator generated by the generation unit, and a providing unit that provides the terminal device with information regarding an evaluator for evaluating the medical image, Information processing system including.
  • An information processing system An acquisition unit that acquires information related to a medical image captured for diagnosis, which is information transmitted from a terminal device used by the user according to an operation by the user, According to the information about the medical image acquired by the acquisition unit, a generation unit that generates an evaluator based on an evaluation recipe that is evaluation setting information indicating settings related to the evaluation of the medical image, An evaluator generated by the generation unit, and a providing unit that provides the terminal device with information about an evaluator for evaluating the corrected medical image that is corrected according to the evaluator, Information processing system including.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、前記記憶媒体に記憶された前記評価設定情報を取得することと、取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、を含む情報処理方法。

Description

情報処理方法および情報処理システム
 本開示は、情報処理方法および情報処理システムに関する。
 近年、ヒト等の生物から細胞又は血液等の標本を採取し、次いで標本に染色等の作用を適用した上で、顕微鏡により得られた標本画像を観察することで標本を評価することが、治療又は研究等の目的で広く行われている。そして、標本画像に基づく標本の評価をより適切に行うための技術が求められている。
 例えば、下記特許文献1では、生体組織を染色して観察する際の染色のばらつきを画像処理により標準化することを目的として、標本画像の色素量分布が標準の標本画像の色素量に近似するように、標本画像を補正する技術が開示されている。
特開2009-14355号公報
 近年では、標本画像に基づく標本の評価をより容易にするために、人工知能(AI)により機械的に評価を行うことが試みられている。AIの学習は、作用のパラメータ及び顕微鏡のパラメータ等の各種パラメータが共通する大量の標本画像を教師データとして行われることが多い。学習済みのAIを利用する場合、学習時と同一のパラメータを用いて得られた標本画像を対象として評価を行うことで、適切な評価結果を得ることができる。
 特定の病院内で、特定の臓器を対象に特定の顕微鏡により特定のパラメータで撮像された標本画像を対象にAIが学習され且つ利用される等、AIの学習者と利用者とが同一である場合、上記条件は容易に満たされる。しかし、学習者と異なる利用者がAIを利用する場合には、上記条件が容易に満たされるとは言い難い。よって、学習者と異なる利用者がAIを利用する場合であっても、上記条件を満たすことを容易にする仕組み、又は上記条件が満たされずともAIにより適切な評価結果を得ることを容易にする仕組みが、提供されることが望ましい。
 そこで、本開示では、標本画像に基づく標本のAIを利用した評価をより容易にする仕組みを提供する。
 本開示によれば、第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、前記記憶媒体に記憶された前記評価設定情報を取得することと、取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、を含む情報処理方法が提供される。
 また、本開示によれば、第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、を含む情報処理方法が提供される。
 また、本開示によれば、第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて学習された、前記第1の標本の評価を行う評価器の評価器パラメータ、及び前記評価器パラメータの学習環境を示す学習環境情報を含む、評価設定情報を記憶媒体から取得することと、取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、を含む情報処理方法が提供される。
本開示の一実施形態に係る診断システムの構成の一例を示す図である。 本実施形態に係る診断システムの機能構成の一例を示す図である。 本実施形態に係る評価レシピ生成に関する情報の流れを示す図である。 本実施形態に係るUIの一例を示す図である。 本実施形態に係る病院サーバにおいて実行される評価レシピのアップロード処理の流れの一例を示すフローチャートである。 本実施形態に係る評価レシピサーバにおいて実行される評価レシピの記憶処理の流れの一例を示すフローチャートである。 本実施形態に係る病院サーバ及び端末装置において実行される第1の再現処理の流れの一例を示すフローチャートである。 本実施形態に係る病院サーバ及び端末装置において実行される第2の再現処理の流れの一例を示すフローチャートである。 本実施形態に係る評価器を用いた情報処理の一例を示す図である。 本実施形態に係る評価器を用いた情報処理の一例を示す図である。 本実施形態に係る評価器を用いた情報処理であって、評価時に補正を行う場合の情報処理の一例を示す図である。 本実施形態に係る評価器を用いた情報処理であって、学習時に補正を行う場合の情報処理の一例を示す図である。 本実施形態に係る生成部及び再現部において実行される再現処理の流れの一例を示す図である。 本実施形態に係る生成部及び再現部において実行される再現処理の流れの一例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
  1.はじめに
  2.構成例
  3.再現処理の詳細
  4.UI例
  5.処理の流れ
  6.適用例
  7.他の実施形態
   7.1.評価レシピの変形例
   7.2.補正の種類
   7.3.補正処理の概要
   7.4.補正処理の種類
   7.5.評価レシピの活用
   7.5.1.学習時の補正に基づく情報処理
   7.5.2.評価時の補正に基づく情報処理
   7.6.標本属性情報の変形例
   7.7.複合レシピの生成
   7.8.構成の変形例
   7.9.ユーザの表記
   7.10.医療画像の表記
  8.ハードウェア構成例
  9.まとめ
 <<1.はじめに>>
 病理診断においては、切り取られた臓器の一部が標本とされる。病理診断における作用とは、標本化時に目的に応じて細胞を染色することを指す。例えば、形態評価が目的である場合にはHE(Hematoxylin-Eosin)染色が採用され、腫瘍免疫の評価が目的である場合にはIHC(Immunohistochemistry)染色が採用される。例えば乳癌の評価では、HER2、ER、PgR、Ki-67タンパクなど染めるIHC染色が行われる。
 作用が適用された標本は、デジタル顕微鏡のステージにセットされて、撮像範囲を変化させながら連続的に撮像される。そして、連続的に撮像された撮像画像を繋ぎ合わせることで大きな一枚の標本画像(病理画像とも称される)が生成される。かかる標本画像は、WSI(whole slide imaging)とも称される。
 近年では、WSI又はWSIの一部を切り取った画像(以下、これらをまとめて標本画像とも総称する)に基づく病理診断を支援するためのAIを学習し利用する技術が急速に広まっている。かかるAIの学習には、例えば、標本画像をデータとし、かかる標本画像のうち腫瘍領域を示す情報(アノテーション情報とも称される)をラベルとする、教師データが用いられる。この場合、学習済みのAIに標本画像を入力すると、標本画像のうち腫瘍領域を示すアノテーション情報が出力されることとなる。病理診断を支援するAIとしては、上述した腫瘍領域の検出の他にも、腫瘍のクラス分類(例えば、がんのグレーディング)、がん/非がんを判断するがん診断、又は治療予測のためのAIが挙げられる。
 AIによる診断の精度を向上させるためには、学習時と診断時とで、作用のパラメータ及び顕微鏡のパラメータ等の各種パラメータを同一にすることが望ましい。例えば、顕微鏡の特性によって、同一の標本であっても標本画像の見え方が異なり得るためである。若しくは、パラメータが同一でなくとも、パラメータの相違を埋めるような画像処理が標本画像に適用されることが望ましい。これらいずれの場合であっても、AIを利用した診断の精度を向上させることが可能である。
 しかしながら、従来では、学習時のパラメータは保持されていないので、診断時に同一のパラメータを再現することも、パラメータ間の相違を埋めることも困難であった。そこで、本開示では、学習時のパラメータを保持し、診断時にはパラメータを再現する、又はパラメータ間の相違の埋めるための処理を行う仕組みを提供する。
 <<2.構成例>>
 <2.1.システム構成例>
 図1は、本開示の一実施形態に係る診断システムの構成の一例を示す図である。図1に示す診断システム1は、撮像装置10(10A及び10B)、病院サーバ20(20A及び20B)、評価レシピサーバ30、及び端末装置40(40A及び40B)を含む。
 (1)装置構成
 ・撮像装置10
 撮像装置10は、標本を撮像して標本画像を生成する装置である。撮像装置10は、例えば顕微鏡に撮像素子を取り付けた電子顕微鏡である。撮像装置10は、標本画像を生成し、生成した標本画像を端末装置40に出力する。
 ・病院サーバ20
 病院サーバ20は、病院での診療サービスに関する各種情報を管理する情報処理装置である。とりわけ、病院サーバ20は、評価レシピの生成及びアップロード、又は評価レシピのダウンロードを行う。評価レシピの詳細については後述する。例えば、病院サーバ20は、撮像装置10により生成された標本画像に基づいて評価レシピを生成し、評価レシピサーバ30に送信する。また、病院サーバ20は、撮像装置10により生成された標本画像の評価のための評価レシピを評価レシピサーバ30から取得して、端末装置40に出力する。
 ・評価レシピサーバ30
 評価レシピサーバ30は、評価レシピを管理する情報処理装置である。評価レシピサーバ30は、病院サーバ20から受信した評価レシピを記憶する。また、評価レシピサーバ30は、病院サーバ20から要求された評価レシピを当該病院サーバ20に送信する。
 ・端末装置40
 端末装置40は、撮像装置10により生成された標本画像に基づく評価を行う情報処理装置である。端末装置40は、ユーザインタフェースを備え、病院の職員による情報の入力及び病院の職員への情報の出力を行う。
 (2)各病院での処理
 ・第1の病院
 撮像装置10A(第1の撮像装置に相当)、病院サーバ20A及び端末装置40Aは、第1の病院に配置される。第1の病院とは、評価レシピの生成が行われる病院である。
 撮像装置10Aは、第1の作用が適用された第1の標本の第1の標本画像を生成し、端末装置40Aに出力する。端末装置40Aにおいて、第1の標本画像に基づく評価が行われる。例えば、第1の病院の職員による評価結果が、端末装置40Aに入力される。病院サーバ20Aは、第1の標本画像と当該第1の標本画像のメタ情報とを対応付けて記憶し、記憶した情報に基づいて評価レシピを生成する。その際、病院サーバ20Aは、メタ情報の少なくとも一部が共通する第1の標本画像に基づいて、評価レシピを生成する。メタ情報の詳細については、後に詳しく説明する。
 評価レシピは、評価器を用いた標本画像の評価に関する設定を示す評価設定情報である。詳しくは、評価レシピは、評価器パラメータ、及び当該評価器パラメータの学習環境を示す学習環境情報を含む。評価器パラメータとは、入力された情報に基づいて評価結果情報を出力する、評価器を定義するパラメータである。例えば、評価器は、少なくとも標本画像が入力されて、標本画像の評価結果(例えば、病理診断結果)を出力する。評価器は、例えばニューラルネットワーク又はSVM(Support Vector Machine)等の任意のAIにより構成される。評価器がニューラルネットワークで構成される場合、評価器パラメータは、ニューラルネットワークを構成するノード同士の繋がりの強さを示す重みの集合である。学習環境とは、評価器パラメータの学習に用いられた標本画像に共通する特徴である。学習環境情報は、評価器パラメータの学習に用いられた標本画像に共通するメタ情報である。
 評価レシピは、学習環境ごとに生成される。即ち、評価器パラメータは、学習環境ごとに学習される。例えば、男性の肝臓から採取されて、HE染色が適用された第1の標本の第1の標本画像が、複数の患者について収集されて評価器パラメータが学習されたものとする。その場合、学習された評価器パラメータと、”肝臓”、”HE染色”を示す学習環境情報と性別などの付随情報を含む、評価レシピが生成される。
 病院サーバ20Aは、生成した評価レシピを評価レシピサーバ30に送信して、記憶させる。
 ・第2の病院
 病院サーバ20B(第2の撮像装置に相当)、病院サーバ20B及び端末装置40Bは、第2の病院に配置される。第2の病院とは、評価レシピの利用が行われる病院である。
 病院サーバ20Bは、評価レシピサーバ30から評価レシピを取得し、端末装置40Bに出力する。撮像装置10Bは、第2の作用が適用された第2の標本の第2の標本画像を生成し、端末装置40Bに出力する。その際、撮像装置10Bは、評価レシピサーバ30から取得された評価レシピに基づいて、第2の標本画像を生成してもよい。そして、端末装置40Bは、撮像装置10Bにより生成された第2の標本画像の評価を、病院サーバ20Bにより取得された評価レシピを用いて行う。
 ここで、第2の病院では、学習環境と評価環境とが同等となる評価レシピが利用される。評価環境とは、評価器パラメータを利用する際の環境である。具体的には、評価環境とは、評価器パラメータを適用した評価器に入力される第2の標本画像のメタ情報の特徴である。
 例えば、第2の病院において、男性の肝臓から採取されて、HE染色が適用された第2の標本の第2の標本画像を評価する場合、”肝臓”、”HE染色”を学習環境情報とする評価レシピが、評価レシピサーバ30からダウンロードされて利用される。これにより、学習環境と評価環境とが同等となるので、評価器を用いた第2の標本の評価精度を向上させることが可能となる。”男性”といった性別などの付随情報については、評価の類似性や患者数など統計的な情報として提示することが可能である。
 (3)各種情報の説明
 (3.1)メタ情報
 標本画像のメタ情報は、画像パラメータ、作用情報、標本属性情報、及び評価結果情報の少なくともいずれかを含む。
 ・画像パラメータ
 画像パラメータは、標本画像の生成に関するパラメータである。画像パラメータは、撮像パラメータ及び画像処理パラメータを含む。
  -撮像パラメータ
 撮像パラメータは、撮像装置10による標本画像の撮像に関するパラメータである。撮像パラメータは、撮像装置10の識別情報(例えば、撮像装置10の種類を示す型番)、オートフォーカスの設定、倍率、露光時間、及びガンマ補正値の少なくともいずれかを含み得る。
  -画像処理パラメータ
 画像処理パラメータは、撮像装置10により撮像された標本画像に対して適用された画像処理を示す情報である。画像処理は、色補正、又は拡縮の少なくともいずれかを含み得る。さらに、画像処理は、回転、又は輝度補正を含んでいてもよい。
 ・作用情報
 作用情報は、標本画像に映る標本に適用された作用に関するパラメータである。病理診断においては、作用情報は、標本に施した染色の情報を含む。作用情報は、HE染色又はIHC染色等の染色の種別を示す染色情報、及びHER2、ER、PgR、又はKi-67等の染色に用いられる抗体の種別を示す抗体情報を含み得る。また、作用情報は、IHC-HER2、IHC-ER、IHC-PgR、及びIHC-Ki-67等の、染色種別と抗体種別との組み合わせを示す情報を含み得る。その他、作用として、薬剤の投与、及び/又は光刺激の付与が適用されてもよく、作用情報は、これらの作用に関する情報を含んでいてもよい。
 ・標本属性情報
 標本属性情報は、標本画像に映る標本の属性を示す情報である。標本属性情報は、どの臓器のどういった標本なのか(生検材料なのか手術材料なのか)を示す情報、及び標本の採取元に関する情報を含む。具体的には、標本属性情報は、患者の年齢、性別、検査時年齢、標本の採取元の臓器の種別、採取法、検査日、病理診断結果、病理所見、標本のサムネイル画像、及び標本のゲノム情報を含み得る。また、標本属性情報は、標本に含まれる細胞の形状、形態、及び面積を含み得る。なお、これらの標本属性情報は、診断支援のためだけでなく、治療支援にも使用され得る。例えば、標本属性情報は、薬、化学療法又は放射線療法等の治療効果予測にも使用され得る。とりわけ、ゲノム情報は、診断支援だけでなく治療支援にも利用され得る有力な情報のひとつである。例えば、ゲノム情報は、患者個別の医療(例えば、コンパニオン診断薬)を提供するために有用である。
 ・評価結果情報
 評価結果情報とは、標本画像に基づく評価結果を示す情報である。病理診断においては、評価結果情報は、病理診断結果(即ち、確定診断)である。例えば、評価結果情報は、腫瘍領域を示すアノテーション情報、がん/非がんの判定結果、及び腫瘍のクラス分類結果を含む。また、評価結果情報は、腫瘍の領域の形状、形態、及び面積を含み得る。
 以上、メタ情報に含まれる情報の一例を説明した。なお、第1の標本画像に関する情報には、「第1の」が付され、第2の標本画像に関する情報には、「第2の」が付される場合がある。例えば、第1の標本画像の画像パラメータは第1の画像パラメータとも称され、第2の標本画像の標本属性情報は第2の標本属性情報とも称される。
 (3.2)学習環境情報
 学習環境情報は、評価器パラメータの学習環境を示す情報である。上述したように、評価レシピは、評価器パラメータ及び当該評価器パラメータの学習環境を示す学習環境情報を含む。学習環境情報は、評価器パラメータの学習の際に用いられた第1の標本画像に共通するメタ情報を含む。例えば、学習環境情報は、第1の標本画像の生成に関する第1の画像パラメータ、及び当該第1の標本画像に映る第1の標本に適用された第1の作用を示す第1の作用情報を含む。さらに、学習環境情報は、当該第1の標本の標本属性情報である第1の標本属性情報を含んでいてもよい。
 <2.2.機能構成例>
 以下では、図2及び図3を参照しながら、本実施形態に係る診断システム1の機能構成例を説明する。
 図2は、本実施形態に係る診断システム1の機能構成の一例を示す図である。図2に示すように、病院サーバ20Aは、第1の取得部21、学習部22、及び生成部23を含む。評価レシピサーバ30は、記憶制御部31及び記憶部32を含む。病院サーバ20Bは、第2の取得部24を含む。端末装置40Bは、入力部41、再現部42、評価部43及び出力部44を含む。
 図3は、本実施形態に係る評価レシピ生成に関する情報の流れを示す図である。図3に示すように、第1の標本属性情報、第1の評価結果情報、及び第1の標本画像が学習部22に入力され、評価器パラメータが生成される。また、第1の画像パラメータ、第1の作用情報、及び第1の標本属性情報、並びに評価器パラメータが生成部23に入力されて、評価レシピが生成される。
 <2.2.1.病院サーバ20Aの機能構成例>
 (1)第1の取得部21
 第1の取得部21は、評価レシピ生成のための各種情報を取得する機能を有する。詳しくは、第1の取得部21は、第1の標本画像、及び第1の標本画像のメタ情報を取得する。取得される第1の標本画像のメタ情報は、第1の画像パラメータ、第1の作用情報、第1の標本属性情報、及び第1の評価結果情報である。これらの情報は、例えば、撮像装置10A、端末装置40A、又は第1の病院内の情報システムから取得される。
 (2)学習部22
 学習部22は、評価器の学習を行う機能を有する。詳しくは、学習部22は、撮像装置10Aにより撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、第1の標本の評価を行う評価器の評価器パラメータを学習する。例えば、学習部22は、第1の標本画像をデータとし、第1の評価結果情報をラベルとする教師データに基づいて、評価器パラメータを学習する。この場合、標本画像を入力とし、評価結果情報を出力する評価器が学習される。他にも、学習部22は、第1の標本画像及び第1の標本属性情報の少なくとも一部をデータとし、第1の評価結果情報をラベルとする教師データに基づいて、評価器パラメータを学習してもよい。この場合、標本画像及び標本属性情報の少なくとも一部を入力とし、評価結果情報を出力する評価器が学習される。例えば、標本画像及び当該標本画像に映る標本の採取元の患者の年齢及び性別等を入力とし、腫瘍領域を示すアノテーション情報を出力する評価器が学習される。
 学習部22は、学習環境ごとに評価器パラメータを学習する。即ち、学習部22は、学習環境が共通する(即ち、同一の)第1の標本画像に基づいて評価器パラメータを学習する。詳しくは、学習部22は、第1の画像パラメータ、第1の作用情報、及び第1の標本属性情報の少なくとも一部が共通である教師データに基づいて、評価器パラメータを学習する。例えば、学習部22は、撮像装置10Aの識別情報及び倍率の設定が共通する複数の第1の標本画像に基づいて、評価器パラメータを学習する。また、例えば、学習部22は、ゲノム情報における遺伝子の発現傾向が共通する複数の患者の第1の標本画像に基づいて、評価器パラメータを学習する。これらの場合、評価環境において、評価環境と同等の(例えば、同一の)学習環境において学習された評価器パラメータを利用することで、評価精度を向上させることが可能となる。
 ここで、画像認識により、HE及びIHC等の染色の分類を、比較的容易に識別することができる。他方、画像認識では、抗体の種類を識別することは困難である。そこで、抗体の種類ごとに評価器パラメータを学習しておき、使用される抗体の種類が評価環境と同一である学習環境において学習された評価器パラメータが評価時に利用されることで、評価精度を向上させることが可能となる。
 学習の際には、同じ第1の標本を対象として、異なる画像パラメータで第1の標本画像が生成され、学習に用いられることが望ましい。例えば、同じ第1の標本を、複数の異なる撮像装置10Aで撮像したり、撮像された画像に対し複数通りの画像処理(色補正及び/又は拡縮等)を適用したりすることが望ましい。これにより、同じ第1の標本に基づいて、複数の異なる学習環境で評価器パラメータを学習することが可能となる。
 なお、同一の教師データから異なる評価器レシピが学習されてもよい。例えば、ニューラルネットワークの層数が異なる複数の評価器レシピが、同一の教師データから学習されてもよい。
 (3)生成部23
 生成部23は、評価レシピを生成する機能を有する。生成部23は、学習部22により学習された評価器パラメータ、及び当該評価器パラメータの学習環境を示す学習環境情報を対応付けることで、評価レシピを生成する。生成部23は、評価レシピを評価レシピサーバ30に送信して、評価レシピサーバ30に記憶させる。
 評価レシピには、学習環境情報以外の情報が付随していてもよい。付随情報の一例として、教師データとして使用された第1の標本画像に関する情報が挙げられる。例えば、評価レシピは、学習に用いられた複数の第1の標本画像のメタ情報の各々を、付属情報として含んでいてもよい。なお、評価レシピは、学習に用いられた第1の標本画像に映る第1の標本の採取元である患者の、名前等の個人情報を含まないことが望ましい。
 生成される評価レシピの一例を、表1に示す。表1に示すように、評価レシピは、学習環境情報と、評価器パラメータと、付随情報とを含む。例えば、レシピAは、HE染色が適用された肝臓から採取された第1の標本を、「装置A」の撮像装置10Aにより「20倍」の倍率で撮像することで得られた第1の標本画像に基づいて学習された評価器パラメータを含む。
Figure JPOXMLDOC01-appb-T000001
 <2.2.2.評価レシピサーバ30の機能構成例>
 (1)記憶制御部31
 記憶制御部31は、記憶部32への情報の記憶、及び記憶部32に記憶された情報の管理を行う機能を有する。例えば、記憶制御部31は、病院サーバ20Aから受信した評価レシピを記憶部32に記憶させる。また、記憶制御部31は、病院サーバ20Bからのリクエストに対応する評価レシピを記憶部32から検索し、病院サーバ20Bに送信する。例えば、記憶制御部31は、病院サーバ20Bから評価環境を示す情報を受信し、評価環境と同等の学習環境において学習された評価器パラメータを含む評価レシピを病院サーバ20Bに送信する。
 (2)記憶部32
 記憶部32は、各種情報を記憶する記憶媒体である。記憶部32は、病院サーバ20Aから取得された評価レシピを記憶する。例えば、記憶部32は、表1に示した評価レシピを記憶する。
 <2.2.3.病院サーバ20B及び端末装置40Bの機能構成例>
 (1)第2の取得部24
 第2の取得部24は、評価レシピサーバ30に記憶された評価レシピを取得する。第2の取得部24は、第2の標本画像の評価環境に基づいて、評価レシピを取得する。第2の取得部24による評価レシピの取得については、後に詳しく説明する。
 (2)入力部41
 入力部41は、各種情報の入力を受け付ける機能を有する。例えば、入力部41は、第2の病院の職員による、評価レシピの選択操作等を受け付ける。
 (3)再現部42
 再現部42は、第2の取得部24により取得された評価レシピに基づいて、第2の標本の評価のための評価環境として、学習環境と同等の環境を再現する機能を有する。例えば、再現部42は、第1の作用情報が示す第1の作用と同一の第2の作用の第2の標本への適用、及び/又は第1の画像パラメータと同等の第2の画像パラメータでの第2の標本画像の生成を行う。なお、再現部42による学習環境と同等の評価環境の再現に関しては、後に詳しく説明する。
 (4)評価部43
 評価部43は、評価レシピに含まれる評価器パラメータを適用した評価器を用いて、第2の標本画像の評価を行う。例えば、がんの病理診断に関しては、評価部43は、第2の標本におけるがん細胞の有無を判定し得る。また、評価部43は、第2の標本画像においてがん細胞が発現した領域を特定し得る。また、評価部43は、がん細胞の悪性度を判定し得る。さらに、評価部43は、がん細胞の治療のための薬を特定し得る。
 (5)出力部44
 出力部44は、各種情報を出力する機能を有する。例えば、入力部41は、評価部43による評価結果を示す情報を出力する。
 <<3.再現処理の詳細>>
 <3.1.第1の再現処理>
 第1の再現処理は、第2の撮像画像が未だ撮像されていない状態で評価レシピを取得して、学習環境と同等の評価環境を再現する処理である。なお、評価レシピ取得時に第2の作用は適用済みであってもよいし、未適用であってもよい。
 第1の再現処理においては、評価対象である第2の標本が存在するので、少なくとも第2の標本属性情報は確定している。他方、第2の撮像画像が未だ撮像されていないから第2の画像パラメータは未定であり、第2の作用が適用済みでない場合は第2の作用情報も未定である。これらの未定のパラメータは、学習環境と同等の評価環境を再現するために制御される。
 (1)評価レシピのダウンロード
 まず、第2の取得部24は、学習環境と同等の評価環境を再現することが可能な評価レシピを取得する。ここでの同等とは、必ずしも同一(完全一致)を意味するものではない。例えば、画像パラメータが相違する場合であっても、画像処理によりその相違を疑似的に埋めることが可能であれば、学習環境と評価環境とは同等であるものと捉えられる。
 ・第1の画像パラメータの参照
 第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の画像パラメータを参照し、第1の画像パラメータと同等の第2の画像パラメータを再現可能である評価レシピを取得する。例えば、第2の取得部24は、撮像装置10Aと撮像装置10Bとが同型である評価レシピを取得する。また、第2の取得部24は、撮像装置10Aと撮像装置10Bとが異なる型であっても、画像処理により型の相違を埋めることが可能な評価レシピを取得する。例えば、第2の取得部24は、撮像装置10Aと撮像装置10Bとの型が相違し色の見え方及び/又は倍率が異なるものの、色補正及び/又は拡縮すれば同等の色の見え方及び倍率を再現可能な場合、撮像装置10Aの評価レシピを取得する。
 ・第1の標本属性情報の参照
 第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の標本属性情報を参照し、第1の標本属性情報と第2の標本属性情報とが同一である評価レシピを取得する。例えば、第2の取得部24は、第2の標本と同一の臓器から採取された第1の標本について学習された評価器パラメータを含む評価レシピを取得する。これにより、標本属性情報に関し学習環境と同一の評価環境を再現することが可能となる。なお、第2の取得部24は、第1の標本属性情報と第2の標本属性情報とが全ての項目で一致せずとも、一部が一致する評価レシピを取得してもよい。その場合、標本属性情報が第2の標本と類似する第1の標本についての学習環境と同一の評価環境を再現することが可能となる。
 ・第1の作用情報の参照
  -評価レシピ取得時に作用が適用済みである場合
 第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の作用情報を参照し、第1の作用情報と第2の作用情報とが同一である評価レシピを取得する。例えば、第2の取得部24は、第2の作用と同一である第1の作用が適用された第1の標本画像に基づいて学習された評価器パラメータを含む評価レシピを取得する。これにより、作用に関し学習環境と同一の評価環境を再現することが可能となる。
  -評価レシピ取得時に作用が未適用である場合
 第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の作用情報を参照し、第2の作用情報として採用可能な第1の作用情報を含む評価レシピを取得する。例えば、第2の取得部24は、第2の病院において適用可能な(例えば、染色のための機材を所有している等)作用が適用された第1の標本画像に基づいて学習された評価器パラメータを含む評価レシピを取得する。これにより、第2の病院においてそもそも再現困難な評価レシピを避けることが可能となる。
 (2)学習環境と同等の評価環境の再現
 再現部42は、第2の標本の評価のための評価環境として、評価レシピが示す学習環境に対応する環境を再現する。
 ・第1の作用情報の再現
 -評価レシピ取得時に作用が適用済みである場合
 再現部42は、作用に関しては特に処理しない。
 -評価レシピ取得時に作用が未適用である場合
 再現部42は、第1の作用と同一の第2の作用を第2の標本に適用するための支援を行う。例えば、再現部42は、第1の作用情報を出力部44により出力させ、第2の病院の職員が第1の作用と同一の第2の作用を第2の標本に適用する作用を支援する。これにより、第1の作用と同一の第2の作用を第2の標本に適用させることが可能となる。第2の病院において、細胞に自動で刺激を加える等することが可能な設備が整っている場合、再現部42は、かかる設備を制御して第2の作用を第2の標本に適用してもよい。この場合、第2の病院において、第2の標本を準備した状態で評価レシピをダウンロードすると、作用から評価に至るまでの工程が自動的に実行され評価結果が出力される、全自動の評価システムを構築することもできる。
 ・画像パラメータの再現
 再現部42は、第1の画像パラメータと同等の第2の画像パラメータを再現する。より簡易には、第1の標本画像と同じ見え方の第2の標本画像を生成する。これにより、第2の標本画像の見え方を、第1の標本画像の見え方と同様にすることが可能となる。
  -撮像装置が同型である場合
 撮像装置10Aが撮像装置10Bと同型である場合、再現部42は、第2の画像パラメータを、評価レシピに含まれる第1の画像パラメータと同一にする。詳しくは、再現部42は、評価レシピに含まれる第1の撮像パラメータと同一の第2の撮像パラメータを撮像装置10Bに設定する。例えば、再現部42は、第1の撮像パラメータが示すオートフォーカスの設定、倍率、露光時間及びガンマ補正値を、撮像装置10Bに設定する。そして、再現部42は、撮像装置10Bにより撮像された第2の標本画像に対し、第1の画像処理パラメータが示す第1の画像処理と同一の第2の画像処理を適用する。
 具体例を、下記の表2を参照しながら説明する。表2に示すように、撮像装置10Aと撮像装置10Bとが同じく「装置A」である場合、再現部42は、第1の撮像パラメータと同じ「設定A」を撮像装置10Bに設定し、第1の画像処理と同じく特に画像処理を適用しない。また、撮像装置10Aと撮像装置10Bとが同じく「装置B」である場合、再現部42は、第1の撮像パラメータと同じ「設定B」を撮像装置10Bに設定し、第1の画像処理と同じ「色補正B」を第2の標本画像に適用する。
Figure JPOXMLDOC01-appb-T000002
  -撮像装置が同型でない場合
 撮像装置10Aが撮像装置10Bと同型でない場合、再現部42は、撮像装置10Aの第1の撮像パラメータと、撮像装置10Bの第2の撮像パラメータとの相違を埋めるための画像処理を、第2の標本画像に適用する。かかる画像処理は、例えば色補正又は拡縮の少なくともいずれかを含み得る。例えば、撮像装置10Aと撮像装置10Bとの型の相違を色補正により埋めることが可能な場合、再現部42は、型の相違を埋めるための色補正を第2の標本画像に適用する。
 具体例を、下記の表3を参照しながら説明する。表3に示すように、撮像装置10Aが「装置A」であり撮像装置10Bが「装置B」である場合、再現部42は、第1の撮像パラメータと同じ「設定A」を撮像装置10Bに設定し、第1の画像処理「なし」と異なる第2の画像処理「色補正B」を第2の標本画像に適用する。また、撮像装置10Aが「装置C」であり撮像装置10Bが「装置D」である場合、再現部42は、第1の撮像パラメータと同じ「設定A」を撮像装置10Bに設定し、第1の画像処理「色補正C」と異なる第2の画像処理「色補正D」を第2の標本画像に適用する。また、撮像装置10Aが「装置E」であり撮像装置10Bが「装置F」である場合、再現部42は、第1の撮像パラメータと同じ「設定A」を撮像装置10Bに設定し、第1の画像処理「色補正E」と異なる第2の画像処理「なし」を第2の標本画像に適用する。
Figure JPOXMLDOC01-appb-T000003
 (3)評価
 評価部43は、学習環境に対応する環境として再現された評価環境において撮像装置10Bにより撮像された、第2の標本の第2の標本画像を、評価レシピに含まれる評価器パラメータが適用された評価器により評価する。つまり、評価部43は、評価レシピに含まれる評価器パラメータを評価器に適用し、再現部42が上述の再現処理を行うことによって得られた第2の標本画像をかかる評価器に入力することで、評価結果を得る。
 <3.2.第2の再現処理>
 第2の再現処理は、第2の作用が適用済みであり、第2の標本画像が撮像済みである状態において、学習環境と同等の評価環境を再現する処理である。
 第2の再現処理においては、評価対象である第2の標本が存在し、第2の作用が適用済みであり、第2の標本画像が撮像済みであるので、少なくとも、第2の標本属性情報、第2の作用情報、及び第2の撮像パラメータは確定している。他方、第2の標本画像に対する画像処理は可能であるから、第2の画像処理パラメータは未定である。この未定のパラメータは、学習環境と同等の評価環境を再現するために制御され得る。
 (1)評価レシピのダウンロード
 まず、第2の取得部24は、学習環境が評価環境と同等である評価レシピを取得する。例えば、第2の取得部24は、第2の標本画像の評価環境と同等の学習環境において学習された評価器パラメータを含む評価レシピを取得する。ここでの同等とは、必ずしも同一(完全一致)を意味するものではない。例えば、画像パラメータが相違する場合であっても、画像処理によりその相違を疑似的に埋めることが可能であれば、学習環境と評価環境とは同等であるものと捉えられる。
 ・第1の画像パラメータの参照
 第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の画像パラメータを参照し、第1の画像パラメータと第2の画像パラメータとが同等である評価レシピを取得する。例えば、第2の取得部24は、撮像装置10Aと撮像装置10Bとが同型である評価レシピを取得する。また、第2の取得部24は、撮像装置10Aと撮像装置10Bとが異なる型であっても、画像処理により型の相違を埋めることが可能な評価レシピを取得する。例えば、第2の取得部24は、撮像装置10Aと撮像装置10Bとの型が相違し色の見え方及び/又は倍率が異なるものの、色補正及び/又は拡縮すれば同等の色の見え方及び倍率を再現可能な場合、撮像装置10Aの評価レシピを取得する。
 ・第1の標本属性情報の参照
 第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の標本属性情報を参照し、第1の標本属性情報と第2の標本属性情報とが同一である評価レシピを取得する。例えば、第2の取得部24は、第2の標本と同一の臓器から採取された第1の標本について学習された評価器パラメータを含む評価レシピを取得する。これにより、標本属性情報に関し学習環境と同一の評価環境を再現することが可能となる。なお、第2の取得部24は、第1の標本属性情報と第2の標本属性情報とが全ての項目で一致せずとも、一部が一致する評価レシピを取得してもよい。その場合、標本属性情報が第2の標本と類似する第1の標本についての学習環境と同一の評価環境を再現することが可能となる。
 ・第1の作用情報の参照
 第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の作用情報を参照し、第1の作用情報と第2の作用情報とが同一である評価レシピを取得する。例えば、第2の取得部24は、第2の作用と同一である第1の作用が適用された第1の標本画像に基づいて学習された評価器パラメータを含む評価レシピを取得する。これにより、作用に関し学習環境と同一の評価環境を再現することが可能となる。
 (2)学習環境と同等の評価環境の再現
 再現部42は、第2の標本の評価のための評価環境として、評価レシピが示す学習環境に対応する環境を再現する。ここで、第2の再現処理は、第2の作用が適用済みであり、第2の撮像パラメータの設定及び第2の撮像画像が撮像済みである状態で行われる。そのため、基本的には、評価レシピを取得した時点で、学習環境と同等の評価環境がすでに再現されている。
 しかし、撮像装置10Aと撮像装置10Bとが異なる型である等、撮像パラメータが異なる場合がある。その場合、再現部42は、撮像装置10Aの第1の撮像パラメータと、撮像装置10Bの第2の撮像パラメータとの相違を埋めるための画像処理を、第2の標本画像に適用する。かかる画像処理は、例えば色補正又は拡縮の少なくともいずれかを含み得る。他にも、かかる画像処理は、輝度補正、回転、及び/又は2値化等の任意の処理を含んでいてもよい。これにより、第2の標本画像の見え方を、第1の標本画像の見え方と同様にすることが可能となり、第2の標本の評価精度を向上させることが可能となる。
 (3)評価
 評価部43は、撮像装置10Bにより撮像された、第2の作用が適用された第2の標本の第2の標本画像を、評価環境と同等の学習環境において学習された評価器パラメータが適用された評価器により評価する。つまり、評価部43は、評価レシピに含まれる評価器パラメータを評価器に適用し、再現部42が上述の再現処理を行うことによって得られた第2の標本画像をかかる評価器に入力することで、評価結果を得る。
 <<4.UI例>>
 以下、図4を参照しながら、出力部44により出力される、評価部43による評価結果を含む出力情報の一例を説明する。
 図4は、本実施形態に係るUI(User Interface)の一例を示す図である。図4に示すUI100は、出力部44により画像として出力される。レシピ選択欄101では、選択された(即ち、ダウンロードされた)評価レシピの識別情報が表示される。類似症例表示欄102では、評価対象となった第2の標本の症例と類似する症例の情報が表示される。AI選択欄103では、評価レシピに含まれる複数の評価器パラメータの識別情報が表示され、評価器に適用する評価器パラメータの選択操作が受け付けられる。図4に示した例では、「AI-A」及び「AI-B」が選択されたものとする。病理医診断結果欄104では、評価対象となった第2の標本の病理医による診断結果が表示される。AI判定結果欄105では、AI選択欄103において選択された評価器パラメータが適用された評価器による第2の標本の評価結果を示す情報が表示される。AI判定結果詳細表示欄106(106A及び106B)では、AI選択欄103において選択された評価器パラメータが適用された評価器による第2の標本の評価結果を示す情報が、第2の標本画像107(107A及び107B)に重畳して表示される。例えば、評価器パラメータの識別情報108(108A及び108B)、腫瘍領域の範囲を示すアノテーション情報109(109A及び109B)、腫瘍の内容を示す情報110(110A及び110B)が、重畳して表示される。
 このようなUI100により、第2の病院の職員は、評価レシピや評価器パラメータを切り替えたり、異なる評価器パラメータによる評価結果を同時に表示させて見比べたりすることができる。これにより、第2の病院の職員は、適切な評価レシピ及び評価器パラメータを容易に選択することが可能となる。
 <<5.処理の流れ>>
 以下、図5~図8を参照して、本実施形態に係る診断システム1において実行される処理の流れの一例を説明する。
 (1)評価レシピのアップロード処理
 図5は、本実施形態に係る病院サーバ20Aにおいて実行される評価レシピのアップロード処理の流れの一例を示すフローチャートである。図5に示すように、まず、第1の取得部21は、第1の画像パラメータ、第1の作用情報、第1の標本属性情報、第1の評価結果情報、及び第1の標本画像を取得する(ステップS102)。次いで、学習部22は、第1の標本画像をデータとし、第1の評価結果情報をラベルとする教師データに基づいて、学習環境ごとに評価器パラメータを学習する(ステップS104)。次に、生成部23は、評価器パラメータ、及び学習環境を示す情報(例えば、教師データに共通する、第1の画像パラメータ、第1の作用情報、及び/又は第1の標本属性情報)を対応付けて、評価レシピを生成する(ステップS106)。そして、生成部23は、生成した評価レシピを評価レシピサーバ30に送信する(ステップS108)。
 (2)評価レシピの記憶処理
 図6は、本実施形態に係る評価レシピサーバ30において実行される評価レシピの記憶処理の流れの一例を示すフローチャートである。図6に示すように、まず、記憶制御部31は、評価レシピを受信する(ステップS202)。次いで、記憶部32は、受信された評価レシピを記憶する(ステップS204)。
 (3)第1の再現処理
 図7は、本実施形態に係る病院サーバ20B及び端末装置40Bにおいて実行される第1の再現処理の流れの一例を示すフローチャートである。図7に示すように、まず、第2の取得部24は、学習環境と同等の評価環境を再現することが可能な評価レシピを取得する(ステップS302)。例えば、第2の取得部24は、評価レシピサーバ30に記憶された評価レシピに含まれる第1の画像パラメータ、第1の標本属性情報、及び第1の作用情報を参照し、同等の第2の画像パラメータ、第2の標本属性情報及び第2の作用情報を再現可能な評価レシピを取得する。次いで、再現部42は、取得された評価レシピに含まれる第1の作用情報が示す第1の作用と同一の第2の作用を第2の標本に適用するための支援を行う(ステップS304)。次に、再現部42は、取得された評価レシピに含まれる第1の画像パラメータと同等の第2の画像パラメータを再現する(ステップS306)。これにより、学習環境と同等の評価環境において生成された第2の標本画像が得られる。そして、評価部43は、評価レシピに含まれる評価器パラメータが適用された評価器に第2の標本画像を入力し、第2の標本を評価する(ステップS308)。
 (4)第2の再現処理
 図8は、本実施形態に係る病院サーバ20B及び端末装置40Bにおいて実行される第2の再現処理の流れの一例を示すフローチャートである。なお、本フローが実行されるよりも前に、第2の標本に第2の作用が適用され、第2の標本画像が撮像されている。図8に示すように、まず、第2の取得部24は、学習環境が評価環境と同等である評価レシピを取得する(ステップS402)。例えば、第2の取得部24は、評価レシピサーバ30に記憶された評価レシピに含まれる第1の画像パラメータ、第1の標本属性情報、及び第1の作用情報を参照し、これらが第2の画像パラメータ、第2の標本属性情報、及び第2の作用情報と同等である評価レシピを取得する。次いで、再現部42は、評価レシピに含まれる第1の撮像パラメータと第2の撮像パラメータとの相違を埋めるための画像処理を、第2の標本画像に適用する(ステップS404)。次に、評価部43は、評価レシピに含まれる評価器パラメータが適用された評価器に第2の標本画像を入力し、第2の標本を評価する(ステップS406)。
 <<6.適用例>>
 上記では、本技術ががんの病理診断に適用される例を挙げて説明したが、本技術の適用先はかかる例に限定されない。以下、上述した本技術の適用例を説明する。
 (1)薬剤評価
 本技術は、薬剤評価に適用可能である。
 薬剤評価では、薬剤を与えた後の細胞の状態が観察される。薬剤評価における作用とは、薬剤の投与である。薬剤評価では、同一の試験を繰り返すことで薬剤による効果が立証される。例えば、心筋細胞を使った薬剤評価では、薬剤による効果が心筋細胞の拍動解析により評価される。その際、拍動の時間間隔及び振幅の大きさなどに基づいて、薬剤の効果が評価される。
 薬剤評価における評価器は、例えば、拍動の時間間隔及び振幅の大きさに基づいて薬剤の効果を出力する。薬剤評価における評価レシピは、学習環境を示す情報として薬剤情報を含み、さらに当該評価器の評価器パラメータを含む。
 (2)iPS細胞の培養時の品質評価
 本技術は、iPS細胞の培養時の品質評価に適用可能である。
 iPS細胞の培養時の品質評価では、目的の組織又は臓器への分化能が評価される。iPS細胞の培養時の品質評価における作用とは、遺伝子及びタンパク質導入又は薬剤処理である。iPS細胞の培養時の品質評価では、ゲノム損傷又は未分化細胞による腫瘍形成の有無が評価される。また、細胞の培養過程において、iPS細胞とNon-iPS細胞とが画像で判断される。目的の細胞を見つけるために、画像認識のための評価器が利用される場合がある。iPS細胞の場合は、長期間のモニタリングも必要になるため、画像を使った品質予測技術などの発展も考えられる。
 iPS細胞の培養時の品質評価における評価器は、培養時の画像に基づいて、ゲノム損傷又は未分化細胞による腫瘍形成の有無の有無、iPS細胞又はNon-iPS細胞、及び/又は将来的な品質を評価する。iPS細胞の培養時の品質評価における評価レシピは、学習環境を示す情報として遺伝子及びタンパク質導入又は薬剤処理の情報を含み、さらに当該評価器の評価器パラメータを含む。
 (3)移植判定
 本技術は、再生医療における細胞の移植判定に適用可能である。この場合、評価器は、細胞の画像に基づいて移植可否を評価する。
 <<7.他の実施形態>>
 <7.1.評価レシピの変形例>
 上述した例では、評価レシピは、評価器パラメータ、及び当該評価器パラメータの学習環境を示す学習環境情報を含む。しかし、評価レシピはこの例に限られない。例えば、評価レシピは、症例情報と、評価結果情報とが含まれてもよい。症例情報は、病気の症状に関する情報や、病名に関する情報を示す。例えば、症例情報は、前立腺がん、大腸がん、乳がん、肺がんといった症例や病名に関する情報を示す。評価結果情報は、評価器によって評価される診断の種類や内容を示す。なお、症例情報と評価結果情報とが含まれる評価レシピを、上述してきた評価レシピと区別するために「診断レシピ」と表記する場合がある。ただし、診断レシピは評価レシピに含まれる概念である。
 評価結果情報の一例を下記に示す。例えば、評価結果情報とは、「がん」または「非がん」を判定する判定結果に関する情報である。具体的には、評価結果情報とは、がんであるか否かを「1(がん)」または「0(非がん)」で判定する判定結果に関する情報である。この場合、がんの有無の判定結果を示す情報が、評価器による出力情報となる。このような評価器を用いた場合には、がんの有無の判定のスクリーニングに利用することができる。例えば、評価結果情報とは、腫瘍領域を示すアノテーション結果に関する情報である。この場合、腫瘍領域を示すアノテーション結果を示す情報が、評価器による出力情報となる。このような評価器を用いた場合には、腫瘍領域の確認や再確認に利用することができる。例えば、評価結果情報とは、腫瘍のクラス分類の結果に関する情報である。この場合、腫瘍のクラス分類の結果を示す情報が、評価器による出力情報となる。このような評価器を用いた場合には、腫瘍のクラス分類の確認や再確認に利用することができる。例えば、評価結果情報とは、腫瘍の形状、形態、面積、及び細胞や組織の位置に関する情報である。この場合、腫瘍の形状、形態、面積を示す情報、又は、細胞や組織の位置に関する情報が、評価器による出力情報となる。このような評価器を用いた場合には、診断の補助情報として利用することができる。このような評価器を用いた場合には、がんゲノム診断の補助ツールに利用することができる。
 すなわち、診断レシピの一例としては、「前立腺がんの診断レシピ1」=「症例情報:前立腺がん」+「評価結果情報:がん/非がん判定」といった情報が挙げられる。また、診断レシピの他の例としては、「大腸がんの診断レシピ2」=「症例情報:大腸がん」+「評価結果情報:腫瘍領域を示すアノテーション結果」といった情報が挙げられる。
 <7.2.補正の種類>
 上記実施形態では、評価レシピに含まれる学習環境情報の例をいくつか説明した。しかし、評価レシピに含まれる学習環境情報は、上記例に限られない。例えば、上記実施形態では、撮像装置に関する装置情報の一例として撮像パラメータが評価レシピに含まれる例を示した。この撮像パラメータとしては、上述した倍率等の他に、画像の色に関する色情報や、画像の解像度に関する情報が含まれてもよい。また、評価レシピには、装置情報の色情報のみでなく、標本の染色情報や、標本属性情報の一例である臓器情報の色情報が含まれてもよい。これは、装置に限らず、標本の染色や臓器に応じて、画像の色が異なる可能性があるからである。また、撮像装置、染色、臓器に応じて、画像の倍率や色や解像度などが異なることを、以下、適宜、バラツキがあるとする。以下、画像の倍率や色や解像度を補正することによって、バラツキを抑える方法を説明する。
 <7.3.補正処理の概要>
 上記実施形態では、第2の病院側が、第1の病院側の学習環境に合わせた評価環境にて評価処理を行う例を示した。例えば、第1の病院側の病院サーバ20Aは、評価レシピを生成して、評価レシピサーバ30へアップロードする。そして、第2の病院側の病院サーバ20Bは、評価レシピサーバ30から病院サーバ20Aによって生成された評価レシピを取得する。そして、上記実施形態では、第2の病院側が、評価レシピに基づいて、第1の病院側の学習環境に合わせて評価を行う例を示した。例えば、上記実施形態では、撮像装置10Bが評価レシピに基づいて第2の標本画像を生成する例や、再現部42が評価レシピに基づいて学習環境と同等の環境を再現する例や、評価部43が評価レシピに含まれる評価器パラメータを用いて評価を行う例を示した。
 しかし、学習環境と評価環境を合わせる手法は上記実施形態に限られない。この点について、上記実施形態に示した例も含めて、学習環境と評価環境を合わせる手法のパターンを図9~図12を用いて説明する。図9~図12では、解像度を補正する場合を例に挙げて説明する。なお、図9~図12では、解像度を補正する場合を例に挙げて説明するが、倍率や色を補正する場合も、同様である。
 以下、図9~図12では、学習時に生成された評価器を、「評価器H1」と表記する。また、以下、図9~図12では、評価器を用いて評価する際の評価器を、「評価器H2」と表記する。
 <7.4.補正処理の種類>
 図9は、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器を用いて、撮像装置10Bで撮像された第2の標本画像を評価する場合を示す。この場合、撮像装置10Aと撮像装置10Bとは異なる装置であるため、標本画像の解像度が異なり、第2の標本画像を適切に評価することができない可能性がある。これは、撮像装置間で、装置の性能や撮像条件などが異なるため、撮像装置10Aと撮像装置10Bとで撮像された標本画像にも、撮像装置間で解像度にばらつきが生じるからである。例えば、同一の標本を、撮像装置10Aと撮像装置10Bとで撮像したとしても、第1の標本画像と第2の標本画像とは、解像度が異なる可能性がある。すなわち、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器は、撮像装置10Aで撮像された第1の標本画像を正解情報とするため、撮像装置10Aと異なる撮像装置10Bで撮像された第2の標本画像に適用したとしても、標本画像にも撮像装置間でばらつきが生じる可能性があるため、適切に評価することができない可能性がある。すなわち、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器は、撮像装置10Aで撮像された第1の標本画像を適切に評価するものであって、必ずしも、撮像装置10Bで撮像された第2の標本画像を適切に評価するものではない。このため、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器を用いて、撮像装置10Bで撮像された第2の標本画像が、病変に関する情報を含むか否かを推定すると、推定結果に誤差が生じる可能性がある。なお、適切に評価するとは、例えば、高精度に評価することである。以下、誤差を是正するために、撮像装置間で標本画像を補正する場合を説明する。図10乃至12は、標本画像の解像度を補正する場合を示す。
 図10は、複数の撮像装置で撮像された標本画像に基づいて評価器を生成する場合を示す。図10では、各撮像装置に対応した評価器を個々に生成する。具体的には、図10では、撮像装置10Aで撮像された第1の標本画像に基づいて撮像装置10A用の評価器と、撮像装置10Bで撮像された第2の標本画像に基づいて撮像装置10B用の評価器と、撮像装置10Cで撮像された標本画像(以下、適宜、「第3の標本画像」とする。)に基づいて撮像装置10C用の評価器とを生成する。例えば、撮像装置10Aで撮像された第1の標本画像を評価する場合は、撮像装置10A用の評価器を用い、撮像装置10Bで撮像された第2の標本画像を評価する場合は、撮像装置10B用の評価器を用い、撮像装置10Cで撮像された第3の標本画像を評価する場合は、撮像装置10C用の評価器を用いるなど、各々の撮像装置用の評価器を用いることにより、高精度に評価することができる。
 また、図10では、各々の撮像装置に対応する評価器を生成するのではなく、全ての撮像装置に対応した評価器を生成してもよい。具体的には、撮像装置10Aで撮像された第1の標本画像と、撮像装置10Bで撮像された第2の標本画像と、撮像装置10Cで撮像された第3の標本画像とに基づいて、第1の標本画像と、第2の標本画像と、第3の標本画像とのいずれにも対応する評価器を生成してもよい。この場合、撮像装置10Aで撮像された第1の標本画像を評価する場合であっても、撮像装置10Bで撮像された第2の標本画像を評価する場合であっても、撮像装置10Cで撮像された第3の標本画像を評価する場合であっても、全ての撮像装置に対応した評価器を用いることによって、適切に評価することができる。
 図11は、評価時に、所定の基準の解像度に補正する場合を示す。図11は、上記実施形態のように、学習環境に合わせる場合を示す。図11では、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器を用いて、第2の標本画像を評価する。具体的には、撮像装置10Bで撮像された第2の標本画像を、所定の基準の解像度に補正した補正後の第2の標本画像を、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器に入力する。より具体的には、撮像装置10Bで撮像された第2の標本画像を、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器で評価するために、撮像装置10Bで撮像された第2の標本画像を、第1の標本画像に対応する所定の基準に補正する。これにより、撮像装置10Bで撮像された第2の標本画像を、誤差なく評価し得るため、より適切に、第2の標本画像を評価することができる。しかしながら、基準の解像度に補正してから評価器に入力するため、評価に時間を要する可能性がある。以上、学習環境に合わせる場合を示した。
 上記実施形態に限られず、評価環境に合わせて学習を行ってもよい。言い換えれば、第1の病院側において、第2の標本の評価のための評価環境と同等の学習環境を再現して、再現した学習環境により学習を行ってもよい。以下、図12は、評価環境に合わせて学習を行う場合を示す。
 図12は、評価器の生成時に、所定の基準の解像度に補正する場合を示す。図12では、撮像装置10Aで撮像された第1の標本画像を、所定の基準の解像度に補正した補正後の第1の標本画像に基づいて評価器を生成する。具体的には、撮像装置10Bで撮像された第2の標本画像を評価するための評価器を生成するために、撮像装置10Aで撮像された第1の標本画像を、第2の標本画像に対応する所定の基準に補正する。これにより、撮像装置10Bで撮像された第2の標本画像を、誤差なく評価し得るため、より適切に、第2の標本画像を評価することができる。しかしながら、基準の解像度に補正してから評価器を生成するため、評価器の生成に時間を要する可能性がある。
 以上、解像度を補正する場合を例に挙げて説明したが、解像度に限られず、画像の倍率や色を補正する場合も同様の処理を行ってもよい。
 <7.5.評価レシピの活用>
 上記実施形態では、生成部23は、評価器パラメータと、学習環境情報とを含む評価レシピを生成する場合を示したが、これらの例に限られなくてもよい。例えば、生成部23は、症例情報と評価結果情報とが含まれる評価レシピである診断レシピを生成してもよい。
 以下、図12に示すような、学習時に補正を行う場合に、評価器を生成する処理について説明する。生成部23は、診断レシピに含まれる評価結果情報を、病変の判定のための正解情報として、評価器を生成する。例えば、生成部23は、診断レシピに含まれる評価結果情報のうち、がんであるか否かを示す判定の判定結果や、腫瘍領域を示すアノテーション結果などの結果情報を正解情報として、評価器を生成する。なお、この場合、生成部23は、診断レシピに含まれる評価結果情報のうち、がん/悲がんの判定や、腫瘍領域を示すアノテーションなどの、評価内容に関する情報を、評価器パラメータとして、評価器を生成する。また、生成部23は、装置、染色、臓器などの情報に基づいて補正された情報を、評価器パラメータとして、評価器を生成する。例えば、生成部23は、装置、染色、臓器などの情報に基づいて、所定の基準となるように、倍率、色、解像度などを補正した情報を、評価器パラメータとして、評価器を生成する。以下、図13及び14を用いて、評価レシピを用いた情報処理のフローを説明する。
 評価レシピを用いた情報処理には2つの場合がある。具体的には、評価器の生成時に補正する場合と、評価時に補正する場合とがある。また、再現部42は、評価レシピサーバ30に記憶された評価レシピを用いて処理を行う場合と、評価レシピサーバ30に記憶されていない情報を用いて処理を行う場合とがある。図13及び14では、再現部42が評価レシピサーバ30に記憶された評価レシピを用いて処理を行う場合を示す。以下、図13を用いて、学習時に補正する場合の情報処理を説明する。
 <7.5.1.学習時の補正に基づく情報処理>
 図13は、生成部23によって記憶された情報を学習時に補正する場合の情報処理の手順の一例を示す図である。以下、図13を用いて、生成部23によって記憶された情報を学習時に補正する場合の情報処理の手順の一例を説明する。生成部23は、患者情報を取得する。例えば、生成部23は、病理医が入力した患者情報を取得する。例えば、生成部23は、臓器情報を取得する。なお、生成部23は、患者の生体に関する情報であれば、臓器情報に限らず、どのような情報を患者情報として取得してもよい。例えば、生成部23は、患者の年齢、身長、性別などの属性情報を取得してもよい。
 生成部23は、病理スライドに関する情報を取得する。生成部23は、取得した患者情報に対応する病理スライドに関する情報を取得する。例えば、生成部23は、薄切や染色がされた病理スライドに関する情報を取得する。例えば、生成部23は、染色(作用)情報を取得する。なお、染色の対象は、生体に関するものであればどのようなものであってもよい。例えば、染色の対象は、細胞や血液などであってもよい。
 生成部23は、標本画像に関する情報を取得する。例えば、生成部23は、病理スライドの標本画像に関する情報を取得する。例えば、生成部23は、染色された対象の標本画像に関する情報を取得する。例えば、生成部23は、標本画像を撮像した撮像装置の装置情報を取得する。
 生成部23は、診断結果に関する情報を取得する。例えば、生成部23は、撮像された標本画像に基づく診断結果に関する情報を取得する。例えば、生成部23は、症例情報を取得する。例えば、生成部23は、アノテーション情報を取得する。なお、図13に示す診断には、観察と記録とが含まれる。例えば、生成部23は、記録されたアノテーション情報を取得する。
 生成部23は、取得した標本画像に関する情報を記憶する。例えば、生成部23は、標本画像を所定の記憶部に記憶する。例えば、生成部23は、アノテーション情報を記憶する。
 生成部23は、患者情報と、病理スライドに関する情報と、病理画像に関する情報とに基づいて、補正する。例えば、生成部23は、臓器情報と、染色情報と、装置情報とに基づいて、補正する。例えば、生成部23は、臓器情報に基づいて補正することによって、臓器によるばらつきを低減することができる。例えば、生成部23は、染色情報に基づいて補正することによって、染色によるばらつきを低減することができる。例えば、生成部23は、装置情報に基づいて補正することによって、装置によるばらつきを低減することができる。また、臓器のばらつきによって、色に誤差が生じる可能性がある。生成部23は、臓器の色と、所定の基準の色とに応じて、補正する。また、染色のばらつきによって、色に誤差が生じる可能性がある。生成部23は、染色の色と、所定の基準の色とに応じて、補正する。また、装置のばらつきによって、色、倍率、解像度のうち少なくともいずれか一つに誤差が生じる可能性がある。生成部23は、所定の基準の色、所定の基準の倍率、所定の基準の解像度のうち少なくともいずれか一つに応じて、補正する。これにより、生成部23は、評価の精度を向上させることができる。これにより、生成部23は、色、倍率、解像度のうち少なくともいずれか一つを補正することによって、評価の精度を向上させることができる。
 また、生成部23は、臓器情報を、補正のための補助情報としてもよい。すなわち、生成部23は、臓器情報を用いて、標本画像を補正する。例えば、生成部23は、細胞核の検出の場合などにおいて、染色(例えば、HE染色)によって臓器の組織や細胞核の色が変化する場合には、臓器情報を、補正のための補助情報として用いてもよい。また、生成部23は、細胞核の検出の場合などにおいて、粘膜や造血器系や唾液腺などの情報を、補正のための補助情報としてもよい。
 生成部23は、機械学習による学習を行う。例えば、生成部23は、ディープラーニングなどのニューラルネットワークに基づいて学習を行う。生成部23は、補正後の患者情報、補正後の病理スライドに関する情報、補正後の標本画像に関する情報に基づいて評価器を生成する。例えば、生成部23は、評価結果情報の結果情報を正解情報として評価器を生成してもよい。なお、実施形態に係る学習は、ディープラーニングなどのニューラルネットワークに基づく学習に限らず、機械学習による学習であれば、どのような学習であってもよい。例えば、実施形態に係る学習は、ランダムフォレストに基づく学習であってもよい。
 生成部23は、評価器と評価レシピとを記憶する。
 再現部42は、生成部23と同様の処理に基づいて、臓器情報と、染色情報と、装置情報とを取得する。再現部42は、取得した情報と対応する評価器を生成部23に要求する。再現部42は、生成部23から送信された評価器に基づいて、病理対象を特定する。このように、再現部42は、生成部23により生成された評価器を用いて、診断を行う。
 <7.5.2.評価時の補正に基づく情報処理>
 図14は、再現部42で取得された情報を評価時に補正する場合の情報処理の手順の一例を示す図である。以下、図14を用いて、再現部42で取得された情報を評価時に補正する場合の情報処理の手順の一例を説明する。以下、図13と同様の処理については説明を適宜省略する。生成部23は、図13と同様の処理に基づいて、患者情報と、病理スライドに関する情報と、標本画像に関する情報と、診断結果に関する情報とを取得する。また、生成部23は、標本画像に関する情報やアノテーション情報を記憶する。
 生成部23は、取得した情報を用いて機械学習を行う。生成部23は、患者情報と、病理スライドに関する情報と、標本画像に関する情報とに基づいて学習を行う。生成部23は、評価器と評価レシピとを記憶する。
 再現部42は、図13と同様の処理に基づいて、臓器情報と、染色情報と、装置情報とを取得する。再現部42は、取得した臓器情報と、染色情報と、装置情報とを補正する。例えば、再現部42は、所定の基準に基づいて、臓器情報と、染色情報と、装置情報とを補正する。
 再現部42は、補正した情報と対応する評価器を生成部23に要求する。再現部42は、生成部23から送信された評価器に基づいて、病理対象を特定する。
 以上、評価レシピを用いた情報処理を説明した。なお、図13及び14では、学習時又は評価時のどちらか一方で補正を行う場合を示したが、学習時と評価時との両方で補正を行ってもよい。また、図13及び14では、生成部23が、評価器を再現部42へ提供する場合を示したが、生成部23は、評価器を用いて出力された推定結果を再現部42へ提供してもよい。この場合、再現部42は、提供された推定結果に基づいて、病理対象を特定してもよい。
 <7.6.標本属性情報の変形例>
 上記実施形態では、標本属性情報は、患者の年齢、性別、検査時年齢、標本の採取元の臓器の種別、採取法、検査日、病理診断結果、病理所見、標本のサムネイル画像、及び標本のゲノム情報などを含む。しかし、標本属性情報はこの例に限られない。標本属性情報は、患者の国籍や人種などの民族性に関する情報が含まれてもよい。この場合、生成部23は、患者の国籍や人種などの情報を患者情報として評価レシピを生成してもよい。また、標本属性情報は、患者を診断した病院や国などの診断場所に関する情報が含まれてもよい。この場合、生成部23は、患者を診断した病院や国などの情報を患者情報として評価レシピを生成してもよい。
 生成部23は、標本属性情報に応じて異なる評価レシピを生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる評価レシピを生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる患者情報に基づいて評価レシピを生成してもよい。
 生成部23は、標本属性情報に応じて異なる評価器を生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる評価器を生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる患者情報に基づいて評価器を生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる評価レシピに基づいて評価器を生成してもよい。
 生成部23は、評価対象である患者の国籍や人種などの民族性、若しくは、患者を診断した病院や国などの診断場所、に対応する標本属性情報に応じて、対応する評価器を再現部42へ送信してもよい。
 <7.7.複合レシピの生成>
 上記実施形態では、予め定められた評価レシピを用いて評価器を生成する場合を示したが、この例に限られない。生成部23は、評価レシピを組み合わせたレシピである複合レシピを生成してもよい。そして、生成部23は、生成された複合レシピを用いて評価器を生成して、診断のために利用してもよい。例えば、生成部23は、標本画像が複数の病理対象を含む場合、複合レシピを生成してもよい。また、生成部23は、生成された複合レシピを新たな評価レシピとして、上述した情報処理に基づいて、診断を行ってもよい。例えば、生成部23は、生成された複合レシピに応じて、対応する評価器を再現部42へ送信してもよい。
 <7.8.構成の変形例>
 実施形態に係る診断システム1は、図1に示す例に限らず、各構成要素が複数であってもよい。具体的には、診断システム1には、複数台の撮像装置10(複数台の10A及び複数台の10B)と、複数台の病院サーバ20(複数台の20A及び複数台の20B)と、複数台の評価レシピサーバ30と、及び複数台の端末装置40(複数台の40A及び複数台の40B)とが含まれてもよい。また、実施形態に係る診断システム1は、図2に示す例に限らず、各構成要素に含まれる各機能(例えば、各処理部)が複数であってもよい。例えば、病院サーバ20は、複数の学習部22や複数の生成部23など、を含んでもよい。また、実施形態に係る情報処理システムは、複数の診断システム1によって実現されてもよい。
 上記実施形態では、病院サーバ20は、第1の取得部21、学習部22、生成部23、第2の取得部24とを含む場合を示したが、この例に限られない。病院サーバ20は、評価器を提供する提供部25を有してもよい。例えば、提供部25は、生成部23によって生成された評価器を提供する。例えば、提供部25は、第2の取得部24によって、取得された評価器を提供する。例えば、提供部25は、各種情報を端末装置40へ送信する。例えば、提供部25は、評価器を用いて出力された推定結果を提供する。
 <7.9.ユーザの表記>
 上記実施形態では、病理医の診断のための、診断の補助を行う場合を示したが、診断を行うものは、病理医に限らず、どのようなものであってもよい。例えば、診断を行うものは、医師や技師などの病院に関する者であってもよい。以下、診断を行うものを、適宜、「ユーザ」と表記する。
 <7.10.医療画像の表記>
 上記実施形態では、病理診断の補助を行う場合を示したが、病理診断に限らず、医療であれば、どのような医療に関する医療診断であってもよい。また、上記実施形態では、標本画像を取得する場合を示したが、医療に関する医療画像であれば、標本画像に限らず、どのような医療画像を取得してもよい。この場合、上記実施形態では、医療画像に応じた評価レシピに基づいて評価器を生成してもよい。
 <<8.ハードウェア構成例>>
 最後に、図15を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図15は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図15に示す情報処理装置900は、例えば、図2に示す病院サーバ20A、病院サーバ20B、評価レシピサーバ30、又は端末装置40Bを実現し得る。本実施形態に係る病院サーバ20A、病院サーバ20B、評価レシピサーバ30、又は端末装置40Bによる情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図15に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、電気回路、DSP若しくはASIC等の処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図2に示す第1の取得部21、学習部22、及び生成部23を形成し得る。また、CPU901は、例えば、図2に示す記憶制御部31を形成し得る。また、CPU901は、例えば、図2に示す第2の取得部24を形成し得る。また、CPU901は、例えば、図2に示す再現部42及び評価部43を形成し得る。
 CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、図2に示す入力部41を形成し得る。
 出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば、図2に示す出力部44を形成し得る。
 ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図2に示す記憶部32を形成し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
 通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図2に示す各装置間で信号を送受信し得る。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 <<9.まとめ>>
 以上、図1~図15を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る病院サーバ20Aは、撮像装置10Aにより撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、第1の標本の評価を行う評価器の評価器パラメータを学習する。そして、病院サーバ20Aは、評価器パラメータ及び評価器パラメータの学習環境を示す学習環境情報を含む評価レシピを生成し、評価レシピサーバ30に記憶させる。一方、本実施形態に係る病院サーバ20Bは、評価レシピサーバ30に記憶された評価レシピを取得する。そして、端末装置40Bは、病院サーバ20Bにより取得された評価レシピに基づいて、撮像装置10Aとは異なる撮像装置10Bにより撮像される第2の標本の評価のための評価環境として、当該評価レシピの学習環境情報が示す学習環境と同等の環境を再現する。これにより、第2の標本の評価環境と同等の学習環境において学習された評価器パラメータを評価器に適用して第2の標本の評価を行うことが可能となるので、第2の標本の評価精度を向上させることが可能となる。
 第1の再現処理では、第2の撮像画像が未だ撮像されていない状態で評価レシピが取得され、学習環境と同等の評価環境が再現される。そして、端末装置40Bは、再現された評価環境において撮像装置10Bにより撮像された、第2の標本の第2の標本画像を、評価レシピに含まれる評価器パラメータが適用された評価器により評価する。他方、第2の再現処理では、第2の作用が適用済みであり、第2の標本画像が撮像済みである状態において、学習環境と同等の評価環境が再現される。そして、端末装置40Bは、撮像装置10Bにより撮像された、第2の作用が適用された第2の標本の第2の標本画像を、評価環境と同等の学習環境において学習された評価器パラメータが適用された評価器により評価する。いずれにしろ、学習環境と評価環境とが同等となるので、評価器による評価精度を向上させることが可能となる。
 なお、評価環境における撮像装置10Bへの撮像パラメータの設定、及び第2の作用の適用等は、プロトコルが用意されているものの、人間により手動で実施される場合が多い。この点、本実施形態によれば、評価レシピに基づく再現処理において、少なくとも一部を機械的に実施することが可能となる。従って、人間の作業負担が軽減されると共に、人為的なミスを低減し、評価精度を向上させることが可能となる。
 その他、評価レシピの活用により、論文の追試を簡単にしたり、実験を正確に再現したり、高い精度で細胞を培養したりすることが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記実施形態では、病院サーバ20A、評価レシピサーバ30、病院サーバ20B及び端末装置40Bに、図2に示すように各構成要素がマッピングされる例を説明したが、本技術は係る例に限定されない。例えば、端末装置40Bに第2の取得部24が含まれていてもよいし、他の任意のマッピングが許容される。
 また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、
 前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、
 前記記憶媒体に記憶された前記評価設定情報を取得することと、
 取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、
を含む情報処理方法。
(2)
 前記学習することは、前記学習環境ごとに前記評価器パラメータを学習することを含む、前記(1)に記載の情報処理方法。
(3)
 前記学習環境情報は、前記第1の標本画像の生成に関する第1の画像パラメータ、前記第1の作用を示す作用情報、及び前記第1の標本の属性を示す第1の属性情報を含む、前記(1)に記載の情報処理方法。
(4)
 前記第1の画像パラメータは、前記第1の撮像装置の第1の撮像パラメータ、及び前記第1の標本画像に対して適用された画像処理を示す第1の画像処理情報を含む、前記(3)に記載の情報処理方法。
(5)
 前記作用情報は、染色の種別を示す情報、及び染色に用いられる抗体の種別を示す情報を含む、前記(3)又は(4)に記載の情報処理方法。
(6)
 前記第1の属性情報は、前記第1の標本の採取元の臓器の種別を含む、前記(3)~(5)のいずれか一項に記載の情報処理方法。
(7)
 前記第1の属性情報は、前記第1の標本のゲノム情報を含む、前記(3)~(6)のいずれか一項に記載の情報処理方法。
(8)
 前記情報処理方法は、
 再現された前記評価環境において前記第2の撮像装置により撮像された、前記第2の標本の第2の標本画像を、前記評価設定情報に含まれる前記評価器パラメータが適用された前記評価器により評価することをさらに含む、前記(3)~(7)のいずれか一項に記載の情報処理方法。
(9)
 前記再現することは、前記第2の標本画像の生成に関する第2の画像パラメータを前記学習環境情報に含まれる第1の画像パラメータと同一にすることを含む、前記(8)に記載の情報処理方法。
(10)
 前記再現することは、前記第1の撮像装置の第1の撮像パラメータと前記第2の撮像装置の第2の撮像パラメータとの相違を埋めるための画像処理を前記第2の標本画像に適用することを含む、前記(8)に記載の情報処理方法。
(11)
 前記再現することは、前記第1の作用と同一の第2の作用を前記第2の標本に適用するための支援を行うことを含む、前記(8)~(10)のいずれか一項に記載の情報処理方法。
(12)
 前記取得することは、前記学習環境と同等の前記評価環境を再現することが可能な前記評価設定情報を取得することを含む、前記(8)~(11)のいずれか一項に記載の情報処理方法。
(13)
 前記情報処理方法は、
 前記第2の撮像装置により撮像された、第2の作用が適用された前記第2の標本の第2の標本画像を、前記評価環境と同等の前記学習環境において学習された前記評価器パラメータが適用された前記評価器により評価することをさらに含む、前記(3)~(7)のいずれか一項に記載の情報処理方法。
(14)
 前記取得することは、前記第1の撮像装置と前記第2の撮像装置とが同型であり、前記第1の標本の前記第1の属性情報と前記第2の標本の第2の属性情報が同一であり、前記第1の作用と前記第2の作用とが同一である、前記評価設定情報を取得することを含む、前記(13)に記載の情報処理方法。
(15)
 前記評価することは、前記第1の撮像装置の第1の撮像パラメータと前記第2の撮像装置の第2の撮像パラメータとの相違を埋めるための画像処理を前記第2の標本画像に適用することを含む、前記(13)又は(14)に記載の情報処理方法。
(16)
 前記画像処理は、色補正又は拡縮の少なくともいずれかを含む、前記(15)に記載の情報処理方法。
(17)
 前記情報処理方法は、
 前記評価設定情報の識別情報、前記評価器パラメータの識別情報、及び前記第2の標本の評価結果を示す情報を出力することを含む、前記(1)~(16)のいずれか一項に記載の情報処理方法。
(18)
 前記評価することは、前記第2の標本におけるがん細胞の有無を判定すること、前記第2の標本の第2の標本画像においてがん細胞が発現した領域を特定すること、がん細胞の悪性度を判定すること、及びがん細胞の治療のための薬を特定すること、を含む、前記(1)~(17)のいずれか一項に記載の情報処理方法。
(19)
 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、
 前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、
を含む情報処理方法。
(20)
 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて学習された、前記第1の標本の評価を行う評価器の評価器パラメータ、及び前記評価器パラメータの学習環境を示す学習環境情報を含む、評価設定情報を記憶媒体から取得することと、
 取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、
を含む情報処理方法。
(21)
 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習する学習部、並びに、前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を生成する生成部、を含む第1の情報処理装置と、
 前記評価設定情報を記憶する記憶媒体を含む第2の情報処理装置と、
 前記記憶媒体に記憶された前記評価設定情報を取得する取得部、並びに、取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現する再現部、を含む第3の情報処理装置と、
を備える情報処理システム。
(22)
 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習する学習部と、
 前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を生成する生成部と、
を備える情報処理装置。
(23)
 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて学習された、前記第1の標本の評価を行う評価器の評価器パラメータ、及び前記評価器パラメータの学習環境を示す学習環境情報を含む、評価設定情報を記憶媒体から取得する取得部と、
 取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現する再現部と、
を備える情報処理装置。
(24)
 情報処理システムであって、
 病理医による操作に応じて当該病理医が利用する端末装置から送信される情報であって、病理診断のために撮像された標本画像に関する情報を取得する取得部と、
 前記取得部によって取得された標本画像に関する情報に応じて補正された補正後の、当該標本画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
 前記生成部によって生成された評価器であって、前記標本画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
を含む情報処理システム。
(25)
 情報処理システムであって、
 病理医による操作に応じて当該病理医が利用する端末装置から送信される情報であって、病理診断のために撮像された標本画像に関する情報を取得する取得部と、
 前記取得部によって取得された標本画像に関する情報に応じた、当該標本画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
 前記生成部によって生成された評価器であって、当該評価器に応じて補正された補正後の前記標本画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
を含む情報処理システム。
(26)
 情報処理システムであって、
 ユーザによる操作に応じて当該ユーザが利用する端末装置から送信される情報であって、診断のために撮像された医療画像に関する情報を取得する取得部と、
 前記取得部によって取得された医療画像に関する情報に応じて補正された補正後の、当該医療画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
 前記生成部によって生成された評価器であって、前記医療画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
を含む情報処理システム。
(27)
 情報処理システムであって、
 ユーザによる操作に応じて当該ユーザが利用する端末装置から送信される情報であって、診断のために撮像された医療画像に関する情報を取得する取得部と、
 前記取得部によって取得された医療画像に関する情報に応じた、当該医療画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
 前記生成部によって生成された評価器であって、当該評価器に応じて補正された補正後の前記医療画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
を含む情報処理システム。
 1  診断システム
 10  撮像装置
 20  病院サーバ
 21  第1の取得部
 22  学習部
 23  生成部
 24  第2の取得部
 30  評価レシピサーバ
 31  記憶制御部
 32  記憶部
 40  端末装置
 41  入力部
 42  再現部
 43  評価部
 44  出力部

Claims (24)

  1.  第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、
     前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、
     前記記憶媒体に記憶された前記評価設定情報を取得することと、
     取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、
    を含む情報処理方法。
  2.  前記学習することは、前記学習環境ごとに前記評価器パラメータを学習することを含む、請求項1に記載の情報処理方法。
  3.  前記学習環境情報は、前記第1の標本画像の生成に関する第1の画像パラメータ、前記第1の作用を示す作用情報、及び前記第1の標本の属性を示す第1の属性情報を含む、請求項1に記載の情報処理方法。
  4.  前記第1の画像パラメータは、前記第1の撮像装置の第1の撮像パラメータ、及び前記第1の標本画像に対して適用された画像処理を示す第1の画像処理情報を含む、請求項3に記載の情報処理方法。
  5.  前記作用情報は、染色の種別を示す情報、及び染色に用いられる抗体の種別を示す情報を含む、請求項3に記載の情報処理方法。
  6.  前記第1の属性情報は、前記第1の標本の採取元の臓器の種別を含む、請求項3に記載の情報処理方法。
  7.  前記第1の属性情報は、前記第1の標本のゲノム情報を含む、請求項3に記載の情報処理方法。
  8.  前記情報処理方法は、
     再現された前記評価環境において前記第2の撮像装置により撮像された、前記第2の標本の第2の標本画像を、前記評価設定情報に含まれる前記評価器パラメータが適用された前記評価器により評価することをさらに含む、請求項3に記載の情報処理方法。
  9.  前記再現することは、前記第2の標本画像の生成に関する第2の画像パラメータを前記学習環境情報に含まれる第1の画像パラメータと同一にすることを含む、請求項8に記載の情報処理方法。
  10.  前記再現することは、前記第1の撮像装置の第1の撮像パラメータと前記第2の撮像装置の第2の撮像パラメータとの相違を埋めるための画像処理を前記第2の標本画像に適用することを含む、請求項8に記載の情報処理方法。
  11.  前記再現することは、前記第1の作用と同一の第2の作用を前記第2の標本に適用するための支援を行うことを含む、請求項8に記載の情報処理方法。
  12.  前記取得することは、前記学習環境と同等の前記評価環境を再現することが可能な前記評価設定情報を取得することを含む、請求項8に記載の情報処理方法。
  13.  前記情報処理方法は、
     前記第2の撮像装置により撮像された、第2の作用が適用された前記第2の標本の第2の標本画像を、前記評価環境と同等の前記学習環境において学習された前記評価器パラメータが適用された前記評価器により評価することをさらに含む、請求項3に記載の情報処理方法。
  14.  前記取得することは、前記第1の撮像装置と前記第2の撮像装置とが同型であり、前記第1の標本の前記第1の属性情報と前記第2の標本の第2の属性情報が同一であり、前記第1の作用と前記第2の作用とが同一である、前記評価設定情報を取得することを含む、請求項13に記載の情報処理方法。
  15.  前記評価することは、前記第1の撮像装置の第1の撮像パラメータと前記第2の撮像装置の第2の撮像パラメータとの相違を埋めるための画像処理を前記第2の標本画像に適用することを含む、請求項13に記載の情報処理方法。
  16.  前記画像処理は、色補正又は拡縮の少なくともいずれかを含む、請求項15に記載の情報処理方法。
  17.  前記情報処理方法は、
     前記評価設定情報の識別情報、前記評価器パラメータの識別情報、及び前記第2の標本の評価結果を示す情報を出力することを含む、請求項1に記載の情報処理方法。
  18.  前記評価することは、前記第2の標本におけるがん細胞の有無を判定すること、前記第2の標本の第2の標本画像においてがん細胞が発現した領域を特定すること、がん細胞の悪性度を判定すること、及びがん細胞の治療のための薬を特定すること、を含む、請求項1に記載の情報処理方法。
  19.  第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、
     前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、
    を含む情報処理方法。
  20.  第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて学習された、前記第1の標本の評価を行う評価器の評価器パラメータ、及び前記評価器パラメータの学習環境を示す学習環境情報を含む、評価設定情報を記憶媒体から取得することと、
     取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、
    を含む情報処理方法。
  21.  情報処理システムであって、
     病理医による操作に応じて当該病理医が利用する端末装置から送信される情報であって、病理診断のために撮像された標本画像に関する情報を取得する取得部と、
     前記取得部によって取得された標本画像に関する情報に応じて補正された補正後の、当該標本画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
     前記生成部によって生成された評価器であって、前記標本画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
    を含む情報処理システム。
  22.  情報処理システムであって、
     病理医による操作に応じて当該病理医が利用する端末装置から送信される情報であって、病理診断のために撮像された標本画像に関する情報を取得する取得部と、
     前記取得部によって取得された標本画像に関する情報に応じた、当該標本画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
     前記生成部によって生成された評価器であって、当該評価器に応じて補正された補正後の前記標本画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
    を含む情報処理システム。
  23.  情報処理システムであって、
     ユーザによる操作に応じて当該ユーザが利用する端末装置から送信される情報であって、診断のために撮像された医療画像に関する情報を取得する取得部と、
     前記取得部によって取得された医療画像に関する情報に応じて補正された補正後の、当該医療画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
     前記生成部によって生成された評価器であって、前記医療画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
    を含む情報処理システム。
  24.  情報処理システムであって、
     ユーザによる操作に応じて当該ユーザが利用する端末装置から送信される情報であって、診断のために撮像された医療画像に関する情報を取得する取得部と、
     前記取得部によって取得された医療画像に関する情報に応じた、当該医療画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
     前記生成部によって生成された評価器であって、当該評価器に応じて補正された補正後の前記医療画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
    を含む情報処理システム。
PCT/JP2019/043338 2018-11-12 2019-11-05 情報処理方法および情報処理システム WO2020100660A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020530404A JPWO2020100660A1 (ja) 2018-11-12 2019-11-05 情報処理方法および情報処理システム
EP19885077.8A EP3723040A4 (en) 2018-11-12 2019-11-05 INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM
CN201980007268.9A CN111542857A (zh) 2018-11-12 2019-11-05 信息处理方法和信息处理系统
US16/959,805 US20220005188A1 (en) 2018-11-12 2019-11-05 Information processing method and information processing system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018212136 2018-11-12
JP2018-212136 2018-11-12
JP2019-194798 2019-10-25
JP2019194798 2019-10-25

Publications (1)

Publication Number Publication Date
WO2020100660A1 true WO2020100660A1 (ja) 2020-05-22

Family

ID=70731581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043338 WO2020100660A1 (ja) 2018-11-12 2019-11-05 情報処理方法および情報処理システム

Country Status (5)

Country Link
US (1) US20220005188A1 (ja)
EP (1) EP3723040A4 (ja)
JP (1) JPWO2020100660A1 (ja)
CN (1) CN111542857A (ja)
WO (1) WO2020100660A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102441907B1 (ko) * 2021-07-08 2022-09-08 가톨릭대학교 산학협력단 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법
WO2023037657A1 (ja) * 2021-09-09 2023-03-16 株式会社島津製作所 データ解析装置およびデータ解析方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664013B (zh) * 2023-07-24 2023-09-22 西南林业大学 协作学习模式的效果评估方法、泛在智慧学习系统及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014355A (ja) 2007-06-29 2009-01-22 Olympus Corp 画像処理装置および画像処理プログラム
JP2010181833A (ja) * 2009-02-09 2010-08-19 Olympus Corp 顕微鏡観察システム
JP2011210156A (ja) * 2010-03-30 2011-10-20 Nec Corp 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP2014191685A (ja) * 2013-03-28 2014-10-06 Nissan Motor Co Ltd 画像処理装置および画像処理方法
WO2018186052A1 (ja) * 2017-04-07 2018-10-11 株式会社日立ハイテクノロジーズ 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014355A (ja) 2007-06-29 2009-01-22 Olympus Corp 画像処理装置および画像処理プログラム
JP2010181833A (ja) * 2009-02-09 2010-08-19 Olympus Corp 顕微鏡観察システム
JP2011210156A (ja) * 2010-03-30 2011-10-20 Nec Corp 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP2014191685A (ja) * 2013-03-28 2014-10-06 Nissan Motor Co Ltd 画像処理装置および画像処理方法
WO2018186052A1 (ja) * 2017-04-07 2018-10-11 株式会社日立ハイテクノロジーズ 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3723040A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102441907B1 (ko) * 2021-07-08 2022-09-08 가톨릭대학교 산학협력단 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법
WO2023282487A1 (ko) * 2021-07-08 2023-01-12 가톨릭대학교 산학협력단 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법
WO2023037657A1 (ja) * 2021-09-09 2023-03-16 株式会社島津製作所 データ解析装置およびデータ解析方法

Also Published As

Publication number Publication date
US20220005188A1 (en) 2022-01-06
JPWO2020100660A1 (ja) 2021-09-24
CN111542857A (zh) 2020-08-14
EP3723040A1 (en) 2020-10-14
EP3723040A4 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
Zarella et al. A practical guide to whole slide imaging: a white paper from the digital pathology association
Raman et al. Fundus photograph-based deep learning algorithms in detecting diabetic retinopathy
WO2020100660A1 (ja) 情報処理方法および情報処理システム
CN110889005B (zh) 搜索医学参考图像
JP5871325B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
Soufan et al. Three-dimensional reconstruction of gene expression patterns during cardiac development
CN110007455A (zh) 病理显微镜、显示模组、控制方法、装置及存储介质
JP5547597B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
US20180342078A1 (en) Information processing device, information processing method, and information processing system
JP2020020791A (ja) 情報処理装置、情報処理方法、情報処理システム、およびプログラム
CN115273077B (zh) 细胞模型构建方法、计算机设备及存储介质
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
Al-Janabi et al. Whole slide images for primary diagnostics of paediatric pathology specimens: a feasibility study
US11373422B2 (en) Evaluation assistance method, evaluation assistance system, and computer-readable medium
Rashid et al. Narrative online guides for the interpretation of digital-pathology images and tissue-atlas data
Turnquist et al. On the edge of a digital pathology transformation: views from a cellular pathology laboratory focus group
WO2022176396A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム
WO2019171909A1 (ja) 画像処理方法、画像処理装置及びプログラム
Lebre et al. Collaborative framework for a whole-slide image viewer
CN107633478A (zh) 图像处理装置、图像处理方法以及计算机可读介质
US11948294B2 (en) Device and method for supporting bone marrow reading based on image analysis
WO2022190891A1 (ja) 情報処理システム及び情報処理方法
US20230266819A1 (en) Annotation data collection using gaze-based tracking
Dwivedi et al. The advent of digital pathology: a depth review
JP2019200558A (ja) 画像処理装置及び検査システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020530404

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885077

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019885077

Country of ref document: EP

Effective date: 20200705

NENP Non-entry into the national phase

Ref country code: DE