WO2018105432A1 - 細胞画像評価装置および細胞画像評価制御プログラム - Google Patents

細胞画像評価装置および細胞画像評価制御プログラム Download PDF

Info

Publication number
WO2018105432A1
WO2018105432A1 PCT/JP2017/042472 JP2017042472W WO2018105432A1 WO 2018105432 A1 WO2018105432 A1 WO 2018105432A1 JP 2017042472 W JP2017042472 W JP 2017042472W WO 2018105432 A1 WO2018105432 A1 WO 2018105432A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
cells
cell image
interest
staining
Prior art date
Application number
PCT/JP2017/042472
Other languages
English (en)
French (fr)
Inventor
隆史 涌井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP17879101.8A priority Critical patent/EP3553165A4/en
Priority to KR1020197015612A priority patent/KR102231545B1/ko
Priority to JP2018554928A priority patent/JP6837493B2/ja
Publication of WO2018105432A1 publication Critical patent/WO2018105432A1/ja
Priority to US16/431,229 priority patent/US11037292B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G01N15/1433—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a cell image evaluation apparatus and a program for predicting a staining state of a cell included in a cell image based on a result of evaluating the cell image.
  • Pluripotent stem cells such as ES (Embryonic Stem) cells and iPS (Induced uri Pluripotent Stem) cells have the ability to differentiate into cells of various tissues, such as regenerative medicine, drug development, and disease elucidation Is attracting attention as a possible application.
  • ES Embryonic Stem
  • iPS Induced uri Pluripotent Stem
  • pluripotent stem cells such as ES cells and iPS cells and differentiation-induced cells are imaged with a microscope and the like, and the differentiation state of the cells is determined by capturing the characteristics of the images. Yes.
  • Patent Document 1 a region occupied by ES cells and a region occupied by feeder cells are extracted from an image obtained by capturing ES cells and feeder cells, and morphological features of feeder cells existing in the region occupied by ES cells are extracted.
  • a method has been proposed in which a feature quantity indicating the ES cell state is calculated and the state of the ES cell is evaluated using a fuzzy neural network based on the correspondence between the feature quantity and the ES cell state.
  • a staining treatment using a staining marker such as alkaline phosphatase.
  • alkaline phosphatase undifferentiated cells are stained, and differentiated cells are not stained. Thus, it can be confirmed whether or not the cells to be cultured maintain an undifferentiated state.
  • the staining process using the staining marker is a destruction process, the cells once subjected to the staining process cannot subsequently be cultured again.
  • the staining marker is in the cell. It may be difficult to penetrate and may not be dyed.
  • the present invention is not limited to this example, and even if the cell is evaluated as an undifferentiated cell by analysis of the cell image, it is not stained depending on the state of the cell in the surrounding area when the staining process is actually performed. I found out that there was a case.
  • Patent Document 1 there is no proposal of a method for predicting a staining state of a cell using an image obtained by photographing the cell.
  • the present invention can grasp the staining state when a cell is subjected to a staining process without performing the staining process. For example, operations on cells such as passage and medium exchange can be performed at an appropriate timing. It is an object of the present invention to provide a cell image evaluation apparatus and a cell image evaluation program that can be performed by the above method.
  • the cell image evaluation apparatus of the present invention evaluates the state of cells included in each region of interest for each region of interest of the cell image obtained by photographing the cell, and outputs an evaluation result, and the cell before staining processing
  • the evaluation result by the evaluator of the peripheral region of the specific region of interest in the at least one first cell image obtained by photographing the second image obtained by performing the staining process on the same photographing object as the first cell image A predictor machine-learned in advance of the relationship between the staining state of cells of a specific region of interest in the cell image, and the predictor evaluates at least one third cell image obtained by photographing the cells before the staining process. Based on the evaluation result of the peripheral region of the specific region of interest among the evaluation results by the vessel, the staining state of the cells of the specific region of interest is predicted and output.
  • the predictor can output a transition probability to two or more staining coloring intensities as an output of the staining state of the cells.
  • the predictor receives an input of an evaluation result of the third cell image obtained by photographing the inside of the container in which the cells are stored, and stains cells of a plurality of regions of interest in the container.
  • Each of the states can be output, and an integration unit that acquires the staining state of the cells in the entire container by integrating the staining states of the cells of each region of interest can be further provided.
  • the predictor can output transition probabilities to two or more staining coloring intensities as outputs of the staining state of the cells, respectively, and the integrating unit can output each region of interest.
  • the transition probabilities of two or more staining coloring intensities for each staining coloring intensity By integrating the transition probabilities of two or more staining coloring intensities for each staining coloring intensity, the staining state of the cells in the entire container can be obtained.
  • the predictor can output transition probabilities to two or more staining coloring intensities as outputs of the staining state of the cells, respectively, and the integrating unit can output each region of interest.
  • the staining coloring intensities with the largest transition probability can be integrated to obtain the staining state of the cells in the entire container.
  • the predictor can accept input of at least one culture condition.
  • the evaluator can evaluate at least whether the cell is in an undifferentiated state or a differentiated state.
  • the evaluator can evaluate at least the density of the nucleolus.
  • the evaluator can evaluate at least the density of white stripes.
  • the evaluator can evaluate at least whether the cell is a fibroblast or a feeder cell.
  • the evaluator can evaluate at least whether the cell is a pluripotent stem cell or a feeder cell.
  • the evaluator can evaluate at least whether it is a cell or a non-cell.
  • the evaluator can evaluate at least whether the cell is a living cell or a dead cell.
  • operation content determination for acquiring information on the staining state of the cell output from the predictor and determining the operation content on the cell based on the information on the staining state of the cell Can be provided.
  • the operation content for the cells is preferably passage, medium exchange, medium change, drug addition, picking, or genetic test.
  • the cell evaluation control program of the present invention includes a computer, an evaluator that evaluates the state of a cell included in each region of interest for each region of interest of a cell image obtained by imaging the cell, and outputs the evaluation result, and a staining process
  • the evaluation result by the evaluator of the peripheral region of the specific region of interest in the at least one first cell image obtained by imaging the previous cell and the same imaging object as that of the first cell image were subjected to the staining process and photographed.
  • At least one third cell obtained by causing the predictor to perform machine learning in advance on the relationship between the staining state of the cells of a specific region of interest in the second cell image and the predictor capturing the cells before staining processing Based on the evaluation result of the peripheral region of the specific region of interest among the evaluation results by the image evaluator, the staining state of the cells of the specific region of interest is predicted and output.
  • an evaluator that outputs an evaluation result of evaluating the state of the cell, and a first image obtained by photographing the cells before the staining process
  • the evaluation result by the evaluator of the peripheral region of the specific region of interest in the cell image of the cell and the specific region of interest in the second cell image imaged by performing the staining process on the same imaging object as the first cell image And a predictor in which the relationship with the cell staining state is machine-learned in advance.
  • the predictor stains the cells of the specific region of interest based on the evaluation result of the peripheral region of the specific region of interest among the evaluation results of the third cell image obtained by photographing the cells before the staining process. Since the state is predicted and output, it is possible to grasp the staining state when the cells are stained without performing the staining treatment. For example, appropriate operations on cells such as passage and medium exchange It can be performed at a proper timing.
  • the block diagram which shows schematic structure of the cell image evaluation prediction system using one Embodiment of the cell image evaluation apparatus of this invention.
  • Explanatory drawing for explaining the evaluator
  • the figure which shows an example of the cell image which image
  • Flowchart for explaining an example of a machine learning method of a predictor Explanatory drawing for demonstrating an example of the machine learning method of a predictor Explanatory drawing for demonstrating an example of the machine learning method of a predictor Explanatory drawing for demonstrating an example of the machine learning method of a predictor
  • Flowchart for explaining a method for predicting the staining state of a cell using a machine-learned predictor
  • the block diagram which shows schematic structure of the cell image evaluation prediction system using other embodiment of the cell image evaluation apparatus of this invention.
  • the figure which shows an example of the transition probability to each dye luminescence intensity of each region of interest The figure which shows the example which integrated the transition probability to each dye luminescence intensity for every cell colony field in the well The figure which shows the example which inputs the evaluation result of the some 3rd cell image image
  • FIG. 1 is a block diagram showing a schematic configuration of the cell image evaluation prediction system of the present embodiment.
  • the cell image evaluation prediction system of this embodiment includes a microscope device 10, a cell image evaluation device 20, a display device 30, and an input device 40 as shown in FIG.
  • the microscope apparatus 10 captures cells stored in a culture container and outputs a cell image.
  • a phase contrast microscope apparatus including an image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor is used.
  • an image sensor provided with RGB (Red Green Blue) color filters may be used, or a monochrome image sensor may be used.
  • a phase difference image of the cells accommodated in the culture vessel is formed on the imaging element, and a phase difference image is output as a cell image from the imaging element.
  • the microscope apparatus 10 is not limited to the phase contrast microscope apparatus, and other microscope apparatuses such as a differential interference microscope apparatus and a bright field microscope apparatus may be used.
  • the cell image may be an image obtained by photographing a cell colony in which a plurality of cells are aggregated, or an image in which a plurality of cells are dispersed and distributed.
  • pluripotent stem cells such as iPS cells and ES cells, and nerve, skin, cardiac muscle, and liver cells that have been induced to differentiate from the stem cells are photographed.
  • the cells to be imaged are accommodated in a well plate having a plurality of wells.
  • the microscope apparatus 10 includes a stage that moves in the X and Y directions perpendicular to each other in a horizontal plane, and a well plate is placed on the stage. As the stage moves in the X and Y directions, each observation region in the well plate is scanned, and a cell image for each observation region is captured. The cell image for each observation area is synthesized as one cell image and output to the cell image evaluation apparatus 20.
  • the well plate is used.
  • the container for storing cells is not limited to this, and other containers such as a petri dish or a dish may be used.
  • the cell image evaluation apparatus 20 includes an evaluator 21, a predictor 22, and a control unit 23.
  • the cell image evaluation apparatus 20 includes a computer including a central processing unit, a semiconductor memory, a hard disk, and the like, and an embodiment of the cell image evaluation program of the present invention is installed on the hard disk. Then, when the cell image evaluation program is executed by the central processing unit, the evaluator 21, the predictor 22, and the control unit 23 shown in FIG. 1 function.
  • the evaluator 21 acquires the cell image output from the microscope apparatus 10 and evaluates the state of the cell included in the acquired cell image. Specifically, as shown in FIG. 2, the evaluator 21 divides the input cell image into a plurality of regions of interest R, and evaluates the state of each cell included in the cell image of each region of interest R. Thus, the evaluation result of each region of interest R is output. Note that a rectangular region indicated by a dotted line in FIG. In the present embodiment, the observation region of the microscope apparatus 10 and the region of interest described above are the same region. However, the present invention is not limited to this, and the region of interest R may be set wider than the observation region. Conversely, the region of interest R may be set narrower than the observation region.
  • the evaluator 21 of the present embodiment evaluates whether a cell included in the cell image is a differentiated cell or an undifferentiated cell based on the cell image of each region of interest R. Furthermore, the evaluator 21 evaluates whether or not the cell image of each region of interest R is an image of only a medium that does not contain cells, evaluates the density of white streaks (cracks) included in the cell image, It is evaluated whether or not the cells included in the image are in a stacked state. Then, the evaluator 21 determines, as an evaluation result of each region of interest, “an undifferentiated cell (undifferentiated cell) region”, “differentiated cell (differentiated cell) region”, “white line”. Is a densely existing region, ”“ a cell is a layered region ”, or“ a medium region ”. White streaks (cracks) are bleeds of light due to diffracted light generated between cells and the background.
  • FIG. 3I shows an example of an image of a medium
  • FIG. 3II shows an example of a cell image of a differentiated cell
  • FIG. 3III shows an example of a cell image with a high density of white streaks
  • FIG. 3IV shows an example of a cell image of an undifferentiated cell
  • FIG. 3V shows an example of a cell image in a stacked state.
  • a cell included in a cell image is a differentiated cell or an undifferentiated cell
  • a known image processing method such as edge detection processing can be used.
  • the method for evaluating whether it is a differentiated cell or an undifferentiated cell is not limited to the above-described evaluation based on the circularity of a single cell, but also the number (density) per unit area of a single cell. Evaluation may be made using the number (density) per unit area of the nucleolus, the average area of a single cell, and the like.
  • the density of single cells tends to be higher in undifferentiated cells than in differentiated cells, and the density of nucleoli also tends to be higher in undifferentiated cells than in differentiated cells.
  • the average area of a single cell a differentiated cell tends to be larger than an undifferentiated cell.
  • the culture region of interest is a culture medium region
  • the culture region It may be evaluated that it is.
  • the density of white streaks included in the cell image of the region of interest for example, a white pixel in which a binarization process is performed on the cell image, and white pixels are continuously present in an elongated shape from the binarized image. What is necessary is just to extract a region and calculate the density of the area. Then, when the calculated density of the white pixel area is equal to or higher than a preset threshold value, it may be evaluated that the white stripes are densely present.
  • the evaluation of whether or not the cells included in the cell image are in a stacked state when the cells are in a stacked state, the density of the cells increases and the brightness of the cell image increases. Therefore, the luminance distribution of the cell image is acquired, and if the average value of the luminance is higher than a preset threshold value, it may be evaluated that the cell is in a stacked state. Or you may make it evaluate whether a cell is a lamination
  • the predictor 22 receives an input of an evaluation result by the evaluator 21 of at least one cell image obtained by photographing cells before staining processing, and a specific region of interest in the cell image and the periphery of the specific region of interest Based on the evaluation result by the region evaluator 21, the staining state of cells in a specific region of interest is predicted and output.
  • the staining treatment confirms whether pluripotent stem cells maintain a differentiated state, or whether undifferentiated cells are included when differentiation is induced into desired cells.
  • a staining marker such as alkaline phosphatase is used. Alkaline phosphatase stains undifferentiated cells and does not stain differentiated cells.
  • a cell is stained is not necessarily determined by only evaluating whether the cell is an undifferentiated cell or a differentiated cell.
  • the results of the staining process do not match. Specifically, for example, even if a cell in a predetermined region of interest is evaluated as an undifferentiated cell, if the region of interest or a region around the region of interest is in a stacked state, a staining marker is placed in the cell. It may be difficult to penetrate and may not be dyed.
  • the predictor 22 based on the evaluation results by the evaluator 21 of the specific region of interest in the cell image and the peripheral region of the specific region of interest, the cells of the specific region of interest. Predict and output the staining state.
  • the predictor 22 receives input of the evaluation result of each region of interest R of the cell image obtained by photographing the cells before the staining process. Then, the predictor 22 performs specific interest based on the evaluation results of the specific region of interest SR among the plurality of regions of interest R in the input cell image and the region of interest R around the specific region of interest SR. The staining state of cells included in the region SR is predicted and output. In FIG. 4, the surrounding region of interest R is indicated by diagonal lines.
  • the predictor 22 has been machine-learned in advance so as to predict and output the staining state assuming that the staining process is performed on the cells that are not actually subjected to the staining process.
  • the predictor 22 is the same as the first cell image and the evaluation result of the specific region of interest and the peripheral region of the specific region of interest in the first cell image obtained by photographing the cells before the staining process.
  • the relationship between the staining state of cells in a specific region of interest in the second cell image captured by performing a staining process on the imaging target is machine-learned in advance.
  • an example of the machine learning method of the predictor 22 will be described with reference to the flowchart shown in FIG. 5 and FIGS.
  • FIG. 6I is a diagram illustrating an example of an evaluation result of each region of interest R in the first cell image before the staining process.
  • “It is a medium region” "1”
  • "2" is the differentiated cell area
  • "2" is the area where white streaks are densely "3”
  • “undifferentiated” The evaluation result that “is a cell region” is indicated as “4”, and the evaluation result that “a cell is a layered region” is indicated as “5”.
  • the staining state of each region of interest R in the second cell image after the staining process is acquired (S14).
  • the image of each region of interest R of the second cell image may be evaluated and classified according to the staining intensity.
  • the evaluator 21 may perform the evaluation based on the luminance information of the second cell image, or the evaluation may be performed by an apparatus different from the cell image evaluation prediction system of the present embodiment.
  • the user may evaluate the staining state and set and input the evaluation result using the input device 40.
  • FIG. 6II is a diagram showing an example of a staining state of cells in each region of interest R in the second cell image.
  • the dyeing color intensity by the dyeing process is shown in five stages, the dyeing state “1” means no coloration, and the dyeing state “5” means that the dyeing color intensity is the highest. Yes.
  • the correspondence between the evaluation result of the first cell image shown in FIG. 6I and the staining state of the second cell image shown in FIG. 6II is acquired (S16), and the correspondence is machine-learned by the predictor 22. (S18).
  • the region ER11 of the 3 ⁇ 3 region of interest shown in FIG. 6I and the region ER12 in the second cell image corresponding to the region ER11 are specified.
  • the evaluation result of the specific region of interest SR11 located in the center of the region ER11 and the surrounding region of interest R11, and the staining state of the specific region of interest SR12 located in the center of the region ER12 The predictor 22 performs machine learning on the correspondence.
  • a learning feature amount in which the evaluation results of each region of interest R in the region ER11 are sequentially arranged from the upper left evaluation result to the lower right evaluation result is obtained.
  • the learning class corresponding to the quantity the staining state of the specific region of interest SR12 in the region ER12 is obtained. Then, the relationship between the learning feature quantity and the learning class shown in FIG.
  • the region ER21 of the 3 ⁇ 3 region of interest shown in FIG. 6I and the region ER22 in the second cell image corresponding to the region ER21 are specified.
  • the evaluation result of the specific region of interest SR21 located in the center of the region ER21 and its surrounding region of interest R21, and the staining state of the specific region of interest SR22 located in the center of the region ER22 The predictor 22 performs machine learning on the correspondence. Specifically, as shown in FIG. 8, a learning feature amount is obtained in which the evaluation results of each region of interest R in the region ER21 are sequentially arranged from the upper left evaluation result toward the lower right evaluation result. As the learning class corresponding to, the staining state of the specific region of interest SR22 in the region ER22 is obtained. Then, the relationship between the learning feature quantity and the learning class shown in FIG.
  • the region ER31 of the 3 ⁇ 3 region of interest shown in FIG. 6I and the region ER32 in the second cell image corresponding to the region ER31 are specified.
  • the evaluation result of the specific region of interest SR31 located in the center of the region ER31 and the surrounding region of interest R31, and the evaluation result of the specific region of interest SR32 located in the center of the region ER32 The predictor 22 performs machine learning on the correspondence. Then, as shown in FIG. 8, as the learning feature amount of the region ER31 and the learning class corresponding to the learning feature amount, the staining state of the specific region of interest SR32 of the region ER32 is obtained. Then, the relationship between the learning feature quantity and the learning class shown in FIG.
  • the correspondence relationship between the evaluation results of the three regions was machine-learned.
  • the correspondence relationship between the evaluation result of the 3 ⁇ 3 region of interest and the staining state is used, but it is not limited to 3 ⁇ 3.
  • machine learning may be performed using the correspondence between the evaluation result of the 5 ⁇ 5 region of interest and the staining state.
  • a support vector machine SVM
  • DNN deep neural network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • DSA denoising stack auto encoder
  • first cell image and the second cell image used when the predictor 22 is machine-learned may not necessarily be taken by the microscope apparatus 10, and other than the cell image evaluation prediction system of the present embodiment.
  • Cell images stored in an external server device may be used.
  • FIG. 9 is a flowchart for explaining a method for predicting the staining state of a cell using the predictor machine-learned as described above.
  • the third cell image before the staining process photographed by the microscope apparatus 10 is input to the evaluator 21 (S20). Then, the state of the cells in each region of interest R in the third cell image is evaluated by the evaluator 21 (S22).
  • the evaluation result of each region of interest R of the third cell image is input to the predictor 22.
  • the predictor 22 stains cells of a specific region of interest SR based on the evaluation result of the specific region of interest SR in the third cell image and the evaluation result of the surrounding region of interest R.
  • a state is predicted (S24).
  • the predictor 22 of this embodiment sets each region of interest R in the third cell image as a specific region of interest SR, and stains the entire third cell image in the same manner as described above.
  • a state is predicted, and a staining map is generated in which the learning class described above is in a staining state (S26).
  • the control unit 23 controls the entire cell image evaluation apparatus 20. Further, the control unit 23 causes the display device 30 to display the staining map generated by the predictor 22.
  • the third cell image for each well is input to the evaluator 21, and a staining map for each well is generated based on the evaluation result.
  • the staining map for example, a color map that is color-coded based on the predicted staining color intensity may be generated and displayed on the display device 30.
  • an evaluator 21 that outputs an evaluation result of evaluating the state of the cell, and a cell before staining processing
  • a predictor 22 in which the relationship between the staining state of cells of a specific region of interest in the two cell images is machine-learned in advance.
  • the predictor 22 receives the input of the evaluation result by the evaluator of the third cell image obtained by photographing the cells before the staining process, and the specific region of interest and the peripheral region of the specific region of interest in the third cell image Based on the evaluation result of the evaluator 21, the staining state of the cells of the specific region of interest is predicted and output, so that the staining state when the cells are subjected to the staining process can be obtained without performing the staining process. For example, operations on cells such as passage and medium exchange can be performed at an appropriate timing.
  • the staining state is predicted by the predictor 22 obtained by machine learning, a staining prediction result based on a large number of past staining state evaluation results is obtained, and the current cell image is simply undifferentiated or differentiated. It is possible to obtain a more reliable result than the colored image colored for each cell state based on the determination result.
  • the density of the nucleolus may be included as the evaluation by the evaluator 21 for the first cell image and the third cell image.
  • Undifferentiated cells have high nucleolus density because the cells aggregate to form colonies, and differentiated cells have low nucleolus density because each cell is distributed apart. Therefore, the accuracy of the prediction result of the predictor 22 can be improved by including the density of the nucleolus as the evaluation by the evaluator 21.
  • the input of the evaluation result by the evaluator 21 of the third cell image obtained by photographing the cells before the staining process is received, and the evaluator 21 evaluates the specific region of interest and the peripheral region of the specific region of interest in the third cell image.
  • the staining state of the cells of the specific region of interest is predicted and output, that is, the mechanics of the predictor 22 using the evaluation of the specific region of interest and the evaluation results of the surrounding region. And predicting and outputting the staining state of the cells of the specific region of interest using the evaluation of the specific region of interest and the evaluation result of the surrounding region.
  • the predictor 22 predicts and outputs the staining state of the cells of the specific region of interest, only the evaluation result of the peripheral region of the specific region of interest is used without using the evaluation result of the specific region of interest. May be.
  • the evaluation result by the evaluator 21 of the peripheral region of the specific region of interest in the first cell image obtained by imaging the cells before the staining process and the same imaging object as the first cell image are subjected to the staining process.
  • a predictor 22 in which the relationship between the staining state of the cells of a specific region of interest in the photographed second cell image is machine-learned in advance is provided, and the specific cell in the third cell image in which the cells before staining processing are photographed is provided.
  • the staining state of the cells of the specific region of interest may be predicted and output.
  • FIG. 10 is a block diagram showing a schematic configuration of a cell image evaluation prediction system having an integration unit 23a that integrates the prediction results of each region of interest as described above and acquires an index representing the staining state of cells in the entire well. is there.
  • the integration unit 23a calculates, for example, the ratio of each staining color intensity region to the entire well, and displays the ratio on the display device 30 together with the staining map as an index representing the staining state of the cells in the entire well.
  • a ratio of a specific staining color intensity for example, a region where the staining color intensity is “4” or more to the whole well may be calculated and displayed on the display device 30 together with the staining map.
  • the staining state is output from the predictor 22, but the present invention is not limited to this, and the transition probability of the cells included in the region of interest to two or more staining coloring intensities is output from the predictor 22. You may make it output.
  • the predictor 22 is configured to output the transition probability to each staining color intensity (represented simply as the luminescence intensity in FIG. 11) for each region of interest R. May be.
  • a prediction map may be generated by mapping two or more transition probabilities of each region of interest output from the predictor 22 and displayed on the display device 30.
  • the integration unit 23a may integrate two or more transition probabilities of each region of interest to acquire the staining state of the cells in the entire well.
  • the largest transition probability among the two or more transition probabilities of each region of interest may be integrated.
  • the predictor 22 when the predictor 22 outputs the transition probability to each staining emission intensity for each region of interest R, the larger of the two transition probabilities of each region of interest R is larger.
  • the dye emission intensity of the transition probability of the other is acquired as the dye emission intensity of the region of interest R.
  • the transition probability to the staining emission intensity “1” of the predetermined region of interest R is 80% and the transition probability to the staining emission intensity “2” is 20%
  • the cells of the predetermined region of interest R It is assumed that the dyeing state is dyeing emission intensity “1”.
  • the staining emission intensity is specified for the other region of interest R in the well. Then, by calculating the ratio of the number of regions of interest R of each staining emission intensity to the number of regions of interest R of the whole well, the staining state of the cells of the whole well is obtained.
  • the transition probabilities of each region of interest may be integrated for the entire well. Specifically, for each region of interest in the well, the transition probability of each staining emission intensity is added for each staining emission intensity, and the added probability is divided by the number of regions of interest in the entire well. You may make it acquire the transition probability to each dye
  • the transition probabilities to the respective staining luminescence intensities may be integrated in cell colonies.
  • FIG. 12 shows an example in which the transition probabilities to the respective stained luminescence intensity (simply shown as luminescence intensity in FIG. 12) are integrated for each cell colony region CR in the well W.
  • a transition probability map as shown in FIG. 12 may be generated and displayed on the display device 30.
  • FIG. 13 shows the evaluation result of the third cell image photographed at the present time, the evaluation result of the third cell image photographed one day ago, and the evaluation result of the third cell image photographed two days ago. It is a figure which shows the example which inputs 1 to the predictor 22, and obtains one prediction result. In this case, when the predictor 22 is machine-learned, the evaluation results of the first cell images taken at a plurality of different time points are input.
  • the evaluation result of the third cell image is input to the predictor 22.
  • at least one culture condition is input. You may make it do.
  • the culture conditions include the type and amount of the medium, the environmental temperature and humidity in the culture, and the presence or absence of growth factors.
  • the culture condition as described above is also input to the predictor 22 when the predictor 22 is machine-learned.
  • a user should just set and input using input device 40, for example.
  • the information on the staining state of the cell output from the predictor 22 is acquired, and the operation content for the cell is determined based on the information on the staining state of the cell.
  • the operation content determination unit 23b when calculating the ratio of each staining luminescence intensity region in the well, the operation content determination unit 23b, based on the ratio of each staining luminescence intensity, passage, medium exchange, Operations such as medium change, drug addition, and picking may be determined.
  • the operation content determined by the operation content determination unit 23b is displayed on the display device 30 and prompts the user to perform the operation.
  • the culture state can be grasped for each well, and operations such as passage, medium exchange, medium change, and picking can be performed efficiently.
  • the staining state is obtained in colony units
  • the culture state can be grasped for each colony, and operations such as passage, medium exchange, medium change, and picking can be performed efficiently.
  • picking with a colony colonies can be selected efficiently.
  • the operation content determined by the operation content determination unit 23b is not limited to the above-described example, but may be displayed on the display device 30 so as to perform genetic testing. Specifically, for example, based on the information on the staining state of the cell, the quality of the cell is evaluated, and when the quality is lower than a preset reference value and the quality is poor, the user is requested to perform genetic testing. You may make it prompt. In addition, as a result of predicting the staining state of a cell, a class “unknown” is provided, and when the number of occurrences of this class is large, it is urged to perform a genetic test, thereby confirming the staining state of the cell. Also good.
  • the evaluator 21 evaluates whether the cell is an undifferentiated cell or a differentiated cell.
  • the present invention is not limited to this.
  • the evaluator 21 may evaluate whether the cells in the region of interest are fibroblasts or feeder cells. Fibroblasts are one of the cells that make up the skin.
  • the evaluator 21 evaluates the fibroblast or the feeder cell, and the fibroblast staining state can be predicted by machine learning of the fibroblast staining state in the predictor 22. .
  • the evaluator 21 may evaluate whether the cells in the region of interest are pluripotent stem cells or feeder cells.
  • Pluripotent stem cells include iPS cells and ES cells.
  • the evaluator 21 evaluates whether the cell is a pluripotent stem cell or a feeder cell, and predicts the staining state of the pluripotent stem cell by machine learning of the staining state of the pluripotent stem cell to the predictor 22. be able to.
  • the evaluator 21 may evaluate whether the region of interest is a cell region or a non-cell region.
  • the evaluator 21 may evaluate whether the cells in the region of interest are live cells or dead cells.
  • a method for evaluating whether the cell is a living cell or a dead cell for example, a nucleolus contained in the cell is extracted, a cell in which the nucleolus is present is evaluated as a living cell, and the nucleolus is detected. What is necessary is just to evaluate the cell which does not exist as a dead cell.

Abstract

細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができる細胞画像評価装置および細胞画像評価プログラムを提供する。細胞画像の各関心領域に含まれる細胞の状態を評価する評価器２１と、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価結果と、第１の細胞画像と同じ撮影対象に染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２とを備え、予測器２２が、染色処理前の細胞の第３の細胞画像の評価結果のうちの特定の関心領域およびその特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測する。

Description

細胞画像評価装置および細胞画像評価制御プログラム
　本発明は、細胞画像を評価した結果に基づいて、細胞画像に含まれる細胞の染色状態を予測する細胞画像評価装置およびプログラムに関するものである。
　ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
　一方、従来、ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。
　たとえば特許文献１においては、ＥＳ細胞とフィーダー細胞とが撮像された画像において、ＥＳ細胞が占める領域とフィーダー細胞が占める領域とを抽出し、ＥＳ細胞が占める領域に存在するフィーダー細胞の形態的特徴を示す特徴量を算出し、その特徴量と、ＥＳ細胞の状態との対応関係に基づいて、ファジーニューラルネットワークを用いてＥＳ細胞の状態を評価する方法が提案されている。
特開２０１１－２２９４０９号公報
　ここで、多能性幹細胞の未分化状態および分化状態を評価する方法として、アルカリホスファターゼなどの染色マーカを用いた染色処理がある。アルカリホスファターゼによれば、未分化細胞が染色され、分化細胞は染色されないので、これにより培養対象の細胞が、未分化状態を維持できているかなどを確認することができる。
　しかしながら、染色マーカを用いた染色処理は、破壊処理であるため、染色処理を一旦施した細胞は、その後、再び培養を継続することはできない。
　一方、培養された細胞が、未分化状態であるか、または分化状態であるかを評価する方法としては、染色処理以外に、上述したような細胞を撮影した細胞画像の特徴量を解析する方法がある。
　しかしながら、細胞画像の特徴量の解析によって未分化細胞であるか、または分化細胞であるかのみを評価しただけでは、必ずしも、その評価結果と染色処理の結果は一致しない。
　具体的には、細胞画像の特徴量の解析によって、細胞が未分化細胞であると評価されたとしても、その細胞の領域または周辺領域が積層状態である場合には、染色マーカが細胞内に染み込みにくくなり、染色されない場合がある。また、このような例に限らず、細胞画像の解析によって細胞が未分化細胞であると評価された場合でも、実際に染色処理を行った場合には、その周辺領域の細胞の状態によって染色されない場合があることが分かった。
　そして、染色処理を施した場合の染色状態を予測することは、細胞に対する操作を決定したり、その後の培養計画を立てたりする上で、非常に重要である。特許文献１においても、細胞を撮影した画像を用いて、細胞の染色状態を予測する方法は何も提案されていない。
　本発明は、上記の問題に鑑み、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる細胞画像評価装置および細胞画像評価プログラムを提供することを目的とする。
　本発明の細胞画像評価装置は、細胞を撮影した細胞画像の各関心領域について、その各関心領域に含まれる細胞の状態を評価し、その評価結果を出力する評価器と、染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器とを備え、予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。
　また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率を出力することができる。
　また、上記本発明の細胞画像評価装置において、予測器は、細胞が収容された容器内を撮影した第３の細胞画像の評価結果の入力を受け付け、容器内の複数の関心領域の細胞の染色状態をそれぞれ出力することができ、各関心領域の細胞の染色状態を統合して、容器全体の細胞の染色状態を取得する統合部をさらに備えることができる。
　また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力することができ、統合部は、各関心領域の２以上の染色発色強度の遷移確率をその染色発色強度毎に統合して、容器全体の細胞の染色状態を取得することができる。
　また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力することができ、統合部は、各関心領域の２以上の染色発色強度の遷移確率のうち、最も大きい遷移確率の染色発色強度を統合して、容器全体の細胞の染色状態を取得することができる。
　また、上記本発明の細胞画像評価装置において、予測器は、少なくとも１つの培養条件の入力を受け付けることができる。
　また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が未分化状態であるか、または分化状態であるかを評価することができる。
　また、上記本発明の細胞画像評価装置において、評価器は、少なくとも核小体の密度を評価することができる。
　また、上記本発明の細胞画像評価装置において、評価器は、少なくとも白すじの密度を評価することができる。
　また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が線維芽細胞であるか、またはフィーダー細胞であるかを評価することができる。
　また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを評価することができる。
　また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞であるか、または非細胞であるかを評価することができる。
　また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が生細胞であるか、または死細胞であるかを評価することができる。
　また、上記本発明の細胞画像評価装置においては、予測器から出力された細胞の染色状態の情報を取得し、その細胞の染色状態の情報に基づいて、細胞に対する操作内容を決定する操作内容決定部を備えることができる。
　また、上記本発明の細胞画像評価装置において、細胞に対する操作内容は、継代、培地交換、培地の変更、薬剤添加、ピッキングまたは遺伝子検査であることが好ましい。
　本発明の細胞評価制御プログラムは、コンピュータを、細胞を撮影した細胞画像の各関心領域について、その各関心領域に含まれる細胞の状態を評価し、その評価結果を出力する評価器と、染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器として機能させ、予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。
　本発明の細胞画像評価装置および細胞画像評価プログラムによれば、細胞画像の各関心領域について、その細胞の状態を評価した評価結果を出力する評価器と、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器とを備える。
　そして、予測器が、染色処理前の細胞を撮影した第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたので、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる。
本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図 評価器を説明するための説明図 細胞の種々の状態を撮影した細胞画像の一例を示す図 予測器を説明するための説明図 予測器の機械学習の方法の一例を説明するためのフローチャート 予測器の機械学習の方法の一例を説明するための説明図 予測器の機械学習の方法の一例を説明するための説明図 予測器の機械学習の方法の一例を説明するための説明図 機械学習された予測器を用いて、細胞の染色状態を予測する方法を説明するためのフローチャート 本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図 各関心領域の各染色発光強度への遷移確率の一例を示す図 ウェル内における細胞コロニー領域毎に、各染色発光強度への遷移確率を統合した例を示す図 異なる時点において撮影された複数の第３の細胞画像の評価結果を予測器に入力して、１つの予測結果を得る例を示す図 本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図
　以下、本発明の細胞画像評価装置および細胞画像評価プログラムの一実施形態を用いた細胞画像評価予測システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の細胞画像評価予測システムの概略構成を示すブロック図である。
　本実施形態の細胞画像評価予測システムは、図１に示すように、顕微鏡装置１０と、細胞画像評価装置２０と、表示装置３０と、入力装置４０とを備えている。
　顕微鏡装置１０は、培養容器内に収容された細胞を撮影し、細胞画像を出力するものである。本実施形態においては、具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から細胞画像として位相差画像が出力される。なお、顕微鏡装置１０としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置などのその他の顕微鏡装置を用いるようにしてもよい。
　細胞画像としては、複数の細胞が凝集した細胞コロニーを撮影した画像でもよいし、複数の細胞が分散して分布した画像でもよい。また、本実施形態においては、撮影対象として、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、並びに幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞を撮影するものとする。
　また、本実施形態においては、撮影対象の細胞は、複数のウェルを有するウェルプレートなどに収容される。そして、顕微鏡装置１０は、水平面内の直交するＸ方向およびＹ方向に移動するステージを備えており、そのステージ上にウェルプレートが設置される。ステージがＸ方向およびＹ方向に移動することによって、ウェルプレート内における各観察領域が走査され、観察領域毎の細胞画像が撮像される。観察領域毎の細胞画像は１枚の細胞画像として合成され、細胞画像評価装置２０に出力される。また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、たとえばシャーレまたはディッシュなどその他の容器を用いるようにしてもよい。
　細胞画像評価装置２０は、図１に示すように、評価器２１と、予測器２２と、制御部２３とを備えている。細胞画像評価装置２０は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものであり、ハードディスクに本発明の細胞画像評価プログラムの一実施形態がインストールされている。そして、この細胞画像評価プログラムが中央処理装置によって実行されることによって、図１に示す評価器２１、予測器２２および制御部２３が機能する。
　評価器２１は、顕微鏡装置１０から出力された細胞画像を取得し、その取得した細胞画像に含まれる細胞の状態を評価するものである。具体的には、評価器２１は、図２に示すように、入力された細胞画像を複数の関心領域Ｒに分割し、その各関心領域Ｒの細胞画像に含まれる細胞の状態をそれぞれ評価して、各関心領域Ｒの評価結果を出力する。なお、図２において点線により示す矩形領域が関心領域Ｒである。また、本実施形態においては、顕微鏡装置１０の観察領域と上述した関心領域は同一の領域とするが、これに限らず、関心領域Ｒを観察領域よりも広く設定するようにしてもよいし、逆に、関心領域Ｒを観察領域よりも狭く設定するようにしてもよい。
　本実施形態の評価器２１は、各関心領域Ｒの細胞画像に基づいて、細胞画像に含まれる細胞が分化細胞であるか、または未分化細胞であるかを評価する。さらに、評価器２１は、各関心領域Ｒの細胞画像が、細胞を含まない培地のみの画像であるか否かの評価と、細胞画像に含まれる白すじ（クラック）の密度の評価と、細胞画像に含まれる細胞が積層状態であるか否かの評価とを行う。そして、評価器２１は、各関心領域の評価結果として、「未分化細胞（未分化状態の細胞）の領域である」、「分化細胞（分化状態の細胞）の領域である」、「白すじが密に存在する領域である」、「細胞が積層状態の領域である」、および「培地領域である」のいずれかを出力する。なお、白すじ（クラック）とは、なお、細胞と背景間に発生する回折光による光のにじみ（ハロ）のことである。
　図３Iは、培地の画像の一例を示したものであり、図３IIは、分化細胞の細胞画像の一例を示したものであり、図３IIIは、白すじの密度が高い細胞画像の一例を示したものであり、図３IVは、未分化細胞の細胞画像の一例を示したものであり、図３Vは、積層状態の細胞画像の一例を示すものである。
　細胞画像に含まれる細胞が分化細胞であるか、または未分化細胞であるかの評価については、たとえば細胞画像から１つ１つの細胞単体を抽出し、その細胞単体の円形度を評価することによって評価できる。具体的には、未分化細胞は円形度が相対的に高くなるが、分化細胞は細長い形状となり、円形度が相対的に低くなる。したがって、細胞単体の円形度を算出することによって分化細胞であるか、または未分化細胞であるかを評価することができる。なお、細胞画像から細胞単体を抽出する方法としては、エッジ検出処理など公知な画像処理方法を用いることができる。
　また、分化細胞であるか、または未分化細胞であるかを評価する方法としては、上述した細胞単体の円形度に基づく評価に限らず、その他にも細胞単体の単位面積当たりの数（密度）、核小体の単位面積当たりの数（密度）、および細胞単体の平均面積などを用いて評価するようにしてもよい。細胞単体の密度は、分化細胞よりも未分化細胞の方が高くなる傾向があり、核小体の密度も、同様に、分化細胞よりも未分化細胞の方が高くなる傾向がある。また、細胞単体の平均面積については、未分化細胞よりも分化細胞の方が大きくなる傾向がある。なお、上記の評価方法に限らず、その他の公知な評価方法を用いるようにしてもよい。
　関心領域が、培地領域であるか否かの評価については、たとえば各関心領域の細胞画像から細胞単体を抽出し、その細胞単体の数が予め設定された閾値以下である場合には、培地領域であると評価するようにすればよい。
　関心領域の細胞画像に含まれる白すじの密度の評価については、たとえば細胞画像に対して２値化処理を施し、その2値化処理後の画像から白画素が細長く連続して存在する白画素領域を抽出し、その面積の密度を算出するようにすればよい。そして、その算出した白画素領域の密度が、予め設定された閾値以上である場合に、白すじが密に存在する領域であると評価するようにすればよい。
　細胞画像に含まれる細胞が積層状態であるか否かの評価については、細胞が積層状態である場合には、細胞の密集度が高くなり、細胞画像の輝度が高くなる。したがって、細胞画像の輝度分布を取得し、輝度の平均値が、予め設定された閾値よりも高い場合には、細胞が積層状態であると評価するようにすればよい。または、細胞画像の輝度分布の空間周波数を解析することによって細胞が積層状態であるか否かを評価するようにしてもよい。なお、細胞が積層状態であるか否かの評価方法についても、その他の公知な方法を用いることができる。
　次に、予測器２２は、染色処理前の細胞を撮影した少なくとも１つの細胞画像の評価器２１による評価結果の入力を受け付け、その細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するものである。
　ここで、染色処理とは、上述したように、多能性幹細胞が分化状態を維持しているか否か、または所望の細胞に分化誘導した場合に未分化細胞が含まれているか否かを確認することができる処理であり、たとえばアルカリホスファターゼなどの染色マーカが用いられる。アルカリホスファターゼによれば、未分化細胞が染色され、分化細胞は染色されない。
　そして、染色処理を行った場合に、細胞が染色されるか否かについては、その細胞が未分化細胞であるか、または分化細胞であるかのみを評価しただけでは、必ずしも、その評価結果と染色処理の結果は一致しない。具体的には、たとえば所定の関心領域内の細胞が未分化細胞であると評価されたとしても、その関心領域もしくは関心領域の周辺領域が積層状態である場合には、染色マーカが細胞内に染み込みにくくなり、染色されない場合がある。また、このような例に限らず、関心領域内の細胞が未分化細胞であると評価された場合でも、実際に染色処理を行った場合には、関心領域の周辺領域の細胞の状態によって染色されない場合があることが分かった。
　そこで、本実施形態の予測器２２は、上述したように細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。
　具体的には、予測器２２は、図４に示すように、染色処理前の細胞を撮影した細胞画像の各関心領域Ｒの評価結果の入力を受け付ける。そして、予測器２２は、入力された細胞画像内の複数の関心領域Ｒのうちの特定の関心領域ＳＲと、特定の関心領域ＳＲの周辺の関心領域Ｒの評価結果に基づいて、特定の関心領域ＳＲに含まれる細胞の染色状態を予測して出力するものである。なお、図４においては、周辺の関心領域Ｒを斜線により示している。
　予測器２２は、上述したように実際には染色処理が施されていない細胞について、染色処理が施された場合を想定してその染色状態を予測して出力するように、予め機械学習されたものである。具体的には、予測器２２は、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させたものである。以下、予測器２２の機械学習の方法の一例を、図５に示すフローチャートおよび図６～図８を参照しながら説明する。
　まず、染色処理前の細胞を撮影した第１の細胞画像と、染色処理後の第２の細胞画像を取得し（Ｓ１０）、第１の細胞画像を評価器２１に入力して、上述したような各関心領域Ｒの評価結果を取得する（Ｓ１２）。図６Iは、染色処理前の第１の細胞画像内における各関心領域Ｒの評価結果の一例を示す図である。図６Iにおいては、「培地領域である」
との評価結果を「１」、「分化細胞の領域である」との評価結果を「２」、「白すじが密に存在する領域である」との評価結果を「３」、「未分化細胞の領域である」との評価結果を「４」、および「細胞が積層状態の領域である」との評価結果を「５」として示している。
　次に、染色処理後の第２の細胞画像の各関心領域Ｒの染色状態を取得する（Ｓ１４）。第２の細胞画像の染色状態については、たとえば第２の細胞画像の各関心領域Ｒの画像を評価し、染色強度によってクラス分けするようにすればよい。また、評価器２１において、第２の細胞画像の輝度情報に基づいて行うようにしてもよいし、本実施形態の細胞画像評価予測システムとは異なる装置において評価するようにしてもよい。または、ユーザが染色状態を評価し、入力装置４０を用いてその評価結果を設定入力するようにしてもよい。
　図６IIは、第２の細胞画像の各関心領域Ｒの細胞の染色状態の一例を示す図である。図６IIにおいては、染色処理による染色発色強度を５段階で表しており、染色状態「１」は、発色なしを意味し、染色状態「５」は、染色発色強度が最も大きいことを意味している。
　そして、図６Iに示す第１の細胞画像の評価結果と、図６IIに示す第２の細胞画像の染色状態との対応関係が取得され（Ｓ１６）、その対応関係が予測器２２によって機械学習される（Ｓ１８）。具体的には、たとえば図６Iに示す３×３の関心領域の領域ＥＲ１１と、その領域ＥＲ１１に対応する第２の細胞画像における領域ＥＲ１２とが特定される。そして、図７Iに示すように、領域ＥＲ１１の中心に位置する特定の関心領域ＳＲ１１およびその周辺の関心領域Ｒ１１の評価結果と、領域ＥＲ１２の中心に位置する特定の関心領域ＳＲ１２の染色状態とが対応付けられ、この対応関係が予測器２２によって機械学習される。より具体的には、図８に示すように、領域ＥＲ１１の各関心領域Ｒの評価結果を左上の評価結果から右下の評価結果に向けて順に配列した学習特徴量が求められ、この学習特徴量に対応する学習クラスとして、領域ＥＲ１２の特定の関心領域ＳＲ１２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
　同様に、図６Iに示す３×３の関心領域の領域ＥＲ２１と、その領域ＥＲ２１に対応する第２の細胞画像における領域ＥＲ２２とが特定される。そして、図７IIに示すように、領域ＥＲ２１の中心に位置する特定の関心領域ＳＲ２１およびその周辺の関心領域Ｒ２１の評価結果と、領域ＥＲ２２の中心に位置する特定の関心領域ＳＲ２２の染色状態とが対応付けられ、この対応関係が予測器２２によって機械学習される。具体的には、図８に示すように、領域ＥＲ２１の各関心領域Ｒの評価結果を左上の評価結果から右下の評価結果に向けて順に配列した学習特徴量が求められ、この学習特徴量に対応する学習クラスとして、領域ＥＲ２２の特定の関心領域ＳＲ２２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
　また、同様に、図６Iに示す３×３の関心領域の領域ＥＲ３１と、その領域ＥＲ３１に対応する第２の細胞画像における領域ＥＲ３２とが特定される。そして、図７IIIに示すように、領域ＥＲ３１の中心に位置する特定の関心領域ＳＲ３１およびその周辺の関心領域Ｒ３１の評価結果と、領域ＥＲ３２の中心に位置する特定の関心領域ＳＲ３２の評価結果とが対応付けられ、この対応関係が予測器２２によって機械学習される。そして、図８に示すように、領域ＥＲ３１の学習特徴量とその学習特徴量に対応する学習クラスとして、領域ＥＲ３２の特定の関心領域ＳＲ３２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
　なお、ここでは、３つの領域の評価結果の対応関係を機械学習する場合について説明したが、３つの領域だけでなく、その他の多数の領域の評価結果と染色状態との対応関係が、予測器２２によって機械学習される。また、上記説明では、３×３の関心領域の評価結果と染色状態との対応関係を用いるようにしたが、３×３に限るものではない。たとえば、５×５の関心領域の評価結果と染色状態との対応関係を用いて機械学習するようにしてもよい。
　なお、機械学習の手法としては、サポートベクタマシン（ＳＶＭ）、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、およびデノイジングスタックオートエンコーダ（ＤＳＡ）などを用いることができる。
　また、予測器２２を機械学習させる際に用いる第１の細胞画像および第２の細胞画像は、必ずしも顕微鏡装置１０によって撮影されたものでなくてもよく、本実施形態の細胞画像評価予測システム以外の外部のサーバ装置になどに保存された細胞画像を用いるようにしてもよい。
　図９は、上述したようにして機械学習された予測器を用いて、細胞の染色状態を予測する方法を説明するためのフローチャートである。
　図９に示すように、まず、顕微鏡装置１０によって撮影された染色処理前の第３の細胞画像が評価器２１に入力される（Ｓ２０）。そして、評価器２１によって第３の細胞画像の各関心領域Ｒの細胞の状態が評価される（Ｓ２２）。
　次いで、第３の細胞画像の各関心領域Ｒの評価結果が予測器２２に入力される。予測器２２は、図４に示すように、第３の細胞画像内における特定の関心領域ＳＲの評価結果とその周辺の関心領域Ｒの評価結果に基づいて、特定の関心領域ＳＲの細胞の染色状態を予測する（Ｓ２４）。
　そして、本実施形態の予測器２２は、第３の細胞画像内の各関心領域Ｒを特定の関心領域ＳＲに設定して、第３の細胞画像全体について、上記と同様にして、細胞の染色状態を予測し、上述した学習クラスを染色状態とする染色マップを生成する（Ｓ２６）。
　図１に戻り、制御部２３は、細胞画像評価装置２０全体を制御するものである。また、制御部２３は、予測器２２において生成された染色マップを表示装置３０に表示させるものである。本実施形態においては、ウェル毎の第３の細胞画像が評価器２１に入力され、その評価結果に基づいて、ウェル毎の染色マップが生成される。染色マップとしては、たとえば予測された染色発色強度の大きさに基づいて、それぞれ色分けされたカラーマップを生成して表示装置３０に表示するようにすればよい。
　上記実施形態の細胞画像評価予測システムによれば、細胞画像を複数の領域に分割した各関心領域について、その細胞の状態を評価した評価結果を出力する評価器２１と、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２とを備える。
　そして、予測器２２が、染色処理前の細胞を撮影した第３の細胞画像の評価器による評価結果の入力を受け付け、第３の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたので、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる。
　また、機械学習によって得られた予測器２２によって染色状態を予測するようにしたので、多数の過去の染色状態の評価結果に基づく染色予測結果が得られ、単に現在の細胞画像について未分化または分化を判定し、判定結果に基づいて細胞の状態毎に色付けした色付け画像よりも、より信頼感のある結果を得ることができる。
　なお、本実施形態においては、第１の細胞画像および第３の細胞画像の評価器２１による評価として、核小体の密度を含めるようにしてもよい。未分化細胞は、細胞が凝集してコロニーを形成するので核小体の密度が高く、分化細胞は、各細胞同士が離れて分布するため核小体の密度は低くなる。したがって、評価器２１による評価として核小体の密度を含めることによって、予測器２２の予測結果の精度を向上させることができる。
　また、本実施形態においては、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２を設け、その予測器２２が、染色処理前の細胞を撮影した第３の細胞画像の評価器２１による評価結果の入力を受け付け、第３の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたが、すなわち、特定の関心領域の評価とその周辺領域の評価結果とを用いて予測器２２の機械学習を行い、特定の関心領域の評価とその周辺領域の評価結果とを用いて特定の関心領域の細胞の染色状態を予測して出力するようにしたが、予測器２２の機械学習を行う際、染色処理前の細胞の評価結果として、特定の関心領域の評価結果を用いることなく、特定の関心領域の周辺領域の評価結果のみを用いるようにしてもよい。また、予測器２２によって特定の関心領域の細胞の染色状態を予測して出力させる際、特定の関心領域の評価結果を用いることなく、特定の関心領域の周辺領域の評価結果のみを用いるようにしてもよい。
　すなわち、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２を設け、染色処理前の細胞を撮影した第３の細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしてもよい。
　また、上記実施形態においては、予測器２２によって生成されたウェル毎の染色マップを表示装置３０に表示させるようにしたが、これに限らず、予測器２２から出力された各関心領域の予測結果を統合して、ウェル全体の細胞の染色状態を表す指標を算出し、表示装置３０に表示させるようにしてもよい。図１０は、上述したように各関心領域の予測結果を統合して、ウェル全体の細胞の染色状態を表す指標を取得する統合部２３ａを有する細胞画像評価予測システムの概略構成を示すブロック図である。
　統合部２３ａは、たとえばウェル全体に対する各染色発色強度の領域の割合をそれぞれ算出し、その割合をウェル全体の細胞の染色状態を表す指標として染色マップとともに表示装置３０に表示させる。または、特定の染色発色強度、たとえば染色発色強度が「４」以上の領域のウェル全体に対する割合を算出し、染色マップとともに表示装置３０に表示させるようにしてもよい。
　また、上記実施形態においては、染色状態を予測器２２から出力させるようにしたが、これに限らず、関心領域内に含まれる細胞の２以上の染色発色強度への遷移確率を予測器２２から出力させるようにしてもよい。具体的には、たとえば図１１に示すように、各関心領域Ｒについて各染色発色強度（図１１においては単に発光強度と示している）への遷移確率を出力するように予測器２２を構成してもよい。
　そして、図１１に示すように、予測器２２から出力された各関心領域の２以上の遷移確率をマッピングして予測マップを生成し、表示装置３０に表示させるようにしてもよい。または、統合部２３ａが、各関心領域の２以上の遷移確率を統合して、ウェル全体の細胞の染色状態を取得するようにしてもよい。
　統合部２３ａにおける各関心領域の２以上の遷移確率の統合方法としては、たとえば各関心領域の２以上の遷移確率のうちの、最も大きい遷移確率を統合するようにしてもよい。具体的には、図１１に示すように、各関心領域Ｒについて、各染色発光強度への遷移確率を予測器２２が出力する場合には、各関心領域Ｒの２つの遷移確率のうちの大きい方の遷移確率の染色発光強度を、その関心領域Ｒの染色発光強度として取得する。たとえば所定の関心領域Ｒの染色発光強度「１」への遷移確率が８０％であり、染色発光強度「２」への遷移確率が２０％である場合には、その所定の関心領域Ｒの細胞の染色状態は、染色発光強度「１」であるとする。そして、ウェル内のその他の関心領域Ｒについても、同様にして、染色発光強度を特定する。そして、ウェル全体の関心領域Ｒの数に対する各染色発光強度の関心領域Ｒの数の比率をそれぞれ算出することによって、ウェル全体の細胞の染色状態を取得する。
　または、上述したように各関心領域の２以上の遷移確率のうちの、最も大きい遷移確率を統合するのではなく、各関心領域の各遷移確率をウェル全体で統合するようにしてもよい。具体的には、ウェル内の各関心領域について、各染色発光強度の遷移確率を、染色発光強度毎にそれぞれ加算し、その加算した確率をウェル全体の関心領域の数で除算することによって、ウェル全体について、各染色発光強度への遷移確率を取得するようにしてもよい。
　また、ウェル全体について各染色発光強度への遷移確率を統合するのではなく、細胞コロニー単位で各染色発光強度への遷移確率を統合するようにしてもよい。図１２は、ウェルＷ内における細胞コロニー領域ＣＲ毎に、その各染色発光強度（図１２では単に発光強度と示している）への遷移確率を統合した例を示したものである。図１２に示すような遷移確率マップを生成して表示装置３０に表示させるようにしてもよい。
　また、上記実施形態においては、予測器２２に対して、１つの第３の細胞画像の評価結果を入力するようにしたが、これに限らず、複数の異なる時点において撮影された第３の細胞画像の評価結果を入力するようにしてもよい。図１３は、現時点において撮影された第３の細胞画像の評価結果と、１日前に撮影された第３の細胞画像の評価結果と、２日前に撮影された第３の細胞画像の評価結果とを予測器２２に入力して、１つの予測結果を得る例を示す図である。なお、この場合、予測器２２を機械学習させる際にも、複数の異なる時点において撮影された第１の細胞画像の評価結果が入力される。
　また、上記実施形態においては、予測器２２に対して、第３の細胞画像の評価結果を入力するようにしたが、第３の細胞画像の評価結果に加えて、少なくとも１つの培養条件を入力するようにしてもよい。培養条件としては、培地の種類および量、培養における環境温度および湿度、並びに成長因子の有無などがある。なお、この場合、予測器２２を機械学習させる際にも、上述したような培養条件が予測器２２に入力される。培養条件については、たとえばユーザが入力装置４０を用いて設定入力すればよい。
　また、上記実施形態においては、図１４に示すように、予測器２２から出力された細胞の染色状態の情報を取得し、その細胞の染色状態の情報に基づいて、細胞に対する操作内容を決定する操作内容決定部２３ｂを設けるようにしてもよい。具体的には、上述したようにウェル内の各染色発光強度の領域の割合を算出する場合には、操作内容決定部２３ｂが、各染色発光強度の割合に基づいて、継代、培地交換、培地変更、薬剤添加、およびピッキングなどの操作を決定するようにしてもよい。操作内容決定部２３ｂによって決定された操作内容は表示装置３０に表示され、ユーザに対してその操作を行うように促す。
　このようにウェル単位で染色状態を取得することにより、ウェル毎に培養状態を把握でき、継代、培地交換、培地変更、およびピッキングなどの操作を効率的に行うことができる。また、コロニー単位で染色状態を取得した場合には、コロニー毎に培養状態を把握でき、継代、培地交換、培地変更、およびピッキングなどの操作を効率的に行うことができ、特に、コロニー単位でピッキングを行う場合に、コロニーの選択を効率よく行うことができる。
　また、操作内容決定部２３ｂにおいて決定する操作内容としては、上述した例に限らず、遺伝子検査を行うように表示装置３０に表示させるようにしてもよい。具体的には、たとえば細胞の染色状態の情報に基づいて、細胞の品質を評価し、その品質が予め設定しておいた基準値を下回り、品質が悪い場合に、遺伝子検査を行うようユーザに促すようにしてもよい。また、細胞の染色状態の予測結果として、“不明”というクラスを設けておき、このクラスの出現数が多い場合に、遺伝子検査を行うよう促し、これにより細胞の染色状態を確定するようにしてもよい。
　また、上記実施形態においては、評価器２１において未分化細胞であるか、または分化細胞であるかなどを評価するようにしたが、これに限られるものではない。たとえば評価器２１において、関心領域内の細胞が線維芽細胞であるか、フィーダー細胞であるかを評価するようにしてもよい。線維芽細胞は、皮膚を構成する細胞の１つである。評価器２１によって線維芽細胞であるか、またはフィーダー細胞であるかを評価し、線維芽細胞の染色状態を予測器２２に機械学習することによって、線維芽細胞の染色状態を予測することができる。
　また、評価器２１において、関心領域内の細胞が多能性幹細胞であるか、フィーダー細胞であるかを評価するようにしてもよい。多能性幹細胞としては、ｉＰＳ細胞およびＥＳ細胞がある。評価器２１によって多能性幹細胞であるか、またはフィーダー細胞であるかを評価し、多能性幹細胞の染色状態を予測器２２に機械学習することによって、多能性幹細胞の染色状態を予測することができる。
　また、評価器２１において、関心領域が細胞の領域であるか、非細胞の領域であるかを評価するようにしてもよい。
　また、評価器２１において、関心領域内の細胞が生細胞であるか、死細胞であるかを評価するようにしてもよい。なお、生細胞であるか、死細胞であるかを評価する方法としては、たとえば細胞に含まれる核小体を抽出し、核小体が存在する細胞を生細胞として評価し、核小体が存在しない細胞を死細胞として評価するようにすればよい。
１０　 顕微鏡装置
２０　 細胞画像評価装置
２１　 評価器
２２　 予測器
２３　 制御部
２３ａ 統合部
２３ｂ 操作内容決定部
３０　 表示装置
４０　 入力装置
ＣＲ　 細胞コロニー領域
ＥＲ１１　　　 領域
ＥＲ１２　　　 領域
ＥＲ２１　　　 領域
ＥＲ２２　　　 領域
ＥＲ３１　　　 領域
ＥＲ３２　　　 領域
Ｒ　　 関心領域
ＳＲ　 特定の関心領域
Ｗ　　 ウェル

Claims (16)

  1. 　細胞を撮影した細胞画像の各関心領域について、該各関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    　染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の前記関心領域の周辺領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器とを備え、
    　前記予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、前記特定の関心領域の細胞の染色状態を予測して出力する細胞画像評価装置。
  2. 　前記予測器が、前記細胞の染色状態の出力として、２以上の染色発色強度への遷移確率を出力する請求項１記載の細胞画像評価装置。
  3. 　前記予測器が、細胞が収容された容器内を撮影した前記第３の細胞画像の前記評価結果の入力を受け付け、前記容器内の複数の関心領域の細胞の染色状態をそれぞれ出力し、
    　前記各関心領域の細胞の染色状態を統合して、前記容器全体の細胞の染色状態を取得する統合部を備えた請求項１または２記載の細胞画像評価装置。
  4. 　前記予測器が、前記細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力し、
    　前記統合部が、前記各関心領域の２以上の染色発色強度の遷移確率を該染色発色強度毎に統合して、前記容器全体の細胞の染色状態を取得する請求項３記載の細胞画像評価装置。
  5. 　前記予測器が、前記細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力し、
    　前記統合部が、前記各関心領域の２以上の染色発色強度の遷移確率のうち、最も大きい遷移確率の染色発色強度を統合して、前記容器全体の細胞の染色状態を取得する請求項３記載の細胞画像評価装置。
  6. 　前記予測器が、少なくとも１つの培養条件の入力を受け付ける請求項１から５いずれか１項記載の細胞画像評価装置。
  7. 　前記評価器が、少なくとも細胞が未分化状態であるか、または分化状態であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
  8. 　前記評価器が、少なくとも核小体の密度を評価する請求項１から６いずれか１項記載の細胞画像評価装置。
  9. 　前記評価器が、少なくとも白すじの密度を評価する請求項１から６いずれか１項記載の細胞画像評価装置。
  10. 　前記評価器が、少なくとも細胞が線維芽細胞であるか、またはフィーダー細胞であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
  11. 　前記評価器が、少なくとも細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
  12. 　前記評価器が、少なくとも細胞であるか、または非細胞であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
  13. 　前記評価器が、少なくとも細胞が生細胞であるか、または死細胞であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
  14. 　前記予測器から出力された細胞の染色状態の情報を取得し、該細胞の染色状態の情報に基づいて、前記細胞に対する操作内容を決定する操作内容決定部を備えた請求項１から１３いずれか１項記載の細胞画像評価装置。
  15. 　前記細胞に対する操作内容が、継代、培地交換、培地の変更、薬剤添加、ピッキングまたは遺伝子検査である請求項１４記載の細胞画像評価装置。
  16. 　コンピュータを、
    　細胞を撮影した細胞画像の各関心領域について、該各関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    　染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の前記関心領域の周辺領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器として機能させ、
    　前記予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、前記特定の関心領域の細胞の染色状態を予測して出力する細胞画像評価プログラム。
PCT/JP2017/042472 2016-12-06 2017-11-28 細胞画像評価装置および細胞画像評価制御プログラム WO2018105432A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17879101.8A EP3553165A4 (en) 2016-12-06 2017-11-28 CELL IMAGE EVALUATION DEVICE AND CELL IMAGE EVALUATION CONTROL PROGRAM
KR1020197015612A KR102231545B1 (ko) 2016-12-06 2017-11-28 세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램
JP2018554928A JP6837493B2 (ja) 2016-12-06 2017-11-28 細胞画像評価装置および細胞画像評価制御プログラム
US16/431,229 US11037292B2 (en) 2016-12-06 2019-06-04 Cell image evaluation device and cell image evaluation control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016236441 2016-12-06
JP2016-236441 2016-12-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/431,229 Continuation US11037292B2 (en) 2016-12-06 2019-06-04 Cell image evaluation device and cell image evaluation control program

Publications (1)

Publication Number Publication Date
WO2018105432A1 true WO2018105432A1 (ja) 2018-06-14

Family

ID=62492329

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042472 WO2018105432A1 (ja) 2016-12-06 2017-11-28 細胞画像評価装置および細胞画像評価制御プログラム

Country Status (5)

Country Link
US (1) US11037292B2 (ja)
EP (1) EP3553165A4 (ja)
JP (2) JP6837493B2 (ja)
KR (1) KR102231545B1 (ja)
WO (1) WO2018105432A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019091307A (ja) * 2017-11-15 2019-06-13 大日本印刷株式会社 コンピュータプログラム、検出装置、撮像装置、サーバ、画像データ、検出器、検出方法及び提供方法
WO2020059491A1 (ja) * 2018-09-19 2020-03-26 株式会社カネカ 検査情報処理方法、検査情報処理装置、コンピュータプログラム及び学習モデル
WO2020106010A1 (ko) * 2018-11-19 2020-05-28 노을 주식회사 이미지 분석 시스템 및 분석 방법
WO2020188814A1 (ja) * 2019-03-20 2020-09-24 株式会社島津製作所 細胞解析装置
WO2021009906A1 (ja) * 2019-07-18 2021-01-21 株式会社島津製作所 細胞画像解析方法および細胞画像解析装置
JP7478443B2 (ja) 2018-10-05 2024-05-07 レッドベリー 少なくとも１つの微生物を、その染色反応速度に従って検出するための方法および装置、ならびに検出支持体

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102497003B1 (ko) 2020-11-30 2023-02-06 재단법인대구경북과학기술원 약물 평가 방법 및 장치
DE102021114288A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Synthetische fluoreszenzbilder mit proben-spezifischer referenz
EP4099272A1 (de) 2021-06-02 2022-12-07 Carl Zeiss Microscopy GmbH Mikroskopiesystem und verfahren zum erzeugen stilisierter kontrastbilder
DE102021114290A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114307A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Digitale kontrastnachbearbeitung von mikroskopiebildern
DE102021114291A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114287A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
DE102021122720A1 (de) 2021-09-02 2023-03-02 Carl Zeiss Microscopy Gmbh Synthetische fluoreszenzbilder mit proben-schonender erfassung von referenzbildern
JP2024016378A (ja) * 2022-07-26 2024-02-07 株式会社Ｓｃｒｅｅｎホールディングス 解析支援方法、プログラムおよび解析支援装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229409A (ja) 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
WO2011162213A1 (ja) * 2010-06-23 2011-12-29 株式会社エヌテック 微生物検出方法、微生物検出装置及びプログラム
US20140270457A1 (en) * 2013-03-15 2014-09-18 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
WO2015025508A1 (ja) * 2013-08-22 2015-02-26 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2015146064A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 細胞認識装置および方法並びにプログラム
WO2015182382A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
US20160035093A1 (en) * 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー， インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
US20160253466A1 (en) * 2013-10-10 2016-09-01 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7732900A (en) * 1999-09-30 2001-04-30 National Jewish Medical And Research Center Method for regulating cell growth and assays related thereto
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
JP2008276290A (ja) * 2007-04-25 2008-11-13 Sony Corp データ処理装置、データ処理方法、及びプログラム
WO2010101225A1 (ja) * 2009-03-04 2010-09-10 学校法人 東京女子医科大学 細胞シートを利用した細胞評価システム及びその利用方法
JP2014506122A (ja) 2010-12-07 2014-03-13 ライフ テクノロジーズ コーポレーション バーチャル細胞染色システム
JP2015146747A (ja) * 2014-02-05 2015-08-20 浜松ホトニクス株式会社 細胞判定方法
EP3262417B1 (en) * 2015-02-23 2021-11-03 Cellanyx Diagnostics, LLC Cell imaging and analysis to differentiate clinically relevant sub-populations of cells
US10755078B2 (en) * 2015-04-10 2020-08-25 President And Fellows Of Harvard College Methods and devices for live cell imaging analysis

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229409A (ja) 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
WO2011162213A1 (ja) * 2010-06-23 2011-12-29 株式会社エヌテック 微生物検出方法、微生物検出装置及びプログラム
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー， インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
US20140270457A1 (en) * 2013-03-15 2014-09-18 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
WO2015025508A1 (ja) * 2013-08-22 2015-02-26 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
US20160253466A1 (en) * 2013-10-10 2016-09-01 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
WO2015146064A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 細胞認識装置および方法並びにプログラム
WO2015182382A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
US20160035093A1 (en) * 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3553165A4
WANG, M. ET AL.: "Novel cell segmentation and online SVM for cell cycle phase identification in automated microscopy", BIOINFORMATICS, vol. 24, 2008, pages 94 - 101, XP055510092 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019091307A (ja) * 2017-11-15 2019-06-13 大日本印刷株式会社 コンピュータプログラム、検出装置、撮像装置、サーバ、画像データ、検出器、検出方法及び提供方法
WO2020059491A1 (ja) * 2018-09-19 2020-03-26 株式会社カネカ 検査情報処理方法、検査情報処理装置、コンピュータプログラム及び学習モデル
JP7478443B2 (ja) 2018-10-05 2024-05-07 レッドベリー 少なくとも１つの微生物を、その染色反応速度に従って検出するための方法および装置、ならびに検出支持体
WO2020106010A1 (ko) * 2018-11-19 2020-05-28 노을 주식회사 이미지 분석 시스템 및 분석 방법
WO2020188814A1 (ja) * 2019-03-20 2020-09-24 株式会社島津製作所 細胞解析装置
JPWO2020188814A1 (ja) * 2019-03-20 2021-12-02 株式会社島津製作所 細胞解析装置
JP7006833B2 (ja) 2019-03-20 2022-01-24 株式会社島津製作所 細胞解析装置
WO2021009906A1 (ja) * 2019-07-18 2021-01-21 株式会社島津製作所 細胞画像解析方法および細胞画像解析装置
JPWO2021009906A1 (ja) * 2019-07-18 2021-01-21
CN114127307A (zh) * 2019-07-18 2022-03-01 株式会社岛津制作所 细胞图像解析方法和细胞图像解析装置
JP7342950B2 (ja) 2019-07-18 2023-09-12 株式会社島津製作所 細胞画像解析方法および細胞画像解析装置

Also Published As

Publication number Publication date
JP2021061836A (ja) 2021-04-22
JP6837493B2 (ja) 2021-03-03
JP7087048B2 (ja) 2022-06-20
EP3553165A4 (en) 2019-12-25
JPWO2018105432A1 (ja) 2019-10-24
KR102231545B1 (ko) 2021-03-23
EP3553165A1 (en) 2019-10-16
US11037292B2 (en) 2021-06-15
US20190287244A1 (en) 2019-09-19
KR20190080914A (ko) 2019-07-08

Similar Documents

Publication Publication Date Title
JP7087048B2 (ja) 細胞画像評価装置および細胞画像評価プログラム
JP6801000B2 (ja) 細胞画像評価装置および細胞画像評価制御プログラム
KR102643990B1 (ko) 플레이팅된 배지 상의 스트리킹된 샘플로부터 자동화된 미생물 콜로니 카운트를 위한 방법 및 시스템
JP2022180419A (ja) 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
EP2930683A1 (en) Image processing device, image processing system, and program
Faustino et al. Automatic embryonic stem cells detection and counting method in fluorescence microscopy images
US11790527B2 (en) Live cell visualization and analysis
US11756190B2 (en) Cell image evaluation device, method, and program
US11030751B2 (en) Cell image evaluation device, method, and program
CN117377772A (zh) 快速、自动的基于图像的病毒空斑和效力测定
JP6475134B2 (ja) 細胞評価装置および方法
KR20230163541A (ko) 신속한, 자동화된 이미지 기반 바이러스 플라크 및 효능 검정법
CN115699085A (zh) 细胞图像解析装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17879101

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018554928

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197015612

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017879101

Country of ref document: EP

Effective date: 20190708