WO2018180813A1 - 細胞画像評価装置および方法並びにプログラム - Google Patents

細胞画像評価装置および方法並びにプログラム Download PDF

Info

Publication number
WO2018180813A1
WO2018180813A1 PCT/JP2018/011174 JP2018011174W WO2018180813A1 WO 2018180813 A1 WO2018180813 A1 WO 2018180813A1 JP 2018011174 W JP2018011174 W JP 2018011174W WO 2018180813 A1 WO2018180813 A1 WO 2018180813A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
meniscus
cell
evaluation
Prior art date
Application number
PCT/JP2018/011174
Other languages
English (en)
French (fr)
Inventor
隆史 涌井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to KR1020197023860A priority Critical patent/KR102293757B1/ko
Priority to JP2019509619A priority patent/JP6873231B2/ja
Priority to EP18775331.4A priority patent/EP3604495A4/en
Publication of WO2018180813A1 publication Critical patent/WO2018180813A1/ja
Priority to US16/544,369 priority patent/US11030751B2/en

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a cell image evaluation apparatus, method, and program for evaluating a state of a cell included in a photographed image using a photographed image obtained by photographing the cell.
  • Pluripotent stem cells such as ES (Embryonic Stem) cells and iPS (Induced uri Pluripotent Stem) cells have the ability to differentiate into cells of various tissues and can be applied in regenerative medicine, drug development, and disease elucidation It is attracting attention as something.
  • pluripotent stem cells such as ES cells and iPS cells or differentiation-induced cells are imaged with a microscope and the like, and the differentiation state of the cells is evaluated by capturing the characteristics of the images.
  • each observation area in the well is scanned by moving a stage on which a well plate or the like is moved with respect to the imaging optical system, and an image for each observation area is taken, and then the observation area
  • a method for stitching together images has been proposed.
  • a liquid such as a culture solution is stored in the well together with the cells, and it is known that a meniscus is formed on the surface of the liquid. ing.
  • the photographed image obtained by photographing the meniscus region it is not possible to extract the image of each individual cell with high accuracy.
  • the evaluation is performed using the feature amount indicating the state of each individual cell, There are cases where the accuracy of the evaluation result is low and the evaluation result is low in reliability. That is, if the image of the non-meniscus region and the image of the meniscus region are evaluated in the same way, an accurate evaluation result may not be obtained.
  • Patent Document 1 it is proposed to perform autofocus control in consideration of the meniscus, and in Patent Document 2, it is proposed to perform density correction in consideration of the influence of the shadow on the side surface of the well.
  • No method has been proposed for evaluating an image with low contrast in the meniscus region.
  • An object of the present invention is to provide a cell image evaluation apparatus, method, and program that can be used.
  • the cell image evaluation apparatus determines whether a captured image obtained by photographing the inside of a container in which cells are stored is an image obtained by photographing a meniscus region or a non-meniscus region in the container. And an image evaluation unit that evaluates the state of cells included in the captured image.
  • the image evaluation unit evaluates the meniscus region image and the non-meniscus region image using different evaluation methods.
  • the region determination unit may determine whether the image is a meniscus region image or a non-meniscus region image based on a feature amount of the captured image. .
  • the region determination unit determines whether the image is a meniscus region image or a non-meniscus region image based on preset position information in the container. May be.
  • the region determination unit may be an image of a meniscus region or a non-meniscus region based on a feature amount of a photographed image and preset position information in a container. You may determine whether it is an image.
  • the image evaluation unit evaluates the non-meniscus region image using a feature amount indicating the state of the cells included in the captured image, and the meniscus region image May be evaluated using image feature values.
  • the feature amount indicating the cell state includes the feature amount of each cell state, the feature amount of the nucleolus contained in the cell, and the feature amount of white streak
  • at least one of a feature amount of a nucleus contained in a cell and an NC ratio (Nucleocytoplasmic ratio) of the cell may be included.
  • the image evaluation unit calculates the evaluation result for the container by integrating the evaluation result of the image of the meniscus region in the container and the evaluation result of the image of the non-meniscus region. May be.
  • the image evaluation unit adds weights to the evaluation result of the meniscus region image and the evaluation result of the non-meniscus region image when calculating the evaluation result for the container. May be.
  • the weight added to the evaluation result of the non-meniscus region image is larger than the weight added to the evaluation result of the meniscus region image.
  • the captured image is obtained by moving at least one of a stage on which the container is installed and an imaging optical system that forms an image of cells in the container.
  • the image of each observation area may be captured, and the area determination unit may determine whether the captured image for each observation area is a meniscus area image or a non-meniscus area image.
  • the region determination unit can determine whether the captured image is an image obtained by capturing the waved region of the liquid in the container. May evaluate the image obtained by photographing the wavy region by the same evaluation method as the evaluation method for evaluating the image of the meniscus region.
  • the cell image evaluation method determines whether a captured image obtained by photographing the inside of a container in which cells are stored is an image obtained by photographing a meniscus region or a non-meniscus region in the container. And when evaluating the state of the cell contained in a picked-up image, it evaluates with the different evaluation method with the image of a meniscus area
  • the captured image obtained by photographing the inside of the container in which the cell is stored is an image obtained by photographing the meniscus region in the container or the image obtained by photographing the non-meniscus region.
  • a cell image evaluation program that functions as an area determination unit for determining whether or not and an image evaluation unit for evaluating a state of a cell included in a captured image, wherein the image evaluation unit includes an image of a meniscus region and an image of a non-meniscus region And evaluate with different evaluation methods.
  • the photographed image obtained by photographing the inside of the container containing the cells is an image obtained by photographing the meniscus region in the container or an image obtained by photographing the non-meniscus region.
  • the evaluation is performed by different evaluation methods for the meniscus region image and the non-meniscus region image.
  • a more accurate and reliable evaluation can be performed by evaluating with an evaluation method suitable for the image. Can do.
  • the block diagram which shows schematic structure of the cell image evaluation system using one Embodiment of the cell image evaluation apparatus of this invention.
  • the figure which shows the scanning locus of each observation field in a well plate The figure which shows the sectional side view and top view of the well.
  • FIG. 1 is a block diagram showing a schematic configuration of the cell image evaluation system of the present embodiment.
  • the cell image evaluation system of this embodiment includes a microscope device 10, a cell image evaluation device 20, a display device 30, and an input device 40, as shown in FIG.
  • the microscope apparatus 10 photographs the cells accommodated in the culture container and outputs a photographed image.
  • a phase contrast microscope apparatus including an image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor is used.
  • an image sensor provided with RGB (Red Green Blue) color filters may be used, or a monochrome image sensor may be used.
  • a phase difference image of the cells stored in the culture vessel is formed on the image sensor, and a phase difference image is output as a captured image from the image sensor.
  • the microscope apparatus 10 is not limited to the phase contrast microscope apparatus, and other microscope apparatuses such as a differential interference microscope apparatus and a bright field microscope apparatus may be used.
  • the imaging target may be a cell colony in which a plurality of cells are aggregated or a plurality of cells distributed and distributed.
  • the cells to be imaged include, for example, pluripotent stem cells such as iPS cells and ES cells, nerve, skin, myocardium and liver cells derived from stem cells, and organ cells and cancer cells extracted from the human body. and so on.
  • a well plate having a plurality of wells is used as the culture container.
  • each well corresponds to a container of the present invention.
  • the microscope apparatus 10 includes a stage on which a well plate is installed. The stage moves in the X direction and the Y direction orthogonal to each other in the horizontal plane. By this movement of the stage, each observation region in each well of the well plate is scanned, and a photographed image for each observation region is photographed. The captured image for each observation area is output to the cell image evaluation apparatus 20.
  • FIG. 2 is a diagram showing the scanning trajectory of each observation region with a solid line Sc when a well plate 50 having six wells 51 is used. As shown in FIG. 2, each observation region in the well plate 50 is scanned along the solid line Sc from the scanning start point S to the scanning end point E by the movement of the stage in the X direction and the Y direction.
  • the captured image for each observation region in the well is captured by moving the stage.
  • the present invention is not limited to this. You may make it image
  • the well plate is used.
  • the container for storing cells is not limited to this, and other containers such as a petri dish or a dish may be used.
  • the cell image evaluation apparatus 20 includes an area determination unit 21, an image evaluation unit 22, and a display control unit 23.
  • the cell image evaluation apparatus 20 is composed of a computer including a central processing unit, a semiconductor memory, a hard disk, and the like, and one embodiment of the cell image evaluation program of the present invention is installed on the hard disk. Then, the cell image evaluation program is executed by the central processing unit, so that the area determination unit 21, the image evaluation unit 22, and the display control unit 23 shown in FIG. 1 function. In the present embodiment, the function of each unit is executed by the cell image evaluation program.
  • the present invention is not limited to this. For example, a plurality of ICs (Integrated Circuits), processors, ASICs (Application Specific Integrated Circuits), and FPGAs.
  • each unit may be executed by appropriately combining (Field-Programmable Gate Array) and a memory.
  • the cell image evaluation program may be stored in a non-transitory computer-readable recording medium and read by a computer constituting the cell image evaluation apparatus 20.
  • the cell image evaluation program may be distributed via a network.
  • the region discriminating unit 21 discriminates whether the photographed image for each observation region photographed by the microscope apparatus 10 is an image obtained by photographing a meniscus region in a well or a non-meniscus region.
  • FIG. 3 is a side sectional view and a top view of the well 51.
  • FIG. 4 is a diagram illustrating an example of a captured image of each observation region in the well. In FIG. 4, each area A divided by rectangular areas corresponds to each observation area.
  • a liquid such as a culture solution is accommodated together with the cells, and a meniscus M is formed on the surface of the liquid as shown in FIG.
  • an image obtained by photographing the non-meniscus region R1 is an image having a high contrast
  • an image obtained by photographing the meniscus region R2 is an image having a low contrast. Therefore, the image of the meniscus region R2 cannot be extracted with high accuracy because the image of the individual cell cannot be extracted with high accuracy.
  • the evaluation is performed using the feature amount indicating the state of the individual cell, the evaluation result The accuracy may be low and the reliability may be low.
  • an image of a non-meniscus region and an image of a meniscus region are evaluated by the same evaluation method, an accurate evaluation result may not be obtained.
  • the influence of the meniscus region increases as the container becomes smaller. For example, in the case of a 6-well well plate, a range with a radius of 60% or more from the center of each well becomes a meniscus region, and in the case of a 24-well well plate, a range with a radius of 25% or more from the center of the well becomes a meniscus region.
  • the region determination unit 21 determines whether the captured image for each observation region is an image of a meniscus region or an image of a non-meniscus region, and based on the determination result. Change the evaluation method.
  • the area determination unit 21 calculates the feature amount of the captured image for each observation region, and based on the feature amount, whether the captured image is a meniscus region image or a non-meniscus region image. Is determined.
  • the feature amount of the photographed image for example, the contrast and brightness of the photographed image can be used.
  • the photographed image having the contrast equal to or higher than the threshold value is discriminated as a non-meniscus region image, and the photographed image having the contrast less than the threshold value is discriminated from the meniscus region image. .
  • a captured image having a luminance less than a threshold is determined as an image of a non-meniscus region, and a captured image having a luminance equal to or higher than the threshold is determined as an image of a meniscus region. That's fine.
  • the luminance here may be an average value of the luminance of the captured image, or a maximum value or a median value may be used.
  • the image evaluation unit 22 acquires a captured image for each observation region and evaluates the state of cells included in the captured image.
  • Evaluation of the state of a cell means, for example, evaluating whether a cell included in a photographed image is an undifferentiated cell or a differentiated cell, counting the number of cells for each type of cell during co-culture, and photographing. It means evaluating the ratio of undifferentiated cells and differentiated cells contained in an image, evaluating the growth degree of cells or cell colonies, or evaluating the reduction rate of cancer cells by an anticancer agent.
  • the evaluation of the cell state is not limited to these, and other evaluations may be used.
  • the image evaluation unit 22 evaluates the state of the cell using different evaluation methods for the meniscus region image and the non-meniscus region image. Specifically, the image evaluation unit 22 evaluates a non-meniscus region image using a feature amount indicating the state of a cell included in the captured image, and uses an image feature amount for the meniscus region image. To evaluate.
  • the feature amount indicating the state of the cell and the image feature amount will be described later.
  • the image evaluation unit 22 of the present embodiment integrates the evaluation result of the meniscus region image and the evaluation result of the non-meniscus region image in the well, and calculates the evaluation result for the well. That is, the evaluation result in units of wells is calculated.
  • the results can be managed in units of wells at the time of passage or cell shipment.
  • the proportion of differentiated cells and undifferentiated cells in each well unit are calculated. You may make it calculate
  • an average value of the growth degree of each observation region may be obtained as the growth degree in units of wells.
  • a ratio of the number of observation areas having a growth degree equal to or greater than a threshold value among all the observation areas in the well may be calculated, and the ratio may be obtained as the growth degree in units of wells.
  • the evaluation result for each well may be “good”, and when the ratio is less than the threshold value, the evaluation result for each well may be “bad”.
  • the evaluation result of the observation region whose growth degree is equal to or greater than the threshold is “good”, the evaluation result of the observation region whose growth is less than the threshold is “bad”, and the evaluation result included in the well is “good”.
  • the evaluation result for each well may be “good”, and when the number is less than the threshold value, the evaluation result for each well may be “bad”.
  • the display control unit 23 causes the display device 30 to display the evaluation result by the image evaluation unit 22. Specifically, in the present embodiment, as described above, the evaluation result in units of wells is calculated in the image evaluation unit 22, so that the display control unit 23 displays the evaluation results in units of wells on the display device 30. Display.
  • FIG. 5 is an example in which when a 6-well plate is used, the ratio of differentiated cells and the ratio of undifferentiated cells per well are calculated and displayed as integrated evaluation results.
  • the upper left well has 80% differentiated cells and 20% undifferentiated cells. In the upper center well, there are 70% differentiated cells and 30% undifferentiated cells. In the upper right well, there are 60% differentiated cells and 40% undifferentiated cells. In the lower left well, there are 60% differentiated cells and 40% undifferentiated cells. In the lower center well, there are 30% differentiated cells and 70% undifferentiated cells. In the lower right well, there are 40% differentiated cells and 60% undifferentiated cells.
  • the display control unit 23 generates a composite image by connecting the captured images for each observation region, and displays the composite image on the display device 30.
  • the display device 30 displays the evaluation result by the image evaluation unit 22 and the composite image generated by the display control unit 23 as described above, and includes, for example, a liquid crystal display. Further, the display device 30 may be configured by a touch panel and may also be used as the input device 40.
  • the input device 40 includes a mouse and a keyboard, and accepts various setting inputs by the user.
  • the feature quantity indicating the state of the cell includes the feature quantity of each cell state, the feature quantity of the nucleolus contained in the cell, the feature quantity of the white streak, the feature quantity of the nucleus contained in the cell, and the NC of the cell. At least one of the ratios can be used.
  • the feature quantity of each cell state includes, for example, the number of cells, the cell density, the cell increase rate, and the cell circularity.
  • the individual cells included in the photographed image are recognized and the recognized cells. Other feature amounts may be used as long as the feature amount is calculated based on the above.
  • a method for recognizing a cell included in a photographed image for example, a method of detecting an edge of a cell image, detecting using a pattern matching process, or detecting using a discriminator generated by machine learning.
  • other known techniques can be used.
  • undifferentiated cells have a relatively high circularity, but differentiated cells have, for example, an elongated shape and a relatively low circularity.
  • the circularity of each cell it can be evaluated whether it is a differentiated cell or an undifferentiated cell.
  • a pluripotent stem cell when a cell differentiates, the chromatin structure in a nucleus changes and it becomes blackish, Therefore Differentiation or undifferentiation can be evaluated by evaluating the brightness
  • the method for evaluating whether it is a differentiated cell or an undifferentiated cell is not limited to this, and other known methods can be used.
  • the feature amount of the nucleus or nucleolus contained in the cell includes, for example, the number of nuclei or nucleolus, the density of the nucleus or nucleolus, and the rate of increase of the nucleus or nucleolus. Any other feature amount may be used as long as it is a feature amount calculated based on the recognized nucleus or nucleolus.
  • edge detection, detection by pattern matching, detection using a discriminator, and the like can be used as in the cell recognition method.
  • white stripes are halos of light caused by diffracted light generated between cells and the background.
  • the white streak features include, for example, the total white streak area, white streak density, and white streak distribution state.
  • the white streak is recognized based on the recognized white streak.
  • Other feature amounts may be used as long as the feature amounts are calculated in this manner.
  • a method for recognizing white stripes for example, a photographed image may be binarized and white stripes may be extracted by threshold processing.
  • it may be detected using pattern matching, or may be detected using a discriminator generated by machine learning, or other known methods may be used.
  • the characteristic amount of white streaks for example, white streaks are small when there are many undifferentiated cells in a cell colony, but the amount of white streaks increases as differentiated and differentiated cells increase. Therefore, the degree of differentiation or undifferentiation of cell colonies, the degree of growth of cell colonies, or the like can be evaluated based on the feature amount of white stripes.
  • the NC ratio of the cell is the nucleus / cytoplasm area ratio.
  • the NC ratio can be determined by using cytoplasmic and nuclear detectors.
  • the cytoplasm generally has a gray and flat appearance, whereas the nucleus is relatively round and contains a structure such as a nucleolus inside. Therefore, a cytoplasm region and a nucleus region can be obtained by creating each detector by machine learning and applying it to a captured image.
  • the NC ratio can be calculated by calculating the ratio of the area between the cytoplasmic region and the nuclear region thus obtained.
  • the NC ratio may be calculated for each cell colony, or the NC ratio in a region designated in advance may be calculated.
  • the image feature amount used when evaluating the image of the meniscus area is a feature amount of the captured image itself, and specifically, the average brightness of the captured image, the variance of the brightness of the captured image, The difference between the maximum value and the minimum value of brightness, the contrast of the captured image, the entropy of the captured image, the spatial frequency distribution of the captured image, the directionality of the captured image, the Zernike characteristics of the captured image, and the like can be used.
  • the image feature amount is used because the image of the meniscus region has a low contrast as described above, so that the detection accuracy of an image of an individual cell or an image of a nucleolus is low. Become. Therefore, the evaluation accuracy is improved when the evaluation is performed using the image feature amount of the captured image itself, rather than the evaluation using the feature amount indicating the state of each cell as in the non-meniscus region image. .
  • a relationship between the image feature amount and an evaluation result corresponding to the image feature amount is obtained in advance by experiments or the like.
  • An evaluation result may be obtained based on the image feature amount of the photographed image and the above relationship. Further, by learning the relationship between the image feature quantity and the evaluation result corresponding to the image feature quantity using, for example, machine learning, an evaluator is generated, and the image feature quantity of the captured image is input to the evaluator. An evaluation result may be obtained.
  • a well plate containing cells and a culture solution is placed on the stage of the microscope apparatus 10 (S10). Then, as the stage moves in the X direction and the Y direction, the observation area in each well of the well plate is scanned, and a photographed image of each observation area is photographed (S12).
  • the area determination unit 21 determines whether the input captured image of the observation area is an image of a meniscus area or an image of a non-meniscus area (S14).
  • the image evaluation unit 22 evaluates the captured image using the meniscus area image evaluation method (S16). Specifically, an image feature amount is calculated for the photographed image, and the state of cells included in the photographed image is evaluated using the image feature amount.
  • the image evaluation unit 22 evaluates the captured image using an image evaluation method for the non-meniscus region. (S18). Specifically, a feature amount indicating a cell state is calculated for the captured image, and the state of the cell included in the captured image is evaluated using the feature amount.
  • the image evaluation unit 22 integrates the evaluation results of the captured images of each observation region in units of wells and acquires the evaluation results in units of wells. (S22).
  • the display control unit 23 generates a composite image using the captured image of each observation image, displays the composite image on the display device 30, and displays the integrated evaluation result in units of wells on the display device 30 (S24). ).
  • the captured image for each observation region is an image of a meniscus region in a container or an image of a non-meniscus region, and is included in the captured image. Since the evaluation of the state of the cells to be evaluated is performed by different evaluation methods for the meniscus region image and the non-meniscus region image, the image of the meniscus region is an image with low contrast due to the influence of the meniscus. Even if it evaluates by the evaluation method suitable for the image, more accurate and reliable evaluation can be performed.
  • the image evaluation unit 22 integrates the evaluation result of the image of the meniscus region in the well and the evaluation result of the image of the non-meniscus region so as to calculate the evaluation result for each well.
  • weights may be added to the evaluation result of the meniscus region image and the evaluation result of the non-meniscus region image.
  • the weighting is preferably set such that the weight added to the evaluation result of the non-meniscus region image is larger than the weight added to the evaluation result of the meniscus region image. This is because the image of the non-meniscus region is less affected by the meniscus and has a higher contrast, and thus the accuracy of the evaluation result is considered to be higher.
  • a weight smaller than 0.5 is added to the growth degree of the observation region of the meniscus region, What is necessary is just to add weighting of 0.5 or more to the growth degree of the observation area of the non-meniscus area.
  • the growth rate of the observation region of the meniscus region is set to 0.
  • a weight less than 5 is added to evaluate “good” or “bad”
  • a weight of 0.5 or more is added to the degree of growth of the observation region of the non-meniscus region to give “good” or “bad”. You may make it evaluate.
  • the evaluation result in the well unit is set to “good”, and when the number is less than the threshold value, the well unit. The evaluation result may be “bad”.
  • the present invention is not limited to this, and it may be determined whether the image is a meniscus region image or a non-meniscus region image based on preset position information in the well.
  • the range of the meniscus formed in the well is known in advance according to the size of the well. Therefore, whether the captured image is a meniscus region image or a non-meniscus region image is determined depending on whether or not the position in the well of the observation region where the captured image is captured corresponds to the periphery of the well. You may make it do.
  • the captured image is a meniscus region image, and is determined to be a meniscus region image, and When the position of the observation region in the well corresponds to the peripheral portion of the well, it may be determined that the image is a meniscus region image.
  • a table in which position information of the observation region in the well is associated with region specifying information indicating whether it is a meniscus region or a non-meniscus region may be set in advance. Then, when a captured image of an arbitrary observation region in the well is captured, the region specifying information associated with the position information of the observation region is acquired with reference to the table, and the region specifying information and the captured image are acquired. Can be stored in association with each other. Then, when the area determination unit 21 performs the determination, the area specifying information associated with the captured image may be referred to.
  • the position information of the observation area in the well for example, the relationship between the position information of the stage and the position information of the observation area in the well is set in advance, and the position information of the observation area is determined based on the position information of the stage. Should be obtained. Alternatively, an image of the entire well plate is taken, the position of the well in the image is calculated by edge detection or the like, and the position information of the observation region in the well is acquired based on the position information of the well Good.
  • the range of the meniscus formed in the well varies depending on the number of wells in the well plate. Moreover, when using not only a well plate but another culture container, the range of a meniscus changes with kinds of culture container.
  • a table in which the position information of the observation region in the culture vessel and the region specifying information are associated may be set for each type of culture vessel. Then, for example, the user may set and input information on the type of the culture vessel using the input device 40, and a table corresponding to the type may be used. Further, regarding the information on the type of the culture container, the user may set and input identification information such as a barcode to the culture container, and read and acquire the identification information instead of setting and inputting the information.
  • the culture is performed based on a feature amount such as contrast of the photographed image. It is also possible to discriminate the “waving” region of the liquid and evaluate this wavy region using the same evaluation method as the meniscus region.
  • the “waving” of the culture solution is formed on the surface of the culture solution, and can also occur when the position in the well is in a range other than the periphery of the well, separately from the meniscus. Since the optical phenomenon is the same as that of the meniscus region, a more appropriate evaluation result can be obtained by evaluating with the same evaluation method as that of the meniscus region.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Food Science & Technology (AREA)
  • Pathology (AREA)
  • Medicinal Chemistry (AREA)
  • Cell Biology (AREA)
  • Sustainable Development (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Abstract

容器内の各観察領域の撮影画像が、メニスカスの影響を受けてコントラストが低い画像であったとしても、より正確かつ、信頼性の高い評価を行うことができる細胞画像評価装置および方法並びにプログラムを提供する。細胞が収容された容器内を撮影した撮影画像が、容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別する領域判別部（２１）と、撮影画像に含まれる細胞の状態を評価する画像評価部（２２）とを備え、画像評価部（２２）が、メニスカス領域の画像と非メニスカス領域の画像とで異なる評価方法で評価する。

Description

細胞画像評価装置および方法並びにプログラム
　本発明は、細胞を撮影した撮影画像を用いて、撮影画像に含まれる細胞の状態を評価する細胞画像評価装置および方法並びにプログラムに関する。
　ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備え、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
　そして、ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを評価する方法が提案されている。
　一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、たとえばウェルプレートなどが設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査し、観察領域毎の画像を撮影した後、その観察領域毎の画像を繋ぎ合わせる方法が提案されている。
特開２０１６－１２７３４２号公報 特開２０１３－５７５９５号公報
　ここで、上述したウェルプレートなどを用いて細胞を培養する際、ウェル内には細胞とともに、培養液などの液体が収容されるが、その液体の表面にはメニスカスが形成されることが知られている。
　そして、特に、位相差顕微鏡装置を用いて細胞の画像を撮影する場合には、撮影画像に対するメニスカスの影響が大きく、メニスカスが形成されていない非メニスカス領域の撮影画像と比較するとコントラストが低い画像となってしまう。
　したがって、メニスカス領域を撮影した撮影画像については、個々の細胞の画像を高精度に抽出することができないため、たとえば個々の細胞の状態を示す特徴量を用いて評価を行うようにしたのでは、評価結果の精度が低くなり、信頼性も低い評価結果となる場合がある。すなわち、非メニスカス領域の画像とメニスカス領域の画像とを同じように評価したのでは正確な評価結果を得ることができない場合がある。
　なお、特許文献１では、メニスカスを考慮してオートフォーカス制御を行うことが提案されており、特許文献２では、ウェルの側面の影の影響を考慮して濃度補正を施すことが提案されているが、メニスカス領域のコントラストが低い画像の評価方法については、何も提案されていない。
　本発明は、上記の問題に鑑み、容器内の各観察領域の撮影画像が、メニスカスの影響を受けてコントラストが低い画像であったとしても、より正確かつ、信頼性の高い評価を行うことができる細胞画像評価装置および方法並びにプログラムを提供することを目的とする。
　本発明の一態様による細胞画像評価装置は、細胞が収容された容器内を撮影した撮影画像が、容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別する領域判別部と、撮影画像に含まれる細胞の状態を評価する画像評価部とを備え、画像評価部が、メニスカス領域の画像と非メニスカス領域の画像とで異なる評価方法で評価する。
　また、上記本発明の一態様による細胞画像評価装置において、領域判別部は、撮影画像の特徴量に基づいて、メニスカス領域の画像であるか非メニスカス領域の画像であるかを判別してもよい。
　また、上記本発明の一態様による細胞画像評価装置において、領域判別部は、予め設定された容器内における位置情報に基づいて、メニスカス領域の画像であるか非メニスカス領域の画像であるかを判別してもよい。
　また、上記本発明の一態様による細胞画像評価装置において、領域判別部は、撮影画像の特徴量および予め設定された容器内における位置情報に基づいて、メニスカス領域の画像であるか非メニスカス領域の画像であるかを判別してもよい。
　また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、非メニスカス領域の画像については、撮影画像に含まれる細胞の状態を示す特徴量を用いて評価し、メニスカス領域の画像については、画像特徴量を用いて評価してもよい。
　また、上記本発明の一態様による細胞画像評価装置において、細胞の状態を示す特徴量は、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比（Nucleocytoplasmic ratio）の少なくとも１つを含んでもよい。
　また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、容器内のメニスカス領域の画像の評価結果と非メニスカス領域の画像の評価結果とを統合して容器に対する評価結果を算出してもよい。
　また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、容器に対する評価結果を算出する際、メニスカス領域の画像の評価結果と非メニスカス領域の画像の評価結果とに重み付けを付加してもよい。
　また、上記本発明の一態様による細胞画像評価装置において、非メニスカス領域の画像の評価結果に付加される重み付けは、メニスカス領域画像の評価結果に付加される重み付けよりも大きくすることが好ましい。
　また、上記本発明の一態様による細胞画像評価装置において、撮影画像は、容器が設置されるステージおよび容器内の細胞の像を結像する結像光学系の少なくとも一方を移動させることによって、容器内の各観察領域を撮影した画像とし、領域判別部は、観察領域毎の撮影画像について、メニスカス領域の画像であるか非メニスカス領域の画像であるかを判別してもよい。
　また、上記本発明の一態様による細胞画像評価装置において、領域判別部は、撮影画像が、容器内の液体の波打ち領域を撮影した画像であるか否かを判別することができ、画像評価部は、波打ち領域を撮影した画像を、メニスカス領域の画像を評価する評価方法と同じ評価方法で評価してもよい。
　本発明の一態様による細胞画像評価方法は、細胞が収容された容器内を撮影した撮影画像が、容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別し、撮影画像に含まれる細胞の状態を評価する際、メニスカス領域の画像と非メニスカス領域の画像とで異なる評価方法で評価する。
　本発明の一態様による細胞画像評価プログラムは、コンピュータを、細胞が収容された容器内を撮影した撮影画像が、容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別する領域判別部と、撮影画像に含まれる細胞の状態を評価する画像評価部として機能させる細胞画像評価プログラムであって、画像評価部が、メニスカス領域の画像と非メニスカス領域の画像とで異なる評価方法で評価する。
　本発明の細胞画像評価装置および方法並びにプログラムによれば、細胞が収容された容器内を撮影した撮影画像が、容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別し、撮影画像に含まれる細胞の状態を評価する際、メニスカス領域の画像と非メニスカス領域の画像とで異なる評価方法で評価する。これにより、メニスカス領域の画像が、メニスカスの影響を受けてコントラストが低い画像であったとしても、その画像に適した評価方法で評価することによって、より正確かつ、信頼性の高い評価を行うことができる。
本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価システムの概略構成を示すブロック図 ウェルプレートにおける各観察領域の走査軌跡を示す図 ウェルの側断面図および上面図を示す図 ウェル内の各観察領域の撮影画像の一例を示す図 ウェル単位で統合された評価結果の表示例を示す図 本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価システムの作用を説明するためのフローチャート
　以下、本発明の細胞画像評価装置および方法並びにプログラムの一実施形態を用いた細胞画像評価システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の細胞画像評価システムの概略構成を示すブロック図である。
　本実施形態の細胞画像評価システムは、図１に示すように、顕微鏡装置１０と、細胞画像評価装置２０と、表示装置３０と、入力装置４０とを備えている。
　顕微鏡装置１０は、培養容器内に収容された細胞を撮影し、撮影画像を出力する。本実施形態においては、具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から撮影画像として位相差画像が出力される。なお、顕微鏡装置１０としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置などのその他の顕微鏡装置を用いるようにしてもよい。
　撮影対象としては、複数の細胞が凝集した細胞コロニーでもよいし、分散して分布した複数の細胞でもよい。また、撮影対象の細胞としては、たとえばｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された臓器の細胞およびがん細胞などがある。
　また、本実施形態においては、培養容器として、複数のウェルを有するウェルプレートを用いる。なお、ウェルプレートを用いる場合、各ウェルが、本発明の容器に相当する。そして、顕微鏡装置１０は、ウェルプレートが設置されるステージを備えている。ステージは、水平面内において直交するＸ方向およびＹ方向に移動する。このステージの移動によって、ウェルプレートの各ウェル内における各観察領域が走査され、観察領域毎の撮影画像が撮影される。観察領域毎の撮影画像は細胞画像評価装置２０に出力される。
　図２は、６つのウェル５１を有するウェルプレート５０を用いた場合における各観察領域の走査軌跡を実線Ｓｃで示した図である。図２に示すように、ウェルプレート５０内の各観察領域は、ステージのＸ方向およびＹ方向の移動によって走査開始点Ｓから走査終了点Ｅまでの実線Ｓｃに沿って走査される。
　なお、本実施形態においては、ステージを移動させることによってウェル内の観察領域毎の撮影画像を撮影するようにしたが、これに限らず、細胞の位相差像を撮像素子に結像する結像光学系をステージに対して移動させることによって観察領域毎の撮影画像を撮影するようにしてもよい。または、ステージと結像光学系の両方を移動させるようにしてもよい。
　また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、たとえばシャーレまたはディッシュなどその他の容器を用いるようにしてもよい。
　細胞画像評価装置２０は、図１に示すように、領域判別部２１と、画像評価部２２と、表示制御部２３とを備えている。細胞画像評価装置２０は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成され、ハードディスクに本発明の細胞画像評価プログラムの一実施形態がインストールされている。そして、この細胞画像評価プログラムが中央処理装置によって実行されることによって、図１に示す領域判別部２１、画像評価部２２および表示制御部２３が機能する。なお、本実施形態においては、細胞画像評価プログラムによって、各部の機能を実行するようにしたが、これに限らず、たとえば複数のＩＣ（Integrated Circuit）、プロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、およびメモリなどを適宜組み合わせることによって各部の機能を実行するようにしてもよい。なお、細胞画像評価プログラムは、非一時的なコンピュータ読取り可能な記録媒体に格納され、細胞画像評価装置２０を構成するコンピュータに読み取られても良い。また、細胞画像評価プログラムは、ネットワークを介して配信されても良い。
　領域判別部２１は、顕微鏡装置１０によって撮影された観察領域毎の撮影画像が、ウェル内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別するものである。図３は、ウェル５１の側断面図および上面図を示した図である。また、図４は、ウェル内の各観察領域の撮影画像の一例を示す図である。図４において矩形領域で分割された各領域Ａが、各観察領域に相当する。
　ウェル５１内には、細胞とともに、培養液などの液体が収容されるが、その液体の表面には、図３に示すようにメニスカスＭが形成される。そして、図３および図４に示すように、非メニスカス領域Ｒ１を撮影した画像はコントラストが高い画像となるが、メニスカス領域Ｒ２を撮影した画像はコントラストが低い画像となる。したがって、メニスカス領域Ｒ２の画像については、個々の細胞の画像を高精度に抽出することができないため、たとえば個々の細胞の状態を示す特徴量を用いて評価を行うようにしたのでは、評価結果の精度が低くなり、信頼性も低い評価結果となる場合がある。すなわち、非メニスカス領域の画像とメニスカス領域の画像とを同じ評価方法で評価したのでは正確な評価結果を得ることができない場合がある。なお、メニスカス領域の影響は、容器が小さいほど大きくなる。たとえば、６ウェルのウェルプレートの場合、各ウェルの中心から半径６０％以上の範囲がメニスカス領域となり、２４ウェルのウェルプレートの場合、ウェルの中心から半径２５％以上の範囲がメニスカス領域となる。
　そこで、本実施形態の細胞画像評価システムにおいては、領域判別部２１において、観察領域毎の撮影画像が、メニスカス領域の画像であるか非メニスカス領域の画像であるかを判別し、その判別結果によって、評価方法を変えるようにする。
　領域判別部２１は、具体的には、観察領域毎の撮影画像の特徴量を算出し、その特徴量に基づいて、撮影画像が、メニスカス領域の画像であるか非メニスカス領域の画像であるかを判別する。撮影画像の特徴量としては、たとえば撮影画像のコントラストおよび輝度などを用いることができる。撮影画像のコントラストを用いて判別する場合には、コントラストが閾値以上である撮影画像を非メニスカス領域の画像と判別し、閾値未満である撮影画像をメニスカス領域の画像と判別するようにすればよい。また、撮影画像の輝度を用いて判別する場合には、輝度が閾値未満である撮影画像を非メニスカス領域の画像と判別し、閾値以上である撮影画像をメニスカス領域の画像と判別するようにすればよい。なお、ここでいう輝度とは、撮影画像の輝度の平均値でもよいし、最大値または中央値などを用いてもよい。
　画像評価部２２は、観察領域毎の撮影画像を取得し、その撮影画像に含まれる細胞の状態を評価する。細胞の状態を評価するとは、たとえば撮影画像に含まれる細胞が未分化細胞であるのか分化細胞であるのかを評価したり、共培養の際の細胞の種類ごとの細胞数をカウントしたり、撮影画像に含まれる未分化細胞と分化細胞の割合を評価したり、細胞または細胞コロニーの成長度を評価したり、または抗がん剤によるがん細胞の縮小率を評価したりすることをいう。ただし、細胞の状態の評価としては、これらに限らず、その他の評価でもよい。
　そして、画像評価部２２は、メニスカス領域の画像と非メニスカス領域の画像とで異なる評価方法で細胞の状態を評価する。具体的には、画像評価部２２は、非メニスカス領域の画像については、その撮影画像に含まれる細胞の状態を示す特徴量を用いて評価し、メニスカス領域の画像については、画像特徴量を用いて評価する。細胞の状態を示す特徴量および画像特徴量については、後述する。
　また、本実施形態の画像評価部２２は、ウェル内のメニスカス領域の画像の評価結果と非メニスカス領域の画像の評価結果とを統合して、そのウェルに対する評価結果を算出する。すなわちウェル単位での評価結果を算出する。このようにウェル単位（容器単位）での評価結果を算出することによって、継代または細胞の出荷の際などにおいてウェル単位で管理することができる。
　具体的には、たとえばウェル内の各観察領域の撮影画像に含まれる分化細胞の割合と未分化細胞の割合の平均値をそれぞれ算出することによって、ウェル単位での分化細胞の割合と未分化細胞の割合を求めるようにしてもよい。
　または、ウェル内の各観察領域の撮影画像について細胞または細胞コロニーの成長度を評価する場合には、その各観察領域の成長度の平均値をウェル単位の成長度として求めるようにしてもよい。また、ウェル内の全観察領域のうち、成長度が閾値以上である観察領域の数の割合を算出し、その割合をウェル単位の成長度として求めるようにしてもよい。もしくは、上記割合が閾値以上である場合には、ウェル単位での評価結果を「良い」とし、閾値未満である場合には、ウェル単位での評価結果を「悪い」としてもよい。または、成長度が閾値以上である観察領域の評価結果を「良い」とし、閾値未満である観察領域の評価結果を「悪い」とし、ウェル内に含まれる評価結果が「良い」の観察領域の数が、閾値以上である場合にウェル単位での評価結果を「良い」とし、閾値未満である場合にウェル単位での評価結果を「悪い」としてもよい。
　表示制御部２３は、画像評価部２２による評価結果を表示装置３０に表示させる。具体的には、本実施形態においては、上述したように画像評価部２２においてウェル単位での評価結果が算出されるので、表示制御部２３は、そのウェル単位での評価結果を表示装置３０に表示させる。図５は、６ウェルのウェルプレートを用いた場合に、ウェル単位での分化細胞の割合と未分化細胞の割合とを算出し、統合された評価結果として表示した例である。図５の例において、上段左のウェルには、分化細胞が８０％存在し、未分化細胞が２０％存在する。上段中央のウェルには、分化細胞が７０％存在し、未分化細胞が３０％存在する。上段右のウェルには、分化細胞が６０％存在し、未分化細胞が４０％存在する。下段左のウェルには、分化細胞が６０％存在し、未分化細胞が４０％存在する。下段中央のウェルには、分化細胞が３０％存在し、未分化細胞が７０％存在する。下段右のウェルには、分化細胞が４０％存在し、未分化細胞が６０％存在する。
　また、表示制御部２３は、観察領域毎の撮影画像を繋ぎ合わせることによって合成画像を生成し、その合成画像を表示装置３０に表示させる。
　表示装置３０は、上述したように画像評価部２２による評価結果および表示制御部２３によって生成された合成画像を表示し、たとえば液晶ディスプレイなどを備える。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用するようにしてもよい。
　入力装置４０は、マウスやキーボードなどを備え、ユーザによる種々の設定入力を受け付ける。
　次に、細胞の状態を示す特徴量および画像特徴量について説明する。細胞の状態を示す特徴量としては、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比の少なくとも１つを用いることができる。
　個々の細胞の状態の特徴量としては、たとえば細胞の数、細胞の密度、細胞の増加率および細胞の円形度などがあるが、撮影画像に含まれる個々の細胞を認識し、その認識した細胞に基づいて算出される特徴量であればその他の特徴量でもよい。撮影画像に含まれる細胞の認識方法としては、たとえば細胞の画像のエッジを検出したり、パターンマッチン処理を用いて検出したり、機械学習によって生成された判別器を用いて検出したりする方法があるが、その他の公知な手法を用いることができる。なお、細胞の円形度については、未分化細胞は円形度が相対的に高くなるが、分化細胞は、たとえば細長い形状となり、円形度が相対的に低くなる。したがって、個々の細胞の円形度を算出することによって分化細胞であるか、または未分化細胞であるかを評価することができる。また、多能性幹細胞において、細胞が分化すると核内のクロマチン構造が変化し黒っぽくなるため、核を検出した後に核の輝度を評価することによって分化または未分化を評価することができる。ただし、分化細胞か未分化細胞かを評価する方法としては、これに限らず、その他の公知な手法を用いることができる。
　また、細胞内に含まれる核または核小体の特徴量としては、たとえば核または核小体の数、核または核小体の密度および核または核小体の増加率などがあるが、撮影画像に含まれる核または核小体を認識し、その認識した核または核小体に基づいて算出される特徴量であればその他の特徴量でもよい。撮影画像に含まれる核または核小体の認識方法としては、細胞の認識方法と同様に、エッジ検出、パターンマッチングによる検出および判別器を用いた検出などを用いることができる。
　また、白すじとは、細胞と背景間に発生する回折光による光のにじみ（ハロ）のことである。そして、白すじの特徴量としては、たとえば白すじの総面積、白すじの密度および白すじの分布状態などがあるが、撮影画像に含まれる白すじを認識し、その認識した白すじに基づいて算出される特徴量であればその他の特徴量でもよい。白すじの認識方法としては、たとえば撮影画像を２値化し、閾値処理によって白すじを抽出するようにしてもよい。または、白すじの認識方法として、パターンマッチン処理を用いて検出したり、機械学習によって生成された判別器を用いて検出したりしてもよいし、その他の公知な手法を用いてもよい。なお、白すじの特徴量については、たとえば細胞コロニー内に未分化細胞が多い状態では白すじは少ないが、分化が進み分化細胞が多くなると白すじの量が多くなる。したがって、白すじの特徴量に基づいて、細胞コロニーの分化度または未分化度、もしくは細胞コロニーの成長度などを評価することができる。
　また、細胞のＮＣ比とは、核／細胞質面積比である。ＮＣ比については、細胞質と核のそれぞれの検出器を使用することで求めることができる。細胞質は、一般的にグレーかつフラットな見た目を有し、これに対し、核は比較的丸くかつ内部に核小体等の構造を含む。したがって、それぞれの検出器を機械学習により作成し、撮影画像に適用することによって細胞質領域と核領域とが得られる。このようにして得られた細胞質領域と核領域の面積の比を算出することによって、ＮＣ比を算出することができる。ＮＣ比は、細胞コロニー単位で算出してもよいし、予め指定された領域内でのＮＣ比を算出するようにしてもよい。
　一方、メニスカス領域の画像を評価する際に用いられる画像特徴量とは、撮像画像自体の特徴量であって、具体的には、撮影画像の平均輝度、撮影画像の輝度の分散、撮影画像の輝度の最大値と最小値の差、撮影画像のコントラスト、撮影画像のエントロピー、撮影画像の空間周波数分布、撮影画像の方向性および撮影画像のゼルニケ特徴などを用いることができる。メニスカス領域の画像を評価する際に、画像特徴量を用いるのは、メニスカス領域の画像は、上述したようにコントラストが低いため、個々の細胞の画像または核小体の画像などの検出精度が低くなる。したがって、非メニスカス領域の画像のように個々の細胞の状態を示す特徴量を用いて評価するよりも、撮影画像自体の画像特徴量を用いて評価した方が、評価精度が向上するからである。
　このような画像特徴量を用いて撮影画像に含まれる細胞の状態を評価する方法としては、たとえば画像特徴量とその画像特徴量に対応する評価結果との関係を予め実験などによって求めておき、撮影画像の画像特徴量と上記関係とに基づいて、評価結果を得るようにすればよい。また、画像特徴量とその画像特徴量に対応する評価結果との関係を、たとえば機械学習を用いて学習させて評価器を生成し、撮影画像の画像特徴量をその評価器に入力することによって評価結果を得るようにしてもよい。
　次に、本実施形態の細胞画像評価システムの作用について、図６に示すフローチャートを参照しながら説明する。
　まず、細胞および培養液が収容されたウェルプレートが顕微鏡装置１０のステージ上に設置される（Ｓ１０）。そして、ステージがＸ方向およびＹ方向に移動することによって、ウェルプレートの各ウェル内の観察領域が走査され、各観察領域の撮影画像が撮影される（Ｓ１２）。
　そして、顕微鏡装置１０において撮影された観察領域毎の撮影画像は、細胞画像評価装置２０に順次出力され、領域判別部２１および表示制御部２３に順次入力される（Ｓ１２）。領域判別部２１は、入力された観察領域の撮影画像がメニスカス領域の画像であるか非メニスカス領域の画像であるかを判別する（Ｓ１４）。
　そして、領域判別部２１によって、撮影画像がメニスカス領域の画像であると判別された場合には、画像評価部２２は、その撮影画像について、メニスカス領域の画像の評価方法を用いて評価する（Ｓ１６）。具体的には、その撮影画像について画像特徴量を算出し、その画像特徴量を用いて撮影画像に含まれる細胞の状態を評価する。
　一方、領域判別部２１によって、撮影画像が非メニスカス領域の画像であると判別された場合には、画像評価部２２は、その撮影画像について、非メニスカス領域の画像の評価方法を用いて評価する（Ｓ１８）。具体的には、その撮影画像について、細胞の状態を示す特徴量を算出し、その特徴量を用いて撮影画像に含まれる細胞の状態を評価する。
　そして、全ての観察領域が走査され、全ての観察領域の撮影画像の評価が終了するまでＳ１２～Ｓ１８までの処理が繰り返される（Ｓ２０，ＮＯ）。
　全ての観察領域の撮影画像の評価が終了した場合には（Ｓ２０，ＹＥＳ）、画像評価部２２は、各観察領域の撮影画像の評価結果をウェル単位で統合し、ウェル単位の評価結果を取得する（Ｓ２２）。
　そして、表示制御部２３は、各観察画像の撮影画像を用いて合成画像を生成し、合成画像を表示装置３０に表示させ、かつウェル単位での統合評価結果を表示装置３０に表示させる（Ｓ２４）。
　上記実施形態の細胞画像評価システムによれば、観察領域毎の撮影画像が、容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別し、撮影画像に含まれる細胞の状態を評価する際、メニスカス領域の画像と非メニスカス領域の画像とで異なる評価方法で評価するようにしたので、メニスカス領域の画像が、メニスカスの影響を受けてコントラストが低い画像であったとしても、その画像に適した評価方法で評価することによって、より正確かつ、信頼性の高い評価を行うことができる。
　なお、上記実施形態においては、画像評価部２２において、ウェル内のメニスカス領域の画像の評価結果と非メニスカス領域の画像の評価結果とを統合して、ウェル単位での評価結果を算出するようにしたが、このように統合された評価結果を算出する際、メニスカス領域の画像の評価結果と非メニスカス領域の画像の評価結果とに重み付けを付加するようにしてもよい。重み付けとしては、非メニスカス領域の画像の評価結果に付加される重み付けが、メニスカス領域画像の評価結果に付加される重み付けよりも大きくなるように設定することが好ましい。これは、非メニスカス領域の画像の方がメニスカスの影響が少なく、コントラストが高い画像であるので、評価結果の精度が高いと考えられるからである。
　具体的には、たとえばウェル内の各観察領域の成長度の平均値をウェル単位の成長度として求める場合、メニスカス領域の観察領域の成長度に対して０．５よりも小さい重み付けを付加し、非メニスカス領域の観察領域の成長度に対して０．５以上の重み付けを付加するようにすればよい。
　または、成長度が閾値以上である観察領域の評価結果を「良い」とし、閾値未満である観察領域の評価結果を「悪い」とする場合、メニスカス領域の観察領域の成長度に対して０．５よりも小さい重み付けを付加して「良い」または「悪い」を評価し、非メニスカス領域の観察領域の成長度に対して０．５以上の重み付けを付加して「良い」または「悪い」を評価するようにしてもよい。そして、上述したようにウェル内に含まれる評価結果が「良い」の観察領域の数が、閾値以上である場合にウェル単位での評価結果を「良い」とし、閾値未満である場合にウェル単位での評価結果を「悪い」としてもよい。
　また、上記実施形態においては、撮影画像のコントラストなどの特徴量に基づいて、その撮影画像が、メニスカス領域の画像であるのか非メニスカス領域の画像であるのかを判別するようにしたが、判別方法としてはこれに限らず、予め設定されたウェル内における位置情報に基づいて、メニスカス領域の画像であるか非メニスカス領域の画像であるかを判別するようにしてもよい。
　上述したようにウェル内に形成されるメニスカスの範囲は、ウェルの大きさなどによって予め分かる。したがって、撮像画像が撮影された観察領域のウェル内における位置がウェルの周辺部に該当するか否かによって、その撮像画像が、メニスカス領域の画像であるのか非メニスカス領域の画像であるのかを判別するようにしてもよい。または、上記実施形態のように撮影画像のコントラストなどの特徴量に基づいて、その撮影画像が、メニスカス領域の画像であるのか否かを判別し、メニスカス領域の画像であると判別され、かつその観察領域のウェル内における位置がウェルの周辺部に該当する場合に、メニスカス領域の画像であると判別するようにしてもよい。
　具体的には、たとえばウェル内における観察領域の位置情報と、メニスカス領域であるか非メニスカス領域であるかを示す領域特定情報とを対応付けたテーブルなどを予め設定しておけばよい。そして、ウェル内における任意の観察領域の撮像画像を撮影した際に、上記テーブルを参照して、その観察領域の位置情報に対応付けられた領域特定情報を取得し、その領域特定情報と撮影画像とを紐づけして記憶するようにすればよい。そして、領域判別部２１によって判別を行う際には、撮影画像に紐づけされた領域特定情報を参照するようにすればよい。
　なお、ウェル内における観察領域の位置情報については、たとえばステージの位置情報とウェル内における観察領域の位置情報との関係を予め設定しておき、ステージの位置情報に基づいて、観察領域の位置情報を取得するようにすればよい。または、ウェルプレート全体の画像を撮影し、その画像内におけるウェルの位置をエッジ検出などによって算出し、そのウェルの位置情報に基づいて、ウェル内における観察領域の位置情報を取得するようにしてもよい。
　また、上述したように、ウェル内に形成されるメニスカスの範囲は、ウェルプレートのウェル数によって異なる。また、ウェルプレートだけでなく、その他の培養容器を用いる場合には、培養容器の種類によってメニスカスの範囲は異なる。
　したがって、培養容器内における観察領域の位置情報と領域特定情報とを対応付けたテーブルを培養容器の種類毎に設定するようにしてもよい。そして、たとえばユーザが入力装置４０を用いて培養容器の種類の情報を設定入力し、その種類に応じたテーブルを使用するようにしてもよい。また、培養容器の種類の情報については、ユーザが設定入力するのではなく、培養容器に対してバーコードなどの識別情報を付与し、その識別情報を読み出して取得するようにしてもよい。
　また、上述したようにウェル内における観察領域の位置情報に基づいて、メニスカス領域の画像であるのか非メニスカス領域の画像であるのかを判別し、さらに撮影画像のコントラストなどの特徴量に基づいて培養液の「波打ち」の領域を判別し、この波打ちの領域についても、メニスカス領域と同様の評価方法で評価するようにしてもよい。培養液の「波打ち」とは、培養液の表面に形成され、メニスカスとは別に、ウェル内における位置がウェルの周辺部以外の範囲である場合にも発生し得る。そして、光学的な現象としては、メニスカス領域と同様であるので、メニスカス領域と同様の評価方法で評価することによって、より適切な評価結果を得ることができる。
１０　 顕微鏡装置
２０　 細胞画像評価装置
２１　 領域判別部
２２　 画像評価部
２３　 表示制御部
３０　 表示装置
４０　 入力装置
５０　 ウェルプレート
５１　 ウェル
Ａ　　 領域（観察領域）
Ｅ　　 走査終了点
Ｍ　　 メニスカス
Ｓｃ　 走査軌跡を示す実線
Ｒ１　 非メニスカス領域
Ｒ２　 メニスカス領域
Ｓ　　 走査開始点

Claims (13)

  1. 　細胞が収容された容器内を撮影した撮影画像が、前記容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別する領域判別部と、
    　前記撮影画像に含まれる細胞の状態を評価する画像評価部とを備え、
    　前記画像評価部が、前記メニスカス領域の画像と前記非メニスカス領域の画像とで異なる評価方法で評価する細胞画像評価装置。
  2. 　前記領域判別部が、前記撮影画像の特徴量に基づいて、前記メニスカス領域の画像であるか前記非メニスカス領域の画像であるかを判別する請求項１記載の細胞画像評価装置。
  3. 　前記領域判別部が、予め設定された前記容器内における位置情報に基づいて、前記メニスカス領域の画像であるか前記非メニスカス領域の画像であるかを判別する請求項１記載の細胞画像評価装置。
  4. 　前記領域判別部が、前記撮影画像の特徴量および予め設定された前記容器内における位置情報に基づいて、前記メニスカス領域の画像であるか前記非メニスカス領域の画像であるかを判別する請求項１記載の細胞画像評価装置。
  5. 　前記画像評価部が、前記非メニスカス領域の画像については、前記撮影画像に含まれる細胞の状態を示す特徴量を用いて評価し、前記メニスカス領域の画像については、画像特徴量を用いて評価する請求項１から４いずれか１項記載の細胞画像評価装置。
  6. 　前記細胞の状態を示す特徴量が、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比（Nucleocytoplasmic ratio）の少なくとも１つを含む請求項５記載の細胞画像評価装置。
  7. 　前記画像評価部が、前記容器内の前記メニスカス領域の画像の評価結果と前記非メニスカス領域の画像の評価結果とを統合して前記容器に対する評価結果を算出する請求項１から６いずれか１項記載の細胞画像評価装置。
  8. 　前記画像評価部が、前記容器に対する評価結果を算出する際、前記メニスカス領域の画像の評価結果と前記非メニスカス領域の画像の評価結果とに重み付けを付加する請求項７記載の細胞画像評価装置。
  9. 　前記非メニスカス領域の画像の評価結果に付加される重み付けが、前記メニスカス領域画像の評価結果に付加される重み付けよりも大きい請求項８記載の細胞画像評価装置。
  10. 　前記撮影画像が、前記容器が設置されるステージおよび前記容器内の細胞の像を結像する結像光学系の少なくとも一方を移動させることによって、前記容器内の各観察領域を撮影した画像であり、
    　前記領域判別部が、前記観察領域毎の撮影画像について、前記メニスカス領域の画像であるか前記非メニスカス領域の画像であるかを判別する請求項１から９いずれか１項記載の細胞画像評価装置。
  11. 　前記領域判別部が、前記撮影画像が、前記容器内の液体の波打ち領域を撮影した画像であるか否かを判別し、
    　前記画像評価部が、前記波打ち領域を撮影した画像を、前記メニスカス領域の画像を評価する評価方法と同じ評価方法で評価する請求項１から１０いずれか１項記載の細胞画像評価装置。
  12. 　細胞が収容された容器内を撮影した撮影画像が、前記容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別し、
    　前記撮影画像に含まれる細胞の状態を評価する際、前記メニスカス領域の画像と前記非メニスカス領域の画像とで異なる評価方法で評価する細胞画像評価方法。
  13. 　コンピュータを、
    　細胞が収容された容器内を撮影した撮影画像が、前記容器内のメニスカス領域を撮影した画像であるか非メニスカス領域を撮影した画像であるかを判別する領域判別部と、
    　前記撮影画像に含まれる細胞の状態を評価する画像評価部として機能させる細胞画像評価プログラムであって、
    　前記画像評価部が、前記メニスカス領域の画像と前記非メニスカス領域の画像とで異なる評価方法で評価する細胞画像評価プログラム。
PCT/JP2018/011174 2017-03-30 2018-03-20 細胞画像評価装置および方法並びにプログラム WO2018180813A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020197023860A KR102293757B1 (ko) 2017-03-30 2018-03-20 세포 화상 평가 장치 및 방법과, 프로그램
JP2019509619A JP6873231B2 (ja) 2017-03-30 2018-03-20 細胞画像評価装置および方法並びにプログラム
EP18775331.4A EP3604495A4 (en) 2017-03-30 2018-03-20 DEVICE, METHOD AND PROGRAM FOR EVALUATING AN IMAGE OF CELLS
US16/544,369 US11030751B2 (en) 2017-03-30 2019-08-19 Cell image evaluation device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-067953 2017-03-30
JP2017067953 2017-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/544,369 Continuation US11030751B2 (en) 2017-03-30 2019-08-19 Cell image evaluation device, method, and program

Publications (1)

Publication Number Publication Date
WO2018180813A1 true WO2018180813A1 (ja) 2018-10-04

Family

ID=63675805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011174 WO2018180813A1 (ja) 2017-03-30 2018-03-20 細胞画像評価装置および方法並びにプログラム

Country Status (5)

Country Link
US (1) US11030751B2 (ja)
EP (1) EP3604495A4 (ja)
JP (1) JP6873231B2 (ja)
KR (1) KR102293757B1 (ja)
WO (1) WO2018180813A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188813A1 (ja) * 2019-03-20 2020-09-24 株式会社島津製作所 細胞解析装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4055586A1 (en) 2020-03-31 2022-09-14 Google LLC Variable refresh rate control using pwm-aligned frame periods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013057595A (ja) 2011-09-08 2013-03-28 Dainippon Screen Mfg Co Ltd 検出方法
WO2016052078A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 プラスチック製容器
WO2016104477A1 (ja) * 2014-12-26 2016-06-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラムおよび画像処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271537A (ja) 2009-05-21 2010-12-02 Olympus Corp 位相差顕微鏡
US9360414B2 (en) * 2011-10-14 2016-06-07 University of Pittsburgh—of the Commonwealth System of Higher Education Light refraction imaging to measure liquid volume
JP6389721B2 (ja) * 2014-09-30 2018-09-12 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置および撮像方法
JP6411294B2 (ja) * 2015-06-30 2018-10-24 富士フイルム株式会社 位相差顕微鏡および撮像方法
JP6215894B2 (ja) * 2015-10-22 2017-10-18 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法およびシェーディング基準データ作成方法
US10983325B2 (en) * 2016-12-12 2021-04-20 Molecular Devices, Llc Trans-illumination imaging with an array of light sources
EP3422288B1 (en) * 2017-06-26 2020-02-26 Tecan Trading Ag Imaging a well of a microplate

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013057595A (ja) 2011-09-08 2013-03-28 Dainippon Screen Mfg Co Ltd 検出方法
WO2016052078A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 プラスチック製容器
WO2016104477A1 (ja) * 2014-12-26 2016-06-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラムおよび画像処理装置
JP2016127342A (ja) 2014-12-26 2016-07-11 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラムおよび画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3604495A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188813A1 (ja) * 2019-03-20 2020-09-24 株式会社島津製作所 細胞解析装置
JPWO2020188813A1 (ja) * 2019-03-20 2021-12-16 株式会社島津製作所 細胞解析装置
JP7006832B2 (ja) 2019-03-20 2022-01-24 株式会社島津製作所 細胞解析装置

Also Published As

Publication number Publication date
US11030751B2 (en) 2021-06-08
JP6873231B2 (ja) 2021-05-19
EP3604495A4 (en) 2020-03-18
KR20190107096A (ko) 2019-09-18
EP3604495A1 (en) 2020-02-05
US20190370973A1 (en) 2019-12-05
JPWO2018180813A1 (ja) 2019-12-12
KR102293757B1 (ko) 2021-08-24

Similar Documents

Publication Publication Date Title
JP7087048B2 (ja) 細胞画像評価装置および細胞画像評価プログラム
JP6801000B2 (ja) 細胞画像評価装置および細胞画像評価制御プログラム
JP6194791B2 (ja) 画像処理装置及びプログラム
KR102431217B1 (ko) 화상 해석 장치, 방법 및 프로그램
WO2015146064A1 (ja) 細胞認識装置および方法並びにプログラム
WO2018180813A1 (ja) 細胞画像評価装置および方法並びにプログラム
JP6785947B2 (ja) 細胞画像評価装置および方法並びにプログラム
JP2014082957A (ja) 細胞計数装置及び細胞計数プログラム
US11068695B2 (en) Image processing device, observation device, and program
JP6475134B2 (ja) 細胞評価装置および方法
JP6156137B2 (ja) 画像処理装置及びプログラム
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2020202748A (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
JP2016186446A (ja) 細胞分化情報取得装置および方法並びにプログラム
JP2016208856A (ja) 撮像装置および方法並びに撮像制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18775331

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509619

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197023860

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018775331

Country of ref document: EP

Effective date: 20191030