WO2019106945A1 - 培養状態判定装置、培養状態判定方法及びプログラム - Google Patents

培養状態判定装置、培養状態判定方法及びプログラム Download PDF

Info

Publication number
WO2019106945A1
WO2019106945A1 PCT/JP2018/036788 JP2018036788W WO2019106945A1 WO 2019106945 A1 WO2019106945 A1 WO 2019106945A1 JP 2018036788 W JP2018036788 W JP 2018036788W WO 2019106945 A1 WO2019106945 A1 WO 2019106945A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
volume
spheroid
area
cell mass
Prior art date
Application number
PCT/JP2018/036788
Other languages
English (en)
French (fr)
Inventor
加藤　弓子
好秀 澤田
太一 佐藤
清孝 辻
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2019557034A priority Critical patent/JPWO2019106945A1/ja
Publication of WO2019106945A1 publication Critical patent/WO2019106945A1/ja
Priority to US16/842,902 priority patent/US11674889B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M3/00—Tissue, human, animal or plant cell, or virus culture apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G01N33/4836—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures using multielectrode arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present disclosure relates to techniques for generating an image of an object in any focal plane.
  • Patent Documents 1 to 3 disclose techniques for judging the quality of the state of spheroid.
  • a spheroid is imaged through a microscope, and the degree of roundness and sharpness of the outer shape of the spheroid are determined from the acquired image, and the state of collapse of the spheroid is determined from the luminance distribution of the image of the spheroid .
  • the acceptability of the state of the spheroid is determined from the degree of circularity of the outline of the spheroid in the image.
  • the cell is adjusted so as to generate a luminescent protein and emit light in the absence of a light source by manipulating the gene of the cell contained in the spheroid.
  • three-dimensional information of spheroids is synthesized from the results of imaging the spheroids containing the cells as described above at a plurality of focal planes using a microscope.
  • Patent Documents 1 and 2 evaluate the state of the spheroid from the shape of the spheroid and the luminance distribution of the surface of the spheroid, it is difficult to evaluate the internal state of the spheroid.
  • the technique of Patent Document 3 can evaluate the state inside the spheroid based on three-dimensional information of the spheroid, it is difficult to use for therapeutic cells because the gene of the cell contained in the spheroid is manipulated.
  • the techniques of Patent Documents 1 to 3 can determine the quality of the culture state of individual spheroids, but from the large amount of spheroids cultured for medical or industrial use, it is in a good culture state and It is difficult to sort out usable spheroids.
  • the present disclosure provides a culture state determination device, culture state determination method, and program that enable to evaluate the state of one or more cell masses such as spheroids.
  • a culture state determination apparatus includes: a plurality of light sources; an image sensor on which a plurality of cell masses that are objects are mounted; and at least one control circuit; In sequence, the plurality of cell clusters are illuminated, and the image sensor acquires captured images of the plurality of cell clusters each time the plurality of light sources illuminate the plurality of cell clusters, and the at least one control The circuit extracts a region including an image of a cell mass in the captured image, generates three-dimensional image information for the region using a plurality of the captured images, and an outline of the cell mass in the three-dimensional image information.
  • a hollow portion inside the cell mass and based on the outer shape of the cell mass in the three-dimensional image information and the hollow portion, a first volume which is a volume based on the outer shape of the cell mass and a volume of the hollow portion.
  • a culture state determination method is a culture state determination method for determining a culture state of a plurality of cell clusters that are objects located on an image sensor, each time a plurality of light sources are illuminated.
  • a captured image of the plurality of cell clusters is acquired using the image sensor, a region including the image of the cell cluster is extracted in the captured image, and a plurality of three-dimensional images of the region are extracted using the plurality of captured images
  • Image information is generated, and in the three-dimensional image information, the outer shape of the cell mass and the hollow portion inside the cell mass are extracted, and the cell is extracted based on the outer shape of the cell mass in the three-dimensional image information and the hollow portion
  • a first volume which is a volume based on the outer shape of a mass and a second volume which is a volume of the hollow portion are determined, and the culture state of the cell mass is determined using the first volume and the second volume, Less processing Even one executed by the control circuit.
  • a program acquires a plurality of captured images of a plurality of cell clusters that are objects located on an image sensor, wherein the plurality of captured images illuminate each of a plurality of light sources. Every time the image sensor acquires an area including an image of a cell mass in the captured image acquired by the image sensor, three-dimensional image information is generated for the area using the plurality of captured images, and the three-dimensional image is generated.
  • the outline of the cell mass and the cavity inside the cell mass are extracted, and the volume is a volume based on the outline of the cell mass based on the outline of the cell mass in the three-dimensional image information and the cavity
  • the computer is caused to determine a volume and a second volume which is a volume of the hollow portion, and use the first volume and the second volume to determine the culture state of the cell mass.
  • the above-described comprehensive or specific aspect may be realized by a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer readable recording disk, and the system, an apparatus, a method, an integrated circuit , And may be realized by any combination of computer program and recording medium.
  • the computer readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • the culture state determination device and the like of the present disclosure it is possible to evaluate the state of one or more cell masses.
  • FIG. 1 is a block diagram showing an example of a functional configuration of the culture state determination apparatus according to the first embodiment.
  • FIG. 2 is a block diagram showing an example of a functional configuration of the imaging device of FIG.
  • FIG. 3 is a side view schematically showing an example of the relationship between a plurality of illuminators and an image sensor in the culture state determination apparatus according to the first embodiment.
  • FIG. 4 is a diagram showing an example of contents stored by the storage unit according to the first embodiment.
  • FIG. 5 is a diagram showing an example of contents stored by the storage unit according to the first embodiment.
  • FIG. 6 is a block diagram showing an example of a functional configuration of the internal image generation unit according to the first embodiment.
  • FIG. 7 is a diagram showing an example of contents stored in the focal plane table according to the first embodiment.
  • FIG. 8 is a diagram showing an example of contents stored by the storage unit according to the first embodiment.
  • FIG. 9A is a view showing an example of a processed image of a spheroid region.
  • FIG. 9B is a view showing an example of a processed image of the spheroid region.
  • FIG. 9C is a view showing an example of a processed image of the spheroid region.
  • FIG. 9D is a view showing an example of a processed image of a spheroid region.
  • FIG. 10 is a diagram showing an example of contents stored by the storage unit according to the first embodiment.
  • FIG. 11 is a flow chart showing an example of the operation of the culture state determination apparatus according to the first embodiment.
  • FIG. 12 is a schematic perspective view showing an example of an imaging state of a spheroid.
  • FIG. 13 is a view schematically showing a method of determining the presence or absence of a cavity in an image obtained by binarizing an in-focus image of a spheroid.
  • FIG. 14A is a view schematically showing an example of the relationship between the in-focus image of the area of the spheroid similar to FIG. 9A and the pixel value on the area.
  • FIG. 14B is a view schematically showing an example of the relationship between the in-focus image of the area of the spheroid similar to FIG. 9B and the pixel value on the area.
  • FIG. 14A is a view schematically showing an example of the relationship between the in-focus image of the area of the spheroid similar to FIG. 9A and the pixel value on the area.
  • FIG. 14B is a view schematically showing an example of the relationship between the in-focus image of the area of the spheroid
  • FIG. 14C is a view schematically showing an example of the relationship between the in-focus image of the area of the spheroid similar to FIG. 9C and the pixel value on the area.
  • FIG. 14D is a view schematically showing an example of the relationship between the in-focus image of the area of the spheroid similar to FIG. 9D and the pixel value on the area.
  • FIG. 15 is a flowchart showing an example of the operation of the imaging device according to Embodiment 1.
  • FIG. 16 is a flowchart showing an example of the operation of the internal image generation unit according to the first embodiment.
  • FIG. 17 is a schematic diagram for explaining a specific example of the refocusing process according to the first embodiment.
  • FIG. 18 is a schematic diagram for explaining a specific example of the refocusing process according to the first embodiment.
  • FIG. 19 is a schematic diagram for explaining a specific example of the refocusing process according to the first embodiment.
  • FIG. 20 is a schematic diagram for explaining a specific example of the refocusing process according to the first embodiment.
  • FIG. 21 is a block diagram showing an example of a functional configuration of the culture state determination apparatus according to the second embodiment.
  • FIG. 22 is a schematic view showing an example of a spheroid region extracted from a reference captured image.
  • FIG. 23 is a diagram showing an example of contents stored in the storage unit according to the second embodiment with respect to the information of the region of the spheroid.
  • FIG. 24 is a flow chart showing an example of the operation of the culture state determination apparatus according to the second embodiment.
  • FIG. 25A is a diagram showing an example of display by a display unit according to Embodiment 2.
  • FIG. 25B is a diagram showing an example of display by the display unit according to Embodiment 2.
  • FIG. 25C is a diagram showing an example of display by the display unit according to Embodiment 2.
  • FIG. 25D is a diagram showing an example of display by the display unit according to the second embodiment.
  • the inventors related to the present disclosure reached the following findings.
  • a large amount of spheroids are produced simultaneously.
  • a large amount of spheroids are placed in a culture vessel such as the same well, the quality of the condition is determined.
  • each spheroid is individually determined.
  • the above prior art requires a lot of time and throughput to evaluate the quality of all the spheroids. For this reason, the inventors examined a technique that allows one to evaluate the internal state of one or more spheroids together.
  • the inventors examined a technique that enables simultaneous imaging of cell clusters such as one or more spheroids in the same culture vessel and evaluation of the internal state of all cell clusters from the imaged image. . Therefore, the present inventors devised the following technology.
  • a culture state determination apparatus includes: a plurality of light sources; an image sensor on which a plurality of cell masses as objects are mounted; and at least one control circuit
  • a light source sequentially illuminates the plurality of cell masses, and the image sensor acquires captured images of the plurality of cell masses each time the plurality of light sources illuminate the plurality of cell masses, and the at least one One control circuit extracts an area including an image of a cell mass in the captured image, and generates three-dimensional image information for the area using a plurality of the captured images, and the cell mass in the three-dimensional image information
  • a first volume which is a volume based on the outer shape of the cell mass and the hollow portion based on the outer shape of the cell mass and the hollow portion in the three-dimensional image information; By volume It obtains a second volume that determines culture state of the cell mass by using the said second volume and the first volume.
  • the culture state determination device determines the first volume and the cavity based on the outline of the cell mass based on the outline and the cavity of the cell mass extracted from the three-dimensional image information of the region including the image of the cell mass. Determine the second volume.
  • the above regions contain one or more cell masses. Thus, for one or more cell masses, a first volume and a second volume are determined.
  • the culture state determination device can determine the culture state of one or more cell masses.
  • the at least one control circuit may include a first total volume which is a sum of the first volumes of the cell masses, and the cavity of the cell mass at the cavity portion.
  • a second total volume which is the sum of the second volumes, may be determined, and the culture state of the entire plurality of cell clusters may be determined using the first total volume and the second total volume.
  • the culture state determination device determines the culture state of the entire plurality of cell clusters. For example, multiple cell masses are cultured together in a culture vessel. In such a case, the culture state determination device can determine the culture state of all of the plurality of cell masses contained in the culture vessel. That is, it becomes possible to determine the culture state for each culture vessel. Usually, the culture conditions of the cell mass cultured in the same culture vessel are similar. Therefore, determining the culture state of the cell mass for each culture vessel streamlines the process of selecting the cultured cell mass.
  • the at least one control circuit may extract the region using one of the plurality of captured images.
  • the culture state determination device uses a region including an image of a cell mass extracted from one captured image for another process. As a result, the processing amount for extraction of the region including the image of the cell mass is reduced, so that the culture state determination apparatus can improve the processing speed.
  • the at least one control circuit may set, as the three-dimensional image information, a plurality of virtual focal planes located between the plurality of light sources and the image sensor. An in-focus image of the area may be generated.
  • the culture state determination device generates a plurality of in-focus images at a plurality of virtual focal planes in a region including an image of a cell mass.
  • Multiple focused images may show images at different locations of the cell mass.
  • the plurality of in-focus images may show different cross-sectional images of a cell mass.
  • the calculation accuracy of the first volume and the second volume can be improved by using the outline and hollow portion of the cell mass extracted from the plurality of focused images.
  • the image sensor includes a plurality of sensor pixels, the in-focus image is configured of a plurality of in-focus pixels, and the at least one control circuit The luminance value of each of the sensor pixels corresponding to the in-focus pixel is acquired based on each of the position of the light source illuminated at the time of imaging each of the plurality of captured images and the position of the in-focus pixel. An in-focus pixel may be generated.
  • the at least one control circuit extracts an outer shape of the cell mass and the hollow portion in the in-focus image, and in the in-focus image, the at least one control circuit
  • the first area which is an area based on the outer shape and the second area which is the area of the hollow portion are determined, the first volume is determined using the first area, and the second volume is determined using the second area. You may ask.
  • the culture state determination device obtains, for each in-focus image, the first area based on the outline of the cell mass and the second area of the hollow portion.
  • the first area and the second area in the in-focus image may indicate the cross-sectional areas of the cell mass and the cavity in the focal plane corresponding to the in-focus image, respectively.
  • the calculation of the first volume and the second volume is facilitated by using the first area and the second area in the plurality of focal planes.
  • the at least one control circuit determines the size of the region, and determines the culture state of the cell mass based on the variation in the size of the region. Good.
  • the variation in the size of the region including the image of the cell mass may indicate the variation in the size of the cell mass.
  • the culture state determination device determines the culture state of the cell mass based not only on the first volume and the second volume but also on the variation of the cell mass size. Therefore, the determination accuracy can be improved.
  • the at least one control circuit uses the first volume and the second volume when the variation in size of the region falls within a reference.
  • the culture state of the cell mass may be determined.
  • the culture state determination device can limit an object to be subjected to the determination of the culture state using the first volume and the second volume.
  • the calculation processing amount of the first volume and the second volume using three-dimensional image information is larger than the calculation processing amount of the variation of the size of the region including the image of the cell mass.
  • the culture state determination device can improve the processing speed by reducing the frequency of the processing with a large throughput.
  • the culture state determination method is a culture state determination method for determining the culture states of a plurality of cell clusters that are objects located on an image sensor, and illuminates each of the plurality of light sources. Every time, the captured image of the plurality of cell clusters is acquired using the image sensor, a region including the image of the cell cluster is extracted in the captured image, and the plurality of Three-dimensional image information is generated, and in the three-dimensional image information, the outer shape of the cell mass and the hollow portion inside the cell mass are extracted, and the outer shape of the cell mass in the three-dimensional image information and the hollow portion A first volume, which is a volume based on the outer shape of the cell mass, and a second volume, which is a volume of the hollow portion, are determined, and the culture state of the cell mass is determined using the first volume and the second volume. , Of the above process One even without is executed by the control circuit. According to the above aspect, the same effect as the culture state determination device according to one aspect of the present disclosure can be
  • a program acquires a plurality of captured images of a plurality of cell masses that are objects located on an image sensor, wherein the plurality of captured images are each a plurality of light sources.
  • the plurality of captured images are each a plurality of light sources.
  • the plurality of captured images are each a plurality of light sources.
  • a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer readable recording disk, and the system, an apparatus, a method, an integrated circuit , And may be realized by any combination of computer programs or recording media.
  • the computer readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM.
  • a device may also be comprised of one or more devices. When the device is configured by two or more devices, the two or more devices may be disposed in one device or may be separately disposed in two or more separate devices.
  • "device” may mean not only one device but also a system consisting of a plurality of devices.
  • FIG. 1 shows a block diagram of an example of a functional configuration of the culture state determination device 10 according to the first embodiment.
  • FIG. 2 shows a block diagram of an example of a functional configuration of the imaging device 100 of FIG.
  • the culture state determination device 10 according to the first embodiment is disposed above the image sensor 102 in a plurality of spheroids, which are a plurality of objects located on the image sensor 102.
  • the plurality of illuminators 101 are used to sequentially illuminate, and for each illumination, a plurality of spheroids are imaged together using the image sensor 102 to acquire a plurality of imaged images.
  • the culture state determination apparatus 10 generates images of a plurality of spheroids in an arbitrary virtual focal plane located between the plurality of illuminators 101 and the image sensor 102 using the plurality of acquired captured images. .
  • An image in an arbitrary virtual focal plane generated using a plurality of captured images in this manner is referred to as a "focused image”.
  • the culture state determination device 10 determines the volume of the spheroid based on the outer shape of the spheroid and the volume of the cavity in the spheroid in the generated focused image, and based on the two volume ratios, the culture condition of the spheroid is good or not. Determine The volume of spheroid can be replaced by the number of cells corresponding to the volume, and the volume of the cavity can be replaced by the number of cells corresponding to the volume. The number of cells thus replaced is called "pseudocell number".
  • the culture state determination device 10 includes an imaging device 100, a storage unit 110, an image processing unit 120, a calculation unit 130, a state determination unit 140, and a display unit 150. Furthermore, the image processing unit 120 includes an area extraction unit 121, an internal image generation unit 122, and a determination unit 123.
  • the imaging device 100 includes a plurality of illuminators 101, an image sensor 102, and an imaging control unit 103.
  • the imaging device 100 acquires a photographic image (photographic image) of an object using the image sensor 102.
  • the imaging device 100 does not have a focus lens.
  • the imaging device 100 may be formed by one device or system, may be formed by a plurality of devices or systems, and is incorporated in a device or system other than the other components of the culture state determination device 10 It is also good.
  • the illuminator 101 is an example of a light source.
  • the object is, for example, a plurality of spheroids placed on the image sensor 102.
  • Each spheroid is a cell mass composed of a plurality of translucent cells, and has a three-dimensional structure. That is, in the spheroid, a plurality of cells may be positioned three-dimensionally overlapping.
  • Such spheroids are translucent and can transmit light.
  • spheroids have a spherical or elliptical shape and have a maximum diameter of 200 ⁇ m or less.
  • spheroid is an example of a cell mass.
  • Each of the plurality of illuminators 101 outputs diffused light.
  • the plurality of illuminators 101 may be a plurality of illumination devices such as light emitting diodes (LEDs), a plurality of light sources, or a plurality of light emitting elements of a display.
  • Each illuminator 101 emits non-intersecting light.
  • a plurality of light beams representing light emitted from one illuminator 101 do not intersect each other.
  • each of the first and second illuminators emits non-intersecting light. That is, the plurality of first rays representing the first light emitted from the first illuminator do not intersect with each other.
  • the plurality of second light beams representing the second light emitted from the second illuminator do not intersect each other. Therefore, when light is emitted from one of the first illuminator and the second illuminator, the light from the one of the first illuminator and the second illuminator is included in the image sensor 102.
  • One sensor pixel is reached from a single direction. That is, the light emitted from each of the illuminators 101 does not enter one sensor pixel of the image sensor 102 from two or more directions.
  • the image sensor 102 has a plurality of sensor pixels arranged along the light receiving surface.
  • Such illumination light can be realized by diffused light from the illuminator 101 having a point-like light emitting portion, and can also be realized by light from the illuminator 101 that emits parallel light.
  • the illuminator 101 having a point light emitter may be replaced by a pseudo point light source.
  • An example of the plurality of pseudo point light sources is a configuration realized by placing a light shielding plate having a plurality of pinholes in the vicinity of one lighting device. The light emitted from the lighting device passes through the opened pinhole and illuminates the image sensor 102. The light emitted from the pinhole simulates the light emitted from the point light source.
  • the size of the pinhole is limited by the pitch of the sensor pixels of the image sensor 102, the distance between the image sensor 102 and the pinhole, and the distance from the image sensor 102 at the point at which an in-focus image is generated.
  • the plurality of illuminators 101 are disposed above the light receiving surface of the image sensor 102 and emit light downward from above.
  • the plurality of illuminators 101 are arranged side by side along the plane and emit light in order.
  • the plurality of illuminators 101 are arranged to be at different positions when viewed from the image sensor 102, and illuminate light on the object on the image sensor 102 from different directions.
  • the plurality of illuminators 101 may be configured as shown in FIG.
  • FIG. 3 is a side view schematically showing an example of the relationship between the plurality of illuminators 101 and the image sensor 102 in the imaging device 100 according to the first embodiment.
  • the plurality of illuminators 101 are arranged at different positions, for example, in a lattice arrangement, on a single plane 101H parallel to the surface that is the light receiving surface of the image sensor 102.
  • the plurality of illuminators 101 irradiate light to the object on the image sensor 102 from different directions.
  • light emitted from the first illuminator 101 a and the second illuminator 101 b of the plurality of illuminators 101 is incident on the object on the image sensor 102 from different directions.
  • the light emitted from the first illuminator 101 a and the second illuminator 101 b respectively reach one sensor pixel of the image sensor 102 from a single direction.
  • the illuminator 101 is an example of a light source.
  • the plurality of illuminators 101 are a plurality of point light sources disposed on the plane 101H, as illustrated in Patent Document 4, the plurality of illuminators 101 are disposed on a spherical surface and emit parallel light. It may be composed of a plurality of light sources.
  • the image sensor 102 has a plurality of sensor pixels. Each sensor pixel of the image sensor 102 is disposed on the light receiving surface, and acquires the intensity of the light emitted from the plurality of illuminators 101. The image sensor 102 acquires a captured image based on the intensity of light acquired by each sensor pixel. Note that imaging (also referred to as “imaging”) by the image sensor 102 means that the image sensor 102 detects and records the intensity of light emitted for each sensor pixel. When a spheroid is placed as an object on the light receiving surface of the image sensor 102, the image sensor 102 acquires the intensity of light passing through the spheroid. The image sensor 102 stores information of the acquired captured image in the storage unit 110.
  • An example of the image sensor 102 is a Complementary Metal-Oxide Semiconductor (CMOS) image sensor or a Charge Coupled Device (CCD) image sensor.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge Couple
  • the imaging control unit 103 controls irradiation of light by the plurality of illuminators 101 and imaging by the image sensor 102. Specifically, the imaging control unit 103 controls the order in which the plurality of illuminators 101 emit light, the time intervals in which the plurality of illuminators 101 emit light, and the like. The imaging control unit 103 stores the information in the storage unit 110 by correlating the information regarding the captured image such as the ID (Identification), the imaging time, and the illuminated illuminator 101 with the captured image data captured by the image sensor 102. .
  • the imaging control unit 103 is a computer system (not shown) including a processor such as a central processing unit (CPU) or a digital signal processor (DSP), and a memory such as a random access memory (RAM) and a read-only memory (ROM). ) May be configured. Some or all of the functions of the components of the imaging control unit 103 may be achieved by the CPU or DSP executing a program stored in the ROM using the RAM as a working memory. Also, some or all of the functions of the components of the imaging control unit 103 may be achieved by a dedicated hardware circuit such as an electronic circuit or an integrated circuit. Some or all of the functions of the components of the imaging control unit 103 may be configured by a combination of the above-described software function and hardware circuit.
  • the program may be provided as an application through communication via a communication network such as the Internet, communication according to a mobile communication standard, another wireless network, a wired network, broadcast, or the like.
  • the imaging control unit 103 is an example of a control circuit.
  • the storage unit 110 is realized by, for example, a storage device such as a ROM, a RAM, a semiconductor memory such as a flash memory, a hard disk drive, or a solid state drive (SSD).
  • the storage unit 110 stores a plurality of captured images and the like acquired by the imaging device 100.
  • the storage unit 110 stores the image captured by the image sensor 102 together with the positional information of the illuminator 101 used for the imaging.
  • FIG. 4 shows an example of the content stored in the storage unit 110 as described above.
  • the position information of the illuminator 101 used at the time of acquisition of the captured image file that is, the illumination position is stored.
  • the illumination position indicates the relative position of the illuminator 101 with respect to the image sensor 102.
  • the position information of the illuminator 101 is also referred to as “illumination position information”
  • the position of the illuminator 101 is also referred to as “illumination position”.
  • the illumination position information is stored together with or in association with the file ID of the captured image file, and is coupled to the captured image file via the file ID.
  • the illumination position information may be recorded in part of the captured image file (for example, header information).
  • the image processing unit 120 is realized by at least one control circuit. As shown in FIG. 1, the image processing unit 120 includes an area extraction unit 121, an internal image generation unit 122, and a determination unit 123.
  • the image processing unit 120 may be formed by one device or system, may be formed by a plurality of devices or systems, and is incorporated in a device or system separate from the other components of the image processing unit 120. It is also good.
  • the region extraction unit 121 is a region in which an image of a spheroid as an object exists from at least one of the plurality of captured images captured by the imaging apparatus 100 and stored in the storage unit 110, that is, a region of the spheroid. Extract Although the area extraction unit 121 extracts the area from only one captured image in the present embodiment, the present invention is not limited to this. An image from which the region is extracted is referred to as a “reference captured image”.
  • the region extraction unit 121 is, for example, the illuminator 101 positioned immediately above the center position of the light receiving surface of the image sensor 102.
  • the image captured at the time of illumination is determined as the reference captured image.
  • the region extraction unit 121 extracts the region of the spheroid included in the reference captured image.
  • the method of extracting the area is based on, for example, a known image recognition process.
  • the area extraction unit 121 determines, as a target area, an area extracted based on the result of image recognition for one reference captured image.
  • the recognition process of the spheroid area is performed, for example, based on predetermined features such as color and outline.
  • the region extraction unit 121 determines all of the plurality of extracted regions as target regions.
  • the area extraction unit 121 stores the determined target area in the storage unit 110 in association with the reference captured image from which the target area is extracted.
  • the reference captured image is not limited to the image captured during illumination of the illuminator 101 located directly above the center position of the light receiving surface of the image sensor 102, and may be a captured image of any illuminator 101. .
  • the reference captured image may be an image captured at the time of illumination of the illuminator 101 located immediately above the area where the density of the spheroid is high on the light receiving surface of the image sensor 102.
  • FIG. 5 shows an example of the content stored in the storage unit 110 as described above.
  • the area extraction unit 121 assigns, for example, an area ID to each of the areas of one or more spheroids determined as the target area. Furthermore, the area extraction unit 121 calculates coordinates on the reference captured image, for example, pixel coordinates, for each area corresponding to the area ID. Pixel coordinates are a coordinate system based on pixels in an image. As illustrated in FIG. 5, the area extraction unit 121 associates the coordinates of each area with the area ID corresponding to each area, and stores these in the storage unit 110.
  • the method of setting the coordinates of the spheroid region may be any method.
  • the area extraction unit 121 may form a frame such as a rectangular shape circumscribing the area of the spheroid on the reference captured image, and set the coordinates of one or more points on the frame as the coordinates of the area.
  • the area extraction unit 121 may store information of the frame size such as the side length in the storage unit 110 in association with the area ID.
  • the area extraction unit 121 may set the coordinates of the center of gravity of the area of the spheroid on the reference captured image as the coordinates of the area.
  • the coordinates of the region of the spheroid are the coordinates of two apexes of the diagonal position of the rectangular frame.
  • the internal image generation unit 122 generates an internal image of one or more spheroids.
  • the internal image generation unit 122 performs refocusing processing according to predetermined virtual focal plane position information using the plurality of captured images stored in the storage unit 110 and the illumination position information, and the focal plane Generates a focused image of spheroids in
  • the internal image generation unit 122 generates an in-focus image for each virtual focal plane.
  • the internal image generation unit 122 stores the generated focused image in the storage unit 110.
  • the process of generating the in-focus image is called “refocusing process”, and the details of the refocusing process will be described later.
  • FIG. 6 shows the detailed configuration of the internal image generation unit 122.
  • FIG. 6 is a block diagram showing an example of a functional configuration of the internal image generation unit 122 according to the first embodiment.
  • the internal image generation unit 122 includes a refocusing unit 1221, a focal plane table 1222, and an image generation unit 1223.
  • the focal plane table 1222 stores a predetermined virtual focal plane position.
  • the focal plane table 1222 may have any of the configurations described above with respect to the storage unit 110.
  • the virtual focal plane is a focal plane located between the plurality of illuminators 101 and the image sensor 102.
  • the virtual focal plane is a plane parallel to the light receiving surface of the image sensor 102 in the present embodiment, but may be a plane in a direction intersecting the light receiving surface.
  • FIG. 7 shows an example of contents stored in the focal plane table 1222.
  • An ID is assigned to each of the plurality of virtual focal planes determined in advance. The distance between each focal plane and the surface of the image sensor, that is, the light receiving plane is stored in the focal plane table 1222 together with the ID of the focal plane.
  • FIG. 7 shows an example of contents stored in the focal plane table 1222.
  • all virtual focal planes are planes parallel to the surface of the image sensor 102.
  • 200 virtual focal planes are set at an interval of 1 ⁇ m so as to cover the entire spheroid.
  • the focal plane spacing may be equally spaced as described above, or may be unevenly spaced.
  • the refocusing unit 1221 generates in-focus pixels constituting a focused image on a virtual focal plane, for all the areas of one or more spheroids extracted by the area extracting unit 121.
  • the pixels forming the in-focus image are referred to as “in-focus pixels”.
  • the refocusing unit 1221 can generate a focused pixel of the focused image in the focal plane from the plurality of captured images, the positional information of the plurality of illuminators 101, and the positional information of the virtual focal plane. .
  • the refocusing unit 1221 captures an image in which the in-focus pixel of the focused image is projected based on the plurality of captured images and the position information of the illuminator 101 illuminated at the time of capturing each of the plurality of captured images.
  • the pixel in the image is specified, and the pixel value of the in-focus pixel is calculated using the pixel value of the specified pixel.
  • the refocusing unit 1221 calculates a pixel value for each focused pixel. This makes it possible to generate a focused image.
  • examples of pixel values are light intensity and luminance value.
  • the refocusing unit 1221 does not necessarily generate in-focus pixels at all pixel positions in the virtual focal plane.
  • the refocusing unit 1221 generates only focused pixels in the area of all spheroids. Specifically, the refocusing unit 1221 generates all spheroids on the in-focus image of the virtual focal plane from the pixel coordinates of all the spheroid areas extracted by the area extracting unit 121 as shown in FIG. 5. Calculate the pixel coordinates of the area of. Furthermore, the refocusing unit 1221 generates only in-focus pixels included in the area of each spheroid on the in-focus image.
  • the pixel coordinate system of the region of the spheroid extracted by the region extraction unit 121 and the pixel coordinate system of the in-focus image of the virtual focal plane are the same. The process of generating is simplified.
  • the refocusing unit 1221 When generating a focused pixel on a virtual focal plane, the refocusing unit 1221 emits light from each illuminator 101 based on the in-focus position of the position of the focused pixel and illumination position information corresponding to each captured image. The position on the image sensor 102 at which the received light passes through the in-focus point is calculated. The in-focus point is a point on a virtual focal plane. Furthermore, the refocusing unit 1221 determines the position of each illuminator 101, that is, the position at which the light of the illuminator 101 passing through the focusing point reaches the image sensor 102 on the captured image corresponding to each illumination position. The pixel value at the pixel position corresponding to is extracted.
  • This pixel value is a pixel value indicating the image of the in-focus point.
  • the refocusing unit 1221 adds all the pixel values indicating the in-focus image extracted in the captured image corresponding to each illumination position. As a result, a pixel value is obtained in which the luminances of all the lights having different incident directions and passing through the in-focus point are integrated, and this pixel value is taken as the pixel value of the in-focus pixel.
  • the refocusing unit 1221 generates in-focus pixel information of the in-focus point, and performs the above-described processing on each in-focus pixel on the in-focus image. This makes it possible to generate a focused image of the area of the spheroid.
  • the above method is similar to the refocusing technique described in Patent Document 4. Since the technique of Patent Document 4 is known, the detailed description thereof is omitted.
  • the image generation unit 1223 generates a focused image of each region of all the spheroids on the focal plane based on the in-focus pixel information of the in-focus point generated by the refocusing unit 1221.
  • the image generation unit 1223 associates the generated in-focus image with the position information of the focal plane and the ID of the region of the spheroid corresponding to the in-focus image, and stores the generated in-focus image in the storage unit 110.
  • FIG. 8 shows an example of the content stored in the storage unit 110 as described above.
  • the internal image generation unit 122 sets an ID for each of the in-focus images in the spheroid area. This ID is also associated with the focal plane including the in-focus image, and is called "focal plane image ID".
  • the internal image generation unit 122 generates, for each of the spheroid areas, a file of the in-focus image of the area of the spheroid in each of a plurality of predetermined focal planes and the focal plane image ID corresponding to the file. , And the ID and coordinates of the area of the spheroid in question, which are stored in the storage unit 110 in association with each other.
  • the focal plane position information indicates the distance from the surface of the image sensor 102.
  • Position information of the focal plane is combined via the file of the in-focus image and the focal plane image ID.
  • the position information of the focal plane may be recorded in part of the file of the in-focus image (for example, header information).
  • the determination unit 123 determines, for each of the in-focus images stored in the storage unit 110, the outer shape of the spheroid as the object and the hollow portion inside the spheroid based on the pixel value.
  • FIGS. 9A to 9D schematically show examples of a plurality of focused images at different focal planes Fa to Fd for the same spheroid area.
  • 9A to 9D are diagrams showing an example of a processed image of the spheroid region.
  • the in-focus images are the images at the top of FIGS. 9A-9D.
  • the distance between the focal planes Fa to Fd and the surface of the image sensor 102 increases as the process proceeds from FIG. 9A to FIG. 9D. That is, the focal plane Fa of FIG. 9A is closest to the surface of the image sensor 102.
  • the focal plane Fa of FIG. 9A is closest to the surface of the image sensor 102.
  • the outline of the spheroid can be extracted by extracting the darker part than the periphery, that is, the part where the pixel value is small.
  • a darker portion than the periphery may be extracted as a spheroid outline, and a darker portion inside the spheroid outline, that is, a portion having a smaller pixel value may be extracted as a cavity.
  • the outer shape of the spheroid and the cavity inside the spheroid can be extracted as in FIG. 9B.
  • the determination unit 123 determines the number of first pixels that are pixels that are determined to be present inside the outline of each spheroid, and the second that is pixels that are determined to be present in the hollow portion in the spheroid. Calculate the number of pixels.
  • the first pixel may include a second pixel.
  • the number of first pixels may correspond to the area inside the outline of the spheroid, and the number of second pixels may correspond to the area of the cavity of the spheroid.
  • the sum of the numbers of the first pixels of all the in-focus images corresponding to one spheroid corresponds to the volume inside the outline of the spheroid
  • the second pixels of all the in-focus images corresponding to one spheroid The sum of the quantity of can correspond to the volume of the cavity of the spheroid.
  • the determination unit 123 stores the quantity of the first pixel and the second pixel of each focused image in the storage unit 110 in association with the focal plane image ID of the focused image.
  • the number of first pixels is an example of a first area
  • the number of second pixels is an example of a second area.
  • FIG. 10 shows an example of the content stored in the storage unit 110 as described above.
  • the determination unit 123 determines, for each of the in-focus images corresponding to the plurality of focal planes in the area of each spheroid, the number of first pixels and second pixels, the ID of the area of the spheroid, and the focal plane image ID of the in-focus image. And the position information of the focal plane of the focused image, and stored in the storage unit 110.
  • the calculation unit 130 is a sum of the numbers of first pixels in all focal planes of all spheroids, from the numbers of first pixels and second pixels in each focal plane of each spheroid determined by the determination unit 123. Calculate one total and a second total which is the sum of the numbers of the second pixels at all focal planes of all spheroids. Furthermore, the calculation unit 130 calculates a first ratio, which is a ratio of the first total number and the second total number. The first ratio is indicated by the second total number / the first total number.
  • the first total number is an example of a first volume and a first total volume
  • the second total number is an example of a second volume and a second total volume.
  • State determination unit 140 compares the first ratio calculated by calculation unit 130 with a predetermined determination reference value, and when the first ratio is lower than the determination reference value, the culture state of the spheroid is good. If the first ratio is equal to or higher than the determination reference value, it is determined that the culture state of the spheroid is poor.
  • the criteria may be determined to various values depending on the type and number of cells constituting the spheroid, the time point of culture of the spheroid, the quality of the culture state of the spheroid required, and the application of the spheroid.
  • Such determination criteria may be determined according to the above conditions by the designer, manufacturer or user of the culture state determination apparatus 10, and the determined determination criteria are input via an input device (not shown), It may be stored in the storage unit 110.
  • the spheroid is a sea urchin morula, and an example of the determination criterion in this case is 0.3.
  • the number of first pixels in the spheroid determined by the determination unit 123 indicates the amount of cells in the spheroid, that is, the volume of the cells in a pseudo manner.
  • the hollow portion of the spheroid is a portion where cells in the spheroid are lost due to necrosis or the like, and the number of second pixels of the hollow portion indicates the volume of cells lost due to necrosis or the like, that is, the volume of cells There is.
  • the second ratio which is the ratio of the sum of the number of first pixels in all focal planes to the sum of the number of second pixels in all focal planes, for one spheroid corresponds to the total cellular mass in one spheroid The ratio of the amount of cells lost due to necrosis etc. is shown. Further, the first ratio of the first total number and the second total number indicates the ratio of the amount of cells lost due to necrosis or the like to the total amount of cells in the plurality of imaged spheroids.
  • the calculation unit 130 calculates the ratio between the number of first pixels and the number of second pixels
  • the difference between the number of first pixels and the number of second pixels may be calculated.
  • the state determination unit 140 holds a reference number of pixels as a predetermined determination reference. The state determination unit 140 determines that the culture state is poor when the difference calculated by the calculation unit 130 is equal to or less than the reference number of pixels, and the culture state is good when the difference exceeds the reference number of pixels. judge.
  • the difference obtained by subtracting the number of the second pixel from the number of the first pixel simulates the amount of non-necrotic normal cells contained in the spheroid. Also in this case, the calculation unit 130 may calculate the difference obtained by subtracting the second total number from the first total number.
  • the state determination unit 140 is based on the difference between the first total number and the second total number, and the culture state is good or bad for the entire spheroid. It may be determined whether there is any. In such a case, the state of spheroids in the entire culture vessel can be determined, and the availability of the use of spheroids in the culture vessel can be determined. The determination based on the difference as described above is effective when the number of spheroids in the culture vessel is known. The criterion of the difference may be based on the determination criterion of the first ratio.
  • the display unit 150 indicates the result determined by the state determination unit 140.
  • Examples of the display unit 150 are a display and a speaker.
  • Examples of displays are liquid crystal panels and organic or inorganic EL (Electroluminescence).
  • the display unit 150 is a display, the result may be displayed by characters, symbols, images, and the like.
  • the display unit 150 is a speaker, the result may be indicated by voice and sound signals.
  • the display unit 150 may include one or both of a display and a speaker.
  • the display unit 150 may be another display output unit.
  • the display unit 150 may have a configuration for projecting onto a wall surface, a glass surface, a space, or the like.
  • FIG. 11 is a flowchart showing an example of the operation of the culture state determination device 10 according to the first embodiment.
  • step S1100 the imaging control unit 103 of the imaging apparatus 100 illuminates a plurality of spheroids, which are objects on the image sensor 102, using the plurality of illuminators 101 in order, and the image sensor 102 receives the plurality of spheroids. Take multiple images. For example, as shown in FIG. 12, a plurality of spheroids exist in the culture solution 2 in the culture container 1 such as a well placed on the image sensor 102.
  • FIG. 12 is a schematic perspective view showing an example of the imaging condition of the spheroid.
  • the imaging control unit 103 causes the image sensor 102 to record the intensity of the light reaching the light receiving surface every time each of the plurality of illuminators 101 illuminates the spheroid, so that the entire plurality of spheroids in the culture container 1 can be obtained. Acquire multiple captured images to be captured.
  • the imaging control unit 103 stores the captured image in the storage unit 110 in association with the position information of the illuminator 101 illuminated at the time of capturing the captured image.
  • the positions of the plurality of illuminators 101 are fixed with respect to the image sensor 102, and position information of each of the plurality of illuminators 101 is determined in advance and stored in the storage unit 110. Details of the imaging process will be described later.
  • the region extraction unit 121 of the image processing unit 120 extracts a region in which a spheroid image is taken, that is, a spheroid region, from the captured image acquired in step S1100. Specifically, the region extraction unit 121 determines one captured image as a reference captured image from among the plurality of captured images acquired in step S1100 and stored in the storage unit 110, and the reference captured image and the reference Illumination position information corresponding to a captured image is acquired from the storage unit 110.
  • the said illumination positional information is positional information of the illuminating device 101 illuminated at the time of imaging of a reference
  • the reference captured image is, for example, a captured image at the time of illumination of the illuminator 101 located immediately above the center point of the light receiving surface of the image sensor 102.
  • the area extraction unit 121 extracts an area of one or more spheroids based on the pixel value of each pixel in the reference captured image.
  • the reference captured image is binarized based on the first threshold value set between the maximum value and the minimum value of the pixel values of the reference captured image, whereby the light emitted from the illuminator 101 is
  • This is a method of dividing into an area directly reaching the light receiving surface of the image sensor 102 and an area where light passes through the spheroid and reaches the light receiving surface of the image sensor 102.
  • the first threshold is a threshold for dividing the area for photographing the spheroid from the area for photographing the background of the spheroid.
  • the first threshold may be determined to various values according to conditions such as the type and number of cells constituting spheroids, the time point of culture of spheroids, and the environment at the time of imaging. Such a first threshold may be determined according to the above conditions by the designer, manufacturer or user of the culture state determination apparatus 10, and the determined first threshold may be input through an input device (not shown). And may be stored in the storage unit 110.
  • the first threshold is a pixel value between about 50% and about 70% between the minimum value and the maximum value of the pixel values of the reference captured image.
  • the first threshold may be determined.
  • a histogram of luminance values of pixels which is an example showing the distribution of pixel values in the reference captured image
  • pixels of luminance values whose number of pixels sharply increases may indicate a background of spheroids.
  • the first threshold may be determined to a value smaller than such a luminance value.
  • the first threshold may be, for example, a value obtained by multiplying a maximum value of pixel values of the reference captured image by a predetermined ratio.
  • a ratio is a value greater than 0 and less than 1, and an example of the ratio is 0.6, but is not limited thereto.
  • the area where the image is brighter, that is, the pixel value is equal to or greater than the first threshold is an area where the light emitted from the illuminator 101 directly reaches the light receiving surface of the image sensor 102.
  • the region where the image is darker, that is, the region where the pixel value is smaller than the first threshold is a region where light passes through the spheroid and reaches the light receiving surface of the image sensor 102.
  • a region in which pixels having a pixel value smaller than the first threshold is continuous is determined as a region in which a spheroid is shown.
  • the area extraction unit 121 extracts an area in which pixels whose pixel values are smaller than the first threshold in the reference captured image is continuous, and a minimum rectangular area including the area, for example, a rectangular area circumscribing the area is It is determined as an area to be subjected to image processing, including an area of spheroid. Furthermore, the area extraction unit 121 sets an ID in the determined rectangular area, and calculates pixel coordinates on the reference captured image of the rectangular area. The area extraction unit 121 stores the pixel coordinates of the rectangular area and the ID of the rectangular area in the storage unit 110 in association with each other. The area extraction unit 121 may calculate pixel coordinates of at least one vertex of the rectangular area as the pixel coordinates of the rectangular area.
  • the area extraction unit 121 may store the length of the side of the rectangular area together with the pixel coordinates of the rectangular area in the storage unit 110 as the size of the rectangular area. Since one or more spheroids exist in the culture vessel 1, the area of each spheroid and its rectangular area are extracted from the reference imaging image, that is, the area of one or more spheroids and its rectangular area are extracted Be done.
  • the region extraction unit 121 determines, in the binarized reference captured image, a region in which pixels having a pixel value smaller than the first threshold are continuous, as a region in which the spheroid appears.
  • the area where the spheroid appears may be determined by other methods.
  • the area extraction unit 121 may perform edge extraction using differences in pixel values between pixels in the reference captured image, and determine an area surrounded by the edge as an area in which a spheroid is shown. .
  • the region extraction unit 121 extracts a region in which pixels having similar pixel values are continuous by performing clustering on the basis of the pixel value of the pixel in the reference captured image, and a region where the extracted region is a spheroid You may decide to
  • step S1300 the internal image generation unit 122 of the image processing unit 120 performs the plurality of captured images acquired in step S1100 for all the regions of one or more spheroids determined in step S1200, that is, all the rectangular regions.
  • the internal image generation unit 122 does not generate an in-focus image of an area other than the rectangular area, and therefore, the processing speed for generating an in-focus image can be improved.
  • all of the plurality of focal planes are planes, and each focal plane is parallel to the other focal planes.
  • the plurality of focal planes are parallel to the light receiving surface of the image sensor 102, but is not limited thereto.
  • the positions of the plurality of focal planes are defined using, for example, the distance from the light receiving surface of the image sensor 102, and are stored in advance in the storage unit 110.
  • the plurality of in-focus pixels included in the in-focus image of the focal plane correspond one-to-one to the plurality of points on the focal plane. The method of generating the in-focus image will be described later.
  • step S1400 the determination unit 123 of the image processing unit 120 extracts the outline of the spheroid for each of all the in-focus images generated in step S1300 based on the pixel value of the in-focus image, and further Extract the cavity inside the outline of the spheroid.
  • the determination unit 123 determines a region of a pixel which is distinguished from other pixels in the inside of the outer shape of the spheroid as a hollow portion.
  • the hollow portion can be determined, for example, by the distribution of pixel values in the focused image.
  • FIGS. 9A-9D each show an example of a series of processed images of a region of spheroids.
  • the upper part shows a focused image of the region of the spheroid.
  • the middle row shows a binarized image which is an image obtained by binarizing the focused image in the upper row.
  • the region where the pixel value is equal to or higher than the second threshold is shown as a white or non-colored region, and the region where the pixel value is less than the second threshold is shown as a blackened region.
  • the second threshold is a threshold for dividing the area in which cells are photographed and the area in which hollows are photographed in the spheroid.
  • the filled area may indicate a cavity
  • the white or unpainted area surrounded by the filled area may indicate a cell.
  • Areas with white or no color indicate cells, and areas with black may indicate cavities.
  • the second threshold can be determined to various values depending on conditions such as the type and number of cells constituting the spheroid, the time point of culture of the spheroid, and the environment at the time of imaging.
  • Such a second threshold may be determined according to the above conditions by the designer, manufacturer, user or the like of culture state determination apparatus 10, and the determined second threshold may be input through an input device (not shown). And may be stored in the storage unit 110.
  • FIGS. 9A-9D are images corresponding to different focal planes Fa-Fd for the same area of spheroid.
  • the spheroids in FIGS. 9A-9D are sea urchin seed germs.
  • the morula is a cell mass composed of a plurality of cells of approximately the same size and includes a cavity in the center.
  • the determination unit 123 binarizes the in-focus image as shown in the upper part of FIGS. 9A to 9D, for example, and generates a middle binarized image. Further, the determination unit 123 labels, that is, labels the region where the pixel value is equal to or more than the second threshold with respect to the binarized image, and determines a plurality of cell regions such as the lower image. That is, the lower image is an extracted image of the cell area.
  • FIG. 13 is a diagram schematically showing a method of determining the presence or absence of a cavity in a binarized image of a focused image of spheroids.
  • the determination unit 123 labels regions where the pixel value is equal to or greater than the second threshold, and determines eight regions, ie, a first region La to an eighth region Lg. Further, the determination unit 123 obtains the center of gravity G calculated from all of the first area La to the eighth area Lg.
  • the gravity center G is a gravity center of eight gravity centers of each of the first area La to the eighth area Lg.
  • the determination unit 123 forms a circle Cb of radius b centered on the center of gravity G.
  • the radius b is, for example, an average of the radii of eight circles that approximate each other when the outline of each of the first area La to the eighth area Lg is approximated by a circle. If the circle Cb includes any of the labeled regions, that is, any of the first region La to the eighth region Lg, the determination unit 123 determines that there is no hollow portion, and the circle Cb is in the circle Cb.
  • the unlabeled area including the center of gravity G is set as the hollow portion.
  • a region not labeled is included in the center of gravity G and inscribed in a region other than the first region La to the eighth region Lg, a circle Cb, or the first region La to the eighth region Lg and includes the center of gravity G It may be any of ovals.
  • "elliptical" includes circles, ellipses and ovals.
  • one of the first region La to the eighth region Lg is included in the circle Cb means that the circle Cb has a region where one of the first region La to the eighth region Lg overlaps. It is.
  • the discrimination unit 123 determines the labeled area from the binarized image of the in-focus image of the spheroid, and determines the unlabeled area to be the hollow part, but other methods may be used.
  • the cavity may be determined.
  • the determination unit 123 may determine the cavity based on a change in pixel value on a line crossing the spheroid in the in-focus image.
  • FIGS. 14A to 14D schematically show an example of the relationship between the in-focus image of the area of the same spheroid in the focal planes Fa to Fd and the pixel value on the area, as in FIGS. 9A to 9D respectively. Shown in. Specifically, the lower graphs in each of FIGS. 14A to 14D schematically show pixel values of pixels on a straight line L passing through the center of the spheroid in the focused image of the upper row.
  • the determination unit 123 determines, for example, a straight line L passing through the center of the spheroid for each focused image as in the upper part of FIGS. 14A to 14D.
  • the distribution of pixel values of pixels along the straight line L is determined.
  • the position of the straight line L is preferably determined so as to pass through a region where a cavity is likely to be formed. Since the morula embryo includes a cavity in the center, in the present embodiment, the straight line L passes through the center of the spheroid. Thus, the position of the straight line L can be determined according to the target cell mass of the spheroid.
  • the determination unit 123 calculates the distance between the peak of the peak and the peak of the valley in the graph, that is, the distance between peaks and valleys of the pixel value.
  • the position of the peak of the valley of the graph is indicated by a broken line extending from the graph to the focused image
  • the position of the peak of the peak of the graph is indicated by a dotted line extending from the graph to the focused image. It is shown.
  • the broken line indicates the position in the in-focus image corresponding to the top of the valley of the graph.
  • the dotted line indicates the position in the in-focus image corresponding to the peak of the mountain of the graph.
  • the determination unit 123 calculates an interval of 8 in the example of FIG. 14A, calculates an interval of 8 in the example of FIG. 14B, and calculates an interval of 12 in the example of FIG. 14C. Now calculate 12 intervals. Further, the determination unit 123 calculates the variance of the peak-valley interval of the pixel value for each in-focus image.
  • the determination unit 123 determines that the hollow portion does not exist if the variance of the peak-valley interval of the pixel value is less than a predetermined third threshold, and the variance of the peak-valley interval is equal to or greater than the third threshold , It is determined that a cavity exists. Furthermore, when there is a cavity, the determination unit 123 determines the region along the straight line L and in which the distance between the valleys is the largest as the region of the cavity. For example, in FIG. 14B and FIG. 14C, the determination unit 123 determines that a cavity is present. Then, the determination unit 123 determines the region Ab as a cavity in FIG. 14B, and determines the region Ac as a cavity in FIG. 14C.
  • the determination unit 123 further determines a plurality of straight lines passing through the center of the spheroid and different from the straight line L, and a cavity based on the distribution of pixel values along each straight line, that is, the variance of the peak-valley spacing of the pixel values. The presence or absence of a part is determined, and the area of the cavity along the straight line is determined.
  • the plurality of straight lines are straight lines intersecting with the straight line L, and also straight lines obtained by rotating the straight line L at the center of the spheroid.
  • the determination unit 123 calculates a two-dimensional area of the cavity along the in-focus image from the one-dimensional area of the cavity along the plurality of straight lines including the straight line L. For example, the determination unit 123 may calculate a two-dimensional area of the cavity by integrating the one-dimensional area of the cavity.
  • the third threshold is a threshold for determining the presence of a cavity in the spheroid.
  • the third threshold may be determined to various values depending on the type and number of cells constituting the spheroid and conditions such as the time point of culture of the spheroid. Such a third threshold may be determined according to the above conditions by the designer, manufacturer or user of the culture state determination apparatus 10, and the determined third threshold may be input through an input device (not shown). And may be stored in the storage unit 110. For example, the dispersion of the peak-to-valley spacing of pixel values in the case where there is a cavity having a size twice or more the size of the cell corresponds to the peak-valley of the pixel value in the case where there is no cavity having a size larger than the cell size.
  • the third threshold is the interval between the peak and valley of the pixel value when there is no cavity equal to or more than the cell size. It is more than 4 times the variance.
  • the third threshold is not limited to such a value, and can be variously determined based on the relationship between the size of the area considered to be a cavity and the size of the cell.
  • step S1500 calculation unit 130 sets the area of the spheroid outline and cavity area in all focal planes for each of all the spheroid areas determined in step S1400 within the area surrounded by the spheroid outline.
  • the number of first pixels which are the pixels of and the number of second pixels which are the pixels in the area of the cavity are obtained.
  • the number of first pixels is the number of all pixels contained within the outline of the spheroid
  • the number of second pixels is the number of all pixels contained in the cavity.
  • the calculation unit 130 obtains a first total number which is the sum of the number of first pixels in the area surrounded by the outline of the spheroid in all focal planes of the area of all the spheroids.
  • the calculation unit 130 obtains a second total number which is the sum of the number of second pixels in the area of the cavity of the spheroid in all focal planes of the area of all the spheroids.
  • the calculation unit 130 obtains a first ratio between the first total number and the second total number.
  • the first ratio is indicated by the second total number / the first total number.
  • the number of pixels indicates an area in which an area of one pixel is one unit.
  • the sum of the areas indicated by the number of pixels on a plurality of parallel focal planes indicates the volume of a three-dimensional area including the pixels in a pseudo manner. Since spheroids are a clump of cells, inside the spheroid outline, the ratio of the number of pixels simulates the ratio of the amount of cells.
  • Cell volume can mean the volume of cells or the number of cells.
  • the calculation unit 130 calculates the amount of spheroid pseudocells.
  • step S1600 the state determination unit 140 determines the states of the plurality of cultured spheroids based on the first ratio calculated in step S1500.
  • the ratio of the second total number which is the sum of the number of second pixels contained in the hollow portions of all the spheroids to the first total number which is the sum of the number of first pixels contained in each of the outer shapes of all spheroids When is large, it can be determined that the culture state is poor.
  • the state determination unit 140 determines that the culture state is good if the first ratio is lower than a predetermined determination reference, and the culture state is higher if the first ratio is equal to or higher than the determination reference. It determines that it is bad.
  • the determination criterion is 0.3.
  • the state determination unit 140 determines that the culture state is poor, and determines to discard all of the plurality of spheroids in the culture container 1.
  • the state determination unit 140 determines that the state of culture is good, and makes a determination to be provided for processing after culture.
  • the state determination unit 140 determines a state in which the plurality of spheroids include more cells as a good culture state. That is, a good culture condition is a culture condition in which more cells can be used for treatment after culture, and efficient treatment after culture is possible.
  • step S1700 the display unit 150 shows the determination result of step S1600 to the user.
  • the display unit 150 displays an output of an image, characters, voice, etc. via a display and / or a speaker or the like.
  • FIG. 15 is a flowchart showing an example of the operation of the imaging device 100.
  • the imaging control unit 103 lists the positions of a plurality of predetermined illuminators 101 stored in the storage unit 110 or the like, or the plurality of illuminators 101 designated by an external input (not shown). It is determined whether or not imaging of a plurality of spheroids illuminated from the position of each illuminator 101 is completed with reference to the list of positions (hereinafter, each list is referred to as “illumination position list”).
  • step S1110 when imaging by illumination from all the illumination positions included in the illumination position list is completed (Yes in step S1110), the imaging control unit 103 proceeds to step S1200. On the other hand, when the imaging by the illumination from any of the illumination positions in the illumination position list is not completed (No in step S1110), the imaging control unit 103 proceeds to step S1120.
  • each illumination position is indicated by, for example, a number assigned to each illumination position.
  • each illumination position is indicated by, for example, coordinate values in a three-dimensional coordinate space defined by the x-axis and y-axis along the light receiving surface of the image sensor 102 and the z axis orthogonal to the light receiving surface.
  • the selection of the illumination position is performed, for example, in the ascending order of the list.
  • step S1130 the illuminator 101 starts illumination of a plurality of spheroids in the culture vessel 1 on the image sensor 102 in accordance with the control signal output from the imaging control unit 103 in step S1120. That is, the illuminator 101 located at the illumination position selected in step S1120 starts to emit light.
  • step S1140 while the plurality of spheroids are illuminated by the illuminator 101, the imaging control unit 103 causes the image sensor 102 to acquire a captured image formed by the light emitted from the illuminator 101.
  • the captured image includes an image formed by light transmitted through the spheroid.
  • the imaging control unit 103 outputs a control signal to the illuminator 101 to stop the illumination on the spheroid.
  • the stop of the illumination may not be performed according to the control signal from the imaging control unit 103.
  • the illuminator 101 may count the length of time since the start of illumination, and actively stop the illumination when the measured length of time exceeds a predetermined length of time.
  • the image sensor 102 may output a control signal for stopping the illumination to the illuminator 101.
  • step S1160 the imaging control unit 103 stores the captured image acquired in step S1140 and the position information of the illuminator 101 used in step S1130 in the storage unit 110 in association with each other. After the process of step S1160, the imaging control unit 103 returns to step S1110.
  • the imaging control unit 103 repeats the processing from step S1110 to step S1160 to sequentially emit light to the spheroids from the illuminators 101 of all the illumination positions included in the illumination position list and to emit light to the spheroids. Every time we get a captured image.
  • FIG. 16 is a flowchart showing an example of the operation of the refocusing unit 1221 according to the first embodiment.
  • step S1310 following step S1200 the refocusing unit 1221 acquires, from the storage unit 110, a list of one or more extraction regions determined using the reference captured image in step S1200, that is, a region including an image of a spheroid.
  • the extraction region and the region including the image of the spheroid are also referred to as “a spheroid region”.
  • the list is, for example, a list as shown in FIG.
  • the refocusing unit 1221 refers to the list of spheroid areas acquired in step S1310, and determines whether the refocusing process on all the spheroid areas is completed.
  • the end of the refocusing process on all the spheroid areas is the end of a series of processes in steps S1320 to S1370, and all focal points determined in advance using a plurality of captured images for each spheroid area The process of generating an in-focus image on the surface is completed.
  • step S1320 If the refocusing process is completed on all the spheroid areas included in the spheroid area list (Yes in step S1320), the refocusing unit 1221 proceeds to step S1400. On the other hand, when the refocusing process on any of the spheroid areas in the list of spheroid areas is not completed (No in step S1320), the refocusing unit 1221 proceeds to step S1330.
  • step S1330 the refocusing unit 1221 selects an area of one spheroid on which refocusing processing has not been performed, that is, an extraction area from the list of areas of spheroids acquired in step S1310.
  • the refocusing process of the spheroid area is a series of processes of steps S1340 to S1370.
  • step S1340 the refocusing unit 1221 is selected with reference to the focal plane table 1222 storing information on a plurality of predetermined focal planes and the list of spheroid areas acquired in step S1310. It is determined whether generation of focused images in all focal planes has been completed for the spheroid region.
  • step S1340 If generation of focused images on all focal planes stored in the focal plane table 1222 is completed (Yes in step S1340), the refocusing unit 1221 returns to step S1320. On the other hand, if generation of in-focus images on all focal planes stored in the focal plane table 1222 has not been completed (No at step S1340), the refocusing unit 1221 proceeds to step S1350.
  • step S1350 the refocusing unit 1221 selects one of the focal planes stored in the focal plane table 1222 that has not yet generated a corresponding focused image.
  • step S1360 the refocusing unit 1221 performs refocusing processing on the focal plane selected in step S1350, using the plurality of captured images acquired in step S1100, for the region of the spheroid selected in step S1330. Generate a focused image of the area of the spheroid in the focal plane.
  • the refocusing unit 1221 performs refocusing processing, for example, in the same manner as in Patent Document 4.
  • the in-focus image includes a plurality of in-focus pixels.
  • the plurality of in-focus pixels included in the in-focus image correspond one-to-one to the plurality of points on the focal plane.
  • the refocusing unit 1221 calculates a point corresponding to the area of the spheroid on the focal plane, and further calculates the pixel coordinates of the in-focus pixel corresponding to the point.
  • the refocusing unit 1221 causes the light irradiated from the different illumination positions to pass through the position of the focusing pixel and reach the light receiving surface of the image sensor 102 on the light receiving surface of the image sensor 102.
  • the refocusing unit 1221 calculates the position of the point at which the illumination light passing through the position of the focusing pixel reaches on the image sensor 102 for each of a plurality of different illumination positions for one focusing pixel,
  • the pixel value acquired by the image sensor 102 at the position of the reaching point is acquired from the plurality of captured images. Specifically, in the captured image corresponding to each illumination position, the refocusing unit 1221 acquires a pixel value at pixel coordinates of the arrival point of light from the illumination position. Furthermore, the refocusing unit 1221 calculates the pixel value of the in-focus pixel by adding the pixel value at the reaching point on the image sensor 102 acquired for all the illumination positions for the in-focus pixel. .
  • the refocusing unit 1221 calculates the pixel value of the focused pixel by adding the pixel values at the pixel coordinates of the arrival point acquired in each of the captured images corresponding to all the illumination positions. Furthermore, the refocusing unit 1221 performs the above calculation for all in-focus pixels on the focal plane where the in-focus image is to be generated, that is, all in-focus pixels corresponding to the area of the spheroid.
  • step S1370 the image generation unit 1223 generates in-focus image data of the region of the spheroid based on the pixel value for each in-focus pixel on the in-focus image generated in step S1360, that is, the in-focus image To generate image data of the area of the spheroid at the focal plane corresponding to. Furthermore, the image generation unit 1223 associates the in-focus image data of the area of the spheroid with the information of the area of the spheroid and the position information of the focal plane corresponding to the in-focus image, and stores the same in the storage unit 110. After the end of step S1370, the image generation unit 1223 returns to step S1340.
  • step S1340 by repeating the processing from step S1340 to step S1370, in-focus images of all focal planes stored in focal plane table 1222 are generated for the region of the spheroid selected in step S1330. .
  • step S1320 Furthermore, by repeating the processing from step S1320 to step S1370, in-focus images at all focal planes stored in focal plane table 1222 are generated for all spheroid areas extracted at step S1200.
  • FIG. 17 illustrates an example of the positional relationship between the plurality of illuminators 101, the spheroid 1000, and the image sensor 102 of the imaging device 100.
  • FIG. 17 shows an example of a cross-sectional view of the image sensor 102 and the spheroid 1000 in a plane perpendicular to the light receiving surface of the image sensor 102.
  • the spheroid 1000 is located between the illuminators 101 a and 101 b and the image sensor 102 and is located on the image sensor 102.
  • a focal plane 1100 that produces a focused image passes through the spheroid 1000 and intersects the light receiving surface of the image sensor 102.
  • FIG. 18 an example of a plurality of points 1102a to 1102e on the focal plane 1100 corresponding to a plurality of focusing pixels included in the focusing image is shown similarly to FIG. A method of generating a focused pixel corresponding to the point 1102a among the plurality of points 1102a to 1102e will be described. The method of generating the in-focus pixel corresponding to the other points is the same as that of the point 1102a, and thus the description thereof is omitted.
  • FIG. 19 shows an example in which the light emitted from each of the illuminators 101a and 101b is transmitted through the point 1102a on the focal plane and received by the image sensor 102.
  • the light emitted from the illuminator 101a and transmitted through the point 1102a travels on a straight line 1200a passing through the position of the illuminator 101a and the point 1102a, and reaches an intersection 1103a between the straight line 1200a and the light receiving surface of the image sensor 102.
  • the luminance value of the light reaching the intersection point 1103a from the illuminator 101a is included in the captured image of the image sensor 102 when the illuminator 101a is illuminated.
  • the pixel at the position corresponding to the intersection point 1103 a includes the image at the point 1102 a on the focal plane 1100, that is, the luminance value.
  • the position of the intersection point 1103a can be calculated from the position of the illuminator 101a and the position of the point 1102a.
  • the light emitted from the illuminator 101 b and transmitted through the point 1102 a travels on a straight line 1200 b passing through the position of the illuminator 101 b and the point 1102 a and reaches an intersection 1103 b between the straight line 1200 b and the light receiving surface of the image sensor 102.
  • the luminance value of the light reaching the intersection point 1103b from the illuminator 101b is included in the captured image of the image sensor 102 when the illuminator 101b is illuminated.
  • the pixel at the position corresponding to the intersection point 1103 b includes the image at the point 1102 a on the focal plane 1100, that is, the luminance value.
  • the position of the intersection 1103 b can be calculated from the position of the illuminator 101 b and the position of the point 1102 a.
  • a plurality of images formed by light from a plurality of directions are obtained at point 1102a on focal plane 1100 by adding the luminance value of the image at such intersection point 1103a and the luminance value of the image at intersection point 1103b.
  • Superimposed on the in-focus pixel By superimposing a plurality of images formed by light transmitted from all of the illuminators 101 to the point 1102a, a focused pixel at the point 1102a is generated.
  • the luminance value of each sensor pixel in which the position of the illuminator 101, the position of the in-focus pixel, and the position of the sensor pixel of the image sensor 102 are linearly aligned, the luminance value of the in-focus pixel is obtained. Is calculated.
  • the luminance value of the pixel can indicate the luminance value of the intersection.
  • the position of the intersection in the captured image is an intermediate position of the plurality of pixels in the captured image
  • the luminance value of the intersection in the captured image is obtained by performing interpolation processing using the luminance values of the plurality of pixels adjacent to the position of the intersection. May be calculated. Specifically, for example, as shown in FIG. 20 and Equation 1 below, for a plurality of pixels (for example, 4 pixels) adjacent to the intersection, the ratio of the distance between each pixel and the intersection to the reference distance is The luminance value of the intersection in the captured image can be obtained by multiplying the luminance value of and adding.
  • the distances between the four pixels A to D adjacent to the intersection and the intersection are represented as a, b, c and d, respectively.
  • the luminance value Lt of the intersection is obtained by the following equation 1.
  • La, Lb, Lc and Ld respectively represent luminance values of the pixel A, the pixel B, the pixel C and the pixel D, and S represents a reference distance.
  • S may be an average of the distance between the intersection and each pixel as in the following equation 2.
  • the culture state determination apparatus 10 performs refocusing processing using a plurality of captured images with different illumination positions at the time of imaging to obtain a plurality of spheroids in each of a plurality of parallel focal planes.
  • An in-focus image is generated, and on each in-focus image, the external shape of the spheroid and the hollow portion inside the spheroid are determined.
  • the culture state determination device 10 obtains the number of first pixels that constitute the area inside the outline of each spheroid and the number of second pixels that form the cavity on all focal planes, Determine the spheroid volume and cavity volume as a unit.
  • the amount of cells constituting the spheroid can be determined in a pseudo manner.
  • a state in which the first ratio of the volume of the cavity to the volume of the spheroid in the whole culture vessel is small is a state in which the amount of cells obtained as a result of culture is relatively large. Can be determined to be good.
  • the culture state determination device 10 can determine whether the culture state is good or not based on the culture efficiency of the entire culture vessel, not the culture state of the individual spheroids, and therefore cells that can be used for processing after culture The efficiency of obtaining can be improved and the amount of cells obtained can be increased.
  • the culture state determination device 10 simultaneously images a plurality of spheroids in the same culture container, and evaluates the internal state of all the spheroids, whereby the culture state of all the spheroids contained in the same culture container is obtained. It is possible to determine the quality of the product and to sort out usable spheroids.
  • the region extraction unit 121 extracts the region in which the spheroid appears from the captured image in step S1200, and the internal image generation unit 122 extracts the region in step S1300.
  • the present invention is not limited to this.
  • the culture state determination device 10 does not perform the region extraction in step S1200, and the internal image generation unit 122 sets the range of the light receiving surface of the image sensor 102 to the range in the xy plane direction in step S1300, for example.
  • the refocusing process may be performed on all pixels in the three-dimensional space with z axis as z axis.
  • the determination unit 123 extracts the outlines of the plurality of spheroids in the three-dimensional space, and determines the cavities in the outline of the spheroid. Furthermore, the calculation unit 130 calculates the number of first pixels included in the outline of the plurality of spheroids and the number of second pixels included in the hollow portion of the spheroid. In the refocusing process of all the pixels in the three-dimensional space, the internal image generation unit 122 may generate focused images on all focal planes. Then, the determination unit 123 may extract the outer shape of each spheroid and the hollow portion of each spheroid in the in-focus image of each focal plane.
  • the culture state determination device 20 according to the second embodiment will be described.
  • the culture state determination device 20 according to the second embodiment calculates the size of a plurality of spheroid regions in the reference captured image. Furthermore, when the variation in size of the plurality of spheroid regions is large, the culture state determination device determines that the culture state is poor.
  • the second embodiment will be described below focusing on differences from the first embodiment.
  • FIG. 21 is a block diagram showing an example of a functional configuration of the culture state determination device 20 according to the second embodiment.
  • the components substantially the same as those of FIG. 1 are denoted by the same reference numerals, and the description thereof will be appropriately omitted.
  • the culture state determination device 20 includes an imaging device 100, a storage unit 110, an image processing unit 220, a calculation unit 230, a state determination unit 240, and a display unit 150.
  • the image processing unit 220 includes an area extraction unit 221, an internal image generation unit 122, and a determination unit 123.
  • the configurations of the imaging device 100 and the storage unit 110 are the same as in the first embodiment.
  • the area extraction unit 221 of the image processing unit 220 determines a reference pickup image from a plurality of pickup images as in the area extraction unit 221 according to the first embodiment, and an area where a spheroid image exists from the reference pickup image, that is, , To extract the spheroid region. Furthermore, the region extraction unit 221 assigns an ID to each of the regions of the extracted spheroids. The region extraction unit 221 stores information such as the ID and the position of each region of the extracted spheroid in the storage unit 110 in association with the reference captured image from which the region of the spheroid is extracted.
  • the region extraction unit 221 calculates the pixel coordinates of the pixels forming the region of the spheroid on the reference captured image as the information of the region of the spheroid. Furthermore, the region extraction unit 221 assigns the same ID as the region of the spheroid formed by the pixel to the calculated pixel.
  • FIG. 22 schematically shows an example of a spheroid area extracted from a reference captured image. The squares in FIG. 22 schematically show a part of the pixels of the reference captured image. The region extraction unit 221 extracts the regions A1 to A5 of five spheroids in a part of the reference pickup image shown in FIG.
  • the region extraction unit 221 stores, in the storage unit 110, the pixel coordinates on the reference captured image in the pixels included in each of the regions A1 to A5 of the spheroid and the IDs 001 to 005 of the pixels in association with each other.
  • the top left vertex on the drawing which is one of the vertices of the reference captured image, is defined as the origin of pixel coordinates
  • x coordinate is defined leftward from the origin
  • the area extraction unit 221 may incorporate the information of the pixel coordinates of the area of the spheroid and the ID into the file of the reference pickup image as shown in FIG. In this case, the information on the spheroid area is stored in the storage unit 110 as an image file.
  • the region extraction unit 221 may generate pixel coordinate and ID data of the region of the spheroid so as to form a table as shown in FIG. 23 and store the data in the storage unit 110.
  • FIG. 23 shows an example of the content stored in the storage unit 110 for the information on the spheroid area.
  • the configurations of the internal image generation unit 122 and the determination unit 123 of the image processing unit 220 are the same as in the first embodiment.
  • the calculation unit 230 takes out the information on the spheroid region extracted by the region extraction unit 221 and stored in the storage unit 110, and calculates the size of each spheroid region. Specifically, the calculation unit 230 sets, for the region of each spheroid stored as a region of continuous pixels, the smallest ellipse including the region of the spheroid on the image coordinates of the reference captured image, and the ellipse Calculate the major and minor axes of the The image for which the ellipse is set may be a captured image other than the reference captured image. For example, as shown in FIG.
  • the calculation unit 230 sets the smallest ellipse C1 to C5 circumscribing each of the spheroid regions A1 to A5, and calculates the major axis and the minor axis of each of the ellipses C1 to C5.
  • the ellipse may also include a circle and an oval.
  • the calculation unit 230 calculates the sum of the lengths of the major axis and the minor axis of each ellipse, and determines this sum as the size of the spheroid.
  • the calculation unit 230 may calculate the distribution of sizes based on the ellipses of all the spheroid regions, for example, statistics such as the maximum value, the minimum value, the median, the average, and the variance.
  • the calculation unit 230 may create a histogram indicating the distribution of the size of all the spheroid regions.
  • the size of the spheroid region is not limited to the sum of the lengths of the major and minor axes of the minimum ellipse including the spheroid region.
  • the size of the spheroid area may be the area of the area, or the total area of the pixels included in the area, that is, the number of pixels, and the area of the smallest polygon including the spheroid area. Or it may be the sum of diagonal lengths.
  • the calculation unit 230 is the total number of first pixels in the entire region of the spheroid from the number of first pixels in each spheroid determined by the determination unit 123 and the number of second pixels in the hollow portion in the spheroid. A first ratio of one total number to a second total number which is the total number of second pixels is calculated.
  • the state determination unit 240 uses the information on the distribution of the spheroid sizes calculated by the calculation unit 230 to determine the quality of the culture state.
  • the state determination unit 240 determines that the culture state is poor when the scatter of the spheroid size is large, and determines that the culture state is good when the scatter of the spheroid size is small.
  • the state determination unit 240 performs the determination of the variation by applying a fourth predetermined threshold to the criterion of the variation, for example, the variance of the size of the spheroid.
  • the fourth threshold indicates that the culture state is poor when the variance of the spheroid size is equal to or greater than the fourth threshold, and the threshold indicates that the culture state is not poor when the variance is less than the fourth threshold. It is.
  • the fourth threshold can be determined to various values depending on the type and number of cells constituting the spheroid, the time point of culture of the spheroid, the quality of the culture state of the spheroid required, and the application of the spheroid, etc. .
  • the fourth threshold may be determined based on a statistical result of the relationship between the dispersion of the sizes of a plurality of spheroids detected by experiments or the like and the culture state of the spheroids.
  • Such a fourth threshold may be determined according to the above conditions by the designer, manufacturer or user of the culture state determination apparatus 10, and the determined fourth threshold may be input through an input device (not shown). And may be stored in the storage unit 110.
  • the state determination unit 240 compares the first ratio between the first total number and the second total number with a predetermined determination reference value, and if the first ratio is lower than the determination reference value, the culture state is good If the first ratio is equal to or higher than the determination reference value, it is determined that the culture state is poor.
  • the display unit 150 shows the dispersion of the spheroid size calculated by the calculation unit 230 and the result determined by the state determination unit 240.
  • the display unit 150 may display the display content by, for example, a graph, a character, a symbol, an image, or the like by a display, a sound by a speaker, an acoustic signal, or another display method.
  • FIG. 24 is a flowchart showing an example of the operation of the culture state determination device 20 according to the second embodiment.
  • the steps substantially the same as those in FIG. 11 are assigned the same reference numerals, and the description thereof will be omitted as appropriate.
  • step S1100 the imaging device 100 performs the same process as step S1100 of the first embodiment.
  • step S2200 the region extraction unit 221 of the image processing unit 220 determines a reference captured image from the captured image acquired in step S1100, and extracts a spheroid region from the reference captured image.
  • step S2300 calculation unit 230 determines, based on the information on the pixel coordinates of the pixels included in the region of the spheroid extracted in step S2200 and stored in storage unit 110 and the ID information of each spheroid on the reference captured image. Find the size of the area. Furthermore, the calculation unit 230 stores information on the size of the area of each spheroid in the storage unit 110 in association with the ID of the area.
  • the size of the spheroid area is, for example, the sum of the lengths of the major axis and the minor axis of the smallest ellipse including the area.
  • the index of the size of the spheroid area is the sum of the lengths of the major axis and minor axis of the ellipse, but the index is a polygon such as the smallest rectangle including the area of spheroid. It may be another index such as the diagonal length or the sum of diagonal lengths, the number of pixels included in the area of the spheroid, or the square root thereof.
  • the calculation unit 230 may create a histogram indicating the distribution of the sizes of all the spheroid areas based on the size of the area of each spheroid, and store the histogram in the storage unit 110.
  • the calculation unit 230 may calculate a statistic of the size of the area of the spheroid based on the size of the area of each spheroid, and store the statistic in the storage unit 110.
  • step S2400 state determination unit 240 determines the index of the size of the spheroid area calculated in step S2300, that is, the sum of the lengths of the major and minor axes of the minimum ellipse including the spheroid area. It is determined whether or not the variation in the size of all the spheroid regions extracted in step S2200 is large. At this time, the state determination unit 240 determines whether the variation in the size of all the spheroid regions is larger than a predetermined variation reference. For example, the state determination unit 240 calculates the variance of the size of all the spheroid regions, and determines whether the variance is larger than the fourth threshold.
  • the state determination unit 240 Go to S2500. If the variation in the size of the spheroid region is smaller than the variation reference, that is, if the variance of the sizes of all the spheroid regions is less than the fourth threshold (No in step S2400), the state determination unit 240 Go to S1300.
  • step S2500 the state determination unit 240 determines that the culture state is poor for the culture container containing the spheroids determined to have large size variations in step S2400. That is, the state determination unit 240 determines that the culture state of the entire one culture container is poor. Then, the state determination unit 240 determines to discard all spheroids in the culture container. That is, the state determination unit 240 determines discarding of spheroids in units of culture vessels. After the process of step S2500, the state determination unit 240 proceeds to step S2700.
  • steps S1300 to S1600 are the same as in the first embodiment. After the process of step S1600, the state determination unit 240 proceeds to step S2700.
  • step S2700 the display unit 150 displays on the display the dispersion of the spheroid sizes calculated in step S2300 and determined in step S2400.
  • the display unit 150 displays the size of the spheroid area calculated in step S2300 as the size of the spheroid.
  • the display unit 150 displays a histogram indicating the distribution of the sizes of the plurality of spheroid regions as the dispersion of the sizes of the spheroids.
  • the display unit 150 may display statistics such as the minimum value, the maximum value, the variance, and the standard deviation of the sizes of the areas of the plurality of spheroids on the display.
  • the display unit 150 also displays the determination result of step S1600.
  • the display unit 150 may simultaneously display the display of the dispersion of the spheroid size and the display of the determination result of the culture state, or may switch and display either one. Note that the display unit 150 may display the above information by using an audio signal, in combination with the display by an image or separately from the display by an image.
  • FIGS. 25A to 25D show an example of display by the display unit 150.
  • the display unit 150 is a display for displaying an image
  • FIGS. 25A to 25D schematically show examples of display screens on the display of the display unit 150.
  • FIG. 25A shows one state of the display screen 150 a of the display unit 150.
  • FIG. 25A shows a case where the culture state determination device 20 determines that the culture state of the spheroid is defective based on the dispersion of the size of the spheroid.
  • an image 150b of the entire culture vessel is displayed in the left area.
  • the spheroid extracted as the spheroid area in step S2200 is displayed.
  • the spheroids are indicated by lines emphasizing the outline of the area of the spheroid, a circle or an ellipse surrounding the area of the spheroid, or the like.
  • the image 150b is a selected one of the plurality of captured images acquired in step S1100, and may be a reference captured image.
  • the reference captured image is an image captured at the time of illumination of the illuminator 101 located immediately above the center point of the image sensor 102.
  • a histogram 150c indicating the distribution of spheroid sizes calculated in step S2300 is displayed.
  • statistical information 150d on spheroids is displayed.
  • the statistical information 150 d includes the number of regions of the extracted spheroids, that is, the number of spheroids, and information on the size of the spheroids.
  • the information on the size of the spheroid includes, but is not limited to, the mean, maximum value, minimum value and variance of the size of the spheroid.
  • the relationship between the variance and the fourth threshold yy is shown.
  • the variance is shown to be greater than the fourth threshold, ie, the variance is greater than or equal to the fourth threshold.
  • the culture state determination device 20 determines that the dispersion of the sizes of the spheroids is large in step S2400, and does not perform the processing from step S1300 to step S1600. Therefore, since there is no information other than the information displayed in FIG. 25A, the display screen 150a does not have a display for presenting calling of other information, switching of the display screen, and the like.
  • FIG. 25B shows another state of the display screen 150 a of the display unit 150.
  • FIG. 25B shows a case where the culture state determination device 20 determines that the culture state of the spheroid is not defective based on the variation in the size of the spheroid.
  • the display screen 150a as in the case of FIG. 25A, an image 150b of the entire culture vessel, a histogram 150c indicating the distribution of spheroid sizes, and statistical information 150d on the spheroids are displayed.
  • a “cell quantity display” icon 150 e for displaying other information is displayed in the lower left area in the display screen 150 a, that is, below the image 150 b.
  • the culture state determination device 20 determines that the dispersion of the spheroid sizes is within the reference in step S2400, performs refocusing processing through the processing from step S1300 to step S1600, and focuses the area of each spheroid. Generate an image. Then, the culture state determination device 20 calculates a first ratio between the total number of first pixels in the outline of the spheroid and the total number of second pixels in the cavity.
  • FIG. 25C shows another state of FIG. 25B on the display screen 150a of the display unit 150.
  • the display screen 150a of FIG. 25C is an example of a screen displayed after an input operation such as clicking is performed on the “cell amount display” icon 150e of FIG. 25B.
  • an image 150b of the entire culture vessel, a histogram 150c indicating the distribution of the sizes of spheroids, and statistical information 150d on spheroids are displayed.
  • an input unit 150f for designating a focal plane to be displayed on the image 150b is displayed adjacent to the image 150b.
  • the input means 150f is a slider.
  • the display unit 150 When the user moves the slider of the input unit 150f on the display screen 150a, the display unit 150 displays an in-focus image of each spheroid on the focal plane at a position corresponding to the position of the slider as an image 150b. That is, the display unit 150 can display a cross-sectional image of each spheroid in any focal plane.
  • the moving direction of the slider corresponds to the direction toward and away from the light receiving surface of the image sensor 102, and the position of the slider corresponds to the distance from the light receiving surface of the image sensor 102.
  • the information 150g includes the total number of first pixels in the outline of the spheroid, the total number of second pixels in the cavity of the spheroid, and the cavity ratio.
  • the void ratio is the first ratio.
  • the input unit 150f may have any configuration other than the slider as long as it can select the focal plane.
  • the input unit 150f selects a key that accepts an input of a parameter such as a numerical value indicating the position of the focal plane, a touch panel that changes the focal plane to be displayed by accepting an input such as a slide on the image 150b, or a focal plane It may be a possible pointing device or the like.
  • FIG. 25D shows another state of FIG. 25C on the display screen 150a of the display unit 150.
  • the display screen 150a of FIG. 25D is an example of a screen for displaying the enlarged image 150h of the spheroid when an image of a specific spheroid is designated on the display screen 150a of FIG. 25C. Designation of a specific spheroid image may be performed using a pointing device such as a cursor or pointer in the display screen 150a.
  • the magnified image 150h may include input means 150ha for selecting a focal plane on which the in-focus image of the spheroid is displayed.
  • the input unit 150ha may have the same configuration as the input unit 150f, and is a slider in this example. Thereby, the user can display an arbitrary cross-sectional image of the selected spheroid in the enlarged image 150 h and can visually recognize it.
  • the culture state determination device 20 determines the culture state in the culture container unit based on the dispersion of the size of the spheroids and the amount of cells in the spheroids on the display screen 150a as shown in FIGS. 25A to 25D.
  • three-dimensional images of individual spheroids can be displayed to provide the user with detailed information about the spheroids.
  • the culture state determination device 20 first determines, for the plurality of spheroids cultured in the culture container, the variation in the size of the plurality of spheroids.
  • the culture state determination device 20 determines discarding of all the spheroids in the culture container when the variation is larger than the standard, and further determines the culture state when the variation is smaller than the standard.
  • the culture state determination device 20 is a cavity for the volume of spheroids in the entire culture vessel, as in the first embodiment, for a plurality of spheroids in the culture vessel not discarded due to the variation. Based on the first ratio of part volume, it is determined whether the culture condition in the whole culture vessel is good or bad.
  • the amount of processing for calculating the first ratio involving the refocusing process is relatively large.
  • the processing amount for determining the dispersion of the sizes of the plurality of spheroids in the culture vessel is much smaller than the processing amount for calculating the first ratio.
  • the culture state determination device 20 improves the processing speed to determine the culture state of the spheroids of the plurality of culture vessels by narrowing the number of culture vessels for which the first ratio is to be calculated based on the dispersion of the sizes of the spheroids. Can.
  • the culture state determination device 20 determines the culture state of the spheroid in culture by the container unit of culture, and enables efficient extraction of cultured cells in a state suitable for differentiation treatment.
  • the culture state determination apparatus calculates, for each spheroid, the number of first pixels in the outline of the spheroid and the number of second pixels in the cavity of the spheroid on the in-focus image of each focal plane. did. Furthermore, the culture state determination device calculates the first total number by calculating the sum of the numbers of first pixels in all focal planes of all spheroids, and the second pixels in all focal planes of all spheroids. The second total number was calculated by calculating the sum of the numbers of. However, the method of calculating the first total number and the second total number is not limited to this.
  • the culture state determination device calculates the first total number by calculating the sum of the numbers of first pixels in all focal planes and calculating the sum of the numbers of first pixels of all spheroids for each spheroid. May be Similarly, the culture state determination device calculates the second total number by calculating the sum of the numbers of the second pixels in all focal planes and calculating the sum of the numbers of the second pixels of all the spheroids for each spheroid. You may In this case, it is possible to determine the culture state of each spheroid by calculating the volume of each spheroid and the volume of the cavity of each spheroid.
  • the technology of the present disclosure may be realized by a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer readable recording disk, and the system, an apparatus, a method, an integrated circuit.
  • a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer readable recording disk
  • the system, an apparatus, a method, an integrated circuit And may be realized by any combination of computer program and recording medium.
  • the computer readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM.
  • each processing unit included in the culture state determination apparatus is typically realized as an LSI (Large Scale Integration: large scale integrated circuit) which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include some or all.
  • LSI Large Scale Integration: large scale integrated circuit
  • circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • a field programmable gate array (FPGA) that can be programmed after LSI fabrication, or a reconfigurable processor that can reconfigure connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a processor such as a CPU reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • part or all of the above components may be composed of a removable integrated circuit (IC) card or a single module.
  • the IC card or module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or module may include the above LSI or system LSI.
  • the IC card or module achieves its function by the microprocessor operating according to the computer program. These IC cards and modules may be tamper resistant.
  • the culture state determination method of the present disclosure may be realized by a micro processing unit (MPU), a CPU, a processor, a circuit such as an LSI, an IC card, or a single module.
  • MPU micro processing unit
  • CPU central processing unit
  • processor central processing unit
  • circuit such as an LSI, an IC card, or a single module.
  • the technology of the present disclosure may be realized by a software program or a digital signal consisting of a software program, and may be a non-transitory computer readable recording medium in which the program is recorded. Further, it goes without saying that the program can be distributed via a transmission medium such as the Internet.
  • division of functional blocks in the block diagram is an example, and a plurality of functional blocks may be realized as one functional block, one functional block may be divided into a plurality, or some functions may be transferred to another functional block. May be Also, a single piece of hardware or software may process the functions of a plurality of functional blocks having similar functions in parallel or in time division.
  • the technology of the present disclosure can be widely used as a technology for determining the culture state of cell clusters such as stem cells in culture, stem cells such as iPS cells and ES cells, or embryos, and spheroids of pluripotent cells such as stem cells. It is useful in determining whether or not the culture state is suitable for differentiation treatment when culturing and performing differentiation treatment.
  • a culture state determination device which Multiple light sources, An image sensor capable of mounting a cell mass, and a control circuit, Equipped with Here, the control circuit is in operation
  • A A plurality of captured images are acquired by repeating acquisition of a captured image including the cell mass using the image sensor when illuminating the cell mass using each of the plurality of light sources sequentially , here, Each of the plurality of captured images includes the cell mass;
  • B extracting an image area including the cell mass from each of the plurality of captured images;
  • C generating three-dimensional image information for the image area using the plurality of captured images;
  • D calculating a first volume and a second volume from the three-dimensional image information;
  • the first volume is the total volume of the cell mass
  • the second volume is the volume of the cavity of the cell mass, and (e) using the first volume and the second volume, Determining the culture state of the cell mass, Culture state determination device.
  • (Item D12) The culture state determination device of item D11, wherein Further equipped with a storage unit, The plurality of captured images acquired in the step (a) are stored in the storage unit. Culture state determination device. (Item D13) The culture state determination device of item D11, wherein The three-dimensional image information generated in the step (c) is stored in the storage unit, Culture state determination device. (Item D14) The culture state determination device of item D11, wherein The first volume is calculated from the outline of the cell mass extracted from the three-dimensional image information, and the second volume is calculated from the shape of the hollow portion extracted from the three-dimensional image information. Culture state determination device.
  • a culture state determination device which Multiple light sources, An image sensor capable of mounting a plurality of cell masses, and a control circuit, Equipped with Here, the control circuit is in operation (A) acquiring a captured image including at least one cell mass included in the plurality of cell masses using the image sensor when illuminating the plurality of cell masses using the plurality of light sources sequentially Acquire multiple captured images by repeating here, Each of the plurality of captured images includes at least one cell mass included in the plurality of cell masses, (B) extracting an image area including one cell mass from each of the plurality of captured images; (C) generating three-dimensional image information for the image area using the plurality of captured images; (D) calculating a first volume and a second volume from the three-dimensional image information; here, The first volume is a whole volume of the one cell mass, and the second volume is a volume of a cavity of the one cell mass, and (e) the first volume and the second volume Determining the culture state of the at least one cell mass using Culture
  • the culture state determination device of item D21 The culture state determination device of item D21, The first volume is calculated from the outline of the one cell mass extracted from the three-dimensional image information, and the second volume is calculated from the shape of the one hollow portion extracted from the three-dimensional image information Calculated, Culture state determination device.
  • (Item M11) A method of determining a culture state, wherein (A) A plurality of captured images are acquired by repeating acquisition of a captured image including the cell mass using the image sensor when illuminating the cell mass using each of the plurality of light sources sequentially , here, Each of the plurality of captured images includes the cell mass; (B) extracting an image area including the cell mass from each of the plurality of captured images; (C) generating three-dimensional image information for the image area using the plurality of captured images; (D) calculating a first volume and a second volume from the three-dimensional image information; The first volume is the total volume of the cell mass, and the second volume is the volume of the cavity of the cell mass, and (e) using the first volume and the second volume, Determining the culture state of the cell mass, Method.
  • the method of item M11 The method of item M11, The first volume is calculated from the outline of the cell mass extracted from the three-dimensional image information, and the second volume is calculated from the shape of the hollow portion extracted from the three-dimensional image information.
  • Method. A method of determining a culture state, wherein (A) acquiring a captured image including at least one cell mass included in the plurality of cell masses using the image sensor when illuminating the plurality of cell masses using the plurality of light sources sequentially Acquire multiple captured images by repeating here, Each of the plurality of captured images includes at least one cell mass included in the plurality of cell masses, (B) extracting an image area including one cell mass from each of the plurality of captured images; (C) generating three-dimensional image information for the image area using the plurality of captured images; (D) calculating a first volume and a second volume from the three-dimensional image information; here, The first volume is a whole volume of the one cell mass, and the second volume is a volume of a cavity of the one cell
  • Step M22 The method of item M21, Steps (b) to (d) are repeated, and the culture state of two or more cell masses is determined in step (e), Method.
  • Step M26 The method of item M21, The first volume is calculated from the outline of the one cell mass extracted from the three-dimensional image information, and the second volume is calculated from the shape of the hollow portion extracted from the three-dimensional image information. The Method.
  • 20 culture state determination device 100 imaging device 101, 101a, 101b illuminator 102 image sensor 103 imaging control unit 110 storage unit 120, 220 image processing unit 121, 221 area extraction unit 122 internal image generation unit 123 determination unit 130, 230 Calculation unit 140, 240 State determination unit 150 Display unit 1221 Refocusing unit 1222 Focal plane table 1223 Image generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biotechnology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Medicinal Chemistry (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Food Science & Technology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Computer Graphics (AREA)
  • Cell Biology (AREA)
  • Virology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本開示は、１つ以上のスフェロイド等の細胞塊の状態を評価することを可能する技術を提供する。本開示に係る培養状態判定装置では。複数の光源は順番に、イメージセンサに載置された複数の細胞塊を照明する。前記イメージセンサは、前記複数の光源が前記複数の細胞塊を照明する毎に、前記複数の細胞塊の撮像画像を取得する。少なくとも１つの制御回路は、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する。

Description

培養状態判定装置、培養状態判定方法及びプログラム
　本開示は、任意の焦点面における対象物の画像を生成する技術に関する。
　培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。培養の方法として、スフェロイドと呼ばれる細胞塊として細胞を培養する方法がある。多数の培養細胞を含むスフェロイドの状態の良否を判断するために、顕微鏡を用いたスフェロイドの撮像画像を元に、培養細胞の状態を判定する技術が提案されてきた。
　例えば、特許文献１～３は、スフェロイドの状態の良否を判断する技術を開示している。特許文献１では、スフェロイドは顕微鏡を介して撮像され、さらに、取得された画像からスフェロイドの外形の円形度及び鮮明度が判定され、スフェロイドの画像の輝度分布からスフェロイドの崩壊の状態が判定される。また、特許文献２では、画像におけるスフェロイドの輪郭の円形度からスフェロイドの状態の良否が判定される。また、特許文献３では、スフェロイドに含まれる細胞の遺伝子を操作することによって、当該細胞が、発光タンパクを生成して無光源状態で光るように調整される。さらに、上記のような細胞を含むスフェロイドを、顕微鏡を用いて複数の焦点面で撮像した結果から、スフェロイドの３次元情報が合成される。
国際公開第２０１５／１４５８７２号 国際公開第２０１６／１５８７１９号 国際公開第２０１６／１１７０８９号 米国特許出願公開第２０１７／０１９２２１９号明細書
　しかしながら、特許文献１及び２の技術は、スフェロイドの形状及びスフェロイド表面の輝度分布からスフェロイドの状態を評価するため、スフェロイドの内部の状態を評価することが困難である。特許文献３の技術は、スフェロイドの３次元情報に基づきスフェロイド内部の状態を評価することができるが、スフェロイドに含まれる細胞の遺伝子を操作するため、治療用の細胞に用いることは難しい。また、特許文献１～３の技術は、個別のスフェロイドの培養状態の良否を判定することが可能であるが、医療用又は産業用に培養された大量のスフェロイドから、良好な培養状態であり且つ使用可能であるスフェロイドを選別するのは困難である。
　そこで本開示は、１つ以上のスフェロイド等の細胞塊の状態を評価することを可能とする培養状態判定装置、培養状態判定方法及びプログラムを提供する。
　本開示の一態様に係る培養状態判定装置は、複数の光源と、対象物である複数の細胞塊が載置されるイメージセンサと、少なくとも１つの制御回路と、を備え、前記複数の光源は順番に、前記複数の細胞塊を照明し、前記イメージセンサは、前記複数の光源が前記複数の細胞塊を照明する毎に、前記複数の細胞塊の撮像画像を取得し、前記少なくとも１つの制御回路は、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する。
　本開示の一態様に係る培養状態判定方法は、イメージセンサ上に位置する対象物である複数の細胞塊の培養状態を判定する培養状態判定方法であって、複数の光源のそれぞれを照明する毎に、前記イメージセンサを用いて、前記複数の細胞塊の撮像画像を取得し、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定し、上記処理の少なくとも１つは制御回路によって実行される。
　本開示の一態様に係るプログラムは、イメージセンサ上に位置する対象物である複数の細胞塊の複数の撮像画像を取得し、ここで、前記複数の撮像画像は、複数の光源のそれぞれを照明する毎に、前記イメージセンサによって取得され、前記撮像画像において細胞塊の画像を含む領域を抽出し、前記複数の撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定することを、コンピュータに実行させる。
　なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）等の不揮発性の記録媒体を含む。
　本開示の培養状態判定装置等によれば、１つ以上の細胞塊の状態を評価することが可能になる。
図１は、実施の形態１に係る培養状態判定装置の機能的な構成の一例を示すブロック図である。 図２は、図１の撮像装置の機能的な構成の一例を示すブロック図である。 図３は、実施の形態１に係る培養状態判定装置における複数の照明器及びイメージセンサの関係の一例を模式的に示す側面図である。 図４は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 図５は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 図６は、実施の形態１に係る内部画像生成部の機能的な構成の一例を示すブロック図である。 図７は、実施の形態１に係る焦点面テーブルが記憶する内容の一例を示す図である。 図８は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 図９Ａは、スフェロイドの領域の処理画像の一例を示す図である。 図９Ｂは、スフェロイドの領域の処理画像の一例を示す図である。 図９Ｃは、スフェロイドの領域の処理画像の一例を示す図である。 図９Ｄは、スフェロイドの領域の処理画像の一例を示す図である。 図１０は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 図１１は、実施の形態１に係る培養状態判定装置の動作の一例を示すフローチャートである。 図１２は、スフェロイドの撮像状況の一例を示す模式的な斜視図である。 図１３は、スフェロイドの合焦画像を２値化した画像において空洞部の有無を判定する方法を模式的に示す図である。 図１４Ａは、図９Ａと同様のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す図である。 図１４Ｂは、図９Ｂと同様のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す図である。 図１４Ｃは、図９Ｃと同様のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す図である。 図１４Ｄは、図９Ｄと同様のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す図である。 図１５は、実施の形態１に係る撮像装置の動作の一例を示すフローチャートである。 図１６は、実施の形態１に係る内部画像生成部の動作の一例を示すフローチャートである。 図１７は、実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。 図１８は、実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。 図１９は、実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。 図２０は、実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。 図２１は、実施の形態２に係る培養状態判定装置の機能的な構成の一例を示すブロック図である。 図２２は、基準撮像画像から抽出されたスフェロイドの領域の一例を示す模式図である。 図２３は、スフェロイドの領域の情報について、実施の形態２に係る記憶部が記憶する内容の一例を示す図である。 図２４は、実施の形態２に係る培養状態判定装置の動作の一例を示すフローチャートである。 図２５Ａは、実施の形態２に係る表示部による表示の一例を示す図である。 図２５Ｂは、実施の形態２に係る表示部による表示の一例を示す図である。 図２５Ｃは、実施の形態２に係る表示部による表示の一例を示す図である。 図２５Ｄは、実施の形態２に係る表示部による表示の一例を示す図である。
　本開示に関係する発明者ら、つまり、本発明者らは、以下の知見に至った。医療用又は産業用に細胞が培養される場合、大量のスフェロイドが同時に生成される。大量のスフェロイドは、同一のウェル等の培養容器内に入れられた状態で、状態の良否が判定される。「背景技術」の欄で記載したように、特許文献１～３のような従来技術を用いる場合、各スフェロイドが個別に判定される。上記の従来技術では、全てのスフェロイドの良否を評価するために、多くの時間及び処理量を必要とする。このため、本発明者らは、１つ以上のスフェロイドの内部状態を一緒に評価することを可能にする技術を検討した。例えば、本発明者らは、同一の培養容器内の１つ以上のスフェロイド等の細胞塊を同時に撮像し、撮像画像から全ての細胞塊の内部状態を評価することを可能にする技術を検討した。そこで、本発明者らは、以下に示すような技術を考案した。
　例えば、本開示の一態様に係る培養状態判定装置は、複数の光源と、対象物である複数の細胞塊が載置されるイメージセンサと、少なくとも１つの制御回路と、を備え、前記複数の光源は順番に、前記複数の細胞塊を照明し、前記イメージセンサは、前記複数の光源が前記複数の細胞塊を照明する毎に、前記複数の細胞塊の撮像画像を取得し、前記少なくとも１つの制御回路は、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する。
　上記態様によると、培養状態判定装置は、細胞塊の画像を含む領域の３次元画像情報から抽出される細胞塊の外形及び空洞部に基づき、細胞塊の外形に基づく第一体積と空洞部の第二体積とを求める。上記の領域は、１つ以上の細胞塊を含む。このため、１つ以上の細胞塊について、第一体積及び第二体積が求められる。よって、培養状態判定装置は、１つ以上の細胞塊の培養状態を判定することができる。
　本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記細胞塊それぞれの前記第一体積の合計である第一総体積と、前記細胞塊それぞれの前記空洞部の前記第二体積の合計である第二総体積とを求め、前記第一総体積と前記第二総体積とを用いて前記複数の細胞塊全体の培養状態を判定してもよい。
　上記態様によると、培養状態判定装置は、複数の細胞塊全体の培養状態を判定する。例えば、複数の細胞塊は、培養容器内で一緒に培養される。このような場合、培養状態判定装置は、培養容器内に含まれる複数の細胞塊全体の培養状態を判定することができる。つまり、培養容器毎での培養状態の判定が可能になる。通常、同一の培養容器内で培養される細胞塊の培養状態は、類似する。このため、培養容器毎に細胞塊の培養状態を判定することは、培養された細胞塊の取捨選択の処理を効率化する。
　本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記複数の撮像画像のうちの１つを用いて、前記領域を抽出してもよい。
　上記態様によると、培養状態判定装置は、１つの撮像画像から抽出された細胞塊の画像を含む領域を、他の処理に用いる。これにより、細胞塊の画像を含む領域の抽出のための処理量が低減するため、培養状態判定装置は処理速度を向上することができる。
　本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記３次元画像情報として、前記複数の光源と前記イメージセンサとの間に位置する複数の仮想的な焦点面それぞれにおける前記領域の合焦画像を生成してもよい。
　上記態様によると、培養状態判定装置は、細胞塊の画像を含む領域について、複数の仮想的な焦点面での複数の合焦画像を生成する。複数の合焦画像は、細胞塊の様々な位置での画像を示し得る。例えば、複数の合焦画像は、細胞塊の様々な断面画像を示し得る。複数の合焦画像から抽出される細胞塊の外形及び空洞部を用いることによって、第一体積及び第二体積の算出精度が向上し得る。
　本開示の一態様に係る培養状態判定装置において、前記イメージセンサは、複数のセンサ画素を有し、前記合焦画像は、複数の合焦画素で構成されており、前記少なくとも１つの制御回路は、前記複数の撮像画像それぞれの撮像時に照明する前記光源の位置それぞれと、前記合焦画素の位置とに基づき、前記合焦画素に対応する前記センサ画素それぞれの輝度値を取得することによって、前記合焦画素を生成してもよい。
　上記態様によると、合焦画素に、当該合焦画素に対応する複数の撮像画像の輝度値を反映することができるため、高画質な合焦画像の生成が可能になる。
　本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記合焦画像において、前記細胞塊の外形及び前記空洞部を抽出し、前記合焦画像において、前記細胞塊の外形に基づく面積である第一面積と前記空洞部の面積である第二面積とを求め、前記第一面積を用いて前記第一体積を求め、前記第二面積を用いて前記第二体積を求めてもよい。
　上記態様によると、培養状態判定装置は、合焦画像毎に、細胞塊の外形に基づく第一面積と空洞部の第二面積とを求める。合焦画像における第一面積及び第二面積はそれぞれ、合焦画像に対応する焦点面での細胞塊及び空洞部の断面積を示し得る。このような複数の焦点面における第一面積及び第二面積を用いることによって、第一体積及び第二体積の算出が容易になる。
　本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記領域の大きさを求め、前記領域の大きさのばらつきに基づき、前記細胞塊の培養状態を判定してもよい。
　上記態様によると、細胞塊の画像を含む領域の大きさのばらつきは、細胞塊の大きさのばらつきを示し得る。培養状態判定装置は、第一体積及び第二体積だけでなく、細胞塊の大きさのばらつきにも基づいて、細胞塊の培養状態を判定する。よって、判定精度の向上が可能になる。
　本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記領域の大きさのばらつきが、基準内に収まる場合、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定してもよい。
　上記態様によると、培養状態判定装置は、第一体積及び第二体積を用いた培養状態の判定を行う対象を限定することができる。通常、３次元画像情報を用いた第一体積及び第二体積の算出処理量は、細胞塊の画像を含む領域の大きさのばらつきの算出処理量よりも多い。培養状態判定装置は、処理量がより多い処理の頻度を低減することによって、処理速度を向上することができる。
　また、本開示の一態様に係る培養状態判定方法は、イメージセンサ上に位置する対象物である複数の細胞塊の培養状態を判定する培養状態判定方法であって、複数の光源のそれぞれを照明する毎に、前記イメージセンサを用いて、前記複数の細胞塊の撮像画像を取得し、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定し、上記処理の少なくとも１つは制御回路によって実行される。上記態様によると、本開示の一態様に係る培養状態判定装置と同様の効果が得られる。
　また、本開示の一態様に係るプログラムは、イメージセンサ上に位置する対象物である複数の細胞塊の複数の撮像画像を取得し、ここで、前記複数の撮像画像は、複数の光源のそれぞれを照明する毎に、前記イメージセンサによって取得され、前記撮像画像において細胞塊の画像を含む領域を抽出し、前記複数の撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定することを、コンピュータに実行させる。上記態様によると、本開示の一態様に係る培養状態判定装置と同様の効果が得られる。
　なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。また、装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　以下、本開示に係る培養状態判定装置について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
　［実施の形態１］
　実施の形態１に係る培養状態判定装置１０を説明する。図１は、実施の形態１に係る培養状態判定装置１０の機能的な構成の一例のブロック図を示す。図２は、図１の撮像装置１００の機能的な構成の一例のブロック図を示す。図１及び図２に示されるように、実施の形態１に係る培養状態判定装置１０は、イメージセンサ１０２上に位置する複数の対象物である複数のスフェロイドに、イメージセンサ１０２の上方に配置された複数の照明器１０１を用いて順に照明し、照明の毎にイメージセンサ１０２を用いて複数のスフェロイドを一緒に撮像し、複数の撮像画像を取得する。さらに、培養状態判定装置１０は、取得した複数の撮像画像を用いて、複数の照明器１０１とイメージセンサ１０２との間に位置する任意の仮想的な焦点面における複数のスフェロイドの画像を生成する。このように複数の撮像画像を用いて生成された任意の仮想的な焦点面における画像を「合焦画像」と呼ぶ。培養状態判定装置１０は、生成した合焦画像中で、スフェロイドの外形に基づくスフェロイドの体積とスフェロイド中の空洞部の体積とを求め、２つの体積比に基づいて、スフェロイドの培養の状態の良否を判定する。なお、スフェロイドの体積は、当該体積に相当する細胞数で置き換えることができ、空洞部の体積は、当該体積に相当する細胞数で置き換えることができる。このように置き換えられた細胞数を、「擬似細胞数」と呼ぶ。
　［１－１．実施の形態１に係る培養状態判定装置の構成］
　実施の形態１に係る培養状態判定装置１０の構成を説明する。図１に示されるように、培養状態判定装置１０は、撮像装置１００と、記憶部１１０と、画像処理部１２０と、計算部１３０と、状態判定部１４０と、表示部１５０とを備える。さらに、画像処理部１２０は、領域抽出部１２１と、内部画像生成部１２２と、判別部１２３とを備える。
　まず、撮像装置１００の構成を説明する。図２に示されるように、撮像装置１００は、複数の照明器１０１と、イメージセンサ１０２と、撮像制御部１０３とを備える。撮像装置１００は、イメージセンサ１０２を用いて対象物の撮像画像（photographic image）を取得する。本実施の形態では、撮像装置１００は、フォーカスレンズを有さない。撮像装置１００は、１つの装置又はシステムによって形成されてもよく、複数の装置又はシステムによって形成されてもよく、培養状態判定装置１０の他の構成要素とは別の装置又はシステムに組み込まれてもよい。ここで、照明器１０１は、光源の一例である。
　対象物は、例えば、イメージセンサ１０２上に載置される複数のスフェロイドである。各スフェロイドは、複数の半透明の細胞で構成された細胞塊であり、３次元的な構造を持つ。つまり、スフェロイドにおいて、複数の細胞は、３次元的に重なって位置することがある。このようなスフェロイドは、半透明であり、光を透過させることができる。例えば、スフェロイドは、球状又は楕円球状の外形を有しており、２００μｍ以下の最大径を有する。ここで、スフェロイドは、細胞塊の一例である。
　複数の照明器１０１の各々は、拡散光を出力する。複数の照明器１０１は、ＬＥＤ（Light Emitting Diode）等の複数の照明装置であってもよく、複数の光源であってもよく、ディスプレイの複数の発光素子であってもよい。各照明器１０１は、交錯しない光を照射する。１つの照明器１０１から照射された光を表す複数の光線は、互いに交わらない。例えば、複数の照明器１０１のうちの第１の照明器及び第２の照明器に関して、第１の照明器及び第２の照明器のそれぞれは、交錯しない光を照射する。すなわち、第１の照明器から照射された第１の光を表す複数の第１の光線は、互いに交わらない。また、第２の照明器から照射された第２の光を表す複数の第２の光線も、互いに交わらない。したがって、第１の照明器及び第２の照明器のどちらか一方から光を照射した場合に、第１の照明器及び第２の照明器の当該一方からの光は、イメージセンサ１０２に含まれる１つのセンサ画素に単一の方向から到達する。つまり、各照明器１０１から照射された光は、イメージセンサ１０２の１つのセンサ画素に対して２つ以上の方向から入射しない。なお、イメージセンサ１０２は、その受光面に沿って配列された複数のセンサ画素を有する。
　このような照明光は、点状の発光部を有する照明器１０１からの拡散光によって実現可能であり、平行光を発する照明器１０１からの光によっても実現可能である。例えば、点状の発光部を有する照明器１０１は、擬似点光源によって代用されてもよい。複数の擬似点光源の例は、１つの照明装置の近傍に複数のピンホールを有する遮光板を置くことで実現される構成である。当該照明装置から出射される光は、開放されたピンホールを通過してイメージセンサ１０２へ照射する。ピンホールから出射される光は、点光源から出射される光に擬似する。そして、開放するピンホールを変更することによって、擬似点光源の位置、つまり照明位置の変更が可能である。ピンホールの大きさは、イメージセンサ１０２のセンサ画素のピッチと、イメージセンサ１０２とピンホールとの距離と、合焦画像を生成する点のイメージセンサ１０２からの距離とによって制限される。
　複数の照明器１０１は、イメージセンサ１０２の受光面の上方に配置され、上方から下方に向かって光を照射する。複数の照明器１０１は、面に沿って並んで配列され、順に、光を照射する。複数の照明器１０１は、イメージセンサ１０２から見たときに互いに異なる位置となるように配置され、互いに異なる方向からイメージセンサ１０２上の対象物へ光を照射する。例えば、複数の照明器１０１は、図３に示すような構成であってもよい。図３は、実施の形態１に係る撮像装置１００における複数の照明器１０１及びイメージセンサ１０２の関係の一例を模式的に示す側面図である。この場合、複数の照明器１０１は、イメージセンサ１０２の受光面である表面と平行な単一の平面１０１Ｈ上において、互いに異なる位置に、例えば格子状の配列で配置される。このような複数の照明器１０１は、互いに異なる方向からイメージセンサ１０２上の対象物へ光を照射する。例えば、複数の照明器１０１のうちの第１の照明器１０１ａ及び第２の照明器１０１ｂから照射される光は、イメージセンサ１０２上の対象物に対して異なる方向から入射する。また、第１の照明器１０１ａ及び第２の照明器１０１ｂから照射される光はそれぞれ、イメージセンサ１０２の１つのセンサ画素に単一の方向から到達する。
　このように、イメージセンサ１０２の受光面に対して互いに異なる位置に配置された複数の照明器１０１から照射される光は、受光面に対して異なる入射角で入射する。さらに、イメージセンサ１０２の同一のセンサ画素に対する光の入射方向は、照明器１０１毎に異なる。ここで、照明器１０１は、光源の一例である。
　なお、本実施の形態では、複数の照明器１０１は、平面１０１Ｈ上に配置された複数の点光源としたが、特許文献４に示されるように、球面上に配置され且つ平行光を出射する複数の光源で構成されてもよい。
　イメージセンサ１０２は、複数のセンサ画素を有する。イメージセンサ１０２の各センサ画素は、受光面に配置され、複数の照明器１０１から照射された光の強度を取得する。イメージセンサ１０２は、各センサ画素により取得された光の強度に基づいて、撮像画像を取得する。なお、イメージセンサ１０２が撮像（「撮影」とも呼ばれる）するとは、イメージセンサ１０２が、そのセンサ画素毎に照射された光の強度を検知し記録することである。イメージセンサ１０２の受光面上に、対象物としてスフェロイドが載置される場合、イメージセンサ１０２は、スフェロイドを透過する光の強度を取得する。イメージセンサ１０２は、取得した撮像画像の情報を記憶部１１０に格納する。イメージセンサ１０２の例は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサである。
　撮像制御部１０３は、複数の照明器１０１による光の照射及びイメージセンサ１０２による撮像を制御する。具体的には、撮像制御部１０３は、複数の照明器１０１が光を照射する順番、及び、複数の照明器１０１が光を照射する時間間隔等を制御する。撮像制御部１０３は、イメージセンサ１０２が撮像した撮像画像データに、ＩＤ（Identification）、撮像時刻、照明した照明器１０１等の撮像画像に関する情報を対応付けて、当該情報を記憶部１１０に格納する。
　撮像制御部１０３は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ、並びに、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read-Only Memory）等のメモリなどからなるコンピュータシステム（図示せず）により構成されてもよい。撮像制御部１０３の構成要素の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮像制御部１０３の構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。撮像制御部１０３の構成要素の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。ここで、撮像制御部１０３は、制御回路の一例である。
　さらに、撮像装置１００以外の構成要素を説明する。記憶部１１０は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Solid State Drive）等の記憶装置によって実現される。記憶部１１０は、撮像装置１００が取得した複数の撮像画像等を格納する。記憶部１１０は、イメージセンサ１０２で撮像された画像を、当該撮像に用いられた照明器１０１の位置情報と共に記憶する。
　例えば、図４には、上述のように記憶部１１０が記憶する内容の一例が示されている。撮像装置１００によって取得された撮像画像ファイル毎に、当該撮像画像ファイルの取得時に用いられた照明器１０１の位置情報つまり照明位置が記憶されている。図４の例では、照明位置は、イメージセンサ１０２に対する照明器１０１の相対的な位置を示す。以下において、この照明器１０１の位置情報を「照明位置情報」とも呼び、照明器１０１の位置を「照明位置」とも呼ぶ。照明位置情報は、撮像画像ファイルのファイルＩＤと共に又は対応付けられて記憶されており、撮像画像ファイルとファイルＩＤを介して結合されている。なお、照明位置情報は、撮像画像ファイルの一部（例えばヘッダ情報）に記録されてもよい。
　また、画像処理部１２０は、少なくとも１つの制御回路によって実現される。図１に示すように、画像処理部１２０は、領域抽出部１２１と、内部画像生成部１２２と、判別部１２３とを備える。画像処理部１２０は、１つの装置又はシステムによって形成されてもよく、複数の装置又はシステムによって形成されてもよく、画像処理部１２０の他の構成要素とは別の装置又はシステムに組み込まれてもよい。
　領域抽出部１２１は、撮像装置１００によって撮像され且つ記憶部１１０に記憶された複数の撮像画像のうち、少なくとも１つの撮像画像から、対象物であるスフェロイドの画像が存在する領域、つまりスフェロイドの領域を抽出する。本実施の形態では、領域抽出部１２１は、１つの撮像画像のみから当該領域を抽出するが、これに限定されない。当該領域が抽出される画像を、「基準撮像画像」と呼ぶ。
　具体的には、本実施の形態では、領域抽出部１２１は、照明器１０１の位置毎に対応する撮像画像のうち、例えば、イメージセンサ１０２の受光面の中心位置の直上に位置する照明器１０１の照明の際に撮像された画像を基準撮像画像に決定する。さらに、領域抽出部１２１は、基準撮像画像に含まれるスフェロイドの領域を抽出する。当該領域の抽出方法は、例えば、公知の画像認識処理に基づく。領域抽出部１２１は、１つの基準撮像画像に対して、画像認識の結果に基づいて抽出した領域を、対象領域に決定する。スフェロイドの領域の認識処理は、例えば、予め定められた色及び輪郭等の特徴に基づいて行われる。スフェロイドの領域の認識処理によって複数の領域が抽出された場合には、領域抽出部１２１は、抽出された複数の領域の全てを対象領域に決定する。領域抽出部１２１は、決定した対象領域を、対象領域を抽出した基準撮像画像と対応付けて記憶部１１０に記憶する。なお、基準撮像画像は、イメージセンサ１０２の受光面の中心位置の直上に位置する照明器１０１の照明の際に撮像された画像に限定されず、いかなる照明器１０１の撮像画像であってもよい。例えば、基準撮像画像は、イメージセンサ１０２の受光面上において、スフェロイドの密度が高い領域の直上に位置する照明器１０１の照明の際に撮像された画像であってもよい。
　例えば、図５には、上述のように記憶部１１０が記憶する内容の一例が示されている。領域抽出部１２１は、対象領域に決定した１つ以上のスフェロイドの領域それぞれに、例えば、領域ＩＤを付与する。さらに、領域抽出部１２１は、領域ＩＤに対応する領域それぞれに対して、基準撮像画像上での座標、例えば、画素座標を算出する。画素座標は、画像における画素を基準とした座標系である。領域抽出部１２１は、図５に示すように、各領域の座標と、各領域に対応する領域ＩＤとを対応付け、これらを記憶部１１０に記憶する。なお、スフェロイドの領域の座標の設定方法は、いかなる方法であってもよい。例えば、領域抽出部１２１は、基準撮像画像上において、スフェロイドの領域に外接する矩形形状等の枠を形成し、当該枠上の１つ以上の点の座標を、当該領域の座標としてもよい。この場合、領域抽出部１２１は、辺長等の枠の大きさの情報も、領域ＩＤと対応付けて記憶部１１０に記憶させてもよい。又は、領域抽出部１２１は、基準撮像画像上におけるスフェロイドの領域の重心の座標を、当該領域の座標としてもよい。なお、図５の例では、スフェロイドの領域の座標は、矩形枠の対角位置の２つの頂点の座標である。
　内部画像生成部１２２は、１つ以上のスフェロイドの内部の画像を生成する。内部画像生成部１２２は、記憶部１１０に記憶された複数の撮像画像と照明位置情報とを用いて、予め定められた仮想的な焦点面の位置情報に従って、リフォーカシング処理を行い、当該焦点面におけるスフェロイドの合焦画像を生成する。内部画像生成部１２２は、仮想的な焦点面毎に、合焦画像を生成する。内部画像生成部１２２は、生成した合焦画像を、記憶部１１０に記憶する。なお、上記の合焦画像を生成する処理を「リフォーカシング処理」と呼び、リフォーカシング処理の詳細は後述する。
　さらに、図６には、内部画像生成部１２２の詳細な構成が示されている。なお、図６は、実施の形態１に係る内部画像生成部１２２の機能的な構成の一例を示すブロック図である。図６に示されるように、内部画像生成部１２２は、リフォーカシング部１２２１と、焦点面テーブル１２２２と、画像生成部１２２３とを備える。
　焦点面テーブル１２２２は、予め定められた仮想的な焦点面の位置を記憶する。焦点面テーブル１２２２は、記憶部１１０に関して上述した構成のうちのいずれかの構成を有してもよい。仮想的な焦点面は、複数の照明器１０１及びイメージセンサ１０２の間に位置する焦点面である。仮想的な焦点面は、本実施の形態では、イメージセンサ１０２の受光面に平行な面であるが、受光面と交差する方向の面であってもよい。例えば、図７には、焦点面テーブル１２２２が記憶する内容の一例が示されている。予め定められた複数の仮想的な焦点面について、各焦点面にＩＤが付与されている。そして、各焦点面とイメージセンサの表面つまり受光面との距離が、当該焦点面のＩＤと共に、焦点面テーブル１２２２に記憶されている。図７の例では、仮想的な焦点面は全て、イメージセンサ１０２の表面に平行な平面である。例えば、図７の例では、スフェロイド全体をカバーするように、２００の仮想的な焦点面が、１μｍの間隔で設定されている。焦点面の間隔は、上述のように等間隔であってよく、不等間隔であってもよい。
　リフォーカシング部１２２１は、領域抽出部１２１が抽出した１つ以上のスフェロイドの領域全てについて、仮想的な焦点面上における合焦画像を構成する合焦画素を生成する。なお、本実施の形態では、合焦画像を構成する画素を「合焦画素」と呼ぶ。リフォーカシング部１２２１は、複数の撮像画像と、複数の照明器１０１の位置情報と、仮想的な焦点面の位置情報とから、当該焦点面における合焦画像の合焦画素を生成することができる。具体的には、リフォーカシング部１２２１は、複数の撮像画像と、複数の撮像画像それぞれの撮像時に照明した照明器１０１の位置情報とに基づき、合焦画像の合焦画素が映し出されている撮像画像内の画素を特定し、特定した画素の画素値を用いて、合焦画素の画素値を算出する。リフォーカシング部１２２１は、合焦画素毎に画素値を算出する。これにより、合焦画像の生成が可能になる。なお、画素値の例は、光の強度、及び輝度値である。
　本実施の形態では、リフォーカシング部１２２１は、仮想的な焦点面の全ての画素位置での合焦画素を生成するわけではない。リフォーカシング部１２２１は、全てのスフェロイドの領域内の合焦画素のみを生成する。具体的には、リフォーカシング部１２２１は、図５に示されるような、領域抽出部１２１が抽出した全てのスフェロイドの領域の画素座標から、仮想的な焦点面の合焦画像上における全てのスフェロイドの領域の画素座標を算出する。さらに、リフォーカシング部１２２１は、合焦画像上において、各スフェロイドの領域に含まれる合焦画素のみを生成する。なお、本実施の形態では、領域抽出部１２１が抽出したスフェロイドの領域の画素座標系と、仮想的な焦点面の合焦画像の画素座標系とが、同一であり、それにより、合焦画素の生成処理は簡易になる。
　仮想的な焦点面上の合焦画素を生成する場合、リフォーカシング部１２２１は、当該合焦画素の位置の合焦点と、各撮像画像に対応する照明位置情報とから、各照明器１０１から出射された光が合焦点を通過して到達するイメージセンサ１０２上の位置を計算する。上記合焦点は、仮想的な焦点面上の点である。さらに、リフォーカシング部１２２１は、各照明器１０１、つまり各照明位置に対応する撮像画像上において、当該合焦点を通過した照明器１０１の光がイメージセンサ１０２上に到達する位置に基づき、当該位置に対応する画素位置での画素値を抽出する。この画素値は、上記合焦点の画像を示す画素値である。そして、リフォーカシング部１２２１は、各照明位置に対応する撮像画像において抽出された、合焦点の画像を示す画素値の全てを加算する。これにより、入射方向が異なり且つ合焦点を通る全ての光の輝度を統合した画素値が得られ、この画素値は、合焦画素の画素値とされる。このように、リフォーカシング部１２２１は、合焦点の合焦画素情報を生成し、合焦画像上の各合焦画素に対して上述の処理を行う。これにより、スフェロイドの領域の合焦画像の生成が可能になる。上記方法は、特許文献４に記載されるリフォーカシング技術と同様である。特許文献４の技術は公知であるため、その詳細な説明を省略する。
　画像生成部１２２３は、リフォーカシング部１２２１が生成した合焦点の合焦画素情報に基づき、焦点面上における全てのスフェロイドの領域それぞれの合焦画像を生成する。画像生成部１２２３は、生成した合焦画像を、焦点面の位置情報と、合焦画像に対応するスフェロイドの領域のＩＤとに対応付け、記憶部１１０へ記憶する。
　例えば、図８には、上述のように記憶部１１０が記憶する内容の一例が示されている。内部画像生成部１２２は、スフェロイドの領域の合焦画像それぞれに、ＩＤを設定する。このＩＤは、合焦画像を含む焦点面にも対応付けられており、「焦点面画像ＩＤ」と呼ぶ。内部画像生成部１２２は、スフェロイドの領域それぞれについて、予め定められた複数の焦点面それぞれにおけるスフェロイドの領域の合焦画像のファイルと、当該ファイルに対応する焦点面画像ＩＤとを、当該合焦画像を含む焦点面の位置情報と、当該スフェロイドの領域のＩＤ及び座標とに対応付けて、記憶部１１０に記憶する。図８の例では、焦点面の位置情報は、イメージセンサ１０２の表面からの距離を示す。焦点面の位置情報は、合焦画像のファイルと焦点面画像ＩＤを介して結合されている。なお、焦点面の位置情報は、合焦画像のファイルの一部（例えばヘッダ情報）に記録されてもよい。
　判別部１２３は、記憶部１１０に記憶された合焦画像それぞれについて、対象物であるスフェロイドの外形とスフェロイド内部の空洞部とを、画素値を基準に判別する。
　例えば、図９Ａ～図９Ｄには、同一のスフェロイドの領域について、異なる焦点面Ｆａ～Ｆｄでの複数の合焦画像の例が模式的に示されている。なお、図９Ａ～図９Ｄは、スフェロイドの領域の処理画像の一例を示す図である。合焦画像は、図９Ａ～図９Ｄの上段の画像である。図９Ａから図９Ｄに進むに従って、焦点面Ｆａ～Ｆｄとイメージセンサ１０２の表面との距離が大きくなる。つまり、図９Ａの焦点面Ｆａが、最もイメージセンサ１０２の表面に近い。図９Ａの合焦画像では、画像全体がぼけているが、周辺より暗い部分、つまり画素値が小さい部分を抽出することで、スフェロイドの外形を抽出することができる。図９Ｂの合焦画像では、周辺より暗い部分は、スフェロイドの外形として抽出され、スフェロイドの外形の内部で他の部分より暗い部分、つまり、画素値が小さい部分は、空洞部として抽出され得る。図９Ｃ及び図９Ｄの合焦画像でも、図９Ｂと同様に、スフェロイドの外形と、スフェロイド内部の空洞部とが、抽出され得る。
　判別部１２３は、各合焦画像において、各スフェロイドの外形の内側に存在すると判別される画素である第一画素の数量と、当該スフェロイド内の空洞部内に存在すると判別される画素である第二画素の数量とを算出する。第一画素は、第二画素を含み得る。スフェロイドの１つの合焦画像において、第一画素の数量は、当該スフェロイドの外形の内側の面積に対応し、第二画素の数量は、当該スフェロイドの空洞部の面積に対応し得る。そして、１つのスフェロイドに対応する全ての合焦画像の第一画素の数量の和は、当該スフェロイドの外形の内側の体積に対応し、１つのスフェロイドに対応する全ての合焦画像の第二画素の数量の和は、当該スフェロイドの空洞部の体積に対応し得る。判別部１２３は、各合焦画像の第一画素及び第二画素の数量を、当該合焦画像の焦点面画像ＩＤと対応付けて、記憶部１１０に記憶する。ここで、第一画素の数量は、第一面積の一例であり、第二画素の数量は、第二面積の一例である。
　例えば、図１０には、上述のように記憶部１１０が記憶する内容の一例が示されている。判別部１２３は、各スフェロイドの領域の複数の焦点面に対応する合焦画像それぞれについて、第一画素及び第二画素の数量を、当該スフェロイドの領域のＩＤ、当該合焦画像の焦点面画像ＩＤ、及び当該合焦画像の焦点面の位置情報と対応付けて、記憶部１１０に記憶する。これにより、例えば、イメージセンサ１０２の表面に沿うｘ軸及びｙ軸と、当該表面に直交するｚ軸とによって定義される３次元座標上で、スフェロイドの内部の第一画素の分布と、スフェロイド内の空洞部の第二画素の分布との算出が可能になる。
　計算部１３０は、判別部１２３が判別した各スフェロイドの各焦点面での第一画素及び第二画素の数量から、全てのスフェロイドの全ての焦点面での第一画素の数量の合計である第一総数と、全てのスフェロイドの全ての焦点面での第二画素の数量の合計である第二総数とを算出する。さらに、計算部１３０は、第一総数と第二総数との比率である第一比率を計算する。第一比率は、第二総数／第一総数で示される。ここで、第一総数は、第一体積及び第一総体積の一例であり、第二総数は、第二体積及び第二総体積の一例である。
　状態判定部１４０は、計算部１３０で計算された第一比率と、予め定められた判定基準値とを比較し、第一比率が判定基準値よりも低い場合はスフェロイドの培養状態が良好であると判定し、第一比率が判定基準値以上である場合はスフェロイドの培養状態が不良であると判定する。判定基準は、スフェロイドを構成する細胞の種類及び数量、スフェロイドの培養の経過時点、要求されるスフェロイドの培養状態の品質、並びにスフェロイドの用途等の条件に応じて、種々な値に決定され得る。このような判定基準は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された判定基準は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。本実施の形態では、後述するように、スフェロイドは、ウニの桑実胚であり、この場合の判定基準の例は、０．３である。
　判別部１２３が判別したスフェロイド内部の第一画素の数量は、スフェロイド内部の細胞の量、つまり、細胞の体積を擬似的に示している。スフェロイドの空洞部は、スフェロイド内の細胞が壊死等により欠落した部分であり、空洞部の第二画素の数量は、壊死等により欠落した細胞の量、つまり、細胞の体積を擬似的に示している。１つのスフェロイドについて、全ての焦点面での第一画素の数量の合計と全ての焦点面での第二画素の数量の合計との比率である第二比率は、１つのスフェロイドにおける全細胞量に対して壊死等により欠落した細胞量の比率を示している。また、第一総数及び第二総数の第一比率は、撮像した複数のスフェロイド全体での、全細胞量に対して壊死等により欠落した細胞量の比率を示している。
　なお、計算部１３０は、第一画素の数量と第二画素の数量との比率を計算したが、第一画素の数量から第二画素の数量を減じた差異を計算してもよい。この場合、状態判定部１４０は、予め定められた判定基準として、基準の画素数を保持している。状態判定部１４０は、計算部１３０の計算した差異が基準の画素数以下である場合には培養状態が不良であると判定し、差異が基準の画素数を上回る場合に培養状態が良好である判定する。第一画素の数量から第二画素の数量を減じた差異は、スフェロイドに含まれる壊死していない正常な細胞の量を擬似的に示している。この場合も、計算部１３０は、第一総数から第二総数を減じた差異を計算してもよい。状態判定部１４０は、第一画素の数量及び第二画素の数量の差異の場合と同様に、第一総数及び第二総数の差異に基づき、スフェロイド全体に対して、培養状態が良好か不良であるかを判定してもよい。このような場合、培養容器内全体のスフェロイドの状態が判定され、培養容器内のスフェロイドの使用の可否が判定され得る。上述のような差異に基づく判定は、培養容器内のスフェロイドの数量が既知である場合に、効果的である。なお、差異の基準は、第一比率の判定基準に準ずるものであってもよい。
　表示部１５０は、状態判定部１４０で判定された結果を示す。表示部１５０の例は、ディスプレイ及びスピーカである。ディスプレイの例は、液晶パネル、及び、有機又は無機ＥＬ（Electroluminescence）である。表示部１５０がディスプレイである場合、結果は、文字、記号及び画像等により表示され得る。また、表示部１５０がスピーカである場合、結果は、音声及び音響信号により示され得る。表示部１５０は、ディスプレイ及びスピーカの一方又は両方を含んでもよい。なお、表示部１５０は、他の表示出力手段でもよい。例えば、表示部１５０は、壁面、ガラス面、空間等に投影する構成を有してもよい。
　［１－２．実施の形態１に係る培養状態判定装置の動作］
　図１１を参照しつつ、実施の形態１に係る培養状態判定装置１０の動作を説明する。なお、図１１は、実施の形態１に係る培養状態判定装置１０の動作の一例を示すフローチャートである。
　まず、ステップＳ１１００において、撮像装置１００の撮像制御部１０３は、複数の照明器１０１を順に用いて、イメージセンサ１０２上の対象物である複数のスフェロイドを照明し、イメージセンサ１０２に複数のスフェロイドの複数の画像を撮像させる。例えば、複数のスフェロイドは、図１２に示すように、イメージセンサ１０２上に載置されたウェル等の培養容器１内の培養液２中に存在する。なお、図１２は、スフェロイドの撮像状況の一例を示す模式的な斜視図である。撮像制御部１０３は、複数の照明器１０１のそれぞれがスフェロイドを照明するたびに、イメージセンサ１０２にその受光面に到達した光の強度を記録させることにより、培養容器１内の複数のスフェロイド全体を写し出す複数の撮像画像を取得する。撮像制御部１０３は、撮像画像を、当該撮像画像の撮像時に照明した照明器１０１の位置情報と対応付けて、記憶部１１０に記憶する。本実施の形態では、複数の照明器１０１の位置は、イメージセンサ１０２に対して固定されており、複数の照明器１０１の各々の位置情報は予め定められて記憶部１１０に記憶されている。撮像処理の詳細は後述する。
　次いで、ステップＳ１２００において、画像処理部１２０の領域抽出部１２１は、ステップＳ１１００で取得された撮像画像から、スフェロイドの画像が写っている領域、つまりスフェロイドの領域を抽出する。具体的には、領域抽出部１２１は、ステップＳ１１００で取得され且つ記憶部１１０に記憶された複数の撮像画像のうちから、１つの撮像画像を基準撮像画像として決定し、基準撮像画像と、基準撮像画像に対応する照明位置情報とを記憶部１１０から取得する。当該照明位置情報は、基準撮像画像の撮像の際に照明した照明器１０１の位置情報である。基準撮像画像は、例えば、イメージセンサ１０２の受光面の中心点の直上に位置する照明器１０１の照明の際の撮像画像である。領域抽出部１２１は、基準撮像画像中の各画素の画素値に基づき、１つ以上のスフェロイドの領域を抽出する。
　抽出方法の例は、基準撮像画像の画素値の最大値と最小値との間で設定された第一閾値に基づき基準撮像画像を２値化し、それにより、照明器１０１から照射された光が直接イメージセンサ１０２の受光面に到達している領域と、光がスフェロイドを透過してイメージセンサ１０２の受光面に到達している領域とに分割する方法である。
　第一閾値は、スフェロイドを写す領域とスフェロイドの背景を写す領域とを区分けするための閾値である。第一閾値は、スフェロイドを構成する細胞の種類及び数量、スフェロイドの培養の経過時点、並びに撮像時の環境等の条件に応じて、種々な値に決定され得る。このような第一閾値は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された第一閾値は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。例えば、第一閾値は、基準撮像画像の画素値の最小値から最大値までの間の５０％程度から７０％程度の間の画素値である。例えば、基準撮像画像に含まれる全ての画素に関して、（画素値の最大値）－（画素値の最小値）＝αであると、０．５α＋（画素値の最小値）≦（第一閾値）≦０．７α＋（画素値の最小値）の範囲内で、第一閾値は決定され得る。また、基準撮像画像中の画素値の分布を示す一例である画素の輝度値のヒストグラムにおいて、画素数が急峻に大きくなる輝度値の画素は、スフェロイドの背景を示し得る。第一閾値は、このような輝度値以下の値に決定されてもよい。また、第一閾値は、例えば、基準撮像画像の画素値の最大値に、予め定められた比率を乗じた値としてもよい。このような比率は、０超１未満の値であり、比率の例は、０．６であるが、これに限定されない。
　画像がより明るい、すなわち画素値が第一閾値以上である領域は、照明器１０１から照射された光が直接イメージセンサ１０２の受光面に到達している領域である。画像がより暗い、すなわち画素値が第一閾値よりも小さい領域は、光がスフェロイドを透過してイメージセンサ１０２の受光面に到達している領域である。２値化された基準撮像画像中において、画素値が第一閾値よりも小さい画素が連続する領域は、スフェロイドが写っている領域と決定される。
　領域抽出部１２１は、基準撮像画像中において、画素値が第一閾値よりも小さい画素が連続する領域を抽出し、当該領域を含む最小の矩形領域、例えば、当該領域に外接する矩形領域を、スフェロイドの領域を含む、画像処理を行う領域として決定する。さらに、領域抽出部１２１は、決定した矩形領域にＩＤを設定し、当該矩形領域の基準撮像画像上での画素座標を算出する。領域抽出部１２１は、矩形領域の画素座標と、当該矩形領域のＩＤとを、互いに対応付けて記憶部１１０に記憶する。なお、領域抽出部１２１は、矩形領域の画素座標として、矩形領域の少なくとも１つの頂点の画素座標を算出してもよい。さらに、領域抽出部１２１は、矩形領域の寸法として、矩形領域の辺の長さを、矩形領域の画素座標と共に、記憶部１１０に記憶させてもよい。培養容器１内には、１つ以上のスフェロイドが存在するため、基準撮像画像から、各スフェロイドの領域及びその矩形領域が抽出される、つまり、１つ以上のスフェロイドの領域及びその矩形領域が抽出される。
　なお、ステップＳ１２００では、領域抽出部１２１は、２値化された基準撮像画像中において、画素値が第一閾値よりも小さい画素が連続する領域を、スフェロイドが写っている領域に決定したが、他の方法でスフェロイドが写っている領域を決定してもよい。例えば、領域抽出部１２１は、基準撮像画像中において、画素間の画素値の差異を用いて、エッジ抽出を行い、エッジによって囲まれた領域を、スフェロイドが写っている領域に決定してもよい。又は、領域抽出部１２１は、例えば、基準撮像画像中において、画素の画素値でクラスタリングすることで、画素値が類似する画素が連続する領域を抽出し、抽出した領域をスフェロイドが写っている領域に決定してもよい。
　次いで、ステップＳ１３００において、画像処理部１２０の内部画像生成部１２２は、ステップＳ１２００で決定された１つ以上のスフェロイドの領域の全て、つまり矩形領域全てについて、ステップＳ１１００で取得された複数の撮像画像を使って、予め定められた複数の焦点面での合焦画像を生成する。つまり、各焦点面上での各矩形領域の合焦画像が生成される。このような内部画像生成部１２２は、矩形領域以外の領域の合焦画像を生成しないため、合焦画像生成のための処理速度を向上することができる。本実施の形態では、複数の焦点面の全ては、平面であり、各焦点面は他の焦点面と平行である。さらに、複数の焦点面は、イメージセンサ１０２の受光面と平行であるが、これに限定されない。複数の焦点面の位置は、例えば、イメージセンサ１０２の受光面からの距離等を用いて定義され、予め記憶部１１０に記憶されている。焦点面の合焦画像に含まれる複数の合焦画素は、当該焦点面上の複数の点に一対一で対応する。合焦画像の生成方法は後述する。
　次いで、ステップＳ１４００において、画像処理部１２０の判別部１２３は、ステップＳ１３００で生成された全ての合焦画像それぞれについて、当該合焦画像の画素値に基づいて、スフェロイドの外形を抽出し、さらに、スフェロイドの外形の内側の空洞部を抽出する。判別部１２３は、スフェロイドの外形の内部において、他の画素と区別される画素の領域を空洞部として判別する。空洞部は、例えば、合焦画像中の画素値の分布によって判別することができる。
　例えば、図９Ａ～図９Ｄそれぞれには、スフェロイドの領域の一連の処理画像の例が示されている。図９Ａ～図９Ｄそれぞれにおいて、上段には、スフェロイドの領域の合焦画像が示されている。中段には、上段の合焦画像を２値化した画像である２値化画像が示されている。２値化画像では、画素値が第二閾値以上の領域は、白塗り又は色無しの領域として示され、画素値が第二閾値未満の領域は、黒塗りの領域として示されている。
　なお、第二閾値は、スフェロイド内において、細胞を写す領域と空洞部を写す領域とを区分けするための閾値である。図９Ａ～図９Ｄの２値化画像において、黒塗り領域は、空洞部を示し、黒塗り領域で囲まれた白塗り又は色無し領域は、細胞を示し得る。白塗り又は色無しの領域は、細胞を示し、黒塗りの領域は、空洞部を示し得る。第二閾値は、スフェロイドを構成する細胞の種類及び数量、スフェロイドの培養の経過時点、並びに撮像時の環境等の条件に応じて、種々な値に決定され得る。このような第二閾値は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された第二閾値は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。例えば、第二閾値は、合焦画像の画素値の最小値から最大値までの間の５０％程度から７０％程度の間の画素値である。例えば、スフェロイドの領域の合焦画像に含まれる全ての画素に関して、（画素値の最大値）－（画素値の最小値）＝βであると、０．５β＋（画素値の最小値）≦（第二閾値）≦０．７β＋（画素値の最小値）の範囲内で、第二閾値は決定され得る。
　下段には、中段の２値化画像において細胞の領域を抽出した画像である抽出画像が示されている。下段の画像は、２値化画像に対して、細胞に該当する画素値の画素が連続する領域それぞれを分離した画像を模式的に示す。上述したように、図９Ａ～図９Ｄは、同一のスフェロイドの領域についての異なる焦点面Ｆａ～Ｆｄに対応する画像である。図９Ａ～図９Ｄのスフェロイドは、ウニの桑実胚である。桑実胚はほぼ同一の大きさの複数の細胞で構成された細胞塊であり、中心部に空洞を含む。
　判別部１２３は、スフェロイド内の空洞部を判別する場合、例えば、図９Ａ～図９Ｄの上段のような合焦画像を２値化し、中段の２値化画像を生成する。さらに、判別部１２３は、２値化画像に対して、画素値が第二閾値以上の領域をラベリング、つまりラベル付けして、下段の画像のような複数の細胞の領域を決定する。つまり、下段の画像は、細胞領域の抽出画像である。
　ここで、図１３を参照して、図９Ａ～図９Ｄのような２値化画像から空洞部の有無を判定する方法の一例を説明する。図１３は、スフェロイドの合焦画像の２値化画像において空洞部の有無を判定する方法を模式的に示す図である。判別部１２３は、スフェロイドＳｐの合焦画像の２値化画像において、画素値が第二閾値以上の領域をラベリングし、８つの領域である第一領域Ｌａ～第八領域Ｌｇを決定する。さらに、判別部１２３は、第一領域Ｌａ～第八領域Ｌｇ全てから計算される重心Ｇを求める。例えば、重心Ｇは、第一領域Ｌａ～第八領域Ｌｇそれぞれの８つの重心の重心である。そして、判別部１２３は、重心Ｇを中心とする半径ｂの円Ｃｂを形成する。半径ｂは、例えば、第一領域Ｌａ～第八領域Ｌｇそれぞれの外形を円で近似した場合での、近似する８つの円の半径の平均である。判別部１２３は、円Ｃｂの中に、ラベリングされた領域、つまり第一領域Ｌａ～第八領域Ｌｇのいずれかが含まれている場合、空洞部が存在しないと判定し、円Ｃｂの中に、第一領域Ｌａ～第八領域Ｌｇのいずれもが含まれていない場合、重心Ｇを含む、ラベルリングされていない領域を空洞部とする。なお、ラベルリングされていない領域は、重心Ｇを含み且つ第一領域Ｌａ～第八領域Ｌｇ以外の領域、円Ｃｂ、又は、第一領域Ｌａ～第八領域Ｌｇに内接し且つ重心Ｇを含む楕円のいずれかとしてもよい。本明細書及び特許請求の範囲において、「楕円」は、円、楕円及び長円を含む。また、円Ｃｂの中に、第一領域Ｌａ～第八領域Ｌｇのいずれかが含まれているとは、円Ｃｂと第一領域Ｌａ～第八領域Ｌｇのいずれかとが重複する領域を有することである。
　なお、本実施の形態では、判別部１２３は、スフェロイドの合焦画像の２値化画像から、ラベリングされた領域を決定し、ラベリングされていない領域を空洞部に決定したが、他の方法により空洞部を決定してもよい。例えば、判別部１２３は、合焦画像中のスフェロイドを横断するライン上の画素値の変化に基づき、空洞部を決定してもよい。例えば、図１４Ａ～図１４Ｄはそれぞれ、図９Ａ～図９Ｄと同様に、焦点面Ｆａ～Ｆｄにおける同一のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す。具体的には、図１４Ａ～図１４Ｄそれぞれの下段のグラフは、上段の合焦画像におけるスフェロイドの中心を通る直線Ｌ上における画素の画素値を模式的に示す。
　判別部１２３は、空洞部の有無を判断する場合、例えば、図１４Ａ～図１４Ｄの上段のような合焦画像それぞれに対して、スフェロイドの中心を通過する直線Ｌを決定し、下段のような直線Ｌに沿った画素の画素値の分布を求める。直線Ｌの位置は、空洞部が形成される可能性が高い領域を通るように決定されることが好ましい。桑実胚は中心部に空洞部を含むため、本実施の形態では、直線Ｌはスフェロイドの中心を通る。このように、直線Ｌの位置は、スフェロイドの対象細胞塊に応じて決定され得る。
　判別部１２３は、図１４Ａ～図１４Ｄの下段に示すような直線Ｌ上における画素値のグラフにおいて、グラフの山の頂点と谷の頂点との間隔、つまり画素値の山谷の間隔を算出する。なお、図１４Ａ～図１４Ｄでは、グラフの谷の頂点の位置が、当該グラフから合焦画像に延びる破線で示され、グラフの山の頂点の位置が、当該グラフから合焦画像に延びる点線で示されている。当該破線は、グラフの谷の頂点と対応する合焦画像内の位置を示す。当該点線は、グラフの山の頂点と対応する合焦画像内の位置を示す。例えば、判別部１２３は、図１４Ａの例では、８の間隔を算出し、図１４Ｂの例では、８の間隔を算出し、図１４Ｃの例では、１２の間隔を算出し、図１４Ｄの例では、１２の間隔を算出する。さらに、判別部１２３は、各合焦画像について、画素値の山谷の間隔の分散を算出する。
　判別部１２３は、画素値の山谷の間隔の分散が予め定められた第三閾値未満である場合には、空洞部が存在しないと判定し、山谷の間隔の分散が第三閾値以上である場合には、空洞部が存在すると判定する。さらに、判別部１２３は、空洞部が存在する場合、直線Ｌに沿い且つ山谷の間隔が最も大きい領域を、空洞部の領域に決定する。例えば、判別部１２３は、図１４Ｂ及び図１４Ｃでは、空洞部が存在すると判定する。そして、判別部１２３は、図１４Ｂでは、領域Ａｂを空洞部に決定し、図１４Ｃでは、領域Ａｃを空洞部に決定する。また、判別部１２３は、スフェロイドの中心を通過し且つ直線Ｌと異なる複数の直線をさらに決定し、各直線に沿った画素値の分布、つまり、画素値の山谷の間隔の分散に基づき、空洞部の有無を決定し、当該直線に沿う空洞部の領域を決定する。複数の直線は、直線Ｌと交差する直線であり、スフェロイドの中心で直線Ｌを回転した直線でもある。判別部１２３は、直線Ｌを含む複数の直線それぞれに沿う空洞部の一次元的な領域から、合焦画像に沿う空洞部の二次元的な領域を算出する。例えば、判別部１２３は、空洞部の一次元的な領域を積分することによって、空洞部の二次元的な領域を算出してもよい。
　なお、第三閾値は、スフェロイド内において、空洞部の存在を判別するための閾値である。第三閾値は、スフェロイドを構成する細胞の種類及び数量、並びにスフェロイドの培養の経過時点等の条件に応じて、種々な値に決定され得る。このような第三閾値は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された第三閾値は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。例えば、細胞の大きさの２倍程度以上の大きさの空洞部が存在する場合の画素値の山谷の間隔の分散は、細胞の大きさ以上の空洞部が存在しない場合の画素値の山谷の間隔の分散の４倍以上となる。細胞の大きさの２倍程度以上の大きさの領域を空洞部であると見なす場合、第三閾値の例は、細胞の大きさ以上の空洞部が存在しない場合の画素値の山谷の間隔の分散の４倍以上のような値である。しかしながら、第三閾値は、このような値に限定されず、空洞部であると見なす領域の大きさと細胞の大きさとの関係に基づき、種々に決定され得る。
　次いで、ステップＳ１５００において、計算部１３０は、ステップＳ１４００で判別された全てのスフェロイドの領域それぞれについての全ての焦点面でのスフェロイドの外形及び空洞部の領域について、スフェロイドの外形に囲まれた領域内の画素である第一画素の数量と、空洞部の領域内の画素である第二画素の数量とを求める。第一画素の数量は、スフェロイドの外形内に含まれる全ての画素の数量であり、第二画素の数量は、空洞部に含まれる全ての画素の数量である。さらに、計算部１３０は、全てのスフェロイドの領域の全ての焦点面でのスフェロイドの外形に囲まれた領域内の第一画素の数量の和である第一総数を求める。さらに、計算部１３０は、全てのスフェロイドの領域の全ての焦点面でのスフェロイドの空洞部の領域内の第二画素の数量の和である第二総数を求める。計算部１３０は、第一総数と第二総数との第一比率を求める。第一比率は、第二総数／第一総数で示される。画素の数量は、１つの画素の面積を１単位とする面積を示す。平行な複数の焦点面上における画素の数量が示す面積を足し合わせたものは、当該画素を含む三次元的な領域の体積を擬似的に示す。スフェロイドは細胞が密集した塊であるので、スフェロイドの外形の内側では、画素の数量の比は、細胞の量の比を擬似的に示す。細胞量は、細胞の体積又は細胞の数量を意味し得る。このように、計算部１３０は、スフェロイドの擬似細胞量を算出する。
　次いで、ステップＳ１６００において、状態判定部１４０は、ステップＳ１５００で計算された第一比率に基づいて、培養された複数のスフェロイドの状態を判定する。全てのスフェロイドの外形それぞれに含まれる第一画素の数量の和である第一総数に対して、全てのスフェロイドの空洞部それぞれに含まれる第二画素の数量の和である第二総数が占める割合が大きい場合、培養状態が不良であると判定することができる。具体的には、状態判定部１４０は、第一比率が予め定められた判定基準よりも低い場合、培養状態が良好であると判定し、第一比率が判定基準以上である場合、培養状態が不良であると判定する。本実施の形態では、判定基準は、０．３である。状態判定部１４０は、第二総数が第一総数の３割以上である場合に、培養状態が不良であると判定し、培養容器１内の複数のスフェロイドの全てを廃棄することを決定する。状態判定部１４０は、第二総数が第一総数の３割未満である場合に、培養の状態が良好であると判定し、培養後の処理に供する決定をする。このように、状態判定部１４０は、複数のスフェロイドがより多くの細胞を含む状態を、良好な培養状態として判定する。つまり、良好な培養状態は、培養後の処理に使用可能な細胞がより多く、効率的な培養後の処理が可能である培養状態である。
　次いで、ステップＳ１７００において、表示部１５０は、ステップＳ１６００の判定結果を、ユーザに示す。このとき、表示部１５０は、ディスプレイ及び／又はスピーカ等を介して、画像、文字、音声等の出力により示す。
　［１－３．撮像処理］
　また、図１５を参照しつつ、ステップＳ１１００における撮像装置１００の動作の詳細を説明する。なお、図１５は、撮像装置１００の動作の一例を示すフローチャートである。
　ステップＳ１１１０において、撮像制御部１０３は、例えば、記憶部１１０等に記憶されている予め定められた複数の照明器１０１の位置のリスト、又は図示しない外部入力によって指定された複数の照明器１０１の位置のリスト（以下、いずれのリストも「照明位置リスト」という）を参照して、各照明器１０１の位置から照明された複数のスフェロイドの撮像が終了したか否かを判定する。
　ここで、照明位置リストに含まれる全ての照明位置からの照明による撮像が終了している場合（ステップＳ１１１０においてＹｅｓ）、撮像制御部１０３はステップＳ１２００へ進む。一方、照明位置リスト内のいずれかの照明位置からの照明による撮像が終了していない場合（ステップＳ１１１０においてＮｏ）、撮像制御部１０３はステップＳ１１２０へ進む。
　次いで、ステップＳ１１２０において、撮像制御部１０３は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、選択した照明位置の照明器１０１へ制御信号を出力する。照明位置リストにおいて、各照明位置は、例えば、照明位置毎に割り当てられた番号によって示される。又は、各照明位置は、例えば、イメージセンサ１０２の受光面に沿うｘ軸及びｙ軸と、受光面と直交するｚ軸とによって定義される３次元座標空間の座標値によって示される。照明位置の選択は、例えば、リストの昇順に行われる。
　次いで、ステップＳ１１３０において、照明器１０１は、ステップＳ１１２０で撮像制御部１０３より出力された制御信号に従って、イメージセンサ１０２上の培養容器１内の複数のスフェロイドへの照明を開始する。つまり、ステップＳ１１２０で選択された照明位置にある照明器１０１が光の照射を開始する。
　ついで、ステップＳ１１４０において、照明器１０１によって複数のスフェロイドが照明されている間、撮像制御部１０３は、イメージセンサ１０２に、当該照明器１０１から照射された光によって形成される撮像画像を取得させる。撮像画像は、スフェロイドを透過した光によって形成される像を含む。
　次いで、ステップＳ１１５０において、撮像制御部１０３は、照明器１０１へ制御信号を出力して、スフェロイドへの照明を停止する。なお、照明の停止は、撮像制御部１０３からの制御信号に従って行われなくてもよい。例えば、照明器１０１は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。又は、ステップＳ１１４０でイメージセンサ１０２が撮像画像の取得を終了した後に、イメージセンサ１０２は、照明を停止するための制御信号を照明器１０１に出力してもよい。
　次いで、ステップＳ１１６０において、撮像制御部１０３は、ステップＳ１１４０で取得された撮像画像と、ステップＳ１１３０で用いられた照明器１０１の位置情報とを、互いに対応付けて記憶部１１０へ記憶する。撮像制御部１０３は、ステップＳ１１６０の処理後、ステップＳ１１１０へ戻る。
　撮像制御部１０３は、ステップＳ１１１０からステップＳ１１６０までの処理を繰り返すことで、照明位置リストに含まれる全ての照明位置の照明器１０１から順次、スフェロイドに光を照射し、スフェロイドに光が照射されるたびに撮像画像を取得する。
　［１－４．リフォーカシング処理］
　また、図１６を参照しつつ、ステップＳ１３００でのリフォーカシング部１２２１の動作の詳細を説明する。なお、図１６は、実施の形態１に係るリフォーカシング部１２２１の動作の一例を示すフローチャートである。
　ステップＳ１２００に続くステップＳ１３１０において、リフォーカシング部１２２１は、ステップＳ１２００で基準撮像画像を用いて決定された１つ以上の抽出領域、すなわちスフェロイドの画像を含む領域のリストを記憶部１１０から取得する。なお、以下の説明において、抽出領域、及び、スフェロイドの画像を含む領域を、「スフェロイドの領域」とも呼ぶ。上記リストは、例えば、図５に示すようなリストである。
　次いで、ステップＳ１３２０において、リフォーカシング部１２２１は、ステップＳ１３１０で取得したスフェロイドの領域のリストを参照し、全てのスフェロイドの領域のリフォーカシング処理が終了したか否かを判定する。全てのスフェロイドの領域のリフォーカシング処理が終了するとは、ステップＳ１３２０～Ｓ１３７０の一連の処理が終了することであり、各スフェロイドの領域について、複数の撮像画像を用いて、予め定められた全ての焦点面での合焦画像を生成する処理が終了することである。
　スフェロイドの領域のリストに含まれる全てのスフェロイドの領域に対してリフォーカシング処理が終了している場合（ステップＳ１３２０においてＹｅｓ）、リフォーカシング部１２２１はステップＳ１４００へ進む。一方、スフェロイドの領域のリスト内のいずれかのスフェロイドの領域のリフォーカシング処理が終了していない場合（ステップＳ１３２０においてＮｏ）、リフォーカシング部１２２１はステップＳ１３３０へ進む。
　次いで、ステップＳ１３３０において、リフォーカシング部１２２１は、ステップＳ１３１０で取得したスフェロイドの領域のリストのうちから、まだリフォーカシング処理が行われていない１つのスフェロイドの領域、つまり抽出領域を選択する。スフェロイドの領域のリフォーカシング処理は、ステップＳ１３４０～Ｓ１３７０の一連の処理である。
　次いで、ステップＳ１３４０において、リフォーカシング部１２２１は、予め定められた複数の焦点面の情報を記憶した焦点面テーブル１２２２と、ステップＳ１３１０で取得したスフェロイドの領域のリストとを参照して、選択されたスフェロイドの領域について、全ての焦点面での合焦画像の生成が終了したか否かを判定する。
　焦点面テーブル１２２２に記憶された全ての焦点面での合焦画像の生成が終了している場合（ステップＳ１３４０においてＹｅｓ）、リフォーカシング部１２２１はステップＳ１３２０へ戻る。一方、焦点面テーブル１２２２に記憶された全ての焦点面での合焦画像の生成が終了していない場合（ステップＳ１３４０においてＮｏ）、リフォーカシング部１２２１はステップＳ１３５０へ進む。
　次いで、ステップＳ１３５０において、リフォーカシング部１２２１は、焦点面テーブル１２２２に記憶された焦点面のうち、まだ対応する合焦画像を生成していない１つの焦点面を選択する。
　次いで、ステップＳ１３６０において、リフォーカシング部１２２１は、ステップＳ１３３０で選択したスフェロイドの領域について、ステップＳ１１００で取得した複数の撮像画像を用いて、ステップＳ１３５０で選択した焦点面でリフォーカシング処理をし、当該焦点面での当該スフェロイドの領域の合焦画像を生成する。
　リフォーカシング部１２２１は、例えば、特許文献４と同様の方式でリフォーカシング処理を行う。合焦画像は、複数の合焦画素を含む。合焦画像に含まれる複数の合焦画素は、焦点面上の複数の点に一対一で対応する。特許文献４と同様の方式によると、リフォーカシング部１２２１は、焦点面上において、スフェロイドの領域に対応する点を算出し、さらに、当該点に対応する合焦画素の画素座標を算出する。さらに、リフォーカシング部１２２１は、複数の異なる照明位置から照射された光が、上記合焦画素の位置を通過して、イメージセンサ１０２の受光面に到達する際の、イメージセンサ１０２の受光面上での光の到達位置を計算する。リフォーカシング部１２２１は、１つの合焦画素に対して、複数の異なる照明位置それぞれについて、当該合焦画素の位置を通過した照明光がイメージセンサ１０２上に到達する点の位置を計算し、各到達点の位置でイメージセンサ１０２が取得した画素値を、複数の撮像画像から取得する。具体的には、リフォーカシング部１２２１は、各照明位置に対応する撮像画像において、当該照明位置からの光の上記到達点の画素座標での画素値を取得する。さらに、リフォーカシング部１２２１は、当該合焦画素について、全ての照明位置に対して取得したイメージセンサ１０２上の到達点での画素値を加算することで、当該合焦画素の画素値を算出する。つまり、リフォーカシング部１２２１は、全ての照明位置に対応する撮像画像それぞれにおいて取得した、到達点の画素座標での画素値を加算することで、当該合焦画素の画素値を算出する。さらに、リフォーカシング部１２２１は、合焦画像を生成しようとする焦点面上の全合焦画素、つまり、スフェロイドの領域に対応する全合焦画素について、上記の計算を行う。
　次いで、ステップＳ１３７０において、画像生成部１２２３は、ステップＳ１３６０で生成された合焦画像上の合焦画素毎の画素値に基づき、スフェロイドの領域の合焦画像データを生成する、つまり、合焦画像に対応する焦点面でのスフェロイドの領域の画像データを生成する。さらに、画像生成部１２２３は、スフェロイドの領域の合焦画像データを、スフェロイドの領域の情報と、合焦画像に対応する焦点面の位置情報とに対応付け、記憶部１１０に記憶する。画像生成部１２２３は、ステップＳ１３７０の終了後はステップＳ１３４０へ戻る。
　上述のように、ステップＳ１３４０からステップＳ１３７０までの処理を繰り返すことによって、ステップＳ１３３０で選択されたスフェロイドの領域について、焦点面テーブル１２２２に記憶された全ての焦点面での合焦画像が生成される。
　さらに、ステップＳ１３２０からステップＳ１３７０までの処理を繰り返すことで、ステップＳ１２００で抽出された全てのスフェロイドの領域について、焦点面テーブル１２２２に記憶された全ての焦点面での合焦画像が生成される。
　ここで、図１７～図２０を参照しつつ、リフォーカシング処理の計算方法の具体例を説明する。本実施の形態では、焦点面は、イメージセンサ１０２の受光面と平行な平面であるが、以下においては、焦点面がイメージセンサ１０２の受光面と交差するケースを説明する。具体的な計算方法は、いずれも同様である。例えば、図１７は、撮像装置１００の複数の照明器１０１、スフェロイド１０００及びイメージセンサ１０２の位置関係の一例を示す。なお、図１７は、イメージセンサ１０２及びスフェロイド１０００の、イメージセンサ１０２の受光面に垂直な平面における断面図の一例を示す。スフェロイド１０００は、照明器１０１ａ及び１０１ｂとイメージセンサ１０２との間に位置し、且つイメージセンサ１０２上に位置する。合焦画像を生成する焦点面１１００は、スフェロイド１０００を通り、イメージセンサ１０２の受光面と交差する。
　図１８には、合焦画像に含まれる複数の合焦画素に対応する、焦点面１１００上の複数の点１１０２ａ～１１０２ｅの一例が、図１７と同様に示されている。複数の点１１０２ａ～１１０２ｅのうちの点１１０２ａに対応する合焦画素の生成方法を説明する。他の点に対応する合焦画素の生成方法は、点１１０２ａと同様であるため、その説明を省略する。そして、図１９は、照明器１０１ａ及び１０１ｂそれぞれから出射された光が、焦点面上の点１１０２ａを透過し、イメージセンサ１０２によって受光される例を示す。
　照明器１０１ａから出射され且つ点１１０２ａを透過する光は、照明器１０１ａの位置と点１１０２ａとを通る直線１２００ａ上を進み、直線１２００ａとイメージセンサ１０２の受光面との交点１１０３ａに到達する。照明器１０１ａから交点１１０３ａに到達する光の輝度値は、照明器１０１ａの照明時のイメージセンサ１０２の撮像画像に含まれる。当該撮像画像において、交点１１０３ａに対応する位置の画素は、焦点面１１００上の点１１０２ａにおける画像、つまり輝度値を含む。交点１１０３ａの位置は、照明器１０１ａの位置及び点１１０２ａの位置から算出可能である。
　照明器１０１ｂから出射され且つ点１１０２ａを透過する光は、照明器１０１ｂの位置と点１１０２ａとを通る直線１２００ｂ上を進み、直線１２００ｂとイメージセンサ１０２の受光面との交点１１０３ｂに到達する。照明器１０１ｂから交点１１０３ｂに到達する光の輝度値は、照明器１０１ｂの照明時のイメージセンサ１０２の撮像画像に含まれる。当該撮像画像において、交点１１０３ｂに対応する位置の画素は、焦点面１１００上の点１１０２ａにおける画像、つまり輝度値を含む。交点１１０３ｂの位置は、照明器１０１ｂの位置及び点１１０２ａの位置から算出可能である。
　このような交点１１０３ａにおける画像の輝度値と、交点１１０３ｂにおける画像の輝度値とが加算されることにより、複数の方向からの光によって形成された複数の画像が、焦点面１１００上の点１１０２ａでの合焦画素に重ねられる。全ての照明器１０１から点１１０２ａを透過する光によって形成された複数の画像を重ねることによって、点１１０２ａでの合焦画素が生成される。このように、照明器１０１の位置と合焦画素の位置とイメージセンサ１０２のセンサ画素の位置とが直線上に並ぶ関係にあるセンサ画素それぞれの輝度値を用いることによって、合焦画素の輝度値が算出される。
　なお、撮像画像における交点の位置が、撮像画像の画素の位置と合致する場合、当該画素の輝度値は、交点の輝度値を示し得る。撮像画像における交点の位置が、撮像画像の複数の画素の中間位置である場合、交点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮像画像における交点の輝度値が計算されてもよい。具体的には、例えば、図２０及び下記の式１に示すように、交点に隣接する複数の画素（例えば４画素）について、各画素及び交点の間の距離と基準距離との比を各画素の輝度値に乗じて加算することで、撮像画像における交点の輝度値を求めることができる。図２０において、交点に隣接する４つの画素Ａ～画素Ｄと交点との距離は、それぞれ、ａ、ｂ、ｃ及びｄと表されている。この場合、交点の輝度値Ｌｔは、以下の式１で求められる。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄは、それぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表し、Ｓは基準距離を表す。例えば、Ｓは以下の式２のように交点と各画素との距離の平均としてもよい。
Figure JPOXMLDOC01-appb-M000002
　［１－５．効果］
　以上のように、実施の形態１に係る培養状態判定装置１０は、撮像時の照明位置が異なる複数の撮像画像を用いたリフォーカシング処理により、複数の平行な焦点面それぞれで、複数のスフェロイドの合焦画像を生成し、各合焦画像上で、スフェロイドの外形とスフェロイドの内部の空洞部とを判別する。さらに、培養状態判定装置１０は、全ての焦点面上で、各スフェロイドの外形の内側の領域を構成する第一画素の数量と、空洞部を構成する第二画素の数量とを求め、画素を単位としたスフェロイドの体積及び空洞部の体積を求める。これにより、スフェロイドを構成する細胞の量を擬似的に求めることができる。複数のスフェロイドを含む培養容器について、培養容器全体でのスフェロイドの体積に対する空洞部の体積の第一比率が小さい状態は、培養の結果得られる細胞の量が相対的に多い状態であり、培養状態が良好であると判定することができる。培養状態判定装置１０は、個々のスフェロイドの培養状態の良否でなく、培養容器全体での培養の効率に基づいて培養状態の良否を判定することできるため、培養後の処理に利用可能である細胞を取得する効率を向上し、得られる細胞量を増加することができる。このように、培養状態判定装置１０は、同一の培養容器内の複数のスフェロイドを同時に撮像し、全てのスフェロイドの内部の状態を評価することで、同一の培養容器に含まれるスフェロイド全体の培養状態の良否を判定して、使用可能なスフェロイドを選別することを可能にする。
　なお、実施の形態１に係る培養状態判定装置１０では、ステップＳ１２００において領域抽出部１２１が、撮像画像からスフェロイドが写っている領域を抽出し、ステップＳ１３００において内部画像生成部１２２が、抽出された領域毎にリフォーカシング処理を行い各焦点面での合焦画像を生成したが、これに限定されない。培養状態判定装置１０は、ステップＳ１２００の領域抽出を行わず、内部画像生成部１２２は、ステップＳ１３００において、例えばイメージセンサ１０２の受光面の範囲をｘｙ平面方向の範囲とし、ｘｙ平面に直行する軸をｚ軸とする３次元空間内の全画素について、リフォーカシング処理を行ってもよい。この場合、判別部１２３は、その３次元空間中で複数のスフェロイドの外形を抽出し、スフェロイドの外形内の空洞を判別する。さらに、計算部１３０は、複数のスフェロイドの外形の内部に含まれる第一画素の数量と、スフェロイドの空洞部に含まれる第二画素の数量とを計算する。なお、３次元空間内の全画素のリフォーカシング処理において、内部画像生成部１２２は、全ての焦点面での合焦画像を生成してもよい。そして、判別部１２３は、各焦点面の合焦画像において、各スフェロイドの外形と、各スフェロイドの空洞部とを抽出してもよい。
　［実施の形態２］
　実施の形態２に係る培養状態判定装置２０を説明する。実施の形態２に係る培養状態判定装置２０は、基準撮像画像中において、複数のスフェロイドの領域の大きさを算出する。さらに、複数のスフェロイドの領域の大きさのばらつきが大きい場合、培養状態判定装置は、培養状態が不良であると判定する。以下に、実施の形態２について、実施の形態１と異なる点を中心に説明する。
　［２－１．実施の形態２に係る培養状態判定装置の構成］
　図２１は、実施の形態２に係る培養状態判定装置２０の機能的な構成の一例を示すブロック図を示す。図２１において、図１と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。図２１に示されるように、培養状態判定装置２０は、撮像装置１００と、記憶部１１０と、画像処理部２２０と、計算部２３０と、状態判定部２４０と、表示部１５０とを備える。さらに、画像処理部２２０は、領域抽出部２２１と、内部画像生成部１２２と、判別部１２３とを備える。撮像装置１００及び記憶部１１０の構成は、実施の形態１と同様である。
　画像処理部２２０の領域抽出部２２１は、実施の形態１に係る領域抽出部２２１と同様に、複数の撮像画像から基準撮像画像を決定し、基準撮像画像からスフェロイドの画像が存在する領域、つまり、スフェロイドの領域を抽出する。さらに、領域抽出部２２１は、抽出したスフェロイドの領域それぞれに、ＩＤを付与する。領域抽出部２２１は、抽出したスフェロイドの領域それぞれのＩＤ及び位置等の情報を、当該スフェロイドの領域を抽出した基準撮像画像と対応付けて記憶部１１０に記憶する。
　本実施の形態では、領域抽出部２２１は、スフェロイドの領域の情報として、基準撮像画像上においてスフェロイドの領域を構成する画素の画素座標を算出する。さらに、領域抽出部２２１は、算出した画素に、当該画素が構成するスフェロイドの領域と同じＩＤを付与する。例えば、図２２には、基準撮像画像から抽出されたスフェロイドの領域の一例が模式的に示されている。図２２のマス目は、基準撮像画像の画素の一部を模式的に示す。領域抽出部２２１は、図２２に示す基準撮像画像の一部において、５つのスフェロイドの領域Ａ１～Ａ５を抽出し、５つのスフェロイドの領域Ａ１～Ａ５それぞれに、ＩＤとして、００１～００５を付与する。さらに、スフェロイドの領域Ａ１～Ａ５それぞれに含まれる画素に、ラベルとして、スフェロイドの領域と同じＩＤ００１～００５を付与する。領域抽出部２２１は、スフェロイドの領域Ａ１～Ａ５それぞれに含まれる画素における基準撮像画像上での画素座標と、当該画素のＩＤ００１～００５とを、互いに対応付けて記憶部１１０に記憶する。図２３の例では、基準撮像画像の頂点の１つである図面上で左上の頂点が、画素座標の原点と定義され、原点から左方向にｘ座標が定義され、原点から下方向にｙ座標が定義されている。
　領域抽出部２２１は、図２２に示すような基準撮像画像のファイルに、スフェロイドの領域の画素座標及びＩＤの情報を組み入れてもよい。この場合、スフェロイドの領域の情報は、画像ファイルとして記憶部１１０に記憶される。又は、領域抽出部２２１は、図２３に示すようなテーブルを形成するように、スフェロイドの領域の画素座標及びＩＤのデータを生成し、記憶部１１０に記憶させてもよい。なお、図２３は、スフェロイドの領域の情報について、記憶部１１０が記憶する内容の一例を示す。
　画像処理部２２０の内部画像生成部１２２及び判別部１２３の構成は、実施の形態１と同様である。
　計算部２３０は、領域抽出部２２１が抽出し且つ記憶部１１０に記憶されたスフェロイドの領域の情報を取り出し、各スフェロイドの領域の大きさを計算する。具体的には、計算部２３０は、連続する画素の領域として記憶されている各スフェロイドの領域について、基準撮像画像の画像座標上で、当該スフェロイドの領域を含む最小の楕円を設定し、その楕円の長径及び短径を計算する。なお、楕円を設定する画像は、基準撮像画像以外の撮像画像であってもよい。例えば、図２２に示すように、計算部２３０は、スフェロイドの領域Ａ１～Ａ５それぞれに外接する最小の楕円Ｃ１～Ｃ５を設定し、楕円Ｃ１～Ｃ５それぞれの長径及び短径を計算する。なお、楕円は、円及び長円も含み得る。さらに、計算部２３０は、各楕円の長径及び短径の長さの和を算出し、この和をスフェロイドの大きさに決定する。また、計算部２３０は、全てのスフェロイドの領域の楕円に基づく大きさの分布、例えば最大値、最小値、中央値、平均、分散等の統計量を計算してもよい。さらに、計算部２３０は、全てのスフェロイドの領域の大きさの分布を示すヒストグラムを作成してもよい。なお、スフェロイドの領域の大きさは、スフェロイドの領域を含む最小の楕円の長径及び短径の長さの和に限定されない。例えば、スフェロイドの領域の大きさは、当該領域の面積であってもよく、当該領域に含まれる画素の総面積、つまり画素数であってもよく、スフェロイドの領域を含む最小の多角形の面積又は対角線の長さの和であってもよい。
　また、計算部２３０は、判別部１２３が判別した各スフェロイド内の第一画素の数量とスフェロイド内の空洞部内の第二画素の数量とから、スフェロイドの領域全体における第一画素の総数である第一総数と第二画素の総数である第二総数との第一比率を計算する。
　状態判定部２４０は、計算部２３０で計算されたスフェロイドの大きさの分布の情報を用いて、培養状態の良否の判定を行う。状態判定部２４０は、スフェロイドの大きさのばらつきが大きい場合に培養状態が不良であると判定し、スフェロイドの大きさのばらつきが小さい場合に、培養状態が良好であると判定する。状態判定部２４０は、ばらつきの基準、例えば、スフェロイドの大きさの分散に対して予め定められた第四閾値を適用することでばらつきの判定を行う。
　なお、第四閾値は、スフェロイドの大きさの分散が第四閾値以上である場合、培養状態が不良であり、当該分散が第四閾値未満である場合、培養状態が不良ではないことを示す閾値である。第四閾値は、スフェロイドを構成する細胞の種類及び数量、スフェロイドの培養の経過時点、要求されるスフェロイドの培養状態の品質、並びにスフェロイドの用途等の条件に応じて、種々な値に決定され得る。例えば、第四閾値は、実験等によって検出される複数のスフェロイドの大きさの分散と当該スフェロイドの培養状態との関係の統計的な結果に基づき、決定されてもよい。このような第四閾値は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された第四閾値は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。
　さらに、状態判定部２４０は、第一総数と第二総数との第一比率と、予め定められた判定基準値とを比較し、第一比率が判定基準値よりも低い場合は培養状態が良好であると判定し、第一比率が判定基準値以上である場合は培養状態が不良であると判定する。
　表示部１５０は、計算部２３０で計算されたスフェロイドの大きさのばらつきと、状態判定部２４０で判定された結果とを示す。表示部１５０は、表示内容を、ディスプレイにより、例えばグラフ、文字、記号、画像等で示してもよく、スピーカにより音声、音響信号で示してもよく、他の表示方法で示してもよい。
　［２－２．実施の形態２に係る培養状態判定装置の動作］
　図２４を参照しつつ、実施の形態２に係る培養状態判定装置２０の動作を説明する。なお、図２４は、実施の形態２に係る培養状態判定装置２０の動作の一例を示すフローチャートである。図２４において、図１１と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。
　まず、ステップＳ１１００において、撮像装置１００は、実施の形態１のステップＳ１１００と同様の処理を行う。次いで、ステップＳ２２００において、画像処理部２２０の領域抽出部２２１は、ステップＳ１１００で取得された撮像画像から、基準撮像画像を決定し、基準撮像画像からスフェロイドの領域を抽出する。領域抽出部２２１は、基準撮像画像から抽出される１つ以上のスフェロイドの領域それぞれについて、当該領域に含まれる画素の基準撮像画像上での画素座標と、当該画素のラベルである当該領域のＩＤとを、互いに対応付けて記憶部１１０に記憶する。
　次いで、ステップＳ２３００において、計算部２３０は、ステップＳ２２００で抽出され且つ記憶部１１０に記憶されたスフェロイドの領域に含まれる画素の画素座標及びＩＤの情報に基づき、基準撮像画像上において、各スフェロイドの領域の大きさを求める。さらに、計算部２３０は、各スフェロイドの領域の大きさの情報を、当該領域のＩＤと対応付けて、記憶部１１０に記憶する。本実施の形態では、スフェロイドの領域の大きさは、例えば、当該領域を含む最小の楕円の長径及び短径の長さの和である。なお、本実施の形態では、スフェロイドの領域の大きさの指標は、楕円の長径及び短径の長さの和であるが、当該指標は、スフェロイドの領域を含む最小の長方形等の多角形における対角線の長さ若しくは対角線の長さの和、スフェロイドの領域に含まれる画素数又はその平方根等の他の指標であってもよい。なお、計算部２３０は、各スフェロイドの領域の大きさに基づき、全てのスフェロイドの領域の大きさの分布を示すヒストグラムを作成し、記憶部１１０に記憶してもよい。また、計算部２３０は、各スフェロイドの領域の大きさに基づき、スフェロイドの領域の大きさの統計量を算出し、記憶部１１０に記憶してもよい。
　次いで、ステップＳ２４００において、状態判定部２４０は、ステップＳ２３００で計算されたスフェロイドの領域の大きさの指標、つまり、スフェロイドの領域を含む最小の楕円の長径及び短径の長さの和に基づき、ステップＳ２２００で抽出された全てのスフェロイドの領域の大きさのばらつきが大きいか否かを判定する。このとき、状態判定部２４０は、全てのスフェロイドの領域の大きさのばらつきが、予め定められたばらつきの基準よりも大きいか否かの判断をする。例えば、状態判定部２４０は、全てのスフェロイドの領域の大きさの分散を算出し、当該分散が第四閾値よりも大きいか否かを判定する。スフェロイドの領域の大きさのばらつきがばらつきの基準以上である場合、つまり、全てのスフェロイドの領域の大きさの分散が第四閾値以上である場合（ステップＳ２４００においてＹｅｓ）、状態判定部２４０はステップＳ２５００に進む。スフェロイドの領域の大きさのばらつきがばらつきの基準よりも小さい場合、つまり、全てのスフェロイドの領域の大きさの分散が第四閾値未満である場合（ステップＳ２４００においてＮｏ）、状態判定部２４０はステップＳ１３００に進む。
　次いで、ステップＳ２５００において、状態判定部２４０は、ステップＳ２４００において大きさのばらつきが大きいと判断されたスフェロイドを含む培養容器について、培養状態が不良であると判定する。つまり、状態判定部２４０は、上記の１つの培養容器全体の培養状態が不良であると判定する。そして、状態判定部２４０は、当該培養容器の全てのスフェロイドを廃棄すると決定する。つまり、状態判定部２４０は、培養容器単位で、スフェロイドの廃棄を決定する。状態判定部２４０は、ステップＳ２５００の処理後、ステップＳ２７００に進む。
　ステップＳ１３００～ステップＳ１６００の処理は、実施の形態１と同様である。なお、ステップＳ１６００の処理後、状態判定部２４０は、ステップＳ２７００に進む。
　ステップＳ２７００において、表示部１５０は、ステップＳ２３００で計算され且つステップＳ２４００で判定されたスフェロイドの大きさのばらつきを、ディスプレイに表示する。例えば、表示部１５０は、ステップＳ２３００で計算されたスフェロイドの領域の大きさを、スフェロイドの大きさとして表示する。さらに、表示部１５０は、複数のスフェロイドの領域の大きさの分布を示すヒストグラムを、スフェロイドの大きさのばらつきとして表示する。また、表示部１５０は、複数のスフェロイドの領域の大きさの最小値、最大値、分散及び標準偏差等の統計量をディスプレイに表示してもよい。さらに、表示部１５０は、ステップＳ１６００の判定結果も表示する。表示部１５０は、スフェロイドの大きさのばらつきの表示と、培養状態の判定結果の表示とを、同時に表示してもよく、いずれか一方を切り替えて表示してもよい。なお、表示部１５０は、音声信号を出力することにより、上記の情報を、画像による表示と併用して、又は、画像による表示とは別に、表示してもよい。
　例えば、図２５Ａ～図２５Ｄには、表示部１５０による表示の一例が示されている。本例では、表示部１５０は画像を表示するディスプレイであり、図２５Ａ～図２５Ｄは、表示部１５０のディスプレイ上の表示画面の例を模式的に示す。
　図２５Ａは、表示部１５０の表示画面１５０ａの１つの状態を示す。図２５Ａは、培養状態判定装置２０が、スフェロイドの大きさのばらつきに基づきスフェロイドの培養状態を不良であると判定したケースを示す。表示画面１５０ａ内において、左側の領域には、培養容器全体の画像１５０ｂが表示されている。画像１５０ｂでは、ステップＳ２２００でスフェロイドの領域として抽出されたスフェロイドが表示されている。スフェロイドは、スフェロイドの領域の輪郭線を強調したライン、スフェロイドの領域を囲む円又は楕円等で示されている。画像１５０ｂは、ステップＳ１１００で取得された複数の撮像画像のうちの選択された１つであり、基準撮像画像であってもよい。例えば、当該基準撮像画像は、イメージセンサ１０２の中心点の直上に位置する照明器１０１の照明の際に撮像された画像である。
　表示画面１５０ａ内において、右側上段の領域には、ステップＳ２３００で計算されたスフェロイドの大きさの分布を示すヒストグラム１５０ｃが、表示されている。さらに、表示画面１５０ａ内において、右側下段の領域には、スフェロイドに関する統計的な情報１５０ｄが表示されている。統計的な情報１５０ｄは、抽出されたスフェロイドの領域の数量、すなわちスフェロイド数と、スフェロイドの大きさに関する情報とを含む。本例では、スフェロイドの大きさに関する情報は、スフェロイドの大きさの平均、最大値、最小値及び分散であるが、これらに限定されない。さらに、統計的な情報１５０ｄでは、分散と第四閾値ｙｙとの関係が示されている。本例では、分散が第四閾値よりも大きい、つまり分散が第四閾値以上であることが示されている。これにより、情報１５０ｄを見たユーザは、スフェロイドの大きさのばらつきが大きく、スフェロイドが培養以降の処理に適さないことを認識することができる。本ケースでは、培養状態判定装置２０は、ステップＳ２４００においてスフェロイドの大きさのばらつきが大きいと判断し、ステップＳ１３００からステップＳ１６００の処理を行っていない。そのため、図２５Ａに表示される情報以外の情報が存在しないため、表示画面１５０ａには、他の情報の呼び出し及び表示画面の切り替え等を提示する表示はない。
　図２５Ｂは、表示部１５０の表示画面１５０ａの別の状態を示す。図２５Ｂは、培養状態判定装置２０が、スフェロイドの大きさのばらつきに基づきスフェロイドの培養状態を不良でないと判定したケースを示す。表示画面１５０ａ内において、図２５Ａのケースと同様に、培養容器全体の画像１５０ｂと、スフェロイドの大きさの分布を示すヒストグラム１５０ｃと、スフェロイドに関する統計的な情報１５０ｄとが、表示されている。本ケースでは、表示画面１５０ａ内の左下の領域、つまり、画像１５０ｂの下方に、他の情報を表示するための「細胞量表示」アイコン１５０ｅが表示されている。さらに、統計的な情報１５０ｄにおいて、スフェロイドの大きさの分散が第四閾値以上であることを示す表示がない。本ケースでは、培養状態判定装置２０は、ステップＳ２４００においてスフェロイドの大きさのばらつきが基準内にあると判断し、ステップＳ１３００からステップＳ１６００の処理を通じてリフォーカシング処理を行い、各スフェロイドの領域の合焦画像を生成する。そして、培養状態判定装置２０は、スフェロイドの外形内の第一画素の総数と空洞部内の第二画素の総数との第一比率を算出する。
　図２５Ｃは、表示部１５０の表示画面１５０ａにおける図２５Ｂの別の状態を示す。図２５Ｃの表示画面１５０ａは、図２５Ｂの「細胞量表示」アイコン１５０ｅへクリック等の入力操作がされた後に表示される画面の一例である。表示画面１５０ａ内において、図２５Ｂと同様に、培養容器全体の画像１５０ｂと、スフェロイドの大きさの分布を示すヒストグラム１５０ｃと、スフェロイドに関する統計的な情報１５０ｄとが、表示されている。さらに、画像１５０ｂに隣接して、画像１５０ｂに表示する焦点面を指定する入力手段１５０ｆが表示されている。本例では、入力手段１５０ｆは、スライダである。ユーザが、表示画面１５０ａ上において、入力手段１５０ｆのスライダを移動すると、表示部１５０は、スライダの位置に対応する位置の焦点面における各スフェロイドの合焦画像を、画像１５０ｂとして表示する。つまり、表示部１５０は、任意の焦点面における各スフェロイドの断面画像を表示し得る。スライダの移動方向は、イメージセンサ１０２の受光面に対して接近する及び離れる方向に対応し、スライダの位置は、イメージセンサ１０２の受光面からの距離に対応する。
　さらに、表示画面１５０ａ内の左下の領域、つまり、画像１５０ｂの下方に、スフェロイドの空洞部に関する情報１５０ｇが表示される。情報１５０ｇは、スフェロイドの外形内の第一画素の総数と、スフェロイドの空洞部内の第二画素の総数と、空洞比率とを含む。空洞比率は、第一比率である。本例では、空洞比率が判定基準値を超えていることが表示されている。これにより、情報１５０ｇを見たユーザは、スフェロイドの空洞部の比率が大きく、スフェロイドが、培養以降の処理に適さないことを認識することができる。
　また、入力手段１５０ｆは、焦点面を選択することができれば、スライダ以外のいかなる構成であってもよい。例えば、入力手段１５０ｆは、焦点面の位置を示す数値等のパラメータの入力を受け付けるキー、画像１５０ｂ上でスライド等の入力を受け付けることによって表示する焦点面を変更するタッチパネル、又は、焦点面を選択可能なポインティングデバイス等であってもよい。
　図２５Ｄは、表示部１５０の表示画面１５０ａにおける図２５Ｃの別の状態を示す。図２５Ｄの表示画面１５０ａは、図２５Ｃの表示画面１５０ａにおいて、特定のスフェロイドの画像が指定された場合に、当該のスフェロイドの拡大画像１５０ｈを表示する画面の一例である。特定のスフェロイドの画像の指定は、表示画面１５０ａ内のカーソル、ポインタ等のポインティングデバイスを用いて行われてもよい。拡大画像１５０ｈは、スフェロイドの合焦画像を表示する焦点面を選択するための入力手段１５０ｈａを含んでもよい。入力手段１５０ｈａは、入力手段１５０ｆと同様の構成を有してもよく、本例では、スライダである。これにより、ユーザは、選択したスフェロイドの任意の断面画像を、拡大画像１５０ｈに表示させて視認することができる。
　このように、培養状態判定装置２０は、図２５Ａ～図２５Ｄに示したような表示画面１５０ａにより、スフェロイドの大きさのばらつき及びスフェロイドにおける細胞の量に基づく培養容器単位での培養状態の判定結果に加えて、個別のスフェロイドの３次元画像を表示し、スフェロイドに関する詳細な情報をユーザに提供することができる。
　［２－３．効果］
　以上のように、実施の形態２に係る培養状態判定装置２０は、培養容器内で培養されている複数のスフェロイドについて、まず、複数のスフェロイドの大きさのばらつきを判断する。培養状態判定装置２０は、ばらつきが基準以上の大きい場合、培養容器内の全てのスフェロイドの廃棄を決定し、ばらつきが基準未満の小さい場合、培養状態をさらに判断する。これにより、分化処理等の培養後の処理によって所望の細胞を取得する際、効率が良い培養容器を簡単に選別することが可能になる。培養状態のさらなる判断では、培養状態判定装置２０は、ばらつきが原因で廃棄されなかった培養容器の複数のスフェロイドに対して、実施の形態１と同様に、培養容器全体でのスフェロイドの体積に対する空洞部の体積の第一比率に基づき、培養容器全体での培養状態の良否を判定する。
　リフォーカシング処理を伴う第一比率を算出するための処理量は比較的多い。一方、培養容器内の複数のスフェロイドの大きさのばらつきを判断するための処理量は、第一比率を算出するための処理量と比べて、大幅に少ない。培養状態判定装置２０は、スフェロイドの大きさのばらつきに基づき、第一比率の算出対象の培養容器の数量を絞ることによって、複数の培養容器のスフェロイドの培養状態を判定する処理速度を向上することができる。このように、培養状態判定装置２０は、培養中のスフェロイドの培養状態を培養の容器単位で判定し、分化処理に適した状態のよい培養細胞を効率よく抽出することを可能にする。
　［他の実施の形態］
　以上、１つ又は複数の態様に係る培養状態判定装置について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。
　実施の形態に係る培養状態判定装置は、各スフェロイドについて、各焦点面の合焦画像上において、スフェロイドの外形内の第一画素の数量と、スフェロイドの空洞部内の第二画素の数量とを算出した。さらに、培養状態判定装置は、全てのスフェロイドの全ての焦点面での第一画素の数量の総和を求めることによって、第一総数を算出し、全てのスフェロイドの全ての焦点面での第二画素の数量の総和を求めることによって、第二総数を算出した。しかしながら、第一総数及び第二総数の算出方法は、これに限定されない。例えば、培養状態判定装置は、各スフェロイドについて、全ての焦点面での第一画素の数量の和を求め、全てのスフェロイドの第一画素の数量の総和を求めることによって、第一総数を算出してもよい。同様に、培養状態判定装置は、各スフェロイドについて、全ての焦点面での第二画素の数量の和を求め、全てのスフェロイドの第二画素の数量の総和を求めることによって、第二総数を算出してもよい。この場合、各スフェロイドの体積と、各スフェロイドの空洞部の体積とを算出することによって、各スフェロイドの培養状態を判別することが可能になる。
　また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。
　例えば、上記実施の形態に係る培養状態判定装置に含まれる各処理部は典型的には集積回路であるＬＳＩ（Large Scale Integration：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵなどのプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Integrated Circuit）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
　本開示の培養状態判定方法は、ＭＰＵ（Micro Processing Unit）、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
　さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記で用いた序数、数量等の数字は全て、本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　本開示の技術は、培養中の組織幹細胞、ｉＰＳ細胞、ＥＳ細胞等の幹細胞あるいは胚等の細胞塊の培養状態を判定する技術に広く利用可能であり、幹細胞のような多能細胞のスフェロイドを培養して分化処理を行う際に、分化処理に適した培養状態であるかどうかを判定する際に有用である。
　上記の開示内容から導出される技術が、以下、列記される。
 
　（項目Ｄ１１）
　培養状態判定装置であって、
　　複数の光源、
　　細胞塊を載置可能なイメージセンサ、および
　　制御回路、
　を具備し、
　ここで、前記制御回路は、動作中に、
　　（ａ）各々の前記複数の光源を順次用いて前記細胞塊を照明するときに前記イメージセンサを用いて前記細胞塊を含む撮像画像を取得することを繰り返すことにより、複数の撮像画像を取得し、
　　　ここで、
　　　各々の前記複数の撮像画像は、前記細胞塊を含み、
　　（ｂ）　各々の前記複数の撮像画像から、前記細胞塊を含む画像領域を抽出し、
　　（ｃ）　前記複数の撮像画像を用いて、前記画像領域について３次元画像情報を生成し、
　　（ｄ）　前記３次元画像情報から、第１体積および第２体積を計算し、
　　　前記第１体積は、前記細胞塊の全体積であり、かつ
　　　前記第２体積は、前記細胞塊の空洞部の体積であり、かつ
　　（ｅ）　前記第１体積および前記第２体積を用いて、前記細胞塊の培養状態を判定する、
　培養状態判定装置。
 
　（項目Ｄ１２）
　項目Ｄ１１の培養状態判定装置であって、
　　さらに記憶部を具備し、
　　前記工程（ａ）において取得された前記複数の撮像画像は前記記憶部に記憶される、
　培養状態判定装置。
 
　（項目Ｄ１３）
　項目Ｄ１１の培養状態判定装置であって、
　　前記工程（ｃ）において生成された３次元画像情報は前記記憶部に記憶される、
　培養状態判定装置。
 
　（項目Ｄ１４）
　項目Ｄ１１の培養状態判定装置であって、
　　前記第１体積は、前記３次元画像情報から抽出された前記細胞塊の外形から計算され、かつ
　　前記第２体積は、前記３次元画像情報から抽出された前記空洞部の形状から計算される、
　培養状態判定装置。
 
　（項目Ｄ２１）
　培養状態判定装置であって、
　　複数の光源、
　　複数の細胞塊を載置可能なイメージセンサ、および
　　制御回路、
　を具備し、
　ここで、前記制御回路は、動作中に、
　　（ａ）各々の前記複数の光源を順次用いて前記複数の細胞塊を照明するときに前記イメージセンサを用いて前記複数の細胞塊に含まれる少なくとも１つの細胞塊を含む撮像画像を取得することを繰り返すことにより、複数の撮像画像を取得し、
　　　ここで、
　　　各々の前記複数の撮像画像は、前記複数の細胞塊に含まれる少なくとも１つの細胞塊を含み、
　　（ｂ）　各々の前記複数の撮像画像から、１つの細胞塊を含む画像領域を抽出し、
　　（ｃ）　前記複数の撮像画像を用いて、前記画像領域について３次元画像情報を生成し、
　　（ｄ）　前記３次元画像情報から、第１体積および第２体積を計算し、
　　　ここで、
　　　前記第１体積は、前記１つの細胞塊の全体積であり、かつ
　　　前記第２体積は、前記１つの細胞塊の空洞部の体積であり、かつ
　　（ｅ）　前記第１体積および前記第２体積を用いて、前記少なくとも１つの細胞塊の培養状態を判定する、
　培養状態判定装置。
 
　（項目Ｄ２２）
　項目Ｄ２１の培養状態判定装置であって、
　工程（ｂ）～工程（ｄ）を繰り返し、２以上の細胞塊の培養状態を工程（ｅ）で判定する、
　培養状態判定装置。
 
　（項目Ｄ２３）
　項目Ｄ２１の培養状態判定装置であって、
　　さらに記憶部を具備し、
　　前記工程（ａ）において取得された前記複数の撮像画像は前記記憶部に記憶される、
　培養状態判定装置。
 
　（項目Ｄ２４）
　項目Ｄ２３の培養状態判定装置であって、
　　前記工程（ｃ）において生成された３次元画像情報は前記記憶部に記憶される、
　培養状態判定装置。
 
　（項目Ｄ２５）
　項目Ｄ２１の培養状態判定装置であって、
　　前記第１体積は、前記３次元画像情報から抽出された前記１つの細胞塊の外形から計算され、かつ
　　前記第２体積は、前記３次元画像情報から抽出された前記１つの空洞部の形状から計算される、
　培養状態判定装置。
 
　（項目Ｍ１１）
　培養状態を判定する方法であって、
　　（ａ）各々の前記複数の光源を順次用いて前記細胞塊を照明するときに前記イメージセンサを用いて前記細胞塊を含む撮像画像を取得することを繰り返すことにより、複数の撮像画像を取得し、
　　　ここで、
　　　各々の前記複数の撮像画像は、前記細胞塊を含み、
　　（ｂ）　各々の前記複数の撮像画像から、前記細胞塊を含む画像領域を抽出し、
　　（ｃ）　前記複数の撮像画像を用いて、前記画像領域について３次元画像情報を生成し、
　　（ｄ）　前記３次元画像情報から、第１体積および第２体積を計算し、
　　　前記第１体積は、前記細胞塊の全体積であり、かつ
　　　前記第２体積は、前記細胞塊の空洞部の体積であり、かつ
　　（ｅ）　前記第１体積および前記第２体積を用いて、前記細胞塊の培養状態を判定する、
　方法。
 
　（項目Ｍ１４）
　項目Ｍ１１の方法であって、
　　前記第１体積は、前記３次元画像情報から抽出された前記細胞塊の外形から計算され、かつ
　　前記第２体積は、前記３次元画像情報から抽出された前記空洞部の形状から計算される、
　方法。
 
　（項目Ｍ２１）
　培養状態を判定する方法であって、
　　（ａ）各々の前記複数の光源を順次用いて前記複数の細胞塊を照明するときに前記イメージセンサを用いて前記複数の細胞塊に含まれる少なくとも１つの細胞塊を含む撮像画像を取得することを繰り返すことにより、複数の撮像画像を取得し、
　　　ここで、
　　　各々の前記複数の撮像画像は、前記複数の細胞塊に含まれる少なくとも１つの細胞塊を含み、
　　（ｂ）　各々の前記複数の撮像画像から、１つの細胞塊を含む画像領域を抽出し、
　　（ｃ）　前記複数の撮像画像を用いて、前記画像領域について３次元画像情報を生成し、
　　（ｄ）　前記３次元画像情報から、第１体積および第２体積を計算し、
　　　ここで、
　　　前記第１体積は、前記１つの細胞塊の全体積であり、かつ
　　　前記第２体積は、前記１つの細胞塊の空洞部の体積であり、かつ
　　（ｅ）　前記第１体積および前記第２体積を用いて、前記少なくとも１つの細胞塊の培養状態を判定する、
　方法。
 
　（項目Ｍ２２）
　項目Ｍ２１の方法であって、
　工程（ｂ）～工程（ｄ）を繰り返し、２以上の細胞塊の培養状態を工程（ｅ）で判定する、
　方法。
 
　（項目Ｍ２６）
　項目Ｍ２１の方法であって、
　　前記第１体積は、前記３次元画像情報から抽出された前記１つの細胞塊の外形から計算され、かつ
　　前記第２体積は、前記３次元画像情報から抽出された前記空洞部の形状から計算される、
　方法。
 
　１０、２０　培養状態判定装置
　１００　撮像装置
　１０１、１０１ａ、１０１ｂ　照明器
　１０２　イメージセンサ
　１０３　撮像制御部
　１１０　記憶部
　１２０、２２０　画像処理部
　１２１、２２１　領域抽出部
　１２２　内部画像生成部
　１２３　判別部
　１３０、２３０　計算部
　１４０、２４０　状態判定部
　１５０　表示部
　１２２１　リフォーカシング部
　１２２２　焦点面テーブル
　１２２３　画像生成部
 

Claims (10)

  1. 　複数の光源と、
    　対象物である複数の細胞塊が載置されるイメージセンサと、
    　少なくとも１つの制御回路と、を備え、
    　前記複数の光源は順番に、前記複数の細胞塊を照明し、
    　前記イメージセンサは、前記複数の光源が前記複数の細胞塊を照明する毎に、前記複数の細胞塊の撮像画像を取得し、
    　前記少なくとも１つの制御回路は、
    　前記撮像画像において細胞塊の画像を含む領域を抽出し、
    　複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、
    　前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、
    　前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、
    　前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する
    　培養状態判定装置。
  2. 　前記少なくとも１つの制御回路は、
    　前記細胞塊それぞれの前記第一体積の合計である第一総体積と、前記細胞塊それぞれの前記空洞部の前記第二体積の合計である第二総体積とを求め、
    　前記第一総体積と前記第二総体積とを用いて前記複数の細胞塊全体の培養状態を判定する
    　請求項１に記載の培養状態判定装置。
  3. 　前記少なくとも１つの制御回路は、前記複数の撮像画像のうちの１つを用いて、前記領域を抽出する
    　請求項１または２に記載の培養状態判定装置。
  4. 　前記少なくとも１つの制御回路は、前記３次元画像情報として、前記複数の光源と前記イメージセンサとの間に位置する複数の仮想的な焦点面それぞれにおける前記領域の合焦画像を生成する
    　請求項１～３のいずれか一項に記載の培養状態判定装置。
  5. 　前記イメージセンサは、複数のセンサ画素を有し、
    　前記合焦画像は、複数の合焦画素で構成されており、
    　前記少なくとも１つの制御回路は、前記複数の撮像画像それぞれの撮像時に照明する前記光源の位置それぞれと、前記合焦画素の位置とに基づき、前記合焦画素に対応する前記センサ画素それぞれの輝度値を取得することによって、前記合焦画素を生成する
    　請求項４に記載の培養状態判定装置。
  6. 　前記少なくとも１つの制御回路は、
    　前記合焦画像において、前記細胞塊の外形及び前記空洞部を抽出し、
    　前記合焦画像において、前記細胞塊の外形に基づく面積である第一面積と前記空洞部の面積である第二面積とを求め、
    　前記第一面積を用いて前記第一体積を求め、
    　前記第二面積を用いて前記第二体積を求める
    　請求項４または５に記載の培養状態判定装置。
  7. 　前記少なくとも１つの制御回路は、
    　前記領域の大きさを求め、
    　前記領域の大きさのばらつきに基づき、前記細胞塊の培養状態を判定する
    　請求項１～６のいずれか一項に記載の培養状態判定装置。
  8. 　前記少なくとも１つの制御回路は、
    　前記領域の大きさのばらつきが、基準内に収まる場合、
    　前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する
    　請求項７に記載の培養状態判定装置。
  9. 　イメージセンサ上に位置する対象物である複数の細胞塊の培養状態を判定する培養状態判定方法であって、
    　複数の光源のそれぞれを照明する毎に、前記イメージセンサを用いて、前記複数の細胞塊の撮像画像を取得し、
    　前記撮像画像において細胞塊の画像を含む領域を抽出し、
    　複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、
    　前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、
    　前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、
    　前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定し、
    　上記処理の少なくとも１つは制御回路によって実行される
    　培養状態判定方法。
  10. 　イメージセンサ上に位置する対象物である複数の細胞塊の複数の撮像画像を取得し、ここで、前記複数の撮像画像は、複数の光源のそれぞれを照明する毎に、前記イメージセンサによって取得され、
    　前記撮像画像において細胞塊の画像を含む領域を抽出し、
    　前記複数の撮像画像を用いて、前記領域について３次元画像情報を生成し、
    　前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、
    　前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、
    　前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する
    　ことを、コンピュータに実行させる
    　プログラム。
     
PCT/JP2018/036788 2017-11-28 2018-10-02 培養状態判定装置、培養状態判定方法及びプログラム WO2019106945A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019557034A JPWO2019106945A1 (ja) 2017-11-28 2018-10-02 培養状態判定装置、培養状態判定方法及びプログラム
US16/842,902 US11674889B2 (en) 2017-11-28 2020-04-08 Culture state determination based on direction-dependent image information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017228021 2017-11-28
JP2017-228021 2017-11-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/842,902 Continuation US11674889B2 (en) 2017-11-28 2020-04-08 Culture state determination based on direction-dependent image information

Publications (1)

Publication Number Publication Date
WO2019106945A1 true WO2019106945A1 (ja) 2019-06-06

Family

ID=66664859

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036788 WO2019106945A1 (ja) 2017-11-28 2018-10-02 培養状態判定装置、培養状態判定方法及びプログラム

Country Status (3)

Country Link
US (1) US11674889B2 (ja)
JP (2) JPWO2019106945A1 (ja)
WO (1) WO2019106945A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009044974A (ja) * 2007-08-16 2009-03-05 Univ Nagoya 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
WO2015145872A1 (ja) * 2014-03-26 2015-10-01 株式会社Ｓｃｒｅｅｎホールディングス スフェロイドの評価方法およびスフェロイド評価装置
WO2016117089A1 (ja) * 2015-01-22 2016-07-28 オリンパス株式会社 三次元発光画像の生成方法及び撮像システム
WO2016158719A1 (ja) * 2015-03-31 2016-10-06 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラムおよび画像処理装置
US20170192219A1 (en) * 2016-01-06 2017-07-06 Panasonic Intellectual Property Management Co., Ltd. Image generating system, image generating method, and image generating apparatus
US20170269344A1 (en) * 2016-03-18 2017-09-21 Panasonic Intellectual Property Management Co., Ltd. Image generation apparatus, image generation method, storage medium, and processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100562A2 (en) * 2005-03-21 2006-09-28 Ge Healthcare Limited Method of screening pet tracers for early cancer thereapy monitoring
WO2010143420A1 (ja) * 2009-06-12 2010-12-16 株式会社ニコン 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP2013137635A (ja) * 2011-12-28 2013-07-11 Dainippon Screen Mfg Co Ltd 画像表示装置および画像表示方法
JP6394960B2 (ja) * 2014-04-25 2018-09-26 パナソニックＩｐマネジメント株式会社 画像形成装置および画像形成方法
JP6685148B2 (ja) * 2016-03-01 2020-04-22 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置および撮像方法
EP3473727B1 (en) * 2016-06-16 2022-01-19 Hitachi High-Tech Corporation Method for analyzing state of cells in spheroid

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009044974A (ja) * 2007-08-16 2009-03-05 Univ Nagoya 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
WO2015145872A1 (ja) * 2014-03-26 2015-10-01 株式会社Ｓｃｒｅｅｎホールディングス スフェロイドの評価方法およびスフェロイド評価装置
WO2016117089A1 (ja) * 2015-01-22 2016-07-28 オリンパス株式会社 三次元発光画像の生成方法及び撮像システム
WO2016158719A1 (ja) * 2015-03-31 2016-10-06 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラムおよび画像処理装置
US20170192219A1 (en) * 2016-01-06 2017-07-06 Panasonic Intellectual Property Management Co., Ltd. Image generating system, image generating method, and image generating apparatus
US20170269344A1 (en) * 2016-03-18 2017-09-21 Panasonic Intellectual Property Management Co., Ltd. Image generation apparatus, image generation method, storage medium, and processing method

Also Published As

Publication number Publication date
JPWO2019106945A1 (ja) 2020-12-17
JP2023099555A (ja) 2023-07-13
US11674889B2 (en) 2023-06-13
US20200232967A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
ES2587236T3 (es) Identificación y verificación de medicación
JP6765057B2 (ja) 画像生成装置、画像生成方法およびプログラム
US10379336B2 (en) Image generating apparatus and image generating method
JP6739061B2 (ja) 画像生成装置、画像生成方法及びプログラム
WO2013099045A1 (ja) 画像表示装置および画像表示方法
CN106973258B (zh) 病理切片信息快速获取装置
CN108475429B (zh) 三维显微镜图像的分割的系统和方法
JP2008064534A (ja) 細胞画像処理装置および細胞画像処理方法
JP6196607B2 (ja) 画像処理方法、制御プログラムおよび画像処理装置
AU2004271106B2 (en) System for organizing multiple objects of interest in field of interest
CN109886917B (zh) 一种晶圆盘定位方法及装置
WO2015102057A1 (ja) 画像処理方法、画像処理システム、およびプログラム
JP2019515362A (ja) 多次元データの画像分析のためのシステムおよび方法
JP2023091038A (ja) 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
JP5780791B2 (ja) 細胞の追跡処理方法
US10382678B2 (en) Image generation apparatus and image generation method
WO2019106945A1 (ja) 培養状態判定装置、培養状態判定方法及びプログラム
JP3660936B1 (ja) 硬化コンクリートの気泡計測方法および気泡計測装置
US11170605B2 (en) Method for detecting at least one gambling chip object
CN106950687B (zh) 图像生成系统以及图像生成方法
EP4213108A1 (en) Method, device and system for analyzing a sample
EP4317403A1 (en) Cell counting method, construction method of machine learning model for cell counting, computer program, and storage medium
JP2018174787A (ja) 画像生成装置、画像生成システム、画像生成方法及びプログラム
JP2018120363A (ja) 画像生成装置及び画像生成方法
EP4125065A1 (en) Image processing method and classification model construction method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18883260

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019557034

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18883260

Country of ref document: EP

Kind code of ref document: A1