WO2016117638A1 - ３次元発光画像の生成方法及び撮像システム - Google Patents

３次元発光画像の生成方法及び撮像システム Download PDF

Info

Publication number
WO2016117638A1
WO2016117638A1 PCT/JP2016/051679 JP2016051679W WO2016117638A1 WO 2016117638 A1 WO2016117638 A1 WO 2016117638A1 JP 2016051679 W JP2016051679 W JP 2016051679W WO 2016117638 A1 WO2016117638 A1 WO 2016117638A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
image
imaging
interval
light emission
Prior art date
Application number
PCT/JP2016/051679
Other languages
English (en)
French (fr)
Inventor
太朗 林
大橋　陽子
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680006671.6A priority Critical patent/CN107209122A/zh
Priority to DE112016000251.3T priority patent/DE112016000251T5/de
Priority to JP2016570697A priority patent/JP6461204B2/ja
Publication of WO2016117638A1 publication Critical patent/WO2016117638A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/76—Chemiluminescence; Bioluminescence
    • G01N21/763—Bioluminescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/144—Imaging characterised by its optical setup
    • G01N2015/1445—Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/1452—Adjustment of focus; Alignment

Definitions

  • the present invention relates to a method for generating a three-dimensional emission image and an imaging system for generating a three-dimensional emission image.
  • Stem cell-derived embryoid bodies such as iPS cells or ES cells or tissues such as spheroids have attracted attention as new research materials, and research using these has been conducted.
  • Stem cell-derived embryoid bodies or spheroids are generally a group of cells in which stem cells cultured in a non-adhered state gather and aggregate to form a spherical three-dimensional structure.
  • Cells contained in embryoid bodies or spheroids have the ability to differentiate into various cells depending on the culture conditions. For example, in regenerative medicine for the purpose of regenerating organs, or in drug discovery research that evaluates the efficacy and toxicity of new drugs on the human body, it is more in vivo than cells that have been used in the past. It is desirable to use cells having a three-dimensional structure close to the environment. For this reason, stem cell-derived embryoid bodies or spheroids have attracted attention as research materials, particularly in recent research in the field of regenerative medicine or drug discovery.
  • Japanese Patent No. 5424528 discloses the following analysis method and analysis system. That is, this method and system is directed to a thick live sample embryo or tissue that generates faint light and has multiple sites to be measured. In this method and system, a weak light signal is acquired from a different position for each measurement site, and analysis is performed based on this signal.
  • Japanese Unexamined Patent Application Publication No. 2014-119762 discloses a microscope system that captures a bright-field image and a light-emitting image or a fluorescent image while changing the focus position.
  • a three-dimensional three-dimensional sample for example, a plurality of two-dimensional images having different focal planes are acquired by performing photographing while shifting the focal position at regular intervals, and the reconstruction processing based on the two-dimensional images is performed.
  • a dimensional image can be constructed. It is known that the internal structure of a three-dimensional sample and its change can be analyzed by constructing such a three-dimensional image (for example, Japanese Patent Application Laid-Open No. 2012-122829, Japanese Special Table 2010-5324487). Issue gazette). In this case, for example, cells labeled with a luminescent protein or a fluorescent protein are used, and various information can be acquired about cells in a living state.
  • the luminescence intensity of the photoprotein is weaker than the fluorescence intensity of the fluorescent protein, and a long exposure is required for one photographing. For this reason, in the method of constructing a light emission three-dimensional image by reconstructing a light emission image taken while shifting the focal position at regular intervals, it takes time to construct the image. Further, when obtaining a plurality of two-dimensional images, if the photographing interval related to the focal position is shortened, the information amount of the three-dimensional image is increased and the definition becomes high. On the other hand, the time required for shooting increases and the data size also increases. Conversely, if the shooting interval related to the focal position is lengthened, the data size is reduced, but the amount of information included in the three-dimensional image is reduced, and the resolution is lowered.
  • a three-dimensional time-lapse observation in which the above-described three-dimensional reconstructed image is acquired at predetermined time intervals is performed, thereby changing the three-dimensional sample with time.
  • the amount of data obtained can be enormous.
  • the data required for analysis is partial.
  • data necessary for analysis can change with time.
  • embryonic bodies or spheroids derived from stem cells may exhibit different gene expression levels in individual cells constituting these tissues.
  • the present invention relates to a method and an imaging system for generating a three-dimensional luminescent image capable of acquiring necessary and sufficient data in observing a three-dimensional sample having a three-dimensional shape including a plurality of cells prepared to emit light.
  • the purpose is to provide.
  • a method for generating a three-dimensional luminescent image includes a plurality of three-dimensional samples having a three-dimensional shape including a plurality of cells prepared to emit light and having different focal planes.
  • the interval between the plurality of two-dimensional images is set according to the localization of light emission in the three-dimensional sample, and the three-dimensional sample is photographed under non-illumination conditions.
  • an imaging system includes an objective optical system, a drive unit that moves a focus position of the objective optical system in the optical axis direction, and a plurality of cells that are prepared to emit light 3.
  • a plurality of two-dimensional images when acquiring a plurality of two-dimensional images having a focusing surface different from an imaging unit that images a light-emitting image of a three-dimensional sample having a three-dimensional shape via the objective optical system.
  • An interval setting unit that sets the interval between images according to the localization of light emission in the three-dimensional sample, and the imaging unit to photograph the three-dimensional sample while controlling the operation of the driving unit under non-illumination conditions
  • the imaging control unit that acquires the two-dimensional image group including the plurality of two-dimensional images according to the set interval is combined with the plurality of two-dimensional images included in the two-dimensional image group to obtain 3 Image composition to generate a three-dimensional luminescence Provided with a door.
  • a method for generating a three-dimensional emission image capable of acquiring necessary and sufficient data in observation of a three-dimensional sample having a three-dimensional shape including a plurality of cells prepared to emit light, and An imaging system can be provided.
  • FIG. 1 is a block diagram illustrating an outline of a configuration example of an imaging system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing an example of a method for generating a three-dimensional luminescent image according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an example of an image acquisition process according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing an example of the condition adjustment process according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart showing an example of automatic combination processing according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of a three-dimensional light emission image acquired according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a three-dimensional light emission image acquired according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an example of a three-dimensional light emission image acquired according to an embodiment of the present invention.
  • FIG. 9 is a schematic diagram for explaining the image acquisition of the three-dimensional sample in the second embodiment, and is a diagram illustrating a case where the interval between the imaging surfaces is wider than the focal depth of the objective optical system.
  • FIG. 10 is a schematic diagram for explaining a three-dimensional image obtained in the second embodiment.
  • FIG. 11 is a schematic diagram for explaining image acquisition of a three-dimensional sample in the second embodiment, and is a diagram illustrating a case where the interval between imaging surfaces is narrower than the focal depth of the objective optical system.
  • FIG. 9 is a schematic diagram for explaining the image acquisition of the three-dimensional sample in the second embodiment, and is a diagram illustrating a case where the interval between imaging surfaces is narrower than the focal depth of the objective optical system.
  • FIG. 12 is a schematic diagram for explaining a three-dimensional image obtained in the second embodiment.
  • FIG. 13 is a schematic diagram for explaining a three-dimensional image obtained in the second embodiment.
  • FIG. 14 is a schematic diagram for explaining the outline of the operation of the imaging system according to the second embodiment.
  • FIG. 15 is a flowchart illustrating an example of an image acquisition process according to the second embodiment.
  • FIG. 16 is a flowchart illustrating an example of an imaging plane setting process according to the second embodiment.
  • FIG. 17 is a schematic diagram for explaining conditions for setting the interval between the imaging surfaces to be narrow in the second embodiment.
  • FIG. 18 is a schematic diagram for explaining conditions for setting the interval between the imaging surfaces to be narrow in the second embodiment.
  • FIG. 19 is a schematic diagram for explaining the setting of the interval between the imaging surfaces in the second embodiment.
  • FIG. 20 is a schematic diagram for explaining the setting of the interval between the imaging surfaces in the second embodiment.
  • FIG. 21 is a flowchart illustrating an example of a two-dimensional image acquisition process according to the second embodiment.
  • FIG. 22 is a flowchart illustrating an example of an imaging surface setting process according to the first modification of the second embodiment.
  • the imaging system 10 includes a sample holding unit 11 that holds a three-dimensional sample 12, an incubator 13, an objective optical system 14, an imaging unit 15, an objective optical system driving unit 16, and a sample holding unit.
  • the three-dimensional sample 12 is a sample that includes a plurality of cells and has a thickness, such as embryoid bodies or spheroids derived from stem cells such as iPS cells and ES cells.
  • the three-dimensional sample 12 is prepared to self-emit under non-illuminated conditions.
  • the three-dimensional sample 12 includes, for example, cells into which a luciferase gene has been introduced. When luciferin is added, the cells in which the luciferase is expressed emit light.
  • the incubator 13 adjusts the environmental conditions for maintaining the cells, such as temperature and CO 2 concentration, for the three-dimensional sample 12.
  • the objective optical system 14 includes an optical system similar to a general microscope such as an objective lens.
  • the imaging unit 15 includes an imaging device such as a cooled CCD camera.
  • the imaging device included in the imaging unit 15 is not limited to a CCD image sensor, and may be a CMOS image sensor or the like.
  • the imaging unit 15 captures an image of the three-dimensional sample 12 enlarged by the objective optical system 14. By performing imaging under non-illumination conditions, the imaging unit 15 can acquire an image of a state in which the three-dimensional sample 12 emits light. Such an image relating to light emission is referred to as a light emission image.
  • a first filter 31 may be provided between the objective optical system 14 and the imaging unit 15.
  • the first filter 31 can be configured as a spectral film, for example.
  • photoproteins for example, luciferase
  • imaging may be performed for each wavelength. .
  • imaging is performed while the first filter 31 is used and the first filter 31 is replaced, or a part on a separate imaging unit or imaging element for each wavelength. Images are taken simultaneously in the area. Thereby, a multicolor three-dimensional light emission image can be acquired.
  • the sample holder 11 is configured to hold the three-dimensional sample 12.
  • the sample holder 11 is configured to be movable in the plane direction (XY direction).
  • the sample holder 11 is constituted by a stage, for example.
  • the sample holder drive unit 17 moves the sample holder 11 in the plane direction (XY direction). By moving the sample holder 11 in the plane direction (XY direction), the imaging system 10 can change the imaging field of view within the plane.
  • the objective optical system drive unit 16 changes the focus position in the optical axis direction (Z direction) perpendicular to the plane direction (XY direction) of the objective optical system 14.
  • the objective optical system driving unit 16 moves the objective lens in the optical axis direction, for example.
  • the sample holding unit driving unit 17 may move the sample holding unit 11 in the optical axis direction.
  • the imaging system 10 includes a main body 21 including the sample holding unit 11 and the incubator 13, a dark box 22 provided on the outer peripheral portion of the main body 21, a lid 23 covering the dark box 22, and a second box provided on the lid 23.
  • a filter 30 and a light source 24 that is a light source of illumination light that irradiates the three-dimensional sample 12 through the second filter 30 are provided.
  • the interior of the main body 21 is shielded from external light by the dark box 22 and the lid 23. Therefore, when the light source 24 is turned off, the inside of the main body 21 is in a non-illumination condition. Thereby, even when the three-dimensional sample 12 installed inside the main body 21 emits extremely weak light, the imaging system 10 can image the light under favorable conditions.
  • the illumination of the three-dimensional sample 12 is performed by turning on the light source 24.
  • Observation of a three-dimensional sample under illumination conditions is performed, for example, for confirming the position of the sample or focusing on the sample surface prior to observation and imaging of light emission.
  • the three-dimensional sample 12 can be irradiated with excitation light for generating fluorescence by using the second filter 30 that can be configured as a spectral film, or by using a laser light source as the light source 24. If the three-dimensional sample 12 is prepared so as to generate fluorescence, an image of fluorescence of the three-dimensional sample 12 as well as light emission can be acquired.
  • the control unit 18 is configured by, for example, a personal computer.
  • the control unit 18 includes an imaging control unit 181 that controls the imaging operation, an image composition unit 182 that performs image processing on the captured image to generate a three-dimensional light emission image, and an imaging condition determination unit 183 that determines imaging conditions. And a recording unit 184 for recording various data.
  • the imaging control unit 181 controls the exposure time when acquiring one image. Further, the imaging control unit 181 controls the change in the focus position in the Z-axis direction adjusted by the objective optical system driving unit 16, that is, the imaging pitch. The imaging control unit 181 causes the imaging unit 15 to acquire a set of two-dimensional emission images including a plurality of two-dimensional emission images for a plurality of different focal planes. In addition, the imaging control unit 181 controls an imaging interval that is an interval between the acquisition of one set of two-dimensional emission images and the acquisition of another set of two-dimensional emission images.
  • the image composition unit 182 generates a three-dimensional light emission image by combining a set of two-dimensional light emission images.
  • a three-dimensional reconstruction process that is a three-dimensional composition is performed. That is, the image composition unit 182 generates a three-dimensional light emission image by combining each image in a three-dimensional arrangement using a position information of each set of two-dimensional light emission images.
  • the imaging condition determination unit 183 determines imaging conditions controlled by the imaging control unit 181. That is, the shooting condition determination unit 183 determines, for example, a shooting interval, a shooting pitch, and an exposure time.
  • the recording unit 184 records information necessary for the operation of the control unit 18. This information includes a program for operating each unit of the control unit 18.
  • the recording unit 184 records a two-dimensional image obtained by imaging or a three-dimensional light emission image generated by synthesis.
  • a plurality of three-dimensional light emission images are acquired at predetermined shooting intervals. That is, according to the imaging system 10, time-lapse shooting of a three-dimensional light emission image can be performed.
  • the control unit 18 includes an integrated circuit such as a central processing unit (CPU), an application specific integrated circuit (ASIC), or a field programmable gate array (FPGA), and performs various operations.
  • the imaging control unit 181, the image composition unit 182, and the imaging condition determination unit 183 may each be configured by one integrated circuit or the like, or may be configured by combining a plurality of integrated circuits. Further, two or more of the imaging control unit 181, the image synthesis unit 182, and the imaging condition determination unit 183 may be configured by one integrated circuit or the like.
  • the operation of the control unit 18 is performed according to a program recorded in the recording unit 184 or a storage area in the integrated circuit.
  • control unit 18 calculates the luminance value of the light emission for each pixel based on the two-dimensional image and / or the three-dimensional image recorded in the recording unit 184, which corresponds to the entire image or a partial light emission amount. Information on the luminance value is sent to the imaging condition determination unit 183.
  • the display unit 19 includes a general display device such as a liquid crystal display.
  • the display unit 19 displays, for example, the three-dimensional light emission image created by the image composition unit 182.
  • the display unit 19 displays a light emission two-dimensional image and other images, and control information of the imaging system 10 by the control unit 18.
  • the input unit 20 includes any one of general input devices such as a keyboard, a touch panel, a switch, and a slider.
  • the input unit 20 receives a user instruction and transmits the instruction to the control unit 18.
  • the three-dimensional sample is adjusted.
  • the three-dimensional sample includes a plurality of cells and has a three-dimensional shape.
  • Three-dimensional samples include, for example, embryonic bodies and spheroids derived from stem cells such as iPS cells and ES cells, aggregates and colonies of various cells such as cardiomyocytes and nerve cells differentiated from embryoid bodies and spheroids, or multi-layered Cell sheets etc. may be included.
  • the three-dimensional sample is adjusted so as to self-emit without requiring external excitation light.
  • cells of a three-dimensional sample express luciferase and can be adjusted to produce bioluminescence when luciferin is added.
  • the three-dimensional sample is not limited to these.
  • the three-dimensional sample may be a sample in which cells are spaced apart on a carrier.
  • the shooting conditions include a shooting interval, which is a time interval for acquiring a set of two-dimensional emission images, an exposure time for acquiring a single two-dimensional emission image, and an in-focus position of the objective optical system in the optical axis direction. And an imaging pitch that is a distance interval between the in-focus planes.
  • the imaging condition can be determined as an optimal combination of these conditions.
  • the imaging pitch can be determined according to the size and shape of the three-dimensional sample.
  • the exposure time may be determined according to the shooting pitch and the shooting interval.
  • the exposure time can be determined according to the emission intensity of the three-dimensional sample.
  • the shooting pitch may be determined according to the exposure time and the shooting interval.
  • a plurality of two-dimensional emission images are acquired under non-illumination conditions.
  • This two-dimensional light emission image is an image of light emission of a three-dimensional sample.
  • a two-dimensional image having a plurality of different focal planes is acquired as a set of two-dimensional images.
  • the set of two-dimensional images may include a two-dimensional image at any position from end to end in the height direction of the three-dimensional sample, or a specific partial region in the height direction of the three-dimensional sample. These two-dimensional images may be included.
  • a two-dimensional image that is a transmission image may be acquired under illumination conditions using illumination light or excitation light.
  • This transparent image may be used, for example, for determining the photographing condition.
  • this transmission image may be used for generating a three-dimensional light emission image to be described later.
  • step S105 a three-dimensional light emission image is generated based on the set of two-dimensional light emission images acquired in step S103.
  • the generation of the three-dimensional light emission image can be generated by synthesizing the two-dimensional light emission image based on the position information.
  • a transmission image obtained under the illumination condition acquired in step S104 may also be used.
  • step S106 when it is determined that the next two-dimensional light emission image and the three-dimensional light emission image using the next two-dimensional light emission image are generated at a shooting interval, steps S103 to S105 are repeated. That is, time-lapse shooting of a three-dimensional light emission image is performed.
  • the image acquisition process is started when the user inputs an instruction to start data acquisition from the input unit 20 after placing the sample on the sample holder 11.
  • the image acquisition process will be described with reference to the flowchart shown in FIG. This image acquisition process is performed under the control of the control unit 18.
  • step S201 the control unit 18 sets a shooting interval based on an input to the input unit 20 by the user.
  • the imaging interval is determined according to the experiment content, for example. In measurement targeting a phenomenon that changes at intervals of several seconds to several minutes, such as measurement of intracellular calcium, it is required that the imaging interval be set short. On the other hand, in measurements such as stem cell differentiation, developmental studies, and analysis of clock gene expression, which are targeted for phenomena that gradually change from several hours to several days, the imaging interval may be relatively long.
  • step S202 the control unit 18 acquires the light emission amount acquired as the brightness of the sample. For example, a two-dimensional image of a sample is acquired and the luminance of the obtained image is analyzed to acquire the light emission amount.
  • step S203 the control unit 18 calculates exposure time candidates based on the information obtained in step S202.
  • the exposure time listed as a candidate is an exposure time that allows imaging. For example, in the case of 16-bit image data, a value from 0 to 65535 is used as the pixel value. For example, an exposure time during which the pixel value is not saturated may be selected. Further, as a guideline for numerical values that can be imaged, an exposure time may be set such that the average value of all the pixel values is about 5000. Note that a threshold value may be arbitrarily set for the exposure time. For example, the control unit 18 examines the conditions of the exposure time and specifies an appropriate range as the exposure time.
  • step S204 the control unit 18 acquires the thickness (depth) of the sample.
  • the thickness of the sample for example, an image of the sample is acquired while changing the focus position in the Z direction.
  • the lower limit and upper limit of the sample are specified from the obtained image, and the distance between the lower limit and the upper limit is calculated.
  • the image to be acquired is preferably a bright field image acquired under illumination conditions because the image can be acquired reliably in a short time.
  • a light emission image may be used instead of the bright field image.
  • step S205 the control unit 18 calculates a shooting pitch candidate based on the thickness of the sample acquired in step S204.
  • step S206 the control unit 18 performs mode selection for determining the shooting conditions.
  • a depth priority mode a resolution priority mode, and an automatic combination mode are prepared.
  • the user selects a desired mode from these modes.
  • the control unit 18 acquires an input to the input unit 20 and identifies the selected mode.
  • step S207 the control unit 18 determines provisional conditions for image acquisition with priority given to depth. That is, in the depth priority mode, data with high resolution in the depth direction is acquired by narrowing the shooting pitch. For example, consider a case where 30 minutes is selected as an imaging interval for an experimental sample having a thickness of 100 ⁇ m and a minimum exposure time of 1 minute is required. In this case, by setting the exposure time to 1 minute, 30 images can be acquired at intervals of 3.3 ⁇ m in 30 minutes, which is an imaging interval. In this case, it is determined as a temporary condition that the exposure time is 1 minute and the shooting pitch is 3.3 ⁇ m.
  • the imaging pitch selected in the depth priority mode is a dimension capable of imaging a single cell at least twice.
  • the imaging pitch can be reduced by subtracting the following value ( ⁇ m).
  • the imaging pitch can be set from 1.4 to 2.9 ⁇ m to perform imaging from 2 to 4 times.
  • the imaging pitch for cells having an average diameter of 10 ⁇ m is selected from 2.4 to 4.9 ⁇ m.
  • step S208 the control unit 18 performs a condition adjustment process.
  • the condition adjustment process will be described with reference to the flowchart shown in FIG.
  • step S301 the control unit 18 acquires a plurality of two-dimensional images for constructing a three-dimensional light-emitting image according to the determined provisional conditions for image acquisition, that is, the exposure time and shooting pitch. For example, a two-dimensional image is acquired with a predetermined exposure time at a predetermined focal position, and subsequently a two-dimensional image is acquired with a predetermined exposure time after changing the focal position by a predetermined shooting pitch. .
  • step S302 the control unit 18 generates a three-dimensional light emission image based on the image acquired in step S301. At this time, deconvolution processing is performed on the image acquired in step S301, and processing for canceling image blur is performed. The generation of the three-dimensional emission image is performed using the image that has been subjected to the deconvolution process.
  • step S303 the control unit 18 causes the display unit 19 to display the generated three-dimensional light emission image.
  • step S304 the control unit 18 obtains the user's judgment as to whether or not the shooting conditions are appropriate.
  • the display unit 19 displays the current setting values of the exposure time, shooting pitch, and shooting interval, and icons for changing them. The user can input his / her judgment result by selecting an icon.
  • the process proceeds to step S305.
  • step S305 the control unit 18 determines the currently set provisional condition for image acquisition as the final image acquisition condition. Thereafter, the condition adjustment process ends, and the process returns to the image acquisition process described with reference to FIG.
  • step S304 when information indicating that the shooting condition is not appropriate is acquired, the process proceeds to step S306.
  • step S306 the control unit 18 acquires change values of the exposure time, the shooting pitch, and the shooting interval from the user in order to change the conditions.
  • the exposure time must be increased when the exposure time is increased in relation to the shooting interval
  • the shooting pitch corresponding to the change is calculated.
  • the process returns to step S301. Thereafter, acquisition of a two-dimensional image, generation of a three-dimensional light emission image, and the like are performed under the reset conditions.
  • step S208 the process proceeds to step S213.
  • step S209 the control unit 18 prioritizes resolution and determines provisional conditions for image acquisition. That is, in the resolution priority mode, a light emission image with a high S / N ratio is acquired by extending the exposure time. For example, consider a case in which 30 minutes is selected as an imaging interval for an experimental sample having a thickness of 100 ⁇ m, and an image with a high resolution can be acquired when the exposure time is 4 minutes. In this case, by setting the exposure time to 4 minutes, seven images can be acquired at intervals of 14.3 ⁇ m in 30 minutes, which is an imaging interval.
  • the imaging pitch selected in the resolution priority mode can be set to such a dimension that any one can be imaged when two or more cells are adjacent in the depth direction.
  • a value (mn) obtained by multiplying the average diameter m ( ⁇ m) of the target cell by n is 0.1 or more and The imaging pitch can be reduced by subtracting a value ( ⁇ m) less than half the value of mn (mn / 2).
  • the imaging pitch is set from 6.1 to 23.9 ⁇ m, and one image is taken every 2 to 4 cells. Can be executed. Similarly, the imaging pitch for cells having an average diameter of 10 ⁇ m is selected from 10.1 to 39.9 ⁇ m.
  • step S210 the control unit 18 performs a condition adjustment process.
  • the condition adjustment process is the same as the condition adjustment process in step S208 described with reference to FIG. After the condition adjustment process, the process proceeds to step S213.
  • step S206 When the automatic combination mode is selected in step S206, the process proceeds to step S211.
  • step S211 the control unit 18 performs an automatic combination process. The automatic combination process will be described with reference to the flowchart shown in FIG.
  • step S401 the control unit 18 sets a plurality of shooting conditions based on the shooting interval acquired in step S201, the exposure time candidate acquired in step S203, and the shooting pitch candidate acquired in step S205. To do.
  • step S402 the control unit 18 acquires a plurality of necessary two-dimensional images according to the conditions set in step S401.
  • step S403 the control unit 18 generates a plurality of three-dimensional light emission images based on the two-dimensional image acquired in step S402.
  • step S404 the control unit 18 causes the display unit 19 to display a plurality of three-dimensional light emission images generated in step S403 and shooting conditions for generating those images.
  • the user selects a preferable photographing condition while confirming the three-dimensional light emission image and the photographing condition displayed on the display unit 19.
  • step S405 the control unit 18 acquires selection of shooting conditions by the user.
  • step S406 the control unit 18 determines the condition acquired in step S405 as a temporary condition. Thereafter, the automatic combination process is terminated, and the process returns to the image acquisition process described with reference to FIG.
  • step S212 the control unit 18 performs a condition adjustment process. Thereafter, the process proceeds to step S213.
  • step S ⁇ b> 213 the control unit 18 stores the image acquisition conditions determined in the condition adjustment processing in the recording unit 184.
  • step S214 the control unit 18 determines whether an instruction to start data acquisition has been input. When the data acquisition start instruction is not input, the process returns to step S214 and waits for the input of the data acquisition start instruction. When an instruction to start data acquisition is input, the process proceeds to step S215.
  • step S215 the control unit 18 performs a data acquisition process.
  • the data acquisition process is performed according to the determined image acquisition condition. That is, a luminescent image is acquired according to the determined exposure time. In this image, a plurality of light emitting images having different focal positions are acquired while changing the focal position according to the determined shooting pitch. A three-dimensional light emission image is created based on the plurality of light emission images. The acquisition of the three-dimensional light emission image obtained in this way is performed at each determined shooting interval. Thus, the process ends.
  • shooting conditions such as shooting interval, exposure time, and shooting pitch need not be constant throughout the measurement.
  • priority may be given to depth in the first half of observation, and resolution may be given priority in the second half, or the imaging interval may be set to be different between the first and second half of the observation.
  • the distribution information of the cells inside the subject from the transmission image and confirm the distribution in the height direction of the cells, and then determine the position in the height direction of the intermediate part to be imaged.
  • the time for acquiring one three-dimensional emission image can be minimized, and efficient analysis can be realized.
  • the three-dimensional light emission image acquired in this embodiment is an image of light emission of a three-dimensional sample. Therefore, if the observation method using the light emission phenomenon according to the present embodiment is used, there is no problem derived from autofluorescence that occurs in the case of fluorescence observation. Further, in fluorescence observation, there is a case where damage caused by excitation light on a three-dimensional sample cannot be ignored. If the observation method using the light emission phenomenon according to the present embodiment is used, there is no problem derived from excitation light that occurs in the case of fluorescence observation. For this reason, the observation according to the present embodiment can be applied to long-term observation.
  • the shooting interval, the exposure time, and the shooting pitch are optimally selected according to the purpose of the experiment and the sample to be observed.
  • a three-dimensional luminescence image at the intermediate site is acquired in addition to the end in the height direction, and the gene expression in the entire structure Can be grasped three-dimensionally.
  • the intermediate part is a part close to the state of the living body, and it is significant that the data of this part can be acquired.
  • an image that can be compared (or verified) with the internal structure of the three-dimensional sample can be acquired.
  • the imaging pitch based on the size and shape of the embryoid body or spheroid, a three-dimensional luminescent image in consideration of the number and density of cells included in the imaging range can be obtained.
  • the resolution priority mode should be adopted to widen the imaging pitch. Only a narrow region (for example, a depth corresponding to one-third to one-fifth of the entire length) including the intermediate portion where the cross section is the largest is limited by the depth priority mode. It is preferable to photograph accurately.
  • the imaging conditions can be changed as appropriate, the imaging conditions can be determined so that, for example, stereoscopic observation with necessary accuracy according to the degree of progress of differentiation is performed. Further, since the in-focus position is changed in the optical axis direction and a plurality of light emission images are taken, there is no need to move or rotate the three-dimensional sample as the subject.
  • the observation method according to the present embodiment can obtain particularly useful information in research for understanding the induction mechanism of stem cell differentiation.
  • the method can be used, for example, as an analysis tool for evaluating differentiation efficiency and evaluating differentiation-inducing drugs.
  • three-dimensional luminescence observation is performed on embryoid bodies widely used in regenerative medicine research, so that high-precision analysis based on height and thickness information that cannot be detected on a flat surface is performed. obtain.
  • Example> ⁇ Example 1> The results of three-dimensional observation using luminescence for the expression of myocardial specific markers in the myocardial induction process of iPS cells are shown below.
  • Myocardium-specific troponin T is a protein that is specifically expressed in the myocardium and is used as a marker gene for myocardial differentiation.
  • An experimental system capable of analyzing the change in the expression of cTnT during the myocardial differentiation process of mouse iPS cells by embryoid body formation method as luminescence intensity was constructed, and three-dimensional observation of the mouse iPS cell embryoid bodies was performed.
  • KO DMEM medium was used for culturing mouse iPS cells (iPS-MEF-Ng-20D-17, Kyoto University) into which the vector was introduced.
  • the iPS cells were cultured on MEF cells whose division was stopped by mitomycin C treatment.
  • Mouse iPS cells were transfected with a pcTnT-GL4 gene expression vector using the Nucleofection method. Transfected cells were cultured overnight in KO DMEM medium with neomycin resistant feeder cells. Thereafter, the culture medium was replaced with a KO DMEM medium supplemented with antibiotic G418 (Invitrogen) to a final concentration of 250 ⁇ g / ml, and selective culture was performed. In this way, a stable expression cell line was obtained. Hereinafter, this cell is referred to as cTnT-GL4-expressing mouse iPS cell.
  • the number of cells in the solution was measured with a cell counter, and the cells were adjusted to 2500 or 5000 cells in each well of Lipidure-Coat culture medium (96-well round bottom; NOF Corporation) supplemented with IMDM medium.
  • the turbid solution was added and cultured at 37 ° C. for 3 to 7 days to form embryoid bodies.
  • the exposure time at each focal position was 3 minutes, 5 minutes or 10 minutes.
  • the shooting pitch was 10 ⁇ m, 50 ⁇ m, or 100 ⁇ m.
  • FIG. 6 shows the imaging results when 20 images (1000 ⁇ m in total) are acquired while changing the focal position with the imaging pitch being 10 ⁇ m.
  • the left figure is a three-dimensional reconstructed image when the exposure time of each two-dimensional image is 5 minutes, and the right figure is an exposure time of each two-dimensional image is 10 minutes. This is a three-dimensional reconstructed image.
  • FIG. 7 shows the result of imaging an area having a thickness of 400 ⁇ m with an exposure time of 3 minutes or 5 minutes and an imaging pitch of 10 ⁇ m, 50 ⁇ m, or 100 ⁇ m.
  • the upper row is when the exposure time of each two-dimensional image is 3 minutes
  • the lower row is when the exposure time of each two-dimensional image is 5 minutes.
  • the images in the left column have a shooting pitch of 10 ⁇ m and are the results of reconstructing a three-dimensional light emission image based on 40 images.
  • the middle row image has a shooting pitch of 50 ⁇ m, and is a result of reconstructing a three-dimensional light emission image based on eight images.
  • the images in the right column have a shooting pitch of 100 ⁇ m and are the results of reconstructing a three-dimensional light emission image based on four images.
  • FIG. 8 shows the result of photographing an area having a thickness of 400 ⁇ m with an exposure time of 3 minutes or 5 minutes and a photographing pitch of 10 ⁇ m or 100 ⁇ m.
  • the upper row shows the case where the exposure time of each two-dimensional image is 3 minutes
  • the lower row shows the case where the exposure time of each two-dimensional image is 5 minutes.
  • the images in the left column are results of reconstructing a three-dimensional light emission image based on 40 images with a shooting pitch of 10 ⁇ m.
  • the images in the right column have a shooting pitch of 100 ⁇ m and are the results of reconstructing a three-dimensional light emission image based on four images.
  • the sample was illuminated with light of a predetermined wavelength emitted from a light source, and a transmission image by bright field or fluorescence was acquired.
  • the imaging range in the height direction of the sample could be specified appropriately.
  • the three-dimensional information from the vicinity of the apex of the height of the three-dimensional sample or from the vicinity of the adhesion portion on the bottom surface of the container may become noise in the analysis of the expression level due to physical effects such as gravity and adsorption force. Therefore, it is important to select an intermediate region with as little mechanical influence as possible as the imaging range.
  • the imaging pitch is used for analysis without missing cells in the sample, regardless of the culture period, when the number or density of cells changes according to the degree of differentiation inside the sample, such as embryoid bodies and spheroids. It was important to.
  • Example 2 By performing time-lapse observation using a three-dimensional luminescence observation method, the expression of cTnT in the myocardial differentiation process of the cTnT-GL4 mouse iPS cells used in Example 1 can be observed three-dimensionally and over time.
  • a second embodiment of the present invention will be described.
  • differences from the first embodiment will be described, and the same portions will be denoted by the same reference numerals and description thereof will be omitted.
  • time-lapse observation is performed in which acquisition of a three-dimensional image in which a three-dimensional image is generated based on a plurality of two-dimensional images is repeatedly performed.
  • the acquisition of the three-dimensional image can be performed, for example, by repeating the same processing every predetermined time.
  • a shooting pitch that is an interval in the Z-axis direction between the two-dimensional image and the two-dimensional image is 3 It is changed as appropriate each time a three-dimensional image is acquired.
  • FIG. 9 shows a schematic diagram when an image of the three-dimensional sample 300 is acquired.
  • a first region of interest 301 and a second region of interest 302, which are regions that emit light, are included in the three-dimensional sample 300.
  • a focal plane when an image is acquired is indicated by a broken line. That is, the first focusing surface 401, the second focusing surface 402, the third focusing surface 403, the fourth focusing surface 404, the fifth focusing surface 405, and the sixth focusing surface 406.
  • the range in which an image is obtained according to the depth of focus of the objective optical system 14 at this time is indicated by an “I” type symbol on the right side of the figure.
  • the I-shaped height indicates the depth of focus, that is, the range to be focused. That is, in imaging on the first focusing surface 401, an image in the first range 411 is acquired. Similarly, in imaging on each of the second focusing surface 402, the third focusing surface 403, the fourth focusing surface 404, the fifth focusing surface 405, and the sixth focusing surface 406, Images of the range 412, the third range 413, the fourth range 414, the fifth range 415, and the sixth range 416 are respectively acquired.
  • an image as shown in the schematic diagram of FIG. 10 is obtained. That is, images of the first range 411, the second range 412, the third range 413, the fourth range 414, the fifth range 415, and the sixth range 416 are obtained.
  • the first missing region 421 between the first range 411 and the second range 412, and the area between the second range 412 and the third range 413 shown by shading in FIG.
  • an image of the fifth missing region 425 between the fifth range 415 and the sixth range 416 is not obtained. That is, complete images cannot be obtained for the three-dimensional sample 300 and the first region of interest 301 and the second region of interest 302 that are the region of interest.
  • FIG. 11 shows a schematic diagram in the case where the number of times of imaging is increased as compared with the case shown in FIG.
  • the first focusing surface 431, the second focusing surface 432, the third focusing surface 433, the fourth focusing surface 434, the fifth focusing surface 435, and the sixth focusing surface In each of the focusing surface 436, the seventh focusing surface 437, the eighth focusing surface 438, the ninth focusing surface 439, the tenth focusing surface 440, and the eleventh focusing surface 441, 2 It is assumed that a dimensional image is acquired.
  • the first range 451 and the second range 452 overlap.
  • an image as shown in FIG. 12 is obtained. That is, complete images are obtained for the three-dimensional sample 300 and the first region of interest 301 and the second region of interest 302 that are the region of interest.
  • the shooting ranges overlap with each other has been described, but the shooting ranges do not need to overlap as long as the shooting ranges are adjacent to each other with no gap.
  • the information is incomplete and unclear, but the number of acquired two-dimensional images is small and the data size is small. Become.
  • the three-dimensional image obtained under the condition where the focal plane interval is narrow as shown in FIG. 12 includes all information on the observation target and becomes a high-definition image. The number is large and the data size is large.
  • the present embodiment it is considered that two-dimensional images are not acquired in the fifth range 455 and the seventh range 457 shown in FIG. That is, in the present embodiment, as shown in FIG. 13, even if the first missing region 471 and the second missing region 472 occur, the first range 451 and the second range are used to reduce the data size. 452, the third range 453, the fourth range 454, the sixth range 456, the eighth range 458, the ninth range 459, the tenth range 460, and the eleventh range 461 are acquired. .
  • FIG. 14 shows on which focal plane imaging is performed over time. That is, FIG. 14 shows a case where time elapses in the order of the left figure (a), the middle figure (b), and the right figure (c).
  • Each of the horizontal straight lines 480 in each figure indicates a focal plane when each photographing is performed.
  • the in-focus plane when this shooting is performed is referred to as a shooting plane 480.
  • the interval between the imaging surfaces 480 is set wide across the entire three-dimensional sample 300. here.
  • the interval between the imaging surfaces 480 is wider than the focal depth of the objective optical system 14.
  • the first attention area 301 and the second attention area 302 are generated as shown in the middle diagram (b) of FIG. 14, the first attention area 301 and the second attention area 302 are The resulting region is detected.
  • the interval between the imaging surfaces 480 is set narrow, and for the other regions, the interval between the imaging surfaces 480 is set wide.
  • the interval between the imaging surfaces 480 set narrow here is equal to the focal depth of the objective optical system 14 or narrower than the focal depth of the objective optical system 14.
  • a first interval an interval equal to or smaller than the focal depth
  • an interval wider than the focal depth is referred to as a second interval.
  • the third attention area when the third attention area is generated in addition to the first attention area 301 and the second attention area 302, The region including the attention region 302 and the third attention region 303 is detected.
  • the interval between the imaging surfaces 480 is set to a narrow first interval, and for the other areas, the imaging surface is set.
  • the interval 480 is set to a wide second interval.
  • the interval of the imaging surface 480 is changed from the first interval to the second interval for the attention area.
  • the interval between the imaging surfaces is appropriately changed according to the presence or absence of a region of interest where light emission is recognized.
  • FIG. 15 shows an outline of an example of image acquisition processing according to the present embodiment.
  • step S501 the control unit 18 performs initial settings related to image acquisition.
  • This initial setting includes, for example, setting of an image acquisition region that is a range in the Z-axis direction in which an image is acquired, settings relating to shooting timing including an image acquisition time interval (shooting interval) in time-lapse shooting, and the like.
  • the photographing condition determining unit 183 of the control unit 18 performs a photographing surface setting process.
  • the imaging plane setting process is a process for setting an imaging plane, which is a focusing plane when acquiring a two-dimensional image, according to the localization of light emission in the three-dimensional sample. That is, the imaging condition determination unit 183 sets the interval between the imaging surfaces.
  • the imaging condition determination unit 183 acquires a plurality of two-dimensional images having different focal planes
  • the interval between the plurality of two-dimensional images is determined according to the localization of light emission in the three-dimensional sample. Functions as an interval setting unit.
  • the imaging plane setting process will be described with reference to the flowchart shown in FIG.
  • step S601 the shooting condition determination unit 183 analyzes the luminance distribution of the two-dimensional image acquired by shooting one time before the shooting.
  • step S602 the imaging condition determination unit 183 specifies a three-dimensional distribution of the attention area based on the luminance distribution obtained in step S601.
  • step S603 the imaging condition determination unit 183 sets an imaging plane in the image acquisition area according to the distribution of the attention area specified in step S602.
  • the imaging plane is set at a wide second interval that is evenly wide over the entire image acquisition area.
  • a region where the luminance value related to the light emission is higher than a predetermined threshold is set as a region indicating light emission, and this region is set as a high luminance region.
  • the area of the high luminance area is larger than a predetermined threshold, there is a region of interest on the imaging surface, and the interval between the imaging surfaces is set to a first interval equal to or less than the depth of focus of the objective optical system 14 in the vicinity of the imaging surface.
  • the imaging system 10 may be configured.
  • the imaging system 10 can be configured so that the interval between the imaging surfaces is a first interval that is equal to or less than the focal depth of the objective optical system 14 in the vicinity of the imaging surface.
  • the imaging system 10 can be configured so that the distance between the imaging surfaces in the vicinity is a first distance equal to or smaller than the depth of focus of the objective optical system 14.
  • the first interval may be set when the change in the overall luminance value of a certain photographing surface is larger than a predetermined threshold.
  • FIGS. 19 and 20 show the left diagrams show the positional relationship of the imaging surface 510 in the three-dimensional sample 300.
  • a plurality of horizontal broken lines in the left diagrams of FIGS. 19 and 20 indicate the imaging surface 510.
  • a state in which the region of interest 308 is present in the three-dimensional sample 300 is shown.
  • the right diagram schematically shows a two-dimensional image 540 obtained with respect to each imaging plane 480.
  • FIG. 19 shows a case where, for example, the imaging surfaces 510 set in the first image acquisition are evenly arranged at the second interval. That is, in FIG. 19, the first imaging surface 511, the second imaging surface 512, the third imaging surface 513, the fourth imaging surface 514, and the fifth imaging surface 515 are set at equal intervals. Has been. Images obtained on the first imaging surface 511, the second imaging surface 512, the third imaging surface 513, the fourth imaging surface 514, and the fifth imaging surface 515 are respectively represented as a first image 541 and a second image 541. Image 542, third image 543, fourth image 544, and fifth image 545. Since the third imaging surface includes the attention area 308, the third image 543 includes a bright area 549 in which light emission is imaged.
  • the imaging condition determination unit 183 specifies that the third image 543 includes the bright region 549 in the luminance analysis of the image in step S601, and in step S602, the third imaging is performed on the imaging surface 510. It is specified that there is a region of interest in the vicinity of the surface 513, and in step S603, many imaging surfaces are set in the vicinity of the third imaging surface 513 at narrow intervals.
  • FIG. 20 shows the imaging plane 510 set in this way and the two-dimensional image 540 obtained on the imaging plane 510.
  • the sixth imaging surface 516, the seventh imaging surface 517, the eighth imaging surface 518, the ninth imaging surface 519, the tenth imaging surface 520, and the eleventh imaging surface. 521 is set.
  • the interval between the imaging surfaces adjacent to each other of the surface 521 is, for example, a first interval that is narrower than the second interval that is the interval between the first imaging surface 511 and the second imaging surface 512 and narrower than the depth of focus. .
  • 519, 10th imaging surface 520, 11th imaging surface 521, 4th imaging surface 514, and 5th imaging surface 515 respectively, first image 551, second image 552, and third image.
  • 553, fourth image 554, fifth image 555, sixth image 556, seventh image 557, eighth image 558, ninth image 559, tenth image 560, and eleventh image 561 Is obtained.
  • detailed image data regarding the attention area 308 is obtained.
  • the third image 553 and the ninth image 559 do not capture light emission related to the attention area 308. Therefore, in the next shooting, the setting of the shooting surface is set so that image acquisition is not performed for the sixth shooting surface 516 and the eleventh shooting surface 521 related to the third image 553 and the ninth image 559. It may be done.
  • step S503 the control unit 18 stands by until the start of shooting in consideration of the time-lapse shooting timing set in step S501.
  • step S504 the imaging control unit 181 of the control unit 18 performs a two-dimensional image acquisition process.
  • a set of two-dimensional images is acquired as a two-dimensional image group on the imaging surface set in step S502.
  • the two-dimensional image acquisition process will be described with reference to the flowchart shown in FIG.
  • step 701 the imaging control unit 181 sets the variable n to 1.
  • the imaging control unit 181 sets a focus position on the n-th imaging plane set in the imaging plane setting process in step S502. That is, the imaging control unit 181 controls the operation of the objective optical system driving unit 16 to adjust the position of the objective optical system 14, for example, the position of the objective lens 142, and an image related to the nth imaging surface is acquired. Adjust to the state.
  • step 703 the imaging control unit 181 causes the imaging unit 15 to perform an imaging operation and acquires a two-dimensional image.
  • step 704 the imaging control unit 181 sets the variable n to n + 1.
  • step 705 the imaging control unit 181 determines whether image acquisition has been completed on all imaging planes set in the imaging plane setting process in step S502. If all the images have not been acquired, the process returns to step S702. That is, the imaging surface is changed and a two-dimensional image is acquired. On the other hand, when the acquisition of all images is completed, the two-dimensional image processing ends, and the processing returns to the image acquisition processing described with reference to FIG.
  • step S505 the image composition unit 182 of the control unit 18 generates a three-dimensional image based on the two-dimensional image acquired by the two-dimensional image acquisition process in step S504.
  • step S506 the control unit 18 determines whether or not the next image acquisition related to the time-lapse shooting is necessary based on the initial setting set in step S501.
  • the process returns to step S502. That is, at the timing of the next image acquisition related to time-lapse shooting, a two-dimensional image related to a newly set shooting plane is acquired, and a three-dimensional image is acquired based on the obtained two-dimensional image.
  • the image acquisition process ends.
  • the two-dimensional image related to the region of interest where light emission is detected is the first two-dimensional image
  • the other two-dimensional image is the second two-dimensional image
  • the first two-dimensional image and the first two-dimensional image The interval between the two-dimensional image adjacent to the two-dimensional image is defined as a first interval
  • the interval between the second two-dimensional image and the second two-dimensional image adjacent to the second two-dimensional image is defined as
  • the first interval is narrower than the second interval.
  • the first interval is not more than the depth of field of the objective optical system 14.
  • the number of two-dimensional images acquired according to the light emission status of the three-dimensional sample 300 changes. Therefore, the time required to acquire the set number of two-dimensional images changes during the image acquisition process in which time-lapse shooting is performed. Accordingly, the time required to acquire a set of two-dimensional images may be longer than the time from the start of acquisition of the set of two-dimensional images to the start of acquisition of the next set of two-dimensional images. obtain. Therefore, the time from the start of acquisition of a set of two-dimensional images to the start of acquisition of the next set of two-dimensional images is such that the distance between the imaging plane and the imaging plane is the entire area of the image acquisition area. It is preferable that the time is longer than the time required to acquire a set of two-dimensional images when the first interval is set to be narrower than the depth of focus.
  • the distance between the imaging surfaces is larger than the depth of focus of the objective optical system 14.
  • the interval is set to 2 and the number of two-dimensional images used to reconstruct one three-dimensional image is reduced. As a result, the data size is reduced.
  • the interval between the imaging surfaces is set to a first interval that is equal to or less than the focal depth of the objective optical system 14, A high-definition three-dimensional image can be obtained.
  • the imaging surface interval is set to a second interval larger than the focal depth of the objective optical system 14. The number of two-dimensional images that are set and used to reconstruct one three-dimensional image is reduced. As a result, the data size is reduced.
  • step S801 the imaging condition determination unit 183 adjusts the timing for performing the next process while waiting so that the setting of the imaging surface is completed before the start of the next two-dimensional image acquisition process.
  • step S ⁇ b> 802 the imaging condition determination unit 183 cooperates with the imaging control unit 181 to acquire a two-dimensional image under conditions where the imaging plane interval is wide. This interval may be, for example, a third interval wider than the second interval.
  • the set of two-dimensional images obtained here will be referred to as an evaluation image group.
  • the imaging condition determination unit 183 analyzes the luminance of the two-dimensional image of the evaluation image group obtained in step S803, and specifies the distribution of the attention area in step S804.
  • step S805 the imaging condition determination unit 183 sets an imaging plane according to the distribution of the attention area.
  • the imaging surface can be set according to the current state of the three-dimensional sample 300.
  • the interval between the imaging surfaces is set to a first interval that is equal to or smaller than the focal depth of the objective optical system 14 and a second interval that is larger than the focal depth in the region of interest and the other regions, respectively.
  • An example is shown. However, it is not limited to this. There may be a plurality of types of intervals between the imaging surfaces, and they can be changed as appropriate.
  • the interval between the imaging planes is narrow for areas with a high degree of attention, such as an area with high luminance observed or an area with a large change in luminance, and the interval between imaging planes is set wide for an area with a low degree of attention. .
  • the interval between the imaging surfaces may be narrower than the focal depth of the objective optical system 14. Also in this modified example, it is possible to obtain a three-dimensional image having the necessary fineness and suppressing the data size.
  • the shooting pitch described in the first embodiment and the adjustment of the shooting interval described in the second embodiment may be combined.
  • the present invention is not limited to a sample for regenerative medicine, but may be applied to various samples that are required to observe changes in gene expression for each cell in a time-lapse manner, for example, in vivo samples.
  • the adjustment of the shooting pitch and / or the shooting interval performed by the above-described shooting system may be designed such that the user manually changes the shooting conditions while looking at the display screen of the shooting system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Plasma & Fusion (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Dispersion Chemistry (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
  • Exposure Control For Cameras (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

　３次元発光画像の生成方法は、発光するように調製された複数の細胞を含む３次元的な形状を有する３次元試料（３００）について、互いに異なる合焦面を有する複数の２次元画像を取得する際の、複数の２次元画像の互いの間隔を３次元試料における発光の局在に応じて設定すること（Ｓ５０２）を含む。３次元画像の生成方法は、さらに、非照明条件下で３次元試料を撮影することで設定された間隔に応じた複数の２次元画像を含む２次元画像群を取得すること（Ｓ５０４）と、２次元画像群に含まれる複数の２次元画像を合成して３次元発光画像を生成すること（Ｓ５０５）とを含む。

Description

３次元発光画像の生成方法及び撮像システム
　本発明は、３次元発光画像の生成方法及び３次元発光画像生成のための撮像システムに関する。
　ｉＰＳ細胞又はＥＳ細胞といった幹細胞由来の胚様体又はスフェロイドといった組織体が近年新しい研究材料として注目されており、これらを用いた研究が行われている。幹細胞由来の胚様体又はスフェロイドは、一般に、非接着状態で培養された幹細胞が集まって凝集し、球状の立体的な構造が構築された細胞群である。胚様体又はスフェロイドに含まれる細胞は、培養条件に応じて様々な細胞に変化する分化能を有する。例えば、臓器などの再生を目的とした再生医療、又は人体に対する新薬の薬効・毒性を評価する創薬の研究においては、これまで用いられてきた平面状に培養された細胞よりも、より体内の環境に近い立体的な構造を有する細胞が用いられることが望ましい。このため、特に近年の再生医療又は創薬分野の研究において、幹細胞由来の胚様体又はスフェロイドが研究材料として注目されている。
　従来の２次元培養細胞の評価においては、細胞で起こっている変化の検出方法として、細胞を発光タンパク質又は蛍光タンパク質で標識し、発光や蛍光を検出する手法が知られている（例えば、日本国特開２０１４－８９１９３号公報、日本国特開２００６－３２０３３５号公報）。立体的な構造を有する胚様体等を用いた研究を行う上では、分化の程度といった胚様体等の状態を精度よく把握することができる観察方法が望まれている。ここで、胚様体等の内部の変化は立体的に観察されることが望ましい。
　例えば日本国特許第５４２４５２８号公報には、次のような解析方法及び解析システムについて開示されている。すなわち、この方法及びシステムは、微弱光を発生し、かつ複数の測定すべき部位を有する厚みのある生きたサンプルとしての胚又は組織を対象としている。この方法及びシステムでは、測定部位ごとに異なる位置から微弱光シグナルが取得され、このシグナルに基づいて解析が行われる。また、例えば日本国特開２０１４－１１９７６２号公報には、フォーカス位置を変化させながら、明視野画像と発光画像又は蛍光画像とを撮影する顕微鏡システムについて開示されている。
　また、立体的な３次元試料の内部の解析では、例えば一定間隔で焦点位置をずらしながら撮影が行われることで焦点面の異なる複数の２次元画像が取得され、それらに基づく再構成処理によって３次元画像が構築され得る。このような３次元画像の構築により立体的なサンプルの内部の構造やその変化が解析され得ることが知られている（例えば、日本国特開２０１２－１２２８２９号公報、日本国特表２０１０－５３２４８７号公報）。この場合、例えば発光タンパク質又は蛍光タンパク質で標識された細胞が用いられ、生きた状態の細胞について種々の情報が取得され得る。
　例えば胚様体内部の遺伝子発現の解析を、従来用いられている蛍光観察法で行う場合、励起光の光毒性又は自家蛍光があること、また胚様体がある程度大きくなると内部まで励起光が届かないことといった望ましくない事象が生じ得る。これに対して、発光タンパク質を使用する発光観察法を用いれば、励起光の光毒性又は自家蛍光の影響を受けることなく、胚様体のような厚みのあるサンプルの内部まで観察することが可能である。
　しかしながら、一般的に発光タンパク質の発光強度は蛍光タンパク質の蛍光強度に比べると弱く、一回の撮影に長時間の露光が必要になる。このため、一定間隔で焦点位置をずらしながら撮影した発光画像を再構成することで発光３次元画像を構築する方法では、画像構築に時間を要する。また、複数の２次元画像を得る際に、焦点位置に係る撮影間隔を短くすれば、３次元画像の情報量は多くなり高精細なものとなる。一方で、撮影に要する時間が長くなり、データサイズも大きくなる。逆に焦点位置に係る撮影間隔を長くすれば、データサイズは小さくなるが、３次元画像に含まれる情報量は少なくなり、解像度は低下する。
　例えば胚様体を用いて新薬の薬効・毒性を調べる場合において、評価したい化合物によっては胚様体に反応が起こるまでに時間がかかる場合があり、また起こった反応が長時間に渡って変化する場合がある。これらのことから、長時間の観察が必要になることがある。また、胚様体が心筋や肝細胞などの様々な細胞に分化していく分化の過程をモニタリングする場合にも、長時間の観察が必要になることがある。
　例えば胚様体といった３次元試料を用いた解析において、上述のような３次元再構築画像を、所定の時間間隔ごとに取得する３次元タイムラプス観察を行うことで、時間経過による３次元試料の変化を解析することが可能になる。このような解析においては、得られるデータのデータ量が膨大な量になることがあり得る。また、膨大なデータを得るためには多くの時間を必要とする。一方で、解析に必要なデータは部分的である。また、生きた試料において、解析に必要なデータは時間経過とともに変化し得る。さらに、幹細胞由来の胚様体又はスフェロイドでさえ、これら組織体を構成する個々の細胞が異なる遺伝子発現量を示す場合がある。
　本発明は、発光するように調製された複数の細胞を含む３次元的な形状を有する３次元試料の観察において、必要十分なデータを取得することができる３次元発光画像の生成方法及び撮像システムを提供することを目的とする。
　本発明の一態様によれば、３次元発光画像の生成方法は、発光するように調製された複数の細胞を含む３次元的な形状を有する３次元試料について、互いに異なる合焦面を有する複数の２次元画像を取得する際の、前記複数の２次元画像の互いの間隔を前記３次元試料における発光の局在に応じて設定することと、非照明条件下で前記３次元試料を撮影することで設定された前記間隔に応じた前記複数の２次元画像を含む２次元画像群を取得することと、前記２次元画像群に含まれる前記複数の２次元画像を合成して３次元発光画像を生成することとを含む。
　本発明の一態様によれば、撮像システムは、対物光学系と、前記対物光学系の合焦位置を光軸方向に移動させる駆動部と、発光するように調製された複数の細胞を含む３次元的な形状を有する３次元試料についての発光画像を前記対物光学系を介して撮像する撮像部と、互いに異なる合焦面を有する複数の２次元画像を取得する際の、前記複数の２次元画像の互いの間隔を前記３次元試料における発光の局在に応じて設定する間隔設定部と、非照明条件下で前記駆動部の動作を制御しながら前記撮像部に前記３次元試料を撮影させることで、設定された前記間隔に応じた前記複数の２次元画像を含む２次元画像群を取得させる撮像制御部と、前記２次元画像群に含まれる前記複数の２次元画像を合成して３次元発光画像を生成する画像合成部とを備える。
　本発明によれば、発光するように調製された複数の細胞を含む３次元的な形状を有する３次元試料の観察において、必要十分なデータを取得することができる３次元発光画像の生成方法及び撮像システムを提供できる。
図１は、本発明の一実施形態に係る撮像システムの構成例の概略を示すブロック図である。 図２は、本発明の第１の実施形態に係る３次元発光画像の生成方法の一例を示すフローチャートである。 図３は、本発明の第１の実施形態に係る画像取得処理の一例を示すフローチャートである。 図４は、本発明の第１の実施形態に係る条件調整処理の一例を示すフローチャートである。 図５は、本発明の第１の実施形態に係る自動組み合わせ処理の一例を示すフローチャートである。 図６は、本発明の一実施例により取得された３次元発光画像の一例を示す図である。 図７は、本発明の一実施例により取得された３次元発光画像の一例を示す図である。 図８は、本発明の一実施例により取得された３次元発光画像の一例を示す図である。 図９は、第２の実施形態において３次元試料の画像取得について説明するための模式図であり、撮影面の間隔が対物光学系の焦点深度よりも広い場合を示す図である。 図１０は、第２の実施形態において得られる３次元画像について説明するための模式図である。 図１１は、第２の実施形態において３次元試料の画像取得について説明するための模式図であり、撮影面の間隔が対物光学系の焦点深度よりも狭い場合を示す図である。 図１２は、第２の実施形態において得られる３次元画像について説明するための模式図である。 図１３は、第２の実施形態において得られる３次元画像について説明するための模式図である。 図１４は、第２の実施形態に係る撮像システムの動作の概略を説明するための模式図である。 図１５は、第２の実施形態に係る画像取得処理の一例を示すフローチャートである。 図１６は、第２の実施形態に係る撮影面設定処理の一例を示すフローチャートである。 図１７は、第２の実施形態において撮影面の間隔が狭く設定される条件について説明するための模式図である。 図１８は、第２の実施形態において撮影面の間隔が狭く設定される条件について説明するための模式図である。 図１９は、第２の実施形態における撮影面の間隔の設定について説明するための模式図である。 図２０は、第２の実施形態における撮影面の間隔の設定について説明するための模式図である。 図２１は、第２の実施形態に係る２次元画像取得処理の一例を示すフローチャートである。 図２２は、第２の実施形態の第１の変形例に係る撮影面設定処理の一例を示すフローチャートである。
　［第１の実施形態］
　本発明の第１の実施形態について図面を参照して説明する。本実施形態に係る３次元発光画像を取得するための撮像システムの構成例の概略を図１に示す。図１に示すように、撮像システム１０は、３次元試料１２を保持する試料保持部１１と、インキュベータ１３と、対物光学系１４と、撮像部１５と、対物光学系駆動部１６と、試料保持部駆動部１７と、撮像システム１０の各部の動作を制御する制御部１８と、表示部１９と、入力部２０とを備える。
　３次元試料１２は、例えばｉＰＳ細胞やＥＳ細胞といった幹細胞由来の胚様体又はスフェロイドといった、複数の細胞を含み厚さを有する試料である。３次元試料１２は、非照明条件下で自己発光するよう調製されている。３次元試料１２は、例えばルシフェラーゼの遺伝子が導入された細胞を含み、ルシフェリンが添加されることで、ルシフェラーゼが発現している細胞は発光する。
　インキュベータ１３は、３次元試料１２について温度やＣＯ２の濃度などの細胞を維持する環境の条件を調節する。対物光学系１４は、例えば対物レンズといった一般的な顕微鏡と同様な光学系を含む。撮像部１５は、例えば冷却ＣＣＤカメラといった撮像装置を含む。撮像部１５に含まれる撮像素子は、ＣＣＤイメージセンサに限らず、ＣＭＯＳイメージセンサ等でもよい。対物光学系１４によって拡大された３次元試料１２の像を撮像部１５は撮像する。非照明条件下で撮像が行われることによって、撮像部１５は、３次元試料１２が発光している様子の画像を取得することができる。このような、発光に係る画像を発光画像と称することにする。
　対物光学系１４と撮像部１５との間には、第１のフィルタ３１が設けられてもよい。第１のフィルタ３１は、例えば、分光フィルムとして構成され得る。細胞内の発光のために用いられる発光タンパク質（例えばルシフェラーゼ）として異なる波長の発光を示すような１又は２種以上の発光タンパク質が使用された場合には、波長毎に撮像が行われることがある。この場合、波長毎に光を分離するために、第１のフィルタ３１が用いられて第１のフィルタ３１が交換されながら撮像が行われたり、波長ごとに別々の撮像部又は撮像素子上の部分領域で同時に撮像されたりする。これにより、マルチカラーな３次元発光画像が取得され得る。
　試料保持部１１は、３次元試料１２を保持するように構成されている。試料保持部１１は、平面方向（Ｘ－Ｙ方向）に移動可能なように構成されている。試料保持部１１は、例えば、ステージにより構成される。試料保持部駆動部１７は、試料保持部１１を平面方向（Ｘ－Ｙ方向）に移動させる。試料保持部１１の平面方向（Ｘ－Ｙ方向）の移動により、撮像システム１０は、撮像視野を平面内で変更できる。
　対物光学系駆動部１６は、対物光学系１４の前記平面方向（Ｘ－Ｙ方向）に対して垂直な光軸方向（Ｚ方向）の合焦位置を変化させる。対物光学系駆動部１６は、例えば対物レンズを光軸方向に移動させる。なお、対物光学系駆動部１６に代えて、試料保持部駆動部１７が試料保持部１１を光軸方向に移動させてもよい。対物光学系駆動部１６によって合焦位置が変更されることで、３次元試料１２の厚さ方向の異なる位置について合焦した画像が取得され得る。
　また、撮像システム１０は、試料保持部１１及びインキュベータ１３を含む本体２１と、本体２１の外周部に設けられた暗箱２２と、暗箱２２を覆う蓋２３と、蓋２３に設けられた第２のフィルタ３０と、第２のフィルタ３０を介して３次元試料１２に照射する照明光の光源である光源２４とを備える。暗箱２２及び蓋２３により、本体２１の内部は外来光から遮光される。したがって、光源２４をオフにした場合には、本体２１の内部は、非照明条件となる。これにより、本体２１の内部に設置される３次元試料１２が極微弱な光を発しているときでも、撮像システム１０は、当該光を良好な条件で撮像できる。一方で、光源２４をオンにすることで、３次元試料１２の照明が行われる。照明条件下における３次元試料の観察は、例えば発光の観察及び撮像に先立って試料の位置を確認したり、試料表面に焦点を合わせたりするため等に行われる。
　また、分光フィルムとして構成され得る第２のフィルタ３０を利用したり、光源２４にレーザ光源を用いたりすることで、蛍光を発生させるための励起光を３次元試料１２に照射することもできる。３次元試料１２が蛍光を発生するように調製されていれば、発光のみならず３次元試料１２の蛍光の画像も取得され得る。
　制御部１８は、例えばパーソナルコンピュータにより構成される。制御部１８は、撮像動作を制御する撮像制御部１８１と、撮像された画像について画像処理を行って３次元発光画像を生成する画像合成部１８２と、撮影条件を決定する撮影条件決定部１８３と、各種データを記録する記録部１８４とを備える。
　撮像制御部１８１は、１枚の画像を取得する際の露出時間を制御する。また、撮像制御部１８１は、対物光学系駆動部１６によって調整されるＺ軸方向の合焦位置の変化、すなわち撮影ピッチの制御を行う。撮像制御部１８１は、互いに異なる複数の合焦面についての複数の２次元発光画像からなる一組の２次元発光画像を、撮像部１５に取得させる。また、撮像制御部１８１は、一組の２次元発光画像の取得と他の組の２次元発光画像の取得との間隔である撮影間隔を制御する。
　画像合成部１８２は、一組の２次元発光画像を合成して３次元発光画像を生成する。３次元発光画像の生成では、３次元合成である３次元再構成処理が行われる。すなわち、画像合成部１８２は、一組の２次元発光画像について、それぞれの位置情報を用いて、各画像を３次元的に配列して合成することで、３次元発光画像を生成する。
　撮影条件決定部１８３は、撮像制御部１８１によって制御される撮像の条件を決定する。すなわち、撮影条件決定部１８３は、例えば撮影間隔、撮影ピッチ及び露出時間を決定する。
　記録部１８４は、制御部１８の動作に必要な情報を記録している。この情報には、制御部１８の各部が動作するためのプログラムが含まれる。また、記録部１８４は、撮像により得られた２次元画像や、合成により生成した３次元発光画像を記録する。
　このようにして、本実施形態に係る撮像システム１０によれば、決められた撮影間隔をあけて複数の３次元発光画像が取得される。すなわち、撮像システム１０によれば、３次元発光画像のタイムラプス撮影が行われ得る。
　制御部１８は、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（ＣＰＵ）、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ（ＡＳＩＣ）、又はＦｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）等の集積回路等を含み、各種演算を行う。撮像制御部１８１、画像合成部１８２、及び撮影条件決定部１８３は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、撮像制御部１８１、画像合成部１８２、及び撮影条件決定部１８３のうち２つ以上が１つの集積回路等で構成されてもよい。制御部１８の動作は、記録部１８４又は集積回路内の記憶領域に記録されたプログラムに従って行われる。また、制御部１８は、記録部１８４に記録された２次元画像及び／又は３次元画像に基づき、画素ごとの発光の輝度値を算出することで、画像全体又は部分的な発光量に相当する輝度値の情報を撮影条件決定部１８３に送出する。
　表示部１９は、例えば液晶ディスプレイといった一般的な表示装置を含む。表示部１９は、例えば画像合成部１８２で作成された３次元発光画像を表示する。表示部１９は、発光２次元画像その他の画像や、制御部１８による撮像システム１０の制御情報を表示部する。
　入力部２０は、例えばキーボード、タッチパネル、スイッチ、スライダ等といった一般的な入力装置の何れかを含む。入力部２０は、ユーザの指示を受け取り、この指示を制御部１８に伝達する。
　次に、本実施形態に係る３次元発光画像の生成方法について図２に示すフローチャートを参照して説明する。
　ステップＳ１０１において、３次元試料が調整される。ここで、３次元試料は、複数の細胞を含み、３次元的な形状を有する。３次元試料には、例えば、ｉＰＳ細胞やＥＳ細胞といった幹細胞由来の胚様体やスフェロイド、胚様体やスフェロイドから分化させた心筋細胞や神経細胞などの各種細胞の集合体やコロニー、又は多層化された細胞シートなどが含まれ得る。また、３次元試料は、外部からの励起光を必要とせずに自己発光するように調整されている。例えば３次元試料の細胞は、ルシフェラーゼを発現し、ルシフェリンが添加されることで生物発光を生じるように調整され得る。なお、３次元試料はこれらに限らない。例えば、３次元試料は、担体上に細胞が離間して配置された試料でもよい。
　ステップＳ１０２において、撮影条件が決定される。撮影条件には、一組の２次元発光画像を取得する時間間隔である撮影間隔と、１枚の２次元発光画像を取得する際の露出時間と、対物光学系の合焦位置を光軸方向に移動させる量であり、合焦面の距離間隔である撮影ピッチとが含まれ得る。第１の実施形態では、撮影条件は、これらの条件の最適な組み合わせとして決定され得る。例えば、撮影ピッチは、３次元試料のサイズ及び形状に応じて決定され得る。露出時間は、撮影ピッチと撮影間隔とに応じて決定されてもよい。また、露出時間は、３次元試料の発光強度に応じて決定され得る。撮影ピッチは、露出時間と撮影間隔とに応じて決定されてもよい。
　ステップＳ１０３において、非照明条件下で複数の２次元発光画像が取得される。この２次元発光画像は、３次元試料の発光を撮像したものである。ここで、互いに異なる複数の合焦面を有する２次元画像が一組の２次元画像として取得される。一組の２次元画像には、３次元試料の高さ方向について端から端まであらゆる位置における２次元画像が含まれてもよいし、３次元試料の高さ方向の特定の一部の領域についての２次元画像が含まれてもよい。
　ステップＳ１０４において、照明光又は励起光を用いた照明条件下で透過画像である２次元画像が取得されてもよい。この透過画像は、例えば撮影条件の決定に用いられてもよい。また、この透過画像は、後述する３次元発光画像の生成に用いられてもよい。３次元発光画像の生成に透過画像が用いられることで、発光の情報のみならず、発光の情報と透過画像の情報との組み合わせに係る情報が認識されやすくなる。
　ステップＳ１０５において、ステップＳ１０３で取得された一組の２次元発光画像に基づいて、３次元発光画像が生成される。３次元発光画像の生成は、２次元発光画像を、その位置情報に基づいて合成することで生成され得る。この３次元発光画像の生成には、ステップＳ１０４で取得された照明条件下で得られた透過画像も併せて用いられてもよい。
　ステップＳ１０６において、撮影間隔をおいて次の２次元発光画像とそれを用いた３次元発光画像の生成が行われると判断されたとき、ステップＳ１０３乃至ステップＳ１０５が繰り返される。すなわち、３次元発光画像のタイムラプス撮影が行われることになる。
　次に、第１の実施形態に係る撮像システム１０を用いて行われるタイムラプスによるサンプルの３次元発光画像を取得する画像取得処理について説明する。画像取得処理は、ユーザが試料を試料保持部１１に設置した後に入力部２０からデータ取得の開始の指示を入力したときに開始される。画像取得処理について、図３に示すフローチャートを参照して説明する。この画像取得処理は、制御部１８の制御下で行われる。
　ステップＳ２０１において、制御部１８は、ユーザによる入力部２０への入力に基づいて、撮影間隔（インターバル）を設定する。ここで、撮影間隔は、例えば実験内容に応じて決定される。細胞内カルシウム測定など、数秒から数分間隔で変化する現象を対象とする測定では、撮影間隔は短く設定されることが求められる。一方、幹細胞の分化、発生研究、時計遺伝子発現の解析など、数時間から数日レベルで緩やかに変化する現象を対象とする測定では、撮影間隔は比較的長くてもよい。
　ステップＳ２０２において、制御部１８は、サンプルの明るさとして取得される発光量を取得する。例えば、サンプルの２次元画像を取得し、得られた画像の輝度を解析することで、発光量を取得する。
　ステップＳ２０３において、制御部１８は、ステップＳ２０２で得られた情報に基づいて、露出時間の候補を算出する。候補として挙げられる露出時間は、画像化が可能な露出時間とする。例えば１６ビットの画像データの場合は、画素値として０から６５５３５の値が用いられる。例えば画素値が飽和しない露出時間が選択されてもよい。また、画像化が図れる数値の目安として、全画素の画素値の平均値が５０００程度となるような露出時間が設定されてもよい。なお、露出時間について閾値が任意に設定されてもよい。制御部１８は、例えばこれら露出時間の条件を検討して、露出時間として適当な範囲を特定する。
　ステップＳ２０４において、制御部１８は、サンプルの厚さ（深度）を取得する。サンプルの厚さを取得するために、例えばＺ方向のフォーカス位置を変更しながら、サンプルの画像を取得する。得られた画像からサンプルの下限と上限とを特定して、下限と上限との距離を算出する。このとき、取得する画像は、短時間に確実に画像が取得できることから、照明条件下で取得される明視野画像であることが好ましい。ただし、明視野画像に代えて、発光画像が用いられてもよい。
　ステップＳ２０５において、制御部１８は、ステップＳ２０４で取得したサンプルの厚さに基づいて、撮影ピッチの候補を算出する。
　ステップＳ２０６において、制御部１８は、撮影条件を決定するためのモード選択を行う。本実施形態では、深度優先モードと、解像度優先モードと、自動組み合わせモードとが用意されている。ユーザは、これらのモードのうちから希望するモードを選択する。制御部１８は、入力部２０への入力を取得して、選択されたモードを特定する。
　ステップＳ２０６において深度優先モードが選択されたとき、処理はステップＳ２０７に進む。ステップＳ２０７において、制御部１８は、深度を優先して画像取得の仮条件を決定する。すなわち、深度優先モードでは、撮影ピッチを狭くして、深さ方向に分解能が高いデータを取得する。例えば、１００μｍ厚の実験サンプルについて、撮影間隔として３０分間が選択されており、露出時間として最低１分間を必要としている場合を考える。この場合、露出時間を１分間とすることで、撮影間隔である３０分間に、３．３μｍ間隔で３０枚の画像を取得することができる。この場合には、仮条件として、露出時間が１分であり、撮影ピッチが３．３μｍである旨が決定される。画像取得の仮条件が決定されたら、処理はステップＳ２０８に進む。ここで、深度優先モードで選ばれる撮影ピッチは、単一の細胞を少なくとも２回以上撮像できる寸法である。このように、単一の細胞をｎ回撮像したい場合には、対象となる細胞の平均直径ｍ（μｍ）をｎで割った値（ｍ／ｎ）から、０．１以上（ｍ－０．１）以下の値（μｍ）を減じた撮像ピッチにすることができる。平均直径が６μｍであるような単一の細胞を深度優先モードで撮影するために、撮影ピッチを１．４から２．９μｍに設定することで２から４回の撮影を実行することができる。同様に、平均直径が１０μｍの細胞における撮像ピッチは、２．４から４．９μｍから選択される。
　ステップＳ２０８において、制御部１８は条件調整処理を行う。条件調整処理について、図４に示すフローチャートを参照して説明する。
　ステップＳ３０１において、制御部１８は、決定された画像取得の仮条件、すなわち露出時間及び撮影ピッチに従って、３次元発光画像を構築するための複数の２次元画像を取得する。例えば、所定の焦点位置において決められた露出時間で２次元画像を取得し、続いて決められた撮影ピッチだけ焦点位置を変更して再び決められた露出時間で２次元画像を取得することを繰り返す。
　ステップＳ３０２において、制御部１８は、ステップＳ３０１で取得された画像に基づいて、３次元発光画像を生成する。この際、ステップＳ３０１で取得された画像に対してデコンボリューション処理を施して、画像ボケをキャンセルする処理が行われる。３次元発光画像の生成は、デコンボリューション処理が行われた画像を用いて行われる。
　ステップＳ３０３において、制御部１８は、生成した３次元発光画像を表示部１９に表示させる。
　ステップＳ３０４において、制御部１８は、撮影条件が適当であるか否かについての使用者の判断を取得する。例えば、表示部１９に露出時間、撮影ピッチ、及び撮影間隔の現在の設定値と、それを変更するためのアイコンとが表示される。使用者は、アイコンを選択することで自身の判断結果を入力することができる。撮影条件が適当である旨の情報が取得されたとき、処理はステップＳ３０５に進む。
　ステップＳ３０５において、制御部１８は、現在設定されている画像取得のための仮条件を最終的な画像取得のための条件として決定する。その後、条件調整処理は終了し、処理は図３を参照して説明している画像取得処理に戻る。
　ステップＳ３０４において、撮影条件が適当でない旨の情報が取得されたとき、処理はステップＳ３０６に進む。ステップＳ３０６において、制御部１８は、条件を変更するために、使用者から露出時間、撮影ピッチ、及び撮影間隔の変更値を取得する。ここで、例えば撮影間隔との関係で、露出時間を増加させると撮影ピッチを広くしなければならないときには、露出時間を増加させるための入力がなされたときに、その変更に対応した撮影ピッチを算出して提示したり、撮影間隔の変更を提示したりする。画像取得の条件が再設定されたら、処理はステップＳ３０１に戻る。その後、再設定された条件で２次元画像の取得及び３次元発光画像の生成等が行われる。
　図３に戻って説明を続ける。ステップＳ２０８において条件調整処理が行われた後、処理はステップＳ２１３に進む。
　ステップＳ２０６において解像度優先モードが選択されたとき、処理はステップＳ２０９に進む。ステップＳ２０９において、制御部１８は、解像度を優先して画像取得の仮条件を決定する。すなわち、解像度優先モードでは、露出時間を長くしてＳ／Ｎ比が高い発光画像を取得する。例えば、１００μｍ厚の実験サンプルについて、撮影間隔として３０分間が選択されており、露出時間を４分間とすると解像度が高い画像が取得され得る場合を考える。この場合、露出時間を４分間とすることで、撮影間隔である３０分間に、１４．３μｍ間隔で７枚の画像を取得することができる。この場合には、仮条件として、露出時間が４分であり、撮影ピッチが１４．３μｍである旨が決定される。画像取得の仮条件が決定されたら、処理はステップＳ２１０に進む。ここで、解像度優先モードで選ばれる撮影ピッチは、たとえば２以上の細胞が深さ方向に隣接している場合に、いずれか１個を撮影できる寸法とすることができる。このように、ｎ個（２以上）細胞について１回の撮像を行う場合には、対象となる細胞の平均直径ｍ（μｍ）をｎで乗じた値（ｍｎ）から、０．１以上で且つｍｎの半分の値（ｍｎ／２）未満の値（μｍ）を減じた撮像ピッチにすることができる。平均直径が６μｍであるような単一の細胞を解像度優先モードで撮影するために、撮影ピッチを６．１から２３．９μｍに設定することで２から４個の細胞ごとに１回の撮影を実行することができる。同様に、平均直径が１０μｍの細胞における撮像ピッチは、１０．１から３９．９μｍから選択される。
　ステップＳ２１０において、制御部１８は、条件調整処理を行う。条件調整処理は、図４を参照して説明したステップＳ２０８の条件調整処理と同じである。条件調整処理の後、処理はステップＳ２１３に進む。
　ステップＳ２０６において自動組み合わせモードが選択されたとき、処理はステップＳ２１１に進む。ステップＳ２１１において、制御部１８は、自動組み合わせ処理を行う。自動組み合わせ処理について、図５に示すフローチャートを参照して説明する。
　ステップＳ４０１において、制御部１８は、ステップＳ２０１で取得された撮影間隔、ステップＳ２０３で取得された露出時間の候補、及びステップＳ２０５で取得された撮影ピッチの候補に基づいて、複数の撮影条件を設定する。
　ステップＳ４０２において、制御部１８は、ステップＳ４０１で設定された条件に従って、必要な複数の２次元画像を取得する。
　ステップＳ４０３において、制御部１８は、ステップＳ４０２において、取得された２次元画像に基づいて、複数の３次元発光画像を生成する。
　ステップＳ４０４において、制御部１８は、ステップＳ４０３において生成した複数の３次元発光画像及びそれらの画像を生成するための撮影条件等を表示部１９に表示させる。使用者は、表示部１９に表示された３次元発光画像及び撮影条件等を確認しながら、好ましい撮影条件を選択する。
　ステップＳ４０５において、制御部１８は、使用者による撮影条件の選択を取得する。ステップＳ４０６において、制御部１８は、ステップＳ４０５で取得された条件を仮条件として決定する。その後、自動組み合わせ処理を終了し、処理は図３を参照して説明している画像取得処理に戻る。
　図３に戻って説明を続ける。ステップＳ２１２において、制御部１８は、条件調整処理を行う。その後、処理はステップＳ２１３に進む。ステップＳ２１３において、制御部１８は、条件調整処理で決定された画像取得の条件を記録部１８４に保存する。ステップＳ２１４において、制御部１８は、データ取得開始の指示が入力されたか否かを判定する。データ取得開始の指示が入力されていないとき、処理はステップＳ２１４に戻り、データ取得開始の指示の入力を待つ。データ取得開始の指示が入力されたとき、処理はステップＳ２１５に進む。
　ステップＳ２１５において、制御部１８は、データ取得処理を行う。データ取得処理では、決定された画像取得の条件に従ってデータ取得処理を行う。すなわち、決定された露出時間に従って、発光画像が取得される。この画像は、決定された撮影ピッチに従って、焦点位置を変化させながら、焦点位置が異なる複数の発光画像が取得される。これら複数の発光画像に基づいて、３次元発光画像が作成される。このようにして得られる３次元発光画像の取得が決定された撮影間隔毎に行われる。以上によって、本処理は終了する。
　なお、撮影間隔、露出時間、及び撮影ピッチといった撮影条件は、全計測を通じて一定である必要はない。例えば観察の前期においては深度を優先し、後期においては解像度を優先してもよいし、観察の前期と後期とで撮影間隔が異なるように設定されてもよい。
　また、透過画像から被写体内部の細胞の分布情報を得て、細胞の高さ方向の分布を確認した上で、撮像すべき中間部位の高さ方向の位置を決定してもよい。このようにすると、例えば露出時間が長い生物発光の画像取得について、１枚の３次元発光画像を取得するための時間を最小限にすることができ、効率のよい解析が実現され得る。
　本実施形態で取得される３次元発光画像は、３次元試料の発光を撮像したものである。したがって、本実施形態に係る発光現象を用いた観察方法を用いれば、蛍光観察の場合に発生するような自家蛍光に由来する問題がない。また、蛍光観察では、励起光が３次元試料に与えるダメージを無視できない場合がある。本実施形態に係る発光現象を用いた観察方法を用いれば、蛍光観察の場合に発生するような励起光に由来する問題がない。このため、本実施形態に係る観察は、長期間の観察にも適用され得る。
　また、本実施形態によれば、実験の目的や観察対象とするサンプルに応じて、撮影間隔、露出時間、及び撮影ピッチが最適に選択される。
　例えば、再生医療研究で幅広く用いられている胚様体又はスフェロイドを対象として、高さ方向の端部に加え中間部位における３次元発光画像が取得されることで、構造物全体における遺伝子発現の様子を立体的に把握することが可能になる。ここで中間部位は、生体の状態に近い部位であり、この部分のデータを取得できることの意義は大きい。３次元発光画像によれば、３次元試料の内部構造と比較（又は照合）可能な画像が取得され得る。
　また、胚様体又はスフェロイドのサイズ及び形状に基づいて撮影ピッチが設定されることで、撮像範囲に含まれる細胞の数量や密度を考慮した３次元発光画像が得られる。一般に、幹細胞由来の胚様体又はスフェロイドの全長の平均直径は５０μｍから１０００μｍの範囲に及ぶので、全長が長い（例えば５００μｍ以上）場合には解像度優先モードを採用することで撮像ピッチを広くすることで適度な回数の撮影を実行したり、断面が最も大きくなる中間部位を含む狭い領域（たとえば全長の３分の１から５分の１に相当する深さ）のみを深度優先モードにより限定的に精密に撮影したりすることが好ましい。また、撮影条件は適宜に変更され得るので、例えば分化の進行度に応じた必要な精度の立体観察が行われるように、撮影条件が決定され得る。また、光軸方向に合焦位置を変化させ、複数の発光画像を撮影するので、被写体である３次元試料を移動又は回転させる必要がない。
　また、本実施形態に係る観察方法は、幹細胞の分化の誘導機構を理解するための研究において、特に有益な情報を得ることができる。当該方法は、例えば、分化効率の評価や、分化誘導薬剤の評価等の解析ツールとして用いられ得る。また、再生医療研究で幅広く用いられている胚様体を対象として、立体的発光観察が行われることで、平面では検出され得ない高さや厚さの情報を踏まえた高精度の解析が行われ得る。
　〈実施例〉
　〈実施例１〉
　ｉＰＳ細胞の心筋誘導過程における心筋特異的マーカーの発現について発光を利用した３次元観察を行った結果について以下に示す。
　心筋特異的トロポニンＴ（ｃａｒｄｉａｃ　ｔｒｏｐｏｎｉｎＴ；ｃＴｎＴ）は心筋に特異的に発現するタンパク質であり、心筋分化のマーカー遺伝子として利用されている。マウスｉＰＳ細胞の胚様体形成法による心筋分化過程におけるｃＴｎＴの発現の変化を発光強度として解析できる実験系を構築し、当該マウスｉＰＳ細胞の胚様体の３次元観察を行った。
　［実験方法］
　（１）ｃＴｎＴ遺伝子のプロモーター領域とルシフェラーゼ遺伝子とを含む核酸が導入されたマウスｉＰＳ細胞の作製
　ｃＴｎＴ遺伝子のためのプロモーター領域をネオマイシン耐性のｐＧＬ４．１７ルシフェラーゼレポーターベクター（Ｐｒｏｍｅｇａ）に組み込み、「ｃＴｎＴ遺伝子発現特異的発光ベクターｐｃＴｎＴ－ＧＬ４」を作製した。
　ベクターを導入するマウスｉＰＳ細胞（ｉＰＳ-ＭＥＦ－Ｎｇ－２０Ｄ－１７、京都大学）の培養には、ＫＯ　ＤＭＥＭ培地を用いた。このｉＰＳ細胞は、マイトマイシンＣ処理で分裂を停止させたＭＥＦ細胞上で培養した。
　Ｎｕｃｌｅｏｆｅｃｔｉｏｎ法を用いて、マウスｉＰＳ細胞にｐｃＴｎＴ－ＧＬ４遺伝子発現ベクターをトランスフェクションした。トランスフェクションした細胞を一晩ＫＯ　ＤＭＥＭ培地でネオマイシン耐性フィーダー細胞とともに培養した。その後、培地を抗生物質Ｇ４１８（Ｉｎｖｉｔｒｏｇｅｎ）を終濃度２５０μｇ／ｍｌとなるよう加えたＫＯ　ＤＭＥＭ培地に交換して、選択的な培養を行った。このようにして、安定発現細胞株を取得した。以下、この細胞をｃＴｎＴ－ＧＬ４発現マウスｉＰＳ細胞と呼ぶ。
　（２）ｃＴｎＴ－ＧＬ４発現マウスｉＰＳ細胞の胚様体の形成
　培養したｃＴｎＴ－ＧＬ４発現マウスｉＰＳ細胞をＰＢＳで洗浄し、０．２５％トリプシンＥＤＴＡで剥がした後、ＫＯ　ＤＭＥＭ培地を加え、３７℃インキュベータで４時間インキュベートした。フィーダー細胞（ＭＥＦ）を固着させることで、マウスｉＰＳ細胞のみが浮遊する状態にした。マウスｉＰＳ細胞が含まれた培地を遠心して細胞を回収し、１ｍｌのＫＯ　ＤＭＥＭ培地又はＩＭＤＭ培地に細胞を再混濁した。溶液中の細胞数をセルカウンターで計測し、ＩＭＤＭ培地を加えたＬｉｐｉｄｕｒｅ－Ｃｏａｔ培養培地（９６ウェル丸底；日油株式会社）の各ウェルに細胞数が２５００個又は５０００個になるように細胞混濁液を加え、３乃至７日間３７℃で培養し、胚様体を形成させた。
　（３）ｃＴｎＴ－ＧＬ４発現マウスｉＰＳ細胞の心筋への分化誘導
　形成させた胚様体をゼラチンコート処理した３５ｍｍディッシュに移し、３７℃で一晩インキュベートしてディッシュ表面に胚様体を接着させた。その後、３７℃で５乃至１４日間ほど培養し、拍動する心筋細胞への分化誘導を行った。
　（４）ｃＴｎＴ―ＧＬ４発現マウスｉＰＳ細胞の観察及び解析
　３７℃で培養を続け、一部に拍動する心筋細胞が見られるようになったｃＴｎＴ―ＧＬ４発現マウスＥＳ細胞の胚様体について、Ｄ－Ｌｕｃｉｆｅｒｉｎ（和光純薬製）を終濃度１ｍＭとなるよう加え、拍動する細胞を解析ソフトウェアであるｃｅｌｌＳｅｎｓ（オリンパス株式会社）を搭載した発光顕微鏡ＬＶ２００（オリンパス株式会社）を用いて、発光３次元観察を行った。その際の撮影条件として、対物レンズは２０倍、ＣＣＤカメラはＩｍａｇＥＭ（登録商標）（浜松ホトニクス社製）、ビニングは１×１とした。
　各焦点位置における露出時間は、３分、５分又は１０分とした。撮影ピッチは、１０μｍ、５０μｍ、又は１００μｍとした。
　［実験結果及び考察］
　図６は、撮影ピッチを１０μｍとして、焦点位置を変化させながら２０枚の画像（計１０００μｍ）を取得した場合の撮影結果を示す。図６において、左側の図は、各々の２次元画像の露出時間が５分である場合の３次元再構築画像であり、右側の図は、各々の２次元画像の露出時間が１０分である場合の３次元再構築画像である。
　図６に示すように、この実験系では、露出時間は１０分のときには露出過多であり、露出時間が５分である場合の方が解像度がよいことが分かる。
　図７は、露出時間を３分又は５分とし、撮影ピッチを１０μｍ、５０μｍ、又は１００μｍとして、厚さ４００μｍの領域を撮影した結果を示す。図７において、上段は、各々の２次元画像の露出時間が３分の場合であり、下段は、各々の２次元画像の露出時間が５分の場合である。また、図７において、左列の画像は、撮影ピッチが１０μｍであり、４０枚の画像に基づいて３次元発光画像の再構築を行った結果である。中列の画像は、撮影ピッチが５０μｍであり、８枚の画像に基づいて３次元発光画像の再構築を行った結果である。右列の画像は、撮影ピッチが１００μｍであり、４枚の画像に基づいて３次元発光画像の再構築を行った結果である。
　図７に示すように、この実験系では、露出時間は、３分の場合よりも５分の場合の方が解像度がよいことが分かる。また、この実験系では、撮影ピッチが狭い程、空間分解能が高いことが分かる。このように、上述した深度優先モードと解像度優先モードを使い分けることにより、多様な３次元画像を取得できる。これら複数の撮影モードにより撮影された３次元発光画像によれば、例えば３次元試料の内部において遺伝子発現の変化が大きい部分については深度優先モードを適用することで短時間で多くの情報を得ることができる。その結果、部分的に発現量の変化が大きい場合であっても発現量の変化が正確に把握され得る。
　図８は、露出時間を３分又は５分とし、撮影ピッチを１０μｍ又は１００μｍとして、厚さ４００μｍの領域を撮影した結果を示す。図８において、上段は、各々の２次元画像の露出時間が３分の場合であり、下段は、各々の２次元画像の露出時間が５分の場合である。また、図８において、左列の画像は、撮影ピッチが１０μｍであり、４０枚の画像に基づいて３次元発光画像の再構築を行った結果である。右列の画像は、撮影ピッチが１００μｍであり、４枚の画像に基づいて３次元発光画像の再構築を行った結果である。
　図８に示すように、この実験系では、露出時間は、３分の場合よりも５分の場合の方が解像度がよいことが分かる。また、この実験系では、撮影ピッチが狭い程、空間分解能が高いことが分かる。
　以上のように、撮影条件に応じて生成される３次元発光画像が異なるものになることが明らかになった。このことからも撮影条件が適切に選択されることが重要であることが明らかになった。
　また、サンプルを光源から射出された所定の波長の光で照明し、明視野又は蛍光による透過画像を取得した。予め３次元試料の内部構造を確認することで、試料の高さ方向の撮像範囲が適切に指定できた。３次元試料の高さの頂点付近や容器底面の接着部付近からの３次元情報は、重力や吸着力等の物理的影響により、発現量の解析のノイズとなる場合がある。そこで、できるだけこれら力学的影響の少ない中間部位を撮像範囲として選ぶことが重要であった。さらに、撮影ピッチは、胚様体やスフェロイドのように試料内部の分化度に応じて細胞の数量や密度等が変化する場合に、培養時期によらず試料内の細胞を逃すことなく解析するために重要であった。
　適当な条件で２次元画像の撮影を行い、その２次元画像に基づいて３次元発光画像の構築を行えば、実験の目的等に応じた適当な発光３次元発光画像が作成され得ることが明らかになった。
　［実施例２］
　３次元発光観察法を用いたタイムラプス観察を行うことで、実施例１で用いたｃＴｎＴ－ＧＬ４マウスｉＰＳ細胞の心筋分化過程におけるｃＴｎＴの発現を、立体的かつ経時的に観察することができる。
　［第２の実施形態］
　本発明の第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。第２の実施形態でも、複数の２次元画像に基づいて３次元画像が生成される３次元画像の取得が繰り返し行われるタイムラプス観察が行われる。ここで、３次元画像の取得は、例えば一定時間ごとに同じ処理が繰り返されることで行われ得る。第２の実施形態では、３次元画像を取得するために行われる一組の２次元画像の取得において、２次元画像と２次元画像との間のＺ軸方向の間隔である撮影ピッチが、３次元画像の取得毎に適宜に変更される。
　２次元画像のＺ軸方向の間隔（撮影ピッチ）について図面を参照して説明する。図９に３次元試料３００の画像を取得する場合の模式図を示す。図９において、３次元試料３００の内部には発光を示す領域である第１の注目領域３０１と第２の注目領域３０２とが含まれている。例えば、３次元試料３００を対物レンズ１４２を移動させて合焦位置を変化させながら観察する場合を考える。この場合において、画像を取得する際の合焦面を破線で示す。すなわち、第１の合焦面４０１、第２の合焦面４０２、第３の合焦面４０３、第４の合焦面４０４、第５の合焦面４０５、及び第６の合焦面４０６のそれぞれにおいて２次元画像が取得されるものとする。このときの対物光学系１４の焦点深度に応じて画像が得られる範囲を図右に「Ｉ」型の記号で示す。ここで、Ｉ字の高さが焦点深度、すなわち、合焦する範囲を示すものとする。すなわち、第１の合焦面４０１における撮像では、第１の範囲４１１の画像が取得される。同様に、第２の合焦面４０２、第３の合焦面４０３、第４の合焦面４０４、第５の合焦面４０５及び第６の合焦面４０６のそれぞれにおける撮像では、第２の範囲４１２、第３の範囲４１３、第４の範囲４１４、第５の範囲４１５、及び第６の範囲４１６の画像がそれぞれ取得される。
　その結果、図１０に模式図を示すような画像が得られる。すなわち、第１の範囲４１１、第２の範囲４１２、第３の範囲４１３、第４の範囲４１４、第５の範囲４１５、及び第６の範囲４１６の画像が得られる。一方で、図１０中に網掛けで示した、第１の範囲４１１と第２の範囲４１２との間の第１の欠損領域４２１、第２の範囲４１２と第３の範囲４１３との間の第２の欠損領域４２２、第３の範囲４１３と第４の範囲４１４との間の第３の欠損領域４２３、第４の範囲４１４と第５の範囲４１５との間の第４の欠損領域４２４、及び第５の範囲４１５と第６の範囲４１６との間の第５の欠損領域４２５の画像は得られない。すなわち、３次元試料３００並びにその注目領域である第１の注目領域３０１及び第２の注目領域３０２について、完全な画像が得られない。
　これに対して、図９に示す場合と比較して撮像の回数を増やし、撮像を行う合焦面の間隔を狭めた場合の模式図を図１１に示す。図１１に示すように、第１の合焦面４３１、第２の合焦面４３２、第３の合焦面４３３、第４の合焦面４３４、第５の合焦面４３５、第６の合焦面４３６、第７の合焦面４３７、第８の合焦面４３８、第９の合焦面４３９、第１０の合焦面４４０、及び第１１の合焦面４４１のそれぞれにおいて、２次元画像が取得されるものとする。ここで、図１１に示す例えば第１の合焦面４３１と第２の合焦面４３２との間隔は、図９に示す場合の第１の合焦面４０１と第２の合焦面４０２との間隔よりも狭い。その結果、第１の合焦面４３１、第２の合焦面４３２、第３の合焦面４３３、第４の合焦面４３４、第５の合焦面４３５、第６の合焦面４３６、第７の合焦面４３７、第８の合焦面４３８、第９の合焦面４３９、第１０の合焦面４４０、及び第１１の合焦面４４１のそれぞれに合焦させた際に画像が得られる範囲である第１の範囲４５１、第２の範囲４５２、第３の範囲４５３、第４の範囲４５４、第５の範囲４５５、第６の範囲４５６、第７の範囲４５７、第８の範囲４５８、第９の範囲４５９、第１０の範囲４６０及び第１１の範囲４６１の間には間隙がない。例えば第１の範囲４５１と第２の範囲４５２とは重なり合う。
　その結果、図１２に示すような画像が得られる。すなわち、３次元試料３００並びにその注目領域である第１の注目領域３０１及び第２の注目領域３０２について、完全な画像が得られる。なお、ここでは、各撮影範囲が互いに重なり合っている場合の例を示したが、撮影範囲の間に間隔が無く隣接していれば、各撮影範囲は重なり合っていなくてもよい。
　図１０に示すような焦点面の間隔が広い条件で得られた３次元画像では、情報は不完全で不明瞭な画像となるが、取得される２次元画像の数は少なく、データサイズは小さくなる。一方で、図１２に示すような焦点面の間隔が狭い条件で得られた３次元画像では、観察対象の全ての情報が含まれ、高精細な画像となるが、取得される２次元画像の数は多く、データサイズは大きくなる。
　ここで、図１２に破線の矩形で示すように、第１の注目領域３０１も第２の注目領域３０２もない領域４７０では、高い解像度が不要である。そこで本実施形態では、図１２に示す第５の範囲４５５及び第７の範囲４５７における２次元画像の取得を行わないことを考える。すなわち、本実施形態では、図１３に示すように、第１の欠損領域４７１及び第２の欠損領域４７２が生じても、データサイズを小さくするために、第１の範囲４５１、第２の範囲４５２、第３の範囲４５３、第４の範囲４５４、第６の範囲４５６、第８の範囲４５８、第９の範囲４５９、第１０の範囲４６０及び第１１の範囲４６１についての画像が取得される。
　本実施形態に係る撮像システム１０の動作の概略を図１４を参照して説明する。図１４は、時間経過とともに、どのような合焦面で撮像が行われるかを示している。すなわち、図１４は、左図（ａ）、中図（ｂ）、右図（ｃ）の順に時間が経過した場合を示している。各図における水平の直線４８０の各々は、各撮影が行われる際の合焦面を示している。この撮影が行われる際の合焦面を撮影面４８０と称することにする。
　初めに、図１４の左図（ａ）のように、３次元試料３００に発光を示す注目すべき領域が無い場合、３次元試料３００の全体にわたって、撮影面４８０の間隔は広く設定される。ここで。撮影面４８０の間隔は、対物光学系１４の焦点深度よりも広い。
　このような状態から、図１４の中図（ｂ）のように、第１の注目領域３０１及び第２の注目領域３０２が生じたとき、第１の注目領域３０１及び第２の注目領域３０２が生じた領域が検出される。第１の注目領域３０１及び第２の注目領域３０２を含む領域については、撮影面４８０の間隔は狭く設定され、それ以外の領域については、撮影面４８０の間隔は広く設定される。ここで狭く設定される撮影面４８０の間隔は、対物光学系１４の焦点深度と等しい又は対物光学系１４の焦点深度よりも狭い。以降、この焦点深度以下の間隔を第１の間隔と称し、焦点深度よりも広い間隔を第２の間隔と称する。
　さらに、図１４の右図（Ｃ）のように、第１の注目領域３０１及び第２の注目領域３０２に加えて、第３の注目領域が生じたとき、第１の注目領域３０１、第２の注目領域３０２、及び第３の注目領域３０３を含む領域が検出される。第１の注目領域３０１、第２の注目領域３０２及び第３の注目領域３０３を含む領域については、撮影面４８０の間隔は狭い第１の間隔に設定され、それ以外の領域については、撮影面４８０の間隔は広い第２の間隔に設定される。また、注目領域が消滅したときは、当該注目領域について、撮影面４８０の間隔を第１の間隔から第２の間隔に変更する。このように、本実施形態では、発光が認められる注目領域の有無に応じて、撮影面の間隔が適宜に変更される。
　第２の実施形態に係る撮像システム１０の動作について、フローチャートを参照して説明する。図１５は、本実施形態に係る画像取得処理の一例の概略を示す。
　ステップＳ５０１において、制御部１８は、画像取得に係る初期設定を行う。この初期設定には、例えば、画像が取得されるＺ軸方向の範囲である画像取得領域の設定、タイムラプス撮影における画像取得の時間間隔（撮影間隔）を含む撮影のタイミングに関する設定等が含まれる。
　ステップＳ５０２において、制御部１８の撮影条件決定部１８３は、撮影面設定処理を行う。撮影面設定処理は、２次元画像を取得する際の合焦面である撮影面を３次元試料における発光の局在に応じて設定するための処理である。すなわち、撮影条件決定部１８３は、撮影面の間隔を設定する。このように、例えば撮影条件決定部１８３は、互いに異なる合焦面を有する複数の２次元画像を取得する際の、複数の２次元画像の互いの間隔を３次元試料における発光の局在に応じて設定する間隔設定部として機能する。撮影面設定処理について、図１６に示すフローチャートを参照して説明する。
　ステップＳ６０１において、撮影条件決定部１８３は、当該撮影の１回前の撮影で取得された２次元画像について、輝度分布を解析する。
　ステップＳ６０２において、撮影条件決定部１８３は、ステップＳ６０１で得られた輝度分布に基づいて、３次元的な注目領域の分布を特定する。
　ステップＳ６０３において、撮影条件決定部１８３は、ステップＳ６０２で特定された注目領域の分布に応じて、画像取得領域内における撮影面を設定する。
　なお、初回の撮影面設定処理においては、前回の撮影結果である２次元画像が存在しないので、例えば、撮影面は画像取得領域全体にわたって均等に広い第２の間隔で設定される。
　ここで、撮影面の間隔が、対物光学系１４の焦点深度以下である第１の間隔に設定される条件の例を挙げる。
　例えば図１７に示すように、ある撮影面について１つの大きな領域３０５が発光している場合を考える。ここで、当該発光に係る輝度値が所定の閾値より高くなっている領域を発光を示す領域とし、この領域を高輝度領域とする。高輝度領域の面積が所定の閾値よりも大きいとき、当該撮影面について注目領域があり、当該撮影面の近傍において撮影面の間隔を対物光学系１４の焦点深度以下の第１の間隔にするように、撮像システム１０は構成され得る。
　また、上述の場合と異なり、次のように構成されてもよい。すなわち、例えば図１８に示すように、ある撮影面について複数の小さな領域３０６が発光している場合を考える。当該発光に係る輝度値のうち、最も高い輝度値を発光を示す輝度値とし、当該発光を示す輝度値が所定の閾値より高くなっているとき、当該撮影面について注目領域があるものとする。すなわち、当該撮影面の近傍において撮影面の間隔を対物光学系１４の焦点深度以下の第１の間隔にするように、撮像システム１０は構成され得る。
　また、次のようにしてもよい。すなわち、ある撮影面において、所定の領域が関心領域として定められており、この関心領域内の輝度値の変化が所定の閾値よりも大きいとき、当該撮影面について注目領域があり、当該撮影面の近傍において撮影面の間隔を対物光学系１４の焦点深度以下の第１の間隔にするように、撮像システム１０は構成され得る。同様に、ある撮影面の全体の輝度値の変化が、所定の閾値よりも大きいときに第１の間隔にするようにしてもよい。
　撮影面の設定について、さらに図１９及び図２０を参照して説明する。図１９及び図２０において、左図は、３次元試料３００における撮影面５１０の位置関係を示す。図１９及び図２０の左図における水平方向の複数の複数の破線は、撮影面５１０を示す。また、これらの図において、３次元試料３００内に注目領域３０８がある状態が示されている。図１９及び図２０において、右図は、各撮影面４８０に関して得られる２次元画像５４０を模式的に示す。
　図１９は、例えば最初の画像取得において設定される撮影面５１０が均等に第２の間隔で配置された場合を示す。すなわち、図１９において、第１の撮影面５１１と、第２の撮影面５１２と、第３の撮影面５１３と、第４の撮影面５１４と、第５の撮影面５１５とが等間隔に設定されている。第１の撮影面５１１、第２の撮影面５１２、第３の撮影面５１３、第４の撮影面５１４、及び第５の撮影面５１５で得られる画像を、それぞれ第１の画像５４１、第２の画像５４２、第３の画像５４３、第４の画像５４４、第５の画像５４５とする。第３の撮影面は注目領域３０８を含んでいるので、第３の画像５４３は、発光が画像化された明領域５４９を含む。
　図１９に示す例では、撮影条件決定部１８３は、ステップＳ６０１の画像の輝度解析で第３の画像５４３が明領域５４９を含むことを特定し、ステップＳ６０２で撮影面５１０のうち第３の撮影面５１３の付近に注目領域が存在することが特定され、ステップＳ６０３において、第３の撮影面５１３の近傍に狭い間隔で多くの撮影面が設定される。図２０は、このようにして設定された撮影面５１０と、これら撮影面５１０で得られた２次元画像５４０を示す。
　すなわち、図２０に示す例においては、第１の撮影面５１１、第２の撮影面５１２、第３の撮影面５１３、第４の撮影面５１４、及び第５の撮影面５１５に加えて、第３の撮影面５１３の近傍に、第６の撮影面５１６、第７の撮影面５１７、第８の撮影面５１８、第９の撮影面５１９、第１０の撮影面５２０、及び第１１の撮影面５２１が設定されている。ここで、第６の撮影面５１６、第７の撮影面５１７、第８の撮影面５１８、第３の撮影面５１３、第９の撮影面５１９、第１０の撮影面５２０、及び第１１の撮影面５２１のそれぞれ隣接する撮影面の間隔は、例えば第１の撮影面５１１と第２の撮影面５１２との間隔である第２の間隔よりも狭く、焦点深度よりも狭い第１の間隔である。
　その結果、第１の撮影面５１１、第２の撮影面５１２、第６の撮影面５１６、第７の撮影面５１７、第８の撮影面５１８、第３の撮影面５１３、第９の撮影面５１９、第１０の撮影面５２０、第１１の撮影面５２１、第４の撮影面５１４、及び第５の撮影面５１５において、それぞれ、第１の画像５５１、第２の画像５５２、第３の画像５５３、第４の画像５５４、第５の画像５５５、第６の画像５５６、第７の画像５５７、第８の画像５５８、第９の画像５５９、第１０の画像５６０、及び第１１の画像５６１が得られる。このように注目領域３０８に関する詳細な画像データが得られる。
　なお、図２０の例では、第３の画像５５３及び第９の画像５５９には、注目領域３０８に係る発光が撮影されていない。そこで、次の撮影においては、第３の画像５５３及び第９の画像５５９に係る第６の撮影面５１６及び第１１の撮影面５２１については、画像取得が行われないように撮影面の設定が行われてもよい。
　図１５に戻って画像取得処理の説明を続ける。ステップＳ５０２の撮影面設定処理の後、処理はステップＳ５０３に進む。ステップＳ５０３において、制御部１８は、ステップＳ５０１で設定されたタイムラプス撮影のタイミングを考慮し、撮影開始まで待機する。
　ステップＳ５０４において、制御部１８の撮像制御部１８１は、２次元画像取得処理を行う。２次元画像取得処理では、ステップＳ５０２で設定された撮影面において、一組の２次元画像が２次元画像群として取得される。２次元画像取得処理について図２１に示すフローチャートを参照して説明する。
　ステップ７０１において、撮像制御部１８１は、変数ｎを１に設定する。
　ステップ７０２において、撮像制御部１８１は、ステップＳ５０２の撮影面設定処理で設定された第ｎの撮影面に合焦位置を設定する。すなわち、撮像制御部１８１は、対物光学系駆動部１６の動作を制御して、対物光学系１４の位置、例えば対物レンズ１４２の位置を調整し、第ｎの撮影面に係る画像が取得される状態に調整する。
　ステップ７０３において、撮像制御部１８１は、撮像部１５に撮像動作を行わせ、２次元画像を取得する。
　ステップ７０４において、撮像制御部１８１は、変数ｎをｎ＋１に設定する。
　ステップ７０５において、撮像制御部１８１は、ステップＳ５０２の撮影面設定処理で設定された全ての撮影面における画像取得が完了したか否かを判定する。全画像取得が完了していないとき、処理はステップＳ７０２に戻る。すなわち、撮影面が変更されて２次元画像の取得が行われる。一方、全画像取得が完了したとき、２次元画像処理は終了し、処理は図１５を参照して説明している画像取得処理に戻る。
　ステップＳ５０５において、制御部１８の画像合成部１８２は、ステップＳ５０４の２次元画像取得処理で取得された２次元画像に基づいて、３次元画像の生成を行う。
　ステップＳ５０６において、制御部１８は、ステップＳ５０１で設定された初期設定に基づいて、タイムラプス撮影に係る次の画像取得が必要であるか否かを判定する。次の画像取得が必要であるとき、処理はステップＳ５０２に戻る。すなわち、タイムラプス撮影に係る次の画像取得のタイミングで、改めて設定された撮影面に係る２次元画像の取得が行われ、得られた２次元画像に基づいて３次元画像が取得される。一方、ステップＳ５０６において次の画像取得が必要でないと判定されたとき、画像取得処理は終了する。
　このように、発光が検出される注目領域に係る２次元画像を第１の２次元画像とし、他の２次元画像を第２の２次元画像とし、第１の２次元画像と当該第１の２次元画像に隣接する２次元画像との間の間隔を第１の間隔とし、第２の２次元画像と当該第２の２次元画像に隣接する第２の２次元画像との間の間隔を第２の間隔としたときに、第１の間隔は第２の間隔よりも狭い。特に、第１の間隔は、対物光学系１４の被写界深度以下である。
　なお、本実施形態では、３次元試料３００の発光の状況に応じて取得される２次元画像の数が変化する。したがって、設定された数の２次元画像の取得に必要な時間は、タイムラプス撮影が行われる画像取得処理中に変化する。したがって、一組の２次元画像の取得に必要な時間が、当該一組の２次元画像の取得の開始から次の一組の２次元画像の取得の開始までの時間よりも長くなることが生じ得る。したがって、一組の２次元画像の取得の開始から次の一組の２次元画像の取得の開始までの時間は、画像取得領域の全領域にわたって撮影面と撮影面の間隔が対物光学系１４の焦点深度よりも狭い第１の間隔に設定されたときに一組の２次元画像の取得に必要となる時間よりも長くすることが好ましい。
　本実施形態によれば、発光が検出されない状態、すなわち、３次元試料３００の内部において注目すべき事象が起こっていない状態においては、撮影面の間隔が対物光学系１４の焦点深度よりも大きい第２の間隔に設定され、１つの３次元画像の再構築に用いられる２次元画像の数が少なくされる。その結果、データサイズが削減される。
　発光が検出される状態、すなわち、３次元試料３００の内部において注目すべき事象が起こっている状態においては、撮影面の間隔が対物光学系１４の焦点深度以下の第１の間隔に設定され、高精細な３次元画像が得られる。この際、発光が検出されない領域、すなわち、３次元試料３００の内部において注目すべき事象が起こっていない領域については、撮影面の間隔が対物光学系１４の焦点深度よりも大きい第２の間隔に設定され、１つの３次元画像の再構築に用いられる２次元画像の数が少なくされる。その結果、データサイズが削減される。
　以上によって、データサイズの削減と、必要十分な高精細データとの両立が実現される。その結果、早く正確な３次元試料の解析が実現され得る。
　不要なデータを削減し、必要なデータのみを取得することで、データの取得やその後のデータ解析の時間が削減され得る。これにより、例えば幹細胞由来胚様体又はスフェロイドを用いた創薬における薬効・毒性の評価や幹細胞由来胚様体の各種細胞への分化過程の評価・モニタリングにおいて、データ取得やデータの解析がスムーズに行われ、迅速な評価の実行が可能になる。特に、ある撮影面に指定された注目領域（ＲＯＩ）や、撮影面全体の発光輝度の変化が所定の閾値より大きい場合に撮影面の間隔を狭くすることにより、遺伝子発現に関する情報を選択的に増やすことが可能となる。
　［第２の実施形態の第１の変形例］
　第２の実施形態の第１の変形例について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。上述の実施形態では、注目領域の分布の特定が、直前の画像取得において得られた２次元画像に基づいて行われる例を示した。しかしながらこれに限らない。例えば、図２２に示すフローチャートのように、注目領域以外の領域について適用される撮影面の間隔よりも広い間隔で、２次元画像の取得が行われ、ここで得られた２次元画像に基づいて、注目領域の分布が特定されてもよい。
　すなわち、ステップＳ８０１において、撮影条件決定部１８３は、撮影面の設定が次の２次元画像取得処理の開始までに終わるように待機して次の処理を行うタイミングを調整する。ステップＳ８０２において、撮影条件決定部１８３は、撮像制御部１８１と協働して、撮影面の間隔が広い条件で２次元画像を取得する。この間隔は、例えば第２の間隔よりも広い第３の間隔でもよい。ここで得られる一組の２次元画像を評価用画像群と称することにする。撮影条件決定部１８３は、ステップＳ８０３において得られた評価用画像群の２次元画像の輝度を解析し、ステップＳ８０４で注目領域の分布を特定する。ステップＳ８０５において、撮影条件決定部１８３は、注目領域の分布に応じて撮影面を設定する。
　本変形例によれば、例えばタイムラプス撮影の間隔が長い場合でも、現在の３次元試料３００の状態に応じた撮影面の設定がされ得る。
　［第２の実施形態の第２の変形例］
　第２の実施形態の第２の変形例について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については、その説明を省略する。上述の実施形態では、注目領域の変化に応じて設定される撮影面の数が変化する。しかしながら、撮影面の数が変化すると一組の２次元画像に含まれる２次元画像の数が変化する。これに対して本変形例では、撮影面の数が予め決められている。すなわち、撮影面設定処理において、注目領域に応じて、撮影面の総数が予め決められた数となるように撮影面が設定される。
　本変形例によれば、一組の２次元画像の取得に必要な露出時間の合計が変化しない。その結果、タイムラプス撮影の間隔が一組の２次元画像の取得に係る時間よりも短くなることが防がれる。
　［第２の実施形態の第３の変形例］
　第２の実施形態の第２の変形例について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。上述の実施形態では、撮影面の間隔は、注目領域とそれ以外の領域とで、それぞれ対物光学系１４の焦点深度以下の第１の間隔と焦点深度よりも広い第２の間隔とに設定される例を示した。しかしながらこれに限らない。撮影面の間隔は、複数種類であってもよく、適宜に変更され得る。ただし、観察される輝度が高い領域や、輝度の変化が大きい領域など、注目度が高い領域については撮影面の間隔は狭く、注目度が低い領域については撮影面の間隔は広く、設定される。いずれの場合も撮影面の間隔が対物光学系１４の焦点深度よりも狭くてもよい。本変形例においても、必要な精細さを有しつつデータサイズを抑制した３次元画像の取得が行われ得る。
　以上の説明において、第１の実施形態で述べた撮影ピッチと第２の実施形態で述べた撮影間隔の調節を組み合わせてもよい。また、本発明は、再生医療向けの試料に限らず、細胞ごとの遺伝子発現の変化をタイムラプスで観察することが要求される種々の試料、例えばｉｎ　ｖｉｖｏの試料に適用してもよい。さらに、上述した撮影システムにより実行される撮影ピッチ及び／又は撮影間隔の調節は、使用者が、上記撮影システムの表示画面を見ながら、手動で撮影条件を変更するように設計されてもよい。

Claims (12)

  1. 　発光するように調製された複数の細胞を含む３次元的な形状を有する３次元試料について、互いに異なる合焦面を有する複数の２次元画像を取得する際の、前記複数の２次元画像の互いの間隔を前記３次元試料における発光の局在に応じて設定することと、
    　非照明条件下で前記３次元試料を撮影することで設定された前記間隔に応じた前記複数の２次元画像を含む２次元画像群を取得することと、
    　前記２次元画像群に含まれる前記複数の２次元画像を合成して３次元発光画像を生成することと
    　を含む３次元発光画像の生成方法。
  2. 　前記２次元画像群に含まれる前記複数の２次元画像のうち、所定の条件を満たす前記発光が検出される２次元画像を第１の２次元画像とし、前記第１の２次元画像以外の画像を第２の２次元画像としたときに、
    　前記２次元画像の前記間隔は、前記第１の２次元画像と当該第１の２次元画像に隣接する２次元画像との間の第１の間隔が、前記第２の２次元画像と当該第２の２次元画像に隣接する第２の２次元画像との間の第２の間隔よりも狭くなるように設定される、
    　請求項１に記載の３次元発光画像の生成方法。
  3. 　前記所定の条件は、前記２次元画像における前記発光を示す輝度値が所定の値以上であることである、請求項２に記載の３次元発光画像の生成方法。
  4. 　前記所定の条件は、前記２次元画像における前記発光を示す領域の面積値が所定の値以上であることである、請求項２に記載の３次元発光画像の生成方法。
  5. 　前記所定の条件は、前記２次元画像の予め決められた領域において前記発光を示す輝度値の変化が所定の値以上であることである、請求項２に記載の３次元発光画像の生成方法。
  6. 　前記第１の間隔よりも広い間隔で前記複数の２次元画像である評価用画像群を取得することと、
    　前記評価用画像群に基づいて、前記所定の条件を満たすか否かの判断を行うことと
    　をさらに含む請求項２に記載の３次元発光画像の生成方法。
  7. 　前記第１の間隔は、前記２次元画像の取得の際に用いられる対物光学系に応じて決定される焦点深度以下である、請求項２に記載の３次元発光画像の生成方法。
  8. 　前記２次元画像群の取得は繰り返し複数回行われ、
    　前記間隔の設定は、各々の前記２次元画像群の取得の都度に行われる、
    　請求項１に記載の３次元発光画像の生成方法。
  9. 　各々の前記２次元画像の間の前記間隔が変化しても、前記２次元画像群に含まれる前記２次元画像を取得するための露出時間の合計は変化しない、請求項８に記載の３次元発光画像の生成方法。
  10. 　前記間隔の設定は、直前に取得された前記２次元画像群に基づいて行われる、請求項８に記載の３次元発光画像の生成方法。
  11. 　前記２次元画像群は、一定時間ごとに同じ処理が繰り返されることで取得される、請求項８に記載の３次元発光画像の生成方法。
  12. 　対物光学系と、
    　前記対物光学系の合焦位置を光軸方向に移動させる駆動部と、
    　発光するように調製された複数の細胞を含む３次元的な形状を有する３次元試料についての発光画像を前記対物光学系を介して撮像する撮像部と、
    　互いに異なる合焦面を有する複数の２次元画像を取得する際の、前記複数の２次元画像の互いの間隔を前記３次元試料における発光の局在に応じて設定する間隔設定部と、
    　非照明条件下で前記駆動部の動作を制御しながら前記撮像部に前記３次元試料を撮影させることで、設定された前記間隔に応じた前記複数の２次元画像を含む２次元画像群を取得させる撮像制御部と、
    　前記２次元画像群に含まれる前記複数の２次元画像を合成して３次元発光画像を生成する画像合成部と
    　を備える撮像システム。
PCT/JP2016/051679 2015-01-22 2016-01-21 ３次元発光画像の生成方法及び撮像システム WO2016117638A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680006671.6A CN107209122A (zh) 2015-01-22 2016-01-21 三维发光图像的生成方法和摄像系统
DE112016000251.3T DE112016000251T5 (de) 2015-01-22 2016-01-21 Verfahren zum Erzeugen eines dreidimensionalen Lumineszenzbildes und Bildgebungssystem
JP2016570697A JP6461204B2 (ja) 2015-01-22 2016-01-21 ３次元発光画像の生成方法及び撮像システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/051698 WO2016117089A1 (ja) 2015-01-22 2015-01-22 三次元発光画像の生成方法及び撮像システム
JPPCT/JP2015/051698 2015-01-22

Publications (1)

Publication Number Publication Date
WO2016117638A1 true WO2016117638A1 (ja) 2016-07-28

Family

ID=56416654

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2015/051698 WO2016117089A1 (ja) 2015-01-22 2015-01-22 三次元発光画像の生成方法及び撮像システム
PCT/JP2016/051679 WO2016117638A1 (ja) 2015-01-22 2016-01-21 ３次元発光画像の生成方法及び撮像システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/051698 WO2016117089A1 (ja) 2015-01-22 2015-01-22 三次元発光画像の生成方法及び撮像システム

Country Status (5)

Country Link
US (1) US10401276B2 (ja)
JP (1) JP6461204B2 (ja)
CN (1) CN107209122A (ja)
DE (1) DE112016000251T5 (ja)
WO (2) WO2016117089A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105298A1 (ja) * 2016-12-09 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019106945A1 (ja) 2017-11-28 2019-06-06 パナソニックＩｐマネジメント株式会社 培養状態判定装置、培養状態判定方法及びプログラム
CN111586393A (zh) * 2020-04-24 2020-08-25 山东易华录信息技术有限公司 一种水下三维图像成像系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057170A (ja) * 2001-08-13 2003-02-26 Shiseido Co Ltd メラニン評価装置
JP2006308808A (ja) * 2005-04-27 2006-11-09 Keyence Corp 拡大観察装置
JP2012022135A (ja) * 2010-07-14 2012-02-02 Olympus Corp 共焦点顕微鏡装置
JP2012122829A (ja) * 2010-12-08 2012-06-28 Olympus Corp 生体内部の画像化方法及び装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP2006004158A (ja) * 2004-06-17 2006-01-05 Olympus Corp 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体
CN101351735B (zh) * 2005-12-27 2010-12-08 奥林巴斯株式会社 获取生物源样本的图像的装置和方法
EP2023127B1 (en) * 2006-05-31 2017-12-20 Olympus Corporation Biological specimen imaging method and biological specimen imaging apparatus
EP2033047B1 (en) 2006-06-29 2020-02-19 Agency for Science, Technology and Research Shg quantification of matrix-related tissue dynamic and disease
JP5089936B2 (ja) * 2006-07-26 2012-12-05 オリンパス株式会社 発光イメージングの検出方法
JP5424528B2 (ja) 2006-10-04 2014-02-26 オリンパス株式会社 微弱光サンプルの解析方法および装置
JPWO2008123610A1 (ja) * 2007-04-04 2010-07-15 オリンパス株式会社 発光タンパクによる長期モニタリング方法および解析方法
JP5433381B2 (ja) * 2009-01-28 2014-03-05 合同会社ＩＰ Ｂｒｉｄｇｅ１号 口腔内測定装置及び口腔内測定方法
JP5931528B2 (ja) * 2012-03-21 2016-06-08 オリンパス株式会社 手術用映像システムおよび手術用映像システムの作動方法
JP6242202B2 (ja) * 2012-12-13 2017-12-06 オリンパス株式会社 光学顕微鏡システムおよび光学顕微鏡を用いて細胞を観察する方法
JP6236658B2 (ja) * 2013-02-19 2017-11-29 日本電気株式会社 撮像システム及び撮像方法
CN104268929B (zh) * 2014-09-09 2017-04-05 北京工商大学 基于图像强度各阶导数的荧光显微图像3d重建方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057170A (ja) * 2001-08-13 2003-02-26 Shiseido Co Ltd メラニン評価装置
JP2006308808A (ja) * 2005-04-27 2006-11-09 Keyence Corp 拡大観察装置
JP2012022135A (ja) * 2010-07-14 2012-02-02 Olympus Corp 共焦点顕微鏡装置
JP2012122829A (ja) * 2010-12-08 2012-06-28 Olympus Corp 生体内部の画像化方法及び装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105298A1 (ja) * 2016-12-09 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
CN110023737A (zh) * 2016-12-09 2019-07-16 索尼公司 信息处理装置、信息处理方法及信息处理系统
JPWO2018105298A1 (ja) * 2016-12-09 2019-10-24 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US11302437B2 (en) 2016-12-09 2022-04-12 Sony Corporation Information processing device, information processing method and information processing system

Also Published As

Publication number Publication date
US10401276B2 (en) 2019-09-03
US20170315049A1 (en) 2017-11-02
JPWO2016117638A1 (ja) 2017-11-02
CN107209122A (zh) 2017-09-26
DE112016000251T5 (de) 2017-10-05
JP6461204B2 (ja) 2019-01-30
WO2016117089A1 (ja) 2016-07-28

Similar Documents

Publication Publication Date Title
Chatterjee et al. Recent progress in light sheet microscopy for biological applications
JP5969463B2 (ja) ラベル付けされた生体試料の画像化のための方法と装置
JPWO2007074929A1 (ja) 生物由来の被験試料の画像を取得する装置及び方法
JP6461204B2 (ja) ３次元発光画像の生成方法及び撮像システム
Kumar et al. Using stage-and slit-scanning to improve contrast and optical sectioning in dual-view inverted light sheet microscopy (diSPIM)
JP6454478B2 (ja) 心筋細胞への分化をモニタリングする方法
US20160161394A1 (en) Observation image determination device, method, and program
Osanai et al. Development of a micro-imaging probe for functional brain imaging
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
JP2015031831A (ja) 細胞追跡装置及び方法、細胞追跡プログラム
JPWO2019021472A1 (ja) 細胞特定方法、細胞集団の製造方法及び細胞特定システム
Maggiano et al. Confocal laser scanning microscopy: a flexible tool for simultaneous polarization and three-dimensional fluorescence imaging of archaeological compact bone
JP6223157B2 (ja) 三次元画像撮像方法、三次元画像解析方法、及び三次元画像撮像システム
JP4823632B2 (ja) 生物由来の被験試料の画像を、光学的結像手段を用いて取得する方法及び装置
JP2012122829A (ja) 生体内部の画像化方法及び装置
EP2157466A1 (en) Confocal microscope device
WO2017037875A1 (ja) ３次元画像取得方法、３次元画像表示方法及び３次元画像取得装置
Shah et al. Confocal and super-resolution imaging of polarized intracellular trafficking and secretion of basement membrane proteins during Drosophila oogenesis
WO2016189583A1 (ja) 生体試料の解析方法
JP6313978B2 (ja) 表示方法
CN213022779U (zh) 一种细胞三维体视化装置
WO2016189628A1 (ja) 発光測定方法
WO2017109983A1 (ja) 微弱発光試料の解析方法及び解析システム
JP2009139336A (ja) カルシウム測定方法
JP2015019637A (ja) サバイビンについての細胞解析方法、並びにそれを利用した癌の解析方法および薬効のスクリーニング方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16740245

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016570697

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112016000251

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16740245

Country of ref document: EP

Kind code of ref document: A1