WO2023067971A1 - 撮像装置及び情報処理装置 - Google Patents

撮像装置及び情報処理装置 Download PDF

Info

Publication number
WO2023067971A1
WO2023067971A1 PCT/JP2022/035037 JP2022035037W WO2023067971A1 WO 2023067971 A1 WO2023067971 A1 WO 2023067971A1 JP 2022035037 W JP2022035037 W JP 2022035037W WO 2023067971 A1 WO2023067971 A1 WO 2023067971A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
imaging
illumination light
height
image
Prior art date
Application number
PCT/JP2022/035037
Other languages
English (en)
French (fr)
Inventor
拓明 山本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023555056A priority Critical patent/JPWO2023067971A1/ja
Publication of WO2023067971A1 publication Critical patent/WO2023067971A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • the technology of the present disclosure relates to imaging devices and information processing devices.
  • An incubator for a fertilized egg is used to culture a fertilized egg that has undergone in vitro fertilization.
  • a fertilized egg (embryo) cultured in an incubator is transferred to the embryo or frozen.
  • embryo refers to a fertilized egg in a state of division.
  • Japanese Patent Application Laid-Open No. 2018-093795 proposes an incubator that enables observation of fertilized eggs being cultured without removing the culture dish.
  • the incubator described in Japanese Patent Application Laid-Open No. 2018-093795 includes a culture section that holds a plurality of culture dishes in a culture environment, and an imaging section provided corresponding to the culture dishes held in the culture section.
  • an incubator that allows fertilized eggs to be observed without removing the culture dish from the culture unit while culturing the fertilized eggs in a culture dish is called a time-lapse incubator. ing.
  • the imaging unit described in JP-A-2018-093795 is an optical camera having a lens, focus is adjusted by moving the lens along the optical axis.
  • a human egg is almost spherical and has a diameter of about 100 to 150 ⁇ m. It is not known in which position of the ovum the position of the pronucleus or the like, which is a clue for judging the fertilization of the ovum, exists. For this reason, the imaging unit described in Japanese Patent Application Laid-Open No. 2018-093795 captures a plurality of images with different focal positions.
  • an interference fringe image generated by irradiating an observation object with coherent light such as a laser beam is imaged, and the interference fringe image obtained by imaging is reconstructed at an arbitrary focal position. Images (so-called tomographic images) can be generated.
  • the present applicant has proposed an imaging device that includes a light source and an imaging sensor and generates image data including an interference fringe image by imaging fertilized eggs seeded in a culture vessel. proposed an imaging device that can be taken in and out of a culture room provided in an incubator. The applicant of the present application also proposes to provide a height adjustment mechanism for adjusting the height of the imaging device.
  • an imaging device with a plurality of light sources that irradiate the observation target with illumination light at different irradiation angles.
  • the height is changeable in an imaging device that includes a plurality of light sources that irradiate an observation object with illumination light at different irradiation angles, the distance from the plurality of light sources to the observation object changes, resulting in three Dimensional information may not be obtained accurately.
  • An object of the technology of the present disclosure is to provide an imaging device and an information processing device that can accurately acquire three-dimensional information of an observation target even when the height is changed.
  • an imaging apparatus includes an illumination device having a plurality of light sources that irradiate an observation object with illumination light at different irradiation angles, and an observation object irradiated with the illumination light.
  • an imaging sensor that captures an interference fringe image and generates image data; a height adjustment mechanism that enables adjustment of the height of the illumination device with respect to the imaging sensor; and an angle changing mechanism for changing the irradiation angle of the illumination light according to the height so that the intersection is positioned on the observed object.
  • the angle changing mechanism preferably changes the irradiation angle of the illumination light by rotating at least one of the plurality of light sources.
  • the angle changing mechanism changes the irradiation angle of the illumination light in conjunction with the height change by the height adjusting mechanism.
  • a first processor for controlling an angle changing mechanism to change the irradiation angle wherein the first processor changes the angle based on the positional relationship between the estimated area in the image data where the observation target is estimated to exist and the interference fringe image.
  • the irradiation angle is adjusted by controlling the mechanism.
  • a strut for supporting the lighting device is provided, and the height adjustment mechanism is capable of changing the length of the strut.
  • the angle changing mechanism includes a plurality of lighting devices with different irradiation angles of illumination light, and a mounting portion to which the plurality of lighting devices are selectively mounted.
  • a support for supporting the lighting device is provided, the height adjustment mechanism allows the length of the support to be changed, and the mounting portion is provided on the support.
  • the information processing device of the present disclosure includes a second processor that receives image data transmitted from the imaging device and performs reconstruction processing based on the received image data to generate a reconstructed image.
  • the second processor preferably generates a synthetic image by performing aperture synthesis processing on a plurality of reconstructed images corresponding to a plurality of light sources.
  • an imaging device and an information processing device that are capable of accurately acquiring three-dimensional information of an observation target even when the height is changed.
  • FIG. 3 is a side view of an imaging device on which a culture container is placed;
  • FIG. 3 is a side view of an imaging device on which a culture container is placed;
  • FIG. 4 is a diagram showing how an interference fringe image is generated by irradiating a fertilized egg with illumination light.
  • FIG. 3 is a diagram showing an example of image data generated by an imaging sensor;
  • FIG. 1 is a schematic diagram showing an example of the configuration of a time-lapse imaging system;
  • FIG. It is a block diagram showing an example of an internal configuration of an imaging device and an information processing device. It is a block diagram which shows an example of the functional structure of an information processing apparatus.
  • FIG. 4 is a diagram showing an example of reconstructed positions; 4 is a flow chart showing an example of the overall operation of the time-lapse imaging system; It is a block diagram which shows the structure of the imaging device which concerns on a modification.
  • FIG. 4 is a diagram showing an example of an estimated area in image data;
  • FIG. 10 is a diagram showing an example in which an interference fringe image is included in the estimation area;
  • FIG. 10 is a diagram showing an example in which the estimation area does not include an interference fringe image;
  • It is a schematic diagram which shows the structure of the light emission surface of the light source which concerns on a modification.
  • FIG. 1 shows an imaging device 10 according to the first embodiment.
  • the imaging device 10 has an illumination device 11 , an imaging sensor 12 , a support 13 , a base 14 and a stage 15 .
  • the imaging device 10 performs so-called lens-free imaging, in which an observation target is imaged without using an optical lens.
  • the lighting device 11 is connected to one end of a substantially L-shaped support 13 .
  • the other end of the support 13 is connected to the base 14 .
  • the base 14 has a flat plate shape, and a stage 15 is provided substantially in the center.
  • the stage 15 is provided with a recessed mounting portion 15A on which a culture container 20 for culturing the fertilized egg is mounted.
  • the column 13 supports the illumination device 11 so that the illumination device 11 faces the imaging surface 12A of the imaging sensor 12 .
  • a fertilized egg is an example of an “observation object” according to the technology of the present disclosure.
  • the direction in which the illumination device 11 and the imaging surface 12A face each other will be referred to as the Z direction.
  • a direction orthogonal to the Z direction is called an X direction.
  • a direction orthogonal to the Z direction and the X direction is called the Y direction.
  • the imaging surface 12A is orthogonal to the Z direction and parallel to the X and Y directions.
  • the imaging sensor 12 is composed of, for example, a monochrome CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • a culture container 20 is placed on the imaging surface 12A of the imaging sensor 12 .
  • the culture container 20 is a shallow cylindrical container and is also called a culture dish.
  • the culture container 20 is transparent and allows the illumination light 16 emitted from the illumination device 11 to pass therethrough.
  • the diameter of the culture vessel 20 is about 30 to 60 mm.
  • the thickness of the culture vessel 20 is approximately 10 to 20 mm.
  • a fertilized egg 21 that has undergone in vitro fertilization is seeded in the culture container 20 .
  • In vitro fertilization treatment includes microinsemination treatment performed under a microscope and normal in vitro fertilization treatment in which ovum and sperm are combined in a predetermined container.
  • the method of fertilization of the fertilized egg 21 to be cultured does not matter.
  • the fertilized egg 21 is, for example, a human fertilized egg.
  • the fertilized egg 21 is almost spherical and has a diameter of about 100 to 200 ⁇ m.
  • Each of the fertilized eggs 21 floats in the culture solution 22 dropped into the culture container 20 .
  • the culture medium 22 is covered with oil 23 filled in the culture container 20 .
  • the oil 23 suppresses evaporation and pH change of the culture solution 22 .
  • the fertilized egg 21 in the divided state is also called an embryo.
  • a fertilized egg 21 in the present disclosure includes an embryo.
  • the fertilized egg 21 is imaged by the imaging device 10 while the culture vessel 20 is covered with a translucent lid (not shown).
  • the imaging device 10 is configured such that the height Zi (that is, the length in the Z direction) can be changed.
  • the height Zi of the imaging device 10 can be changed by changing the length of the support 13 .
  • the strut 13 is separated into an upper portion 13A and a lower portion 13B.
  • the lighting device 11 is connected to the upper portion 13A.
  • the lower portion 13B is connected to the base 14.
  • the upper portion 13A and the lower portion 13B are slidably fitted to each other.
  • the upper portion 13A and the lower portion 13B are examples of the "height adjustment mechanism" according to the technology of the present disclosure.
  • the column 13 is provided with fixing screws 13C for fixing to the upper portion 13A and the lower portion 13B.
  • the user adjusts the position of the upper portion 13A with respect to the lower portion 13B, sets the height Zi of the imaging device 10 to a desired value, and operates the fixing screw 13C to fix the upper portion 13A with respect to the lower portion 13B.
  • the upper portion 13A may be configured to slide relative to the lower portion 13B by a drive mechanism (not shown). In this case, it is preferable to configure the upper portion 13A to move by operating a switch (not shown).
  • adjusting the height Zi of the imaging device 10 corresponds to adjusting the height of the illumination device 11 with respect to the imaging sensor 12 . Therefore, the upper portion 13A and the lower portion 13B are an example of a "height adjustment mechanism that enables adjustment of the height of the illumination device with respect to the imaging sensor" according to the technology of the present disclosure. Note that the height adjustment mechanism is not limited to the configuration described above, and can be changed as appropriate.
  • the illumination device 11 includes a base 17 and three light sources 18A, 18B and 18C.
  • the base 17 is connected to the strut 13 .
  • Light sources 18A, 18B, and 18C are provided on the surface of base 17 facing stage 15 .
  • the light sources 18A, 18B, and 18C are each composed of, for example, a laser diode, and emit illumination light 16 (see FIG. 1) toward the stage 15.
  • Each of the light sources 18A, 18B, 18C may be configured by combining a light emitting diode and a pinhole.
  • the illumination light 16 is coherent light.
  • the wavelength of the illumination light 16 is 640 nm, 780 nm, or the like.
  • the illumination light 16 is radiant light. 2 and 3 show the central axis 16A of the illumination light 16. As shown in FIG.
  • the light sources 18A, 18B, and 18C have different irradiation angles of the illumination light 16 with respect to the imaging surface 12A of the imaging sensor 12.
  • the light source 18A is mounted at a position facing the center of the imaging surface 12A of the base 17, and emits illumination light 16 in a direction substantially perpendicular to the imaging surface 12A.
  • the light source 18B is mounted at a position shifted in the +Y direction from the mounting position of the light source 18A on the base 17, and emits the illumination light 16 obliquely to the imaging surface 12A.
  • the light source 18C is mounted at a position shifted in the -Y direction from the mounting position of the light source 18A on the base 17, and emits the illumination light 16 obliquely to the imaging surface 12A.
  • the light sources 18B and 18C are arranged at symmetrical positions in the Y direction with respect to the light source 18A. Further, the light source 18B and the light source 18C are arranged on an inclined surface formed on the base 17, respectively.
  • the light source 18B and the light source 18C are provided with an angle changing mechanism 19 for changing the irradiation angle of the illumination light 16 with respect to the imaging surface 12A of the imaging sensor 12 .
  • the angle changing mechanism 19 rotates the light source 18B and the light source 18C with respect to the base 17 around a rotation axis parallel to the X direction. That is, the angle changing mechanism 19 rotates the central axis 16A of the illumination light 16 about the rotation axis parallel to the X direction.
  • the angle changing mechanism 19 is configured to rotate the light source 18B and the light source 18C in conjunction with the change of the height Zi of the imaging device 10 .
  • the angle changing mechanism 19 is a mechanical rotating mechanism, and rotates in conjunction with sliding the upper portion 13A with respect to the lower portion 13B.
  • the symbol K indicates an intersection point where the central axes 16A of the plurality of illumination lights 16 emitted from the light sources 18A, 18B, and 18C intersect.
  • the fertilized egg 21 is preferably arranged at the intersection point K in order to accurately acquire the three-dimensional information of the fertilized egg 21, which is the object to be observed.
  • the imaging sensor 12 detects the illumination light 16 emitted from each of the light sources 18A, 18B, and 18C and transmitted through the culture container 20. Specifically, the illumination light 16 is incident on the culture container 20 and diffracted by the fertilized egg 21 , thereby producing an interference fringe image reflecting the shape and internal structure of the fertilized egg 21 . An interference fringe image is also called a hologram image. The imaging sensor 12 captures an interference fringe image generated by the fertilized egg 21 .
  • FIG. 2 shows a state in which the height Zi of the imaging device 10 is minimized.
  • a fertilized egg 21 which is an object to be observed, is positioned at the intersection point K of the central axis 16A.
  • FIG. 3 shows a state in which the height Zi of the imaging device 10 is changed to be higher than the height Zi shown in FIG.
  • the light source 18B and the light source 18C are rotated by the angle changing mechanism 19, and the direction of the central axis 16A of the illumination light 16 is changed.
  • the angle changing mechanism 19 is configured so that the position of the intersection point K does not change even if the height Zi is changed.
  • the light source 18B, the light source 18C, and the central axis 16A before rotation are indicated by two-dot chain lines.
  • the positions of the intersection point K and the fertilized egg 21, which is the object to be observed are shifted.
  • the position of the intersection point K is maintained at the position of the fertilized egg 21 by rotating the light source 18B and the light source 18C.
  • FIG. 4 shows an example of the configuration of the imaging sensor 12.
  • the imaging sensor 12 has a plurality of pixels 12B arranged on an imaging surface 12A.
  • the pixel 12B is a photoelectric conversion element that outputs a pixel signal corresponding to the amount of incident light by photoelectrically converting incident light.
  • the pixels 12B are arranged at equal pitches along the X and Y directions.
  • the arrangement of the pixels 12B is a so-called square arrangement.
  • the X direction is a direction orthogonal to the Z direction.
  • the Y direction is a direction orthogonal to the X and Z directions.
  • the pixels 12B are arranged at a first arrangement pitch ⁇ x in the X direction and arranged at a second arrangement pitch ⁇ y in the Y direction.
  • the imaging sensor 12 captures light incident on the imaging surface 12A, and outputs image data DT composed of pixel signals output from each of the pixels 12B.
  • FIG. 5 shows how an interference fringe image is generated by irradiating the fertilized egg 21 with the illumination light 16 .
  • a part of the illumination light 16 incident on the culture container 20 is diffracted by the fertilized egg 21 . That is, the illumination light 16 is divided into diffracted light 30 diffracted by the fertilized egg 21 and transmitted light 31 not diffracted by the fertilized egg 21 but transmitted through the incubation container 20 .
  • the transmitted light 31 is a spherical wave or a plane wave.
  • the diffracted light 30 and the transmitted light 31 pass through the bottom surface of the culture container 20 and enter the imaging surface 12A of the imaging sensor 12 .
  • the diffracted light 30 and the transmitted light 31 interfere with each other to generate an interference fringe image 33 .
  • the interference fringe image 33 is composed of bright portions 36 and dark portions 38 .
  • the interference fringe image 33 is illustrated with circular bright portions 36 and dark portions 38 , but the shape of the interference fringe image 33 changes according to the shape and internal structure of the fertilized egg 21 .
  • the imaging sensor 12 captures an optical image including the interference fringe image 33 formed on the imaging surface 12A and outputs image data DT including the interference fringe image 33 .
  • the imaging sensor 12 captures a light image including the interference fringe image 33 and outputs image data DT each time the fertilized egg 21 is irradiated with the illumination light 16 from each of the light sources 18A, 18B, and 18C.
  • FIG. 6 shows an example of image data DT generated by the imaging sensor 12.
  • FIG. FIG. 6A shows image data DT generated by the imaging sensor 12 when the illumination light 16 is emitted from the light source 18A.
  • FIG. 6B shows image data DT generated by the imaging sensor 12 when the illumination light 16 is emitted from the light source 18B.
  • FIG. 6C shows image data DT generated by the imaging sensor 12 when the illumination light 16 is emitted from the light source 18C.
  • the position of the interference fringe image 33 appearing in the image data DT differs according to the irradiation angle of the illumination light 16.
  • the interference fringe image 33 is positioned at the center in the Y direction as shown in FIG. 6(A).
  • the interference fringe image 33 moves to a position shifted by ⁇ in the -Y direction from the center, as shown in FIG. 6B.
  • the interference fringe image 33 shifts from the center by ⁇ in the +Y direction, as shown in FIG. 6C.
  • the amount of deviation ⁇ depends on the height from the imaging surface 12A to the fertilized egg 21 and the incident angle of the illumination light 16 from the light sources 18B and 18C to the fertilized egg 21 .
  • FIG. 7 shows an example of the configuration of a time-lapse imaging system.
  • the time-lapse imaging system 2 includes an imaging device 10, an incubator 40, and an information processing device 50.
  • the incubator 40 is a multi-room incubator for fertilized eggs and is also called an embryo culture device.
  • the fertilized egg 21 is cultured within the incubator 40 for a predetermined period (for example, seven days).
  • the incubator 40 has a plurality of culture chambers 41, unlike a general incubator for culturing cells other than fertilized eggs. This is because the imaging device 10 is accommodated in each of the culture chambers 41 so that the fertilized egg 21 is managed individually so as not to be mistaken for someone else's fertilized egg 21 .
  • the incubation room 41 is also referred to as an incubation chamber.
  • the incubator 40 shown in FIG. 7 is provided with two culture chambers 41, the number of culture chambers 41 is not limited to this, and can be changed as appropriate.
  • Each of the culture chambers 41 is provided with an openable lid 42 .
  • the incubator 40 is provided with a switch 43 for opening and closing the lid 42 for each culture chamber 41 .
  • the lid 42 is opened and closed by a driving mechanism (not shown).
  • the lid 42 may be configured to be manually opened and closed.
  • the incubation chamber 41 is kept airtight when the lid 42 is closed.
  • a mixed gas obtained by mixing carbon dioxide (CO 2 ) gas and nitrogen (N 2 ) gas with outside air (air) from an external gas cylinder (not shown) is passed through a HEPA filter (High Efficiency Particulate Air Filter). supplied via Heaters (not shown) are provided on the side and bottom surfaces of the culture chamber 41 .
  • the incubation chamber 41 is controlled so that the concentration, temperature, and humidity of the mixed gas are kept constant, thereby maintaining a constant culture environment.
  • the imaging device 10 has a size that allows it to be taken in and out of the culture room 41 . As shown in FIG. 7, one imaging device 10 is inserted into one incubation chamber 41 . That is, the lid 42 can be closed while the imaging device 10 with the culture container 20 placed thereon is inserted into the culture chamber 41 . As a result, while culturing the fertilized egg 21 in the culture chamber 41 , the image of the fertilized egg 21 can be captured by the imaging device 10 without removing the culture container 20 from the culture chamber 41 .
  • the culture chamber 41 is a substantially rectangular parallelepiped space.
  • Xc be the length of the incubation chamber 41 in the X direction
  • Yc be the length in the Y direction
  • Zc be the length in the Z direction.
  • the length Zc is hereinafter also referred to as the height of the culture chamber 41 . Since the height of the culture container 20 used for culturing the fertilized egg 21 is usually about 10 to 20 mm, the height Zc of the culture chamber 41 is the same as that of a general incubator for culturing cells other than fertilized eggs. It is lower than the height of the chamber, for example less than 10 cm.
  • the imaging device 10 is inserted into the incubation chamber 41 after being adjusted so that the height Zi satisfies the relationship Zi ⁇ Zc.
  • the information processing device 50 is, for example, a desktop personal computer.
  • a display 51 , a keyboard 52 , a mouse 53 and the like are connected to the information processing device 50 .
  • the keyboard 52 and mouse 53 constitute an input device 54 for the user to enter information.
  • the input device 54 also includes a touch panel and the like.
  • the information processing device 50 exchanges data with the imaging devices 10 accommodated in each incubation room 41 by wireless communication.
  • the imaging device 10 performs imaging periodically (for example, every 5 to 15 minutes).
  • the information processing device 50 periodically receives image data including the interference fringe image 33 (see FIG. 5) from the imaging device 10, performs reconstruction processing based on the received image data, and reproduces the reconstruction generated by the reconstruction processing. View the composition image.
  • a reconstructed image is also called a tomographic image.
  • FIG. 8 shows an example of internal configurations of the imaging device 10 and the information processing device 50 .
  • the imaging device 10 includes a processor 60, a storage device 61, a communication unit 62, a power supply unit 63, and a battery 64, in addition to the lighting device 11 and the imaging sensor 12. These include a bus line 65. interconnected via The processor 60 is an example of a "first processor" according to the technology of the present disclosure.
  • the processor 60 is, for example, an FPGA (Field Programmable Gate Array), and controls the operation of each unit in the imaging device 10.
  • the storage device 61 is RAM (Random Access Memory), flash memory, or the like. The storage device 61 stores image data generated by the imaging device 10 and various data.
  • the communication unit 62 performs wireless communication with the information processing device 50 .
  • Processor 60 transmits image data to information processing device 50 via communication unit 62 .
  • the battery 64 is a secondary battery such as a lithium polymer battery.
  • the power supply unit 63 includes a power supply circuit and a charging control circuit.
  • the power supply unit 63 supplies power supplied from the battery 64 to the processor 60 and the like. Further, the power supply unit 63 controls charging of the battery 64 with electric power supplied from the outside. Note that the power supply unit 63 may be configured to wirelessly charge the battery 64 .
  • the information processing device 50 includes a processor 55 , a storage device 56 and a communication section 57 , which are interconnected via a bus line 58 . Also, the display 51 and the input device 54 are connected to the bus line 58 .
  • the processor 55 is composed of, for example, a CPU (Central Processing Unit), and implements various functions by reading the operating program 56A and various data stored in the storage device 56 and executing the processes.
  • a CPU Central Processing Unit
  • the storage device 56 includes, for example, RAM, ROM (Read Only Memory), or a storage device.
  • RAM is, for example, a volatile memory used as a work area or the like.
  • the ROM is a nonvolatile memory such as a flash memory that holds the operating program 56A and various data, for example.
  • the storage device is, for example, a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the storage stores an OS (Operating System), application programs, image data, various data, and the like.
  • the communication unit 57 performs wireless communication with the communication unit 62 of the imaging device 10 .
  • the processor 55 receives image data transmitted from the imaging device 10 via the communication section 57 .
  • the processor 55 also transmits a control signal for controlling imaging to the imaging device 10 via the communication unit 57 .
  • the display 51 displays various screens.
  • the information processing apparatus 50 receives input of operation instructions from the input device 54 through various screens.
  • FIG. 9 shows an example of the functional configuration of the information processing device 50.
  • the functions of information processing device 50 are realized by processor 55 executing processing based on operation program 56A.
  • the processor 55 includes an imaging control section 70 , an image data acquisition section 71 , a reconstruction processing section 72 , an aperture synthesis processing section 73 , and a display control section 74 .
  • the imaging control unit 70 controls the operation of the imaging device 10 . Specifically, the imaging control unit 70 controls the operation of generating the illumination light 16 by the illumination device 11 and the imaging operation of the imaging sensor 12 by transmitting a control signal to the imaging device 10 . More specifically, the imaging control unit 70 sequentially emits the illumination light 16 from the light sources 18A, 18B, and 18C included in the illumination device 11, and causes the imaging sensor 12 to perform an imaging operation each time the illumination light 16 is emitted. let it happen
  • the imaging control unit 70 causes the imaging device 10 to start imaging operation based on the operation signal input from the input device 54 .
  • the image data acquisition unit 71 acquires three generated image data DT transmitted from the imaging device 10 after the imaging device 10 has captured the image of the fertilized egg 21 in the culture container 20 .
  • the three image data DT correspond to the light sources 18A, 18B, and 18C, and the irradiation angles of the illumination light 16 with respect to the imaging surface 12A of the imaging sensor 12 are different.
  • the image data acquisition unit 71 supplies the three image data DT acquired from the imaging device 10 to the reconstruction processing unit 72 .
  • the reconstruction processing unit 72 generates three reconstructed images RP by performing calculations based on each of the three image data DT supplied from the image data acquisition unit 71 .
  • the reconstruction processing unit 72 generates a reconstructed image RP for a predetermined reconstruction position P, which is the height at which the fertilized egg 21 exists.
  • the reconstruction position P is a position (so-called depth position) represented by a distance d from the imaging surface 12A of the imaging sensor 12 in the direction of the illumination device 11 .
  • the reconstruction position P may be set or changed by the user operating the input device 54 .
  • the reconstruction processing unit 72 performs reconstruction processing based on, for example, the Fresnel transform equations represented by the following equations (1) to (3).
  • I(x, y) represents image data.
  • x represents the coordinate in the X direction of the pixel 12B (see FIG. 4) of the image sensor 12;
  • y represents the coordinate of the pixel 12B in the Y direction.
  • ⁇ x is the aforementioned first array pitch
  • ⁇ y is the aforementioned second array pitch (see FIG. 4).
  • ⁇ is the wavelength of the illumination light 16 .
  • ⁇ (m,n) is a complex amplitude image obtained by Fresnel transforming the interference fringe image included in the image data.
  • Nx represents the number of pixels in the X direction of the image data.
  • Ny represents the number of pixels in the Y direction of the image data.
  • a 0 (m,n) is an intensity distribution image representing intensity components of the complex amplitude image ⁇ (m,n).
  • ⁇ 0 (m,n) is a phase distribution image representing the phase component of the complex amplitude image ⁇ (m,n).
  • the reconstruction processing unit 72 obtains a complex amplitude image ⁇ (m,n) based on equation (1), and applies the obtained complex amplitude image ⁇ (m,n) to equation (2) or equation (3). By doing so, an intensity distribution image A 0 (m, n) or a phase distribution image ⁇ 0 (m, n) is obtained.
  • the reconstruction processing unit 72 obtains one of the intensity distribution image A 0 (m, n) and the phase distribution image ⁇ 0 (m, n), and outputs it as a reconstructed image RP.
  • the reconstruction processing unit 72 outputs the phase distribution image ⁇ 0 (m, n) as the reconstructed image RP.
  • the phase distribution image ⁇ 0 (m, n) is an image representing the refractive index distribution of the observed object. Since the fertilized egg 21, which is the object to be observed in this embodiment, is translucent, most of the illumination light 16 is transmitted or diffracted without being absorbed by the fertilized egg 21, so the intensity distribution is hardly any image appears in Therefore, in this embodiment, it is preferable to use the phase distribution image ⁇ 0 (m,n) as the reconstructed image RP.
  • the reconstruction processing unit 72 is not limited to the method using the Fresnel transform formula, and may perform the reconstruction processing using the Fourier iterative phase retrieval method or the like.
  • the reconstruction processing unit 72 generates three reconstructed images RP by performing the above reconstruction processing on each of the three image data DT supplied from the image data acquisition unit 71 .
  • the reconstruction processing unit 72 supplies the generated three reconstruction images RP to the aperture synthesis processing unit 73 .
  • the three reconstructed images RP correspond to the light sources 18A, 18B, and 18C, and the irradiation angles of the illumination light 16 with respect to the imaging surface 12A of the imaging sensor 12 are different.
  • the aperture synthesis processing unit 73 generates a synthetic image SP by performing aperture synthesis processing on the three reconstructed images RP supplied from the reconstruction processing unit 72 . Specifically, the aperture synthesis processing unit 73 Fourier-transforms each of the three reconstructed images RP, synthesizes them in the frequency space, and inverse Fourier-transforms the synthesized frequency data to generate a synthesized image SP. Since the three reconstructed images RP are images with different irradiation angles of the illumination light 16 with respect to the observed object, by synthesizing these in the frequency space, high-frequency components of the observed object are incorporated, resulting in high spatial resolution. A high-quality synthetic image SP can be obtained.
  • the synthesized image SP is an image including depth information (that is, three-dimensional information) of the fertilized egg 21 .
  • the aperture synthesis process improves the acquisition accuracy of the three-dimensional information of the fertilized egg 21 when imaging using a plurality of lights that pass through the same point or the same area of the fertilized egg 21, resulting in a high-quality synthetic image SP. is obtained. That is, when the intersection point K described above is positioned inside the fertilized egg 21, a high-quality composite image SP is obtained.
  • the display control unit 74 causes the display 51 to display the synthetic image SP generated by the aperture synthesis processing unit 73 .
  • the display control unit 74 causes the display 51 to display the synthesized image SP corresponding to one reconstruction position P, but displays a plurality of synthesized images SP corresponding to a plurality of reconstruction positions P on the display 51. You may let
  • step S10 the user adjusts the height Zi of the imaging device 10 according to the height Zc of the incubation chamber 41 of the incubator 40 (step S10).
  • step S10 the light source 18B and the light source 18C rotate in conjunction with the user changing the height Zi of the imaging device 10.
  • the user places the culture container 20 on the stage 15 of the imaging device 10 and inserts the imaging device 10 into the culture chamber 41 of the incubator 40 (step S11).
  • the imaging device 10 may be inserted into at least one culture chamber 41 among the plurality of culture chambers 41 .
  • the user closes the lid 42 of the culture chamber 41 and causes the incubator 40 to start culturing (step S12).
  • the imaging device 10 images the fertilized egg 21 in the incubation container 20 under the control of the information processing device 50 (step S13).
  • the imaging device 10 wirelessly transmits the three image data DT generated by performing the imaging operation to the information processing device 50 (step S14).
  • the information processing device 50 receives the three image data DT transmitted from the imaging device 10 (step S15).
  • the reconstruction processing unit 72 of the information processing device 50 generates three reconstructed images RP corresponding to at least one reconstruction position P by performing reconstruction processing on each of the three image data DT (step S16).
  • the aperture synthesis processing unit 73 generates a synthesized image SP by performing aperture synthesis processing based on the three reconstructed images RP generated by the reconstruction processing unit 72 (step S17).
  • the display control unit 74 causes the display 51 to display the synthesized image SP generated by the aperture synthesis processing unit 73 (step S18).
  • the information processing device 50 determines whether or not the culture by the incubator 40 has ended (step S19). Cultivation is performed, for example, for a maximum of 7 days from the start of culturing. The information processing device 50 determines whether or not culturing has ended, for example, based on the elapsed time from the start of culturing. When the information processing device 50 determines that the culture has not ended (step S19: NO), it determines whether or not a certain period of time (for example, 10 minutes) has passed since the previous imaging (step S20). .
  • a certain period of time for example, 10 minutes
  • step S20 determines that a certain period of time has elapsed since the previous imaging (step S20: YES).
  • step S19 After the information processing device 50 determines that the culture by the incubator 40 is completed (step S19: YES), the user takes out the imaging device 10 from the culture room 41 of the incubator 40 (step S21).
  • the imaging device 10 captures an interference fringe image by lens-free imaging that does not use an optical lens, so the device size is small. Therefore, the imaging device 10 can be put into and taken out of the culture chamber 41 of the small-sized incubator 40 for fertilized eggs.
  • the fertilized egg incubator 40 is inexpensive because it does not include an optical camera or the like.
  • the position of the intersection point K is maintained at the position of the fertilized egg 21 by rotating the light sources 18B and 18C in accordance with the change in the height Zi.
  • a high-quality composite image SP can be obtained without causing the above-described positional deviation. Therefore, according to the technique of the present disclosure, it is possible to accurately acquire three-dimensional information of an observation target even when the height Zi of the imaging device 10 is changed.
  • the angle changing mechanism 19 in the above embodiment may be an automatic control mechanism that automatically rotates the light source 18B and the light source 18C to an angle determined according to the height Zi of the imaging device 10 by electrical control. Also, the angle of the light source 18B and the light source 18C may be configured to be manually changeable by the user.
  • the angle changing mechanism 19 that rotates the light source 18B and the light source 18C is configured by a mechanical rotating mechanism that is driven in conjunction with changing the height Zi of the imaging device 10. It may be configured by an actuator that is electrically driven to rotate.
  • the imaging device 10 is provided with a height detection section 80 .
  • the height detection unit 80 is, for example, an encoder provided on the column 13 and detects the height Zi of the imaging device 10 .
  • the processor 60 controls the angle changing mechanism 19 composed of actuators to maintain the position of the intersection point K at the position of the fertilized egg 21.
  • light source 18B and light source 18C are rotated so that the position of intersection point K does not change.
  • the processor 60 determines a region (hereinafter referred to as an estimated region R) in which the fertilized egg 21, which is an object to be observed, is estimated to exist from a geometrical relationship in the three image data DT acquired by the imaging sensor 12.
  • the positional relationship with the interference fringe image 33 may be determined, and the angle changing mechanism 19 may be controlled according to the determination result.
  • the processor 60 controls the angle changing mechanism 19 to rotate the light source 18B and/or the light source 18C so that the estimation area R includes the interference fringe image 33 .
  • FIG. 13 shows an example of the estimated region R when the intersection point K described above exists at the position of the fertilized egg 21 .
  • the estimated area R1 is an estimated area R within the image data DT obtained when the illumination light 16 is emitted from the light source 18A.
  • the estimated area R2 is an estimated area R within the image data DT obtained when the illumination light 16 is emitted from the light source 18B.
  • the estimated area R3 is an estimated area R within the image data DT acquired when the illumination light 16 is emitted from the light source 18C.
  • the inclusion of the interference fringe image 33 in each of the estimated regions R1, R2, and R3 corresponds to the presence of the intersection point K at the position of the fertilized egg 21. Therefore, the light source 18B and the light source Adjustment of the rotation angle of 18C is unnecessary.
  • the fact that the estimation regions R2 and R3 do not include the interference fringe image 33 corresponds to the fact that the intersection point K does not exist at the position of the fertilized egg 21, so the rotation of the light sources 18B and 18C Need to adjust the angle. Note that the fact that the estimation region R does not include the interference fringe image 33 also means that the estimation region R does not include a part of the interference fringe image 33 .
  • the processor 60 controls the angle changing mechanism 19 so that the estimation regions R2 and R3 do not include the interference fringe images 33.
  • the rotation angles of the light source 18B and the light source 18C are adjusted so that the
  • the angle changing mechanism 19 rotates the light source 18B and the light source 18C to change the irradiation angle of the illumination light 16 with respect to the fertilized egg 21, which is the object to be observed.
  • the irradiation angle may be changed by changing the angle of the base 17 that supports the light source 18C.
  • the angle changing mechanism 19 may change the irradiation angle by rotating an optical element such as a mirror or lens provided on the optical path of the illumination light 16 emitted from the light sources 18B and 18C.
  • the light sources 18A, 18B, and 18C are arranged along the Y direction, but the arrangement direction is not limited to this, and they may be arranged along the X direction.
  • the illumination device 11 has three light sources 18A, 18B, and 18C, but the number of light sources included in the illumination device 11 is not limited to three, and may be two or more.
  • the lighting device according to the technology of the present disclosure may have a plurality of light sources that irradiate an observation target with illumination light at different irradiation angles. The angle changing mechanism should just change the irradiation angle of the illumination light for at least one of the plurality of light sources.
  • each light source of the illumination device 11 may be a laser light source in which a plurality of light emitting points (for example, 36 light emitting points) are arranged in a two-dimensional array.
  • a vertical cavity surface emitting laser (Vertical Cavity Surface Emitting Laser) can be used.
  • a high-resolution interference fringe image is obtained by synthesizing a plurality of image data obtained by the image sensor 12 performing an imaging operation while sequentially emitting light from a plurality of light-emitting points included in one light source.
  • One image data DT including an interference fringe image is obtained.
  • FIG. 16 illustrates the configuration of the light emitting surface 90A of the light source 90 having multiple light emitting points 90B.
  • the light emitting surface 90A is arranged at a position facing the imaging sensor 12 .
  • a plurality of light emitting points 90B are arranged in a two-dimensional array on the light emitting surface 90A.
  • the arrangement pitch of the light emitting points 90B is about 10 ⁇ m to 100 ⁇ m.
  • Each of the light emitting points 90B is selected in turn to emit the illumination light 16.
  • the light emission time interval of the plurality of light emission points 90B is several milliseconds.
  • the arrangement pitch of the light emitting points 90B only needs to be different from the arrangement pitch of the pixels 12B, and does not necessarily have to be smaller than the arrangement pitch of the pixels 12B. For example, even if the light emitting point 90B is located directly above the adjacent pixel 12B, the array pitch of the light emitting point 90B does not have to match the array pitch of the pixels 12B. In this case, since the illumination light 16 is illuminated at different positions on the pixels 12B, when combining a plurality of image data, different pixels 12B that are directly below the respective light emitting points 90B and are illuminated with the illumination light 16 can be selected. It is possible to generate one piece of image data DT including a super-resolution interference fringe image by regarding them as the same pixels and aligning them with an accuracy of one pixel or less.
  • the light emitting points 90B are arranged in a 6 ⁇ 6 square, and 36 light emitting points 90B are provided on the light emitting surface 90A. Not limited to array patterns. As the number of light emitting points 90B increases, the resolution of the interference fringe image can be increased, but the computation time for the synthesis processing and reconstruction processing increases. Therefore, it is preferable to optimize the number of light emitting points 90B according to the required image quality and calculation time.
  • a synthesized image SP including three-dimensional information of the fertilized egg 21 is generated.
  • the plurality of reconstructed images RP generated by the reconstruction processing unit 72 are images in which the irradiation angles of the illumination light 16 with respect to the fertilized egg 21 are different, the filtered back projection method or the like used in radiation tomosynthesis imaging or the like is used.
  • An image including three-dimensional information may be acquired by performing arithmetic processing.
  • the imaging device according to the second embodiment is configured such that a plurality of lighting devices with different irradiation angles of illumination light (that is, different distances from the light source to the intersection point K) are detachably attached to the column 13 .
  • FIG. 17 shows the configuration of an imaging device 10A according to the second embodiment.
  • the support 13 is configured so that the first lighting device 11A and the second lighting device 11B can be selectively attached.
  • an end portion of the upper portion 13A is provided with a mounting portion 13D to which the first lighting device 11A and the second lighting device 11B are selectively mounted.
  • the first lighting device 11A and the second lighting device 11B are each composed of a base 17 and three light sources 18A, 18B, and 18C.
  • the light source 18C is fixed to the base 17 and is not rotatable.
  • the angle changing mechanism is composed of the first lighting device 11A, the second lighting device 11B, and the mounting portion 13D.
  • the mounting angles of the light sources 18B and 18C with respect to the base 17 are different between the first lighting device 11A and the second lighting device 11B.
  • the irradiation angle of the illumination light 16 by the light source 18B and the light source 18C (that is, the angle of the central axis 16A) differs between the first lighting device 11A and the second lighting device 11B.
  • the first lighting device 11A has a shorter distance from the light sources 18A, 18B, and 18C to the intersection point K than the second lighting device 11B.
  • the first lighting device 11A is suitable when the height Zi of the imaging device 10A is small.
  • the second lighting device 11B is suitable when the height Zi of the imaging device 10A is high.
  • the height Zi of the imaging device 10A can be changed to two levels of "L” and "H".
  • the user attaches either the first lighting device 11A or the second lighting device 11B to the post 13 according to the height Zi. , and the intersection point K can be matched with the position of the fertilized egg 21, which is the object to be observed. As a result, it is possible to acquire three-dimensional information of the observed object with high accuracy.
  • two lighting devices with different irradiation angles of the illumination light 16 can be selectively attached to the column 13, but three or more lighting devices with different irradiation angles of the illumination light 16 can be attached. It may be selectively attachable to the strut 13 .
  • the height Zi of the imaging device 10A can be changed in three or more steps according to the irradiation angle of each lighting device.
  • a variable height Zi of the imaging device 10A is determined in advance, and an illumination device that emits the illumination light 16 at an irradiation angle suitable for each height Zi may be provided.
  • the irradiation angle is changed by changing the illumination device attached to the post 13, but the light source in the illumination device, the base of the light source, and the illumination light are arranged on the optical path of the illumination light.
  • the irradiation angle may be changed by changing mirrors, lenses, or the like.
  • the observed object is the fertilized egg, but the observed object is not limited to the fertilized egg.
  • the object to be observed may be floating cells other than fertilized eggs. Suspended cells are cells that float in a culture medium. Floating cells include, in addition to fertilized eggs, CHO (Chinese Hamster Ovary) cells used for antibody production.
  • the hardware configuration of the computer that constitutes the information processing device 50 can be configured with a plurality of computers separated as hardware for the purpose of improving processing capability and reliability.
  • the hardware configuration of the computer of the information processing device 50 can be appropriately changed according to required performance such as processing power, safety, and reliability.
  • application programs such as the operating program 56A can be duplicated or distributed and stored in multiple storage devices for the purpose of ensuring safety and reliability. .
  • the hardware structure of the processing unit (processing unit) that executes various processes such as the image data acquisition unit 71, the reconstruction processing unit 72, the aperture synthesis processing unit 73, and the display control unit 74 is shown below.
  • Various processors can be used.
  • the various processors include, as described above, a CPU, which is a general-purpose processor that executes software (operation program 56A) and functions as various processing units, as well as FPGAs and the like whose circuit configuration can be changed after manufacture.
  • Programmable Logic Device which is a processor, ASIC (Application Specific Integrated Circuit), etc. Includes a dedicated electric circuit, which is a processor with a circuit configuration specially designed to execute specific processing. .
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of a plurality of FPGAs and/or a CPU and combination with FPGA). Also, a plurality of processing units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including multiple processing units with a single IC (Integrated Circuit) chip. be.
  • the various processing units are configured using one or more of the above various processors as a hardware structure.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Biotechnology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Multimedia (AREA)
  • Medicinal Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

撮像装置は、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を有する照明装置と、照明光が照射された観察対象物により生成される干渉縞像を撮像して画像データを生成する撮像センサと、撮像センサに対する照明装置の高さを調整可能とする高さ調整機構と、複数の光源から出射される照明光の中心軸の交点が観察対象物に位置するように、高さに応じて照明光の照射角度を変更する角度変更機構と、を備える。

Description

撮像装置及び情報処理装置
　本開示の技術は、撮像装置及び情報処理装置に関する。
　近年、不妊治療の需要が高まっている。体外受精の処置がなされた受精卵の培養には、受精卵用のインキュベータが用いられている。インキュベータで培養された受精卵（胚）は、胚移植又は凍結される。なお、胚とは、分裂状態にある受精卵を指す。
　従来、培養中の受精卵を観察するには、インキュベータから受精卵が入った培養ディッシュ（トレイともいう。）を取り出した後、顕微鏡で観察する必要があった。インキュベータから培養ディッシュを取り出すと、温度変化などにより受精卵にストレスが加わることが問題となっていた。
　そこで、特開２０１８－０９３７９５号公報において、培養ディッシュを取り出さずに培養中の受精卵を観察することを可能とするインキュベータが提案されている。特開２０１８－０９３７９５号公報に記載のインキュベータは、複数の培養ディッシュを培養環境に保持する培養部と、培養部に保持された培養ディッシュに対応して設けられた撮像部とを含む。特開２０１８－０９３７９５号公報に記載のように、受精卵を培養ディッシュで培養しながら、培養ディッシュを培養部から取り出さずに受精卵を観察することを可能とするインキュベータは、タイムラプスインキュベータと呼ばれている。
　また、特開２０１８－０９３７９５号公報に記載の撮像部は、レンズを有する光学カメラであるので、レンズを光軸に沿って移動させることにより焦点調節が行われている。人の卵子は、ほぼ球状であって、直径は１００～１５０μｍ程度である。卵子の受精を判断する際に手がかりとなる前核等の存在位置が卵子のいずれの位置に存在するかは分からない。このため、特開２０１８－０９３７９５号公報に記載の撮像部は、焦点位置が異なる画像を複数撮像している。
　特開２０１８－０９３７９５号公報に記載の装置のように、従来、細胞等の観察には位相差顕微鏡等の顕微鏡が用いられていたが、観察対象物の撮像時に焦点合わせを行う必要があった。このため、近年は、観察対象物の撮像時に焦点合わせが不要なレンズフリーのデジタルホログラフィが用いられつつある（例えば、特表２０１２－５３１５８４号公報参照）。
　デジタルホログラフィでは、レーザ光等のコヒーレントな光を観察対象物に照射することにより生じる干渉縞像を撮像し、撮像により得られた干渉縞像を再構成することにより、任意の焦点位置における再構成画像（いわゆる断層画像）を生成することができる。
　受精卵用のインキュベータは小型であるため、撮像装置をインキュベータの培養室に収容するためには装置サイズを小さくする必要がある。そこで、本出願人は、特願２０２１－０３１２１０号において、光源及び撮像センサを備え、培養容器内に播種された受精卵を撮像することにより干渉縞像を含む画像データを生成する撮像装置であって、インキュベータに設けられた培養室に出し入れ可能である撮像装置を提案している。また、本出願人は、撮像装置の高さを調整可能とする高さ調整機構を設けることを提案している。
　また、受精卵等の観察対象物の３次元情報を取得するために、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を撮像装置に設けることが考えられる。しかしながら、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を備えた撮像装置において高さを変更可能すると、複数の光源から観察対象物までの距離が変化することにより、３次元情報を正確に取得できないことがある。
　本開示の技術は、高さが変更された場合であっても精度よく観察対象物の３次元情報を取得することを可能とする撮像装置、及び情報処理装置を提供することを目的とする。
　上記目的を達成するために、本開示の撮像装置は、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を有する照明装置と、照明光が照射された観察対象物により生成される干渉縞像を撮像して画像データを生成する撮像センサと、撮像センサに対する照明装置の高さを調整可能とする高さ調整機構と、複数の光源から出射される照明光の中心軸の交点が観察対象物に位置するように、高さに応じて照明光の照射角度を変更する角度変更機構と、を備える。
　角度変更機構は、複数の光源のうち少なくとも１つを回転させることにより照明光の照射角度を変更することが好ましい。
　角度変更機構は、高さ調整機構による高さの変更に連動して照明光の照射角度を変更することが好ましい。
　角度変更機構を制御して照射角度を変更させる第１プロセッサを備え、第１プロセッサは、画像データにおいて観察対象物が存在すると推定される推定領域と干渉縞像との位置関係に基づいて角度変更機構を制御することにより、照射角度を調整することが好ましい。
　照明装置を支持する支柱を備え、高さ調整機構は、支柱の長さを変更可能とすることが好ましい。
　角度変更機構は、照明光の照射角度が異なる複数の照明装置と、複数の照明装置が選択的に取り付けられる取り付け部とにより構成されていることが好ましい。
　照明装置を支持する支柱を備え、高さ調整機構は、支柱の長さを変更可能とし、取り付け部は、支柱に設けられていることが好ましい。
　画像データを、無線送信する通信部を備えることが好ましい。
　本開示の情報処理装置は、上記撮像装置から送信された画像データを受信し、受信した画像データに基づいて再構成処理を行うことにより再構成画像を生成する第２プロセッサを備える。
　第２プロセッサは、複数の光源に対応する複数の再構成画像に対して開口合成処理を施すことにより合成画像を生成することが好ましい。
　本開示の技術によれば、高さが変更された場合であっても精度よく観察対象物の３次元情報を取得することを可能とする撮像装置、及び情報処理装置を提供することができる。
撮像装置の一例を示す斜視図である。 培養容器が載置された撮像装置の側面図である。 培養容器が載置された撮像装置の側面図である。 撮像センサの構成の一例を示す図である。 受精卵に照明光を照射することにより干渉縞像が生成される様子を示す図である。 撮像センサにより生成される画像データの一例を示す図である。 タイムラプスイメージングシステムの構成の一例を示す模式図である。 撮像装置及び情報処理装置の内部構成の一例を示すブロック図である。 情報処理装置の機能構成の一例を示すブロック図である。 再構成位置の一例を示す図である。 タイムラプスイメージングシステムの全体動作の一例を示すフローチャートである。 変形例に係る撮像装置の構成を示すブロック図である。 画像データにおける推定領域の一例を示す図である。 推定領域に干渉縞像が含まれている場合の一例を示す図である。 推定領域に干渉縞像が含まれていない場合の一例を示す図である。 変形例に係る光源の発光面の構成を示す模式図である。 第２実施形態に係る撮像装置の構成を示す側面図である。
　添付図面に従って本開示の技術に係る実施形態の一例について説明する。
　［第１実施形態］
　図１は、第１実施形態に係る撮像装置１０を示す。撮像装置１０は、照明装置１１、撮像センサ１２、支柱１３、基台１４、及びステージ１５を有する。撮像装置１０は、光学レンズを用いずに観察対象物を撮像する、いわゆるレンズフリーイメージングを行う。
　照明装置１１は、ほぼＬ字状の支柱１３の一端に接続されている。支柱１３の他端は、基台１４に接続されている。基台１４は、平板状であって、ほぼ中央にステージ１５が設けられている。ステージ１５には、受精卵を培養するための培養容器２０が載置される凹状の載置部１５Ａが設けられている。支柱１３は、照明装置１１が撮像センサ１２の撮像面１２Ａに対向するように、照明装置１１を支持している。受精卵は、本開示の技術に係る「観察対象物」の一例である。
　以下、照明装置１１と撮像面１２Ａとが対向する方向をＺ方向という。また、Ｚ方向に直交する一方向をＸ方向という。そして、Ｚ方向及びＸ方向に直交する方向をＹ方向という。撮像面１２Ａは、Ｚ方向に直交し、かつＸ方向及びＹ方向に平行である。
　撮像センサ１２は、例えば、モノクロのＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサにより構成されている。撮像センサ１２の撮像面１２Ａ上に培養容器２０が載置される。培養容器２０は、円筒状の浅い容器であり、培養ディッシュとも称される。培養容器２０は、透明であり、照明装置１１から出射される照明光１６を透過させる。なお、培養容器２０の直径は、３０～６０ｍｍ程度である。培養容器２０の厚みは、１０～２０ｍｍ程度である。
　培養容器２０には、体外受精の処置がなされた受精卵２１が播種されている。体外受精の処置には、顕微鏡下で行なわれる顕微授精による処置と、卵子と精子を所定の容器内で一緒にして行なわれる通常の体外受精による処置とが含まれる。培養する受精卵２１の受精の手法は問わない。受精卵２１は、例えば、人の受精卵である。受精卵２１は、ほぼ球形であって、直径は１００～２００μｍ程度である。
　受精卵２１の各々は、培養容器２０に滴下された培養液２２中に浮遊している。培養液２２は、培養容器２０に充填されたオイル２３で覆われている。オイル２３は、培養液２２の蒸発及びｐＨの変化を抑制する。なお、分裂状態にある受精卵２１は、胚とも称される。本開示における受精卵２１には、胚が含まれる。
　なお、培養容器２０は、不図示の透光性を有する蓋がかぶせられた状態で、撮像装置１０により受精卵２１の撮像が行われる。
　また、図２及び図３に示すように、撮像装置１０は、高さＺｉ（すなわちＺ方向への長さ）が変更可能に構成されている。撮像装置１０の高さＺｉは、支柱１３の長さを変更することにより、変更可能となっている。具体的には、支柱１３は、上部１３Ａと下部１３Ｂとに分離されている。上部１３Ａには、照明装置１１が接続されている。下部１３Ｂは、基台１４に接続されている。上部１３Ａと下部１３Ｂとは、スライド自在に、互いに勘合されている。上部１３Ａ及び下部１３Ｂは、本開示の技術に係る「高さ調整機構」の一例である。
　下部１３Ｂに対して上部１３Ａをスライドさせることにより、撮像装置１０の高さＺｉを変更することができる。支柱１３には、上部１３Ａと下部１３Ｂに対して固定するための固定ねじ１３Ｃが設けられている。ユーザは、下部１３Ｂに対する上部１３Ａの位置を調整し、撮像装置１０の高さＺｉを所望の値とした状態で固定ねじ１３Ｃを操作することにより、下部１３Ｂに対して上部１３Ａを固定する。
　下部１３Ｂに対して上部１３Ａが、図示しない駆動機構によってスライドするように構成されていてもよい。この場合、図示しないスイッチを操作することにより、上部１３Ａが移動するように構成することが好ましい。
　また、撮像装置１０の高さＺｉを調整することは、撮像センサ１２に対する照明装置１１の高さを調整することに相当する。したがって、上部１３Ａ及び下部１３Ｂは、本開示の技術に係る「撮像センサに対する照明装置の高さを調整可能とする高さ調整機構」の一例である。なお、高さ調整機構は、上述した構成に限られず、適宜変更可能である。
　図２及び図３は、培養容器２０が載置された撮像装置１０の側面図である。図２に示すように、照明装置１１は、基台１７と、３個の光源１８Ａ，１８Ｂ，１８Ｃとで構成されている。基台１７は、支柱１３に接続されている。光源１８Ａ，１８Ｂ，１８Ｃは、基台１７のステージ１５に対向する面に設けられている。
　光源１８Ａ，１８Ｂ，１８Ｃは、それぞれ例えばレーザーダイオードにより構成されており、ステージ１５に向けて照明光１６（図１参照）を出射する。光源１８Ａ，１８Ｂ，１８Ｃは、それぞれ発光ダイオードとピンホールとを組み合わせて構成されたものであってもよい。照明光１６は、コヒーレントな光である。照明光１６の波長は、６４０ｎｍ、７８０ｎｍ等である。照明光１６は、放射光である。なお、図２及び図３では、照明光１６の中心軸１６Ａを示している。
　光源１８Ａ，１８Ｂ，１８Ｃは、それぞれ撮像センサ１２の撮像面１２Ａに対する照明光１６の照射角度が異なる。光源１８Ａは、基台１７の撮像面１２Ａの中央に対向する位置に取り付けられており、撮像面１２Ａに対してほぼ直交する方向から照明光１６を出射する。
　光源１８Ｂは、基台１７の光源１８Ａの取り付け位置から＋Ｙ方向にずれた位置に取り付けられており、撮像面１２Ａに対して斜め方向から照明光１６を出射する。光源１８Ｃは、基台１７の光源１８Ａの取り付け位置から－Ｙ方向にずれた位置に取り付けられており、撮像面１２Ａに対して斜め方向から照明光１６を出射する。光源１８Ｂと光源１８Ｃとは、光源１８Ａを中心としてＹ方向に対称となる位置に配置されている。また、光源１８Ｂと光源１８Ｃとは、それぞれ基台１７に形成された傾斜面に配置されている。
　光源１８Ｂ及び光源１８Ｃには、撮像センサ１２の撮像面１２Ａに対する照明光１６の照射角度を変更可能とするための角度変更機構１９が設けられている。角度変更機構１９は、Ｘ方向に平行な回転軸を中心として、基台１７に対して光源１８Ｂ及び光源１８Ｃをそれぞれ回転させる。すなわち、角度変更機構１９は、Ｘ方向に平行な回転軸を中心として、照明光１６の中心軸１６Ａを回転させる。
　また、角度変更機構１９は、撮像装置１０の高さＺｉの変更に連動して光源１８Ｂ及び光源１８Ｃをそれぞれ回転させるように構成されている。本実施形態では、角度変更機構１９は、機械的な回転機構であり、下部１３Ｂに対して上部１３Ａをスライドさせることに連動して回転する。
　図２及び図３において、符号Ｋは、光源１８Ａ，１８Ｂ，１８Ｃから出射される複数の照明光１６の中心軸１６Ａが交わる交点を示している。観察対象物である受精卵２１の３次元情報を精度よく取得するためには、受精卵２１は、交点Ｋに配置されることが好ましい。
　撮像センサ１２は、光源１８Ａ，１８Ｂ，１８Ｃの各々から出射され、培養容器２０を透過した照明光１６を検出する。具体的には、培養容器２０に、照明光１６が入射し、受精卵２１で照明光１６が回折されることにより、受精卵２１の形状及び内部構造が反映された干渉縞像が生じる。干渉縞像は、ホログラム画像とも称される。撮像センサ１２は、受精卵２１により生成される干渉縞像を撮像する。
　図２は、撮像装置１０の高さＺｉを最小とした状態を示している。図２では、中心軸１６Ａの交点Ｋに、観察対象物である受精卵２１が位置している。
　図３は、撮像装置１０の高さＺｉを変更し、高さＺｉを図２に示す場合よりも高くした状態を示している。図３に示すように、撮像装置１０の高さＺｉを変更すると、角度変更機構１９により光源１８Ｂ及び光源１８Ｃが回転し、照明光１６の中心軸１６Ａの向きが変更される。角度変更機構１９は、高さＺｉを変更しても交点Ｋの位置が変化しないように構成されている。
　図３において、回転前の光源１８Ｂ、光源１８Ｃ、及び中心軸１６Ａを二点鎖線で示している。このように、高さＺｉに応じて光源１８Ｂ及び光源１８Ｃが回転しない場合には、交点Ｋと観察対象物である受精卵２１との位置にずれが生じるが、高さＺｉの変更に応じて光源１８Ｂ及び光源１８Ｃが回転することにより、交点Ｋの位置は受精卵２１の位置に維持される。
　図４は、撮像センサ１２の構成の一例を示す。撮像センサ１２は、撮像面１２Ａに配置された複数の画素１２Ｂを有する。画素１２Ｂは、入射光を光電変換することにより、入射光量に応じた画素信号を出力する光電変換素子である。
　画素１２Ｂは、Ｘ方向及びＹ方向に沿って等ピッチで配列されている。画素１２Ｂの配列は、いわゆる正方配列である。なお、Ｘ方向は、Ｚ方向に直交する方向である。Ｙ方向は、Ｘ方向及びＺ方向に直交する方向である。画素１２Ｂは、Ｘ方向に第１配列ピッチΔｘで配列されており、かつ、Ｙ方向に第２配列ピッチΔｙで配列されている。
　撮像センサ１２は、撮像面１２Ａに入射する光を撮像し、画素１２Ｂの各々から出力される画素信号により構成される画像データＤＴを出力する。
　図５は、受精卵２１に照明光１６を照射することにより干渉縞像が生成される様子を示す。培養容器２０に入射した照明光１６は、一部が受精卵２１によって回折される。すなわち、照明光１６は、受精卵２１によって回折される回折光３０と、受精卵２１によって回折されず、培養容器２０を透過する透過光３１とに分かれる。透過光３１は球面波あるいは平面波である。回折光３０及び透過光３１は、培養容器２０の底面を透過して、撮像センサ１２の撮像面１２Ａに入射する。
　回折光３０と透過光３１とは、互いに干渉することにより、干渉縞像３３を生成する。干渉縞像３３は、明部３６及び暗部３８により構成される。図５では、干渉縞像３３は、明部３６及び暗部３８をそれぞれ円形として図示しているが、干渉縞像３３の形状は、受精卵２１の形状及び内部構造に応じて変化する。撮像センサ１２は、撮像面１２Ａに形成された干渉縞像３３を含む光像を撮像し、干渉縞像３３を含む画像データＤＴを出力する。
　撮像センサ１２は、光源１８Ａ，１８Ｂ，１８Ｃの各々から受精卵２１に対して照明光１６が照射されるたびに、干渉縞像３３を含む光像を撮像して画像データＤＴを出力する。
　図６は、撮像センサ１２により生成される画像データＤＴの一例を示す。図６（Ａ）は、光源１８Ａから照明光１６を出射した場合に撮像センサ１２により生成される画像データＤＴを示す。図６（Ｂ）は、光源１８Ｂから照明光１６を出射した場合に撮像センサ１２により生成される画像データＤＴを示す。図６（Ｃ）は、光源１８Ｃから照明光１６を出射した場合に撮像センサ１２により生成される画像データＤＴを示す。
　画像データＤＴに写る干渉縞像３３の位置は、照明光１６の照射角度に応じて異なる。光源１８Ａから照明光１６が出射された場合には、図６（Ａ）に示すように、干渉縞像３３は、Ｙ方向に関して中央に位置する。光源１８Ｂから照明光１６が出射された場合には、干渉縞像３３は、図６（Ｂ）に示すように、中央から－Ｙ方向にδだけずれた位置に移動する。光源１８Ｃから照明光１６が出射された場合には、干渉縞像３３は、図６（Ｃ）に示すように、中央から＋Ｙ方向にδだけずれた位置に移動する。
　ずれ量δは、撮像面１２Ａから受精卵２１までの高さと、光源１８Ｂ及び光源１８Ｃから受精卵２１への照明光１６の入射角度とに依存する。
　図７は、タイムラプスイメージングシステムの構成の一例を示す。図７に示すように、タイムラプスイメージングシステム２には、撮像装置１０、インキュベータ４０、及び情報処理装置５０が含まれる。インキュベータ４０は、受精卵用のマルチルームインキュベータであり、胚培養装置とも称される。受精卵２１は、インキュベータ４０内で所定の期間（例えば、７日間）培養される。
　インキュベータ４０は、受精卵以外の細胞を培養するための一般的なインキュベータのように１つの培養室を有するものではなく、複数の培養室４１を有する。これは、培養室４１の各々に撮像装置１０を収容することで、受精卵２１を他人の受精卵２１と取り違えることのないよう個別に管理するためである。培養室４１は、培養チャンバとも称される。なお、図７に示すインキュベータ４０には、２つの培養室４１が設けられているが、培養室４１の数はこれには限定されず、適宜変更可能である。
　培養室４１の各々には、開閉式の蓋４２が設けられている。インキュベータ４０には、培養室４１ごとに、蓋４２を開閉するためのスイッチ４３が設けられている。ユーザがスイッチ４３を操作することにより、図示しない駆動機構によって蓋４２が開閉動作を行う。なお、蓋４２は、手動で開閉する構成であってもよい。培養室４１は、蓋４２が閉じると、気密状態に保たれる。
　培養室４１には、図示しない外部のガスボンベから二酸化炭素（ＣＯ２）ガス、及び窒素（Ｎ２）ガスと、外気（空気）とを混合した混合ガスが、ＨＥＰＡフィルタ（High Efficiency Particulate Air Filter）を介して供給される。また、培養室４１の側面及び底面には、図示しないヒータが設けられている。培養室４１は、混合ガスの濃度、温度、及び湿度が一定となるように制御されることで、培養環境が一定に保たれる。
　撮像装置１０は、培養室４１内に出し入れ可能な大きさである。図７に示すように、１つの培養室４１には、１つの撮像装置１０が挿入される。すなわち、培養容器２０が載置された撮像装置１０を培養室４１内に挿入した状態で、蓋４２を閉じることが可能である。これにより、培養室４１内で受精卵２１を培養しながら、培養室４１から培養容器２０を取り出すことなく、撮像装置１０により受精卵２１を撮像することができる。
　例えば、培養室４１は、ほぼ直方体形状の空間である。培養室４１のＸ方向への長さをＸｃとし、Ｙ方向への長さをＹｃとし、Ｚ方向への長さをＺｃとする。以下、長さＺｃを培養室４１の高さともいう。受精卵２１の培養に用いられる培養容器２０の高さは、通常１０～２０ｍｍ程度であるため、培養室４１の高さＺｃは、受精卵以外の細胞を培養するための一般的なインキュベータの培養室の高さよりも低く、例えば１０ｃｍ未満である。
　撮像装置１０は、高さＺｉがＺｉ＜Ｚｃの関係を満たすように調整されたうえで、培養室４１内に挿入される。
　情報処理装置５０は、例えば、デスクトップ型のパーソナルコンピュータである。情報処理装置５０には、ディスプレイ５１、キーボード５２、及びマウス５３などが接続されている。キーボード５２及びマウス５３は、ユーザが情報を入力するための入力デバイス５４を構成する。入力デバイス５４には、タッチパネル等も含まれる。
　情報処理装置５０は、無線通信により、培養室４１の各々に収容された撮像装置１０との間でデータの授受を行う。撮像装置１０は、定期的（例えば、５～１５分ごと）に撮像を行う。情報処理装置５０は、定期的に撮像装置１０から干渉縞像３３（図５参照）を含む画像データを受信し、受信した画像データに基づいて再構成処理を行い、再構成処理により生成した再構成画像を表示する。再構成画像は、断層画像とも称される。
　図８は、撮像装置１０及び情報処理装置５０の内部構成の一例を示す。図８に示すように、撮像装置１０は、照明装置１１及び撮像センサ１２の他に、プロセッサ６０、記憶装置６１、通信部６２、給電部６３、及びバッテリ６４を備え、これらはバスライン６５を介して相互接続されている。プロセッサ６０は、本開示の技術に係る「第１プロセッサ」の一例である。
　プロセッサ６０は、例えば、ＦＰＧＡ（Field Programmable Gate Array）であり、撮像装置１０内の各部の動作を制御する。記憶装置６１は、ＲＡＭ（Random Access Memory）又はフラッシュメモリなどである。記憶装置６１は、撮像装置１０により生成された画像データ、及び各種データを記憶する。
　通信部６２は、情報処理装置５０との間で無線通信を行う。プロセッサ６０は、通信部６２を介して、画像データを情報処理装置５０に送信する。
　バッテリ６４は、リチウムポリマーバッテリ等の二次電池である。給電部６３は、電源回路及び充電制御回路を含む。給電部６３は、バッテリ６４から供給される電力を、プロセッサ６０等に供給する。また、給電部６３は、外部から供給される電力によるバッテリ６４の充電を制御する。なお、給電部６３は、バッテリ６４を無線により充電することが可能に構成されていてもよい。
　情報処理装置５０は、プロセッサ５５、記憶装置５６、及び通信部５７を備え、これらはバスライン５８を介して相互接続されている。また、バスライン５８には、前述のディスプレイ５１及び入力デバイス５４が接続されている。
　プロセッサ５５は、例えばＣＰＵ（Central Processing Unit）により構成されており、記憶装置５６に格納された作動プログラム５６Ａ及び各種データを読み出して処理を実行することにより、各種機能を実現する。
　記憶装置５６は、例えば、ＲＡＭ、ＲＯＭ（Read Only Memory）、又はストレージ装置等を含む。ＲＡＭは、例えば、ワークエリア等として用いられる揮発性メモリである。ＲＯＭは、例えば、作動プログラム５６Ａ及び各種データを保持するフラッシュメモリ等の不揮発性メモリである。ストレージ装置は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。ストレージは、ＯＳ（Operating System）、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。
　通信部５７は、撮像装置１０の通信部６２との間で無線通信を行う。プロセッサ５５は、通信部５７を介して撮像装置１０から送信された画像データを受信する。また、プロセッサ５５は、通信部５７を介して、撮像装置１０に撮像を制御するための制御信号を送信する。
　ディスプレイ５１は、各種画面を表示する。情報処理装置５０は、各種画面を通じて、入力デバイス５４からの操作指示の入力を受け付ける。
　図９は、情報処理装置５０の機能構成の一例を示す。情報処理装置５０の機能は、作動プログラム５６Ａに基づいてプロセッサ５５が処理を実行することにより実現される。図９に示すように、プロセッサ５５には、撮像制御部７０、画像データ取得部７１、再構成処理部７２、開口合成処理部７３、及び表示制御部７４が構成される。
　撮像制御部７０は、撮像装置１０の動作を制御する。具体的には、撮像制御部７０は、撮像装置１０に制御信号を送信することにより、照明装置１１による照明光１６の発生動作、及び撮像センサ１２の撮像動作を制御する。より具体的には、撮像制御部７０は、照明装置１１に含まれる光源１８Ａ，１８Ｂ，１８Ｃから順次に照明光１６を出射させ、照明光１６が出射されるたびに撮像センサ１２に撮像動作を行わせる。
　以下、照明装置１１による照明光１６の発生動作と、撮像センサ１２の撮像動作とを合わせて、撮像装置１０の撮像動作という。撮像制御部７０は、入力デバイス５４から入力される操作信号に基づいて、撮像装置１０に撮像動作を開始させる。
　画像データ取得部７１は、撮像装置１０が培養容器２０内の受精卵２１を撮像した後、撮像装置１０から送信される生成される３つの画像データＤＴを取得する。３つの画像データＤＴは、光源１８Ａ，１８Ｂ，１８Ｃに対応し、撮像センサ１２の撮像面１２Ａに対する照明光１６の照射角度が異なる。画像データ取得部７１は、撮像装置１０から取得した３つの画像データＤＴを再構成処理部７２に供給する。
　再構成処理部７２は、画像データ取得部７１から供給される３つの画像データＤＴの各々に基づいて演算を行うことにより、３つの再構成画像ＲＰを生成する。例えば、図１０に示すように、再構成処理部７２は、受精卵２１が存在する高さである所定の再構成位置Ｐについて再構成画像ＲＰを生成する。再構成位置Ｐは、撮像センサ１２の撮像面１２Ａから照明装置１１の方向への距離ｄにより表される位置（いわゆる深さ位置）である。なお、再構成位置Ｐは、ユーザが入力デバイス５４を操作することにより設定又は変更可能としてもよい。
　再構成処理部７２は、例えば、下式（１）～（３）で表されるフレネル変換式に基づいて再構成処理を行う。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ここで、Ｉ（ｘ，ｙ）は、画像データを表す。ｘは、撮像センサ１２の画素１２Ｂ（図４参照）のＸ方向に関する座標を表す。ｙは、画素１２ＢのＹ方向に関する座標を表す。Δｘは、前述の第１配列ピッチであり、Δｙは、前述の第２配列ピッチである（図４参照）。λは、照明光１６の波長である。
　式（１）に示すように、Γ（ｍ，ｎ）は、画像データに含まれる干渉縞像がフレネル変換された複素振幅画像である。ここで、ｍ＝１，２，３，・・・Ｎｘ－１、及びｎ＝１，２，３，・・・Ｎｙ－１である。Ｎｘは、画像データのＸ方向への画素数を表している。Ｎｙは、画像データのＹ方向への画素数を表している。
　式（２）に示すように、Ａ０（ｍ，ｎ）は、複素振幅画像Γ（ｍ，ｎ）の強度成分を表す強度分布画像である。式（３）に示すように、φ０（ｍ，ｎ）は、複素振幅画像Γ（ｍ，ｎ）の位相成分を表す位相分布画像である。
　再構成処理部７２は、式（１）に基づいて複素振幅画像Γ（ｍ，ｎ）を求め、求めた複素振幅画像Γ（ｍ，ｎ）を、式（２）又は式（３）に適用することにより、強度分布画像Ａ０（ｍ，ｎ）又は位相分布画像φ０（ｍ，ｎ）を求める。再構成処理部７２は、強度分布画像Ａ０（ｍ，ｎ）と位相分布画像φ０（ｍ，ｎ）とのうちのいずれか１つを求めて、再構成画像ＲＰとして出力する。
　本実施形態では、再構成処理部７２は、位相分布画像φ０（ｍ，ｎ）を再構成画像ＲＰとして出力する。位相分布画像φ０（ｍ，ｎ）は、観察対象物の屈折率分布を表す画像である。本実施形態での観察対象物である受精卵２１は、半透明であるので、照明光１６の大部分は、受精卵２１により吸収されずに、透過するか、又は回折されるので、強度分布には像がほとんど現れない。このため、本実施形態では、再構成画像ＲＰとして位相分布画像φ０（ｍ，ｎ）を用いることが好ましい。
　再構成処理部７２は、フレネル変換式を用いる方法に限られず、フーリエ反復位相回復法等により再構成処理を行ってもよい。
　再構成処理部７２は、画像データ取得部７１から供給される３つの画像データＤＴの各々に対して上述の再構成処理を行うことにより、３つの再構成画像ＲＰを生成する。再構成処理部７２は、生成した３つの再構成画像ＲＰを開口合成処理部７３に供給する。３つの再構成画像ＲＰは、光源１８Ａ，１８Ｂ，１８Ｃに対応し、撮像センサ１２の撮像面１２Ａに対する照明光１６の照射角度が異なる。
　開口合成処理部７３は、再構成処理部７２から供給される３つの再構成画像ＲＰに対して開口合成処理を施すことにより合成画像ＳＰを生成する。具体的には、開口合成処理部７３は、３つの再構成画像ＲＰの各々をフーリエ変換して周波数空間上で合成し、合成した周波数データを逆フーリエ変換することにより合成画像ＳＰを生成する。３つの再構成画像ＲＰは、観察対象物に対する照明光１６の照射角度が異なる画像であるので、これらを周波数空間上で合成することにより、観察対象物の高周波成分が取り込まれ、空間分解能が高い高画質の合成画像ＳＰが得られる。合成画像ＳＰは、受精卵２１の奥行情報（すなわち、３次元情報）を含む画像である。
　特に、開口合成処理は、受精卵２１の同じ点あるいは同じ領域を通った複数の光を用いて撮像した場合に、受精卵２１の３次元情報の取得精度が向上し、高画質の合成画像ＳＰが得られる。すなわち、上述の交点Ｋが受精卵２１内に位置する場合に、高画質の合成画像ＳＰが得られる。
　表示制御部７４は、開口合成処理部７３により生成された合成画像ＳＰをディスプレイ５１に表示させる。本実施形態では、表示制御部７４は、１つの再構成位置Ｐに対応する合成画像ＳＰをディスプレイ５１に表示させるが、複数の再構成位置Ｐに対応する複数の合成画像ＳＰをディスプレイ５１に表示させてもよい。
　次に、タイムラプスイメージングシステム２の全体動作の一例を、図１１に示すフローチャートを用いて説明する。まず、ユーザは、インキュベータ４０の培養室４１の高さＺｃに合わせて撮像装置１０の高さＺｉを調整する（ステップＳ１０）。ステップＳ１０においてユーザが撮像装置１０の高さＺｉを変更することに連動して、光源１８Ｂ及び光源１８Ｃが回転する。
　次いで、ユーザは、培養容器２０を撮像装置１０のステージ１５に載置して、撮像装置１０をインキュベータ４０の培養室４１内に挿入する（ステップＳ１１）。なお、複数の培養室４１のうち、少なくとも１つの培養室４１に撮像装置１０を挿入すればよい。
　次に、ユーザは、培養室４１の蓋４２を閉め、インキュベータ４０に培養を開始させる（ステップＳ１２）。インキュベータ４０が培養を開始すると、情報処理装置５０からの制御に基づき、撮像装置１０は培養容器２０内の受精卵２１を撮像する（ステップＳ１３）。撮像装置１０は、撮像動作を行うことにより生成した３つの画像データＤＴを、情報処理装置５０に無線送信する（ステップＳ１４）。
　情報処理装置５０は、撮像装置１０から送信された３つの画像データＤＴを受信する（ステップＳ１５）。情報処理装置５０の再構成処理部７２は、３つの画像データＤＴの各々に対して再構成処理を行うことにより、少なくとも１つの再構成位置Ｐに対応する３つの再構成画像ＲＰを生成する（ステップＳ１６）。開口合成処理部７３は、再構成処理部７２により生成された３つの再構成画像ＲＰに基づいて開口合成処理を行うことにより、合成画像ＳＰを生成する（ステップＳ１７）。表示制御部７４は、開口合成処理部７３により生成された合成画像ＳＰをディスプレイ５１に表示させる（ステップＳ１８）。
　次に、情報処理装置５０は、インキュベータ４０による培養が終了したか否かを判定する（ステップＳ１９）。培養は、培養開始から、例えば最長７日間行われる。情報処理装置５０は、例えば、培養開始からの経過時間に基づいて培養が終了したか否かを判定する。情報処理装置５０は、培養が終了していないと判定した場合には（ステップＳ１９：ＮＯ）、前回の撮像から一定時間（例えば、１０分間）が経過したか否かを判定する（ステップＳ２０）。
　情報処理装置５０は、前回の撮像から一定時間が経過したと判定した場合には（ステップＳ２０：ＹＥＳ）、処理をステップＳ１３に戻す。ステップＳ１３～Ｓ２０の処理は、ステップＳ１９において判定が肯定されるまでの間、繰り返し実行される。ステップＳ１９において、情報処理装置５０がインキュベータ４０による培養が終了したと判定した（ステップＳ１９：ＹＥＳ）後、ユーザによりインキュベータ４０の培養室４１から撮像装置１０が取り出される（ステップＳ２１）。
　以上のように、本開示の技術に係る撮像装置１０は、光学レンズを用いないレンズフリーイメージングにより干渉縞像を撮像するものであるので、装置サイズが小さい。このため、撮像装置１０は、受精卵用の小型のインキュベータ４０の培養室４１に出し入れ可能である。受精卵用のインキュベータ４０は、光学カメラ等が一体化されたものでないため、安価である。
　また、角度変更機構１９が設けられていない従来の撮像装置では、撮像装置の高さを変更した場合には、複数の照明光１６の中心軸１６Ａの交点Ｋの位置が変化し、観察対象物である受精卵２１の位置との間にずれが生じる。このように、交点Ｋと受精卵２１との間に位置ずれが生じると、前述のように開口合成処理により生成される合成画像ＳＰの画質が低下する。
　これに対して、本開示の技術に係る撮像装置１０は、高さＺｉの変更に応じて光源１８Ｂ及び光源１８Ｃが回転することにより、交点Ｋの位置が受精卵２１の位置に維持されるので、上述の位置ずれが生じず、高画質の合成画像ＳＰが得られる。したがって、本開示の技術によれば、撮像装置１０の高さＺｉが変更された場合であっても精度よく観察対象物の３次元情報を取得することができる。
　［第１実施形態の変形例］
　次に、上記第１実施形態の変形例について説明する。上記実施形態における角度変更機構１９は、撮像装置１０の高さＺｉに応じて決まる角度に光源１８Ｂ及び光源１８Ｃを電気的制御により自動的に回転させる自動制御機構であってもよい。また、光源１８Ｂ及び光源１８Ｃの角度をユーザが手動で変更可能に構成されていてもよい。
　例えば、第１実施形態では、光源１８Ｂ及び光源１８Ｃを回転させる角度変更機構１９は、撮像装置１０の高さＺｉの変更に連動して駆動される機械的な回転機構により構成されているが、電気的に回転駆動するアクチュエータにより構成されていてもよい。この場合、図１２に示すように、撮像装置１０には、高さ検出部８０が設けられる。高さ検出部８０は、例えば支柱１３に設けられたエンコーダであり、撮像装置１０の高さＺｉを検出する。プロセッサ６０は、高さ検出部８０により検出される高さＺｉの値に基づいて、アクチュエータにより構成された角度変更機構１９を制御することにより、交点Ｋの位置が受精卵２１の位置に維持されるように（すなわち交点Ｋの位置が変化しないように）、光源１８Ｂ及び光源１８Ｃを回転させる。
　また、プロセッサ６０は、撮像センサ１２により取得される３つの画像データＤＴにおいて、幾何学的関係から観察対象物である受精卵２１が存在すると推定される領域（以下、推定領域Ｒという。）と干渉縞像３３との位置関係を判定し、判定結果に応じて角度変更機構１９を制御してもよい。具体的には、プロセッサ６０は、推定領域Ｒに干渉縞像３３が含まれるように、角度変更機構１９を制御して光源１８Ｂ及び／又は光源１８Ｃを回転させる。
　図１３は、上述の交点Ｋが受精卵２１の位置に存在する場合における推定領域Ｒの一例を示す。推定領域Ｒ１は、光源１８Ａから照明光１６を出射した場合に取得される画像データＤＴ内の推定領域Ｒである。推定領域Ｒ２は、光源１８Ｂから照明光１６を出射した場合に取得される画像データＤＴ内の推定領域Ｒである。推定領域Ｒ３は、光源１８Ｃから照明光１６を出射した場合に取得される画像データＤＴ内の推定領域Ｒである。
　図１４に示すように、推定領域Ｒ１，Ｒ２，Ｒ３の各々に干渉縞像３３が含まれていることは、交点Ｋが受精卵２１の位置に存在することに対応するので、光源１８Ｂ及び光源１８Ｃの回転角の調整は不要である。一方、図１５に示すように、推定領域Ｒ２，Ｒ３に干渉縞像３３が含まれないことは、交点Ｋが受精卵２１の位置に存在しないことに対応するので、光源１８Ｂ及び光源１８Ｃの回転角の調整を行う必要がある。なお、推定領域Ｒに干渉縞像３３が含まれないとは、推定領域Ｒに干渉縞像３３の一部が含まれないことも意味する。
　プロセッサ６０は、図１５に示すように、推定領域Ｒ２，Ｒ３に干渉縞像３３が含まれない場合には、角度変更機構１９を制御して、推定領域Ｒ２，Ｒ３に干渉縞像３３が含まれるように、光源１８Ｂ及び光源１８Ｃの回転角を調整する。
　また、第１実施形態では、角度変更機構１９は、光源１８Ｂ及び光源１８Ｃをそれぞれ回転させることにより、観察対象物である受精卵２１に対する照明光１６の照射角度を変更しているが、光源１８Ｂ及び光源１８Ｃを支持する基台１７の角度を変更することにより、照射角度を変更してもよい。また、角度変更機構１９は、光源１８Ｂ及び光源１８Ｃから出射される照明光１６の光路上に設けられたミラー又はレンズ等の光学素子を回転させることにより、照射角度を変更してもよい。
　また、第１実施形態では、光源１８Ａ，１８Ｂ，１８Ｃは、Ｙ方向に沿って配列されているが、配列方向はこれに限られず、Ｘ方向に沿って配列されていてもよい。また、第１実施形態では、照明装置１１は、３つの光源１８Ａ，１８Ｂ，１８Ｃを有するが、照明装置１１が有する光源の数は３に限られず、２以上であればよい。本開示の技術に係る照明装置は、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を有するものであればよい。角度変更機構は、複数の光源のうち少なくとも１つについて照明光の照射角度を変更するものであればよい。
　また、照明装置１１が有する各光源は、複数の発光点（例えば、３６個の発光点）が２次元アレー状に配列されたレーザ光源であってもよい。このレーザ光源として、垂直共振器型面発光レーザ（Vertical Cavity Surface Emitting Laser）を用いることが可能である。１つの光源に含まれる複数の発光点を順に発光させながら撮像センサ１２が撮像動作を行うことにより得られた複数の画像データを合成することにより、高解像度の干渉縞像（いわゆる超解像の干渉縞像）を含む１つの画像データＤＴが得られる。
　図１６は、複数の発光点９０Ｂを備える光源９０の発光面９０Ａの構成を例示する。発光面９０Ａは、撮像センサ１２に対向する位置に配置されている。発光面９０Ａには、複数の発光点９０Ｂが２次元アレー状に配列されている。発光点９０Ｂの配列ピッチは、１０μｍから１００μｍ程度である。発光点９０Ｂの各々は、順に選択されて、照明光１６を出射する。複数の発光点９０Ｂの発光時間間隔は、数ミリ秒である。
　なお、発光点９０Ｂの配列ピッチは、画素１２Ｂの配列ピッチと異なっていればよく、必ずしも画素１２Ｂの配列ピッチよりも小さい必要はない。例えば、発光点９０Ｂが隣の画素１２Ｂの真上に位置していても、発光点９０Ｂの配列ピッチが画素１２Ｂの配列ピッチと一致していなければよい。この場合、画素１２Ｂ上の異なる位置に照明光１６が照明されるので、複数の画像データを合成する際に、各々の発光点９０Ｂの真下にあり、照明光１６が照明された異なる画素１２Ｂを同一の画素と見なして、１画素以下の精度で位置合わせを行うことにより、超解像の干渉縞像を含む１つの画像データＤＴを生成することが可能である。
　なお、図１６では、発光点９０Ｂを６×６の正方配列とし、発光面９０Ａに３６個の発光点９０Ｂを設けているが、発光点９０Ｂの数及び配列パターンは、図１６に示す数及び配列パターンに限定されない。発光点９０Ｂの数が多いほど、干渉縞像の高解像度化を図ることが可能である一方で、合成処理及び再構成処理の演算時間が長くなる。このため、要求される画質及び演算時間に合わせて、発光点９０Ｂの数を最適化することが好ましい。
　また、第１実施形態では、再構成処理部７２により生成された複数の再構成画像ＲＰに基づいて開口合成処理を行うことにより、受精卵２１の３次元情報を含む合成画像ＳＰを生成している。再構成処理部７２により生成される複数の再構成画像ＲＰは、受精卵２１に対する照明光１６の照射角度が異なる画像であるので、放射線トモシンセシス撮影等で利用されるフィルタ逆投影法等を用いて演算処理を行うことにより、３次元情報を含む画像を取得してもよい。
　［第２実施形態］
　次に、第２実施形態に係る撮像装置について説明する。第２実施形態に係る撮像装置は、照明光の照射角度が異なる（すなわち光源から交点Ｋまでの距離が異なる）複数の照明装置が支柱１３に対して着脱自在に構成されている。
　図１７は、第２実施形態に係る撮像装置１０Ａの構成を示す。図１７に示すように、本実施形態では、支柱１３には、第１照明装置１１Ａ及び第２照明装置１１Ｂが選択的に取り付け可能に構成されている。例えば、上部１３Ａの端部に、第１照明装置１１Ａ及び第２照明装置１１Ｂが選択的に取り付けられる取り付け部１３Ｄが設けられている。
　第１照明装置１１Ａ及び第２照明装置１１Ｂは、第１実施形態の照明装置１１と同様に、基台１７と、３個の光源１８Ａ，１８Ｂ，１８Ｃとで構成されているが、光源１８Ｂ及び光源１８Ｃは基台１７に固定されており回転可能ではない。本実施形態では、角度変更機構は、第１照明装置１１Ａ及び第２照明装置１１Ｂと、取り付け部１３Ｄとにより構成されている。
　第１照明装置１１Ａと第２照明装置１１Ｂとは、基台１７に対する光源１８Ｂ及び光源１８Ｃの取り付け角度が異なる。すなわち、第１照明装置１１Ａと第２照明装置１１Ｂとは、光源１８Ｂ及び光源１８Ｃによる照明光１６の照射角度（すなわち中心軸１６Ａの角度）が異なる。第１照明装置１１Ａは、第２照明装置１１Ｂよりも、光源１８Ａ，１８Ｂ，１８Ｃから交点Ｋまでの距離が短い。第１照明装置１１Ａは、撮像装置１０Ａの高さＺｉが低い場合に適合する。第２照明装置１１Ｂは、撮像装置１０Ａの高さＺｉが高い場合に適合する。
　本実施形態では、撮像装置１０Ａの高さＺｉは、“Ｌ”と“Ｈ”の２段階に変更可能である。Ｚｉ＝Ｌの場合には、第１照明装置１１Ａを支柱１３に取り付けることにより、交点Ｋの位置と受精卵２１の位置とが一致する。Ｚｉ＝Ｈの場合には、第２照明装置１１Ｂを支柱１３に取り付けることにより、交点Ｋの位置と受精卵２１の位置とが一致する。
　本実施形態では、ユーザは、撮像装置１０Ａの高さＺｉを変更した際に、高さＺｉに応じて第１照明装置１１Ａと第２照明装置１１Ｂとのうちいずれかを支柱１３に取り付けることにより、交点Ｋを観察対象物である受精卵２１の位置に一致させることができる。これにより、精度よく観察対象物の３次元情報を取得することができる。
　なお、第２実施形態では、照明光１６の照射角度が異なる２つの照明装置を支柱１３に対して選択的に取り付け可能としているが、照明光１６の照射角度が異なる３つ以上の照明装置を支柱１３に対して選択的に取り付け可能としてもよい。この場合、各照明装置の照射角度に合わせて、撮像装置１０Ａの高さＺｉを３段階以上に変更可能とする。撮像装置１０Ａの変更可能な高さＺｉを予め決定しておき、各高さＺｉに適合した照射角度で照明光１６を出射する照明装置を設ければよい。
　また、第２実施形態では、支柱１３に取り付ける照明装置を変更することにより照射角度を変更しているが、照明装置内の一部の光源、光源の基台、照明光の光路上に配置したミラー又はレンズ等を変更することで、照射角度を変更してもよい。
　また、上述の第１実施形態の各種変形例は、第２実施形態にも適用可能である。また、第１実施形態及び第２実施形態では、観察対象物を受精卵としているが、観察対象物は受精卵に限られない。観察対象物は、受精卵以外の浮遊細胞であってもよい。浮遊細胞とは、培養液中に浮遊する細胞である。浮遊細胞には、受精卵以外に、抗体の生産に用いられるＣＨＯ（Chinese Hamster Ovary）細胞などがある。
　情報処理装置５０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置５０を、処理能力及び信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。
　このように、情報処理装置５０のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム５６Ａ等のアプリケーションプログラムについても、安全性及び信頼性の確保を目的として、二重化すること、あるいは、複数のストレージデバイスに分散して格納することも可能である。
　上述の画像データ取得部７１、再構成処理部７２、開口合成処理部７３、及び表示制御部７４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム５６Ａ）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device: PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／又は、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip: SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　また、上記各実施形態及び各変形例は、矛盾が生じない範囲で適宜組み合わせ可能である。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (10)

  1. 　観察対象物に対して異なる照射角度で照明光を照射する複数の光源を有する照明装置と、
    　前記照明光が照射された前記観察対象物により生成される干渉縞像を撮像して画像データを生成する撮像センサと、
    　前記撮像センサに対する前記照明装置の高さを調整可能とする高さ調整機構と、
    　複数の前記光源から出射される前記照明光の中心軸の交点が前記観察対象物に位置するように、前記高さに応じて前記照明光の照射角度を変更する角度変更機構と、
    　を備える撮像装置。
  2. 　前記角度変更機構は、複数の前記光源のうち少なくとも１つを回転させることにより前記照明光の照射角度を変更する、
    　請求項１に記載の撮像装置。
  3. 　前記角度変更機構は、前記高さ調整機構による前記高さの変更に連動して前記照明光の照射角度を変更する、
    　請求項１又は請求項２に記載の撮像装置。
  4. 　前記角度変更機構を制御して前記照射角度を変更させる第１プロセッサを備え、
    　前記第１プロセッサは、前記画像データにおいて前記観察対象物が存在すると推定される推定領域と前記干渉縞像との位置関係に基づいて前記角度変更機構を制御することにより、前記照射角度を調整する、
    　請求項１又は請求項２に記載の撮像装置。
  5. 　前記照明装置を支持する支柱を備え、
    　前記高さ調整機構は、前記支柱の長さを変更可能とする、
    　請求項１から請求項４のうちいずれか１項に記載の撮像装置。
  6. 　前記角度変更機構は、前記照明光の照射角度が異なる複数の前記照明装置と、複数の前記照明装置が選択的に取り付けられる取り付け部とにより構成されている、
    　請求項１に記載の撮像装置。
  7. 　前記照明装置を支持する支柱を備え、
    　前記高さ調整機構は、前記支柱の長さを変更可能とし、
    　前記取り付け部は、前記支柱に設けられている、
    　請求項６に記載の撮像装置。
  8. 　前記画像データを、無線送信する通信部を備える、
    　請求項１から請求項７のうちいずれか１項に記載の撮像装置。
  9. 　請求項８に記載の撮像装置から送信された前記画像データを受信し、受信した画像データに基づいて再構成処理を行うことにより再構成画像を生成する第２プロセッサを備える、
    　情報処理装置。
  10. 　前記第２プロセッサは、
    　複数の前記光源に対応する複数の前記再構成画像に対して開口合成処理を施すことにより合成画像を生成する、
    　請求項９に記載の情報処理装置。
PCT/JP2022/035037 2021-10-20 2022-09-20 撮像装置及び情報処理装置 WO2023067971A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023555056A JPWO2023067971A1 (ja) 2021-10-20 2022-09-20

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021171938 2021-10-20
JP2021-171938 2021-10-20

Publications (1)

Publication Number Publication Date
WO2023067971A1 true WO2023067971A1 (ja) 2023-04-27

Family

ID=86059047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035037 WO2023067971A1 (ja) 2021-10-20 2022-09-20 撮像装置及び情報処理装置

Country Status (2)

Country Link
JP (1) JPWO2023067971A1 (ja)
WO (1) WO2023067971A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075928A1 (en) * 2009-09-25 2011-03-31 Jeong Hwan J High-resolution, common-path interferometric imaging systems and methods
JP2011242357A (ja) * 2010-05-21 2011-12-01 Nikon Corp 光学装置
JP2014507645A (ja) * 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法
WO2021117328A1 (ja) * 2019-12-11 2021-06-17 富士フイルム株式会社 制御装置、制御装置の作動方法、制御装置の作動プログラム
WO2022181023A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 撮像装置、情報処理装置、イメージングシステム、及び観察方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075928A1 (en) * 2009-09-25 2011-03-31 Jeong Hwan J High-resolution, common-path interferometric imaging systems and methods
JP2011242357A (ja) * 2010-05-21 2011-12-01 Nikon Corp 光学装置
JP2014507645A (ja) * 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法
WO2021117328A1 (ja) * 2019-12-11 2021-06-17 富士フイルム株式会社 制御装置、制御装置の作動方法、制御装置の作動プログラム
WO2022181023A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 撮像装置、情報処理装置、イメージングシステム、及び観察方法

Also Published As

Publication number Publication date
JPWO2023067971A1 (ja) 2023-04-27

Similar Documents

Publication Publication Date Title
US20220254538A1 (en) Fourier ptychographic imaging systems, devices, and methods
CN105765690B (zh) 可变照明傅立叶重叠关联成像设备、系统以及方法
AU2003238484B2 (en) Microscope with a viewing direction perpendicular to the illumination direction
CN108169173B (zh) 一种大视场高分辨三维衍射层析显微成像方法
ES2398088T3 (es) Procedimiento y dispositivo destinado a la obtención por microscopía de imagenes en tres dimensiones de una muestra
EP2975834B1 (en) Structured light imaging apparatus
CN108982452B (zh) 基于双螺旋点扩散函数的多焦点扫描三维成像方法及系统
WO2014196203A1 (ja) 画像取得装置、画像取得方法、およびプログラム
AU2014280894A1 (en) Illumination systems and devices for Fourier Ptychographic imaging
JP6940696B2 (ja) 二次元および三次元の固定式ｚ走査
CN112912781B (zh) 作为用于显微术的照明源的照明显示器
CN108362643A (zh) 一种双高度照明傅里叶叠层显微成像方法
CN108196357A (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
JPH04125609A (ja) 光学顕微鏡
CN114965470A (zh) 一种基于非干涉合成孔径的光强传输衍射层析显微成像方法
WO2022181023A1 (ja) 撮像装置、情報処理装置、イメージングシステム、及び観察方法
JP7478813B2 (ja) タイコグラフィ撮像システムおよび画像を生成するための方法
WO2023067971A1 (ja) 撮像装置及び情報処理装置
JP6952891B2 (ja) ２×３および１×３スライド用のカルーセル
JP2023061795A (ja) 撮像装置及び情報処理装置
US11536655B1 (en) Imaging systems with angled sensors and related methods
US20230401715A1 (en) Information processing apparatus, information processing method, and program
CN208766383U (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
JP3639869B2 (ja) 対象物表面の色を再現した立体画像を作成する立体観察装置および方法
JP2018055664A (ja) 画像生成システム及び画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883281

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023555056

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE