WO2023067971A1 - 撮像装置及び情報処理装置 - Google Patents

撮像装置及び情報処理装置 Download PDF

Info

Publication number
WO2023067971A1
WO2023067971A1 PCT/JP2022/035037 JP2022035037W WO2023067971A1 WO 2023067971 A1 WO2023067971 A1 WO 2023067971A1 JP 2022035037 W JP2022035037 W JP 2022035037W WO 2023067971 A1 WO2023067971 A1 WO 2023067971A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
imaging
illumination light
height
image
Prior art date
Application number
PCT/JP2022/035037
Other languages
English (en)
French (fr)
Inventor
拓明 山本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023067971A1 publication Critical patent/WO2023067971A1/ja

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • the technology of the present disclosure relates to imaging devices and information processing devices.
  • An incubator for a fertilized egg is used to culture a fertilized egg that has undergone in vitro fertilization.
  • a fertilized egg (embryo) cultured in an incubator is transferred to the embryo or frozen.
  • embryo refers to a fertilized egg in a state of division.
  • Japanese Patent Application Laid-Open No. 2018-093795 proposes an incubator that enables observation of fertilized eggs being cultured without removing the culture dish.
  • the incubator described in Japanese Patent Application Laid-Open No. 2018-093795 includes a culture section that holds a plurality of culture dishes in a culture environment, and an imaging section provided corresponding to the culture dishes held in the culture section.
  • an incubator that allows fertilized eggs to be observed without removing the culture dish from the culture unit while culturing the fertilized eggs in a culture dish is called a time-lapse incubator. ing.
  • the imaging unit described in JP-A-2018-093795 is an optical camera having a lens, focus is adjusted by moving the lens along the optical axis.
  • a human egg is almost spherical and has a diameter of about 100 to 150 ⁇ m. It is not known in which position of the ovum the position of the pronucleus or the like, which is a clue for judging the fertilization of the ovum, exists. For this reason, the imaging unit described in Japanese Patent Application Laid-Open No. 2018-093795 captures a plurality of images with different focal positions.
  • an interference fringe image generated by irradiating an observation object with coherent light such as a laser beam is imaged, and the interference fringe image obtained by imaging is reconstructed at an arbitrary focal position. Images (so-called tomographic images) can be generated.
  • the present applicant has proposed an imaging device that includes a light source and an imaging sensor and generates image data including an interference fringe image by imaging fertilized eggs seeded in a culture vessel. proposed an imaging device that can be taken in and out of a culture room provided in an incubator. The applicant of the present application also proposes to provide a height adjustment mechanism for adjusting the height of the imaging device.
  • an imaging device with a plurality of light sources that irradiate the observation target with illumination light at different irradiation angles.
  • the height is changeable in an imaging device that includes a plurality of light sources that irradiate an observation object with illumination light at different irradiation angles, the distance from the plurality of light sources to the observation object changes, resulting in three Dimensional information may not be obtained accurately.
  • An object of the technology of the present disclosure is to provide an imaging device and an information processing device that can accurately acquire three-dimensional information of an observation target even when the height is changed.
  • an imaging apparatus includes an illumination device having a plurality of light sources that irradiate an observation object with illumination light at different irradiation angles, and an observation object irradiated with the illumination light.
  • an imaging sensor that captures an interference fringe image and generates image data; a height adjustment mechanism that enables adjustment of the height of the illumination device with respect to the imaging sensor; and an angle changing mechanism for changing the irradiation angle of the illumination light according to the height so that the intersection is positioned on the observed object.
  • the angle changing mechanism preferably changes the irradiation angle of the illumination light by rotating at least one of the plurality of light sources.
  • the angle changing mechanism changes the irradiation angle of the illumination light in conjunction with the height change by the height adjusting mechanism.
  • a first processor for controlling an angle changing mechanism to change the irradiation angle wherein the first processor changes the angle based on the positional relationship between the estimated area in the image data where the observation target is estimated to exist and the interference fringe image.
  • the irradiation angle is adjusted by controlling the mechanism.
  • a strut for supporting the lighting device is provided, and the height adjustment mechanism is capable of changing the length of the strut.
  • the angle changing mechanism includes a plurality of lighting devices with different irradiation angles of illumination light, and a mounting portion to which the plurality of lighting devices are selectively mounted.
  • a support for supporting the lighting device is provided, the height adjustment mechanism allows the length of the support to be changed, and the mounting portion is provided on the support.
  • the information processing device of the present disclosure includes a second processor that receives image data transmitted from the imaging device and performs reconstruction processing based on the received image data to generate a reconstructed image.
  • the second processor preferably generates a synthetic image by performing aperture synthesis processing on a plurality of reconstructed images corresponding to a plurality of light sources.
  • an imaging device and an information processing device that are capable of accurately acquiring three-dimensional information of an observation target even when the height is changed.
  • FIG. 3 is a side view of an imaging device on which a culture container is placed;
  • FIG. 3 is a side view of an imaging device on which a culture container is placed;
  • FIG. 4 is a diagram showing how an interference fringe image is generated by irradiating a fertilized egg with illumination light.
  • FIG. 3 is a diagram showing an example of image data generated by an imaging sensor;
  • FIG. 1 is a schematic diagram showing an example of the configuration of a time-lapse imaging system;
  • FIG. It is a block diagram showing an example of an internal configuration of an imaging device and an information processing device. It is a block diagram which shows an example of the functional structure of an information processing apparatus.
  • FIG. 4 is a diagram showing an example of reconstructed positions; 4 is a flow chart showing an example of the overall operation of the time-lapse imaging system; It is a block diagram which shows the structure of the imaging device which concerns on a modification.
  • FIG. 4 is a diagram showing an example of an estimated area in image data;
  • FIG. 10 is a diagram showing an example in which an interference fringe image is included in the estimation area;
  • FIG. 10 is a diagram showing an example in which the estimation area does not include an interference fringe image;
  • It is a schematic diagram which shows the structure of the light emission surface of the light source which concerns on a modification.
  • FIG. 1 shows an imaging device 10 according to the first embodiment.
  • the imaging device 10 has an illumination device 11 , an imaging sensor 12 , a support 13 , a base 14 and a stage 15 .
  • the imaging device 10 performs so-called lens-free imaging, in which an observation target is imaged without using an optical lens.
  • the lighting device 11 is connected to one end of a substantially L-shaped support 13 .
  • the other end of the support 13 is connected to the base 14 .
  • the base 14 has a flat plate shape, and a stage 15 is provided substantially in the center.
  • the stage 15 is provided with a recessed mounting portion 15A on which a culture container 20 for culturing the fertilized egg is mounted.
  • the column 13 supports the illumination device 11 so that the illumination device 11 faces the imaging surface 12A of the imaging sensor 12 .
  • a fertilized egg is an example of an “observation object” according to the technology of the present disclosure.
  • the direction in which the illumination device 11 and the imaging surface 12A face each other will be referred to as the Z direction.
  • a direction orthogonal to the Z direction is called an X direction.
  • a direction orthogonal to the Z direction and the X direction is called the Y direction.
  • the imaging surface 12A is orthogonal to the Z direction and parallel to the X and Y directions.
  • the imaging sensor 12 is composed of, for example, a monochrome CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • a culture container 20 is placed on the imaging surface 12A of the imaging sensor 12 .
  • the culture container 20 is a shallow cylindrical container and is also called a culture dish.
  • the culture container 20 is transparent and allows the illumination light 16 emitted from the illumination device 11 to pass therethrough.
  • the diameter of the culture vessel 20 is about 30 to 60 mm.
  • the thickness of the culture vessel 20 is approximately 10 to 20 mm.
  • a fertilized egg 21 that has undergone in vitro fertilization is seeded in the culture container 20 .
  • In vitro fertilization treatment includes microinsemination treatment performed under a microscope and normal in vitro fertilization treatment in which ovum and sperm are combined in a predetermined container.
  • the method of fertilization of the fertilized egg 21 to be cultured does not matter.
  • the fertilized egg 21 is, for example, a human fertilized egg.
  • the fertilized egg 21 is almost spherical and has a diameter of about 100 to 200 ⁇ m.
  • Each of the fertilized eggs 21 floats in the culture solution 22 dropped into the culture container 20 .
  • the culture medium 22 is covered with oil 23 filled in the culture container 20 .
  • the oil 23 suppresses evaporation and pH change of the culture solution 22 .
  • the fertilized egg 21 in the divided state is also called an embryo.
  • a fertilized egg 21 in the present disclosure includes an embryo.
  • the fertilized egg 21 is imaged by the imaging device 10 while the culture vessel 20 is covered with a translucent lid (not shown).
  • the imaging device 10 is configured such that the height Zi (that is, the length in the Z direction) can be changed.
  • the height Zi of the imaging device 10 can be changed by changing the length of the support 13 .
  • the strut 13 is separated into an upper portion 13A and a lower portion 13B.
  • the lighting device 11 is connected to the upper portion 13A.
  • the lower portion 13B is connected to the base 14.
  • the upper portion 13A and the lower portion 13B are slidably fitted to each other.
  • the upper portion 13A and the lower portion 13B are examples of the "height adjustment mechanism" according to the technology of the present disclosure.
  • the column 13 is provided with fixing screws 13C for fixing to the upper portion 13A and the lower portion 13B.
  • the user adjusts the position of the upper portion 13A with respect to the lower portion 13B, sets the height Zi of the imaging device 10 to a desired value, and operates the fixing screw 13C to fix the upper portion 13A with respect to the lower portion 13B.
  • the upper portion 13A may be configured to slide relative to the lower portion 13B by a drive mechanism (not shown). In this case, it is preferable to configure the upper portion 13A to move by operating a switch (not shown).
  • adjusting the height Zi of the imaging device 10 corresponds to adjusting the height of the illumination device 11 with respect to the imaging sensor 12 . Therefore, the upper portion 13A and the lower portion 13B are an example of a "height adjustment mechanism that enables adjustment of the height of the illumination device with respect to the imaging sensor" according to the technology of the present disclosure. Note that the height adjustment mechanism is not limited to the configuration described above, and can be changed as appropriate.
  • the illumination device 11 includes a base 17 and three light sources 18A, 18B and 18C.
  • the base 17 is connected to the strut 13 .
  • Light sources 18A, 18B, and 18C are provided on the surface of base 17 facing stage 15 .
  • the light sources 18A, 18B, and 18C are each composed of, for example, a laser diode, and emit illumination light 16 (see FIG. 1) toward the stage 15.
  • Each of the light sources 18A, 18B, 18C may be configured by combining a light emitting diode and a pinhole.
  • the illumination light 16 is coherent light.
  • the wavelength of the illumination light 16 is 640 nm, 780 nm, or the like.
  • the illumination light 16 is radiant light. 2 and 3 show the central axis 16A of the illumination light 16. As shown in FIG.
  • the light sources 18A, 18B, and 18C have different irradiation angles of the illumination light 16 with respect to the imaging surface 12A of the imaging sensor 12.
  • the light source 18A is mounted at a position facing the center of the imaging surface 12A of the base 17, and emits illumination light 16 in a direction substantially perpendicular to the imaging surface 12A.
  • the light source 18B is mounted at a position shifted in the +Y direction from the mounting position of the light source 18A on the base 17, and emits the illumination light 16 obliquely to the imaging surface 12A.
  • the light source 18C is mounted at a position shifted in the -Y direction from the mounting position of the light source 18A on the base 17, and emits the illumination light 16 obliquely to the imaging surface 12A.
  • the light sources 18B and 18C are arranged at symmetrical positions in the Y direction with respect to the light source 18A. Further, the light source 18B and the light source 18C are arranged on an inclined surface formed on the base 17, respectively.
  • the light source 18B and the light source 18C are provided with an angle changing mechanism 19 for changing the irradiation angle of the illumination light 16 with respect to the imaging surface 12A of the imaging sensor 12 .
  • the angle changing mechanism 19 rotates the light source 18B and the light source 18C with respect to the base 17 around a rotation axis parallel to the X direction. That is, the angle changing mechanism 19 rotates the central axis 16A of the illumination light 16 about the rotation axis parallel to the X direction.
  • the angle changing mechanism 19 is configured to rotate the light source 18B and the light source 18C in conjunction with the change of the height Zi of the imaging device 10 .
  • the angle changing mechanism 19 is a mechanical rotating mechanism, and rotates in conjunction with sliding the upper portion 13A with respect to the lower portion 13B.
  • the symbol K indicates an intersection point where the central axes 16A of the plurality of illumination lights 16 emitted from the light sources 18A, 18B, and 18C intersect.
  • the fertilized egg 21 is preferably arranged at the intersection point K in order to accurately acquire the three-dimensional information of the fertilized egg 21, which is the object to be observed.
  • the imaging sensor 12 detects the illumination light 16 emitted from each of the light sources 18A, 18B, and 18C and transmitted through the culture container 20. Specifically, the illumination light 16 is incident on the culture container 20 and diffracted by the fertilized egg 21 , thereby producing an interference fringe image reflecting the shape and internal structure of the fertilized egg 21 . An interference fringe image is also called a hologram image. The imaging sensor 12 captures an interference fringe image generated by the fertilized egg 21 .
  • FIG. 2 shows a state in which the height Zi of the imaging device 10 is minimized.
  • a fertilized egg 21 which is an object to be observed, is positioned at the intersection point K of the central axis 16A.
  • FIG. 3 shows a state in which the height Zi of the imaging device 10 is changed to be higher than the height Zi shown in FIG.
  • the light source 18B and the light source 18C are rotated by the angle changing mechanism 19, and the direction of the central axis 16A of the illumination light 16 is changed.
  • the angle changing mechanism 19 is configured so that the position of the intersection point K does not change even if the height Zi is changed.
  • the light source 18B, the light source 18C, and the central axis 16A before rotation are indicated by two-dot chain lines.
  • the positions of the intersection point K and the fertilized egg 21, which is the object to be observed are shifted.
  • the position of the intersection point K is maintained at the position of the fertilized egg 21 by rotating the light source 18B and the light source 18C.
  • FIG. 4 shows an example of the configuration of the imaging sensor 12.
  • the imaging sensor 12 has a plurality of pixels 12B arranged on an imaging surface 12A.
  • the pixel 12B is a photoelectric conversion element that outputs a pixel signal corresponding to the amount of incident light by photoelectrically converting incident light.
  • the pixels 12B are arranged at equal pitches along the X and Y directions.
  • the arrangement of the pixels 12B is a so-called square arrangement.
  • the X direction is a direction orthogonal to the Z direction.
  • the Y direction is a direction orthogonal to the X and Z directions.
  • the pixels 12B are arranged at a first arrangement pitch ⁇ x in the X direction and arranged at a second arrangement pitch ⁇ y in the Y direction.
  • the imaging sensor 12 captures light incident on the imaging surface 12A, and outputs image data DT composed of pixel signals output from each of the pixels 12B.
  • FIG. 5 shows how an interference fringe image is generated by irradiating the fertilized egg 21 with the illumination light 16 .
  • a part of the illumination light 16 incident on the culture container 20 is diffracted by the fertilized egg 21 . That is, the illumination light 16 is divided into diffracted light 30 diffracted by the fertilized egg 21 and transmitted light 31 not diffracted by the fertilized egg 21 but transmitted through the incubation container 20 .
  • the transmitted light 31 is a spherical wave or a plane wave.
  • the diffracted light 30 and the transmitted light 31 pass through the bottom surface of the culture container 20 and enter the imaging surface 12A of the imaging sensor 12 .
  • the diffracted light 30 and the transmitted light 31 interfere with each other to generate an interference fringe image 33 .
  • the interference fringe image 33 is composed of bright portions 36 and dark portions 38 .
  • the interference fringe image 33 is illustrated with circular bright portions 36 and dark portions 38 , but the shape of the interference fringe image 33 changes according to the shape and internal structure of the fertilized egg 21 .
  • the imaging sensor 12 captures an optical image including the interference fringe image 33 formed on the imaging surface 12A and outputs image data DT including the interference fringe image 33 .
  • the imaging sensor 12 captures a light image including the interference fringe image 33 and outputs image data DT each time the fertilized egg 21 is irradiated with the illumination light 16 from each of the light sources 18A, 18B, and 18C.
  • FIG. 6 shows an example of image data DT generated by the imaging sensor 12.
  • FIG. FIG. 6A shows image data DT generated by the imaging sensor 12 when the illumination light 16 is emitted from the light source 18A.
  • FIG. 6B shows image data DT generated by the imaging sensor 12 when the illumination light 16 is emitted from the light source 18B.
  • FIG. 6C shows image data DT generated by the imaging sensor 12 when the illumination light 16 is emitted from the light source 18C.
  • the position of the interference fringe image 33 appearing in the image data DT differs according to the irradiation angle of the illumination light 16.
  • the interference fringe image 33 is positioned at the center in the Y direction as shown in FIG. 6(A).
  • the interference fringe image 33 moves to a position shifted by ⁇ in the -Y direction from the center, as shown in FIG. 6B.
  • the interference fringe image 33 shifts from the center by ⁇ in the +Y direction, as shown in FIG. 6C.
  • the amount of deviation ⁇ depends on the height from the imaging surface 12A to the fertilized egg 21 and the incident angle of the illumination light 16 from the light sources 18B and 18C to the fertilized egg 21 .
  • FIG. 7 shows an example of the configuration of a time-lapse imaging system.
  • the time-lapse imaging system 2 includes an imaging device 10, an incubator 40, and an information processing device 50.
  • the incubator 40 is a multi-room incubator for fertilized eggs and is also called an embryo culture device.
  • the fertilized egg 21 is cultured within the incubator 40 for a predetermined period (for example, seven days).
  • the incubator 40 has a plurality of culture chambers 41, unlike a general incubator for culturing cells other than fertilized eggs. This is because the imaging device 10 is accommodated in each of the culture chambers 41 so that the fertilized egg 21 is managed individually so as not to be mistaken for someone else's fertilized egg 21 .
  • the incubation room 41 is also referred to as an incubation chamber.
  • the incubator 40 shown in FIG. 7 is provided with two culture chambers 41, the number of culture chambers 41 is not limited to this, and can be changed as appropriate.
  • Each of the culture chambers 41 is provided with an openable lid 42 .
  • the incubator 40 is provided with a switch 43 for opening and closing the lid 42 for each culture chamber 41 .
  • the lid 42 is opened and closed by a driving mechanism (not shown).
  • the lid 42 may be configured to be manually opened and closed.
  • the incubation chamber 41 is kept airtight when the lid 42 is closed.
  • a mixed gas obtained by mixing carbon dioxide (CO 2 ) gas and nitrogen (N 2 ) gas with outside air (air) from an external gas cylinder (not shown) is passed through a HEPA filter (High Efficiency Particulate Air Filter). supplied via Heaters (not shown) are provided on the side and bottom surfaces of the culture chamber 41 .
  • the incubation chamber 41 is controlled so that the concentration, temperature, and humidity of the mixed gas are kept constant, thereby maintaining a constant culture environment.
  • the imaging device 10 has a size that allows it to be taken in and out of the culture room 41 . As shown in FIG. 7, one imaging device 10 is inserted into one incubation chamber 41 . That is, the lid 42 can be closed while the imaging device 10 with the culture container 20 placed thereon is inserted into the culture chamber 41 . As a result, while culturing the fertilized egg 21 in the culture chamber 41 , the image of the fertilized egg 21 can be captured by the imaging device 10 without removing the culture container 20 from the culture chamber 41 .
  • the culture chamber 41 is a substantially rectangular parallelepiped space.
  • Xc be the length of the incubation chamber 41 in the X direction
  • Yc be the length in the Y direction
  • Zc be the length in the Z direction.
  • the length Zc is hereinafter also referred to as the height of the culture chamber 41 . Since the height of the culture container 20 used for culturing the fertilized egg 21 is usually about 10 to 20 mm, the height Zc of the culture chamber 41 is the same as that of a general incubator for culturing cells other than fertilized eggs. It is lower than the height of the chamber, for example less than 10 cm.
  • the imaging device 10 is inserted into the incubation chamber 41 after being adjusted so that the height Zi satisfies the relationship Zi ⁇ Zc.
  • the information processing device 50 is, for example, a desktop personal computer.
  • a display 51 , a keyboard 52 , a mouse 53 and the like are connected to the information processing device 50 .
  • the keyboard 52 and mouse 53 constitute an input device 54 for the user to enter information.
  • the input device 54 also includes a touch panel and the like.
  • the information processing device 50 exchanges data with the imaging devices 10 accommodated in each incubation room 41 by wireless communication.
  • the imaging device 10 performs imaging periodically (for example, every 5 to 15 minutes).
  • the information processing device 50 periodically receives image data including the interference fringe image 33 (see FIG. 5) from the imaging device 10, performs reconstruction processing based on the received image data, and reproduces the reconstruction generated by the reconstruction processing. View the composition image.
  • a reconstructed image is also called a tomographic image.
  • FIG. 8 shows an example of internal configurations of the imaging device 10 and the information processing device 50 .
  • the imaging device 10 includes a processor 60, a storage device 61, a communication unit 62, a power supply unit 63, and a battery 64, in addition to the lighting device 11 and the imaging sensor 12. These include a bus line 65. interconnected via The processor 60 is an example of a "first processor" according to the technology of the present disclosure.
  • the processor 60 is, for example, an FPGA (Field Programmable Gate Array), and controls the operation of each unit in the imaging device 10.
  • the storage device 61 is RAM (Random Access Memory), flash memory, or the like. The storage device 61 stores image data generated by the imaging device 10 and various data.
  • the communication unit 62 performs wireless communication with the information processing device 50 .
  • Processor 60 transmits image data to information processing device 50 via communication unit 62 .
  • the battery 64 is a secondary battery such as a lithium polymer battery.
  • the power supply unit 63 includes a power supply circuit and a charging control circuit.
  • the power supply unit 63 supplies power supplied from the battery 64 to the processor 60 and the like. Further, the power supply unit 63 controls charging of the battery 64 with electric power supplied from the outside. Note that the power supply unit 63 may be configured to wirelessly charge the battery 64 .
  • the information processing device 50 includes a processor 55 , a storage device 56 and a communication section 57 , which are interconnected via a bus line 58 . Also, the display 51 and the input device 54 are connected to the bus line 58 .
  • the processor 55 is composed of, for example, a CPU (Central Processing Unit), and implements various functions by reading the operating program 56A and various data stored in the storage device 56 and executing the processes.
  • a CPU Central Processing Unit
  • the storage device 56 includes, for example, RAM, ROM (Read Only Memory), or a storage device.
  • RAM is, for example, a volatile memory used as a work area or the like.
  • the ROM is a nonvolatile memory such as a flash memory that holds the operating program 56A and various data, for example.
  • the storage device is, for example, a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the storage stores an OS (Operating System), application programs, image data, various data, and the like.
  • the communication unit 57 performs wireless communication with the communication unit 62 of the imaging device 10 .
  • the processor 55 receives image data transmitted from the imaging device 10 via the communication section 57 .
  • the processor 55 also transmits a control signal for controlling imaging to the imaging device 10 via the communication unit 57 .
  • the display 51 displays various screens.
  • the information processing apparatus 50 receives input of operation instructions from the input device 54 through various screens.
  • FIG. 9 shows an example of the functional configuration of the information processing device 50.
  • the functions of information processing device 50 are realized by processor 55 executing processing based on operation program 56A.
  • the processor 55 includes an imaging control section 70 , an image data acquisition section 71 , a reconstruction processing section 72 , an aperture synthesis processing section 73 , and a display control section 74 .
  • the imaging control unit 70 controls the operation of the imaging device 10 . Specifically, the imaging control unit 70 controls the operation of generating the illumination light 16 by the illumination device 11 and the imaging operation of the imaging sensor 12 by transmitting a control signal to the imaging device 10 . More specifically, the imaging control unit 70 sequentially emits the illumination light 16 from the light sources 18A, 18B, and 18C included in the illumination device 11, and causes the imaging sensor 12 to perform an imaging operation each time the illumination light 16 is emitted. let it happen
  • the imaging control unit 70 causes the imaging device 10 to start imaging operation based on the operation signal input from the input device 54 .
  • the image data acquisition unit 71 acquires three generated image data DT transmitted from the imaging device 10 after the imaging device 10 has captured the image of the fertilized egg 21 in the culture container 20 .
  • the three image data DT correspond to the light sources 18A, 18B, and 18C, and the irradiation angles of the illumination light 16 with respect to the imaging surface 12A of the imaging sensor 12 are different.
  • the image data acquisition unit 71 supplies the three image data DT acquired from the imaging device 10 to the reconstruction processing unit 72 .
  • the reconstruction processing unit 72 generates three reconstructed images RP by performing calculations based on each of the three image data DT supplied from the image data acquisition unit 71 .
  • the reconstruction processing unit 72 generates a reconstructed image RP for a predetermined reconstruction position P, which is the height at which the fertilized egg 21 exists.
  • the reconstruction position P is a position (so-called depth position) represented by a distance d from the imaging surface 12A of the imaging sensor 12 in the direction of the illumination device 11 .
  • the reconstruction position P may be set or changed by the user operating the input device 54 .
  • the reconstruction processing unit 72 performs reconstruction processing based on, for example, the Fresnel transform equations represented by the following equations (1) to (3).
  • I(x, y) represents image data.
  • x represents the coordinate in the X direction of the pixel 12B (see FIG. 4) of the image sensor 12;
  • y represents the coordinate of the pixel 12B in the Y direction.
  • ⁇ x is the aforementioned first array pitch
  • ⁇ y is the aforementioned second array pitch (see FIG. 4).
  • is the wavelength of the illumination light 16 .
  • ⁇ (m,n) is a complex amplitude image obtained by Fresnel transforming the interference fringe image included in the image data.
  • Nx represents the number of pixels in the X direction of the image data.
  • Ny represents the number of pixels in the Y direction of the image data.
  • a 0 (m,n) is an intensity distribution image representing intensity components of the complex amplitude image ⁇ (m,n).
  • ⁇ 0 (m,n) is a phase distribution image representing the phase component of the complex amplitude image ⁇ (m,n).
  • the reconstruction processing unit 72 obtains a complex amplitude image ⁇ (m,n) based on equation (1), and applies the obtained complex amplitude image ⁇ (m,n) to equation (2) or equation (3). By doing so, an intensity distribution image A 0 (m, n) or a phase distribution image ⁇ 0 (m, n) is obtained.
  • the reconstruction processing unit 72 obtains one of the intensity distribution image A 0 (m, n) and the phase distribution image ⁇ 0 (m, n), and outputs it as a reconstructed image RP.
  • the reconstruction processing unit 72 outputs the phase distribution image ⁇ 0 (m, n) as the reconstructed image RP.
  • the phase distribution image ⁇ 0 (m, n) is an image representing the refractive index distribution of the observed object. Since the fertilized egg 21, which is the object to be observed in this embodiment, is translucent, most of the illumination light 16 is transmitted or diffracted without being absorbed by the fertilized egg 21, so the intensity distribution is hardly any image appears in Therefore, in this embodiment, it is preferable to use the phase distribution image ⁇ 0 (m,n) as the reconstructed image RP.
  • the reconstruction processing unit 72 is not limited to the method using the Fresnel transform formula, and may perform the reconstruction processing using the Fourier iterative phase retrieval method or the like.
  • the reconstruction processing unit 72 generates three reconstructed images RP by performing the above reconstruction processing on each of the three image data DT supplied from the image data acquisition unit 71 .
  • the reconstruction processing unit 72 supplies the generated three reconstruction images RP to the aperture synthesis processing unit 73 .
  • the three reconstructed images RP correspond to the light sources 18A, 18B, and 18C, and the irradiation angles of the illumination light 16 with respect to the imaging surface 12A of the imaging sensor 12 are different.
  • the aperture synthesis processing unit 73 generates a synthetic image SP by performing aperture synthesis processing on the three reconstructed images RP supplied from the reconstruction processing unit 72 . Specifically, the aperture synthesis processing unit 73 Fourier-transforms each of the three reconstructed images RP, synthesizes them in the frequency space, and inverse Fourier-transforms the synthesized frequency data to generate a synthesized image SP. Since the three reconstructed images RP are images with different irradiation angles of the illumination light 16 with respect to the observed object, by synthesizing these in the frequency space, high-frequency components of the observed object are incorporated, resulting in high spatial resolution. A high-quality synthetic image SP can be obtained.
  • the synthesized image SP is an image including depth information (that is, three-dimensional information) of the fertilized egg 21 .
  • the aperture synthesis process improves the acquisition accuracy of the three-dimensional information of the fertilized egg 21 when imaging using a plurality of lights that pass through the same point or the same area of the fertilized egg 21, resulting in a high-quality synthetic image SP. is obtained. That is, when the intersection point K described above is positioned inside the fertilized egg 21, a high-quality composite image SP is obtained.
  • the display control unit 74 causes the display 51 to display the synthetic image SP generated by the aperture synthesis processing unit 73 .
  • the display control unit 74 causes the display 51 to display the synthesized image SP corresponding to one reconstruction position P, but displays a plurality of synthesized images SP corresponding to a plurality of reconstruction positions P on the display 51. You may let
  • step S10 the user adjusts the height Zi of the imaging device 10 according to the height Zc of the incubation chamber 41 of the incubator 40 (step S10).
  • step S10 the light source 18B and the light source 18C rotate in conjunction with the user changing the height Zi of the imaging device 10.
  • the user places the culture container 20 on the stage 15 of the imaging device 10 and inserts the imaging device 10 into the culture chamber 41 of the incubator 40 (step S11).
  • the imaging device 10 may be inserted into at least one culture chamber 41 among the plurality of culture chambers 41 .
  • the user closes the lid 42 of the culture chamber 41 and causes the incubator 40 to start culturing (step S12).
  • the imaging device 10 images the fertilized egg 21 in the incubation container 20 under the control of the information processing device 50 (step S13).
  • the imaging device 10 wirelessly transmits the three image data DT generated by performing the imaging operation to the information processing device 50 (step S14).
  • the information processing device 50 receives the three image data DT transmitted from the imaging device 10 (step S15).
  • the reconstruction processing unit 72 of the information processing device 50 generates three reconstructed images RP corresponding to at least one reconstruction position P by performing reconstruction processing on each of the three image data DT (step S16).
  • the aperture synthesis processing unit 73 generates a synthesized image SP by performing aperture synthesis processing based on the three reconstructed images RP generated by the reconstruction processing unit 72 (step S17).
  • the display control unit 74 causes the display 51 to display the synthesized image SP generated by the aperture synthesis processing unit 73 (step S18).
  • the information processing device 50 determines whether or not the culture by the incubator 40 has ended (step S19). Cultivation is performed, for example, for a maximum of 7 days from the start of culturing. The information processing device 50 determines whether or not culturing has ended, for example, based on the elapsed time from the start of culturing. When the information processing device 50 determines that the culture has not ended (step S19: NO), it determines whether or not a certain period of time (for example, 10 minutes) has passed since the previous imaging (step S20). .
  • a certain period of time for example, 10 minutes
  • step S20 determines that a certain period of time has elapsed since the previous imaging (step S20: YES).
  • step S19 After the information processing device 50 determines that the culture by the incubator 40 is completed (step S19: YES), the user takes out the imaging device 10 from the culture room 41 of the incubator 40 (step S21).
  • the imaging device 10 captures an interference fringe image by lens-free imaging that does not use an optical lens, so the device size is small. Therefore, the imaging device 10 can be put into and taken out of the culture chamber 41 of the small-sized incubator 40 for fertilized eggs.
  • the fertilized egg incubator 40 is inexpensive because it does not include an optical camera or the like.
  • the position of the intersection point K is maintained at the position of the fertilized egg 21 by rotating the light sources 18B and 18C in accordance with the change in the height Zi.
  • a high-quality composite image SP can be obtained without causing the above-described positional deviation. Therefore, according to the technique of the present disclosure, it is possible to accurately acquire three-dimensional information of an observation target even when the height Zi of the imaging device 10 is changed.
  • the angle changing mechanism 19 in the above embodiment may be an automatic control mechanism that automatically rotates the light source 18B and the light source 18C to an angle determined according to the height Zi of the imaging device 10 by electrical control. Also, the angle of the light source 18B and the light source 18C may be configured to be manually changeable by the user.
  • the angle changing mechanism 19 that rotates the light source 18B and the light source 18C is configured by a mechanical rotating mechanism that is driven in conjunction with changing the height Zi of the imaging device 10. It may be configured by an actuator that is electrically driven to rotate.
  • the imaging device 10 is provided with a height detection section 80 .
  • the height detection unit 80 is, for example, an encoder provided on the column 13 and detects the height Zi of the imaging device 10 .
  • the processor 60 controls the angle changing mechanism 19 composed of actuators to maintain the position of the intersection point K at the position of the fertilized egg 21.
  • light source 18B and light source 18C are rotated so that the position of intersection point K does not change.
  • the processor 60 determines a region (hereinafter referred to as an estimated region R) in which the fertilized egg 21, which is an object to be observed, is estimated to exist from a geometrical relationship in the three image data DT acquired by the imaging sensor 12.
  • the positional relationship with the interference fringe image 33 may be determined, and the angle changing mechanism 19 may be controlled according to the determination result.
  • the processor 60 controls the angle changing mechanism 19 to rotate the light source 18B and/or the light source 18C so that the estimation area R includes the interference fringe image 33 .
  • FIG. 13 shows an example of the estimated region R when the intersection point K described above exists at the position of the fertilized egg 21 .
  • the estimated area R1 is an estimated area R within the image data DT obtained when the illumination light 16 is emitted from the light source 18A.
  • the estimated area R2 is an estimated area R within the image data DT obtained when the illumination light 16 is emitted from the light source 18B.
  • the estimated area R3 is an estimated area R within the image data DT acquired when the illumination light 16 is emitted from the light source 18C.
  • the inclusion of the interference fringe image 33 in each of the estimated regions R1, R2, and R3 corresponds to the presence of the intersection point K at the position of the fertilized egg 21. Therefore, the light source 18B and the light source Adjustment of the rotation angle of 18C is unnecessary.
  • the fact that the estimation regions R2 and R3 do not include the interference fringe image 33 corresponds to the fact that the intersection point K does not exist at the position of the fertilized egg 21, so the rotation of the light sources 18B and 18C Need to adjust the angle. Note that the fact that the estimation region R does not include the interference fringe image 33 also means that the estimation region R does not include a part of the interference fringe image 33 .
  • the processor 60 controls the angle changing mechanism 19 so that the estimation regions R2 and R3 do not include the interference fringe images 33.
  • the rotation angles of the light source 18B and the light source 18C are adjusted so that the
  • the angle changing mechanism 19 rotates the light source 18B and the light source 18C to change the irradiation angle of the illumination light 16 with respect to the fertilized egg 21, which is the object to be observed.
  • the irradiation angle may be changed by changing the angle of the base 17 that supports the light source 18C.
  • the angle changing mechanism 19 may change the irradiation angle by rotating an optical element such as a mirror or lens provided on the optical path of the illumination light 16 emitted from the light sources 18B and 18C.
  • the light sources 18A, 18B, and 18C are arranged along the Y direction, but the arrangement direction is not limited to this, and they may be arranged along the X direction.
  • the illumination device 11 has three light sources 18A, 18B, and 18C, but the number of light sources included in the illumination device 11 is not limited to three, and may be two or more.
  • the lighting device according to the technology of the present disclosure may have a plurality of light sources that irradiate an observation target with illumination light at different irradiation angles. The angle changing mechanism should just change the irradiation angle of the illumination light for at least one of the plurality of light sources.
  • each light source of the illumination device 11 may be a laser light source in which a plurality of light emitting points (for example, 36 light emitting points) are arranged in a two-dimensional array.
  • a vertical cavity surface emitting laser (Vertical Cavity Surface Emitting Laser) can be used.
  • a high-resolution interference fringe image is obtained by synthesizing a plurality of image data obtained by the image sensor 12 performing an imaging operation while sequentially emitting light from a plurality of light-emitting points included in one light source.
  • One image data DT including an interference fringe image is obtained.
  • FIG. 16 illustrates the configuration of the light emitting surface 90A of the light source 90 having multiple light emitting points 90B.
  • the light emitting surface 90A is arranged at a position facing the imaging sensor 12 .
  • a plurality of light emitting points 90B are arranged in a two-dimensional array on the light emitting surface 90A.
  • the arrangement pitch of the light emitting points 90B is about 10 ⁇ m to 100 ⁇ m.
  • Each of the light emitting points 90B is selected in turn to emit the illumination light 16.
  • the light emission time interval of the plurality of light emission points 90B is several milliseconds.
  • the arrangement pitch of the light emitting points 90B only needs to be different from the arrangement pitch of the pixels 12B, and does not necessarily have to be smaller than the arrangement pitch of the pixels 12B. For example, even if the light emitting point 90B is located directly above the adjacent pixel 12B, the array pitch of the light emitting point 90B does not have to match the array pitch of the pixels 12B. In this case, since the illumination light 16 is illuminated at different positions on the pixels 12B, when combining a plurality of image data, different pixels 12B that are directly below the respective light emitting points 90B and are illuminated with the illumination light 16 can be selected. It is possible to generate one piece of image data DT including a super-resolution interference fringe image by regarding them as the same pixels and aligning them with an accuracy of one pixel or less.
  • the light emitting points 90B are arranged in a 6 ⁇ 6 square, and 36 light emitting points 90B are provided on the light emitting surface 90A. Not limited to array patterns. As the number of light emitting points 90B increases, the resolution of the interference fringe image can be increased, but the computation time for the synthesis processing and reconstruction processing increases. Therefore, it is preferable to optimize the number of light emitting points 90B according to the required image quality and calculation time.
  • a synthesized image SP including three-dimensional information of the fertilized egg 21 is generated.
  • the plurality of reconstructed images RP generated by the reconstruction processing unit 72 are images in which the irradiation angles of the illumination light 16 with respect to the fertilized egg 21 are different, the filtered back projection method or the like used in radiation tomosynthesis imaging or the like is used.
  • An image including three-dimensional information may be acquired by performing arithmetic processing.
  • the imaging device according to the second embodiment is configured such that a plurality of lighting devices with different irradiation angles of illumination light (that is, different distances from the light source to the intersection point K) are detachably attached to the column 13 .
  • FIG. 17 shows the configuration of an imaging device 10A according to the second embodiment.
  • the support 13 is configured so that the first lighting device 11A and the second lighting device 11B can be selectively attached.
  • an end portion of the upper portion 13A is provided with a mounting portion 13D to which the first lighting device 11A and the second lighting device 11B are selectively mounted.
  • the first lighting device 11A and the second lighting device 11B are each composed of a base 17 and three light sources 18A, 18B, and 18C.
  • the light source 18C is fixed to the base 17 and is not rotatable.
  • the angle changing mechanism is composed of the first lighting device 11A, the second lighting device 11B, and the mounting portion 13D.
  • the mounting angles of the light sources 18B and 18C with respect to the base 17 are different between the first lighting device 11A and the second lighting device 11B.
  • the irradiation angle of the illumination light 16 by the light source 18B and the light source 18C (that is, the angle of the central axis 16A) differs between the first lighting device 11A and the second lighting device 11B.
  • the first lighting device 11A has a shorter distance from the light sources 18A, 18B, and 18C to the intersection point K than the second lighting device 11B.
  • the first lighting device 11A is suitable when the height Zi of the imaging device 10A is small.
  • the second lighting device 11B is suitable when the height Zi of the imaging device 10A is high.
  • the height Zi of the imaging device 10A can be changed to two levels of "L” and "H".
  • the user attaches either the first lighting device 11A or the second lighting device 11B to the post 13 according to the height Zi. , and the intersection point K can be matched with the position of the fertilized egg 21, which is the object to be observed. As a result, it is possible to acquire three-dimensional information of the observed object with high accuracy.
  • two lighting devices with different irradiation angles of the illumination light 16 can be selectively attached to the column 13, but three or more lighting devices with different irradiation angles of the illumination light 16 can be attached. It may be selectively attachable to the strut 13 .
  • the height Zi of the imaging device 10A can be changed in three or more steps according to the irradiation angle of each lighting device.
  • a variable height Zi of the imaging device 10A is determined in advance, and an illumination device that emits the illumination light 16 at an irradiation angle suitable for each height Zi may be provided.
  • the irradiation angle is changed by changing the illumination device attached to the post 13, but the light source in the illumination device, the base of the light source, and the illumination light are arranged on the optical path of the illumination light.
  • the irradiation angle may be changed by changing mirrors, lenses, or the like.
  • the observed object is the fertilized egg, but the observed object is not limited to the fertilized egg.
  • the object to be observed may be floating cells other than fertilized eggs. Suspended cells are cells that float in a culture medium. Floating cells include, in addition to fertilized eggs, CHO (Chinese Hamster Ovary) cells used for antibody production.
  • the hardware configuration of the computer that constitutes the information processing device 50 can be configured with a plurality of computers separated as hardware for the purpose of improving processing capability and reliability.
  • the hardware configuration of the computer of the information processing device 50 can be appropriately changed according to required performance such as processing power, safety, and reliability.
  • application programs such as the operating program 56A can be duplicated or distributed and stored in multiple storage devices for the purpose of ensuring safety and reliability. .
  • the hardware structure of the processing unit (processing unit) that executes various processes such as the image data acquisition unit 71, the reconstruction processing unit 72, the aperture synthesis processing unit 73, and the display control unit 74 is shown below.
  • Various processors can be used.
  • the various processors include, as described above, a CPU, which is a general-purpose processor that executes software (operation program 56A) and functions as various processing units, as well as FPGAs and the like whose circuit configuration can be changed after manufacture.
  • Programmable Logic Device which is a processor, ASIC (Application Specific Integrated Circuit), etc. Includes a dedicated electric circuit, which is a processor with a circuit configuration specially designed to execute specific processing. .
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of a plurality of FPGAs and/or a CPU and combination with FPGA). Also, a plurality of processing units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including multiple processing units with a single IC (Integrated Circuit) chip. be.
  • the various processing units are configured using one or more of the above various processors as a hardware structure.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Medicinal Chemistry (AREA)
  • Multimedia (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

撮像装置は、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を有する照明装置と、照明光が照射された観察対象物により生成される干渉縞像を撮像して画像データを生成する撮像センサと、撮像センサに対する照明装置の高さを調整可能とする高さ調整機構と、複数の光源から出射される照明光の中心軸の交点が観察対象物に位置するように、高さに応じて照明光の照射角度を変更する角度変更機構と、を備える。

Description

撮像装置及び情報処理装置
 本開示の技術は、撮像装置及び情報処理装置に関する。
 近年、不妊治療の需要が高まっている。体外受精の処置がなされた受精卵の培養には、受精卵用のインキュベータが用いられている。インキュベータで培養された受精卵(胚)は、胚移植又は凍結される。なお、胚とは、分裂状態にある受精卵を指す。
 従来、培養中の受精卵を観察するには、インキュベータから受精卵が入った培養ディッシュ(トレイともいう。)を取り出した後、顕微鏡で観察する必要があった。インキュベータから培養ディッシュを取り出すと、温度変化などにより受精卵にストレスが加わることが問題となっていた。
 そこで、特開2018-093795号公報において、培養ディッシュを取り出さずに培養中の受精卵を観察することを可能とするインキュベータが提案されている。特開2018-093795号公報に記載のインキュベータは、複数の培養ディッシュを培養環境に保持する培養部と、培養部に保持された培養ディッシュに対応して設けられた撮像部とを含む。特開2018-093795号公報に記載のように、受精卵を培養ディッシュで培養しながら、培養ディッシュを培養部から取り出さずに受精卵を観察することを可能とするインキュベータは、タイムラプスインキュベータと呼ばれている。
 また、特開2018-093795号公報に記載の撮像部は、レンズを有する光学カメラであるので、レンズを光軸に沿って移動させることにより焦点調節が行われている。人の卵子は、ほぼ球状であって、直径は100~150μm程度である。卵子の受精を判断する際に手がかりとなる前核等の存在位置が卵子のいずれの位置に存在するかは分からない。このため、特開2018-093795号公報に記載の撮像部は、焦点位置が異なる画像を複数撮像している。
 特開2018-093795号公報に記載の装置のように、従来、細胞等の観察には位相差顕微鏡等の顕微鏡が用いられていたが、観察対象物の撮像時に焦点合わせを行う必要があった。このため、近年は、観察対象物の撮像時に焦点合わせが不要なレンズフリーのデジタルホログラフィが用いられつつある(例えば、特表2012-531584号公報参照)。
 デジタルホログラフィでは、レーザ光等のコヒーレントな光を観察対象物に照射することにより生じる干渉縞像を撮像し、撮像により得られた干渉縞像を再構成することにより、任意の焦点位置における再構成画像(いわゆる断層画像)を生成することができる。
 受精卵用のインキュベータは小型であるため、撮像装置をインキュベータの培養室に収容するためには装置サイズを小さくする必要がある。そこで、本出願人は、特願2021-031210号において、光源及び撮像センサを備え、培養容器内に播種された受精卵を撮像することにより干渉縞像を含む画像データを生成する撮像装置であって、インキュベータに設けられた培養室に出し入れ可能である撮像装置を提案している。また、本出願人は、撮像装置の高さを調整可能とする高さ調整機構を設けることを提案している。
 また、受精卵等の観察対象物の3次元情報を取得するために、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を撮像装置に設けることが考えられる。しかしながら、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を備えた撮像装置において高さを変更可能すると、複数の光源から観察対象物までの距離が変化することにより、3次元情報を正確に取得できないことがある。
 本開示の技術は、高さが変更された場合であっても精度よく観察対象物の3次元情報を取得することを可能とする撮像装置、及び情報処理装置を提供することを目的とする。
 上記目的を達成するために、本開示の撮像装置は、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を有する照明装置と、照明光が照射された観察対象物により生成される干渉縞像を撮像して画像データを生成する撮像センサと、撮像センサに対する照明装置の高さを調整可能とする高さ調整機構と、複数の光源から出射される照明光の中心軸の交点が観察対象物に位置するように、高さに応じて照明光の照射角度を変更する角度変更機構と、を備える。
 角度変更機構は、複数の光源のうち少なくとも1つを回転させることにより照明光の照射角度を変更することが好ましい。
 角度変更機構は、高さ調整機構による高さの変更に連動して照明光の照射角度を変更することが好ましい。
 角度変更機構を制御して照射角度を変更させる第1プロセッサを備え、第1プロセッサは、画像データにおいて観察対象物が存在すると推定される推定領域と干渉縞像との位置関係に基づいて角度変更機構を制御することにより、照射角度を調整することが好ましい。
 照明装置を支持する支柱を備え、高さ調整機構は、支柱の長さを変更可能とすることが好ましい。
 角度変更機構は、照明光の照射角度が異なる複数の照明装置と、複数の照明装置が選択的に取り付けられる取り付け部とにより構成されていることが好ましい。
 照明装置を支持する支柱を備え、高さ調整機構は、支柱の長さを変更可能とし、取り付け部は、支柱に設けられていることが好ましい。
 画像データを、無線送信する通信部を備えることが好ましい。
 本開示の情報処理装置は、上記撮像装置から送信された画像データを受信し、受信した画像データに基づいて再構成処理を行うことにより再構成画像を生成する第2プロセッサを備える。
 第2プロセッサは、複数の光源に対応する複数の再構成画像に対して開口合成処理を施すことにより合成画像を生成することが好ましい。
 本開示の技術によれば、高さが変更された場合であっても精度よく観察対象物の3次元情報を取得することを可能とする撮像装置、及び情報処理装置を提供することができる。
撮像装置の一例を示す斜視図である。 培養容器が載置された撮像装置の側面図である。 培養容器が載置された撮像装置の側面図である。 撮像センサの構成の一例を示す図である。 受精卵に照明光を照射することにより干渉縞像が生成される様子を示す図である。 撮像センサにより生成される画像データの一例を示す図である。 タイムラプスイメージングシステムの構成の一例を示す模式図である。 撮像装置及び情報処理装置の内部構成の一例を示すブロック図である。 情報処理装置の機能構成の一例を示すブロック図である。 再構成位置の一例を示す図である。 タイムラプスイメージングシステムの全体動作の一例を示すフローチャートである。 変形例に係る撮像装置の構成を示すブロック図である。 画像データにおける推定領域の一例を示す図である。 推定領域に干渉縞像が含まれている場合の一例を示す図である。 推定領域に干渉縞像が含まれていない場合の一例を示す図である。 変形例に係る光源の発光面の構成を示す模式図である。 第2実施形態に係る撮像装置の構成を示す側面図である。
 添付図面に従って本開示の技術に係る実施形態の一例について説明する。
 [第1実施形態]
 図1は、第1実施形態に係る撮像装置10を示す。撮像装置10は、照明装置11、撮像センサ12、支柱13、基台14、及びステージ15を有する。撮像装置10は、光学レンズを用いずに観察対象物を撮像する、いわゆるレンズフリーイメージングを行う。
 照明装置11は、ほぼL字状の支柱13の一端に接続されている。支柱13の他端は、基台14に接続されている。基台14は、平板状であって、ほぼ中央にステージ15が設けられている。ステージ15には、受精卵を培養するための培養容器20が載置される凹状の載置部15Aが設けられている。支柱13は、照明装置11が撮像センサ12の撮像面12Aに対向するように、照明装置11を支持している。受精卵は、本開示の技術に係る「観察対象物」の一例である。
 以下、照明装置11と撮像面12Aとが対向する方向をZ方向という。また、Z方向に直交する一方向をX方向という。そして、Z方向及びX方向に直交する方向をY方向という。撮像面12Aは、Z方向に直交し、かつX方向及びY方向に平行である。
 撮像センサ12は、例えば、モノクロのCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサにより構成されている。撮像センサ12の撮像面12A上に培養容器20が載置される。培養容器20は、円筒状の浅い容器であり、培養ディッシュとも称される。培養容器20は、透明であり、照明装置11から出射される照明光16を透過させる。なお、培養容器20の直径は、30~60mm程度である。培養容器20の厚みは、10~20mm程度である。
 培養容器20には、体外受精の処置がなされた受精卵21が播種されている。体外受精の処置には、顕微鏡下で行なわれる顕微授精による処置と、卵子と精子を所定の容器内で一緒にして行なわれる通常の体外受精による処置とが含まれる。培養する受精卵21の受精の手法は問わない。受精卵21は、例えば、人の受精卵である。受精卵21は、ほぼ球形であって、直径は100~200μm程度である。
 受精卵21の各々は、培養容器20に滴下された培養液22中に浮遊している。培養液22は、培養容器20に充填されたオイル23で覆われている。オイル23は、培養液22の蒸発及びpHの変化を抑制する。なお、分裂状態にある受精卵21は、胚とも称される。本開示における受精卵21には、胚が含まれる。
 なお、培養容器20は、不図示の透光性を有する蓋がかぶせられた状態で、撮像装置10により受精卵21の撮像が行われる。
 また、図2及び図3に示すように、撮像装置10は、高さZi(すなわちZ方向への長さ)が変更可能に構成されている。撮像装置10の高さZiは、支柱13の長さを変更することにより、変更可能となっている。具体的には、支柱13は、上部13Aと下部13Bとに分離されている。上部13Aには、照明装置11が接続されている。下部13Bは、基台14に接続されている。上部13Aと下部13Bとは、スライド自在に、互いに勘合されている。上部13A及び下部13Bは、本開示の技術に係る「高さ調整機構」の一例である。
 下部13Bに対して上部13Aをスライドさせることにより、撮像装置10の高さZiを変更することができる。支柱13には、上部13Aと下部13Bに対して固定するための固定ねじ13Cが設けられている。ユーザは、下部13Bに対する上部13Aの位置を調整し、撮像装置10の高さZiを所望の値とした状態で固定ねじ13Cを操作することにより、下部13Bに対して上部13Aを固定する。
 下部13Bに対して上部13Aが、図示しない駆動機構によってスライドするように構成されていてもよい。この場合、図示しないスイッチを操作することにより、上部13Aが移動するように構成することが好ましい。
 また、撮像装置10の高さZiを調整することは、撮像センサ12に対する照明装置11の高さを調整することに相当する。したがって、上部13A及び下部13Bは、本開示の技術に係る「撮像センサに対する照明装置の高さを調整可能とする高さ調整機構」の一例である。なお、高さ調整機構は、上述した構成に限られず、適宜変更可能である。
 図2及び図3は、培養容器20が載置された撮像装置10の側面図である。図2に示すように、照明装置11は、基台17と、3個の光源18A,18B,18Cとで構成されている。基台17は、支柱13に接続されている。光源18A,18B,18Cは、基台17のステージ15に対向する面に設けられている。
 光源18A,18B,18Cは、それぞれ例えばレーザーダイオードにより構成されており、ステージ15に向けて照明光16(図1参照)を出射する。光源18A,18B,18Cは、それぞれ発光ダイオードとピンホールとを組み合わせて構成されたものであってもよい。照明光16は、コヒーレントな光である。照明光16の波長は、640nm、780nm等である。照明光16は、放射光である。なお、図2及び図3では、照明光16の中心軸16Aを示している。
 光源18A,18B,18Cは、それぞれ撮像センサ12の撮像面12Aに対する照明光16の照射角度が異なる。光源18Aは、基台17の撮像面12Aの中央に対向する位置に取り付けられており、撮像面12Aに対してほぼ直交する方向から照明光16を出射する。
 光源18Bは、基台17の光源18Aの取り付け位置から+Y方向にずれた位置に取り付けられており、撮像面12Aに対して斜め方向から照明光16を出射する。光源18Cは、基台17の光源18Aの取り付け位置から-Y方向にずれた位置に取り付けられており、撮像面12Aに対して斜め方向から照明光16を出射する。光源18Bと光源18Cとは、光源18Aを中心としてY方向に対称となる位置に配置されている。また、光源18Bと光源18Cとは、それぞれ基台17に形成された傾斜面に配置されている。
 光源18B及び光源18Cには、撮像センサ12の撮像面12Aに対する照明光16の照射角度を変更可能とするための角度変更機構19が設けられている。角度変更機構19は、X方向に平行な回転軸を中心として、基台17に対して光源18B及び光源18Cをそれぞれ回転させる。すなわち、角度変更機構19は、X方向に平行な回転軸を中心として、照明光16の中心軸16Aを回転させる。
 また、角度変更機構19は、撮像装置10の高さZiの変更に連動して光源18B及び光源18Cをそれぞれ回転させるように構成されている。本実施形態では、角度変更機構19は、機械的な回転機構であり、下部13Bに対して上部13Aをスライドさせることに連動して回転する。
 図2及び図3において、符号Kは、光源18A,18B,18Cから出射される複数の照明光16の中心軸16Aが交わる交点を示している。観察対象物である受精卵21の3次元情報を精度よく取得するためには、受精卵21は、交点Kに配置されることが好ましい。
 撮像センサ12は、光源18A,18B,18Cの各々から出射され、培養容器20を透過した照明光16を検出する。具体的には、培養容器20に、照明光16が入射し、受精卵21で照明光16が回折されることにより、受精卵21の形状及び内部構造が反映された干渉縞像が生じる。干渉縞像は、ホログラム画像とも称される。撮像センサ12は、受精卵21により生成される干渉縞像を撮像する。
 図2は、撮像装置10の高さZiを最小とした状態を示している。図2では、中心軸16Aの交点Kに、観察対象物である受精卵21が位置している。
 図3は、撮像装置10の高さZiを変更し、高さZiを図2に示す場合よりも高くした状態を示している。図3に示すように、撮像装置10の高さZiを変更すると、角度変更機構19により光源18B及び光源18Cが回転し、照明光16の中心軸16Aの向きが変更される。角度変更機構19は、高さZiを変更しても交点Kの位置が変化しないように構成されている。
 図3において、回転前の光源18B、光源18C、及び中心軸16Aを二点鎖線で示している。このように、高さZiに応じて光源18B及び光源18Cが回転しない場合には、交点Kと観察対象物である受精卵21との位置にずれが生じるが、高さZiの変更に応じて光源18B及び光源18Cが回転することにより、交点Kの位置は受精卵21の位置に維持される。
 図4は、撮像センサ12の構成の一例を示す。撮像センサ12は、撮像面12Aに配置された複数の画素12Bを有する。画素12Bは、入射光を光電変換することにより、入射光量に応じた画素信号を出力する光電変換素子である。
 画素12Bは、X方向及びY方向に沿って等ピッチで配列されている。画素12Bの配列は、いわゆる正方配列である。なお、X方向は、Z方向に直交する方向である。Y方向は、X方向及びZ方向に直交する方向である。画素12Bは、X方向に第1配列ピッチΔxで配列されており、かつ、Y方向に第2配列ピッチΔyで配列されている。
 撮像センサ12は、撮像面12Aに入射する光を撮像し、画素12Bの各々から出力される画素信号により構成される画像データDTを出力する。
 図5は、受精卵21に照明光16を照射することにより干渉縞像が生成される様子を示す。培養容器20に入射した照明光16は、一部が受精卵21によって回折される。すなわち、照明光16は、受精卵21によって回折される回折光30と、受精卵21によって回折されず、培養容器20を透過する透過光31とに分かれる。透過光31は球面波あるいは平面波である。回折光30及び透過光31は、培養容器20の底面を透過して、撮像センサ12の撮像面12Aに入射する。
 回折光30と透過光31とは、互いに干渉することにより、干渉縞像33を生成する。干渉縞像33は、明部36及び暗部38により構成される。図5では、干渉縞像33は、明部36及び暗部38をそれぞれ円形として図示しているが、干渉縞像33の形状は、受精卵21の形状及び内部構造に応じて変化する。撮像センサ12は、撮像面12Aに形成された干渉縞像33を含む光像を撮像し、干渉縞像33を含む画像データDTを出力する。
 撮像センサ12は、光源18A,18B,18Cの各々から受精卵21に対して照明光16が照射されるたびに、干渉縞像33を含む光像を撮像して画像データDTを出力する。
 図6は、撮像センサ12により生成される画像データDTの一例を示す。図6(A)は、光源18Aから照明光16を出射した場合に撮像センサ12により生成される画像データDTを示す。図6(B)は、光源18Bから照明光16を出射した場合に撮像センサ12により生成される画像データDTを示す。図6(C)は、光源18Cから照明光16を出射した場合に撮像センサ12により生成される画像データDTを示す。
 画像データDTに写る干渉縞像33の位置は、照明光16の照射角度に応じて異なる。光源18Aから照明光16が出射された場合には、図6(A)に示すように、干渉縞像33は、Y方向に関して中央に位置する。光源18Bから照明光16が出射された場合には、干渉縞像33は、図6(B)に示すように、中央から-Y方向にδだけずれた位置に移動する。光源18Cから照明光16が出射された場合には、干渉縞像33は、図6(C)に示すように、中央から+Y方向にδだけずれた位置に移動する。
 ずれ量δは、撮像面12Aから受精卵21までの高さと、光源18B及び光源18Cから受精卵21への照明光16の入射角度とに依存する。
 図7は、タイムラプスイメージングシステムの構成の一例を示す。図7に示すように、タイムラプスイメージングシステム2には、撮像装置10、インキュベータ40、及び情報処理装置50が含まれる。インキュベータ40は、受精卵用のマルチルームインキュベータであり、胚培養装置とも称される。受精卵21は、インキュベータ40内で所定の期間(例えば、7日間)培養される。
 インキュベータ40は、受精卵以外の細胞を培養するための一般的なインキュベータのように1つの培養室を有するものではなく、複数の培養室41を有する。これは、培養室41の各々に撮像装置10を収容することで、受精卵21を他人の受精卵21と取り違えることのないよう個別に管理するためである。培養室41は、培養チャンバとも称される。なお、図7に示すインキュベータ40には、2つの培養室41が設けられているが、培養室41の数はこれには限定されず、適宜変更可能である。
 培養室41の各々には、開閉式の蓋42が設けられている。インキュベータ40には、培養室41ごとに、蓋42を開閉するためのスイッチ43が設けられている。ユーザがスイッチ43を操作することにより、図示しない駆動機構によって蓋42が開閉動作を行う。なお、蓋42は、手動で開閉する構成であってもよい。培養室41は、蓋42が閉じると、気密状態に保たれる。
 培養室41には、図示しない外部のガスボンベから二酸化炭素(CO)ガス、及び窒素(N)ガスと、外気(空気)とを混合した混合ガスが、HEPAフィルタ(High Efficiency Particulate Air Filter)を介して供給される。また、培養室41の側面及び底面には、図示しないヒータが設けられている。培養室41は、混合ガスの濃度、温度、及び湿度が一定となるように制御されることで、培養環境が一定に保たれる。
 撮像装置10は、培養室41内に出し入れ可能な大きさである。図7に示すように、1つの培養室41には、1つの撮像装置10が挿入される。すなわち、培養容器20が載置された撮像装置10を培養室41内に挿入した状態で、蓋42を閉じることが可能である。これにより、培養室41内で受精卵21を培養しながら、培養室41から培養容器20を取り出すことなく、撮像装置10により受精卵21を撮像することができる。
 例えば、培養室41は、ほぼ直方体形状の空間である。培養室41のX方向への長さをXcとし、Y方向への長さをYcとし、Z方向への長さをZcとする。以下、長さZcを培養室41の高さともいう。受精卵21の培養に用いられる培養容器20の高さは、通常10~20mm程度であるため、培養室41の高さZcは、受精卵以外の細胞を培養するための一般的なインキュベータの培養室の高さよりも低く、例えば10cm未満である。
 撮像装置10は、高さZiがZi<Zcの関係を満たすように調整されたうえで、培養室41内に挿入される。
 情報処理装置50は、例えば、デスクトップ型のパーソナルコンピュータである。情報処理装置50には、ディスプレイ51、キーボード52、及びマウス53などが接続されている。キーボード52及びマウス53は、ユーザが情報を入力するための入力デバイス54を構成する。入力デバイス54には、タッチパネル等も含まれる。
 情報処理装置50は、無線通信により、培養室41の各々に収容された撮像装置10との間でデータの授受を行う。撮像装置10は、定期的(例えば、5~15分ごと)に撮像を行う。情報処理装置50は、定期的に撮像装置10から干渉縞像33(図5参照)を含む画像データを受信し、受信した画像データに基づいて再構成処理を行い、再構成処理により生成した再構成画像を表示する。再構成画像は、断層画像とも称される。
 図8は、撮像装置10及び情報処理装置50の内部構成の一例を示す。図8に示すように、撮像装置10は、照明装置11及び撮像センサ12の他に、プロセッサ60、記憶装置61、通信部62、給電部63、及びバッテリ64を備え、これらはバスライン65を介して相互接続されている。プロセッサ60は、本開示の技術に係る「第1プロセッサ」の一例である。
 プロセッサ60は、例えば、FPGA(Field Programmable Gate Array)であり、撮像装置10内の各部の動作を制御する。記憶装置61は、RAM(Random Access Memory)又はフラッシュメモリなどである。記憶装置61は、撮像装置10により生成された画像データ、及び各種データを記憶する。
 通信部62は、情報処理装置50との間で無線通信を行う。プロセッサ60は、通信部62を介して、画像データを情報処理装置50に送信する。
 バッテリ64は、リチウムポリマーバッテリ等の二次電池である。給電部63は、電源回路及び充電制御回路を含む。給電部63は、バッテリ64から供給される電力を、プロセッサ60等に供給する。また、給電部63は、外部から供給される電力によるバッテリ64の充電を制御する。なお、給電部63は、バッテリ64を無線により充電することが可能に構成されていてもよい。
 情報処理装置50は、プロセッサ55、記憶装置56、及び通信部57を備え、これらはバスライン58を介して相互接続されている。また、バスライン58には、前述のディスプレイ51及び入力デバイス54が接続されている。
 プロセッサ55は、例えばCPU(Central Processing Unit)により構成されており、記憶装置56に格納された作動プログラム56A及び各種データを読み出して処理を実行することにより、各種機能を実現する。
 記憶装置56は、例えば、RAM、ROM(Read Only Memory)、又はストレージ装置等を含む。RAMは、例えば、ワークエリア等として用いられる揮発性メモリである。ROMは、例えば、作動プログラム56A及び各種データを保持するフラッシュメモリ等の不揮発性メモリである。ストレージ装置は、例えば、HDD(Hard Disk Drive)又はSSD(Solid State Drive)である。ストレージは、OS(Operating System)、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。
 通信部57は、撮像装置10の通信部62との間で無線通信を行う。プロセッサ55は、通信部57を介して撮像装置10から送信された画像データを受信する。また、プロセッサ55は、通信部57を介して、撮像装置10に撮像を制御するための制御信号を送信する。
 ディスプレイ51は、各種画面を表示する。情報処理装置50は、各種画面を通じて、入力デバイス54からの操作指示の入力を受け付ける。
 図9は、情報処理装置50の機能構成の一例を示す。情報処理装置50の機能は、作動プログラム56Aに基づいてプロセッサ55が処理を実行することにより実現される。図9に示すように、プロセッサ55には、撮像制御部70、画像データ取得部71、再構成処理部72、開口合成処理部73、及び表示制御部74が構成される。
 撮像制御部70は、撮像装置10の動作を制御する。具体的には、撮像制御部70は、撮像装置10に制御信号を送信することにより、照明装置11による照明光16の発生動作、及び撮像センサ12の撮像動作を制御する。より具体的には、撮像制御部70は、照明装置11に含まれる光源18A,18B,18Cから順次に照明光16を出射させ、照明光16が出射されるたびに撮像センサ12に撮像動作を行わせる。
 以下、照明装置11による照明光16の発生動作と、撮像センサ12の撮像動作とを合わせて、撮像装置10の撮像動作という。撮像制御部70は、入力デバイス54から入力される操作信号に基づいて、撮像装置10に撮像動作を開始させる。
 画像データ取得部71は、撮像装置10が培養容器20内の受精卵21を撮像した後、撮像装置10から送信される生成される3つの画像データDTを取得する。3つの画像データDTは、光源18A,18B,18Cに対応し、撮像センサ12の撮像面12Aに対する照明光16の照射角度が異なる。画像データ取得部71は、撮像装置10から取得した3つの画像データDTを再構成処理部72に供給する。
 再構成処理部72は、画像データ取得部71から供給される3つの画像データDTの各々に基づいて演算を行うことにより、3つの再構成画像RPを生成する。例えば、図10に示すように、再構成処理部72は、受精卵21が存在する高さである所定の再構成位置Pについて再構成画像RPを生成する。再構成位置Pは、撮像センサ12の撮像面12Aから照明装置11の方向への距離dにより表される位置(いわゆる深さ位置)である。なお、再構成位置Pは、ユーザが入力デバイス54を操作することにより設定又は変更可能としてもよい。
 再構成処理部72は、例えば、下式(1)~(3)で表されるフレネル変換式に基づいて再構成処理を行う。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 ここで、I(x,y)は、画像データを表す。xは、撮像センサ12の画素12B(図4参照)のX方向に関する座標を表す。yは、画素12BのY方向に関する座標を表す。Δxは、前述の第1配列ピッチであり、Δyは、前述の第2配列ピッチである(図4参照)。λは、照明光16の波長である。
 式(1)に示すように、Γ(m,n)は、画像データに含まれる干渉縞像がフレネル変換された複素振幅画像である。ここで、m=1,2,3,・・・Nx-1、及びn=1,2,3,・・・Ny-1である。Nxは、画像データのX方向への画素数を表している。Nyは、画像データのY方向への画素数を表している。
 式(2)に示すように、A(m,n)は、複素振幅画像Γ(m,n)の強度成分を表す強度分布画像である。式(3)に示すように、φ(m,n)は、複素振幅画像Γ(m,n)の位相成分を表す位相分布画像である。
 再構成処理部72は、式(1)に基づいて複素振幅画像Γ(m,n)を求め、求めた複素振幅画像Γ(m,n)を、式(2)又は式(3)に適用することにより、強度分布画像A(m,n)又は位相分布画像φ(m,n)を求める。再構成処理部72は、強度分布画像A(m,n)と位相分布画像φ(m,n)とのうちのいずれか1つを求めて、再構成画像RPとして出力する。
 本実施形態では、再構成処理部72は、位相分布画像φ(m,n)を再構成画像RPとして出力する。位相分布画像φ(m,n)は、観察対象物の屈折率分布を表す画像である。本実施形態での観察対象物である受精卵21は、半透明であるので、照明光16の大部分は、受精卵21により吸収されずに、透過するか、又は回折されるので、強度分布には像がほとんど現れない。このため、本実施形態では、再構成画像RPとして位相分布画像φ(m,n)を用いることが好ましい。
 再構成処理部72は、フレネル変換式を用いる方法に限られず、フーリエ反復位相回復法等により再構成処理を行ってもよい。
 再構成処理部72は、画像データ取得部71から供給される3つの画像データDTの各々に対して上述の再構成処理を行うことにより、3つの再構成画像RPを生成する。再構成処理部72は、生成した3つの再構成画像RPを開口合成処理部73に供給する。3つの再構成画像RPは、光源18A,18B,18Cに対応し、撮像センサ12の撮像面12Aに対する照明光16の照射角度が異なる。
 開口合成処理部73は、再構成処理部72から供給される3つの再構成画像RPに対して開口合成処理を施すことにより合成画像SPを生成する。具体的には、開口合成処理部73は、3つの再構成画像RPの各々をフーリエ変換して周波数空間上で合成し、合成した周波数データを逆フーリエ変換することにより合成画像SPを生成する。3つの再構成画像RPは、観察対象物に対する照明光16の照射角度が異なる画像であるので、これらを周波数空間上で合成することにより、観察対象物の高周波成分が取り込まれ、空間分解能が高い高画質の合成画像SPが得られる。合成画像SPは、受精卵21の奥行情報(すなわち、3次元情報)を含む画像である。
 特に、開口合成処理は、受精卵21の同じ点あるいは同じ領域を通った複数の光を用いて撮像した場合に、受精卵21の3次元情報の取得精度が向上し、高画質の合成画像SPが得られる。すなわち、上述の交点Kが受精卵21内に位置する場合に、高画質の合成画像SPが得られる。
 表示制御部74は、開口合成処理部73により生成された合成画像SPをディスプレイ51に表示させる。本実施形態では、表示制御部74は、1つの再構成位置Pに対応する合成画像SPをディスプレイ51に表示させるが、複数の再構成位置Pに対応する複数の合成画像SPをディスプレイ51に表示させてもよい。
 次に、タイムラプスイメージングシステム2の全体動作の一例を、図11に示すフローチャートを用いて説明する。まず、ユーザは、インキュベータ40の培養室41の高さZcに合わせて撮像装置10の高さZiを調整する(ステップS10)。ステップS10においてユーザが撮像装置10の高さZiを変更することに連動して、光源18B及び光源18Cが回転する。
 次いで、ユーザは、培養容器20を撮像装置10のステージ15に載置して、撮像装置10をインキュベータ40の培養室41内に挿入する(ステップS11)。なお、複数の培養室41のうち、少なくとも1つの培養室41に撮像装置10を挿入すればよい。
 次に、ユーザは、培養室41の蓋42を閉め、インキュベータ40に培養を開始させる(ステップS12)。インキュベータ40が培養を開始すると、情報処理装置50からの制御に基づき、撮像装置10は培養容器20内の受精卵21を撮像する(ステップS13)。撮像装置10は、撮像動作を行うことにより生成した3つの画像データDTを、情報処理装置50に無線送信する(ステップS14)。
 情報処理装置50は、撮像装置10から送信された3つの画像データDTを受信する(ステップS15)。情報処理装置50の再構成処理部72は、3つの画像データDTの各々に対して再構成処理を行うことにより、少なくとも1つの再構成位置Pに対応する3つの再構成画像RPを生成する(ステップS16)。開口合成処理部73は、再構成処理部72により生成された3つの再構成画像RPに基づいて開口合成処理を行うことにより、合成画像SPを生成する(ステップS17)。表示制御部74は、開口合成処理部73により生成された合成画像SPをディスプレイ51に表示させる(ステップS18)。
 次に、情報処理装置50は、インキュベータ40による培養が終了したか否かを判定する(ステップS19)。培養は、培養開始から、例えば最長7日間行われる。情報処理装置50は、例えば、培養開始からの経過時間に基づいて培養が終了したか否かを判定する。情報処理装置50は、培養が終了していないと判定した場合には(ステップS19:NO)、前回の撮像から一定時間(例えば、10分間)が経過したか否かを判定する(ステップS20)。
 情報処理装置50は、前回の撮像から一定時間が経過したと判定した場合には(ステップS20:YES)、処理をステップS13に戻す。ステップS13~S20の処理は、ステップS19において判定が肯定されるまでの間、繰り返し実行される。ステップS19において、情報処理装置50がインキュベータ40による培養が終了したと判定した(ステップS19:YES)後、ユーザによりインキュベータ40の培養室41から撮像装置10が取り出される(ステップS21)。
 以上のように、本開示の技術に係る撮像装置10は、光学レンズを用いないレンズフリーイメージングにより干渉縞像を撮像するものであるので、装置サイズが小さい。このため、撮像装置10は、受精卵用の小型のインキュベータ40の培養室41に出し入れ可能である。受精卵用のインキュベータ40は、光学カメラ等が一体化されたものでないため、安価である。
 また、角度変更機構19が設けられていない従来の撮像装置では、撮像装置の高さを変更した場合には、複数の照明光16の中心軸16Aの交点Kの位置が変化し、観察対象物である受精卵21の位置との間にずれが生じる。このように、交点Kと受精卵21との間に位置ずれが生じると、前述のように開口合成処理により生成される合成画像SPの画質が低下する。
 これに対して、本開示の技術に係る撮像装置10は、高さZiの変更に応じて光源18B及び光源18Cが回転することにより、交点Kの位置が受精卵21の位置に維持されるので、上述の位置ずれが生じず、高画質の合成画像SPが得られる。したがって、本開示の技術によれば、撮像装置10の高さZiが変更された場合であっても精度よく観察対象物の3次元情報を取得することができる。
 [第1実施形態の変形例]
 次に、上記第1実施形態の変形例について説明する。上記実施形態における角度変更機構19は、撮像装置10の高さZiに応じて決まる角度に光源18B及び光源18Cを電気的制御により自動的に回転させる自動制御機構であってもよい。また、光源18B及び光源18Cの角度をユーザが手動で変更可能に構成されていてもよい。
 例えば、第1実施形態では、光源18B及び光源18Cを回転させる角度変更機構19は、撮像装置10の高さZiの変更に連動して駆動される機械的な回転機構により構成されているが、電気的に回転駆動するアクチュエータにより構成されていてもよい。この場合、図12に示すように、撮像装置10には、高さ検出部80が設けられる。高さ検出部80は、例えば支柱13に設けられたエンコーダであり、撮像装置10の高さZiを検出する。プロセッサ60は、高さ検出部80により検出される高さZiの値に基づいて、アクチュエータにより構成された角度変更機構19を制御することにより、交点Kの位置が受精卵21の位置に維持されるように(すなわち交点Kの位置が変化しないように)、光源18B及び光源18Cを回転させる。
 また、プロセッサ60は、撮像センサ12により取得される3つの画像データDTにおいて、幾何学的関係から観察対象物である受精卵21が存在すると推定される領域(以下、推定領域Rという。)と干渉縞像33との位置関係を判定し、判定結果に応じて角度変更機構19を制御してもよい。具体的には、プロセッサ60は、推定領域Rに干渉縞像33が含まれるように、角度変更機構19を制御して光源18B及び/又は光源18Cを回転させる。
 図13は、上述の交点Kが受精卵21の位置に存在する場合における推定領域Rの一例を示す。推定領域R1は、光源18Aから照明光16を出射した場合に取得される画像データDT内の推定領域Rである。推定領域R2は、光源18Bから照明光16を出射した場合に取得される画像データDT内の推定領域Rである。推定領域R3は、光源18Cから照明光16を出射した場合に取得される画像データDT内の推定領域Rである。
 図14に示すように、推定領域R1,R2,R3の各々に干渉縞像33が含まれていることは、交点Kが受精卵21の位置に存在することに対応するので、光源18B及び光源18Cの回転角の調整は不要である。一方、図15に示すように、推定領域R2,R3に干渉縞像33が含まれないことは、交点Kが受精卵21の位置に存在しないことに対応するので、光源18B及び光源18Cの回転角の調整を行う必要がある。なお、推定領域Rに干渉縞像33が含まれないとは、推定領域Rに干渉縞像33の一部が含まれないことも意味する。
 プロセッサ60は、図15に示すように、推定領域R2,R3に干渉縞像33が含まれない場合には、角度変更機構19を制御して、推定領域R2,R3に干渉縞像33が含まれるように、光源18B及び光源18Cの回転角を調整する。
 また、第1実施形態では、角度変更機構19は、光源18B及び光源18Cをそれぞれ回転させることにより、観察対象物である受精卵21に対する照明光16の照射角度を変更しているが、光源18B及び光源18Cを支持する基台17の角度を変更することにより、照射角度を変更してもよい。また、角度変更機構19は、光源18B及び光源18Cから出射される照明光16の光路上に設けられたミラー又はレンズ等の光学素子を回転させることにより、照射角度を変更してもよい。
 また、第1実施形態では、光源18A,18B,18Cは、Y方向に沿って配列されているが、配列方向はこれに限られず、X方向に沿って配列されていてもよい。また、第1実施形態では、照明装置11は、3つの光源18A,18B,18Cを有するが、照明装置11が有する光源の数は3に限られず、2以上であればよい。本開示の技術に係る照明装置は、観察対象物に対して異なる照射角度で照明光を照射する複数の光源を有するものであればよい。角度変更機構は、複数の光源のうち少なくとも1つについて照明光の照射角度を変更するものであればよい。
 また、照明装置11が有する各光源は、複数の発光点(例えば、36個の発光点)が2次元アレー状に配列されたレーザ光源であってもよい。このレーザ光源として、垂直共振器型面発光レーザ(Vertical Cavity Surface Emitting Laser)を用いることが可能である。1つの光源に含まれる複数の発光点を順に発光させながら撮像センサ12が撮像動作を行うことにより得られた複数の画像データを合成することにより、高解像度の干渉縞像(いわゆる超解像の干渉縞像)を含む1つの画像データDTが得られる。
 図16は、複数の発光点90Bを備える光源90の発光面90Aの構成を例示する。発光面90Aは、撮像センサ12に対向する位置に配置されている。発光面90Aには、複数の発光点90Bが2次元アレー状に配列されている。発光点90Bの配列ピッチは、10μmから100μm程度である。発光点90Bの各々は、順に選択されて、照明光16を出射する。複数の発光点90Bの発光時間間隔は、数ミリ秒である。
 なお、発光点90Bの配列ピッチは、画素12Bの配列ピッチと異なっていればよく、必ずしも画素12Bの配列ピッチよりも小さい必要はない。例えば、発光点90Bが隣の画素12Bの真上に位置していても、発光点90Bの配列ピッチが画素12Bの配列ピッチと一致していなければよい。この場合、画素12B上の異なる位置に照明光16が照明されるので、複数の画像データを合成する際に、各々の発光点90Bの真下にあり、照明光16が照明された異なる画素12Bを同一の画素と見なして、1画素以下の精度で位置合わせを行うことにより、超解像の干渉縞像を含む1つの画像データDTを生成することが可能である。
 なお、図16では、発光点90Bを6×6の正方配列とし、発光面90Aに36個の発光点90Bを設けているが、発光点90Bの数及び配列パターンは、図16に示す数及び配列パターンに限定されない。発光点90Bの数が多いほど、干渉縞像の高解像度化を図ることが可能である一方で、合成処理及び再構成処理の演算時間が長くなる。このため、要求される画質及び演算時間に合わせて、発光点90Bの数を最適化することが好ましい。
 また、第1実施形態では、再構成処理部72により生成された複数の再構成画像RPに基づいて開口合成処理を行うことにより、受精卵21の3次元情報を含む合成画像SPを生成している。再構成処理部72により生成される複数の再構成画像RPは、受精卵21に対する照明光16の照射角度が異なる画像であるので、放射線トモシンセシス撮影等で利用されるフィルタ逆投影法等を用いて演算処理を行うことにより、3次元情報を含む画像を取得してもよい。
 [第2実施形態]
 次に、第2実施形態に係る撮像装置について説明する。第2実施形態に係る撮像装置は、照明光の照射角度が異なる(すなわち光源から交点Kまでの距離が異なる)複数の照明装置が支柱13に対して着脱自在に構成されている。
 図17は、第2実施形態に係る撮像装置10Aの構成を示す。図17に示すように、本実施形態では、支柱13には、第1照明装置11A及び第2照明装置11Bが選択的に取り付け可能に構成されている。例えば、上部13Aの端部に、第1照明装置11A及び第2照明装置11Bが選択的に取り付けられる取り付け部13Dが設けられている。
 第1照明装置11A及び第2照明装置11Bは、第1実施形態の照明装置11と同様に、基台17と、3個の光源18A,18B,18Cとで構成されているが、光源18B及び光源18Cは基台17に固定されており回転可能ではない。本実施形態では、角度変更機構は、第1照明装置11A及び第2照明装置11Bと、取り付け部13Dとにより構成されている。
 第1照明装置11Aと第2照明装置11Bとは、基台17に対する光源18B及び光源18Cの取り付け角度が異なる。すなわち、第1照明装置11Aと第2照明装置11Bとは、光源18B及び光源18Cによる照明光16の照射角度(すなわち中心軸16Aの角度)が異なる。第1照明装置11Aは、第2照明装置11Bよりも、光源18A,18B,18Cから交点Kまでの距離が短い。第1照明装置11Aは、撮像装置10Aの高さZiが低い場合に適合する。第2照明装置11Bは、撮像装置10Aの高さZiが高い場合に適合する。
 本実施形態では、撮像装置10Aの高さZiは、“L”と“H”の2段階に変更可能である。Zi=Lの場合には、第1照明装置11Aを支柱13に取り付けることにより、交点Kの位置と受精卵21の位置とが一致する。Zi=Hの場合には、第2照明装置11Bを支柱13に取り付けることにより、交点Kの位置と受精卵21の位置とが一致する。
 本実施形態では、ユーザは、撮像装置10Aの高さZiを変更した際に、高さZiに応じて第1照明装置11Aと第2照明装置11Bとのうちいずれかを支柱13に取り付けることにより、交点Kを観察対象物である受精卵21の位置に一致させることができる。これにより、精度よく観察対象物の3次元情報を取得することができる。
 なお、第2実施形態では、照明光16の照射角度が異なる2つの照明装置を支柱13に対して選択的に取り付け可能としているが、照明光16の照射角度が異なる3つ以上の照明装置を支柱13に対して選択的に取り付け可能としてもよい。この場合、各照明装置の照射角度に合わせて、撮像装置10Aの高さZiを3段階以上に変更可能とする。撮像装置10Aの変更可能な高さZiを予め決定しておき、各高さZiに適合した照射角度で照明光16を出射する照明装置を設ければよい。
 また、第2実施形態では、支柱13に取り付ける照明装置を変更することにより照射角度を変更しているが、照明装置内の一部の光源、光源の基台、照明光の光路上に配置したミラー又はレンズ等を変更することで、照射角度を変更してもよい。
 また、上述の第1実施形態の各種変形例は、第2実施形態にも適用可能である。また、第1実施形態及び第2実施形態では、観察対象物を受精卵としているが、観察対象物は受精卵に限られない。観察対象物は、受精卵以外の浮遊細胞であってもよい。浮遊細胞とは、培養液中に浮遊する細胞である。浮遊細胞には、受精卵以外に、抗体の生産に用いられるCHO(Chinese Hamster Ovary)細胞などがある。
 情報処理装置50を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置50を、処理能力及び信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。
 このように、情報処理装置50のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム56A等のアプリケーションプログラムについても、安全性及び信頼性の確保を目的として、二重化すること、あるいは、複数のストレージデバイスに分散して格納することも可能である。
 上述の画像データ取得部71、再構成処理部72、開口合成処理部73、及び表示制御部74といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム56A)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device: PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、及び/又は、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip: SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
 また、上記各実施形態及び各変形例は、矛盾が生じない範囲で適宜組み合わせ可能である。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (10)

  1.  観察対象物に対して異なる照射角度で照明光を照射する複数の光源を有する照明装置と、
     前記照明光が照射された前記観察対象物により生成される干渉縞像を撮像して画像データを生成する撮像センサと、
     前記撮像センサに対する前記照明装置の高さを調整可能とする高さ調整機構と、
     複数の前記光源から出射される前記照明光の中心軸の交点が前記観察対象物に位置するように、前記高さに応じて前記照明光の照射角度を変更する角度変更機構と、
     を備える撮像装置。
  2.  前記角度変更機構は、複数の前記光源のうち少なくとも1つを回転させることにより前記照明光の照射角度を変更する、
     請求項1に記載の撮像装置。
  3.  前記角度変更機構は、前記高さ調整機構による前記高さの変更に連動して前記照明光の照射角度を変更する、
     請求項1又は請求項2に記載の撮像装置。
  4.  前記角度変更機構を制御して前記照射角度を変更させる第1プロセッサを備え、
     前記第1プロセッサは、前記画像データにおいて前記観察対象物が存在すると推定される推定領域と前記干渉縞像との位置関係に基づいて前記角度変更機構を制御することにより、前記照射角度を調整する、
     請求項1又は請求項2に記載の撮像装置。
  5.  前記照明装置を支持する支柱を備え、
     前記高さ調整機構は、前記支柱の長さを変更可能とする、
     請求項1から請求項4のうちいずれか1項に記載の撮像装置。
  6.  前記角度変更機構は、前記照明光の照射角度が異なる複数の前記照明装置と、複数の前記照明装置が選択的に取り付けられる取り付け部とにより構成されている、
     請求項1に記載の撮像装置。
  7.  前記照明装置を支持する支柱を備え、
     前記高さ調整機構は、前記支柱の長さを変更可能とし、
     前記取り付け部は、前記支柱に設けられている、
     請求項6に記載の撮像装置。
  8.  前記画像データを、無線送信する通信部を備える、
     請求項1から請求項7のうちいずれか1項に記載の撮像装置。
  9.  請求項8に記載の撮像装置から送信された前記画像データを受信し、受信した画像データに基づいて再構成処理を行うことにより再構成画像を生成する第2プロセッサを備える、
     情報処理装置。
  10.  前記第2プロセッサは、
     複数の前記光源に対応する複数の前記再構成画像に対して開口合成処理を施すことにより合成画像を生成する、
     請求項9に記載の情報処理装置。
PCT/JP2022/035037 2021-10-20 2022-09-20 撮像装置及び情報処理装置 WO2023067971A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-171938 2021-10-20
JP2021171938 2021-10-20

Publications (1)

Publication Number Publication Date
WO2023067971A1 true WO2023067971A1 (ja) 2023-04-27

Family

ID=86059047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035037 WO2023067971A1 (ja) 2021-10-20 2022-09-20 撮像装置及び情報処理装置

Country Status (1)

Country Link
WO (1) WO2023067971A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075928A1 (en) * 2009-09-25 2011-03-31 Jeong Hwan J High-resolution, common-path interferometric imaging systems and methods
JP2011242357A (ja) * 2010-05-21 2011-12-01 Nikon Corp 光学装置
JP2014507645A (ja) * 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法
WO2021117328A1 (ja) * 2019-12-11 2021-06-17 富士フイルム株式会社 制御装置、制御装置の作動方法、制御装置の作動プログラム
WO2022181023A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 撮像装置、情報処理装置、イメージングシステム、及び観察方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075928A1 (en) * 2009-09-25 2011-03-31 Jeong Hwan J High-resolution, common-path interferometric imaging systems and methods
JP2011242357A (ja) * 2010-05-21 2011-12-01 Nikon Corp 光学装置
JP2014507645A (ja) * 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法
WO2021117328A1 (ja) * 2019-12-11 2021-06-17 富士フイルム株式会社 制御装置、制御装置の作動方法、制御装置の作動プログラム
WO2022181023A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 撮像装置、情報処理装置、イメージングシステム、及び観察方法

Similar Documents

Publication Publication Date Title
CN105765690B (zh) 可变照明傅立叶重叠关联成像设备、系统以及方法
AU2003238484B2 (en) Microscope with a viewing direction perpendicular to the illumination direction
CN108169173B (zh) 一种大视场高分辨三维衍射层析显微成像方法
JP6307770B2 (ja) 撮像素子
ES2398088T3 (es) Procedimiento y dispositivo destinado a la obtención por microscopía de imagenes en tres dimensiones de una muestra
EP2975834B1 (en) Structured light imaging apparatus
CN108982452B (zh) 基于双螺旋点扩散函数的多焦点扫描三维成像方法及系统
JP2018504577A (ja) 厚膜サンプル用落射照明フーリエタイコグラフィ撮像
JP2015535348A (ja) フーリエ・タイコグラフィー撮像システム、装置、及び方法
AU2014280894A1 (en) Illumination systems and devices for Fourier Ptychographic imaging
JP6940696B2 (ja) 二次元および三次元の固定式z走査
CN112912781B (zh) 作为用于显微术的照明源的照明显示器
CN108362643A (zh) 一种双高度照明傅里叶叠层显微成像方法
CN108196357A (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
CN110320654A (zh) 基于多角度4Pi显微镜的快速三维体成像系统及方法
JPH04125609A (ja) 光学顕微鏡
CN114965470A (zh) 一种基于非干涉合成孔径的光强传输衍射层析显微成像方法
WO2022181023A1 (ja) 撮像装置、情報処理装置、イメージングシステム、及び観察方法
JP7478813B2 (ja) タイコグラフィ撮像システムおよび画像を生成するための方法
WO2023067971A1 (ja) 撮像装置及び情報処理装置
JP6952891B2 (ja) 2×3および1×3スライド用のカルーセル
JP2023061795A (ja) 撮像装置及び情報処理装置
US11536655B1 (en) Imaging systems with angled sensors and related methods
US20230401715A1 (en) Information processing apparatus, information processing method, and program
CN208766383U (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883281

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023555056

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE