WO2021261148A1 - 撮像システム及び撮像装置 - Google Patents

撮像システム及び撮像装置 Download PDF

Info

Publication number
WO2021261148A1
WO2021261148A1 PCT/JP2021/019618 JP2021019618W WO2021261148A1 WO 2021261148 A1 WO2021261148 A1 WO 2021261148A1 JP 2021019618 W JP2021019618 W JP 2021019618W WO 2021261148 A1 WO2021261148 A1 WO 2021261148A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
interference fringe
image pickup
imaging
reconstructed
Prior art date
Application number
PCT/JP2021/019618
Other languages
English (en)
French (fr)
Inventor
拓明 山本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21829581.4A priority Critical patent/EP4174165A4/en
Priority to JP2022532425A priority patent/JP7404533B2/ja
Publication of WO2021261148A1 publication Critical patent/WO2021261148A1/ja
Priority to US18/069,355 priority patent/US20230120464A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0033—Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0212—Light sources or light beam properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452—Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883—Reconstruction aspect, e.g. numerical focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/2655—Time multiplexing, i.e. consecutive records wherein the period between records is pertinent per se
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/50—Nature of the object
    • G03H2210/55—Having particular size, e.g. irresolvable by the eye
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/62—Moving object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/40—Particular irradiation beam not otherwise provided for
    • G03H2222/45—Interference beam at recording stage, i.e. following combination of object and reference beams
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/56—Resolution

Definitions

  • the technology of the present disclosure relates to an imaging system and an imaging device.
  • So-called lens-free digital holography which eliminates optical system components, is known in order to reduce the size of a device that captures images of small objects to be observed such as cells.
  • digital holography a reconstructed image is generated by imaging an object to be observed using a light source that emits coherent light such as a laser beam and an imaging sensor, and reconstructing an interference fringe image obtained by the imaging. ..
  • Super-resolution technology is a technology for generating an image that exceeds the resolution of an image pickup sensor.
  • Patent Document 1 describes a super-resolution interference fringe image (hereinafter, super-resolution interference fringe image) based on a plurality of images obtained by irradiating an observation target object with light from a plurality of irradiation positions having different irradiation angles. It is disclosed to generate (.). By reconstructing the super-resolution interference fringe image, a high-definition reconstructed image can be obtained.
  • Patent Document 2 discloses that an interference fringe image is processed in real time while moving a moving image of an observation target object flowing in a microchannel with an image pickup sensor.
  • Patent Document 1 Since the technique described in Patent Document 1 requires multiple imaging by irradiating the observation target object with light from a plurality of irradiation positions, the observation target object is stationary during the plurality of imaging. Is assumed. Therefore, it is difficult for the technique described in Patent Document 1 to generate a super-resolution interference fringe image of an observation target object flowing in a microchannel as described in Patent Document 2.
  • An object of the present disclosure technique is to provide an image pickup system and an image pickup apparatus capable of generating a super-resolution interference fringe image of an object to be observed flowing through a flow path.
  • the imaging system of the present disclosure is a light source that irradiates light in a first direction, and is directed toward a flow path that allows an object to be observed to flow in a second direction orthogonal to the first direction. It has a light source that irradiates light and an image pickup surface that is orthogonal to the first direction and has a plurality of pixels arranged in two dimensions in a non-parallel manner to the second direction, and allows light that has passed through the flow path. It includes an image pickup sensor that captures images and outputs an interference fringe image, and an information processing device that generates a super-resolution interference fringe image based on a plurality of interference fringe images output from the image pickup sensor.
  • the plurality of pixels are arranged in the imaging plane at the first arrangement pitch in the X direction and at the second arrangement pitch in the Y direction orthogonal to the X direction.
  • the diagonal vector having the first array pitch as the X-direction component and the second array pitch as the Y-direction component is parallel to the second direction.
  • first arrangement pitch and the second arrangement pitch are equal to each other.
  • the amount of deviation of the two interference fringe images output from the imaging sensor in two consecutive imaging cycles is such that the component in the X direction is a non-integer multiple of the pitch of the first array and the component in the Y direction is the second array. It is preferably a non-integer multiple of the pitch.
  • the amount of deviation is preferably such that the component in the X direction is smaller than the pitch of the first arrangement and the component in the Y direction is smaller than the pitch of the second arrangement.
  • the information processing device calculates the amount of deviation based on the two interference fringe images output from the image pickup sensor in two consecutive imaging cycles, and super-resolutions based on the calculated amount of deviation and the two interference fringe images. It is preferable to generate an interference fringe image.
  • the information processing device preferably generates a reconstructed image by reconstructing a super-resolution interference fringe image.
  • the information processing apparatus calculates the sharpness of the reconstructed image each time the reconstructed image is generated by the reconstructed image and the reconstructed image while changing the reconstructed position, and the calculated sharpness.
  • the in-focus position detection process for detecting the in-focus position where the degree is maximized and the optimum reconstructed image output process for outputting the reconstructed image at the in-focus position detected by the in-focus position detection process as the optimum reconstructed image.
  • a light source that irradiates light in the first direction and irradiates light toward a flow path that flows an object to be observed in a second direction orthogonal to the first direction, and an imaging surface orthogonal to the first direction. Moreover, it has an imaging surface in which a plurality of pixels are two-dimensionally arranged in a direction non-parallel to the second direction, and includes an imaging sensor that captures light that has passed through a flow path and outputs an interference fringe image.
  • an image pickup system and an image pickup apparatus capable of generating a super-resolution interference fringe image of an object to be observed flowing through a flow path.
  • FIG. 1 shows the configuration of a digital holography system 2 which is an example of an imaging system.
  • the digital holography system 2 includes an information processing device 10 and an image pickup device 11.
  • An image pickup device 11 is connected to the information processing device 10.
  • the information processing device 10 is, for example, a desktop type personal computer.
  • a display 5, a keyboard 6, a mouse 7, and the like are connected to the information processing apparatus 10.
  • the keyboard 6 and the mouse 7 constitute an input device 8 for the user to input information.
  • the input device 8 also includes a touch panel and the like.
  • FIG. 2 shows an example of the configuration of the image pickup apparatus 11.
  • the image pickup apparatus 11 has a light source 20 and an image pickup sensor 22.
  • the light source 20 is, for example, a laser diode.
  • the light source 20 may be configured by combining a light emitting diode and a pinhole.
  • a micro flow path 13 is arranged between the light source 20 and the image pickup sensor 22.
  • the micro flow path 13 is formed in, for example, a flow path unit formed of a silicone resin, and is a flow path through which a liquid can flow.
  • the flow path unit has translucency, and it is possible to irradiate the inside of the micro flow path 13 with light from the outside of the flow path unit.
  • the flow path unit may be fixed in the image pickup device 11 or may be detachable from the image pickup device 11.
  • the microchannel 13 is provided with an opening 13A for introducing the solution 14 containing cells 12 and the like, and an opening 13B for discharging the solution 14 introduced into the microchannel 13.
  • the microchannel 13 is an example of a "channel" according to the technique of the present disclosure.
  • the solution 14 is introduced into the opening 13A of the microchannel 13 from a tank (not shown), flows in the microchannel 13 at a constant speed, and is discharged from the opening 13B.
  • the light source 20, the image pickup sensor 22, and the microchannel 13 are arranged, for example, in an incubator (not shown).
  • the image pickup apparatus 11 takes an image of cells 12 contained in the solution 14, for example, as an image pickup target.
  • the cell 12 is an example of an "observation target object" according to the technique of the present disclosure.
  • the light source 20 irradiates the irradiation light 23 toward the microchannel 13.
  • the irradiation light 23 is coherent light.
  • the irradiation light 23 is incident on the micro flow path 13, passes through the micro flow path 13, and then is incident on the image pickup surface 22A of the image pickup sensor 22.
  • the Z direction indicated by the arrow is the irradiation direction of the irradiation light 23.
  • the Z direction corresponds to the central axis direction of the light beam.
  • the Z direction is an example of the "first direction" according to the technique of the present disclosure.
  • the micro flow path 13 extends in the A direction orthogonal to the Z direction.
  • the microchannel 13 is a channel through which cells 12 as an observation target object flow in the A direction.
  • Direction A is an example of the "second direction" according to the technique of the present disclosure.
  • reference numeral B indicates a direction orthogonal to the Z direction and the A direction.
  • the shape of the microchannel 13 and the number of openings 13A and 13B can be changed as appropriate. Further, the number of microchannels 13 arranged between the light source 20 and the image pickup sensor 22 is not limited to one, and may be two or more. In the present embodiment, it is assumed that one microchannel 13 is arranged between the light source 20 and the image pickup sensor 22.
  • the image sensor 22 is composed of, for example, a monochrome CMOS (Complementary Metal Oxide Semiconductor) type image sensor.
  • the image pickup operation of the image pickup sensor 22 is controlled by the information processing device 10.
  • the image pickup sensor 22 is arranged so that the image pickup surface 22A is orthogonal to the Z direction.
  • the irradiation light 23 is incident on the solution 14 in the microchannel 13, and the irradiation light 23 is diffracted by the cells 12, so that interference fringes reflecting the shape of the cells 12 are generated.
  • FIG. 3 shows an example of the positional relationship between the microchannel 13 and the image pickup sensor 22 in a plan view.
  • the image pickup sensor 22 has a rectangular outer shape in a plan view.
  • the image pickup sensor 22 is arranged in an inclined state so that each side forms an angle of 45 ° with respect to the A direction in which the microchannel 13 flows the cells 12.
  • FIG. 4 shows an example of the pixel arrangement of the image pickup sensor 22.
  • the image pickup sensor 22 has a plurality of pixels 22B arranged on the image pickup surface 22A.
  • the pixel 22B is a photoelectric conversion element that outputs a pixel signal according to the amount of incident light by photoelectrically converting the incident light.
  • On the imaging surface 22A a plurality of pixels 22B are two-dimensionally arranged in a direction non-parallel to the A direction.
  • Pixels 22B are arranged at equal pitches along the X and Y directions.
  • the array of pixels 22B is a so-called square array.
  • the X direction is a direction orthogonal to the Z direction.
  • the Y direction is a direction orthogonal to the X direction and the Z direction.
  • the X direction and the Y direction are parallel to the two orthogonal sides of the outer shape of the image pickup sensor 22 in a plan view (see FIG. 3). That is, the angle ⁇ x formed by the X direction with the A direction and the angle ⁇ y formed by the Y direction with the A direction are 45 °, respectively.
  • the pixels 22B are arranged in the X direction with the first arrangement pitch ⁇ X and are arranged in the Y direction with the second arrangement pitch ⁇ Y.
  • the first array pitch ⁇ X and the second array pitch ⁇ Y are equal. That is, in the present embodiment, the arrangement of the pixels 22B is a so-called square arrangement.
  • the diagonal vector V having the first array pitch ⁇ X as the X-direction component and the second array pitch ⁇ Y as the Y-direction component is parallel to the A direction.
  • the image pickup sensor 22 captures the light incident on the image pickup surface 22A and outputs image data composed of pixel signals output from each of the pixels 22B. In the following, it is simply said to output an image.
  • FIG. 6 shows how the interference fringes are generated by the cells 12 as the observation target object.
  • a part of the irradiation light 23 incident on the microchannel 13 is diffracted by the cells 12. That is, the irradiation light 23 is divided into a diffracted light 30 diffracted by the cell 12 and a transmitted light 31 that is not diffracted by the cell 12 and passes through the microchannel 13.
  • the transmitted light 31 is a plane wave.
  • the diffracted light 30 and the transmitted light 31 pass through the microchannel 13 and are incident on the image pickup surface 22A of the image pickup sensor 22.
  • Interference fringes 33 are generated by the diffracted light 30 and the transmitted light 31 interfering with each other.
  • the interference fringe 33 is composed of a bright portion 36 and a dark portion 38.
  • the interference fringe 33 shows the bright portion 36 and the dark portion 38 as circles, respectively, but the shape of the interference fringe 33 changes depending on the shape and internal structure of the cell 12.
  • the image pickup sensor 22 captures an optical image including the interference fringes 33 formed on the image pickup surface 22A, and outputs an interference fringe image FP (see FIG. 7) including the interference fringes 33.
  • the interference fringe image FP is also referred to as a hologram image.
  • FIGS. 7 and 8 show the wavefronts of the diffracted light 30 and the transmitted light 31.
  • FIG. 7 shows the wavefront when the diffracted light 30 and the transmitted light 31 strengthen each other.
  • FIG. 8 shows the wavefront when the diffracted light 30 and the transmitted light 31 weaken each other.
  • the solid line indicates the wavefront with the maximum amplitude of the diffracted light 30 and the transmitted light 31.
  • the broken line indicates the wavefront with the minimum amplitude of the diffracted light 30 and the transmitted light 31.
  • the white spot 35 shown on the image pickup surface 22A is a portion where the wavefronts of the diffracted light 30 and the transmitted light 31 are aligned and strengthened.
  • the portion of the white spot 35 corresponds to the bright portion 36 (see FIG. 6) of the interference fringe 33.
  • the black spot 37 shown on the image pickup surface 22A is a portion where the wavefronts of the diffracted light 30 and the transmitted light 31 are deviated by half a wavelength and weaken each other.
  • the portion of the black dot 37 corresponds to the dark portion 38 (see FIG. 6) of the interference fringe 33.
  • FIG. 9 shows an example of the interference fringe image FP output from the image pickup sensor 22.
  • the interference fringe image FP shown in FIG. 9 includes one interference fringe 33 generated by diffracting the irradiation light 23 by one cell 12 (see FIG. 6) included in the image pickup region of the image pickup sensor 22. ..
  • FIG. 10 shows an example of the hardware configuration of the information processing apparatus 10.
  • the information processing device 10 includes a CPU (Central Processing Unit) 40, a storage device 41, and a communication unit 42, which are interconnected via a bus line 43. Further, the display 5 and the input device 8 described above are connected to the bus line 43.
  • a CPU Central Processing Unit
  • the CPU 40 is an arithmetic unit that realizes various functions by reading the operation program 41A stored in the storage device 41 and various data (not shown) and executing processing.
  • the CPU 40 is an example of a processor according to the technique of the present disclosure.
  • the storage device 41 includes, for example, a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), a storage device, or the like.
  • the RAM is, for example, a volatile memory used as a work area or the like.
  • the ROM is, for example, a non-volatile memory such as an operation program 41A and a flash memory that holds various data.
  • the storage device is, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the storage stores an OS (Operating System), an application program, image data, various data, and the like.
  • the communication unit 42 is a network interface that controls transmission of various information via a network such as LAN (Local Area Network) or WAN (Wide Area Network).
  • the information processing device 10 is connected to the image pickup device 11 via the communication unit 42.
  • the display 5 displays various screens.
  • the information processing device 10 receives input of an operation instruction from the input device 8 through various screens.
  • FIG. 11 shows an example of the functional configuration of the information processing apparatus 10.
  • the function of the information processing apparatus 10 is realized by the CPU 40 executing a process based on the operation program 41A.
  • the CPU 40 includes an image pickup control unit 50, an image processing unit 51, a repeat control unit 52, and a display control unit 53.
  • the image pickup control unit 50 controls the operation of the image pickup device 11. Specifically, the image pickup control unit 50 controls the operation of generating the irradiation light 23 by the light source 20 and the image pickup operation of the image pickup sensor 22. Hereinafter, the operation of generating the irradiation light 23 by the light source 20 and the image pickup operation of the image pickup sensor 22 are collectively referred to as an image pickup operation of the image pickup apparatus 11.
  • the image pickup control unit 50 causes the image pickup device 11 to perform an image pickup operation based on the operation signal input from the input device 8.
  • the image pickup control unit 50 drives the image pickup device 11 so as to periodically perform image pickup in each image pickup cycle. That is, the image pickup device 11 performs moving image imaging. As shown in FIG. 12, the image pickup apparatus 11 performs an image pickup operation every one image pickup cycle and outputs an interference fringe image FP.
  • the interference fringe image FP (N) represents the interference fringe image FP output from the image pickup apparatus 11 in the Nth imaging cycle.
  • N is a positive integer.
  • an interference fringe image FP when it is not necessary to distinguish the imaging period, it is simply referred to as an interference fringe image FP.
  • the image processing unit 51 performs reconstruction processing, focusing position detection processing, and the like based on the interference fringe image FP (see FIG. 9) output from the image pickup apparatus 11, and focuses on the cell 12 which is the observation target object.
  • the optimum reconstructed image BP is output.
  • the repeat control unit 52 causes the image processing unit 51 to repeatedly execute the reconstruction process, the in-focus position detection process, and the like in synchronization with the image pickup cycle of the image pickup device 11.
  • the image processing unit 51 outputs the optimum reconstructed image BP for each imaging cycle.
  • the display control unit 53 causes the display 5 to display the optimum reconstructed image BP output from the image processing unit 51 every one imaging cycle. As a result, the optimum reconstructed image BP is displayed on the display 5 in real time.
  • the image pickup control unit 50 causes the image pickup device 11 to start the image pickup operation in response to the input of the image pickup start signal from the input device 8, and the image pickup device 50 in response to the input of the image pickup stop signal from the input device 8.
  • the imaging operation of 11 is stopped.
  • the repetition control unit 52 causes the image processing unit 51 to start the operation when the image pickup device 11 starts the image pickup operation, and stops the operation of the image processing unit 51 when the image pickup operation is stopped.
  • the image processing unit 51 includes an interference fringe image acquisition unit 60, a super-resolution processing unit 61, a reconstructed image generation unit 62, a focusing position detection unit 63, and an optimum reconstructed image output unit 64.
  • the interference fringe image acquisition unit 60 acquires the interference fringe image FP (see FIG. 12) output as a result of the image pickup device 11 imaging the microchannel 13 every one imaging cycle.
  • the interference fringe image acquisition unit 60 stores the acquired interference fringe image FP in the storage device 41.
  • the super-resolution processing unit 61 generates a super-resolution interference fringe image SP based on a plurality of interference fringe image FPs stored in the storage device 41. Specifically, the super-resolution processing unit 61 includes two interference fringe image FPs output from the image pickup sensor 22 in two consecutive imaging cycles, and the amount of deviation of the interference fringes 33 included in each interference fringe image FP. Based on, a super-resolution interference fringe image SP is generated.
  • FIG. 13 schematically shows the deviation amount calculation process.
  • the super-resolution processing unit 61 displays the interference fringe image FP (N) and the interference fringe image FP (N-1) output from the image pickup sensor 22 in the two imaging cycles immediately before from the storage device 41. get.
  • the interference fringe image FP (N) is an interference fringe image FP output from the image pickup sensor 22 in the Nth image pickup cycle.
  • the interference fringe image FP (N-1) is an interference fringe image FP output from the image pickup sensor 22 during the N-1 imaging cycle.
  • the super-resolution processing unit 61 performs image matching between the interference fringe image FP (N) and the interference fringe image FP (N-1) by using a method by image analysis such as a phase-limited correlation method, thereby performing the interference fringe 33.
  • the amount of deviation D is calculated.
  • the amount of deviation D corresponds to the amount of movement of the cells 12 in the A direction in one imaging cycle.
  • the component Dx in the X direction is a non-integer multiple of the first arrangement pitch ⁇ X
  • the component Dy in the Y direction is the first. It must be a non-integer multiple of the two array pitch ⁇ Y.
  • the component Dx in the X direction is referred to as "X direction component Dx”
  • the component Dy in the Y direction is referred to as "Y direction component Dy”.
  • FIG. 14 shows a case where the X-direction component Dx is smaller than the first array pitch ⁇ X and the Y-direction component Dy is smaller than the second array pitch ⁇ Y.
  • the X-direction component Dx and the Y-direction component Dy may be non-integer multiples of the first array pitch ⁇ X and the second array pitch ⁇ Y, respectively, and may be larger than the first array pitch ⁇ X and the second array pitch ⁇ Y.
  • the two interference fringe image FPs are used by using a method such as the phase-limited correlation method as described above.
  • the amount of deviation D can be easily obtained by performing image analysis.
  • the interference fringe image FP (N) and the interference fringe image FP (N-1) correspond to two images in the so-called "pixel shift" related to the super-resolution technology, and the shift amount D is the pixel shift amount. handle.
  • the pixel shifting technique is known in Japanese Patent Publication No. 50-17134, Japanese Patent Application Laid-Open No. 2001-11179, and the like.
  • the super-resolution processing unit 61 aligns the interference fringe image FP (N) and the interference fringe image FP (N-1) based on the deviation amount D, and interferes after the alignment.
  • a super-resolution interference fringe image SP is generated by integrating the fringe image FP (N) and the interference fringe image FP (N-1).
  • FIG. 15 schematically shows the alignment process and the integration process.
  • FIG. 15 illustrates changes in pixel values of the interference fringe image FP (N) and the interference fringe image FP (N-1) in the X direction.
  • the super-resolution processing unit 61 moves, for example, the interference fringe image FP (N-1) among the interference fringe image FP (N) and the interference fringe image FP (N-1) based on the deviation amount D. By doing so, the alignment is performed. Specifically, the super-resolution processing unit 61 moves the interference fringe image FP (N-1) by the X-direction component Dx of the deviation amount D in the X direction, and X of the deviation amount D in the Y direction.
  • the interference fringe image FP (N-1) is moved by the direction component Dx.
  • FIG. 15 shows only the alignment in the X direction, the alignment is also performed in the Y direction as well.
  • the super-resolution processing unit 61 performs integrated processing for integrating the aligned interference fringe image FP (N) and the interference fringe image FP (N-1). As a result, a super-resolution interference fringe image SP whose resolution is doubled with respect to the interference fringe image FP is generated.
  • the pixels of the super-resolution interference fringe image SP may not be arranged at equal intervals. Therefore, a process of equalizing the pixel arrangement of the super-resolution interference fringe image SP may be added.
  • the deviation amount D includes a finite non-zero X-direction component Dx and a Y-direction component Dy. Occurs. Therefore, the resolution of the super-resolution interference fringe image SP increases in the X direction and the Y direction with respect to the interference fringe image FP.
  • the X-direction component Dx and the Y-direction component Dy are equal, the super-resolution interference fringe image SP is equalized as described above because the resolution deviation that occurs in the X-direction and the Y-direction is reduced and equalized. It is preferable that the angles ⁇ x and ⁇ y (see FIG. 4) are 45 °, respectively.
  • the super-resolution processing unit 61 is not limited to the two interference fringe image FPs, and may generate the super-resolution interference fringe image SP by using three or more interference fringe image FPs.
  • the reconstructed image generation unit 62 generates a reconstructed image RP by reconstructing the super-resolution interference fringe image SP generated by the super-resolution processing unit 61, and the generated reconstructed image RP. Is stored in the storage device 41.
  • the super-resolution interference fringe image SP is input from the super-resolution processing unit 61 to the reconstructed image generation unit 62 every one imaging cycle.
  • the reconstructed image generation unit 62 generates a plurality of reconstructed image RPs while changing the reconstructed position with respect to one input super-resolution interference fringe image SP.
  • the reconstructed image generation unit 62 generates a reconstructed image RP each time the reconstructed position P is changed while changing the reconstructed position P by a constant value.
  • the reconstruction position P is a position (so-called depth position) represented by a distance d from the image pickup surface 22A of the image pickup sensor 22 toward the light source 20.
  • the reconstruction image generation unit 62 performs reconstruction processing based on, for example, the Fresnel conversion equations represented by the following equations (1) to (3).
  • I (x, y) represents the super-resolution interference fringe image SP.
  • x represents the X coordinate of the pixel of the super-resolution interference fringe image SP.
  • y represents the Y coordinate of the pixel of the super-resolution interference fringe image SP.
  • ⁇ x is the arrangement pitch of the pixels of the super-resolution interference fringe image SP in the X direction.
  • ⁇ y is the arrangement pitch of the pixels of the super-resolution interference fringe image SP in the Y direction.
  • ⁇ is the wavelength of the irradiation light 23.
  • ⁇ (m, n) is a complex amplitude image obtained by Fresnel-transforming the super-resolution interference fringe image SP.
  • m 1,2,3, ... Nx-1
  • n 1,2,3, ... Ny-1.
  • Nx represents the number of pixels in the X direction of the super-resolution interference fringe image SP.
  • Ny represents the number of pixels in the Y direction of the super-resolution interference fringe image SP.
  • a 0 (m, n) is an intensity distribution image representing the intensity component of the complex amplitude image ⁇ (m, n).
  • ⁇ 0 (m, n) is a phase distribution image representing the phase component of the complex amplitude image ⁇ (m, n).
  • the reconstructed image generation unit 62 obtains the complex amplitude image ⁇ (m, n) by applying the super-resolution interference fringe image SP to the equation (1), and obtains the obtained complex amplitude image ⁇ (m, n). By applying to the equation (2) or the equation (3), the intensity distribution image A 0 (m, n) or the phase distribution image ⁇ 0 (m, n) is obtained. The reconstructed image generation unit 62 obtains one of the intensity distribution image A 0 (m, n) and the phase distribution image ⁇ 0 (m, n), outputs it as a reconstructed image RP, and stores it. Store in device 41.
  • the reconstructed image generation unit 62 outputs the phase distribution image ⁇ 0 (m, n) as the reconstructed image RP.
  • the phase distribution image ⁇ 0 (m, n) is an image showing the refractive index distribution of the observation target object. Since the cell 12 which is the observation target object in the present embodiment is translucent, most of the irradiation light 23 is not absorbed by the cell 12, but is transmitted or diffracted. The statue hardly appears. Therefore, in the present embodiment, it is preferable to use the phase distribution image ⁇ 0 (m, n) as the reconstructed image RP.
  • the wavelength ⁇ of the irradiation light 23 is included in, for example, the image pickup condition 11A supplied from the image pickup apparatus 11.
  • the reconstructed image generation unit 62 performs the calculation of the equation (1) using the value of the wavelength ⁇ included in the imaging condition 11A. Further, the reconstructed image generation unit 62 obtains and obtained the complex amplitude image ⁇ (m, n) by performing the calculation of the equation (1) while changing the distance d corresponding to the reconstructed position P by a constant value.
  • the complex amplitude image ⁇ (m, n) is applied to Eq. (2) or Eq. (3).
  • the reconstruction image generation unit 62 changes the reconstruction position P by a constant value within the range from the lower limit position P1 to the upper limit position P2.
  • the reconstruction image generation unit 62 starts changing the reconstruction position P, for example, with the lower limit position P1 as the initial position.
  • the change of the reconstruction position P corresponds to the change of the distance d in the equation (1).
  • the reconstruction image generation unit 62 is not limited to the method using the Fresnel conversion formula, and may perform the reconstruction processing by a Fourier iterative phase retrieval method or the like.
  • the focusing position detection unit 63 obtains the sharpness of each reconstructed image RP output from the reconstructed image generation unit 62 and stored in the storage device 41, and the reconfiguration that maximizes the sharpness.
  • the position P (hereinafter referred to as the in-focus position Pm) is searched.
  • the in-focus position detection unit 63 detects the in-focus position Pm every one imaging cycle and inputs it to the optimum reconstruction image output unit 64.
  • the in-focus position detection unit 63 calculates, for example, the contrast value of the reconstructed image RP as sharpness.
  • the in-focus position detection unit 63 may use a value obtained by evaluating the spread of the image of the cell 12 in the reconstructed image RP by a cross-sectional profile or the like as the sharpness. Further, the in-focus position detection unit 63 may obtain sharpness by performing frequency analysis by Fourier analysis or the like.
  • the optimum reconstructed image output unit 64 acquires the reconstructed image RP corresponding to the in-focus position Pm from the storage device 41 each time the in-focus position Pm is detected by the in-focus position detection unit 63 in each imaging cycle. .. Further, the optimum reconstructed image output unit 64 performs an optimum reconstructed image output process of outputting the acquired reconstructed image RP as an optimum reconstructed image BP to the display control unit 53.
  • FIG. 17 shows an example of the flow of iterative processing by the iterative control unit 52.
  • the interference fringe image acquisition unit 60 acquires the interference fringe image FP (N) corresponding to the Nth image pickup cycle (step S10).
  • the interference fringe image FP (N) acquired by the interference fringe image acquisition unit 60 is stored in the storage device 41.
  • the interference fringe image FP (N-1) corresponding to the N-1th imaging cycle is already stored in the storage device 41.
  • the super-resolution processing unit 61 reads the interference fringe image FP (N) and the interference fringe image FP (N-1) from the storage device 41, and calculates the amount of deviation (see FIG. 13), alignment processing, and integration processing (see FIG. 13). (See FIG. 15) to generate a super-resolution interference fringe image SP (step S11).
  • the reconstruction image generation unit 62 sets the reconstruction position P to the initial position based on the super-resolution interference fringe image SP generated by the super-resolution processing unit 61, and then performs the above-mentioned reconstruction processing. By doing so, a reconstructed image RP is generated (step S12). In step S12, the reconstructed image RP for one reconstructed position P is generated and stored in the storage device 41.
  • the in-focus position detection unit 63 reads the reconstructed image RP from the storage device 41, calculates the sharpness of the reconstructed image RP, and detects the in-focus position Pm based on the calculated sharpness (step). S13). Since the in-focus position Pm is the reconstructed position P in which the sharpness is maximized, it is necessary to calculate the sharpness of at least three reconstructed image RPs in order to detect the in-focus position Pm. For this purpose, step S13 needs to be repeated at least three times.
  • the repeat control unit 52 determines whether or not the in-focus position Pm has been detected by the in-focus position detection unit 63 (step S14). When the repeat control unit 52 determines that the focus position Pm has not been detected (step S14: NO), the process returns to step S12. In step S12, the reconstructed image generation unit 62 changes the reconstructed position P by a certain value, and then the reconstructed image RP is generated again. Each process of step S12 and step S13 is repeatedly executed until the determination is affirmed in step S14.
  • step S14 When the in-focus position Pm is detected by the in-focus position detection unit 63 (step S14: YES), the repeat control unit 52 shifts the process to step S15.
  • step S15 the optimum reconstructed image output unit 64 acquires the reconstructed image RP corresponding to the in-focus position Pm detected by the in-focus position detection unit 63 from the storage device 41, and optimizes the acquired reconstructed image RP. It is output to the display control unit 53 as a reconstructed image BP (step S15).
  • the display control unit 53 displays the optimum reconstructed image BP input from the optimum reconstructed image output unit 64 on the display 5 (step S16).
  • the repeat control unit 52 determines whether or not the image pickup stop signal has been input from the input device 8 (step S17). When the repeat control unit 52 determines that the image pickup stop signal has not been input (step S17: NO), the repeat control unit 52 increments the parameter N (see FIG. 12) representing the image pickup cycle number (step S18), and performs processing. Return to step S10.
  • the interference fringe image acquisition unit 60 acquires the interference fringe image FP (N + 1) corresponding to the N + 1th imaging cycle.
  • the super-resolution processing unit 61 generates a super-resolution interference fringe image SP based on the interference fringe image FP (N + 1) and the interference fringe image FP (N). Each process from step S10 to step S18 is repeatedly executed every one imaging cycle until the determination is affirmed in step S17.
  • step S17 YES
  • the repeat control unit 52 ends a series of repeat processes.
  • FIG. 18 shows an example of the search process of the in-focus position Pm executed by the in-focus position detection unit 63 in step S13 of FIG.
  • the in-focus position detection unit 63 performs peak determination of sharpness by, for example, a so-called mountain climbing method.
  • the in-focus position detection unit 63 calculates the sharpness
  • the calculated sharpness is plotted in association with the reconstructed position P.
  • the sharpness increases as the reconstruction position P approaches the in-focus position Pm, and decreases after the in-focus position Pm.
  • the in-focus position detection unit 63 detects the previous reconstructed position P as the in-focus position Pm.
  • the in-focus position Pm corresponds to the depth position of the cell 12 which is the object to be observed.
  • the interference fringes 33 caused by the cells 12 are arranged by two-dimensionally arranging the plurality of pixels 22B in a direction non-parallel to the A direction in which the cells 12 which are the objects to be observed flow.
  • a plurality of interference fringe image FPs whose positions are displaced in the X direction and the Y direction can be obtained.
  • a super-resolution interference fringe image SP can be obtained. Therefore, according to the technique of the present disclosure, it is possible to generate a super-resolution interference fringe image of an observation target object flowing through a flow path.
  • the super-resolution interference fringe image SP is reconstructed, and the reconstructed image RP at the reconstructed position P where the sharpness is maximized is detected, whereby a high-definition optimum reconstruction is performed.
  • Image BP can be acquired.
  • FIG. 19 shows a modified example of the image pickup sensor 22.
  • FIG. 19 shows an image pickup sensor 22 in which the second array pitch ⁇ Y is longer than the first array pitch ⁇ X.
  • the angle ⁇ x formed by the X direction with the A direction and the angle ⁇ y formed by the Y direction with the A direction are set to angles other than 45 °, respectively.
  • the diagonal vector V having the first array pitch ⁇ X as the X direction component and the second array pitch ⁇ Y as the Y direction component is parallel to the A direction.
  • the angles ⁇ x and ⁇ y may be determined.
  • the phase distribution image ⁇ 0 (m, n) obtained by the equation (3) is used as the reconstructed image RP, but the present invention is not limited to this, and the intensity distribution image A 0 (m) obtained by the equation (2) is not limited to this.
  • N) may be the reconstructed image RP.
  • the object to be observed has a thickness such as a cell population (so-called colony), an image appears in the intensity distribution , so it is preferable to use the intensity distribution image A0 (m, n) as the reconstructed image RP.
  • the input device 8 may allow the user to select which of the phase distribution image ⁇ 0 (m, n) and the intensity distribution image A 0 (m, n) is used as the reconstructed image RP. As a result, the user can select the optimum reconstructed image RP according to the object to be observed.
  • the object to be observed is a cell, but the object to be observed is not limited to a cell, and may be a dead cell or an object such as dust.
  • the digital holography system 2 relates to a technique called lens-free imaging, in which the image pickup apparatus 11 is not provided with an optical lens.
  • the technique of the present disclosure is not limited to lens-free imaging, and can be applied to digital holography in general (for example, when reference light is used).
  • the hardware configuration of the computer constituting the information processing device 10 can be modified in various ways.
  • the information processing apparatus 10 can be configured by a plurality of computers separated as hardware for the purpose of improving processing capacity and reliability.
  • the hardware configuration of the computer of the information processing apparatus 10 can be appropriately changed according to the required performance such as processing capacity, safety, and reliability. Further, not only the hardware but also the application program such as the operation program 41A can be duplicated for the purpose of ensuring safety and reliability, or can be distributed and stored in a plurality of storage devices. ..
  • the hardware structure of the processing unit (Processing Unit) that executes various processes such as the image pickup control unit 50, the image processing unit 51, the repetition control unit 52, and the display control unit 53 is as follows.
  • Various processors shown in the above can be used.
  • the CPU 40 which is a general-purpose processor that executes software (operation program 41A) and functions as various processing units, after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated processor with a circuit configuration designed exclusively for executing specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed. Includes electrical circuits and the like.
  • One processing unit may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Holo Graphy (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

流路を流れる観察対象物体の超解像干渉縞画像を生成することを可能とする撮像システム及び撮像装置を提供する。第１方向に向けて光を照射する光源であって、第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、第１方向に直交する撮像面であって、かつ第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、流路を通過した光を撮像して干渉縞画像を出力する撮像センサと、撮像センサから出力される複数の干渉縞画像に基づいて、超解像干渉縞画像を生成する情報処理装置とを備える。

Description

撮像システム及び撮像装置
　本開示の技術は、撮像システム及び撮像装置に関する。
　細胞等の小さな観察対象物体を撮像する装置を小型化するために、光学系部品を排除した、いわゆるレンズフリーのデジタルホログラフィが知られている。デジタルホログラフィでは、レーザ光等のコヒーレントな光を発する光源と撮像センサとを用いて観察対象物体を撮像し、撮像により得られた干渉縞画像を再構成することにより、再構成画像が生成される。
　また、このデジタルホログラフィに超解像技術を適用することが知られている（例えば、特許文献１参照）。超解像技術は、撮像センサの解像度を超える画像を生成する技術である。特許文献１には、照射角度が異なる複数の照射位置から観察対象物体に光を照射することにより得られる複数の画像に基づいて、超解像の干渉縞画像（以下、超解像干渉縞画像という。）を生成することが開示されている。超解像干渉縞画像を再構成することにより、高精細な再構成画像が得られる。
　また、デジタルホログラフィにおいて、微小な流路であるマイクロ流路（マイクロ流体チャネルとも称される。）に流れる細胞等を観察対象として撮像を行うことが知られている（例えば、特許文献２参照）。特許文献２には、マイクロ流路に流れる観察対象物体を撮像センサにより動画撮像しながら、干渉縞画像をリアルタイムに処理することが開示されている。
特表２０１４－５０７６４５号公報 特開２０１７－０７５９５８号公報
　特許文献１に記載の技術は、複数の照射位置から観察対象物体に光を照射することにより、複数回の撮像を行う必要があるので、複数回の撮像中に観察対象物体が静止していることが前提とされている。このため、特許文献１に記載の技術では、特許文献２に記載のようにマイクロ流路に流れる観察対象物体の超解像干渉縞画像を生成することは困難である。
　本開示の技術は、流路を流れる観察対象物体の超解像干渉縞画像を生成することを可能とする撮像システム及び撮像装置を提供することを目的とする。
　上記目的を達成するために、本開示の撮像システムは、第１方向に向けて光を照射する光源であって、第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、第１方向に直交する撮像面であって、かつ第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、流路を通過した光を撮像して干渉縞画像を出力する撮像センサと、撮像センサから出力される複数の干渉縞画像に基づいて、超解像干渉縞画像を生成する情報処理装置とを備える。
　複数の画素は、撮像面内において、Ｘ方向に第１配列ピッチで配列されており、かつＸ方向に直交するＹ方向に第２配列ピッチで配列されていることが好ましい。
　第１配列ピッチをＸ方向成分とし、かつ第２配列ピッチをＹ方向成分とする対角方向ベクトルが、第２方向に平行であることが好ましい。
　第１配列ピッチと第２配列ピッチとは等しいことが好ましい。
　連続する２つの撮像周期において撮像センサから出力される２つの干渉縞画像のずれ量は、Ｘ方向への成分が第１配列ピッチの非整数倍であり、かつＹ方向への成分が第２配列ピッチの非整数倍であることが好ましい。
　ずれ量は、Ｘ方向への成分が第１配列ピッチよりも小さく、かつＹ方向への成分が第２配列ピッチよりも小さいことが好ましい。
　情報処理装置は、連続する２つの撮像周期において撮像センサから出力される２つの干渉縞画像に基づいてずれ量を算出し、算出したずれ量と、２つの干渉縞画像とに基づいて超解像干渉縞画像を生成することが好ましい。
　情報処理装置は、超解像干渉縞画像を再構成することにより再構成画像を生成することが好ましい。
　情報処理装置は、再構成位置を変更しながら再構成画像を生成する再構成処理と、再構成処理により再構成画像が生成されるたびに再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、合焦位置検出処理により検出した合焦位置における再構成画像を最適再構成画像として出力する最適再構成画像出力処理とを実行する。
　第１方向に向けて光を照射する光源であって、第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、第１方向に直交する撮像面であって、かつ第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、流路を通過した光を撮像して干渉縞画像を出力する撮像センサとを備える。
　本開示の技術によれば、流路を流れる観察対象物体の超解像干渉縞画像を生成することを可能とする撮像システム及び撮像装置を提供することができる。
デジタルホログラフィシステムの構成の一例を示す図である。 撮像装置の構成の一例を示す図である。 マイクロ流路と撮像センサとの位置関係の一例を示す平面図である。 撮像センサの画素配列の一例を示す図である。 対角方向ベクトルを説明する図である。 細胞により干渉縞が生成される様子を示す図である。 回折光及び透過光が、互いに強め合う場合における波面を示す図である。 回折光及び透過光が、互いに弱め合う場合における波面を示す図である。 撮像センサから出力される干渉縞画像の一例を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置の機能構成の一例を示すブロック図である。 撮像装置の撮像動作を説明する図である。 ずれ量算出処理の一例を模式的に示す図である。 ずれ量ＤのＸ方向成分及びＹ方向成分の第１配列ピッチ及び第２配列ピッチとの関係の一例を示す図である。 位置合わせ処理及び統合処理の一例を模式的に示す図である。 再構成処理を説明する図である。 繰り返し処理の流れの一例を示すフローチャートである。 合焦位置の探索処理の一例を示す図である。 撮像センサの変形例を示す図である。 変形例に係る対角方向ベクトルを説明する図である。
　添付図面に従って本開示の技術に係る実施形態の一例について説明する。
　図１は、撮像システムの一例であるデジタルホログラフィシステム２の構成を示す。デジタルホログラフィシステム２は、情報処理装置１０と撮像装置１１とで構成される。情報処理装置１０には、撮像装置１１が接続されている。
　情報処理装置１０は、例えば、デスクトップ型のパーソナルコンピュータである。情報処理装置１０には、ディスプレイ５、キーボード６、及びマウス７などが接続されている。キーボード６及びマウス７は、ユーザが情報を入力するための入力デバイス８を構成する。入力デバイス８には、タッチパネル等も含まれる。
　図２は、撮像装置１１の構成の一例を示す。撮像装置１１は、光源２０及び撮像センサ２２を有する。光源２０は、例えばレーザーダイオードである。光源２０は、発光ダイオードとピンホールとを組み合わせて構成されたものであってもよい。
　光源２０と撮像センサ２２との間には、マイクロ流路１３が配置される。マイクロ流路１３は、例えばシリコーン樹脂により形成された流路ユニットに形成されており、液体を流すことが可能な流路である。流路ユニットは、透光性を有しており、流路ユニットの外部からマイクロ流路１３内に光を照射することが可能である。流路ユニットは、撮像装置１１内に固定されていてもよいし、撮像装置１１に対して着脱自在であってもよい。
　マイクロ流路１３には、細胞１２等を含む溶液１４を導入するための開口部１３Ａと、マイクロ流路１３に導入された溶液１４を排出するための開口部１３Ｂが設けられている。マイクロ流路１３は、本開示の技術に係る「流路」の一例である。
　溶液１４は、図示しないタンクからマイクロ流路１３の開口部１３Ａに導入され、マイクロ流路１３内を一定の速度で流れて開口部１３Ｂから排出される。光源２０、撮像センサ２２、及びマイクロ流路１３は、例えば、図示しないインキュベータ内に配置されている。撮像装置１１は、例えば、溶液１４に含まれる細胞１２を撮像対象として撮像を行う。細胞１２は、本開示の技術に係る「観察対象物体」の一例である。
　光源２０は、マイクロ流路１３に向けて照射光２３を照射する。照射光２３は、コヒーレントな光である。照射光２３は、マイクロ流路１３に入射し、マイクロ流路１３を通過した後、撮像センサ２２の撮像面２２Ａに入射する。矢印で示すＺ方向は、照射光２３の照射方向である。光源２０から照射される照射光２３が広がりを有する光束である場合には、Ｚ方向は、光束の中心軸方向に対応する。Ｚ方向は、本開示の技術に係る「第１方向」の一例である。
　マイクロ流路１３は、Ｚ方向に直交するＡ方向に延伸している。マイクロ流路１３は、観察対象物体としての細胞１２を、Ａ方向に流す流路である。Ａ方向は、本開示の技術に係る「第２方向」の一例である。また、図２において、符号Ｂは、Ｚ方向及びＡ方向に直交する方向を示している。
　なお、マイクロ流路１３の形状、及び開口部１３Ａ，１３Ｂの数は、適宜変更可能である。また、光源２０と撮像センサ２２との間に配置されるマイクロ流路１３の数は１に限られず、２以上であってもよい。本実施形態では、光源２０と撮像センサ２２との間に１つのマイクロ流路１３が配置されているとする。
　撮像センサ２２は、例えば、モノクロのＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサにより構成されている。撮像センサ２２の撮像動作は、情報処理装置１０により制御される。撮像センサ２２は、撮像面２２Ａが、Ｚ方向に直交するように配置されている。なお、撮像面２２Ａと、マイクロ流路１３が形成された流路ユニットとの距離Ｌは、可能な限り小さいことが好ましい。また、撮像面２２Ａと流路ユニットとを接触させる（すなわち、Ｌ＝０とする）ことも好ましい。
　マイクロ流路１３内の溶液１４に照射光２３が入射し、細胞１２で照射光２３が回折されることにより、細胞１２の形状が反映された干渉縞が生じる。
　図３は、平面視におけるマイクロ流路１３と撮像センサ２２との位置関係の一例を示す。撮像センサ２２は、平面視における外形が矩形状である。撮像センサ２２は、各辺が、マイクロ流路１３が細胞１２を流す方向であるＡ方向に対して４５°の角度をなすように、傾斜した状態で配置されている。
　図４は、撮像センサ２２の画素配列の一例を示す。撮像センサ２２は、撮像面２２Ａに配置された複数の画素２２Ｂを有する。画素２２Ｂは、入射光を光電変換することにより、入射光量に応じた画素信号を出力する光電変換素子である。撮像面２２Ａには、Ａ方向とは非平行に複数の画素２２Ｂが二次元配列されている。
　画素２２Ｂは、Ｘ方向及びＹ方向に沿って等ピッチで配列されている。画素２２Ｂの配列は、いわゆる正方配列である。なお、Ｘ方向は、Ｚ方向に直交する方向である。Ｙ方向は、Ｘ方向及びＺ方向に直交する方向である。本実施形態では、Ｘ方向及びＹ方向は、平面視における撮像センサ２２の外形の直交する２辺とそれぞれ平行である（図３参照）。すなわち、Ｘ方向がＡ方向となす角度θｘと、Ｙ方向がＡ方向となす角度θｙとは、それぞれ４５°である。
　画素２２Ｂは、Ｘ方向に第１配列ピッチΔＸで配列されており、かつ、Ｙ方向に第２配列ピッチΔＹで配列されている。本実施形態では、第１配列ピッチΔＸと第２配列ピッチΔＹは等しい。すなわち、本実施形態では、画素２２Ｂの配列は、いわゆる正方配列である。
　また、図５に示すように、第１配列ピッチΔＸをＸ方向成分とし、かつ第２配列ピッチΔＹをＹ方向成分とする対角方向ベクトルＶは、Ａ方向に平行である。
　撮像センサ２２は、撮像面２２Ａに入射する光を撮像し、画素２２Ｂの各々から出力される画素信号により構成される画像データを出力する。以下では、単に、画像を出力するという。
　図６は、観察対象物体としての細胞１２により干渉縞が生成される様子を示す。マイクロ流路１３に入射した照射光２３は、一部が細胞１２によって回折される。すなわち、照射光２３は、細胞１２によって回折される回折光３０と、細胞１２によって回折されず、マイクロ流路１３を透過する透過光３１とに分かれる。透過光３１は平面波である。回折光３０及び透過光３１は、マイクロ流路１３を透過して、撮像センサ２２の撮像面２２Ａに入射する。
　回折光３０と透過光３１とは、互いに干渉することにより、干渉縞３３が生じる。干渉縞３３は、明部３６及び暗部３８により構成される。図６では、干渉縞３３は、明部３６及び暗部３８をそれぞれ円形として図示しているが、干渉縞３３の形状は、細胞１２の形状及び内部構造に応じて変化する。撮像センサ２２は、撮像面２２Ａに形成された干渉縞３３を含む光像を撮像し、干渉縞３３を含む干渉縞画像ＦＰ（図７参照）を出力する。干渉縞画像ＦＰは、ホログラム画像とも称される。
　図７及び図８は、回折光３０及び透過光３１の波面を示す。図７は、回折光３０及び透過光３１が、互いに強め合う場合における波面を示す。図８は、回折光３０及び透過光３１が、互いに弱め合う場合における波面を示す。図７及び図８において、実線は回折光３０及び透過光３１の最大振幅の波面を示す。これに対して、破線は回折光３０及び透過光３１の最小振幅の波面を示す。
　図７において、撮像面２２Ａ上に示す白点３５は、回折光３０及び透過光３１の波面が揃って強め合う部分である。白点３５の部分は、干渉縞３３の明部３６（図６参照）に対応する。図８において、撮像面２２Ａ上に示す黒点３７は、回折光３０及び透過光３１の波面が半波長分ずれて弱め合う部分である。黒点３７の部分は、干渉縞３３の暗部３８（図６参照）に対応する。
　図９は、撮像センサ２２から出力される干渉縞画像ＦＰの一例を示す。図９に示す干渉縞画像ＦＰは、撮像センサ２２の撮像領域に含まれる１つの細胞１２（図６参照）により照射光２３が回折されることにより生じた１つの干渉縞３３が含まれている。
　図１０は、情報処理装置１０のハードウェア構成の一例を示す。図１０に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）４０、記憶装置４１、及び通信部４２を備え、これらはバスライン４３を介して相互接続されている。また、バスライン４３には、前述のディスプレイ５及び入力デバイス８が接続されている。
　ＣＰＵ４０は、記憶装置４１に格納された作動プログラム４１Ａ及び各種データ（図示せず）を読み出して処理を実行することにより、各種機能を実現する演算装置である。ＣＰＵ４０は、本開示の技術に係るプロセッサの一例である。
　記憶装置４１は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、又はストレージ装置等を含む。ＲＡＭは、例えば、ワークエリア等として用いられる揮発性メモリである。ＲＯＭは、例えば、作動プログラム４１Ａ及び各種データを保持するフラッシュメモリ等の不揮発性メモリである。ストレージ装置は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。ストレージは、ＯＳ（Operating System）、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。
　通信部４２は、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。情報処理装置１０は、通信部４２を介して撮像装置１１に接続される。ディスプレイ５は、各種画面を表示する。情報処理装置１０は、各種画面を通じて、入力デバイス８からの操作指示の入力を受け付ける。
　図１１は、情報処理装置１０の機能構成の一例を示す。情報処理装置１０の機能は、作動プログラム４１Ａに基づいてＣＰＵ４０が処理を実行することにより実現される。図１１に示すように、ＣＰＵ４０には、撮像制御部５０、画像処理部５１、繰り返し制御部５２、及び表示制御部５３が構成される。
　撮像制御部５０は、撮像装置１１の動作を制御する。具体的には、撮像制御部５０は、光源２０による照射光２３の発生動作、及び撮像センサ２２の撮像動作を制御する。以下、光源２０による照射光２３の発生動作と、撮像センサ２２の撮像動作とを合わせて、撮像装置１１の撮像動作という。撮像制御部５０は、入力デバイス８から入力される操作信号に基づいて、撮像装置１１に撮像動作を実行させる。
　撮像制御部５０は、１撮像周期ごとに周期的に撮像を行うように撮像装置１１を駆動する。すなわち、撮像装置１１は、動画撮像を行う。図１２に示すように、撮像装置１１は、１撮像周期ごとに撮像動作を行い、干渉縞画像ＦＰを出力する。干渉縞画像ＦＰ（Ｎ）は、第Ｎ撮像周期に撮像装置１１から出力された干渉縞画像ＦＰを表す。ここで、Ｎは、正の整数である。以下、撮像周期を区別する必要がない場合には、単に、干渉縞画像ＦＰと表す。
　画像処理部５１は、撮像装置１１から出力される干渉縞画像ＦＰ（図９参照）に基づいて再構成処理及び合焦位置検出処理等を行い、観察対象物体である細胞１２にフォーカスが合った最適再構成画像ＢＰを出力する。
　繰り返し制御部５２は、撮像装置１１の撮像周期に同期して、画像処理部５１に、再構成処理及び合焦位置検出処理等を繰り返し実行させる。画像処理部５１は、１撮像周期ごとに、最適再構成画像ＢＰを出力する。
　表示制御部５３は、画像処理部５１から１撮像周期ごとに出力される最適再構成画像ＢＰを、ディスプレイ５に表示させる。これにより、ディスプレイ５には、最適再構成画像ＢＰがリアルタイムに表示される。
　撮像制御部５０は、入力デバイス８から撮像開始信号が入力されたことに応じて、撮像装置１１に撮像動作を開始させ、入力デバイス８から撮像停止信号が入力されたことに応じて、撮像装置１１の撮像動作を停止させる。繰り返し制御部５２は、撮像装置１１が撮像動作を開始することに応じて画像処理部５１に動作を開始させ、撮像動作が停止することに応じて画像処理部５１の動作を停止させる。
　画像処理部５１は、干渉縞画像取得部６０、超解像処理部６１、再構成画像生成部６２、合焦位置検出部６３、及び最適再構成画像出力部６４を有する。
　干渉縞画像取得部６０は、１撮像周期ごとに、撮像装置１１がマイクロ流路１３を撮像した結果出力される干渉縞画像ＦＰ（図１２参照）を取得する。干渉縞画像取得部６０は、取得した干渉縞画像ＦＰを記憶装置４１に記憶させる。
　超解像処理部６１は、記憶装置４１に記憶された複数の干渉縞画像ＦＰに基づいて、超解像干渉縞画像ＳＰを生成する。具体的には、超解像処理部６１は、連続する２つの撮像周期において撮像センサ２２から出力される２つの干渉縞画像ＦＰと、各干渉縞画像ＦＰに含まれる干渉縞３３のずれ量とに基づいて、超解像干渉縞画像ＳＰを生成する。
　図１３は、ずれ量算出処理を模式的に示す。図１３に示すように、超解像処理部６１は、記憶装置４１から直前の２撮像周期において撮像センサ２２から出力された干渉縞画像ＦＰ（Ｎ）及び干渉縞画像ＦＰ（Ｎ－１）を取得する。干渉縞画像ＦＰ（Ｎ）は、第Ｎ撮像周期に撮像センサ２２から出力された干渉縞画像ＦＰである。干渉縞画像ＦＰ（Ｎ－１）は、第Ｎ－１撮像周期に撮像センサ２２から出力された干渉縞画像ＦＰである。
　超解像処理部６１は、位相限定相関法等の画像解析による手法を用いて、干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）の画像マッチングを行うことにより、干渉縞３３のずれ量Ｄを算出する。ずれ量Ｄは、１撮像周期における細胞１２のＡ方向への移動量に対応する。
　超解像処理を行うためには、図１４に示すように、ずれ量Ｄは、Ｘ方向への成分Ｄｘが第１配列ピッチΔＸの非整数倍であり、かつＹ方向への成分Ｄｙが第２配列ピッチΔＹの非整数倍である必要がある。以下、Ｘ方向への成分Ｄｘを「Ｘ方向成分Ｄｘ」といい、Ｙ方向への成分Ｄｙを「Ｙ方向成分Ｄｙ」という。図１４は、Ｘ方向成分Ｄｘが第１配列ピッチΔＸよりも小さく、かつＹ方向成分Ｄｙが第２配列ピッチΔＹよりも小さい場合を示している。Ｘ方向成分Ｄｘ及びＹ方向成分Ｄｙは、それぞれ第１配列ピッチΔＸ及び第２配列ピッチΔＹの非整数倍であればよく、第１配列ピッチΔＸ及び第２配列ピッチΔＹよりも大きくてもよい。
　マイクロ流路１３内を流れる細胞１２の速度を制御することによりずれ量Ｄを精密に制御することは難しいが、上記のように位相限定相関法等の手法を用いて、２つの干渉縞画像ＦＰを画像解析することにより、ずれ量Ｄを容易に求めることができる。
　干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とは、超解像技術に係るいわゆる「画素ずらし」における２つの画像に対応し、かつ、ずれ量Ｄは、画素ずらし量に対応する。画素ずらし技術は、特公昭５０－１７１３４号公報、又は特開２００１－１１１８７９号公報等により知られている。
　超解像処理部６１は、ずれ量Ｄを求めた後、干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とをずれ量Ｄに基づいて位置合わせし、位置合わせ後の干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とを統合することにより、超解像干渉縞画像ＳＰを生成する。
　図１５は、位置合わせ処理及び統合処理を模式的に示す。図１５は、干渉縞画像ＦＰ（Ｎ）及び干渉縞画像ＦＰ（Ｎ－１）のＸ方向に関する画素値の変化を例示している。超解像処理部６１は、干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とのうち、例えば、干渉縞画像ＦＰ（Ｎ－１）を、ずれ量Ｄに基づいて移動させることにより位置合わせを行う。具体的には、超解像処理部６１は、Ｘ方向について、ずれ量ＤのＸ方向成分Ｄｘだけ干渉縞画像ＦＰ（Ｎ－１）を移動させ、かつ、Ｙ方向について、ずれ量ＤのＸ方向成分Ｄｘだけ干渉縞画像ＦＰ（Ｎ－１）を移動させる。なお、図１５では、Ｘ方向に関する位置合わせのみを示しているが、Ｙ方向についても同様に位置合わせが行われる。
　超解像処理部６１は、位置合わせを行った干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とを統合する統合処理を行う。これにより、干渉縞画像ＦＰに対して解像度が２倍に増加した超解像干渉縞画像ＳＰが生成される。なお、単純な統合処理では、超解像干渉縞画像ＳＰの画素が等間隔に配列されない場合があるので、超解像干渉縞画像ＳＰの画素配列を等間隔化する処理を加えてもよい。
　前述のように、撮像面２２ＡにＡ方向とは非平行に複数の画素２２Ｂが二次元配列されていることにより、ずれ量Ｄには、０でない有限のＸ方向成分Ｄｘ及びＹ方向成分Ｄｙが生じる。したがって、超解像干渉縞画像ＳＰは、干渉縞画像ＦＰに対してＸ方向及びＹ方向に解像度が増加する。Ｘ方向成分ＤｘとＹ方向成分Ｄｙとが等しい場合には、超解像干渉縞画像ＳＰは、Ｘ方向とＹ方向とに関して生じる解像度の偏りが低減して均等化されるので、前述のように角度θｘ及びθｙ（図４参照）をそれぞれ４５°とすることが好ましい。
　なお、超解像処理部６１は、２枚の干渉縞画像ＦＰに限られず、３枚以上の干渉縞画像ＦＰを用いて超解像干渉縞画像ＳＰを生成してもよい。多くの干渉縞画像ＦＰを用いるほど生成される超解像干渉縞画像ＳＰの解像度が増加する一方、処理負荷が増加する。このため、許容される処理負荷に応じて、超解像処理に用いる干渉縞画像ＦＰの枚数を決定することが好ましい。
　図１１に戻り、再構成画像生成部６２は、超解像処理部６１により生成された超解像干渉縞画像ＳＰを再構成することにより再構成画像ＲＰを生成し、生成した再構成画像ＲＰを記憶装置４１に記憶させる。超解像処理部６１から再構成画像生成部６２には、１撮像周期ごとに超解像干渉縞画像ＳＰが入力される。再構成画像生成部６２は、入力された１枚の超解像干渉縞画像ＳＰに対して再構成位置を変更しながら複数の再構成画像ＲＰを生成する。
　具体的には、図１６に示すように、再構成画像生成部６２は、再構成位置Ｐを一定値ずつ変更しながら、再構成位置Ｐを変更するたびに再構成画像ＲＰを生成する。再構成位置Ｐは、撮像センサ２２の撮像面２２Ａから光源２０の方向への距離ｄにより表される位置（いわゆる深さ位置）である。
　再構成画像生成部６２は、例えば、下式（１）～（３）で表されるフレネル変換式に基づいて再構成処理を行う。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ここで、Ｉ（ｘ，ｙ）は、超解像干渉縞画像ＳＰを表す。ｘは、超解像干渉縞画像ＳＰの画素のＸ座標を表す。ｙは、超解像干渉縞画像ＳＰの画素のＹ座標を表す。Δｘは、超解像干渉縞画像ＳＰの画素のＸ方向への配列ピッチである。Δｙは、超解像干渉縞画像ＳＰの画素のＹ方向への配列ピッチである。λは、照射光２３の波長である。
　式（１）に示すように、Γ（ｍ，ｎ）は、超解像干渉縞画像ＳＰがフレネル変換された複素振幅画像である。ここで、ｍ＝１，２，３，・・・Ｎｘ－１、及びｎ＝１，２，３，・・・Ｎｙ－１である。Ｎｘは、超解像干渉縞画像ＳＰのＸ方向への画素数を表している。Ｎｙは、超解像干渉縞画像ＳＰのＹ方向への画素数を表している。
　式（２）に示すように、Ａ０（ｍ，ｎ）は、複素振幅画像Γ（ｍ，ｎ）の強度成分を表す強度分布画像である。式（３）に示すように、φ０（ｍ，ｎ）は、複素振幅画像Γ（ｍ，ｎ）の位相成分を表す位相分布画像である。
　再構成画像生成部６２は、式（１）に超解像干渉縞画像ＳＰを適用することにより複素振幅画像Γ（ｍ，ｎ）を求め、求めた複素振幅画像Γ（ｍ，ｎ）を、式（２）又は式（３）に適用することにより、強度分布画像Ａ０（ｍ，ｎ）又は位相分布画像φ０（ｍ，ｎ）を求める。再構成画像生成部６２は、強度分布画像Ａ０（ｍ，ｎ）と位相分布画像φ０（ｍ，ｎ）とのうちのいずれか１つを求めて、再構成画像ＲＰとして出力し、記憶装置４１に記憶させる。
　本実施形態では、再構成画像生成部６２は、位相分布画像φ０（ｍ，ｎ）を再構成画像ＲＰとして出力する。位相分布画像φ０（ｍ，ｎ）は、観察対象物体の屈折率分布を表す画像である。本実施形態での観察対象物体である細胞１２は、半透明であるので、照射光２３の大部分は、細胞１２により吸収されずに、透過するか、又は回折されるので、強度分布には像がほとんど現れない。このため、本実施形態では、再構成画像ＲＰとして位相分布画像φ０（ｍ，ｎ）を用いることが好ましい。
　照射光２３の波長λは、例えば、撮像装置１１から供給される撮像条件１１Ａに含まれる。再構成画像生成部６２は、撮像条件１１Ａに含まれる波長λの値を用いて、式（１）の演算を行う。また、再構成画像生成部６２は、再構成位置Ｐに対応する距離ｄを一定値ずつ変更しながら式（１）の演算を行うことにより複素振幅画像Γ（ｍ，ｎ）を求め、求めた複素振幅画像Γ（ｍ，ｎ）を、式（２）又は式（３）に適用する。
　また、再構成画像生成部６２は、下限位置Ｐ１から上限位置Ｐ２の範囲内で、再構成位置Ｐを一定値ずつ変更する。再構成画像生成部６２は、例えば、下限位置Ｐ１を初期位置として、再構成位置Ｐの変更を開始する。再構成位置Ｐの変更は、式（１）の距離ｄを変更することに対応する。
　なお、再構成画像生成部６２は、フレネル変換式を用いる方法に限られず、フーリエ反復位相回復法等により再構成処理を行ってもよい。
　図１１に戻り、合焦位置検出部６３は、再構成画像生成部６２から出力されて記憶装置４１に記憶される各再構成画像ＲＰの鮮鋭度を求め、鮮鋭度が極大化される再構成位置Ｐ（以下、合焦位置Ｐｍ）を探索する。合焦位置検出部６３は、１撮像周期ごとに、合焦位置Ｐｍを検出して最適再構成画像出力部６４に入力する。
　合焦位置検出部６３は、例えば、再構成画像ＲＰのコントラスト値を鮮鋭度として算出する。なお、合焦位置検出部６３は、再構成画像ＲＰにおける細胞１２の像の広がりを断面プロファイル等で評価した値を鮮鋭度としてもよい。また、合焦位置検出部６３は、フーリエ解析等によって周波数解析を行うことにより鮮鋭度を求めてもよい。
　最適再構成画像出力部６４は、合焦位置検出部６３により１撮像周期ごとに合焦位置Ｐｍが検出されるたびに、合焦位置Ｐｍに対応する再構成画像ＲＰを記憶装置４１から取得する。また、最適再構成画像出力部６４は、取得した再構成画像ＲＰを最適再構成画像ＢＰとして表示制御部５３に出力する最適再構成画像出力処理を行う。
　図１７は、繰り返し制御部５２による繰り返し処理の流れの一例を示す。撮像装置１１による撮像動作（図１２参照）が開始されると、干渉縞画像取得部６０は、第Ｎ撮像周期に対応する干渉縞画像ＦＰ（Ｎ）を取得する（ステップＳ１０）。干渉縞画像取得部６０が取得した干渉縞画像ＦＰ（Ｎ）は、記憶装置４１に記憶される。ここで、記憶装置４１には、第Ｎ－１撮像周期に対応する干渉縞画像ＦＰ（Ｎ－１）が既に記憶されているとする。
　超解像処理部６１は、記憶装置４１から干渉縞画像ＦＰ（Ｎ）及び干渉縞画像ＦＰ（Ｎ－１）を読み込み、ずれ量の算出処理（図１３参照）、位置合わせ処理及び統合処理（図１５参照）を行うことにより、超解像干渉縞画像ＳＰを生成する（ステップＳ１１）。
　次に、再構成画像生成部６２は、超解像処理部６１により生成された超解像干渉縞画像ＳＰに基づき、再構成位置Ｐを初期位置に設定したうえで、前述の再構成処理を行うことにより、再構成画像ＲＰを生成する（ステップＳ１２）。ステップＳ１２では、１つの再構成位置Ｐに対する再構成画像ＲＰが生成されて、記憶装置４１に記憶される。
　次に、合焦位置検出部６３は、記憶装置４１から再構成画像ＲＰを読み込み、当該再構成画像ＲＰの鮮鋭度を算出し、算出した鮮鋭度に基づいて合焦位置Ｐｍを検出する（ステップＳ１３）。なお、合焦位置Ｐｍは、鮮鋭度が極大化される再構成位置Ｐであるので、合焦位置Ｐｍの検出には、少なくとも３枚の再構成画像ＲＰについて鮮鋭度を算出する必要がある。このためには、ステップＳ１３が少なくとも３回繰り返される必要がある。
　繰り返し制御部５２は、合焦位置検出部６３により合焦位置Ｐｍが検出されたか否かを判定する（ステップＳ１４）。繰り返し制御部５２は、合焦位置Ｐｍが検出されなかったと判定した場合には（ステップＳ１４：ＮＯ）、処理をステップＳ１２に戻す。ステップＳ１２では、再構成画像生成部６２により再構成位置Ｐが一定値だけ変更されたうえで、再構成画像ＲＰが再度生成される。ステップＳ１２及びステップＳ１３の各処理は、ステップＳ１４において判定が肯定されるまでの間、繰り返し実行される。
　繰り返し制御部５２は、合焦位置検出部６３により合焦位置Ｐｍが検出された場合には（ステップＳ１４：ＹＥＳ）、処理をステップＳ１５に移行させる。ステップＳ１５では、最適再構成画像出力部６４は、合焦位置検出部６３により検出された合焦位置Ｐｍに対応する再構成画像ＲＰを記憶装置４１から取得し、取得した再構成画像ＲＰを最適再構成画像ＢＰとして表示制御部５３に出力する（ステップＳ１５）。
　表示制御部５３は、最適再構成画像出力部６４から入力された最適再構成画像ＢＰをディスプレイ５に表示させる（ステップＳ１６）。
　次に、繰り返し制御部５２は、入力デバイス８から撮像停止信号が入力されたか否かを判定する（ステップＳ１７）。繰り返し制御部５２は、撮像停止信号が入力されなかったと判定した場合には（ステップＳ１７：ＮＯ）、撮像周期の番号を表すパラメータＮ（図１２参照）をインクリメントして（ステップＳ１８）、処理をステップＳ１０に戻す。ステップＳ１０では、干渉縞画像取得部６０は、第Ｎ＋１撮像周期に対応する干渉縞画像ＦＰ（Ｎ＋１）を取得する。ステップＳ１１では、超解像処理部６１により、干渉縞画像ＦＰ（Ｎ＋１）及び干渉縞画像ＦＰ（Ｎ）に基づいて超解像干渉縞画像ＳＰが生成される。ステップＳ１０からステップＳ１８までの各処理は、ステップＳ１７において判定が肯定されるまでの間、１撮像周期ごとに繰り返し実行される。
　繰り返し制御部５２は、入力デバイス８から撮像停止信号が入力されたと判定した場合には（ステップＳ１７：ＹＥＳ）、一連の繰り返し処理を終了させる。
　図１８は、図１７のステップＳ１３において合焦位置検出部６３により実行される合焦位置Ｐｍの探索処理の一例を示す。図１８に示すように、合焦位置検出部６３は、例えば、いわゆる山登り方式による鮮鋭度のピーク判定を行う。合焦位置検出部６３は、鮮鋭度を算出するたびに、算出した鮮鋭度を再構成位置Ｐと関連付けてプロットする。鮮鋭度は、再構成位置Ｐが合焦位置Ｐｍに近づくに連れて増大し、合焦位置Ｐｍを過ぎると減少する。合焦位置検出部６３は、鮮鋭度が増大から減少に転じたことを検出した場合に、１つ前の再構成位置Ｐを合焦位置Ｐｍとして検出する。合焦位置Ｐｍは、観察対象物体である細胞１２の深さ位置に対応する。
　以上のように、本開示の技術によれば、観察対象物体である細胞１２が流れるＡ方向とは非平行に複数の画素２２Ｂを二次元配列することにより、細胞１２に起因する干渉縞３３の位置がＸ方向及びＹ方向にずれた複数の干渉縞画像ＦＰが得られる。複数の干渉縞画像ＦＰを超解像処理することにより、超解像干渉縞画像ＳＰが得られる。したがって、本開示の技術によれば、流路を流れる観察対象物体の超解像干渉縞画像を生成することができる。
　さらに、本開示の技術によれば、超解像干渉縞画像ＳＰを再構成し、鮮鋭度が極大化される再構成位置Ｐにおける再構成画像ＲＰを検出することにより、高精細な最適再構成画像ＢＰを取得することができる。
　［変形例］
　以下に、各種変形例について説明する。上記実施形態では、図４に示すように、第１配列ピッチΔＸと第２配列ピッチΔＹとが等しい撮像センサ２２を用いているが、第１配列ピッチΔＸと第２配列ピッチΔＹとが異なる撮像センサ２２を用いてもよい。
　図１９は、撮像センサ２２の変形例を示す。図１９は、第１配列ピッチΔＸよりも第２配列ピッチΔＹが長い撮像センサ２２を示している。この場合、Ｘ方向がＡ方向となす角度θｘと、Ｙ方向がＡ方向となす角度θｙとを、それぞれ４５°以外の角度とする。
　具体的には、図２０に示すように、第１配列ピッチΔＸをＸ方向成分とし、かつ第２配列ピッチΔＹをＹ方向成分とする対角方向ベクトルＶがＡ方向と平行になるように、角度θｘ及びθｙを決定すればよい。
　すなわち、下式（４）及び（５）を満たす角度θｘ及びθｙを求めればよい。なお、下式（４）及び（５）では、角度をラジアンで表している。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　これにより、第１配列ピッチΔＸと第２配列ピッチΔＹとが異なる場合であっても、超解像干渉縞画像ＳＰにおいて、Ｘ方向とＹ方向とに関して生じる解像度の偏りが低減して均等化される。
　また、上記実施形態では、式（３）により求まる位相分布画像φ０（ｍ，ｎ）を再構成画像ＲＰとしているが、これに限られず、式（２）により求まる強度分布画像Ａ０（ｍ，ｎ）を再構成画像ＲＰとしてもよい。観察対象物体が細胞集団（いわゆるコロニー）等の厚みを有るものである場合に、強度分布に像が現れるため、強度分布画像Ａ０（ｍ，ｎ）を再構成画像ＲＰとすることが好ましい。
　また、位相分布画像φ０（ｍ，ｎ）と強度分布画像Ａ０（ｍ，ｎ）とのうち、いずれを再構成画像ＲＰとして用いるかを、入力デバイス８によりユーザが選択可能としてもよい。これにより、ユーザは、観察対象物体に応じて最適な再構成画像ＲＰを選択することができる。
　また、上記実施形態では、観察対象物体を細胞としているが、観察対象物体は、細胞には限られず、死細胞、又はゴミ等の物体であってもよい。
　上記実施形態に係るデジタルホログラフィシステム２は、撮像装置１１に光学レンズを備えない、いわゆるレンズフリーイメージングと呼ばれる技術に関する。本開示の技術は、レンズフリーイメージングに限定されず、デジタルホログラフィ全般（例えば、参照光を用いる場合など）に適用可能である。
　情報処理装置１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置１０を、処理能力及び信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。
　このように、情報処理装置１０のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４１Ａ等のアプリケーションプログラムについても、安全性及び信頼性の確保を目的として、二重化すること、あるいは、複数のストレージデバイスに分散して格納することも可能である。
　上記実施形態において、例えば、撮像制御部５０、画像処理部５１、繰り返し制御部５２、及び表示制御部５３といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４１Ａ）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ４０に加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device: PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／又は、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip: SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　また、上記実施形態及び各変形例は、矛盾が生じない範囲で適宜組み合わせ可能である。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
２　デジタルホログラフィシステム
５　ディスプレイ
６　キーボード
７　マウス
８　入力デバイス
１０　情報処理装置
１１　撮像装置
１１Ａ　撮像条件
１２　細胞
１３　マイクロ流路
１３Ａ，１３Ｂ　開口部
１４　溶液
２０　光源
２２　撮像センサ
２２Ａ　撮像面
２２Ｂ　画素
２３　照射光
３０　回折光
３１　透過光
３３　干渉縞
３５　白点
３６　明部
３７　黒点
３８　暗部
４０　ＣＰＵ
４１　記憶装置
４１Ａ　作動プログラム
４２　通信部
４３　バスライン
５０　撮像制御部
５１　画像処理部
５２　繰り返し制御部
５３　表示制御部
６０　干渉縞画像取得部
６１　超解像処理部
６２　再構成画像生成部
６３　合焦位置検出部
６４　最適再構成画像出力部
ΔＸ　配列ピッチ
ΔＹ　配列ピッチ
θｘ，θｙ　角度
ＢＰ　最適再構成画像
Ｄ　ずれ量
Ｄｘ　Ｘ方向成分
Ｄｙ　Ｙ方向成分
ＦＰ　干渉縞画像
Ｌ　距離
Ｐ１　下限位置
Ｐ２　上限位置
Ｐ　再構成位置
Ｐｍ　合焦位置
ＲＰ　再構成画像
ＳＰ　超解像干渉縞画像
Ｖ　対角方向ベクトル
ｄ　距離

Claims (10)

  1. 　第１方向に向けて光を照射する光源であって、前記第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、
    　前記第１方向に直交する撮像面であって、かつ前記第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、前記流路を通過した光を撮像して干渉縞画像を出力する撮像センサと、
    　前記撮像センサから出力される複数の干渉縞画像に基づいて、超解像干渉縞画像を生成する情報処理装置と、
    　を備える撮像システム。
  2. 　前記複数の画素は、前記撮像面内において、２次元配列の配列方向の一方向をＸ方向とし、他方をＹ方向とした場合に、前記Ｘ方向に第１配列ピッチで配列されており、かつ前記Ｘ方向に直交するＹ方向に第２配列ピッチで配列されている、
    　請求項１に記載の撮像システム。
  3. 　前記第１配列ピッチと、前記第２配列ピッチよりなる対角方向ベクトルが、前記第２方向に平行である、
    　請求項２に記載の撮像システム。
  4. 　前記第１配列ピッチと前記第２配列ピッチとは等しい、
    　請求項３に記載の撮像システム。
  5. 　連続する２つの撮像周期において前記撮像センサから出力される２つの前記干渉縞画像のずれ量は、前記Ｘ方向への成分が前記第１配列ピッチの非整数倍であり、かつ前記Ｙ方向への成分が前記第２配列ピッチの非整数倍である、
    　請求項２から請求項４のうちいずれか１項に記載の撮像システム。
  6. 　前記ずれ量は、前記Ｘ方向への成分が前記第１配列ピッチよりも小さく、かつ前記Ｙ方向への成分が前記第２配列ピッチよりも小さい、
    　請求項５に記載の撮像システム。
  7. 　前記情報処理装置は、連続する２つの撮像周期において前記撮像センサから出力される２つの前記干渉縞画像に基づいて前記ずれ量を算出し、算出した前記ずれ量と、前記２つの前記干渉縞画像とに基づいて前記超解像干渉縞画像を生成する、
    　請求項５又は請求項６に記載の撮像システム。
  8. 　前記情報処理装置は、前記超解像干渉縞画像を再構成することにより再構成画像を生成する、
    　請求項１から請求項７のうちいずれか１項に記載の撮像システム。
  9. 　前記情報処理装置は、
    　再構成位置を変更しながら前記再構成画像を生成する再構成処理と、
    　前記再構成処理により前記再構成画像が生成されるたびに前記再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、
    　前記合焦位置検出処理により検出した前記合焦位置における前記再構成画像を最適再構成画像として出力する最適再構成画像出力処理と、
    　を実行する、
    　請求項８に記載の撮像システム。
  10. 　第１方向に向けて光を照射する光源であって、前記第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、
    　前記第１方向に直交する撮像面であって、かつ前記第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、前記流路を通過した光を撮像して干渉縞画像を出力する撮像センサと、
    　を備える撮像装置。
PCT/JP2021/019618 2020-06-25 2021-05-24 撮像システム及び撮像装置 WO2021261148A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21829581.4A EP4174165A4 (en) 2020-06-25 2021-05-24 IMAGING DEVICE AND SYSTEM
JP2022532425A JP7404533B2 (ja) 2020-06-25 2021-05-24 撮像システム及び撮像装置
US18/069,355 US20230120464A1 (en) 2020-06-25 2022-12-21 Imaging system and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-109804 2020-06-25
JP2020109804 2020-06-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/069,355 Continuation US20230120464A1 (en) 2020-06-25 2022-12-21 Imaging system and imaging device

Publications (1)

Publication Number Publication Date
WO2021261148A1 true WO2021261148A1 (ja) 2021-12-30

Family

ID=79282530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019618 WO2021261148A1 (ja) 2020-06-25 2021-05-24 撮像システム及び撮像装置

Country Status (4)

Country Link
US (1) US20230120464A1 (ja)
EP (1) EP4174165A4 (ja)
JP (1) JP7404533B2 (ja)
WO (1) WO2021261148A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195491A1 (ja) * 2022-04-06 2023-10-12 富士フイルム株式会社 撮像システム及び培養条件調整方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5017134A (ja) 1973-06-12 1975-02-22
JP2001111879A (ja) 1999-10-08 2001-04-20 Sony Corp 撮像装置
US20120026509A1 (en) * 2006-05-02 2012-02-02 California Institute Of Technology On-chip phase microscope/beam profiler based on differential interference contrast and/or surface plasmon assisted interference
JP2014507645A (ja) 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法
JP2017075958A (ja) 2011-12-07 2017-04-20 アイメックＩｍｅｃ 流体中の物体の分析および選別
US20170270388A1 (en) * 2014-08-15 2017-09-21 Imec Vzw System and Method for Cell Recognition

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3065001B1 (en) * 2013-10-28 2022-05-04 University of Hyogo Holographic microscope and data processing method for high-resolution hologram image
US10795315B2 (en) * 2016-05-11 2020-10-06 The Regents Of The University Of California Method and system for pixel super-resolution of multiplexed holographic color images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5017134A (ja) 1973-06-12 1975-02-22
JP2001111879A (ja) 1999-10-08 2001-04-20 Sony Corp 撮像装置
US20120026509A1 (en) * 2006-05-02 2012-02-02 California Institute Of Technology On-chip phase microscope/beam profiler based on differential interference contrast and/or surface plasmon assisted interference
JP2014507645A (ja) 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法
JP2017075958A (ja) 2011-12-07 2017-04-20 アイメックＩｍｅｃ 流体中の物体の分析および選別
US20170270388A1 (en) * 2014-08-15 2017-09-21 Imec Vzw System and Method for Cell Recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4174165A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195491A1 (ja) * 2022-04-06 2023-10-12 富士フイルム株式会社 撮像システム及び培養条件調整方法

Also Published As

Publication number Publication date
EP4174165A1 (en) 2023-05-03
US20230120464A1 (en) 2023-04-20
JPWO2021261148A1 (ja) 2021-12-30
JP7404533B2 (ja) 2023-12-25
EP4174165A4 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
US10911668B2 (en) Imaging apparatus, image processing apparatus, imaging system, image processing method, and recording medium employing first and second Fresnel Zone plates with corresponding image sensors
US10338368B2 (en) Phase contrast imaging
US9518864B2 (en) Controllable optical sensing
JP7356453B2 (ja) 光学処理システム
JP6814983B2 (ja) 撮像装置
JP2010539469A (ja) 周期パターン照明及びｔｄｉによる結像測定システム
JP5673017B2 (ja) 振動測定システム、振動測定装置および振動測定方法
WO2021261148A1 (ja) 撮像システム及び撮像装置
JP5514641B2 (ja) レーザー干渉バンプ測定器
Engel 3D optical measurement techniques
US10551294B2 (en) Temporal noise reduction in 2D image of an observation object moving in a flow path
US20230393379A1 (en) Apparatus and method of estimating values from images
WO2021261158A1 (ja) 情報処理装置、その作動方法及び作動プログラム
WO2009077779A2 (en) Method and apparatus for providing image data
JP2022524923A (ja) 散乱媒質を介したイメージングシステム及び方法
JP7364796B2 (ja) 情報処理装置、その作動方法及び作動プログラム
Xu et al. An efficient CNN to realize speckle correlation imaging based on cloud-edge for cyber-physical-social-system
Himanshu et al. Different Phase Retrieval Algorithms: A Review
WO2023176638A1 (ja) 光学装置
KR20130028594A (ko) 구조광 생성 방법, 그 장치 및 그 장치를 이용한 모션 인식 장치
JP7493960B2 (ja) 形状測定装置及び形状測定方法
US20210164919A1 (en) Inspection apparatus and method based on coherent diffraction imaging (cdi)
JP2023090091A (ja) 波面計測装置及び波面計測方法
Shangguan et al. Research on the influence of measurement accuracy of the CCD moiré method
CN117929335A (zh) 成像装置、成像方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21829581

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532425

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021829581

Country of ref document: EP

Effective date: 20230125