WO2018070451A1 - ディジタルホログラフィック顕微鏡 - Google Patents

ディジタルホログラフィック顕微鏡 Download PDF

Info

Publication number
WO2018070451A1
WO2018070451A1 PCT/JP2017/036894 JP2017036894W WO2018070451A1 WO 2018070451 A1 WO2018070451 A1 WO 2018070451A1 JP 2017036894 W JP2017036894 W JP 2017036894W WO 2018070451 A1 WO2018070451 A1 WO 2018070451A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
fluorescence
image
optical system
diffraction grating
Prior art date
Application number
PCT/JP2017/036894
Other languages
English (en)
French (fr)
Inventor
修 的場
Original Assignee
国立大学法人神戸大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人神戸大学 filed Critical 国立大学法人神戸大学
Priority to US16/340,506 priority Critical patent/US10712270B2/en
Priority to JP2018545039A priority patent/JP6961241B2/ja
Publication of WO2018070451A1 publication Critical patent/WO2018070451A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0092—Polarisation microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4261—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element with major polarization dependent properties
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452—Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/20—Coherence of the light source
    • G03H2222/24—Low coherence light normally not allowing valuable record or reconstruction

Definitions

  • the present invention relates to a digital holographic microscope capable of simultaneously measuring three-dimensional fluorescence and phase.
  • Dynamic three-dimensional imaging of living cells is an important measurement technique in the field of bioapplications.
  • a fluorescent labeling technique is known in which a fluorescent molecule is introduced into specific DNA in a cell nucleus using a fluorescence microscope, and changes in cells undergoing mitosis are measured. Visualization of the interaction between nuclei and proteins in cells stained with fluorescent molecules enables various observations.
  • a confocal laser scanning microscope is known as one capable of measuring a three-dimensional fluorescence image with high resolution and high contrast. However, since the confocal laser scanning microscope requires scanning of the focal point for each point of the measurement object, it takes time to obtain a three-dimensional fluorescence image, and measurement of depth and depth of a dynamic object is fast.
  • Structural observation means include a phase contrast microscope and a differential interference microscope.
  • the phase contrast image is effective for measuring the shape of a transparent object.
  • the fluorescence image and the phase image can be observed at the same time, different information can be acquired at the same time, so that more detailed information can be provided in the bioreaction.
  • an optical microscope capable of simultaneously observing a fluorescence image and a phase difference image is commercially available.
  • a filter needs to be replaced, and there is a restriction that a measurement range is limited to one point or two dimensions.
  • a digital holographic microscope is known as a tool that enables instantaneous three-dimensional measurement.
  • three-dimensional information is acquired as hologram information, and light wave information of the object with respect to the depth position is reconstructed by performing back propagation calculation of the light wave in the computer.
  • the characteristics of the digital holographic microscope are that it does not require special fluorescent staining and enables three-dimensional observation of living cells (label-free), and has an auto-focusing function that can arbitrarily change the focal position by computer reconstruction. It is mentioned that quantitative phase measurement is possible. For this reason, even in a situation where cells move three-dimensionally, it is possible to obtain a reconstructed image in focus automatically by reconstructing calculation.
  • the hologram recording apparatus disclosed in Patent Document 1 solves the problem that light with low coherence (for example, natural light or fluorescence) cannot be observed, and uses a spatial light modulator (wavefront modulation element).
  • the object light including the first component light and the second component light having different polarization directions are made to have different wavefront shapes of the first component light and the second component light, and the second component with respect to the first component light.
  • the phase shift amount of light a distribution that periodically changes in space is generated, and the first component light and the second component light are caused to interfere with each other to form a hologram.
  • a reconstructed image of the subject can be obtained from a hologram recorded by one imaging using light with low coherence passing through a single optical path.
  • this method has a problem that it is limited to observation of a three-dimensional fluorescence image with low coherence.
  • Fluorescent digital holographic microscope is suitable for targeting measurement, but has a problem that it is ineffective for substances that do not generate fluorescence. In addition, when performing fluorescence observation, there is also a problem that a measurement target is limited because harmful fluorescent molecules are used. Therefore, from the viewpoint of expanding the application of the digital holographic microscope (DHM), the appearance of a multimodal digital holographic microscope capable of observing various information such as phase images, fluorescent images, and polarized light is desired. Yes.
  • Non-Patent Document a digital holographic microscope capable of two-dimensional fluorescence imaging and phase imaging and reconstructed it from a hologram image for the purpose of realizing a multimodal digital holographic microscope.
  • the prototype microscope acquires a fluorescent image and a phase image sequentially, and does not measure the fluorescent image and the phase image at the same time.
  • the fluorescence image and the fluorescence three-dimensional image, and the phase image and the phase three-dimensional image are used in the same meaning.
  • the prototype digital holographic microscope described above has the functions of both a fluorescence microscope and a phase image detection digital holographic microscope, but each image is acquired sequentially by switching the shutter. It is not a combination of an image detection digital holographic microscope and does not mean that a fluorescence image and a phase image can be measured three-dimensionally at the same time.
  • the present invention is a combination of a fluorescence digital holographic microscope and a phase image detection digital holographic microscope, which can simultaneously measure a fluorescence three-dimensional image and a phase three-dimensional image, and includes all polarization including random polarization.
  • An object of the present invention is to provide a digital holographic microscope capable of measuring a three-dimensional fluorescence image with a high signal-to-noise ratio (SNR). It is another object of the present invention to provide a digital holographic microscope capable of measuring a three-dimensional fluorescence image with a high S / N ratio for all polarization states including random polarization by single shot measurement.
  • SNR signal-to-noise ratio
  • the digital holographic microscope of the present invention uses a laser beam to acquire a phase three-dimensional image by interference light obtained by superimposing object light that passes through an observation target sample and reference light that does not pass.
  • a first holographic optical system, and a second holographic optical system that obtains a fluorescence three-dimensional image of a sample to be observed by fluorescence signal light using fluorescence excitation light, and phase measurement by the first holographic optical system;
  • the fluorescence measurement by the second holographic optical system is simultaneously performed.
  • the second holographic optical system includes a double focus lens on which a diffraction grating is superimposed, and both the double focus lens and the diffraction grating have polarization dependency.
  • the fluorescence signal light is separated from the noise light due to polarization dependency, and the separated fluorescence signal light is separated from the optical axis by the double focus lens on which the diffraction grating is superimposed.
  • a three-dimensional fluorescence image is obtained by condensing at the shifted position and causing the condensed fluorescence signal light to self-interfer. That is, the fluorescence signal light is self-interfered by the double focus lens to acquire a fluorescence three-dimensional image, and the fluorescence signal light is condensed at a position shifted from the optical axis by the diffraction grating superimposed on the double focus lens.
  • Separation of fluorescence signal light from noise light due to polarization dependency means that light of a modulation component of fluorescence signal light is condensed at a position shifted from the optical axis by a diffraction grating superimposed on a double focus lens, and slitted. For example, the light is separated from the light of the non-modulated component of the fluorescent signal light.
  • the fluorescence three-dimensional image by causing self-interference of the collected fluorescence signal light, the influence of the light of the non-modulation component can be suppressed, the fluorescence three-dimensional image can be obtained clearly, and the SN ratio is increased. ing.
  • a hologram is formed with light of a specific polarization state, thereby eliminating noise light in a random polarization state and randomly
  • a three-dimensional fluorescence image can be measured with a high S / N ratio for all polarization states including polarized light.
  • the polarization state of the fluorescence signal light emitted from the sample to be observed is randomly polarized, but for all incident polarized light (including random polarization) other than the polarization state insensitive to the bifocal lens and diffraction grating. High signal-to-noise ratio.
  • the double focus lens on which the diffraction grating is superimposed realizes two functions of the double focus lens and the diffraction grating at the same time. For example, a predetermined period is formed on the surface of the lens having two focal lengths. It is a lens in which a large number of parallel grooves are engraved.
  • the double focus lens on which the diffraction grating is superimposed may be one in which the diffraction grating is arranged so as to overlap the lens in the axial direction of the double focus lens.
  • the double-focus lens on which the diffraction grating is superimposed can be configured by a liquid crystal spatial light modulator (SLM), which will be described later.
  • SLM liquid crystal spatial light modulator
  • the state of liquid crystal molecules changes depending on the voltage and a phase delay occurs, but there is a polarization state in which this phase delay does not occur.
  • the effect of the double-focus lens and diffraction grating does not occur, causing a problem that a hologram is not formed.
  • the polarization state in which such phase delay does not occur does not exist in the fluorescent signal light, a high SN ratio is substantially realized for the fluorescent signal light.
  • the fluorescence excitation light is non-coherent (incoherent) light, both laser light having coherency can be used.
  • the noise light is surface reflection of the optical element, light reflected by the cover glass, external light, and the like, and means light other than the fluorescent signal light from the object.
  • the fluorescent signal light passing through the double focus lens is divided into light of a modulated component and a non-modulated component.
  • the light of the modulation component is diffracted by the diffraction grating superimposed on the bifocal lens, deviates from the optical axis, and passes through a shutter provided with an opening position at a position off the optical axis.
  • the noise light of the non-modulation component is not diffracted by the diffraction grating, goes straight on the optical axis, and is blocked by the shutter.
  • the excited fluorescence signal light irradiated on the sample sample is diffracted by the diffraction grating, and the diffraction angle ( ⁇ ) is shifted from the perpendicular of the diffraction grating.
  • the noise light is random and unpolarized, and travels straight on the optical axis as it is without being diffracted by the diffraction grating.
  • the diffraction grating in the digital holographic microscope of the present invention preferably has a different periodic structure for each focal length of the bifocal lens.
  • the light of the modulation component of the fluorescence signal light that has passed through the bifocal lens is converted into two light waves with different diffraction angles.
  • the S / N ratio can be improved by reconstructing the fluorescence signal light from the interference intensity distribution of the interference fringes of the light wave.
  • the diffraction grating has a grating interval of 2 ⁇ m period and a focal length f 2 for the light having the focal length f 1. It has a different periodic structure with respect to the focal length so as to function as a 1 ⁇ m period grating interval for light.
  • the bifocal lens is a sub-wavelength-periodic-structured-Fresnel-Lens (SPFL), and may be integrated with a diffraction grating.
  • the sub-wavelength periodic structure is a structure for expressing polarization dependence.
  • the sub-wavelength periodic structure which is a diffraction grating structure having a period shorter than the wavelength of light, is diffracted by the polarization state of the light wave.
  • the Fresnel lens is a lens in which a normal lens is folded back with the wavelength of light to reduce the thickness, and the cross section is a saw-like shape in which prisms are arranged.
  • the bifocal Fresnel lens has a function of diffracting one beam light into two parts and focusing on different places.
  • the diffraction grating superimposed on the bifocal lens has the same polarization dependency as the bifocal Fresnel lens. Since both the diffraction grating and the bifocal lens have polarization dependence, only the signal light modulated by the bifocal lens is diffracted. When the diffraction grating has no modulation dependency, noise light that has not been modulated by the bifocal lens is also diffracted, and noise increases.
  • the double focus lens on which the diffraction grating is superimposed may be constituted by a liquid crystal spatial light modulator.
  • the liquid crystal spatial light element different actions can be generated with respect to the polarization state of the incident photoelectric field depending on the orientation of the liquid crystal molecules. For example, when acting as an ordinary ray with respect to linearly polarized light in a certain direction, it acts as an extraordinary ray with respect to linearly polarized light perpendicular thereto. Therefore, it is possible to realize a polarization-dependent bifocal lens that acts only on a specific linear polarization direction (in this case, an extraordinary ray).
  • the fluorescence signal light in the digital holographic microscope of the present invention generates two diffracted lights by the double lens realized by the liquid crystal spatial light modulator. Both of these two diffracted lights have the same polarization, and self-interference occurs.
  • the function differs from the spatial light modulation element in Patent Document 1 described above that forms a hologram by causing the first component light and the second component light having different polarization directions to interfere with each other (in the case of the present invention, for the fluorescence hologram).
  • the fluorescent signal light and the object light for phase hologram correspond to the first component light and the second component light of Patent Document 1.
  • the double-focus lens having polarization dependency is designed so as to act only on the second holographic optical system and not on the first holographic optical system.
  • the bifocal lens is designed so that the polarization of the object light of the first holographic optical system that acquires the phase three-dimensional image is insensitive and does not cause lens action, and the fluorescence three-dimensional image is acquired.
  • At least one micromirror is turned on using a display element in which a number of micromirrors are arranged in a plane, and fluorescence excitation light or fluorescence signal light Is partially transmitted, and a three-dimensional fluorescence image is acquired using a single detector as an imaging means.
  • a digital mirror device DMD is preferably used as the display element in which a large number of micromirrors are arranged in a plane.
  • the imaging means uses a single detector, not a pixel matrix image sensor, to modulate the spatial pattern of the fluorescence signal by DMD, and obtain the light energy of the modulated fluorescence signal.
  • a compression sensing technique a technique that simultaneously performs observation and compression, efficiently acquires data, and restores the signal to be observed from as few observations as possible Reconstruct the pattern on the computer.
  • the wavelength of the fluorescence excitation light may be switchable.
  • the wavelength of the fluorescence excitation light is switched according to the fluorescence characteristics of the observation target sample.
  • the wavelength of the fluorescence excitation light is switched according to the fluorescence characteristics of the observation target sample.
  • the type of fluorescent staining reagent it is possible to select a target cell and measure cell state changes such as division and shape change. That is, using the digital holographic microscope of the present invention, a fluorescence three-dimensional image acquired using the wavelength of one fluorescence excitation light and a fluorescence three-dimensional image acquired using the wavelength of another fluorescence excitation light are simultaneously used.
  • a cell observation method for observing cell behavior can be realized from the acquired phase three-dimensional image.
  • the first holographic optical system is a transmission type and the second holographic optical system is a reflection type (an epi-illumination type).
  • both the first and second holographic optical systems may be turned upside down depending on the sample installation state.
  • the fluorescence signal is very weak. Therefore, when the transmission type is used, it is very difficult to cut only strong fluorescence excitation light. This is because it becomes difficult.
  • the fluorescence excitation light that excites the fluorescence signal is sufficiently cut, and the dichroic mirror that passes only the fluorescence signal or the specification of the fluorescence wavelength It is necessary to use a band-pass filter that passes the laser wavelength for phase measurement and phase measurement.
  • the imaging means of the first holographic optical system and the imaging means of the second holographic optical system are shared, and the imaging means takes a fluorescence three-dimensional image and a phase three-dimensional image. Acquire simultaneously as a hologram. Then, the three-dimensional fluorescence image of the concentric hologram and the three-dimensional phase image of the equi-angle hologram are separated on the spatial frequency plane, and the object light and the fluorescence signal light are reconstructed from the respective interference intensity distributions. Since the fluorescence polarization of the second holographic optical system self-interferences in the three-dimensional fluorescence image, the interference pattern is concentric.
  • the phase three-dimensional image can be formed into an interference pattern having a carrier frequency by using equi-tilt interference.
  • the concentric interference pattern and the equiangular interference pattern can be separated on the spatial frequency plane, and the three-dimensional fluorescence image and the three-dimensional phase image can be separated on the spatial frequency plane from the image captured by the imaging means. .
  • the components of the equi-tilt interference pattern can be extracted by a bandpass filter on the spatial frequency plane.
  • the imaging means of the first holographic optical system and the imaging means of the second holographic optical system are shared, and the imaging means takes a fluorescence three-dimensional image and a phase three-dimensional image. Acquire simultaneously as a hologram. Then, the three-dimensional fluorescence image of the equitilt hologram by off-axis interference and the three-dimensional phase image of the equitilt hologram are separated on the spatial frequency plane, and the object light and the fluorescence signal light are reconstructed from the respective interference intensity distributions. You may do it.
  • the digital holographic microscope of the present invention when observing a cell, it is preferable to simultaneously acquire the spatiotemporal information of the cell nucleus from the fluorescence three-dimensional image and the spatiotemporal structure of the cell nucleus and the cell wall from the phase three-dimensional image. Multidimensional information obtained from a plurality of physical quantities has not been obtained by measurement in the conventional bioimaging field, and enables observation that has been impossible with the digital holographic microscope of the present invention.
  • the digital holographic microscope of the present invention enables simultaneous and high-speed photographing of a three-dimensional fluorescence image and a three-dimensional phase image as a powerful measurement rule in the field of bioimaging.
  • the digital holographic microscope of the present invention it is possible to realize a cell observation method that simultaneously acquires spatiotemporal information of cell nuclei from a three-dimensional fluorescence image and spatiotemporal structures of cell nuclei and cell walls from a three-dimensional phase image.
  • the digital holographic microscope of the present invention is a digital holographic microscope having a holographic optical system that obtains a fluorescence three-dimensional image of a sample to be observed by fluorescence signal light using fluorescence excitation light.
  • the double focus lens and the diffraction grating both have polarization dependency, and the fluorescence signal light is separated from the noise light due to the polarization dependency, and the diffraction grating is superimposed.
  • the separated fluorescence signal light is condensed at a position shifted from the optical axis by a double focus lens, and the condensed fluorescence signal light is self-interfered to obtain a fluorescence three-dimensional image.
  • the fluorescence signal light can be self-interfered by the double focus lens to obtain a fluorescence three-dimensional image, and the fluorescence signal light can be condensed at a position shifted from the optical axis by the polarization-dependent diffraction grating, It is possible to obtain a fluorescence three-dimensional image by increasing the signal-to-noise ratio during the self-interference of the fluorescence signal light.
  • a fluorescence digital holographic microscope and a phase image detection digital holographic microscope can be combined to measure a fluorescence three-dimensional image and a phase three-dimensional image at the same time.
  • a three-dimensional fluorescence image can be measured with a high signal-to-noise ratio for all polarization states including random polarization (except for polarization states insensitive to double focus lenses and diffraction gratings). effective.
  • all polarization states including random polarization can be obtained by forming a hologram with light of a specific polarization state in single shot measurement.
  • a fluorescence three-dimensional image can be measured with a high S / N ratio (excluding a polarization state insensitive to the grating).
  • Configuration diagram of optical system of digital holographic microscope of embodiment 1 1 is a configuration diagram of a first holographic optical system that acquires a phase three-dimensional image of Embodiment 1.
  • FIG. 2 is a configuration diagram of a second holographic optical system that acquires a three-dimensional fluorescence image of Example 1.
  • FIG. 1 shows a configuration of an optical system according to an embodiment of a digital holographic microscope.
  • the digital holographic microscope shown in FIG. 1 includes an optical system of a transmission type digital holographic microscope (first holographic optical system for obtaining a phase three-dimensional image) and an optical system of a reflection type fluorescent microscope (a three-dimensional fluorescent image).
  • first holographic optical system for obtaining a phase three-dimensional image an optical system of a reflection type fluorescent microscope
  • the object light and the fluorescent signal light are coaxially superimposed until they pass through the objective lens from the sample stage and pass through the objective lens.
  • the fluorescence signal light and the phase measurement object light are separated by the difference in wavelength and polarization direction, and two holograms of a phase three-dimensional image and a fluorescence three-dimensional image are simultaneously acquired by different imaging means. That is, two holograms of a fluorescence three-dimensional image and a phase three-dimensional image are simultaneously acquired by synchronizing the image sensors 3a and 3b of the respective optical systems used as imaging means.
  • first holographic optical system and the second holographic optical system will be described in detail.
  • the optical system of the transmission digital holographic microscope shown in FIG. 2 (first holographic optical system for acquiring a phase three-dimensional image) will be described.
  • the measurement object of the sample to be observed on the sample stage 4 is illuminated using a He—Ne laser light source 5 having a wavelength of 633 (nm).
  • the He-Ne laser beam 63 is divided by the beam splitter 12 into a path of object light (64, 65, 66) that passes through the measurement object and a path of reference light (67, 68) that has nothing.
  • This optical system constitutes a Mach-Zehnder interferometer.
  • the object light 65 transmitted through the measurement object enters the objective lens 25 and then proceeds to the dichroic mirror 27.
  • the dichroic mirror 27 is It is possible to reflect only the object light 65 that passes through the measurement object and transmit other fluorescence signal light 61 and the like.
  • the object light (65, 66) that passes through the measurement object interferes with the reference light (67, 68) by the beam splitter 18.
  • an off-axis hologram that is, a hologram having an equitilt interference pattern is generated by slightly setting an angle between the object light and the reference light, and this is acquired by the image sensor 3b.
  • the amplitude distribution and the phase distribution of the object light are extracted from the hologram 35 of the equal-tilt interference pattern acquired by the image sensor 3b using the Fourier transform method.
  • the off-axis method by propagating back to the original object position, the wavefront of the object light of the sample to be observed is reproduced, and the object light can be reconstructed.
  • the He—Ne laser light source 5 having a wavelength of 633 (nm) is used to illuminate the measurement object of the sample to be observed on the sample stage 4 and at the same time on the sample stage 4 using the fluorescence excitation light source 6 having a wavelength band of 355 nm to 550 nm.
  • the fluorescent molecules (8a, 8b) of the sample to be observed are excited.
  • the excited fluorescent molecules 8 a emit fluorescent signal light having a wavelength longer than that of the fluorescent excitation light in the wavelength band of 355 nm to 550 nm, and enter the objective lens 25 together with the fluorescent excitation light reflected from the glass substrate surface of the sample stage 4.
  • the dichroic mirror 16 that reflects light of a specific wavelength and transmits light of other wavelengths, the fluorescence excitation light 60 is sufficiently attenuated and the fluorescence signal light 61 is enhanced.
  • the bifocal lens 2 is a bifocal Fresnel lens having two focal lengths (f 1 , f 2 ). Two diffracted waves are generated from one fluorescent signal light by the bifocal Fresnel lens, and the two diffracted waves are focused at different locations.
  • FIG. 5 the difference between a bifocal lens on which a diffraction grating is superimposed and a bifocal lens on which a diffraction grating is not superimposed will be described.
  • a bifocal lens on which no diffraction grating is superimposed as shown in FIG. 5 (2), light incident parallel to the optical axis is collected on the optical axis.
  • a double focus lens having polarization dependency light having a specific polarization direction is transmitted and condensed on the optical axis, and light having a different polarization direction is blocked.
  • the double focus lens on which the diffraction grating is superimposed as shown in FIG.
  • the light incident in parallel with the optical axis is not condensed on the optical axis but is condensed by the diffraction grating 7.
  • the point is shifted from the optical axis. This is because light is diffracted by each slit of the diffraction grating 7 to generate a wave that bends in the lateral direction.
  • incident light propagates strongly only in a specific direction.
  • strong diffracted light is generated. In this case, in the double focus lens having polarization dependency, light having a specific polarization direction is transmitted.
  • the polarization direction passing through the slit of the diffraction grating 7 is also matched with the polarization direction of the double focus lens.
  • the light is diffracted by the diffraction grating 7 so that the focal point is shifted from the optical axis.
  • a hologram generated by self-interference with a bifocal lens will be described with reference to FIG.
  • the fluorescent molecules (8a, 8b) of the observation target sample on the sample stage 4 are excited using the fluorescence excitation light source 6 in the optical system of FIG. 1, the excited fluorescence molecules have a longer wavelength than the fluorescence excitation light.
  • the fluorescence signal light is emitted and enters the objective lens 25 together with the fluorescence excitation light reflected by the glass substrate surface of the sample stage 4.
  • Fluorescent signal light that has passed through the lens 25 is enhanced by the dichroic mirror 16 and is incident on the bifocal lens 2 on which the diffraction grating 7 is superimposed.
  • two light waves (32, 33) are generated from the fluorescent signal light 31 by the double focus lens 2. Since these light waves (32, 33) are focused at different places, the fluorescence signal light 31 will interfere with itself. Due to self-interference, the interference fringes are concentric. That is, a concentric pattern hologram 34 is obtained as a fluorescent three-dimensional image captured by the image sensor 3.
  • the diffraction grating 7 is superimposed on the bifocal lens 2. For this reason, the fluorescent signal light 31 transmitted through the bifocal lens 2 is diffracted by the diffraction grating 7, bent in the horizontal direction, and the diffracted light travels, so that the condensing point is shifted from the optical axis.
  • the lens 26 functions to collect the light wave emitted from the double focus lens 2 at a short distance.
  • the diffraction grating 7 when the diffraction grating 7 is provided, that is, when the diffraction grating 7 is superimposed on the bifocal lens, the fluorescent signal light 61 generated from the fluorescent molecules 8a is transmitted through the bifocal lens 2; The light is diffracted when passing through the diffraction grating 7, bent in the horizontal direction, and the diffracted wave 62 travels, so that the focal point deviates from the optical axis.
  • the diffracted wave 62 is transmitted through the opening of the shutter 9, and is collected by the tube lens (17 a, 17 b) along the same optical path as when there is no diffraction grating 7, and deviated from the optical axis 60.
  • the image sensor 3 captures a concentric pattern hologram 34 as a fluorescent three-dimensional image.
  • the opening of the shutter 9 does not exist at the position of the optical axis 60, the light collected on the optical axis is blocked.
  • the light to be blocked light having a polarization direction different from the polarization direction of the diffraction grating 7, for example, light having a polarization component that is not affected by the double focus lens 2, surface reflection light from an optical element, random polarization, etc. Noise light.
  • the hologram (interference draft) was confirmed when there was no diffraction grating superimposed on the bifocal lens (comparative example) and when there was a diffraction grating (example). Moreover, it confirmed also about the case where only a non-modulation component was extracted using the polarizing plate.
  • the experimental hologram is shown in FIG.
  • the example with diffraction grating
  • FIG. 19 is a comparison graph of the SN ratio on the hologram surface.
  • the horizontal axis represents pixels in the horizontal direction of the captured image, and the vertical axis represents the SN ratio.
  • the average SN ratio is 0.9 in the comparative example (without diffraction grating), whereas the average SN ratio is 2.0 in the example (with diffraction grating), and the SN ratio is It was confirmed that it was twice as high.
  • the image shown in FIG. 10 is a reconstructed image of the fluorescence signal light of the light emitting diodes (LEDs 1 and 2) simulating two fluorescent molecules.
  • the image on the left is a reconstructed fluorescence three-dimensional image captured using a bifocal lens with a diffraction grating superimposed (with a diffraction grating), and the image on the right has a diffraction grating superimposed on it.
  • the upper two images are obtained by using the incoherent signal light of the light emitting diode 1 (LED1), and the lower two images are obtained by using the incoherent signal light of the light emitting diode 2 (LED2). is there.
  • the LEDs 1 and 2 have the same wavelength, but exist at spatially different positions like the fluorescent molecules (8a and 8b) in FIG.
  • 10 and 11 show the experimental results of measuring a three-dimensional image using incoherent signal light using diffraction gratings having the same periodic structure. The position of the diffraction grating is determined by the periodic structure of the diffraction grating and the wavelength of the modulated light.
  • the slit width is adjusted to an appropriate width depending on the spatial spread of the fluorescence signal.
  • the diffraction grating (1ST G) and the diffraction grating (2ND G) have the same periodic structure, and the positions of the diffraction gratings are the same, but the locations of LED1 and LED2 are spatially different positions. It is divided from each.
  • the shape of the LED 1 (located on the left side) is clearer when the diffraction grating is present than when the diffraction grating is absent.
  • the shape of the LED 2 (located on the right side) is clearer when the diffraction grating is present than when the diffraction grating is absent.
  • the clarity (degree of light and darkness) of the reconstructed image can be explained from the graph of FIG. The graph of FIG.
  • FIG. 20 shows a reconstructed image from a hologram in which two LEDs 1 and 2 are simultaneously recorded and an enlarged image thereof
  • FIG. 21 shows an intensity distribution graph at the reconstructed image distance of the two reconstructed images.
  • FIG. 20 shows the reconstructed images of the two LEDs 1 and 2 at the reconstructed image distance at which the respective intensity peaks appear from the graph of FIG.
  • the intensity distribution of LED 1 peaks when the reconstruction image distance is about 620 mm
  • the intensity distribution of LED 2 peaks when the reconstruction image distance is about 1190 mm.
  • the intensity distribution graph of LED2 since it seems that there are two peaks, the peaks are determined by fitting with Gaussian distribution.
  • the peaks are determined by fitting with Gaussian distribution.
  • FIG. 8 shows the configuration of a holographic optical system that acquires a fluorescence three-dimensional image of this embodiment.
  • the holographic optical system shown in FIG. 8 is an optical system of a reflection type fluorescence microscope.
  • the He—Ne laser light source 5 having a wavelength of 633 (nm) is used to illuminate the measurement object of the sample to be observed on the sample stage 4 and at the same time on the sample stage 4 using the fluorescence excitation light source 6 having a wavelength band of 355 nm to 550 nm.
  • the fluorescent molecules (8a, 8b) of the sample to be observed are excited.
  • the excited fluorescent molecules 8 a emit fluorescent signal light having a wavelength longer than that of the fluorescent excitation light in the wavelength band of 355 nm to 550 nm, and enter the objective lens 25 together with the fluorescent excitation light reflected from the glass substrate surface of the sample stage 4.
  • the dichroic mirror 16 that reflects light of a specific wavelength and transmits light of other wavelengths, the fluorescence excitation light 60 is sufficiently attenuated and the fluorescence signal light 61 is enhanced.
  • a three-dimensional fluorescence image is acquired by off-axis self-interference of the fluorescence signal light. Since the fluorescence signal light 61 self-interfers with the double focus lens 2, the fluorescence three-dimensional image generates a hologram 36 having an equi-tilt interference pattern, which is acquired by the image sensor 3b. The amplitude distribution and the phase distribution of the fluorescence signal light are extracted from the hologram 36 of the equal-tilt interference pattern acquired by the image sensor 3b using the Fourier transform method. In the off-axis method, by propagating back to the original phosphor position, the wavefront of the fluorescence signal light of the sample to be observed is reproduced, and the fluorescence signal light can be reconstructed.
  • a concentric circle is a plan view of a bifocal lens on which a diffraction grating is superimposed. As shown in the enlarged view, a grating groove of the diffraction grating is formed on the lens. Has been.
  • FIG. 22 shows a reconstructed image of the fluorescence three-dimensional image in the holographic optical system of this example.
  • FIG. 22 (1) shows a hologram. In the dotted line portion of FIG. 22 (1), an enlarged image is also shown with enhanced contrast.
  • FIG. 22 (3) is a graph with the reconstruction image distance (Reconstruction Distance) as the horizontal axis and the intensity (intensity normalized based on the peak intensity) as the vertical axis, and FIG. 22 (2) shows the peak intensity.
  • the intensity image on the reproduction surface of the reconstructed image distance is shown.
  • the intensity image in FIG. 22 (2) is clear, and it can be said that the LED light source that has passed through the pinhole is being reproduced because it is one condensing point.
  • FIG. 12 is a conceptual diagram of a DMD element.
  • the DMD element is disposed on the optical path of the second holographic optical system that acquires a fluorescence three-dimensional image of the observation target sample by the fluorescence excitation light.
  • the DMD element is installed between the lens 17a and the lens 17b in the optical system shown in FIG.
  • a single detector is used in place of the image sensor 3a.
  • the DMD element by turning one or a plurality of micromirrors to the ON state, the portion of the micromirror in the ON state becomes an opening, and transmits the fluorescent signal light.
  • the DMD element 70 shown in FIG. 12 is composed of 48 micromirrors of 6 ⁇ 8 in length, one micromirror 72 in the ON state, and the other micromirror 71 in the OFF state. In the DMD element 70, it is clear that the fluorescent signal light is transmitted from the position of the micromirror 72 in the ON state.
  • a single detector is used to modulate the spatial pattern of the fluorescence signal by DMD, and the light energy of the modulated fluorescence signal is acquired.
  • the hologram pattern is reconstructed on the computer by the compression sensing technique from the combination of the modulation pattern by DMD and its light energy.
  • FIG. 13 shows the configuration of an optical system according to another embodiment of the digital holographic microscope.
  • the digital holographic microscope shown in FIG. 13 includes the optical system of the transmission digital holographic microscope shown in FIG. 14 (first holographic optical system that acquires a phase three-dimensional image) and the reflective fluorescent microscope shown in FIG.
  • the two optical systems, the optical system (second holographic optical system that acquires a three-dimensional fluorescence image) are used as a common optical path, and the object light and the fluorescent signal light are superimposed on the same axis, and the three-dimensional phase is obtained by one imaging means.
  • Two holograms of an image and a fluorescence three-dimensional image can be acquired simultaneously.
  • the optical system of the transmission digital holographic microscope shown in FIG. 14 (first holographic optical system for acquiring a phase three-dimensional image) will be described.
  • the measurement object of the sample to be observed on the sample stage 4 is illuminated using a He—Ne laser light source 5 having a wavelength of 633 (nm).
  • the He—Ne laser light is divided by the beam splitter 12 into an object light path that passes through the measurement object and an empty reference light path, and constitutes a Mach-Zehnder interferometer.
  • the wavelength 633 (nm) of the He—Ne laser light that passes through the measurement object is longer than the wavelength of the excitation laser light in the wavelength band of 355 nm to 550 nm, it is propagated without being influenced by the dichroic mirror 16 and is again transmitted to the beam splitter 18. Interferes with the reference beam.
  • an off-axis hologram that is, a hologram having an equitilt interference pattern is obtained by slightly setting an angle between the object beam and the reference beam.
  • the amplitude distribution and the phase distribution of the object light are extracted from the acquired hologram of the equal inclination interference pattern using the Fourier transform method.
  • the off-axis method by propagating back to the original object position, the wavefront of the object light of the sample to be observed is reproduced, and the object light can be reconstructed.
  • the He—Ne laser light source 5 having a wavelength of 633 (nm) is used to illuminate the measurement object of the sample to be observed on the sample stage 4 and at the same time on the sample stage 4 using the fluorescence excitation light source 6 having a wavelength band of 355 nm to 550 nm.
  • the fluorescent molecules of the sample to be observed are excited.
  • the excited fluorescent molecules emit fluorescent signal light having a wavelength longer than that of the fluorescent excitation light in the wavelength band of 355 nm to 550 nm, and enter the objective lens 15 together with the fluorescent excitation light reflected by the glass substrate surface of the sample stage 4.
  • the dichroic mirror 16 that reflects light of a specific wavelength and transmits light of other wavelengths, the fluorescence excitation light is sufficiently attenuated to enhance the fluorescence signal light.
  • a fluorescence three-dimensional image is acquired by self-interference of the fluorescence signal light. Since the fluorescent signal light self-interfers with the double focus lens 2, the fluorescent three-dimensional image becomes a concentric pattern hologram.
  • the image sensor 3 used as the imaging means simultaneously acquires two holograms of a phase three-dimensional image and a fluorescence three-dimensional image.
  • the interference pattern is concentric.
  • the phase three-dimensional image becomes an equitilt interference pattern.
  • the concentric interference pattern and the equi-angle interference pattern can be separated on the spatial frequency plane, and the phase hologram of the phase three-dimensional image and the fluorescence hologram of the fluorescence three-dimensional image are spatially separated from the image captured by the image sensor 3. It can be separated in terms of frequency.
  • a half-wave plate 20 is provided so that the phase hologram light is not affected by the bifocal lens 2, and the polarization of the phase hologram light is aligned with the polarization orientation not affected by the bifocal lens 2. .
  • a half-wave plate 21 is provided to align the polarization direction of the fluorescence excitation light source with the polarization direction in which the double focus lens 2 works. Therefore, only the fluorescence signal light generated by the fluorescence excitation light source is affected by the bifocal lens 2 and further by the diffraction grating 7, so that the focal point is shifted from the optical axis.
  • Equation 1 the signal in which the phase hologram and the fluorescence hologram are superimposed.
  • o p represents the complex amplitude distribution of the object light wave for phase holograms
  • r p represents the complex amplitude distribution of the reference light wave.
  • o F is a complex amplitude distribution of the object light wave for a fluorescence hologram incident on the double focus lens.
  • f 1 and f 2 indicate two focal lengths of the bifocal lens.
  • G is a function representing the phase function of the lens and the Fresnel diffraction propagation to the imaging surface. If r p is assumed to be a plane wave expressed by the following Expression 2, the phase hologram is the off-axis hologram. Therefore, the extraction of the phase hologram can be performed on the spatial frequency plane by Fourier transforming the above Equation 1.
  • FIG. 16A is an interference image in which two holograms of a phase hologram and a fluorescence hologram are superimposed, and illustrates the following Equation 3.
  • the first, second, fifth, sixth, seventh, and eighth terms on the right side of Equation 3 below are terms due to concentric holograms of self-interference, which are signals that appear near the origin on the spatial frequency plane (see FIG. 16 (2)). ).
  • the third and fourth terms on the right side are terms based on an off-axis hologram, and are signals that exist at positions shifted from the origin on the spatial frequency plane (see FIG. 16 (2)).
  • FIG. 17 shows an example of a hologram image in which fluorescent beads having a diameter of 4 ⁇ m are used as an observation target sample, and a fluorescence three-dimensional image and a phase three-dimensional image are individually acquired by an image sensor.
  • FIG. 17 (1) is a hologram image of fluorescent beads (an enlarged view of the fluorescent bead portion is also attached), which is Fourier transformed to obtain the spatial frequency plane of FIG. 17 (2).
  • a hologram existing at a position shifted from the origin of the spatial frequency plane is extracted, and the phase distribution of FIG. 17 (3) is acquired (an enlarged phase image is also appended).
  • FIG. 17 (4) shows a three-dimensional display of the reconstructed phase distribution.
  • FIG. 17 (4) shows the amount of phase change of the fluorescent beads.
  • FIG. 18 shows a configuration of an optical system according to another embodiment of the digital holographic microscope. Similar to the digital holographic microscope of the fifth embodiment, the two optical systems of the transmission type digital holographic microscope and the reflection type fluorescence microscope are used as a common optical path, and the object light and the fluorescent signal light are superposed coaxially to form one imaging means. Thus, two holograms of a phase three-dimensional image and a fluorescence three-dimensional image can be acquired simultaneously.
  • the difference from the digital holographic microscope of Example 5 is that two excitation laser light sources (41, 42) are provided. Specifically, a blue laser having a wavelength of 473 nm and a green laser having a wavelength of 532 nm are provided.
  • the blue laser is mainly intended to excite fluorescence of 500 to 530 nm.
  • the green laser is mainly intended to excite fluorescence of 540 to 600 nm. It is assumed that the fluorescent marker varies depending on the cell to be observed. Therefore, the observation target sample can be irradiated with a laser having a wavelength excited by the fluorescent marker.
  • the excitation laser light source (41, 42) for exciting the fluorescent molecules of the observation target sample on the sample stage 4 is switched by the two shutters (43, 44) and the beam splitter 46.
  • the shutter (43, 44) is switched by a shutter control signal (51, 52) output from the shutter control device 50.
  • An ND (Neutral-Density) filter 47 ahead of the beam splitter 46 is for reducing the amount of laser light without affecting the color.
  • One of the two excitation laser light sources (41, 42) is used to excite fluorescent molecules of the observation target sample on the sample stage 4.
  • the excited fluorescent molecules emit a fluorescent signal having a long wavelength from the excitation laser light source, and enter the objective lens 15 together with the excitation laser light reflected by the glass substrate surface of the sample stage 4.
  • the shutter control device 50 switches the two shutters (43, 44), and excites the fluorescent molecules of the observation target sample on the sample stage 4 using the other excitation laser light source.
  • the polarization component of the fluorescence self-interferences by the double focus lens 2, so that the interference fringes have a concentric pattern.
  • two excitation laser light sources are used, but three or more laser light sources may be used.
  • the fluorescent image may be acquired by switching the shutter control signal output from the shutter control device at high speed.
  • the measurement object of the observation target sample on the sample stage 4 is illuminated by using the He—Ne laser light source 5 of wavelength 633 (nm) to create an off-axis hologram.
  • the image sensor 3 simultaneously acquires two holograms of a phase three-dimensional image and a fluorescence three-dimensional image.
  • the digital holographic microscope of the present invention it is possible to measure changes in cell shape and movement of cell nuclei in real time, and by switching the excitation laser light source according to the type of fluorescent staining reagent, the target cell You can select to measure the shape change and movement.
  • the first holographic optical system that acquires a phase hologram is a transmission type
  • the second holographic optical system that acquires a fluorescence hologram is a reflection type.
  • the second holographic optical system that acquires the fluorescence hologram may be a transmission type.
  • the present invention is useful for a microscope in the field of bioimaging.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Holo Graphy (AREA)

Abstract

蛍光像検出と位相像検出の２つのディジタルホログラフィック顕微鏡が結合され、蛍光像と位相像を同時に３次元計測でき、ランダム偏光を含む全ての偏光状態に対して高いＳＮ比で計測できるディジタルホログラフィック顕微鏡を提供する。レーザ光５を用いて試料ステージ４を通過する物体光と通過しない参照光とを重ね合せた干渉光による位相３次元像を取得する第１のホログラフィック光学系と、蛍光励起光６を用いて蛍光信号光による蛍光３次元像を取得する第２のホログラフィック光学系を備え、第１のホログラフィック光学系による位相測定と第２のホログラフィック光学系による蛍光測定を同時に行うディジタルホログラフィック顕微鏡である。第２のホログラフィック光学系は、回折格子７が重畳された２重焦点レンズ２を有し、２重焦点レンズと回折格子が共に偏光依存性を有し、蛍光信号光の自己干渉の際にＳＮ比を高めて蛍光３次元像を取得する。

Description

ディジタルホログラフィック顕微鏡
　本発明は、蛍光と位相を同時に３次元計測できるディジタルホログラフィック顕微鏡に関するものである。
　生きた細胞の動的３次元イメージングは、バイオ応用分野において重要な計測技術である。例えば、蛍光顕微鏡を使って細胞核中の特定ＤＮＡに蛍光分子を導入し、有糸分裂する細胞の変化を計測する蛍光標識技術が知られている。蛍光分子で染色された細胞内の核やタンパク質の相互作用を可視化することで様々な観測が可能になる。蛍光３次元像を高分解能かつ高コントラストで計測できるものとして、共焦点レーザ走査型顕微鏡が知られている。しかし、共焦点レーザ走査型顕微鏡では計測物体の一点ごとに集光点の走査が必要なため、蛍光３次元像を得るためには時間がかかり、動的物体の変化が速い現象の計測や奥行き位置が異なる複数の細胞の同時計測は不向きであるという本質的な限界がある。
　また、蛍光像でだけでなく細胞核や細胞壁などの構造を同時に観察する技術も求められている。構造観察の手段として、位相差顕微鏡や微分干渉顕微鏡などがある。位相差像は透明物体の形状測定に有効である。
　蛍光像および位相像を同時観察することができれば、異なる情報を同時に取得することができるため、バイオ反応においてより詳細な情報を提供することが可能になる。
　最近では、蛍光像および位相差像を同時観察可能な光学顕微鏡が市販されているが、フィルタの入れ替えが必要な上、一度の計測範囲は１点もしくは２次元に限られるといった制約がある。
　一方、瞬時的な３次元計測を可能とするツールとして、ディジタルホログラフィック顕微鏡（Digital Holographic Microscope；ＤＨＭ）が知られている。ディジタルホログラフィック顕微鏡では、３次元情報をホログラム情報として取得し、計算機内で光波の逆伝搬計算を行うことで奥行き位置に対する物体の光波情報を再構成する。ディジタルホログラフィック顕微鏡の特徴としては、特殊な蛍光染色が必要なく生体細胞の３次元観察が可能であること（ラベルフリー）、計算機再構成により焦点位置を任意に変更できるオートフォーカシング機能を有すること、定量的位相計測が可能であることが挙げられる。このため、３次元的に細胞が動くような状況においても、再構成計算により自動的にピントの合った再構成画像を得ることができる。
　ディジタルホログラフィック顕微鏡を細胞観察に応用する場合、蛍光情報のホログラム取得が必要となるが、蛍光を用いてホログラフィー技術を実現するためには、蛍光が非常に干渉しにくいインコヒーレント光であるという問題がある。近年、インコヒーレント光からホログラムを作る方法が次々に提案されており、蛍光ディジタルホログラフィック顕微鏡（Fluorescence Digital Holographic Microscope；ＦＤＨＭ)に向けた研究が世界中で活性化しているが、空間光変調素子や光学素子を多く有するものが大半である（例えば、特許文献１を参照）。
　特許文献１に開示されたホログラム記録装置は、干渉性の低い光（例えば自然光または蛍光等）を観察することができないといった問題を解決するものであり、空間光変調器（波面変調素子）を用いて、互いに偏光方向が異なる第１成分光および第２成分光を含む物体光を、第１成分光の波面形状と第２成分光の波面形状を異なる形状にし、第１成分光に対する第２成分光の位相シフト量に、空間的に周期的に変化する分布を生じさせて、第１成分光と第２成分光とを干渉させてホログラムを形成するものである。これにより、単一の光路を通る干渉性の低い光を用いて、１回の撮像で記録されるホログラムから、被写体の再構成像を得ることができるものである。しかしながら、この方法では、干渉性の低い蛍光３次元像の観察に限定されるといった問題がある。
　また、蛍光ディジタルホログラフィック顕微鏡（ＦＤＨＭ）は、ターゲッティング計測には適しているが、蛍光を発生しない物質に対しては無力であるという問題がある。また、蛍光観察を行う場合に、有害な蛍光分子を使うために計測対象が制限される問題も生じる。そのため、ディジタルホログラフィック顕微鏡（ＤＨＭ）の応用拡大といった視点で見ると、位相像や蛍光像さらには偏光などの多様な情報が観測可能なマルチモーダル（multimodal）ディジタルホログラフィック顕微鏡の登場が望まれている。
　本発明者らは、マルチモーダルディジタルホログラフィック顕微鏡の実現を目指し、蛍光２次元像と位相イメージングが可能なディジタルホログラフィック顕微鏡を既に試作して実験にホログラム画像から再構成している（非特許文献１を参照）。試作した顕微鏡は、蛍光像と位相像を逐次的に取得するものであり、蛍光像と位相像を同時に計測するものではない。
　以下、本明細書において、蛍光像と蛍光３次元像、位相像と位相３次元像は、それぞれ同じ意味で用いている。
特開２０１５－１７２６号公報
　上述の試作のディジタルホログラフィック顕微鏡では、蛍光顕微鏡と位相像検出ディジタルホログラフィック顕微鏡の機能を併せ持つが、シャッターを切替えてそれぞれの像を逐次的に取得するものであり、蛍光ディジタルホログラフィック顕微鏡と位相像検出ディジタルホログラフィック顕微鏡が結合されたものではなく、蛍光像と位相像を同時に３次元計測できるというものではない。
　かかる状況に鑑みて、本発明は、蛍光ディジタルホログラフィック顕微鏡と位相像検出ディジタルホログラフィック顕微鏡が結合され、蛍光３次元像と位相３次元像を同時に計測でき、かつ、ランダム偏光を含む全ての偏光状態に対して高いＳＮ比（Signal to Noise Ratio）で蛍光３次元像を計測できるディジタルホログラフィック顕微鏡を提供することを目的とする。
　また、本発明は、シングルショットの計測で、ランダム偏光を含む全ての偏光状態に対して高いＳＮ比で蛍光３次元像を計測できるディジタルホログラフィック顕微鏡を提供することを目的とする。
　上記課題を達成すべく、本発明のディジタルホログラフィック顕微鏡は、レーザ光を用いて観察対象試料を通過する物体光と通過しない参照光とを重ね合せた干渉光による位相３次元像を取得する第１のホログラフィック光学系と、蛍光励起光を用いて観察対象試料の蛍光信号光による蛍光３次元像を取得する第２のホログラフィック光学系を備え、第１のホログラフィック光学系による位相測定と第２のホログラフィック光学系による蛍光測定を同時に行う。そして、第２のホログラフィック光学系は、回折格子が重畳された２重焦点レンズを有し、２重焦点レンズと回折格子が共に偏光依存性を有する。本発明のディジタルホログラフィック顕微鏡によれば、偏光依存性により蛍光信号光をノイズ光から分離させ、上記の回折格子が重畳された２重焦点レンズにより、分離させた前記蛍光信号光を光軸からズレた位置に集光させ、集光させた蛍光信号光を自己干渉させて蛍光３次元像を取得する。すなわち、２重焦点レンズにより蛍光信号光を自己干渉させて蛍光３次元像を取得すると共に、２重焦点レンズに重畳させた回折格子により蛍光信号光を光軸からズレた位置に集光させることができ、蛍光信号光の自己干渉の際にＳＮ比を高めて蛍光３次元像を取得することができる。偏光依存性により蛍光信号光をノイズ光から分離させるとは、蛍光信号光の変調成分の光を、２重焦点レンズに重畳させた回折格子により、光軸からズレた位置に集光させ、スリットなどにより蛍光信号光の非変調成分の光と分離を行うことである。そして、集光させた蛍光信号光を自己干渉させて蛍光３次元像を取得することで、非変調成分の光による影響を抑え、蛍光３次元像を鮮明に取得できるようにし、ＳＮ比を高めている。
　すなわち、上記構成によれば、蛍光３次元像を取得する第２のホログラフィック光学系において、特定の偏光状態の光でホログラムを形成することによって、ランダムな偏光状態のノイズ光を排除し、ランダム偏光を含む全ての偏光状態に対して高いＳＮ比で蛍光３次元像を計測できる。基本的に観察対象試料からでる蛍光信号光の偏光状態はランダム偏光しているが、２重焦点レンズ及び回折格子に対して不感な偏光状態以外のすべての入射偏光（ランダム偏光を含む）に対して高いＳＮ比を実現できる。
　本発明のホログラフィック光学系では、２重レンズ及び回折格子が偏光依存性を有するため、特定の偏光状態（偏光方向）でホログラムを形成でき、ホログラムを形成する光以外の非変調成分はスリット等で除去できるので、ＳＮ比を高くできるのである。
　ここで、回折格子が重畳された２重焦点レンズは、２重焦点レンズと回折格子の２つの機能を同時に実現するものであり、例えば、２つの焦点距離を持つレンズの表面に、所定の周期間隔の多数の平行な溝が刻まれたレンズである。また、回折格子が重畳された２重焦点レンズは、回折格子を２重焦点レンズの軸方向に、レンズと重ねて並べたものでもよい。さらに、回折格子が重畳された２重焦点レンズは、液晶空間光変調素子（ＳＬＭ；Spatial Light Modulator）で構成することも可能であるが、これについては後述する。位相変調型の液晶空間光変調素子では、電圧によって液晶分子の状態が変化し、位相遅延が発生するが、この位相遅延が起こらない偏光状態が存在する。その偏光状態の入射光が入ったときは２重焦点レンズと回折格子による効果が起こらないためホログラムが形成されないという問題が発生します。しかし、そのような位相遅延が起こらない偏光状態は、蛍光信号光では存在しないため、実質的には蛍光信号光に対しては高いＳＮ比が実現されることになる。
　また、蛍光励起光は、非可干渉（インコヒーレント）な光であっても、コヒーレント性を有するレーザ光の双方を用いることができる。また、ノイズ光とは、光学素子の表面反射、カバーガラスによる反射光、外光などであり、物体からの蛍光信号光以外の光を言う。
　本発明のディジタルホログラフィック顕微鏡において、２重焦点レンズを通過する蛍光信号光は、変調成分と非変調成分の光に分けられる。その内、変調成分の光は、２重焦点レンズに重畳された回折格子により回折され、光軸からずれて斜行し、光軸上から外れた位置に開口位置が設けられたシャッターを通過する。一方、非変調成分のノイズ光は、回折格子により回折されず、光軸上を直進し、シャッターにより遮られる。
　２重焦点レンズを通過する蛍光信号光は、偏光特性を有するため、試料サンプルに照射された励起された蛍光信号光が回折格子によって回折され、回折格子の垂線と回折角（θ）ずれた方向に進む。一方、ノイズ光は、ランダムで無偏光であり、回折格子によって回折されることなく、そのまま光軸上を直進する。シャッターの開口部を、回折格子の垂線と回折角（θ）ずれた方向に設けることにより、偏光特性のある物体光と蛍光信号光は、開口部を透過し、無偏光のノイズ光は、直進してシャッターにより遮断されることから、ＳＮ比が増加するのである。
　本発明のディジタルホログラフィック顕微鏡における回折格子は、２重焦点レンズのそれぞれの焦点距離に対して、異なる周期構造を有することが好ましい。
　２重焦点レンズのそれぞれの焦点距離に対して、異なる周期構造を有することにより、２重焦点レンズを通過した蛍光信号光の変調成分の光を、異なる回折角の２つの光波とし、これら２つの光波の干渉縞の干渉強度分布から蛍光信号光を再構成することにより、ＳＮ比を向上させることができる。
　例えば、２重焦点レンズが焦点距離（ｆ１：２００ｍｍ，ｆ２：１００ｍｍ）とすると、回折格子は、焦点距離ｆ１である光に対しては２μｍ周期の格子間隔、焦点距離ｆ２である光に対しては１μｍ周期の格子間隔として機能するように、焦点距離に対して異なる周期構造を有する。
　２重焦点レンズは、サブ波長周期構造の２焦点フレネルレンズ（Sub-wavelength Periodic structured Fresnel Lens；ＳＰＦＬ）であり、回折格子と一体化されてもよい。サブ波長周期構造は偏光依存性を発現させるための構造である。光の波長よりも短い周期の回折格子構造であるサブ波長周期構造によって、光波の偏光状態によって回折を受けることになる。また、フレネルレンズは、通常のレンズを光の波長で折り返し厚みを減らしたレンズであり、断面は鋸状でありプリズムを並べたような形になる。２焦点フレネルレンズは、１つのビーム光を２つに分けて回折させ、異なる場所で焦点を合わせる機能を持つ。
　ここで、２重焦点レンズに重畳される回折格子が、２焦点フレネルレンズと同方位の偏光依存性を有する。
　回折格子と２重焦点レンズが、共に偏光依存性を有することで、２重焦点レンズの変調を受けた信号光のみが回折されることになる。回折格子に変調依存性がない場合は、２重焦点レンズの変調を受けていないノイズ光も回折することになり、ノイズが増加する。
　また、回折格子が重畳された２重焦点レンズは、液晶空間光変調素子により構成されてもよい。液晶空間光素子では、液晶分子の配向により入射光電場の偏光状態に対して異なる働きを生じさせることができる。例えば、ある方向の直線偏光に対して常光線として作用するときに、それに垂直な直線偏光に対して異常光線として作用する。そのため、特定の直線偏光方向に対して（この場合は異常光線に対して）のみ作用する偏光依存性のある２重焦点レンズを実現できる。
　本発明のディジタルホログラフィック顕微鏡における蛍光信号光は、液晶空間光変調素子で実現される２重レンズによって、２つの回折光が生じることになる。この２つの回折光は、共に同じ偏光であり、自己干渉が生じる。この点で、偏光方向が異なる第１成分光と第２成分光とを干渉させてホログラムを形成する上述の特許文献１における空間光変調素子とは機能が異なる（本発明の場合、蛍光ホログラム用の蛍光信号光、位相ホログラム用の物体光が、特許文献１の第１成分光と第２成分光に相当するものである。）。
　本発明のディジタルホログラフィック顕微鏡において、偏光依存性を有する２重焦点レンズは、第２のホログラフィック光学系にのみ作用し、第１のホログラフィック光学系には作用しないように設計される。
　位相３次元像を取得する第１のホログラフィック光学系の物体光の偏光には感度がなく、レンズ作用を起こすことがないように２重焦点レンズを設計すると共に、蛍光３次元像を取得する第２のホログラフィック光学系の蛍光の偏光には強い感度を持たせるように設計することにより、第２のホログラフィック光学系の蛍光の偏光だけが、２重焦点レンズによって、自己干渉が生じることになる。
　本発明のディジタルホログラフィック顕微鏡の第２のホログラフィック光学系において、多数のマイクロミラーが平面に配列された表示素子を用いて、少なくとも１つのマイクロミラーをオン状態にし、蛍光励起光または蛍光信号光を部分的に透過させて、撮像手段として単一検出器を用いて、蛍光３次元像を取得する。
　多数のマイクロミラーが平面に配列された表示素子とは、例えば、デジタルミラーデバイス（ＤＭＤ；Digital Mirror Device）が好適に用いられる。
　蛍光励起光または蛍光信号光の光源と撮像手段の間の光路の途中に、変調パターンを自由に設定できるＤＭＤなどの表示素子を入れることにより、微弱な蛍光信号に対してホログラムを取得できる系を構築することができる。
　撮像手段は、画素マトリックスのイメージセンサではなく、単一検出器を用いて、ＤＭＤにより蛍光信号の空間パターンを変調し、その変調された蛍光信号の光エネルギーを取得する。　　ＤＭＤによる変調パターンとその光エネルギーの組み合わせから圧縮センシングの手法（観察と圧縮を同時に行い、効率的にデータの取得を行って、観察対象となる信号をできるだけ少ない観察から復元する手法）により、ホログラムパターンを計算機上で再構成する。これにより、生体組織への応用時に、生体組織へ照射する光エネルギーを抑えることで、生体組織へのダメージを与えることなく、蛍光信号を取得することができる。
　本発明のディジタルホログラフィック顕微鏡の第２のホログラフィック光学系において、蛍光励起光の波長が切替可能であることでもよい。観察対象試料の蛍光特性に応じて、蛍光励起光の波長を切り替えるようにする。これにより、蛍光染色試薬の種類に応じて、蛍光励起光の波長を切替えて使用することにより、ターゲットとなる細胞を選択して分裂や形状変化などの細胞の状態変化を計測できる。
　すなわち、本発明のディジタルホログラフィック顕微鏡を用いて、一の蛍光励起光の波長を用いて取得した蛍光３次元像と、他の蛍光励起光の波長を用いて取得した蛍光３次元像と、同時に取得した位相３次元像とから、細胞の挙動を観察する細胞観察方法を実現できる。
　本発明のディジタルホログラフィック顕微鏡では、第１のホログラフィック光学系が透過型であり、第２のホログラフィック光学系が反射型（落射型）にすることが好ましい。また、第１及び第２のホログラフィック光学系は、共に試料の設置状態により上下を反転させても構わない。
　観察対象試料の蛍光励起光による蛍光３次元像を取得する第２のホログラフィック光学系において、蛍光信号は微弱であるので、透過型にした場合に、強い蛍光励起光だけをカットするのは非常に困難になるからである。
　第２のホログラフィック光学系を反射型（落射型）でなく透過型にする場合は、蛍光信号を励起する蛍光励起光を十分にカットし、蛍光信号のみを通過させるダイクロイックミラーや蛍光波長の特定の波長および位相計測のためのレーザ波長を通過させるバンドパスフィルタを用いる必要がある。
　本発明のディジタルホログラフィック顕微鏡において、第１のホログラフィック光学系の撮像手段と、第２のホログラフィック光学系の撮像手段が共用化され、撮像手段は、蛍光３次元像と位相３次元像をホログラムとして同時に取得する。そして、同心円状ホログラムの蛍光３次元像と、等傾角ホログラムの位相３次元像とを、空間周波数面において分離し、それぞれの干渉強度分布から物体光と蛍光信号光を再構成する。
　蛍光３次元像は、第２のホログラフィック光学系の蛍光の偏光が自己干渉するため、干渉パターンは同心円状となる。一方、位相３次元像は、等傾角干渉を用いることによってキャリア周波数をもつ干渉パターンにすることができる。同心円状干渉パターンと等傾角干渉パターンは、空間周波数面で分離することが可能であり、撮像手段により撮像した像から、蛍光３次元像と位相３次元像を空間周波数面で分離することができる。２つのホログラムパターンをフーリエ変換することで、空間周波数面で、等傾角干渉パターンの成分をバンドパスフィルタによって抽出することができる。予め、等傾角干渉パターンに用いた参照光強度分布を取得しておくことで、同心円状干渉パターンのみを抽出することが可能になる。
　本発明のディジタルホログラフィック顕微鏡において、第１のホログラフィック光学系の撮像手段と、第２のホログラフィック光学系の撮像手段が共用化され、撮像手段は、蛍光３次元像と位相３次元像をホログラムとして同時に取得する。そして、オフアクシス型干渉による等傾角ホログラムの蛍光３次元像と、等傾角ホログラムの位相３次元像とを、空間周波数面において分離し、それぞれの干渉強度分布から物体光と蛍光信号光を再構成することでもよい。
　本発明のディジタルホログラフィック顕微鏡において、細胞観察の際は、蛍光３次元像により細胞核の時空間情報を、位相３次元像により細胞核および細胞壁の時空間構造を同時に取得することが好ましい。
　複数の物理量から得られる多次元情報は、従来のバイオイメージング分野における計測では得られておらず、本発明のディジタルホログラフィック顕微鏡によって、従来不可能であった観察を可能にする。本発明のディジタルホログラフィック顕微鏡は、バイオイメージング分野における強力な計測ルールとして、蛍光３次元像と位相３次元像を同時かつ高速撮影することを可能にする。
　すなわち、本発明のディジタルホログラフィック顕微鏡を用いて、蛍光３次元像により細胞核の時空間情報と、位相３次元像により細胞核や細胞壁の時空間構造とを同時に取得する細胞観察方法を実現できる。
　本発明のディジタルホログラフィック顕微鏡は、蛍光励起光を用いて観察対象試料の蛍光信号光による蛍光３次元像を取得するホログラフィック光学系を備えるディジタルホログラフィック顕微鏡において、ホログラフィック光学系は、回折格子が重畳された２重焦点レンズを有し、２重焦点レンズと回折格子が共に偏光依存性を有し、偏光依存性により蛍光信号光をノイズ光から分離させ、上記の回折格子が重畳された２重焦点レンズにより、分離させた前記蛍光信号光を光軸からズレた位置に集光させ、集光させた蛍光信号光を自己干渉させて蛍光３次元像を取得する。すなわち、２重焦点レンズにより蛍光信号光を自己干渉させて蛍光３次元像を取得すると共に、偏光依存性を有する回折格子により蛍光信号光を光軸からズレた位置に集光させることができ、蛍光信号光の自己干渉の際にＳＮ比を高めて蛍光３次元像を取得することができる。
　本発明のディジタルホログラフィック顕微鏡によれば、蛍光ディジタルホログラフィック顕微鏡と位相像検出ディジタルホログラフィック顕微鏡が結合され、蛍光３次元像と位相３次元像を同時に計測できると共に、特定の偏光状態の光でホログラムを形成することによって、ランダム偏光を含む全ての偏光状態（ただし、２重焦点レンズ及び回折格子に対して不感な偏光状態を除く）に対して高いＳＮ比で蛍光３次元像を計測できるといった効果がある。
　また、本発明のディジタルホログラフィック顕微鏡によれば、シングルショットの計測で、特定の偏光状態の光でホログラムを形成することによって、ランダム偏光を含む全ての偏光状態（ただし、２重焦点レンズ及び回折格子に対して不感な偏光状態を除く）に対して高いＳＮ比で蛍光３次元像を計測できるといった効果がある。
実施例１のディジタルホログラフィック顕微鏡の光学系の構成図 実施例１の位相３次元像を取得する第１のホログラフィック光学系の構成図 実施例１の蛍光３次元像を取得する第２のホログラフィック光学系の構成図 ２重焦点レンズの説明図 回折格子が重畳された２重焦点レンズの説明図 ２重焦点レンズによって自己干渉して生じるホログラムの説明図 回折格子の有無によるホログラムの相違についての説明図 実施例２の蛍光３次元像を取得するホログラフィック光学系の構成図 異なる周期構造の回折格子が重畳された２重焦点レンズの説明図 回折格子の有無による再構成像の相違についての説明図 再構成像の明瞭性（明暗の度合い）を示すグラフ ＤＭＤ素子の概念図（実施例３） 実施例４のディジタルホログラフィック顕微鏡の光学系の構成図 実施例４の位相３次元像を取得する第１のホログラフィック光学系の構成図 実施例４の蛍光３次元像を取得する第２のホログラフィック光学系の構成図 蛍光ホログラムと位相ホログラムの分離再生原理の説明図 取得したホログラム像の一例 実施例５のディジタルホログラフィック顕微鏡の光学系の構成図 ホログラム面におけるＳＮ比の比較グラフ（実施例１） ２つのＬＥＤ光源の再構成像（実施例１） ２つの再構成像の再構成像距離における強度分布グラフ（実施例１） 実施例２の再構成像の説明図
　以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
　図1は、ディジタルホログラフィック顕微鏡の一実施形態の光学系の構成を示す。図１に示すディジタルホログラフィック顕微鏡は、透過型ディジタルホログラフィック顕微鏡の光学系（位相３次元像を取得する第１のホログラフィック光学系）と、反射型蛍光顕微鏡の光学系（蛍光３次元像を取得する第２のホログラフィック光学系）との２つの光学系において、一部共通光路として、物体光と蛍光信号光を試料ステージから対物レンズを透過するまで同軸に重畳させて、対物レンズを透過後に蛍光信号光と位相測定用の物体光を、波長と偏光方向の違いで分離し、それぞれ異なる撮像手段で位相３次元像と蛍光３次元像の２つのホログラムを同時に取得する。すなわち、撮像手段として用いるそれぞれの光学系のイメージセンサ３ａ，３ｂを同期させることにより、蛍光３次元像と位相３次元像の２つのホログラムを同時に取得する。
　以下、第１のホログラフィック光学系と第２のホログラフィック光学系のそれぞれについて詳細に説明する。
　先ず、図２に示す透過型ディジタルホログラフィック顕微鏡の光学系（位相３次元像を取得する第１のホログラフィック光学系）について説明する。
　波長６３３（ｎｍ）のＨｅ－Ｎｅレーザ光源５を用いて試料ステージ４上の観察対象試料の計測物体を照明する。Ｈｅ－Ｎｅレーザ光６３は、ビームスプリッター１２により、計測物体を透過する物体光（６４，６５，６６）の経路と、何もない参照光（６７，６８）の経路に分けられる。この光学系は、マッハ・ツェンダー干渉計を構成する。計測物体を透過した物体光６５は、対物レンズ２５に入射した後、ダイクロイックミラー２７に進む。計測物体を透過するＨｅ－Ｎｅレーザ光の波長６３３（ｎｍ）が、波長３５５ｎｍから５５０ｎｍの帯域の蛍光励起光やそれより長波長の蛍光信号光の波長より長いことを利用し、ダイクロイックミラー２７を用いて、計測物体を透過する物体光６５のみを反射させ、その他の蛍光信号光６１などを透過させることができる。計測物体を透過する物体光（６５，６６）は、ビームスプリッター１８により参照光（６７，６８）と干渉する。この際、物体光と参照光の間にわずかに角度をつけることによって、オフアクシス（off-axis）ホログラム、すなわち等傾角干渉パターンのホログラムが生じることから、これをイメージセンサ３ｂで取得する。イメージセンサ３ｂで取得した等傾角干渉パターンのホログラム３５から、フーリエ変換法を用いて物体光の振幅分布と位相分布を抽出する。オフアクシス法では元の物体位置まで逆伝搬させることにより、観察対象試料の物体光の波面が再生されることになり、物体光を再構成できる。
　次に、図３に示す反射型蛍光顕微鏡の光学系（蛍光３次元像を取得する第２のホログラフィック光学系）について説明する。
　波長６３３（ｎｍ）のＨｅ－Ｎｅレーザ光源５を用いて試料ステージ４上の観察対象試料の計測物体を照明すると同時に、波長３５５ｎｍから５５０ｎｍの帯域の蛍光励起光源６を用いて、試料ステージ４上の観察対象試料の蛍光分子（８ａ，８ｂ）を励起する。励起された蛍光分子８ａは、波長３５５ｎｍから５５０ｎｍの帯域の蛍光励起光より長波長の蛍光信号光を発し、試料ステージ４のガラス基板表面で反射された蛍光励起光とともに対物レンズ２５に入射する。特定の波長の光を反射し、その他の波長の光を透過するダイクロイックミラー１６を用いて、蛍光励起光６０を十分に減衰させ、蛍光信号光６１を強調する。
　そして、回折格子７が重畳された２重焦点レンズ２を用いて、蛍光信号光の自己干渉により蛍光３次元像を取得する。２重焦点レンズ２によって蛍光信号光６１が自己干渉するため、蛍光３次元像は同心円状パターンのホログラム３４となる。２重焦点レンズ２は、図４及び図５に示すように、２つの焦点距離（ｆ１，ｆ２）を持つ２焦点フレネルレンズである。１つの蛍光信号光は、２焦点フレネルレンズにより、２つの回折波が生成され、そして、２つの回折波は異なる場所で焦点が合うことになる。
　図５を参照して、回折格子が重畳された２重焦点レンズと、回折格子が重畳されていない２重焦点レンズの違いについて説明する。回折格子が重畳されていない２重焦点レンズの場合、図５（２）に示すように、光軸と平行に入射する光は光軸上で集光する。偏光依存性を有する２重焦点レンズでは、特定の偏光方位の光を通過させて光軸上に集光し、偏光方位が異なる光は遮断する。一方、回折格子が重畳された２重焦点レンズでは、図５（１）に示すように、光軸と平行に入射する光は光軸上で集光するのではなく、回折格子７によって集光点が光軸上からずれることになる。これは、光が回折格子７の各スリットによって回折し、横方向へ曲がって進む波を生ずるからである。異なるスリットによって回折してきた光波が干渉する結果、入射する光は特定の方向にのみ強く伝搬していく。隣り合ったスリットで回折した光波の間に光の波長の整数倍の光路長の差があるとき、強い回折光が生じることになる。この場合に、偏光依存性を有する２重焦点レンズでは、特定の偏光方位の光を通過させるので、回折格子７のスリットを通過する偏光方位も、２重焦点レンズの偏光方位に一致させて、回折格子７によって回折を受け、集光点が光軸上からずらすようにする。
　２重焦点レンズにより自己干渉して生じるホログラムについて、図６を参照して説明する。
　上述の如く、図１の光学系において、蛍光励起光源６を用いて試料ステージ４上の観察対象試料の蛍光分子（８ａ，８ｂ）を励起すると、励起された蛍光分子は蛍光励起光より長波長の蛍光信号光を発し、試料ステージ４のガラス基板表面で反射された蛍光励起光とともに対物レンズ２５に入射する。
　レンズ２５を通った蛍光信号光がダイクロイックミラー１６により強調され、回折格子７が重畳された２重焦点レンズ２に入射する。図６に示すように、蛍光信号光３１から、２重焦点レンズ２により、２つの光波（３２，３３）が生成される。これらの光波（３２，３３）は異なる場所で焦点が合うため、蛍光信号光３１が自己干渉することになる。自己干渉するため、干渉縞は同心円状となる。すなわち、イメージセンサ３で撮像される蛍光３次元像として、同心円状パターンのホログラム３４が得られる。
　２重焦点レンズ２には、回折格子７が重畳されている。このため、２重焦点レンズ２を透過した蛍光信号光３１は、回折格子７によって回折し、横方向へ曲がって回折光が進むために、集光点が光軸上からずれることになる。レンズ２６は、２重焦点レンズ２から出射した光波を短い距離で集光させるための機能を果たす。
　回折格子が重畳された２重焦点レンズを用いた光学系について、再び、図３を参照して説明する。試料ステージ４上の観察対象試料の内部にある２つの蛍光分子（８ａ，８ｂ）が励起され、蛍光信号光が発生する。回折格子７が無い場合、蛍光分子８ａから発生した蛍光信号光は、２重焦点レンズ２、レンズ（２５，２６）及びチューブレンズ（１７ａ，１７ｂ）によって、図中の点線で描く光路をたどって、光軸６０上に集光する。イメージセンサ３では、蛍光信号光６１が自己干渉するため、同心円状パターンのホログラム３４が蛍光３次元像として撮像される。図示しないが、蛍光分子８ｂから発生した蛍光信号光も同様な光路をたどることになる。なお、２つの蛍光分子（８ａ，８ｂ）は、それぞれ空間的な位置が異なる（試料ステージ４の面方向、厚み方向が異なる）。
　ここで、回折格子７が有る場合、すなわち、２重焦点レンズに、回折格子７が重畳されている場合、蛍光分子８ａから発生した蛍光信号光６１は、２重焦点レンズ２を透過した後、回折格子７を透過する際に回折し、横方向へ曲がって回折波６２が進むために集光点が光軸上からずれる。
　回折波６２は、シャッター９の開口を透過し、チューブレンズ（１７ａ，１７ｂ）によって、回折格子７が無い場合と同様な光路をたどって、光軸６０からずれたところで集光する。イメージセンサ３では、同様に同心円状パターンのホログラム３４が蛍光３次元像として撮像される。ここで、シャッター９の開口は、光軸６０の位置には存在しないので、光軸上に集まる光が遮断される。遮断される光としては、回折格子７の偏光方位と異なる偏光方位を有する光、例えば、２重焦点レンズ２で影響を受けない偏光成分の光や、光学素子での表面反射光、ランダム偏光のノイズ光などである。
　次に、蛍光分子を模擬した発光ダイオード（ＬＥＤ）を用い、ＬＥＤから射出した光を蛍光信号光とした実験結果について、図７，１９を参照して説明する。実験は、１０μｍ径のピンホールをＬＥＤ（波長５８０ｎｍ、半値幅５０ｎｍ）で照明したものを物体とした。物体が１つ（ＬＥＤの集光スポットが１個の場合）で実験を行った。回折格子として、位相変調用の液晶空間光変調素子（ＳＬＭ）（２０μｍ ｐｉｔｃｈ、８００×６００ ｐｉｘｅｌｓ）を用いた。実験は、２重焦点レンズに重畳された回折格子が無い場合（比較例）と有る場合（実施例）で、ホログラム（干渉稿）をそれぞれ確認した。また、偏光板を用いて非変調成分のみ抽出した場合についても確認した。
　実験結果のホログラムを、図７に示す。図７（ａ）（ｂ）に示すように、実施例（回折格子有）は、比較例（回折格子無）と比べて、カバーガラスからの反射光と考えられる矩形状のパターンが弱くなっていることが確認できた。また、図７（ｃ）（ｄ）に示すように、非変調成分のみ抽出した場合には、比較例（回折格子無）ではカバーガラスからの反射による矩形状ノイズが顕著であるのに対して、実施例（回折格子有）では矩形状ノイズが確認できなかった。これらの結果から、実施例（回折格子有）は、比較例（回折格子無）と比べて、ＳＮ比が向上していることが確認できた。
　図１９は、ホログラム面におけるＳＮ比の比較グラフである。図１９のグラフにおいて、横軸は撮像画像の水平方向のピクセルであり、縦軸はＳＮ比である。図１９に示すように、比較例（回折格子無）では平均ＳＮ比が０．９であるのに対して、実施例（回折格子有）では平均ＳＮ比が２．０であり、ＳＮ比が２倍以上高くなっていることが確認できた。
　次に、図１０を参照して、本実施例の第２のホログラフィック光学系において、同じ周期構造を有する回折格子の有無による再構成像の相違について説明する。図１０に示す画像は、２つの蛍光分子を模擬した発光ダイオード（ＬＥＤ１，２）の蛍光信号光の再構成像である。左側の画像は、回折格子が重畳された（回折格子が有る）２重焦点レンズを用いて撮像された蛍光３次元像を再構成したものであり、右側の画像は、回折格子が重畳されていない（回折格子が無い）２重焦点レンズを用いて撮像された蛍光３次元像を再構成したものである。また、上の２つの画像は、発光ダイオード１（ＬＥＤ１）のインコヒーレント信号光を用いたものであり、下の２つの画像は、発光ダイオード２（ＬＥＤ２）のインコヒーレント信号光を用いたものである。ＬＥＤ１，２は共に同じ波長であるが、図１の蛍光分子（８ａ，８ｂ）のように空間的に異なる位置に存在している。
　ＬＥＤ１から照射されるインコヒーレント信号光と、ＬＥＤ２から照射されるインコヒーレント信号光は、共に、回折格子が重畳された２重焦点レンズを透過し回折する。２重焦点レンズの焦点距離（ｆ１，ｆ２）は、ｆ１＝２０００ｍｍ，ｆ２＝１５００ｍｍであり、回折格子の格子間隔は０．０４ｍｍである。
　図１０及び図１１は、同じ周期構造を有する回折格子を用いてインコヒーレント信号光を用いた３次元像を計測した実験結果を示している。回折格子の位置は、回折格子の周期構造と変調光の波長によって決定される。また、スリット幅はできるだけ広くとることが望ましいが、変調を受けていない成分を除去する必要があるため、蛍光信号の空間的広がりによって適切な幅に調整する。
　なお、図１１において、回折格子（１ＳＴ Ｇ）と回折格子（２ＮＤ Ｇ）は、同じ周期構造であり、回折格子の位置は同じであるが、ＬＥＤ１とＬＥＤ２の場所が空間的に異なる位置としていることから、それぞれ分けている。
　図１１の画像から、上の２つの再構成像においては、回折格子が有る方が、回折格子が無い方よりも、ＬＥＤ１（左側に位置するもの）の形状が明瞭である。また、下の２つの再構成像においては、回折格子が有る方が、回折格子が無い方よりも、ＬＥＤ２（右側に位置するもの）の形状が明瞭である。
　再構成像の明瞭性（明暗の度合い）については、図１１のグラフから説明できる。図１１のグラフは、回折格子が有る場合（１ＳＴ Ｇ，２ＮＤ Ｇ）と回折格子が無い場合（１ＳＴ ＮＧ，２ＮＤ ＮＧ）の４ケースの再構成像における光強度のピーク位置から縦方向の距離に応じた強度分布を示している。回折格子（１ＳＴ Ｇ）を用いたときは、グラフにおいて左側に強度ピークが現れる。一方、回折格子（２ＮＤ Ｇ）を用いたときは、グラフにおいて右側に強度ピークが現れる。グラフでは、それぞれのピーク値を１として正規化している。左側に強度ピークが現れる強度分布、右側に強度ピークが現れる強度分布、何れも、回折格子が有る方（１ＳＴ Ｇ，２ＮＤ Ｇ）が、最大強度と最小強度の差が大きく、また強度ピークの形状もより鋭くなっており、再構成像が明瞭であることがわかる。
　図２０は２つのＬＥＤ１，２を同時に記録したホログラムからの再構成像とその拡大像、図２１は２つの再構成像の再構成像距離における強度分布グラフを示している。図２０は、２つのＬＥＤ１，２のそれぞれの再構成像について、図２１のグラフからそれぞれの強度ピークが現れる再構成像距離におけるものを示している。図２１のグラフによれば、ＬＥＤ１の強度分布は再構成像距離が約６２０ｍｍのところでピークとなり、ＬＥＤ２の強度分布は再構成像距離が約１１９０ｍｍのところでピークとなる。なお、ＬＥＤ２の強度分布グラフでは、２ヶ所ピークがあるように見えるため、ガウス分布でフィッティングし、ピークを決定している。図２０の再構成像ではそれぞれの再構成像が明確に現れていることが確認できた。拡大像では、スケールが２５０μｍである。この倍率は光学系の配置によって決定されることが理論的に導出されており、実験結果と一致していることを確認している。
　図８は、本実施例の蛍光３次元像を取得するホログラフィック光学系の構成を示している。図８に示すホログラフィック光学系は、反射型蛍光顕微鏡の光学系である。
　波長６３３（ｎｍ）のＨｅ－Ｎｅレーザ光源５を用いて試料ステージ４上の観察対象試料の計測物体を照明すると同時に、波長３５５ｎｍから５５０ｎｍの帯域の蛍光励起光源６を用いて、試料ステージ４上の観察対象試料の蛍光分子（８ａ，８ｂ）を励起する。励起された蛍光分子８ａは、波長３５５ｎｍから５５０ｎｍの帯域の蛍光励起光より長波長の蛍光信号光を発し、試料ステージ４のガラス基板表面で反射された蛍光励起光とともに対物レンズ２５に入射する。特定の波長の光を反射し、その他の波長の光を透過するダイクロイックミラー１６を用いて、蛍光励起光６０を十分に減衰させ、蛍光信号光６１を強調する。
　そして、回折格子７が重畳された２重焦点レンズ２を用いて、蛍光信号光のオフアクシス型自己干渉により蛍光３次元像を取得する。２重焦点レンズ２によって蛍光信号光６１が自己干渉するため、蛍光３次元像は等傾角干渉パターンのホログラム３６が生じ、これをイメージセンサ３ｂで取得する。イメージセンサ３ｂで取得した等傾角干渉パターンのホログラム３６から、フーリエ変換法を用いて蛍光信号光の振幅分布と位相分布を抽出する。オフアクシス法では元の蛍光体の位置まで逆伝搬させることにより、観察対象試料の蛍光信号光の波面が再生されることになり、蛍光信号光を再構成できる。
　図９を参照して、本実施例の２重焦点レンズのそれぞれの焦点距離（ｆ１，ｆ２）に対して、異なる周期（ｄ１，ｄ２）構造を有する回折格子が重畳された場合について説明する。
　異なる周期構造（ｄ１，ｄ２）を有する回折格子は、回折角が変化するため、進行方向（角度）の異なる２つの光波の干渉が生じる。すなわち、異なる周期構造を有する回折格子が重畳された２重焦点レンズを通過した蛍光信号光の変調成分の光は、異なる回折角の２つの光波となり、これら２つの光波によって、縦縞または横縞の干渉縞が発生する。この干渉縞の干渉強度分布から信号処理によって蛍光信号光を再構成できる。
　蛍光信号光を再構成する際、異なる回折角の２つの光波の内、１方の光波だけを用い、他方の光波はノイズ光として処理できるため、ＳＮ比をさらに向上させることができるのである。
　なお、図９（３）において、同心円状に見えているのは回折格子が重畳された２重焦点レンズの平面図であり、拡大図に示すように、レンズ上に回折格子の格子溝が形成されている。
　図２２は、本実施例のホログラフィック光学系における蛍光３次元像の再構成像を示している。図２２（１）はホログラムを示している。図２２（１）の点線部分において、コントラストを強調し、拡大した画像も示している。図２２（３）は再構成像距離（Reconstruction Distance）を横軸として、強度（ピーク強度に基づいて正規化した強度）を縦軸としたグラフであり、図２２（２）はそのピーク強度の再構成像距離の再生面での強度画像を示している。図２２（２）の強度画像は鮮明であり、１つの集光点になっていることからピンホールを通したＬＥＤ光源が再生されていると言える。
　本実施例では、ＤＭＤ素子を用いて、１つ又は複数の窓を開けて、微弱な蛍光信号に対してホログラムを取得できるディジタルホログラフィック顕微鏡について説明する。
　図１２は、ＤＭＤ素子の概念図である。ＤＭＤ素子を、観察対象試料の蛍光励起光による蛍光３次元像を取得する第２のホログラフィック光学系の光路上に配置する。例えば、ＤＭＤ素子を、図１に示す光学系におけるレンズ１７ａとレンズ１７ｂの間に設置する。ここで、単一検出器をイメージセンサ３ａの代わりとして用いる。ＤＭＤ素子は、１つ又は複数のマイクロミラーをＯＮ状態にすることにより、ＯＮ状態のマイクロミラーの箇所が開口部となり、蛍光信号光を透過させる。図１２に示すＤＭＤ素子７０は、縦６×横８の４８個のマイクロミラーで構成され、ＯＮ状態のマイクロミラー７２が１つあり、その他はＯＦＦ状態のマイクロミラー７１である。ＤＭＤ素子７０では、ＯＮ状態のマイクロミラー７２の位置から、蛍光信号光を通過させることが明確である。
　単一検出器からの蛍光ホログラムの再構成手順としては、単一検出器を用いて、ＤＭＤにより蛍光信号の空間パターンを変調し、その変調された蛍光信号の光エネルギーを取得する。　　ＤＭＤによる変調パターンとその光エネルギーの組み合わせから圧縮センシングの手法により、ホログラムパターンを計算機上で再構成する。これにより、生体組織への応用時に、生体組織へ照射する光エネルギーを抑えることで、生体組織へのダメージを与えることなく、蛍光信号を取得することができる。
　図1３は、ディジタルホログラフィック顕微鏡の他の実施形態の光学系の構成を示す。図１３に示すディジタルホログラフィック顕微鏡は、図１４に示す透過型ディジタルホログラフィック顕微鏡の光学系（位相３次元像を取得する第１のホログラフィック光学系）と、図１５に示す反射型蛍光顕微鏡の光学系（蛍光３次元像を取得する第２のホログラフィック光学系）との２つの光学系を共通光路として、物体光と蛍光信号光を同軸に重畳させて、１つの撮像手段で位相３次元像と蛍光３次元像の２つのホログラムを同時に取得できるようにしたものである。
　図１４に示す透過型ディジタルホログラフィック顕微鏡の光学系（位相３次元像を取得する第１のホログラフィック光学系）について説明する。
　波長６３３（ｎｍ）のＨｅ－Ｎｅレーザ光源５を用いて試料ステージ４上の観察対象試料の計測物体を照明する。Ｈｅ－Ｎｅレーザ光はビームスプリッター１２により、計測物体を透過する物体光の経路と、何もない参照光の経路に分けられ、マッハ・ツェンダー干渉計を構成する。計測物体を透過するＨｅ－Ｎｅレーザ光の波長６３３（ｎｍ）が、波長３５５ｎｍから５５０ｎｍの帯域の励起用レーザ光の波長より長いため、ダイクロイックミラー１６に影響されずに伝搬され、再びビームスプリッター１８により参照光と干渉する。この際、物体光と参照光の間にわずかに角度をつけることによって、オフアクシス（off-axis）ホログラム、すなわち等傾角干渉パターンのホログラムを取得する。取得した等傾角干渉パターンのホログラムから、フーリエ変換法を用いて物体光の振幅分布と位相分布を抽出する。オフアクシス法では元の物体位置まで逆伝搬させることにより、観察対象試料の物体光の波面が再生されることになり、物体光を再構成できる。
　次に、図１５に示す反射型蛍光顕微鏡の光学系（蛍光３次元像を取得する第２のホログラフィック光学系）について説明する。
　波長６３３（ｎｍ）のＨｅ－Ｎｅレーザ光源５を用いて試料ステージ４上の観察対象試料の計測物体を照明すると同時に、波長３５５ｎｍから５５０ｎｍの帯域の蛍光励起光源６を用いて、試料ステージ４上の観察対象試料の蛍光分子を励起する。励起された蛍光分子は、波長３５５ｎｍから５５０ｎｍの帯域の蛍光励起光より長波長の蛍光信号光を発し、試料ステージ４のガラス基板表面で反射された蛍光励起光とともに対物レンズ１５に入射する。特定の波長の光を反射し、その他の波長の光を透過するダイクロイックミラー１６を用いて、蛍光励起光を十分に減衰させ、蛍光信号光を強調する。
　そして、回折格子７が重畳された２重焦点レンズ２を用いて、蛍光信号光の自己干渉により蛍光３次元像を取得する。２重焦点レンズ２によって蛍光信号光が自己干渉するため、蛍光３次元像は同心円状パターンのホログラムとなる。
　撮像手段として用いるイメージセンサ３で、位相３次元像と蛍光３次元像の２つのホログラムを同時に取得する。
　上述の如く、蛍光３次元像は、２重焦点レンズ２によって蛍光の偏光成分が自己干渉するため、干渉パターンは同心円状となる。一方、位相３次元像は、等傾角干渉パターンとなる。同心円状干渉パターンと等傾角干渉パターンは、空間周波数面で分離することが可能であり、イメージセンサ３により撮像した像から、位相３次元像の位相ホログラムと蛍光３次元像の蛍光ホログラムとを空間周波数面で分離することができる。
　位相ホログラム用の光が２重焦点レンズ２の影響を受けないように、１／２波長板２０を設け、位相ホログラム用の光の偏光を２重焦点レンズ２によって影響しない偏光方位に合わせている。また、１／２波長板２１を設けて、蛍光励起用光源の偏光方向を２重焦点レンズ２が働く偏光方位に合せている。したがって、蛍光励起用光源により生じる蛍光信号光のみが、２重焦点レンズ２の影響を受け、さらに回折格子７の影響を受け、集光点が光軸上からずれる。
　ここで、位相ホログラムと蛍光ホログラムが重畳した信号は、下記数式１のように示すことができる。
Figure JPOXMLDOC01-appb-M000001
　上記数式１において、ｏpは位相ホログラム用の物体光波の複素振幅分布を表し、ｒpは参照光波の複素振幅分布を表す。また、ｏＦは２重焦点レンズに入射する蛍光ホログラム用物体光波の複素振幅分布である。ここで、ｆ１，ｆ２は２重焦点レンズの２つの焦点距離を示す。また、ｇはレンズの位相関数および撮像面までのフレネル回折伝搬を表す関数である。
　ｒpが下記数２で表される平面波であるとすると、位相ホログラムはオフアクシス型ホログラムとなる。そこで、位相ホログラムの抽出は、上記数式１をフーリエ変換して、空間周波数面で行うことができる。
Figure JPOXMLDOC01-appb-M000002
　上記数式１をフーリエ変換したものを下記数式３に示す。ここで、Ａは位相ホログラム用の参照光の振幅である。図１６（１）は、位相ホログラムと蛍光ホログラムの２つのホログラムが重畳した干渉画像であり、下記数式３を図示化したものである。下記数式３の右辺の第１，２，５，６，７，８項は自己干渉の同心円状ホログラムによる項であり、空間周波数面で原点付近に現れる信号となる（図１６（２）を参照）。また、右辺の第３，４項はオフアクシスホログラムによる項であり、空間周波数面で原点からずれた位置に存在する信号となる（図１６（２）を参照）。このため、ウィンドウ関数を掛けることにより、図１６（２）に示す空間周波数面で、原点付近に現れる蛍光ホログラムと、原点からずれた位置に存在する位相ホログラムの２つのホログラムを分離する（図１６（３）を参照）。したがって、オフアクシスホログラムによる項である右辺の第３，４項を、それぞれ、下記数式４と数式５のように取り出すことができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　ここで、位相ホログラム用の参照光の振幅Ａは、予め測定することが可能であるため、上記数式４と数式５から位相ホログラムの物体光ｏpとその複素共役分布を求めることができる。上記数式３に上記数式４と数式５を代入して、蛍光ホログラムとして下記数式６を得る。
　ここで、上記数式３における、Ｇ１とＧ２は、それぞれ、ｇ（ＯＦ（ｘ，ｙ），ｆ１）とｇ（ＯＦ（ｘ，ｙ），ｆ２）のフーリエ変換を表している。
Figure JPOXMLDOC01-appb-M000006
　上述の如く、位相ホログラムと蛍光ホログラムの２つのパターンをフーリエ変換することにより、空間周波数面で原点からずれた位置に存在する信号の等傾角干渉パターンの成分を、バンドパスフィルタによって抽出することができる。また、予め等傾角干渉パターンに用いた参照光の強度分布を取得しておくことで、同心円状の干渉パターンのみを抽出することが可能になる。
　観察対象試料として直径４μｍの蛍光ビーズを使用し、蛍光３次元像と位相３次元像を個別にイメージセンサで取得したホログラムのイメージの一例を図１７に示す。
　図１７（１）が蛍光ビーズのホログラム画像であり（蛍光ビーズの部分を拡大した図も付記）、それをフーリエ変換して、図１７（２）の空間周波数面を得る。空間周波数面の原点からずれた位置に存在するホログラムを抽出し、図１７（３）の位相分布を取得する（拡大位相像も付記）。図１７（４）は、再構成された位相分布の３次元表示を示している。図１７（４）から、蛍光ビーズの位相変化量がわかる。
　図１８は、ディジタルホログラフィック顕微鏡の他の実施形態の光学系の構成を示す。実施例５のディジタルホログラフィック顕微鏡と同様、透過型ディジタルホログラフィック顕微鏡と反射型蛍光顕微鏡との２つの光学系を共通光路として、物体光と蛍光信号光を同軸に重畳させて、１つの撮像手段で位相３次元像と蛍光３次元像の２つのホログラムを同時に取得できるようにしたものである。
　実施例５のディジタルホログラフィック顕微鏡と異なる点は、２つの励起用レーザ光源（４１，４２）を備えている点である。具体的には、４７３ｎｍの波長の青色レーザと、５３２ｎｍの波長の緑色レーザを備える。青色レーザは、主に５００～５３０ｎｍの蛍光を励起することを目的とする。一方、緑色レーザは、主に５４０～６００ｎｍの蛍光を励起することを目的とする。観察対象の細胞によって、蛍光マーカーが異なることが想定される。そのため、蛍光マーカーが励起する波長のレーザを観察対象試料に照射できるようにする。
　図１８に示す構成の場合、２つのシャッター（４３，４４）とビームスプリッター４６によって、試料ステージ４上の観察対象試料の蛍光分子を励起する励起用レーザ光源（４１，４２）が切替えられる。シャッター（４３，４４）の切り替えは、シャッター制御装置５０から出力されるシャッター制御信号（５１，５２）によって行われる。ビームスプリッター４６の先になるＮＤ（Neutral Density）フィルタ４７は、色彩に影響を与えることなくレーザ光量を低下させるためのものである。
　２つの励起用レーザ光源（４１，４２）の内、一方の励起用レーザ光源を用いて、試料ステージ４上の観察対象試料の蛍光分子を励起する。励起された蛍光分子は、励起用レーザ光源より長波長の蛍光信号を発し、試料ステージ４のガラス基板表面で反射された励起用レーザ光とともに対物レンズ１５に入射する。また、シャッター制御装置５０により、２つのシャッター（４３，４４）を切り替え、もう一方の励起用レーザ光源を用いて、試料ステージ４上の観察対象試料の蛍光分子を励起する。
　２つの励起用レーザ光源（４１，４２）の各々の蛍光３次元像は、２重焦点レンズ２によって蛍光の偏光成分が自己干渉するため、干渉縞は同心円状パターンとなる。
　なお、本実施例では、２つの励起用レーザ光源を用いているが、３つ以上であってもよい。また、シャッター制御装置から出力されるシャッター制御信号を高速に切り替えて、蛍光像を取得してもよい。
　蛍光３次元像の取得と同時に、波長６３３（ｎｍ）のＨｅ－Ｎｅレーザ光源５を用いて試料ステージ４上の観察対象試料の計測物体を照明し、オフアクシス（off-axis）ホログラムを作成し、イメージセンサ３で、位相３次元像と蛍光３次元像の２つのホログラムを同時に取得する。
　本発明のディジタルホログラフィック顕微鏡では、リアルタイムで細胞の形状変化と細胞核の動きを計測可能であり、蛍光染色試薬の種類に応じて、励起用レーザ光源を切替えて使用することにより、ターゲットとなる細胞を選択して形状変化と動きを計測できる。
　また、上述の実施例のディジタルホログラフィック顕微鏡は、位相ホログラムを取得する第１のホログラフィック光学系が透過型であり、蛍光ホログラムを取得する第２のホログラフィック光学系が反射型であるが、蛍光ホログラムを取得する第２のホログラフィック光学系が透過型であっても構わない。
　本発明は、バイオイメージング分野の顕微鏡に有用である。
　　１　　ディジタルホログラフィック顕微鏡
　　２　　２重焦点レンズ
　　３，３ａ，３ｂ　　イメージセンサ
　　４　　試料ステージ
　　５　　Ｈｅ－Ｎｅレーザ光源
　　６，４１，４２　　蛍光励起光源
　　７　　回折格子
　　８ａ，８ｂ　蛍光分子
　　９　　シャッター
　　１０，１１，１９，２６，２９　レンズ
　　１２，１８，４６　ビームスプリッター
　　１３，１４，４５　反射鏡
　　１５，２５　対物レンズ
　　１６，２７　ダイクロイックミラー
　　１７　チューブレンズ
　　２０，２１　　　　　１／２波長板
　　３１，６１　　蛍光信号光
　　３２，３３，６２　　回折波
　　３４　　同心円状パターンのホログラム
　　３５，３６　　等傾角干渉パターンのホログラム
　　４３，４４　　シャッター
　　４７　　ＮＤフィルタ
　　５０　　シャッター制御装置
　　５１，５２　　シャッター制御信号
　　５９　　２重焦点レンズの光軸
　　６０　　蛍光励起光
　　７０　　ＤＭＤ素子
　　７１　　オフ状態のマイクロミラー
　　７２　　オン状態のマイクロミラー
 
 
 

Claims (16)

  1. 　レーザ光を用いて観察対象試料を通過する物体光と通過しない参照光とを重ね合せた干渉光による位相３次元像を取得する第１のホログラフィック光学系と、蛍光励起光を用いて前記観察対象試料の蛍光信号光による蛍光３次元像を取得する第２のホログラフィック光学系を備え、第１のホログラフィック光学系による位相測定と第２のホログラフィック光学系による蛍光測定を同時に行うディジタルホログラフィック顕微鏡において、
    　第２のホログラフィック光学系は、
    　回折格子が重畳された２重焦点レンズを有し、
    　前記２重焦点レンズと前記回折格子が共に偏光依存性を有し、
    　前記偏光依存性により前記蛍光信号光をノイズ光から分離させ、
    　上記の回折格子が重畳された２重焦点レンズにより、分離させた前記蛍光信号光を光軸からズレた位置に集光させ、集光させた前記蛍光信号光を自己干渉させて蛍光３次元像を取得することを特徴とするディジタルホログラフィック顕微鏡。
  2. 　前記２重焦点レンズを通過する前記蛍光信号光は、変調成分と非変調成分の光に分けられ、
    　変調成分の光は、
    　前記回折格子により回折され、光軸からズレて斜行し、光軸上から外れた位置に開口位置が設けられたシャッターを通過し、
    　非変調成分のノイズ光は、
    　前記回折格子により回折されず、光軸上を直進し、前記シャッターにより遮られる、
    ことを特徴とする請求項１に記載のディジタルホログラフィック顕微鏡。
  3. 　前記回折格子は、前記２重焦点レンズのそれぞれの焦点距離に対して、異なる周期構造を有し、
    　前記２重焦点レンズを通過した前記蛍光信号光の変調成分の光を、異なる回折角の２つの光波とし、これら２つの光波の干渉縞の干渉強度分布から蛍光信号光を再構成することにより、ＳＮ比を向上させる、
    ことを特徴とする請求項１又は２に記載のディジタルホログラフィック顕微鏡。
  4. 　前記２重焦点レンズは、サブ波長周期構造の２焦点フレネルレンズであり、前記回折格子と一体化されていることを特徴とする請求項１～３の何れかに記載のディジタルホログラフィック顕微鏡。
  5. 　上記の回折格子が重畳された２重焦点レンズが、液晶空間光変調素子により構成されることを特徴とする請求項１～３の何れかに記載のディジタルホログラフィック顕微鏡。
  6. 　前記２重焦点レンズは、第２のホログラフィック光学系にのみ作用し、第１のホログラフィック光学系には作用しないものであることを特徴とする請求項１～５の何れかに記載のディジタルホログラフィック顕微鏡。
  7. 　第２のホログラフィック光学系において、
    　多数のマイクロミラーが平面に配列された表示素子を用いて、少なくとも１つのマイクロミラーをオン状態にし、前記蛍光励起光または前記蛍光信号光を部分的に透過させて、前記撮像手段として単一検出器を用いて、蛍光３次元像を取得する、
    ことを特徴とする請求項１～６の何れかに記載のディジタルホログラフィック顕微鏡。
  8. 　前記蛍光励起光の波長が、切替可能であることを特徴とする請求項１～７の何れかに記載のディジタルホログラフィック顕微鏡。
  9. 　第１のホログラフィック光学系が透過型であり、第２のホログラフィック光学系が反射型であることを特徴とする請求項１～８の何れかに記載のディジタルホログラフィック顕微鏡。
  10. 　第１のホログラフィック光学系の撮像手段と、第２のホログラフィック光学系の撮像手段が共用化され、
    　前記撮像手段は、
    　蛍光３次元像と位相３次元像をホログラムとして同時に取得し、
    　同心円状ホログラムの蛍光３次元像と、等傾角ホログラムの位相３次元像とを、空間周波数面において分離し、
    　それぞれの干渉強度分布から物体光と蛍光信号光を再構成する、
    ことを特徴とする請求項１～９の何れかに記載のディジタルホログラフィック顕微鏡。
  11. 　第１のホログラフィック光学系の撮像手段と、第２のホログラフィック光学系の撮像手段が共用化され、
    　前記撮像手段は、
    　蛍光３次元像と位相３次元像をホログラムとして同時に取得し、
    　オフアクシス型干渉による等傾角ホログラムの蛍光３次元像と、等傾角ホログラムの位相３次元像とを、空間周波数面において分離し、
    　それぞれの干渉強度分布から物体光と蛍光信号光を再構成する、
    ことを特徴とする請求項１～９の何れかに記載のディジタルホログラフィック顕微鏡。
  12. 　蛍光３次元像により細胞核の時空間情報を、
    　位相３次元像により細胞核および細胞壁の時空間構造を同時に取得する、
    ことを特徴とする請求項１～１１の何れかに記載のディジタルホログラフィック顕微鏡。
  13. 　請求項１～１１の何れかのディジタルホログラフィック顕微鏡を用いて、
    　蛍光３次元像により細胞核の時空間情報と、位相３次元像により細胞核および細胞壁の時空間構造とを同時に取得する細胞観察方法。
  14. 　蛍光励起光を用いて前記観察対象試料の蛍光信号光による蛍光３次元像を取得するホログラフィック光学系を備えるディジタルホログラフィック顕微鏡において、
    　前記ホログラフィック光学系は、
    　回折格子が重畳された２重焦点レンズを有し、
    　前記２重焦点レンズと前記回折格子が共に偏光依存性を有し、
    　前記偏光依存性により前記蛍光信号光をノイズ光から分離させ、
    　上記の回折格子が重畳された２重焦点レンズにより、分離させた前記蛍光信号光を光軸からズレた位置に集光させ、集光させた前記蛍光信号光を自己干渉させて蛍光３次元像を取得することを特徴とするディジタルホログラフィック顕微鏡。
  15. 　前記回折格子は、前記２重焦点レンズのそれぞれの焦点距離に対して、異なる周期構造を有し、
    　前記２重焦点レンズを通過した前記蛍光信号光の変調成分の光を、異なる回折角の２つの光波とし、これら２つの光波の干渉縞の干渉強度分布から蛍光信号光を再構成することにより、ＳＮ比を向上させる、
    ことを特徴とする請求項１４に記載のディジタルホログラフィック顕微鏡。
  16. 　上記の回折格子が重畳された２重焦点レンズにおいて、
    　前記２重焦点レンズは、サブ波長周期構造の２焦点フレネルレンズであり、前記回折格子と一体化されている、
    　或は、
    　前記２重焦点レンズと前記回折格子が、液晶空間光変調素子により構成され一体化されている、
    ことを特徴とする請求項１４又は１５に記載のディジタルホログラフィック顕微鏡。
     
PCT/JP2017/036894 2016-10-11 2017-10-11 ディジタルホログラフィック顕微鏡 WO2018070451A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/340,506 US10712270B2 (en) 2016-10-11 2017-10-11 Digital holographic microscope
JP2018545039A JP6961241B2 (ja) 2016-10-11 2017-10-11 ディジタルホログラフィック顕微鏡

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-200457 2016-10-11
JP2016200457 2016-10-11

Publications (1)

Publication Number Publication Date
WO2018070451A1 true WO2018070451A1 (ja) 2018-04-19

Family

ID=61905449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036894 WO2018070451A1 (ja) 2016-10-11 2017-10-11 ディジタルホログラフィック顕微鏡

Country Status (3)

Country Link
US (1) US10712270B2 (ja)
JP (1) JP6961241B2 (ja)
WO (1) WO2018070451A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298411A (zh) * 2018-11-30 2019-02-01 武汉理工大学 一种全息激光信号声呐滤波方法
CN109387481A (zh) * 2018-11-28 2019-02-26 同济大学 一种检测圆二色性的装置与方法
CN109597194A (zh) * 2018-12-28 2019-04-09 清华大学深圳研究生院 一种太阳能聚光系统
CN112444501A (zh) * 2019-08-30 2021-03-05 香港中文大学 用于材料计量和生物成像的便携式定量相位显微镜
US11016022B2 (en) 2018-12-13 2021-05-25 Imec Vzw Multimodal imaging system
CN113219640A (zh) * 2021-05-21 2021-08-06 深圳技术大学 一种透射反射式数字全息显微系统
JPWO2020013208A1 (ja) * 2018-07-09 2021-08-26 国立大学法人神戸大学 ホログラフィック３次元マルチスポット光刺激装置及び方法
WO2021172135A1 (ja) * 2020-02-27 2021-09-02 国立大学法人東京大学 位相イメージング装置、位相イメージング方法
CN114018150A (zh) * 2021-11-08 2022-02-08 河北荣众信息科技有限公司 一种数字全息显微测量装置及其控制方法
CN114354466A (zh) * 2021-09-17 2022-04-15 西北工业大学 一种测量光力刺激下细胞-基底相互作用的显微成像装置
CN114895449A (zh) * 2022-03-17 2022-08-12 华东师范大学 一种基于压缩感知的四维高速荧光显微成像装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033581A1 (de) * 2016-08-15 2018-02-22 Leica Microsystems Cms Gmbh Lichtblattmikroskop
US11009456B2 (en) * 2018-09-04 2021-05-18 Purdue Research Foundation Method of phase contrasting
CN110927115B (zh) * 2019-12-09 2022-05-13 杭州电子科技大学 基于深度学习的无透镜双型融合目标检测装置及方法
CN114088006A (zh) * 2020-08-24 2022-02-25 陈亮嘉 共焦显微系统及其光学照明装置
CN113504717B (zh) * 2021-07-09 2022-06-21 浙江大学 基于时空聚焦的均匀全息双光子显微系统
CN114324245B (zh) * 2021-11-15 2024-01-30 西安电子科技大学 基于部分相干结构光照明的定量相位显微装置和方法
CN114544552B (zh) * 2021-11-16 2024-04-30 西北工业大学 一种改善表面等离子体共振全息显微术像质的方法
CN115421288A (zh) * 2022-08-17 2022-12-02 华南师范大学 一种基于高阶非线性荧光的三维各向同性单物镜超分辨成像方法及装置
CN118130427A (zh) * 2024-02-29 2024-06-04 广东工业大学 偏振分光的共路空间相移双通道数字全息三维层析系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098243A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 顕微鏡
JP2004538451A (ja) * 2001-06-29 2004-12-24 ユニベルスィテ リーブル ドゥ ブリュッセル 三次元顕微鏡検査法によってサンプルを得るための方法およびデバイス
JP2015001726A (ja) * 2013-06-18 2015-01-05 学校法人 関西大学 ホログラム記録装置およびホログラム記録方法
WO2016163560A1 (ja) * 2015-04-09 2016-10-13 国立大学法人神戸大学 ディジタルホログラフィック顕微鏡

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004005338T2 (de) * 2003-05-16 2007-12-13 Université Libre de Bruxelles Digitales holographisches mikroskop für dreidimensionale abbildung und verfahren zu dessen verwendung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098243A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 顕微鏡
JP2004538451A (ja) * 2001-06-29 2004-12-24 ユニベルスィテ リーブル ドゥ ブリュッセル 三次元顕微鏡検査法によってサンプルを得るための方法およびデバイス
JP2015001726A (ja) * 2013-06-18 2015-01-05 学校法人 関西大学 ホログラム記録装置およびホログラム記録方法
WO2016163560A1 (ja) * 2015-04-09 2016-10-13 国立大学法人神戸大学 ディジタルホログラフィック顕微鏡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QUAN, XIANGYU ET AL.: "Yasuhiro, Prototyping of Hybrid Digital Holographic Microscope Capable of Fluorescence and Phase Imaging", OPTICS & PHOTONICS JAPAN 2014, 5 November 2014 (2014-11-05), pages 15 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170342B2 (ja) 2018-07-09 2022-11-14 国立大学法人神戸大学 ホログラフィック３次元マルチスポット光刺激装置及び方法
JPWO2020013208A1 (ja) * 2018-07-09 2021-08-26 国立大学法人神戸大学 ホログラフィック３次元マルチスポット光刺激装置及び方法
US11921045B2 (en) 2018-07-09 2024-03-05 National University Corporation Kobe University Holographic three-dimensional multi-spot light stimulation device and method
EP3822617A4 (en) * 2018-07-09 2022-04-06 National University Corporation Kobe University MULTIPOINT THREE-DIMENSIONAL HOLOGRAPHIC LIGHT STIMULATION DEVICE AND METHOD
CN109387481A (zh) * 2018-11-28 2019-02-26 同济大学 一种检测圆二色性的装置与方法
CN109298411A (zh) * 2018-11-30 2019-02-01 武汉理工大学 一种全息激光信号声呐滤波方法
US11016022B2 (en) 2018-12-13 2021-05-25 Imec Vzw Multimodal imaging system
CN109597194A (zh) * 2018-12-28 2019-04-09 清华大学深圳研究生院 一种太阳能聚光系统
CN112444501A (zh) * 2019-08-30 2021-03-05 香港中文大学 用于材料计量和生物成像的便携式定量相位显微镜
CN112444501B (zh) * 2019-08-30 2023-08-25 香港中文大学 用于材料计量和生物成像的便携式定量相位显微镜
JP2021135409A (ja) * 2020-02-27 2021-09-13 国立大学法人 東京大学 位相イメージング装置、位相イメージング方法
WO2021172135A1 (ja) * 2020-02-27 2021-09-02 国立大学法人東京大学 位相イメージング装置、位相イメージング方法
JP7432227B2 (ja) 2020-02-27 2024-02-16 国立大学法人 東京大学 位相イメージング装置、位相イメージング方法
CN113219640B (zh) * 2021-05-21 2021-11-02 深圳技术大学 一种透射反射式数字全息显微系统
CN113219640A (zh) * 2021-05-21 2021-08-06 深圳技术大学 一种透射反射式数字全息显微系统
CN114354466A (zh) * 2021-09-17 2022-04-15 西北工业大学 一种测量光力刺激下细胞-基底相互作用的显微成像装置
CN114354466B (zh) * 2021-09-17 2024-01-23 西北工业大学 一种测量光力刺激下细胞-基底相互作用的显微成像方法
CN114018150A (zh) * 2021-11-08 2022-02-08 河北荣众信息科技有限公司 一种数字全息显微测量装置及其控制方法
CN114018150B (zh) * 2021-11-08 2023-08-15 河北荣众信息科技有限公司 一种数字全息显微测量装置及其控制方法
CN114895449B (zh) * 2022-03-17 2023-06-23 华东师范大学 一种基于压缩感知的四维高速荧光显微成像装置
CN114895449A (zh) * 2022-03-17 2022-08-12 华东师范大学 一种基于压缩感知的四维高速荧光显微成像装置

Also Published As

Publication number Publication date
JPWO2018070451A1 (ja) 2019-07-25
US10712270B2 (en) 2020-07-14
JP6961241B2 (ja) 2021-11-05
US20190250104A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
WO2018070451A1 (ja) ディジタルホログラフィック顕微鏡
JP6716121B2 (ja) ディジタルホログラフィック顕微鏡
US9910256B2 (en) Portable interferometric device
JP5170084B2 (ja) ３次元顕微鏡および３次元画像取得方法
US8767216B2 (en) Holographically illuminated imaging devices
KR101441245B1 (ko) 디지털 홀로그래픽 현미경 장치
EP3514599B1 (en) Spatial frequency reproducing method and optical distance measuring apparatus
JP7170342B2 (ja) ホログラフィック３次元マルチスポット光刺激装置及び方法
CN110058393B (zh) 一种基于结构光照明的相位显微成像装置和方法
WO2012050901A2 (en) Fourier domain sensing
Shin et al. Reference-free single-point holographic imaging and realization of an optical bidirectional transducer
CN114324245B (zh) 基于部分相干结构光照明的定量相位显微装置和方法
KR101716452B1 (ko) 디지털 홀로그래피 마이크로스코프를 이용한 고단차 측정 방법
JP6230358B2 (ja) 光学的距離計測装置
JP2010139951A (ja) 光学装置
KR102272366B1 (ko) 위상 정보 추출과 입체 영상 구성 방법 및 장치
TWI673516B (zh) 多層多工共焦顯微之光源裝置與系統
KR100451881B1 (ko) 음향광학변조필터를 이용한 투명박막의 3차원 형상측정장치
Booth et al. Full spectrum filterless fluorescence microscopy
US20230359147A1 (en) Image reproduction device, hologram recording device, and digital holography device
JP7348858B2 (ja) ホログラム撮影装置及び像再構成システム
RU124384U1 (ru) Устройство для исследования оптической анизотропии объекта интерферометрическим методом
Lai et al. Optical path difference characteristics of the fluorescence holographic system
JP2022127657A (ja) 蛍光像の高効率計測を実現するディジタルホログラフィック顕微鏡
Light Optical Instrumentation Using Geometric Phase Elements

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860614

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018545039

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17860614

Country of ref document: EP

Kind code of ref document: A1