WO2019111440A1 - 顕微鏡観察方法及び透過型顕微鏡装置 - Google Patents

顕微鏡観察方法及び透過型顕微鏡装置 Download PDF

Info

Publication number
WO2019111440A1
WO2019111440A1 PCT/JP2018/028534 JP2018028534W WO2019111440A1 WO 2019111440 A1 WO2019111440 A1 WO 2019111440A1 JP 2018028534 W JP2018028534 W JP 2018028534W WO 2019111440 A1 WO2019111440 A1 WO 2019111440A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
image
light
light source
observation object
Prior art date
Application number
PCT/JP2018/028534
Other languages
English (en)
French (fr)
Inventor
國昭 永山
Original Assignee
國昭 永山
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國昭 永山 filed Critical 國昭 永山
Priority to EP18886557.0A priority Critical patent/EP3722861A1/en
Priority to JP2019557991A priority patent/JP6900066B2/ja
Publication of WO2019111440A1 publication Critical patent/WO2019111440A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/10—Condensers affording dark-field illumination

Definitions

  • the present invention relates to a microscope observation method and transmission microscope apparatus for acquiring an intensity image and a differential phase image of an observation object by utilizing deflection of light and electrons when passing through a substance.
  • a method mainly using an interference effect has been used for acquisition of phase information by a microscope.
  • a microscope for example, as an optical microscope, Schlieren method, Zernike phase contrast microscopy, Nomarski differential interference microscopy, etc. are known.
  • an electron microscope a defocusing method using defocusing, a phase difference electron microscope using a phase plate, and the like are known.
  • Both of these methods convert the phase difference between two waves with different phases into intensity modulation due to wave interference, and infer the phase difference from the intensity image, and provide a phase reference in addition to the signal wave. It is necessary to prepare a reference wave and a reference wave. As a simple method that uses a part of the signal wave as the reference wave, the magnitude of the observable phase is limited in order to establish the “weak phase object approximation”, and the holographic method and the like that can overcome the limit Since an independent reference wave is required separately from the waves, device devising and complication can not be avoided.
  • Non-Patent Documents 1 to 8 a method for obtaining a differential phase of an observation object using deflection of light due to a substance without using an interference effect.
  • converged light a focused beam of light, electrons or X-rays (hereinafter collectively referred to as “converged light”) is irradiated onto an observation target while scanning, and the irradiation position thereof Detection and imaging of light deflection due to the change in refractive index that occurs in
  • the differential phase scan of the observation object is obtained by quantitatively extracting the deflection degree of the convergent light. I am observing the image.
  • the conventional scanning differential phase method using convergent light has the following problems.
  • the first problem is that in the conventional method, the image observed on the detection surface is a diffraction image, and the image of the object to be observed can not be observed directly at the time of observation. It is not possible to cope with
  • the second problem is that the observation data becomes huge.
  • the image acquired by the scanning differential phase method is a combination of two-dimensional scanning coordinates r s in the light source plane and two-dimensional observation coordinates s d in the detection plane, that is, four-dimensional coordinates (r s , s d ) described.
  • r represents real space coordinates
  • s represents frequency space (wave number space) coordinates
  • subscript s represents a light source surface
  • subscript d represents a detection surface.
  • the accuracy of the light source surface two-dimensional scanning coordinate is related to the resolution of the image
  • the accuracy of the detection surface two-dimensional observation coordinate is related to the observation accuracy of the differential phase.
  • it is necessary to increase each data resolution that is, digital accuracy. For example, with a digital precision of 1 megabyte each, a four-dimensional data requires a huge recording amount of 1 terabyte.
  • the third problem is the increase in observation time due to the increase in recording amount.
  • the conventional scanning differential phase method in order to observe a two-dimensional diffraction image for one point r s of an image obtained by scanning, for example, in order to store four-dimensional data, two-dimensional detection is performed for each point constituting the image. Data must be transferred. Even if, for example, one megabyte of a two-dimensional diffraction image is transferred in one millisecond per one image point using high-speed transfer by a high-speed computer, it takes 1000 seconds to observe one megabyte of image points.
  • the present invention solves the problems of the conventional method using the convergent light described above, and a microscope observation method capable of easily acquiring a high-accuracy and high-sensitivity intensity image and differential phase image of an observation object.
  • An object of the present invention is to provide a transmission microscope.
  • the microscopic observation method comprises the steps of: parallel irradiating the light to be observed with light emitted from the light source by the Koehler illumination method in which the aperture stop is minimized; and collecting the light transmitted through the object to be observed.
  • micro lens array coordinates are two-dimensional real space coordinates
  • detection coordinates on the micro light detector array are two-dimensional frequency space coordinates
  • Another microscopic observation method comprises the steps of: parallelly irradiating, with an observation object, light simultaneously emitted from point light sources constituting the surface light source by Koehler illumination using a surface light source; Collecting the transmitted light and forming a real image on the detection surface; acquiring the real image from the intensity distribution of the light field formed on the detection surface; and picking up a plurality of real images different in focus.
  • Another microscopic observation method is a dark field method, and an illumination step of parallelly irradiating light emitted from a point light source on an observation object from an oblique direction; and deflected by the observation object; Forming an actual image on a detection surface by condensing scattered light that has passed through a stop disposed at a position conjugate to the light source; and the illumination step and the imaging step while two-dimensionally scanning the point light source Step of generating four-dimensional data consisting of light source surface two-dimensional coordinates and detection surface two-dimensional coordinates, and calculating the barycentric integral at the light source surface two-dimensional coordinates of the four-dimensional data; Obtaining a two-dimensional differential phase image, a beam stopper is disposed at a conjugate point formed on the stop, and a non-scattered component is shielded.
  • Another microscopic observation method is a dark field method, and an illumination step of parallelly irradiating light emitted from a point light source on an observation object from an oblique direction; and deflected by the observation object; And focusing the scattered light that has passed through the stop disposed at a position conjugate to the light source to form a real image on the detection surface, and performing the illumination step and the imaging step while scanning the stop two-dimensionally Generating four-dimensional data consisting of scanning two-dimensional coordinates and detection surface two-dimensional coordinates; calculating said four-dimensional data by calculating an integral of gravity at a light source surface two-dimensional coordinates point-symmetrical to said scanning two-dimensional coordinates; Acquiring a two-dimensional differential phase image of the object to be observed, and a beam stopper is disposed at a conjugate point formed on the diaphragm to shield a non-scattered component.
  • Another microscopic observation method is a dark field method, and an illumination step of parallelly irradiating light emitted from a point light source on an observation object from an oblique direction; and deflected by the observation object; Adjusting the light source image to be located at the bridge portion of the H-shaped slit, and an imaging step of condensing the scattered light passing through the H-shaped slit disposed at a position conjugate to And, in the bridge portion, scanning the light from the point light source or the H-shaped slit in one dimension to generate three-dimensional data, and the three-dimensional data as one-dimensional Calculating a barycentric integral of the data to obtain a two-dimensional differential phase image of the observation object, arranging a beam stopper at a conjugate point formed in the H-shaped slit, and shielding a non-scattered component Do.
  • an illumination optical system for parallelly irradiating light emitted from a light source to an observation object by Koehler illumination method in which the aperture stop is minimized, and condensing the light transmitted through the observation object
  • Optical system for forming an image on a microlens array disposed on the image plane and an intensity distribution of a diffracted light field formed on the micro photodetector array disposed on the back of the microlens array
  • the micro lens array coordinates as a two-dimensional real space coordinate, and each detection coordinate on the micro photo detector array as a two-dimensional frequency space coordinate from the plurality of diffraction images on the micro light detector array;
  • a four-dimensional data generation unit that generates two-dimensional data; and a data processing unit that calculates an area integral and / or a gravity center integral of the four-dimensional data in the two-dimensional frequency space coordinates; It is intended to obtain a two-dimensional intensity image and / or 2-dimensional differential phase image of the observation object.
  • the illumination optical system may be configured of one or a group of lenses and one or a group of stops. Further, in the transmission microscope of the present invention, the imaging optical system may be configured such that a diaphragm surface is disposed between at least two lenses.
  • parallel light is irradiated instead of convergent light, and a real image is formed at an arbitrary position in front of the detection surface or the detection surface. Therefore, high dimensional dimensional reduction of four dimensions can be realized. It becomes possible to easily acquire a high-precision and high-sensitivity intensity image and differential phase image of an observation object through real image observation.
  • FIG. 2 It is a figure which shows the outline of the imaging process of the convergent light scanning diffraction image observation four-dimensional microscope by the conventional critical illumination. It is the schematic which shows the structural example of the optical system of 3 lens * 4 optical surface.
  • A is an image drawing of a conventional scanning four-dimensional method in which convergent illumination light is applied to the optical system shown in FIG. 2, and B is a result of the parallel light irradiation four-dimensional method of the present invention applying parallel illumination light.
  • FIGS. 6A to 6C are diagrams showing an imaging process of a four-dimensional microscopic observation method of a second embodiment of the present invention using a light field camera.
  • a to D are schematic views showing an example of a method for realizing multi-focus in the real-image four-dimensional microscope observation method of the third embodiment of the present invention, A is a defocusing method for shifting the focus of the objective lens, and B is The detection surface shift method, C and D are object surface shift methods.
  • FIG. 7 is a contour plot of a diffraction image on a microdetector of a kidney tissue section photographed under on-axis point light source Kohler illumination using a light field microscope equipped with a microlens array. It is a figure which shows the imaging process in the four-dimensional microscope observation method of the 6th Embodiment of this invention.
  • A is a microscopic image of a kidney tissue section of a mouse
  • A is a point light source differential phase light field microscopic image
  • B is a surface light source differential phase light field microscopic image
  • C is a rough view of a normal differential interference microscope
  • D is a normal differential interference It is a high pixel number original image of a microscope.
  • A is a microscopic image of a mouse kidney tissue section
  • A is a point light source bright field light field microscopic image
  • B is a rough image of a normal bright field method.
  • A is a microscopic image of a mouse kidney tissue section
  • A is a point light source bright field light field microscopic image
  • B is a rough image of a normal bright field method.
  • Fourth Embodiment Differential phase image observation method of observing a dark field image by disposing a beam stopper at a condensing position of a back focal plane of an objective lens of parallel light emitted from a point light source.
  • First modified example of the fourth embodiment differential phase image observation method of observing a dark field image by limiting the scanning dimension to a one-dimensional direction by using an H-shaped slit for light source scanning or oblique light scanning.
  • Fifth Embodiment Differential phase image observation method in which a point light source in the second embodiment is disposed on the optical axis and a stopper is disposed on the optical axis of the back focal plane of the objective lens to observe a dark field image.
  • Sixth Embodiment A differential phase image observing method of observing a dark field image using a fixed stopper in place of the light source-stopper conjugate scanning or the oblique light-stopper conjugate scanning in the fourth embodiment.
  • First modified example of the sixth embodiment differential phase image observation method of observing a dark field image by limiting the scanning dimension to a one-dimensional direction by using an H-shaped slit in diaphragm scanning
  • FIG. 1 is a view showing an outline of an imaging process of a convergent beam scanning diffraction image observation four-dimensional microscope by a conventional critical illumination using the deflection of the convergent light described above.
  • "four-dimensional" in a four-dimensional microscope is an expression of the basic principle of the present invention in which two-dimensional coordinates of a light source surface and two-dimensional detection surface are independently treated, as described later.
  • the imaging optical system shown in FIG. 1 includes four optical surfaces, the first optical surface is a light source surface, the second optical surface is a stop surface, the third optical surface is an object surface, and the fourth optical surface is a detection surface. It becomes.
  • the convergent light deflected by the observation object passes through the third lens 103, and forms a diffracted light circle which is an image of a stop on the detection surface 114 disposed on the back focal plane.
  • the movement of the diffracted light circle gives a differential phase, and when the light source position is scanned, a differential phase scanning image is obtained.
  • the imaging process of an object by light is also a Fourier transform process by three lenses 101 to 103 connecting four optical surfaces, and this situation is described in the continuous Fourier transform (FT) or inverse as shown in the lower part of FIG. It is expressed as Fourier transform (FT- 1 ).
  • the convergent light deflected by the object is subjected to the action represented by the Fourier transform FT, and the diffraction represented by the following equation 1 on the detection surface 114 placed on the back focal plane.
  • the action represented by the Fourier transform FT and the diffraction represented by the following equation 1 on the detection surface 114 placed on the back focal plane.
  • the imaging process of an object by light is also a Fourier transformation process by three lenses connecting four optical surfaces.
  • the aperture function P (s) and the probe function p (r) are connected by Fourier transform.
  • the size of the diffracted light circle diameter added with the maximum movement width is the lower limit taking into consideration the movement width of the diffracted light circle .
  • the diffracted light circle itself is an image of the stop disposed on the stop surface 112
  • the size thereof is proportional to the size of the stop, and the smaller the convergence light is, the more the inverse proportional relationship is achieved in order to improve the spatial resolution.
  • the aperture is larger and the corresponding detector is also larger.
  • the observation accuracy of the differential phase is proportional to the spatial resolution of the detector. The required specifications of the detector depend on both the image spatial resolution and the differential phase observation accuracy to be obtained in this way.
  • a light wave or an electron wave (carrier wave) transmitted through an observation subject undergoes a phase change depending on the refractive index. Because the refractive index is spatially distributed, the corresponding phase is also spatially distributed. At that time, the relationship between the phase and the refractive index is expressed by the following equation 2.
  • Equation 2 ⁇ (r) represents a phase distribution
  • n (r) represents a refractive index distribution
  • l (r) represents a thickness distribution
  • r represents a two-dimensional space coordinate
  • ⁇ represents a wavelength of a carrier wave.
  • "1" of (n (r) -1) is the refractive index of air (exactly vacuum), and the change of the refractive index of the place with and without an object corresponds to the phase change ing.
  • (n (r) -1) l (r) corresponds to the optical distance.
  • the distribution of refractive index can be approximated as a distribution of small prisms in a minute range.
  • the observation target is considered as a collection of microprisms
  • the narrow part is illuminated with convergent light
  • the light is bent by the microprisms in a direction different from the incident direction. This is a physical process of light beam deflection which occurs when the convergent light is irradiated to the observation object.
  • the simplest method of deflection amount is to quantify spatial movement accompanying deflection of a diffraction image (diffracted light circle) created on the detection surface by the convergent light irradiated to the observation object.
  • the most simplified microscope optical system is a two-lens system composed of an objective lens and an eyepiece lens, but in the microscope observation method of the present embodiment, a light source plane 2 defined independently of the light source plane and the detection plane is provided.
  • a three-lens system including a light source surface and a condensing lens (collector lens) is adopted.
  • FIG. 2 is a schematic view showing a configuration example of an optical system of three lenses and four optical surfaces.
  • three lenses 11 to 13 are disposed between the four optical surfaces of the light source surface 21, the object surface 22, the diaphragm surface 23, and the detection surface 24, respectively.
  • FIG. 2 is the most simplified minimum model of the microscope optical system for collecting light from the light source surface 21 on the detection surface 24. In an actual microscope, all of the first lens 11, the second lens 12 and the third lens 13 are used. And more complex configurations including other optical components such as apertures. However, when viewed mathematically, its function can be expressed by the minimum model shown in FIG.
  • the three lenses 11 to 13 have the same focal length f, and these seven elements have the same focal point It is a three-lens four-optical surface six-focus system coupled at a distance interval.
  • the imaging magnification is treated as 1 ⁇ .
  • the lens action is treated as the convergence effect of light when it is physically handled, and as the Fourier transform action when it is treated mathematically.
  • FIG. 1 illustrates a conventional differential phase image observation method in which convergent light is irradiated and scanned by the optical system of the three-lens four-optical surface system shown in FIG.
  • the optical field of the detection surface denoted U C (r s, s d ) and using the frequency space coordinates s d of the real space coordinate r s and the detection surface of the light source plane.
  • U C the optical field of the detection surface
  • the order of two two-dimensional coordinates which is a variable of the four-dimensional function, places the light source surface coordinates first and the detection surface coordinates second.
  • an observation object is irradiated with convergent light, and the convergent light is two-dimensionally scanned to operate a scanning method for obtaining a two-dimensional surface image, and an observation object irradiates parallel light.
  • a parallel light irradiation method in which a two-dimensional real image is obtained by one irradiation without scanning.
  • FIG. 3A is an imaging view of a conventional scanning four-dimensional method in which convergent illumination light is applied to the optical system 10 shown in FIG. 2, and FIG. 3B is a parallel light of the present invention in which parallel illumination light is applied to the optical system 10. It is an image figure of irradiation type four-dimensional method.
  • FIGS. 3A is an imaging view of a conventional scanning four-dimensional method in which convergent illumination light is applied to the optical system 10 shown in FIG. 2, and FIG. 3B is a parallel light of the present invention in which parallel illumination light is applied to the optical system 10. It is an image figure of irradiation type four-dimensional method.
  • FIGS. 1 is an imaging view of a conventional scanning four-dimensional method in which convergent illumination light is applied to the optical system 10 shown in FIG. 2
  • FIG. 3B is a parallel light of the present invention in which parallel illumination light is applied to the optical system 10. It is an image figure of irradiation type four-dimensional method.
  • 3A and 3B are mirror targets and are between scanning transmission electron microscopy (STEM) using convergent illumination and transmission electron microscopy (TEM) using collimated illumination, which are already found in the electron microscope. Is an extension to the four-dimensional method of the TEM-STEM reciprocity theorem that holds true.
  • STEM scanning transmission electron microscopy
  • TEM transmission electron microscopy
  • FIG. 3A in the scanning four-dimensional method to which convergent illumination light is applied, for example, three light beams are emitted from one light source point r s on the light source surface 111. Then, each light beam is converged to one point on the object surface 113 by the lens 101 and the lens 102, and after being scattered by the observation object, the light beam is diffracted by the lens 103 and spreads on the two-dimensional coordinates of the detection surface 114. It is observed as light.
  • the solid line shown in FIG. 3A indicates that the light beam is locally deflected by the object to be observed, and the dashed line indicates that the light ray goes straight when there is no object to be observed. That is, FIG. 3A clearly shows how the diffracted light pattern moves on the detection surface 114 as the convergent light is deflected by the observation object. The amount of movement corresponds to the amount of differential phase.
  • FIG. 3B is a diagram of the light retrogression ray diagram of FIG. 3A, and is a diagram of a configuration in which parallel illumination light having inclination with respect to the optical axis is irradiated onto the observation target from many points of the light source surface.
  • FIG. 3B is an image view obtained by replacing the light source surface and the detection surface of FIG. 3A and then reversing the right and left, and a light beam focused on one image point on the detection surface 24 is on the light source surface 21. It shows how it is emitted from three different point light sources.
  • the ray diagram in this case differs depending on the presence or absence of the observation target on the object plane 22, and is shown by a solid line and a broken line in FIG. 3B, respectively.
  • This corresponds to the movement of the diffracted light pattern on the detection surface 114 in convergent light irradiation, and the area of the light source surface consisting of a large number of point light sources converging on one point on the detection surface 24 in parallel light irradiation Representing the movement of the object, and if this movement can be quantified, the differential phase amount can be obtained at each point on the observation object.
  • the differential phase amount is the square of the detection surface light field
  • FIG. 4 is a ray diagram of the imaging process in the four-dimensional microscope observation method of the first embodiment of the present invention
  • FIG. 3B is rewritten according to the method of the ray diagram shown in FIG.
  • a point light source is placed on the optical axis, but in the parallel light irradiation four-dimensional method, light emitted from a point distant from the optical axis is two-dimensional as in the convergent light irradiation four-dimensional method. Scan.
  • the light source point is two-dimensionally scanned, and in each case, the observation image is accumulated in, for example, a data storage unit provided in the microscope apparatus.
  • the data is developed on four-dimensional coordinates, which is a combination of two-dimensional coordinates of the light source plane and two-dimensional coordinates of the real image detection plane.
  • the four-dimensional image obtained by the critical illumination is obtained by using the probe function p (r) of the irradiation light represented by the following equation 3 and the object transmission function t (r) represented by the following equation 4 It is expressed by Equation 5.
  • the probe function p (r) and the object transmission function t (r) are both complex numbers.
  • Equations 9 and 10 the numerator represents a first moment, and the denominator represents an area component corresponding to the signal intensity.
  • the division corresponds to the center of gravity, and such an operation is called center of gravity integration.
  • the above equation 9 for the sd centroid includes both the derivative ⁇ 't (r) of the phase component of the transmission coefficient and the derivative ⁇ 'p (r) of the phase component of the probe function. This is the same as the first equation derived by Waddell et al. In the world, although the differential code etc. is slightly different (see Non-Patent Document 1). On the other hand, the expression of the s s center of gravity shown in Equation 10 is found by the present inventor, and this application is the world's first appearance. Then, comparing Eq. 9 and Eq.
  • the differential phase of the object to be observed can be obtained by performing the s gravity center calculation shown in Formula 9 and Formula 10 for both the four-dimensional microscope data by critical illumination and the four-dimensional microscope data by Koehler illumination.
  • the line integration operation shown in the following equation 15 may be performed according to a fixed method for obtaining the potential from the gradient.
  • FIG. 5 is a block diagram showing a configuration example of the transmission type microscope apparatus of the present embodiment.
  • the microscope observation method described above includes, for example, as shown in FIG. 5, an optical system 2, an imaging unit 3 for detecting a two-dimensional image formed, a control unit 4 for controlling light source scanning and the like, and four-dimensional image data Can be implemented by the transmission type microscope apparatus 1 including the data processing unit 5 that performs storage, storage, and calculation processing of
  • the optical system 2 is provided with an imaging system using a light source and a plurality of lenses for realizing the optical system shown in FIGS. 1 to 4, for example.
  • the convergent-light four-dimensional method detects a diffraction circle on the detection surface in a confocal microscope device and combines the two-dimensional data with a two-dimensional scan on the object four-dimensional It can be realized by converting it into data.
  • the four-dimensional microscopic observation method by parallel light irradiation of the present embodiment a real image is detected on the detection surface in a normal transmission type microscope device, and two dimensional data is combined with point light source two dimensional scanning on the light source surface It can be realized by
  • the microscope observation method of the present embodiment is a four-dimensional parallel light illumination method, and a real image is the primary observation target, so the intensity image and the differential phase image of the observation object are high. It can be acquired easily with high accuracy and high sensitivity. Moreover, since the transmission type microscope apparatus of the present embodiment can be usually realized by modifying the transmission type microscope apparatus, microscope operation is easy.
  • the four-dimensional microscope observation method by parallel light irradiation of the first embodiment described above requires an extremely large data capacity and long-term observation for four-dimensional data acquisition, as in the four-dimensional method by convergent light irradiation.
  • a dimension reduction technique is required to reduce the dimension of the observation method. Therefore, in the four-dimensional microscope observation method of the present embodiment, the following three types of dimensionality reduction techniques are applied.
  • a light field camera developed at Stanford University several years ago (Ren Ng, Marc Levoy, Mathieu Bredif, Gene Duval, Mark Horowitz, Pat Hanrahan, “Light Field Photography with a There are methods using “Hand-held Plenoptic Camera”, Stanford Tech Report CTSR 2005-02, p. 1-11).
  • a microlens array is disposed on an image forming plane, and a minute detector array is disposed behind the microlens array, and the diffracted light of each microlens is detected by a corresponding minute detector. This allows the light field camera to map different viewing directions to different points on the micro detector.
  • this line-of-sight direction decomposition is used for readjustment of focusing to realize three-dimensional imaging called refocusing, but the line-of-sight direction decomposition corresponds to source light direction decomposition from the four-dimensional method.
  • the light field camera image contains parallel light illuminated four-dimensional information. For this reason, depending on the observation conditions, it is possible to calculate a differential phase image from the data of the entire detector composed of a minute detector.
  • FIG. 6A to 6C are diagrams showing an imaging process of the parallel light irradiation four-dimensional microscope observation method of the present embodiment using a light field camera.
  • FIG. 6A corresponds to the ray diagram of FIG. 4, and how the deflection of the ray by the observation object (object plane 22) causes a change on the diffraction plane 25 located behind the detection plane 24. Is illustrated.
  • the state of light in the case of no deflection is indicated by a broken line, and the state of light in the case where deflection occurs is indicated by a solid line. From FIG. 6A, it is possible to confirm the movement of the light spot on the diffractive surface 25 located behind the detection surface 24.
  • the amount of movement is proportional to the differential phase at the ray passing point of the observation object as described above.
  • a microlens array used in a light field camera may be disposed on the detection surface 24.
  • FIG. 6B shows a configuration in which parallel irradiation is performed using point light sources (hereinafter, referred to as “point light sources on the optical axis”) disposed on the microscope optical axis.
  • point light sources on the optical axis point light sources
  • the main lens 31 of the light field camera is disposed to replace the objective lens 13
  • the minute detector array 35 is disposed behind the microlens array 34.
  • an image is formed on the microlens array 34, and a diffraction image is formed on each minute detector of the minute detector array 35 corresponding to each microlens.
  • the light flux from the point light source is shown by a solid line when deflected by the observation target, and by a broken line when it is not deflected. It shows whether to be converged to different positions on the array 35.
  • the problem of the configuration shown in FIG. 6A that is, the overlapping of the light spots on the detection surface formed by light rays passing between adjacent points is resolved by the adjacent point separation observation by the microlens.
  • the light source surface 21 and the diffractive surface on which the minute detector array 35 is placed are conjugate, and the point light source converges on one point of the minute detector. The amount of movement of this convergence point gives the differential phase.
  • the coordinates of the microlens correspond to real image coordinates and the coordinates on the minute detector correspond to frequency coordinates, four-dimensional data conversion is easy.
  • FIG. 6C corresponds to FIG. 3B, and shows a configuration in which a light field camera is disposed in place of an objective lens, and diffracted light is projected onto a minute detector.
  • the original light field microscope that realizes refocusing is this method using a surface light source.
  • the diffraction image on the micro detector forms a diffracted light circle by surface light emission, the light from different light sources in the surface light emission receives the same light polarization when passing through a specific observation object point, so Movement occurs.
  • the differential phase can be extracted as in the case of the light spot movement shown in FIG. 6B.
  • the movement amount of both the light spot movement of FIG. 6B and the diffracted light circle movement of FIG. 6C can be obtained by calculating the barycentric coordinates of the diffracted image on the minute detector. The quantity is determined. From the above, it can be seen that, by using the light field camera, it is possible to obtain differential phase amounts simultaneously and completely without taking care of the size of the light source in one imaging of four-dimensional data.
  • a light field camera four-dimensional microscopy using an on-axis point light source shown in FIG. 6B (hereinafter referred to as “differential phase light field microscopy”) is also a differential phase light field using a surface light source shown in FIG. 6C.
  • Microscopy also gives the same differential phase image for transparent objects with no absorption component.
  • a real image formed on the microlens array 34 becomes a projection image, so that the intensity variation derived from the absorption component depending on the projection direction occurs, and the intensity unevenness is a diffracted light circle Gives an additional center of gravity shift to the center of gravity calculation of.
  • point light source in which the projection direction of the observation object becomes one as shown in FIG. 6B.
  • point light source illumination is used to narrow the surface light source to a point light source, it becomes an on-axis point light source differential phase light field microscopy shown in FIG. 6B automatically.
  • the light source area of the surface light source can be freely changed from the minimum (corresponding to the point light source) to the maximum (corresponding to the wide surface light source) by adjusting the aperture stop.
  • Robert Prevedel et al. For light field microscopes, Robert Prevedel et al., uses a microlens with a side of 150 ⁇ m, a 40 ⁇ main lens, a resolution in the plane direction of 3.75 ⁇ m, and a resolution of 15 ⁇ 15 pixels. About 7 ⁇ m has been realized (see Robert Prevedel et al., “Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy”, Nature Methods, Vol. 11, 2014, p. 727-730).
  • the resolution in the plane direction can be increased by 2.5 times by using a 100 ⁇ main lens, but this reduces the field of view by a factor of 2.5.
  • the differential phase light field microscope since the depth information of the original light field microscope corresponds to the differential phase information, the field of view, the image resolution, and the differential phase resolution are in a trade-off relationship.
  • An apparatus for realizing the above-mentioned four-dimensional microscope observation method that is, the transmission microscope apparatus of the present embodiment eliminates the scanning control system from the control unit 4 shown in FIG. 5 and installs a light source control system capable of controlling the light source area.
  • an imaging unit including an optical system of a transmission microscope and a light field camera, and a data processing unit that performs storage processing and calculation processing of four-dimensional image data can be provided. The following processing is performed on the two-dimensional data output from the light field camera in the data processing unit.
  • Step 1 4 dimensional data conversion>
  • the position of the micro lens is made to correspond to the actual coordinate r d
  • the position of the pixel of the minute detector behind each micro lens is made to correspond to the frequency coordinate s s to construct real image type four dimensional data UK (s s , r d ) .
  • Step 2 Integration operation>
  • the real image type four-dimensional data obtained in step 1 is subjected to area integration with respect to s s coordinates to obtain an intensity image.
  • the real image type four-dimensional data obtained in step 1 perform the centroid integration to s s coordinates, i.e. s s coordinates to calculate the first-order moment by dividing it by the intensity image to obtain a differential phase image .
  • the microscope observation method and transmission microscope apparatus of the present embodiment can significantly reduce the amount of data because it observes a real image appearing on a microarray as a primary observation target.
  • the microscope operation is facilitated, and in addition, high-speed computation of area and gravity center integral is performed simultaneously in parallel, so that an intensity image and a differential phase image of an observation object can be acquired in real time.
  • the remaining configuration and effects of the present embodiment are similar to those of the aforementioned first embodiment.
  • the original function of the light field camera is to be able to obtain depth information and focus (refocus) after imaging.
  • the function of focusing after shooting is also possible by performing multi-focus setting shooting, that is, taking a plurality of photographs with different focus and storing the image data as three-dimensional data in an external storage device. . Since the data in this case is a plurality of photographs in which different depths of the observation object are in focus, three-dimensional data is configured.
  • the 4D data of the light field camera and the multi-focus 3D data have the same contents. Therefore, it is possible to mathematically convert the four-dimensional data acquired by the light field camera and the multi-focus three-dimensional data by any method. Although both are equivalent mathematically, each photo with different focus is imaged by a normal two-dimensional digital light receiver without using a micro lens, so technically multi-focus three-dimensional data It is excellent in that the amount of data is not limited.
  • a plurality of imaging units having a surface light source and a motorized control focusing mechanism are added to a known transmission microscope having a collector lens system with an aperture stop, and a plurality of focal points are different.
  • Acquire multi-focus three-dimensional data consisting of two-dimensional images of The transmission type microscope apparatus according to the present embodiment acquires three-dimensional data instead of four-dimensional data, so that imaging time and image storage capacity required for data collection can be significantly reduced.
  • FIGS. 7A to 7D are schematic diagrams showing an example of realizing multi-focus in the real-image four-dimensional microscope observation method (hereinafter referred to as “differential phase multi-focus microscopy”) of the present embodiment, and FIG. Is drawing. 7A is a focus shift method for achieving multi-focus by shifting the focus of the objective lens, FIG.
  • FIG. 7B is a detection surface shift method for achieving multi-focus by shifting the detection surface
  • FIG. 7C is for the first lens and the object surface.
  • Fig. 7D is object to realize multi-focus by shifting only object plane while fixing interval between first lens and second lens It is a face shift method.
  • the position of the object to be observed can be freely changed, so that the focus shift may be realized on the object side.
  • defocusing can be realized by changing the distance between the object and the second lens 12 as shown in FIG. 7C.
  • the focus shift ⁇ z shown in FIG. 7D is changed in the positive and negative directions, and a plurality of images are taken to form a three-dimensional multi-focus image group.
  • the distance between the observation object (object surface 22) and the first lens 11 is fixed at the focal length, but as shown in FIG. 7D, all seven elements are fixed and the observation object (object surface It is also possible to move only 22) and change the focus shift ⁇ z in the positive and negative directions, and take a plurality of images to make a three-dimensional multi-focus image group.
  • the three-dimensional data obtained by the surface light source differential phase multi-focusing microscopy according to the present embodiment is converted into an intensity image or a differential phase image through four-dimensional data conversion, for example, in a data processing unit provided in a transmission microscope Be done.
  • the conversion processing in the data processing unit can be implemented, for example, by a program that executes the following steps.
  • Step 1 Fourier Transform> A multi-focus three-dimensional real image is three-dimensionally Fourier transformed to form a three-dimensional frequency image.
  • Step 2 Convert to 4 dimensional data> A large number of frequency space cross sections perpendicular to the stop direction from the surface light source are cut out from the three-dimensional frequency image, and two-dimensional inverse Fourier transform is performed to obtain a two-dimensional real image corresponding to oblique light illumination. Since the vertical cross section in the oblique illumination direction corresponds to the light source coordinates on a one-to-one basis, a set of two-dimensional inverse Fourier transform data constitutes real image type four-dimensional data U K (s s , r d ).
  • Step 3 The real image type four-dimensional data obtained in step 2 is subjected to area integration with respect to s s coordinates to obtain an intensity image.
  • the real image type four-dimensional data obtained in step 2 performs centroid integration to s s coordinates, i.e. s s coordinates a moment calculated on, by dividing it by the intensity image, a differential phase image obtain.
  • the minimum shift width of the focus shift and the shift area range return to the basic property of the frequently used Fourier transform, and is considered as follows. Since the minimum shift width of the real space corresponds to the frequency range in the frequency space, it defines the range of light source coordinates that is the frequency correspondence of differential phase multi-focus microscopy, that is, the maximum deflection visual range.
  • the shift range range of the real space corresponds to the frequency accuracy in the frequency space, so the observation accuracy of the light source coordinate which is the frequency correspondence of differential phase multi-focus microscopy, that is, the observation phase accuracy is determined. Therefore, on the contrary, the minimum shift width of the focus shift and the shift region range are determined from the range of the phase derivative desired to be obtained for each observation target and the requirement for the observation accuracy.
  • the apparatus for realizing the microscope observation method described above that is, the configuration of the transmission type microscope apparatus of the present embodiment performs the focus shift instead of scanning the light source instead of scanning the light source instead of the point light source of the optical system 2
  • the fifth embodiment is the same as the microscope 1 shown in FIG.
  • the optical system in the transmission microscope apparatus of the present embodiment can follow the optical system of a conventional transmission microscope, and a two-dimensional detector can be used in the imaging unit. Further, in the data processing unit, three-dimensional data is converted into four-dimensional data, and arithmetic processing is performed to calculate an area component and a barycentric integral to finally obtain an intensity image and a differential phase image.
  • the transmission microscope of this embodiment shown in FIGS. 7A to 7D is a differential phase multifocus microscope based on multifocus three-dimensional observation, and is a transmission microscope using parallel light irradiation.
  • the system can be simplified because scanning is not performed.
  • the microscope observation method and the transmission type microscope of the present embodiment since the first-order observation target is a real image, the microscope apparatus is simplified and the microscope operation becomes easy.
  • the microscope observation method and the transmission type microscope of this embodiment are three-dimensional data acquisition only by the depth direction operation based on the multi-focus mechanism, imaging is more efficient than four-dimensional data acquisition by two-dimensional point light source scanning. The speed is high and the amount of data is also compressed.
  • the microscope observation method and transmission microscope of the present embodiment the intensity image and the differential phase image of the object to be observed can be acquired quickly and easily while maintaining the accuracy.
  • the remaining configuration and effects of the present embodiment are similar to those of the aforementioned first or second embodiment.
  • FIG. 8A and 8B are diagrams showing an imaging process in the four-dimensional microscope observation method of the present embodiment, FIG. 8A is a configuration example when applied to an optical microscope, and FIG. 8B is a configuration when applied to an electron microscope It is an example.
  • FIG. 8A In the case of the optical microscope, as shown in FIG. 8A, three lenses 11 to 13 are disposed between the four optical surfaces of the light source surface 21, the object surface 22, the diaphragm surface 23 and the detection surface 24, respectively. Then, light emitted from an arbitrary point of the light source surface 21 passes through the first lens 11 and strikes the observation target as oblique parallel light. The light is divided into a component scattered by an object (indicated by a solid line) and a component not scattered (indicated by a broken line).
  • the component which is not scattered appears on the detection surface 24 as so-called background light, and is condensed at a conjugate point of the diaphragm surface 23 which is conjugate to the light source surface.
  • the beam stopper 40 which shields all components in this light source conjugate point is arrange
  • the light deflected by the substance (observation object) passes through a position deviated from the light source conjugate point of the diaphragm surface 23 and therefore is not blocked by the beam stopper 40.
  • the dark field image in this case is a component of the scattering component that bypasses the beam stopper 40 particularly due to deflection, and the actual coordinates of this dark field image are recorded in a tagged form at the light source coordinates at the light source surface 21.
  • the above-described microscope observation method can be implemented, for example, by a transmission microscope apparatus having a configuration shown in FIG.
  • a transmission microscope apparatus having a configuration shown in FIG.
  • a point light source array is provided in the optical system 2
  • a control control system 4 is provided with a point light source scanning control system of the point light source array and a stopper scanning control system conjugated to light source scanning.
  • the optical system 2 is provided with a deflection coil for converting parallel light from a point light source on the optical axis into oblique light illumination and scanning in the oblique light direction
  • the control unit 4 is a point light source on the optical axis as oblique light scanning
  • a deflection coil control system and a stopper scan control system conjugated to oblique light scanning are provided.
  • the data processing unit 5 performs arithmetic processing to calculate the area component and the barycentric integral to finally obtain a differential phase image.
  • the background light is removed by disposing the beam stopper at the focusing position of the back focal plane of the objective lens of the parallel light emitted from the point light source. It can be observed.
  • the remaining structure of the present embodiment is similar to that of the aforementioned first embodiment.
  • FIG. 9 is a view showing an H-shaped slit used in the four-dimensional microscopic observation method of the present modification.
  • the electron dose (limit dose / the number of observations performed) for each time is, for example, one half of 4096 of the two-dimensional observation, which is extremely small. In that case, since the image observation becomes almost impossible, the operability of the microscope is deteriorated.
  • the resolution of the frequency space may be reduced to, for example, a 16 ⁇ 16 frequency mesh, and the number of observations may be 256 for data acquisition. It will drop to a fraction. Therefore, a method is required to increase the electron beam irradiation amount at the time of each observation without lowering the observation resolution.
  • the dark field image is observed by combining the dimensional reduction method with the fourth embodiment which is a dark field four-dimensional observation method.
  • an optical element having an H-shaped slit 41 as shown in FIG. 9 is disposed on the stop surface 23 of the optical system shown in FIG. It adjusts so that it may be located in the bridge
  • the H-shaped slit 41 is a slit having a shape in which a slit formed of two linear plates parallel to each other is connected by a bridge portion 41a serving as a stopper, and is an optical element made of a conductive material ( ) Is formed.
  • a strong background electron beam conjugate to the light source moves along the bridge portion 41a as the light source scans, but when electrons strike the conductive material portion of the bridge portion 41a, the electron passes through the outer periphery of the optical element to the ground. Since it flows, charging is prevented. Also, the conjugate scanning of the beam stopper described above is not necessary.
  • the center of gravity is calculated using one-dimensional data obtained by light source scanning or oblique light scanning at each point on the real image.
  • the barycentric position is a differential phase of a substance (observation object) corresponding to the electron beam scanning direction, and a two-dimensional image plotted at each point becomes a scanning direction corresponding differential phase image.
  • the configuration is the same as that described above except that the diaphragm of the optical system 2 in the microscope observation method of this modification is changed to the H-shaped slit 41, and the calculation for obtaining the differential phase is changed to one dimension from two-dimensional gravity center integration.
  • the fourth embodiment is the same as the fourth embodiment. If the same observation is performed using a simple slit excluding the bridge portion 41a in the H-shaped slit, a bright field image can be obtained instead of the dark field image.
  • FIG. 10 is a view showing an imaging process in the four-dimensional microscope observation method of the present embodiment.
  • the microscope observation method of the present embodiment is a combination of the second embodiment and the fourth embodiment, and in the four-dimensional microscope observation method in which the micro lens array 34 makes the operation unnecessary.
  • a point light source is disposed on the optical axis and a beam stopper 40 is disposed on the optical axis of the back focal plane of the objective lens.
  • the stopper 40 may be always positioned (fixed) on the optical axis, and scanning is not necessary. Also in the microscope apparatus of the present embodiment, the light deflected by the substance (observation object) avoids the stopper 40 and reaches the detection surface 24 as in the fourth embodiment described above.
  • FIG. 11 is a contour plot of a diffraction image on a minute detector array of a kidney tissue section taken under illumination on an optical axis using a light field microscope equipped with a microlens array.
  • a strong diffraction image (large peak) from the background light spread in the center of FIG. 11 and a movement from scattered light by an object (observation object)
  • An overlap of diffraction images (small peaks) is visible.
  • the microscope observation method of the present embodiment includes, for example, a control system involved in scanning the light source and the stopper, and a control system capable of controlling the light source area including the point light source, and arranging the stopper 40 on the optical axis of the diaphragm surface 23
  • the imaging unit 3 can be implemented using a light field camera and a transmission microscope that performs storage processing and calculation processing of four-dimensional image data in the data processing unit 5.
  • two-dimensional data output from the light field camera is converted into four-dimensional data in the data processing unit 5, and a differential phase image is obtained by the same arithmetic processing as in the fourth embodiment.
  • the conjugate point of the light source deviated from the optical axis deviates from the optical axis even in the stop aperture, and when deflection by an object (observation object) is further added to this deviation, the stop strikes and the light is blocked Therefore, the light source conjugate point is fixed on the optical axis and the stopper is also fixed by fixing the light source to the optical axis and scanning the aperture two-dimensionally.
  • the microscope observation method of the present embodiment a high sensitivity dark field image can be obtained only by performing a two-dimensional scan once on the diaphragm surface.
  • FIG. 12 is a view showing an imaging process in the four-dimensional microscope observation method of the present embodiment.
  • two mechanical systems of the light source scanning and the stopper scanning coupled to the light source scanning are indispensable, but in order to add these mechanisms to the microscope , A major design change is required.
  • the scanning of the light source can be substituted for the scanning of the diaphragm, since the essence of the above-described deflection-based four-dimensional differential phase method is shielding by the diaphragm accompanying the deflection. Therefore, as shown in FIG. 12, in the microscope observation method of the present embodiment, the diaphragm is scanned two-dimensionally, and a two-dimensional real image is recorded at each point of the scan. Specifically, in the microscope observation method of the present embodiment, the scanning point coordinates of the diaphragm are point symmetric with the light source coordinates shown in FIG. Coordinates and real image two-dimensional coordinates constitute four-dimensional data.
  • the beam stopper 40 is fixed on the optical axis of the diaphragm surface 23 which is an optical axis light source conjugate, as in the third embodiment described above.
  • FIG. 12 shows an example of the diaphragm scanning method corresponding to the light source scanning method shown in FIG. 8A, the present invention is not limited to this and corresponds to the oblique light scanning method shown in FIG. 8B. A diaphragm scan method may be used, and even in that case, the same effect can be obtained.
  • the configuration of the transmission type microscope apparatus used in the microscope observation method of the present embodiment is the same as the configuration described above except that the conjugate two-dimensional scan control of the light source or oblique light and the stopper 40 in the control unit 4 is changed to two-dimensional scan control of the aperture. It is similar to that described in the fourth embodiment. Further, the calculation method for obtaining the differential phase in the microscope observation method of the present embodiment is also the same as that of the fourth embodiment described above.
  • FIG. 13 is a view showing an H-shaped slit used in the four-dimensional microscopic observation method of the present modification.
  • the microscope observation method of this modification is a combination of the microscope observation method of the sixth embodiment described above and the dimensionality reduction method, and an H-shaped slit 41 shown in FIG. Of the H-shaped slit 41 are positioned so as to be located at the cross-linked portion 41 a, and stop scanning is performed in one dimension in a direction parallel to the cross-linked portion 41 a.
  • the centroid calculation is performed on the obtained three-dimensional data using one-dimensional data obtained by light source scanning or oblique light scanning at each point on the real image.
  • differential phases in orthogonal dimensional directions for example, if the observation object is rotated 90 degrees left or right and similar one-dimensional scanning observation is performed, differential phase three-dimensional data in orthogonal directions can be obtained.
  • a phase image can be obtained from integral calculation combining frequency centroid calculation and the result.
  • the barycentric position is the differential phase of the material corresponding to the diaphragm scanning direction, and the two-dimensional image plotted at each point becomes the diaphragm scanning direction corresponding differential phase image.
  • the configuration of the apparatus used for the microscope observation method of the present embodiment is the same as that of the sixth embodiment described above except that the stop of the optical system 2 is changed to an H-shaped slit. Further, the calculation for obtaining the differential phase is the same as that of the fourth embodiment described above except that the two-dimensional barycentric integral is changed to one dimension.
  • the four-dimensional transmission microscopy of each of the above-described embodiments and the modifications thereof is applicable not only to a microscope using visible light or an electron beam, but also to any type of transmission microscope using a lens.
  • Applicable microscopes include an X-ray microscope, an ultraviolet microscope, an infrared microscope, a neutron microscope, an ultrasonic microscope and the like.
  • the microscope observation method of the present invention does not use a phase plate, it has the following advantages over current phase contrast microscopy using a phase plate based on the interference of waves.
  • the optical configuration is simple, and it is free from the problem of the life caused by the deterioration of the phase plate and the error problem generated by the phase plate itself. Furthermore, in comparison with general interference, since the interferometry is observation of the sum of signal light and strong reference light, the image necessarily includes background light much stronger than the signal, and the phase difference image is the difference of the background signal Is detected as The present invention quantifies the deflection of these materials as they pass through, whether light or electrons, so there is no unnecessary background light as seen in interferometry as the image is composed solely of signal light. Therefore, the signal sensitivity (S / N ratio) is improved in each stage as compared to the phase difference method using interference.
  • Optical microscopes such as visible, ultraviolet, infrared, etc .:
  • errors such as halo occur at boundaries where phase change is large.
  • Various methods have been proposed to remove this, but none is complete.
  • Both differential phase light field microscopy and differential phase multi-focus microscopy of the present invention are halo free.
  • the phase difference method and the differential interference method are used, but the phase method corresponding to both can be obtained in one experiment using the present invention. Be
  • a differential interference image corresponding to differentiation in all directions can be obtained in one experiment.
  • the phase contrast image has a low S / N ratio.
  • the present invention is free from all these drawbacks, especially since elastic scattered electrons, x-rays, neutrons, inelastic scattered electrons, x-rays and neutrons are all used for imaging, so the signal-to-noise ratio of thick samples is remarkable. improves.
  • FIG. 14 is a flowchart showing the data processing method used in the embodiment of the present invention. The same data processing flow chart is applied to the three-dimensional data with reduced dimensions.
  • the entire diffraction image of the intermediate image formed on the microlens array is placed on a CMOS image sensor of digital camera ORCA-Flash 4.0 V3 (number of pixels 2048 ⁇ 2048) manufactured by Hamamatsu Photonics Co., Ltd. using an InSight relay lens. Transfer to and detected.
  • the micro lens can be taken in and out of the intermediate image plane, and when it is pulled out, the original function of the upright microscope is restored.
  • a microlens was inserted in a state of bright field mode of an upright microscope to construct a light field microscope, and observation was performed using a 40 ⁇ objective lens (Olympus UPlanSApo X40 NA 0.95). This 40 ⁇ objective lens was also used in bright field imaging and differential interference image acquisition. Although the resolution of these images was 2048 ⁇ 2048, the image was roughly made 128 ⁇ 128 pixels for comparison with the low resolution light field microscopic image.
  • the minute detector in the present invention is composed of 10 ⁇ 10 pixels on the CMOS, and the total number thereof is 128 ⁇ 128 the same as the configuration of the microlens array.
  • the depth resolution was 6 ⁇ m.
  • the basic configuration of this optical system was almost the same as the light field microscope reported by Robert Prevedel et al.
  • a sample (FluoCells F24630 manufactured by ThermoFisher Scientific Co., Ltd.) in which a section of mouse kidney is fluorescently stained in three colors was used. The thickness of the section was 16 ⁇ m.
  • the bright field image and the differential phase image were observed (low resolution function) on this sample using the data processing method shown in FIG.
  • observation (high resolution) of a bright field image and a differential interference image which is an original function of an upright microscope, and four-dimensional observation with a light field microscope were performed.
  • FIGS. 15A and 16A correct the sensitivity of each pixel using the image in the blank state without a sample in order to correct the variation in the light receiving intensity of many CMOS pixels. Image after calibration.
  • Fig. 15A is a point light source differential phase light field microscopic image of a kidney tissue section of a mouse
  • Fig. 15B is a surface light source differential phase light field microscopic image
  • Fig. 15C is a normal A coarse-grained image of a differential interference microscope
  • FIG. 15D is a high pixel number original image of a differential interference microscope.
  • the point source differential phase light field microscope image shown in FIG. 15A and the coarse-grained image of the ordinary differential interference microscope shown in FIG. 15C are very similar, demonstrating the feasibility and effect of the observation method of the present invention.
  • the image is blurred and the resolution is lowered compared to the point light source differential phase light field microscope image shown in FIG. 15A. This is considered to be because the oblique light component crosses the adjacent pixel and enters as shown in FIG. 6C. This result indicates that the point light source is excellent as illumination for differential phase light field microscopy.
  • the high pixel count original image of the normal differential interference microscope shown in FIG. 15D is provided as a reference to show the effect of reducing the pixel count.
  • FIG. 16A is a point light source bright field light field microscopic image of a mouse kidney tissue section
  • FIG. 16B is its normal bright field It is a coarse-grained image of the law.
  • the point light source bright field light field microscope image shown in FIG. 16A is a bright field image corresponding to the point light source thus obtained. Comparing this with the coarse-grained normal bright-field image shown in FIG. 16B, it may be seen in the images in FIGS. 15A-D in both images in FIGS. Such concurrency was not seen.
  • FIG. 17A is a surface light source bright field light field microscopic image of a kidney tissue section of a mouse
  • FIG. 17B is its normal light field microscopic image. Both of these experiments are observations in light field microscopy mode, but the processing of the data obtained is different.
  • FIG. 17A is an image of the integrated value of the intensity of each micro-photodetector detection area to which the method of the present invention is applied
  • FIG. 17B is an omnifocal image of an original planar light source utilizing light field microscope, ie different depths. Ten in-focus images are reproduced, and all the images are summed. Although both are expected to give the same result in the sense of equally using the data of the entire detection range in each micro light receiver, the similarity between both images is high.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

収束光を利用した従来の手法の問題点を解決し、観察対象物の高精度かつ高感度な強度像及び微分位相像を簡便に取得することができる顕微鏡観察方法及び透過型顕微鏡装置を提供する。 例えば、開口絞りを最小にしたケーラー照明法により光源からの光を観察対象物に平行照射する工程、観察対象物を透過した光をマイクロレンズアレイに結像投影する工程、マイクロ光検出器アレイ上に形成された回折光場の強度分布を検出する工程と、マイクロ光検出器アレイ上の複数の回折画像からマイクロレンズアレイ座標を２次元実空間座標、マイクロ光検出器アレイ上各検出座標を２次元周波数空間座標とする４次元データを生成する工程、該４次元データを、２次元周波数空間座標における面積積分及び／又は重心積分を計算して、観察対象物の２次元強度像及び／又は２次元微分位相像を取得する工程を行う。

Description

顕微鏡観察方法及び透過型顕微鏡装置
　本発明は、物質を通過する際の光や電子の偏向を利用して観察対象物の強度像及び微分位相像を取得する顕微鏡観察方法及び透過型顕微鏡装置に関する。
　従来、顕微鏡による位相情報の取得には、主に干渉効果を利用した方法が用いられてきた。例えば、光学顕微鏡では、シュリーレン法、ゼルニケ位相差顕微鏡法及びノマルスキー微分干渉顕微鏡法などが知られている。また、電子顕微鏡では、焦点はずしを用いるデフォーカス法や位相板を用いる位相差電子顕微鏡などが知られている。
　これらの手法はいずれも、位相の異なる２つの波の位相差を、波の干渉に伴う強度変調に変換し、強度像から位相差を類推するものであり、信号波の他に位相基準を与える参照用の波、参照波を用意する必要がある。参照波として、信号波の一部を利用する簡便法については、「弱位相物体近似」を成立させるために観測可能な位相の大きさが制限され、その限界を克服できるホログラフィー法などでは、信号波とは別に独立した参照波が必要となるため、装置の工夫や複雑化が避けられない。
　また、近年、干渉効果を用いず、物質による光の偏向を利用して観察対象物の微分位相を求める手法が提案されている（非特許文献１～８参照）。非特許文献１～８に記載の手法では、光、電子又はＸ線の収束ビーム（以下、これらをまとめて「収束光」という。）を、走査しながら観察対象物に照射し、その照射位置で生じる屈折率変化に起因する光の偏向を検出して画像化している。
　屈折率変化は、位相変化、即ち微分位相の大きさに対応するため、特許文献１～８に記載の技術では、収束光の偏向度合いを定量的に取り出すことで、観察対象物の微分位相走査像を観察している。
E. M. Waddell and J. N. Chapman、"Linear imaging of strong phase objects using asymmetrical detection in STEM"、Optik、第54巻、1979年、p.83-96 G. R. Morrison and J. N. Chapman、"A comparison of three differential phase contrast systems suitable for use in STEM"、Optik、第64巻、1983年、p.1-12 J. Palmer and G. Morrison、"Differential phase contrast imaging in the scanning transmission x-ray microscope"、Proc. Short-Wavelength Coherent Radiation、第11巻、1991年、、p.141-145 A. Gianoncelli, G. R. Morrison, B. Kaulich, D. Bacescu and J.Kovac、"Scanning transmission x-ray microscopy with a configurable detector"、Appl. Phys. Lett.、第89巻、2006年、p.251117-1～3 B. Hornberger, M. Feser, C. Jacobsen、"Quantitative amplitude and phase contrast imaging in a scanning transmission X-ray microscope"、Ultramicroscopy、第107巻、2007年、p.644-655 P. Thibault, M. Dierolf, A. Menzel, O. Bunk, C. David, and F. Pfeiffer、"High-Resolution Scanning X-ray Diffraction Microscopy"、Science、第321巻、2008年、p.379-382 A. Lubk and J. Zweck、"Differential phase contrast: An integral perspective"、Phys. Rev.、第A91巻、2015年、p.23805-1～6 I. Lazic, E. G. T. Bosch and S. Lazar、"Phase contrast STEM for thin samples: Integrated differential phase contrast"、Ultramicroscopy、第160巻、2016年、p.265-280
　しかしながら、収束光を用いた従来の走査型微分位相法には、以下に示す問題点がある。第１の問題点は、従来法は、検出面で観測される像が回折像で、観察時には観察対象物の画像を直接観察できないため、各種光学調整を行うための操作が必要な場合に速やかに対応することができないことである。
　第２の問題点は、観測データが膨大になることである。走査型微分位相法により取得される画像は、光源（source）面における２次元走査座標ｒｓと、検出（detection）面における２次元観測座標ｓｄの組み合わせ、即ち４次元座標（ｒｓ,ｓｄ）により記述される。ここで、ｒは実空間座標を、ｓは周波数空間（波数空間）座標を、下付きのｓは光源面を、下付きのｄは検出面を表す。光源面２次元走査座標の精度は画像の解像度に関係し、検出面２次元観測座標の精度は微分位相の観測精度に関係する。両者の精度を上げようとすると、それぞれのデータ解像度、即ちデジタル精度を上げる必要がある。例えば、それぞれ１メガバイトのデジタル精度であれば、４次元データは１テラバイトという膨大な記録量が要求されることとなる。
　第３の問題点は、記録量の膨大化に伴う観測時間の長大化である。従来の走査型微分位相法では、走査により得られる画像の１点ｒｓに対して２次元回折像を観測するため、例えば４次元データを記憶するには、画像を構成する点毎に２次元データを転送しなければならない。高速コンピュータよる高速転送を用い、例えば画像１点につき１メガバイトの２次元回折像を１ミリ秒で転送したとしても、１メガバイトの画像点を観測するには１０００秒を要する。
　収束光の走査と偏向により観察対象物の微分位相像を観察する手法の原理そのものは、４０年以上前に提案されていたが、前述した問題点から一般の顕微鏡法では普及せず、レンズ作製の困難さのため回折法に依拠せざるを得ないＸ線回折法（非特許文献３～６参照）や、走査型が標準の電子顕微鏡法（非特許文献２，８参照）などにしか応用されてこなかった。
　そこで、本発明は、前述した収束光を利用した従来の手法の問題点を解決し、観察対象物の高精度かつ高感度な強度像及び微分位相像を簡便に取得することができる顕微鏡観察方法及び透過型顕微鏡装置を提供することを目的とする。
　本発明に係る顕微鏡観察方法は、開口絞りを最小にしたケーラー照明法により光源から出射された光を観察対象物に平行照射する工程と、前記観察対象物を透過した光を集光して像面上に配置されたマイクロレンズアレイに結像投影する工程と、前記マイクロレンズアレイ後方検出面に配置されたマイクロ光検出器アレイ上に形成された回折光場の強度分布を検出する工程と、前記マイクロ光検出器アレイ上の複数の回折画像から、マイクロレンズアレイ座標を２次元実空間座標、マイクロ光検出器アレイ上各検出座標を２次元周波数空間座標とする４次元データを生成する工程と、該４次元データを、前記２次元周波数空間座標における面積積分及び／又は重心積分を計算して、前記観察対象物の２次元強度像及び／又は２次元微分位相像を取得する工程とを行う。
　本発明に係る他の顕微鏡観察方法は、面光源を用いるケーラー照明法により前記面光源を構成する各点光源から同時出射された光を観察対象物に平行照射する工程と、前記観察対象物を透過した光を集光して検出面に実像を結像させる工程と、前記検出面に形成される光場の強度分布から実像を取得して互いにピントが異なる複数の実画像を撮像する工程と、前記複数の実画像から三次元データを生成する工程と、該３次元データを３次元フーリエ変換した後、投影－断面定理を用いて光源面２次元座標と検出面２次元座標からなる４次元データを生成し、前記光源面２次元座標における面積積分及び／又は重心積分を計算して、前記観察対象物の２次元強度像及び／又は２次元微分位相像を取得する工程と、
を行う。
　本発明に係る他の顕微鏡観察方法は、暗視野法であり、点光源から出射された光を観察対象物に斜め方向から平行照射する照明工程と、前記観察対象物で偏向され、前記点光源と共役な位置に配置された絞りを通過した散乱光を集光して検出面に実像を結像させる結像工程と、前記点光源を２次元走査しながら前記照明工程と前記結像工程を行い、光源面２次元座標と検出面２次元座標からなる４次元データを生成する工程と、前記４次元データを、前記光源面２次元座標における重心積分を計算して、前記観察対象物の２次元微分位相像を取得する工程とを有し、前記絞りに形成される共役点にビームストッパーを配置し、非散乱成分を遮蔽する。
　本発明に係る他の顕微鏡観察方法は、暗視野法であり、点光源から出射された光を観察対象物に斜め方向から平行照射する照明工程と、前記観察対象物で偏向され、前記点光源と共役な位置に配置された絞りを通過した散乱光を集光して検出面に実像を結像させる結像工程と、前記絞りを２次元走査しながら前記照明工程と前記結像工程を行い、走査２次元座標と検出面２次元座標からなる４次元データを生成する工程と、前記４次元データを、前記走査２次元座標と点対称の光源面２次元座標における重心積分を計算して、前記観察対象物の２次元微分位相像を取得する工程とを有し、前記絞りに形成される共役点にビームストッパーを配置し、非散乱成分を遮蔽する。
　本発明に係る他の顕微鏡観察方法は、暗視野法であり、点光源から出射された光を観察対象物に斜め方向から平行照射する照明工程と、前記観察対象物で偏向され、前記点光源と共役な位置に配置されたＨ状スリットを通過した散乱光を集光して検出面に実像を結像させる結像工程と、前記Ｈ状スリットの架橋部に光源像が位置するように調整し、該架橋部において前記点光源からの光又は前記Ｈ状スリットの走査を１次元で行い、３次元データ生成する工程と、前記３次元データを、検出面２次元座標の各点における１次元データの重心積分を計算して、前記観察対象物の２次元微分位相像を取得する工程とを有し、前記Ｈ状スリットに形成される共役点にビームストッパーを配置し、非散乱成分を遮蔽する。
　本発明に係る他の顕微鏡観察方法は、暗視野法であり、点光源から出射された光を観察対象物に斜め方向から平行照射する照明工程と、前記観察対象物で偏向され、前記点光源と共役な位置に配置された絞りを通過した散乱光を集光して像面上に配置されたマイクロレンズアレイに結像投影する工程と、前記マイクロレンズアレイ後方検出面に配置されたマイクロ光検出器アレイ上に形成された回折光場の強度分布を検出する工程と、前記マイクロ光検出器アレイ上の複数の回折画像から、マイクロレンズアレイ座標を２次元実空間座標、マイクロ光検出器アレイ上各検出座標を２次元周波数空間座標とする４次元データを生成する工程と、前記４次元データを、前記２次元周波数空間座標における重心積分を計算して、前記観察対象物の２次元微分位相像を取得する工程とを有し、絞り面と光軸との交点にビームストッパーを配置して非散乱成分を遮蔽する。
　本発明に係る透過型顕微鏡装置は、開口絞りを最小にしたケーラー照明法により光源から出射された光を観察対象物に平行照射する照明光学系と、前記観察対象物を透過した光を集光して像面上に配置されたマイクロレンズアレイに結像投影する結像光学系と、前記マイクロレンズアレイ後方検出面に配置されたマイクロ光検出器アレイ上に形成された回折光場の強度分布を検出する撮像部と、前記マイクロ光検出器アレイ上の複数の回折画像から、マイクロレンズアレイ座標を２次元実空間座標、マイクロ光検出器アレイ上各検出座標を２次元周波数空間座標とする４次元データを生成する４次元データ生成部と、該４次元データの、前記２次元周波数空間座標における面積積分及び／又は重心積分を計算するデータ処理部とを有し、前記観察対象物の２次元強度像及び／又は２次元微分位相像を得るものである。
　本発明に係る他の透過型顕微鏡装置は、面光源を用いるケーラー照明法により前記面光源を構成する各点光源から同時出射された光を観察対象物に平行照射する照明光学系と、前記観察対象物を透過した光を集光して、検出面に実像を結像させる結像光学系と、前記検出面に形成される光場の強度分布から実像を取得し、互いにピントが異なる複数の実画像を撮像する撮像部と、前記複数の実像画像から三次元データを生成する三次元データ生成部と、該３次元データから前記観察対象物の２次元強度像及び／又は２次元微分位相像を生成するデータ処理部とを有し、前記データ処理部は、前記三次元データを３次元フーリエ変換した後、投影－断面定理を用いて光源面２次元座標と検出面２次元座標からなる４次元データを生成し、前記光源面２次元座標における面積積分及び／又は重心積分を計算して、前記観察対象物の２次元強度像及び／又は２次元微分位相像を得るものである。
　本発明の透過型顕微鏡装置は、前記照明光学系が、１枚又は１群のレンズ及び１枚又は１群の絞りにより構成されていてもよい。
　また、本発明の透過型顕微鏡装置は、前記結像光学系を、少なくとも２枚のレンズの間に絞り面が配置された構成とすることができる。
　本発明によれば、収束光に代えて平行光を照射し、検出面又は検出面よりも手前の任意の位置に実像を結像させているため、４次元という高次元の次元減縮を実現でき、実像観察を通じて観察対象物の高精度かつ高感度な強度像及び微分位相像を簡便に取得することが可能となる。
従来の臨界照明による収束光走査回折像観察４次元顕微鏡の結像過程の概略を示す図である。 ３レンズ・４光学面の光学系の構成例を示す概略図である。 Ａは図２に示す光学系に収束照明光を適用した従来型の走査型４次元法の結像図であり、Ｂは平行照明光を適用した本発明の平行光照射型４次元法の結像図である。 本発明の第１の実施形態の４次元顕微鏡観察方法における結像過程の光線図である。 本発明の第１の実施形態の透過型顕微鏡装置の構成例を示すブロック図である。 Ａ～Ｃはライトフィールドカメラを利用した本発明の第２の実施形態の４次元顕微鏡観察方法の結像過程を示す図である。 Ａ～Ｄは本発明の第３の実施形態の実像型４次元顕微鏡観察方法におけるマルチフォーカスを実現する方法の例を示す概略図であり、Ａは対物レンズの焦点をずらす焦点ずらし法、Ｂは検出面ずらし法、Ｃ及びＤは物面ずらし法である。 本発明の第４の実施形態の４次元顕微鏡観察方法における結像過程を示す図であり、Ａは光学顕微鏡に適用した場合の構成例であり、Ｂは電子顕微鏡に適用した場合の構成例である。 本発明の第４の実施形態の第１変形例の４次元顕微鏡観察方法で用いるＨ状スリットを示す図である。 本発明の第５の実施形態の４次元顕微鏡観察方法における結像過程を示す図である。 マイクロレンズアレイを装着したライトフィールド顕微鏡を用いて光軸上点光源ケーラー照明下で撮影した腎組織切片の微小検出器上の回折像の等高線プロットである。 本発明の第６の実施形態の４次元顕微鏡観察方法における結像過程を示す図である。 本発明の第６の実施形態の第１変形例の４次元顕微鏡観察方法で用いるＨ状スリットを示す図である。 本発明の実施例で用いたデータ処理方法を示すフローチャートである。 マウスの腎臓組織切片の顕微鏡像であり、Ａは点光源微分位相ライトフィールド顕微鏡像、Ｂは面光源微分位相ライトフィールド顕微鏡像、Ｃは通常微分干渉顕微鏡の粗視化像、Ｄは通常微分干渉顕微鏡の高画素数オリジナル像である。 マウスの腎臓組織切片の顕微鏡像であり、Ａは点光源明視野ライトフィールド顕微鏡像であり、Ｂは通常明視野法の粗視化像である。 マウスの腎臓組織切片の顕微鏡像であり、Ａは点光源明視野ライトフィールド顕微鏡像であり、Ｂは通常明視野法の粗視化像である。
　以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。また、説明は以下順に行う。
１．従来法における微分位相量の観測原理
２．第１の実施形態
：収束光照射の代わりに平行光照射と点光源の２次元走査を用いた微分位相像観察法
３．第２の実施形態
：点光源平行光照射とマイクロレンズの組み合わせによる走査不要の微分位相像観察法
４．第３の実施形態
：面光源平行光照射とピント位置を変えてフォーカスの異なる複数の像を撮影するマルチフォーカス操作の組み合わせによる走査次元を縮減した微分位相像観察法
５．第４の実施形態
：点光源から出射される平行光の対物レンズ後焦点面の集光位置にビームストッパーを配置して暗視野像を観察する微分位相像観察法
６．第４の実施形態の第１変形例
：光源走査又は斜光走査にＨ状スリットを用いることで走査の次元を１次元方向に限定して暗視野像を観察する微分位相像観察法
７．第５の実施形態
：第２の実施形態における点光源を光軸に配置すると共に対物レンズ後焦点面の光軸にストッパーを配置して暗視野像を観察する微分位相像観察法
８．第６の実施形態
：第４の実施形態における光源－ストッパー共役走査又は斜光－ストッパー共役走査に代えて固定ストッパーを用いて暗視野像を観察する微分位相像観察法
９．第６の実施形態の第１変形例
：絞り走査においてＨ状スリットを用いることで走査の次元を１次元方向に限定して暗視野像を観察する微分位相像観察法
（従来法における微分位相量の観測原理）
［収束光の偏向と微分位相］
　図１は前述した収束光の偏向を用いた従来の臨界照明による収束ビーム走査回折像観察４次元顕微鏡の結像過程の概略を示す図である。なお、４次元顕微鏡における「４次元」は、後述するように、光源面２次元座標と検出面２次元座標を独立に扱う本発明の基本理念の表現である。図１に示す結像光学系は、４つの光学面を備えており、第１光学面が光源面、第２光学面が絞り面、第３光学面が物面、第４光学面が検出面となる。この光学系１００では、第１レンズ１０１の前焦点面にある光源面１１１上の点から出射した光が第１レンズ１０１、絞り１１２、第２レンズ１０２を通過し、収束光として観察対象物（物面１１３）に照射される。
　観察対象物により偏向した収束光は、第３レンズ１０３を通過し、後焦点面に設置された検出面１１４上に絞りの像である回折光円を形成する。この回折光円の移動が微分位相を与え、光源位置を走査すれば微分位相走査像が得られる。光による物の結像過程は、４つの光学面をつなぐ３つのレンズ１０１～１０３によるフーリエ変換過程でもあり、この事情は、図１の下段に示すように、連続するフーリエ変換（ＦＴ）又は逆フーリエ変換（ＦＴ－１）として表される。
　具体的には、第１レンズ１０１の前焦点面にある光源面１１１上の１点ｒｓから出射された光δ（ｒ）は、第１レンズ１０１を通過する際に逆フーリエ変換ＦＴ－１で表される作用を受け、絞りにおいて絞り関数Ｐ（ｓ）で表される作用を受け、第２レンズ１０２を通過する際にフーリエ変換ＦＴで表される作用を受け、プローブ関数ｐ（ｒｓ－ｒ）で表される収束光としてｔ（ｒ）で表される物面１１３に照射される。そして、物で偏向した収束光は、第３レンズ１０３を通過する際にフーリエ変換ＦＴで表される作用を受け、後焦点面に置かれた検出面１１４上に下記数式１で表される回折光円を形成する。
Figure JPOXMLDOC01-appb-M000001
　この回折光円の移動が微分位相を与え、光源位置を走査すれば、臨界照明で収束する光は観察対象物を走査するので、微分走査像が得られる。このように光による物の結像過程は、４つの光学面をつなぐ３つのレンズによるフーリエ変換過程でもある。ちなみに、絞り関数Ｐ（ｓ）とプローブ関数ｐ（ｒ）はフーリエ変換でむすばれている。
　ところで、回折光円移動を定量するのに必要な検出器が円の大きさは、回折光円の移動幅を考慮して、最大移動幅を付加した回折光円直径の大きさが下限となる。回折光円自体は、絞り面１１２に配置された絞りの像なので、その大きさは絞りの大きさに比例し、空間分解能をよくするため収束光を小さく収束すればするほど逆比例関係にある絞りは大きくなり、対応する検出器も大きくなる。一方、微分位相の観測精度は、検出器の空間解像度に比例する。検出器の要求仕様は、このように求めたい画像空間分解能と微分位相観測精度の両者に依存する。
　一般に、観察対象物を透過する光波や電子波（搬送波）は、屈折率に依存した位相変化を受ける。屈折率は空間的に分布するので、対応する位相も空間的に分布する。その際、位相と屈折率の関係は下記数式２により表される。
Figure JPOXMLDOC01-appb-M000002
　なお、上記数式２において、θ（ｒ）は位相分布、ｎ（ｒ）は屈折率分布、ｌ（ｒ）は厚さの分布、ｒは２次元空間座標、λは搬送波の波長を表す。また、（ｎ（ｒ）－１）の「１」は空気（正確には真空）の屈折率であり、物がある時とない時のその場所の屈折率の変化が、位相変化に対応している。そして、（ｎ（ｒ）－１）ｌ（ｒ）が光学距離に相当する。
　屈折率の分布は、微小範囲で見れば小さなプリズムの分布と近似できる。微小プリズムは、微小部分の屈折率の空間変化であり、上記数式１の関係から、位相の空間変化に対応することになり、結局位相空間分布の勾配（２次元１次微分＝ｄθ（ｒ）／ｄｒ）に比例する。一方、観察対象物を微小プリズムの集まりと考えた場合、収束光で狭い部分を照明すると、光は微小プリズムにより入射方向とは異なる方向に曲げられる。これが収束光を観察対象物に照射したときに起こる光線偏向の物理過程である。
　従って、収束光の偏向を定量できれば、微分位相量を観測することができる。そして、偏向量の最も簡単な方法は、観察対象物に照射された収束光により、検出面に作出される回折像（回折光円）の偏向に伴う空間移動を定量することである。
［収束光照射とその走査による従来の微分位相像観察法］
　最も簡略化した顕微鏡光学系は、対物レンズと接眼レンズとで構成される２レンズ系であるが、本実施形態の顕微鏡観察方法では、光源面と検出面でそれぞれ独立に定義された光源面２次元座標と検出面２次元座標を用いて表される４次元座標に基づいて４次元的観察を行うため、光源面を明示的に定義する必要がある。そこで、本実施形態の顕微鏡観察方法では、光源面と集光レンズ（コレクターレンズ）を含めた３レンズ系を採用する。
　図２は３レンズ・４光学面の光学系の構成例を示す概略図である。図２に示す光学系１０では、３つのレンズ１１～１３が、それぞれ光源面２１、物面２２、絞り面２３、検出面２４の４つの光学面の間に配置されている。図２は、光源面２１からの光を検出面２４に集める顕微鏡光学系の最も簡略化した最小モデルであり、実際の顕微鏡では第１レンズ１１、第２レンズ１２及び第３レンズ１３の全てにおいて、絞りなどの他の光学部品を含むより複雑な構成を採る。しかしながら、数理的に見た場合、その機能は、図２に示す最小モデルで表現できる。
　図２に示す３レンズ・４光学面系の扱いをさらに単純化するため、本実施形態の顕微鏡観察方法では、３つのレンズ１１～１３は同じ焦点距離ｆを持ち、これら７つの要素が同じ焦点距離間隔で結合される３レンズ・４光学面・６焦点系とする。ここでは、顕微鏡の拡大機能は考えないので、結像倍率は１倍として扱う。また、本実施形態においては、レンズ作用を、物理的に扱うときは光の収束効果、数理的に扱うときはフーリエ変換作用として扱う。
　図２に示す３レンズ・４光学面系の光学系により、収束光を走査しながら照射する従来の微分位相像観察法を図示したのが図１である。ここで、検出面の光場を、光源面の実空間座標ｒｓと検出面の周波数空間座標ｓｄを用いてＵＣ（ｒｓ，ｓｄ）と表記する。４次元関数の変数である２つの２次元座標の順序は、光源面座標を最初に、検出面座標を２番目に置いた。微分位相は、収束光の偏向に伴う回折光円の移動で表されるので、具体的な計算は、光場により形成される強度像（２乗検出像）｜ＵＣ（ｒｓ，ｓｄ）｜２の検出面における重心計算を用いて行われる。これを、検出面におけるｓｄ重心という。
　一般に、顕微鏡においては、観察対象物に収束光を照射し、その収束光を２次元走査することで、操作的に２次元面像を取得する走査法と、観察対象物に平行光を照射し、走査なしで１回の照射により２次元実像を取得する平行光照射法がある。前述したように、収束光照射の場合、照明光は観察対象物の狭い領域に当たるので、局所的に偏向度合いを特定することができる。一方、平行光照射の場合、照明光が観察対象物の広い領域に照射されて四方八方に偏向されるため、観察対象物上で局所的に偏向度合いが特定され、場所依存的には微分位相を抽出することはできないと考えられてきた。
（第１の実施形態）
　先ず、本発明の第１の実施形態に係る４次元顕微鏡観察方法について説明する。本発明者は、光の逆進の性質を用い、かつ、通常の２次元的観察ではなく、４次元的観察を行えば、平行光照射法でも微分位相の観察が可能であることを見出し、本発明に至った。図３Ａは図２に示す光学系１０に収束照明光を適用した従来型の走査型４次元法の結像図であり、図３Ｂは光学系１０に平行照明光を適用した本発明の平行光照射型４次元法の結像図である。図３Ａと図３Ｂは鏡映対象であり、電子顕微鏡ですでに見出されている収束照明光を用いる走査透過型電子顕微鏡（STEM）と平行照明光を用いる透過型電子顕微鏡（TEM）の間に成立するTEM-STEM相反定理の４次元法への拡張である。
　図３Ａに示すように、収束照明光を適用した走査型４次元法では、光源面１１１上の１つの光源点ｒｓから例えば３つの光線が射出される。そして、各光線は、レンズ１０１及びレンズ１０２により物面１１３上の１点に収束され、観察対象物により散乱された後、レンズ１０３により回折されて、検出面１１４の２次元座標上に広がる回折光として観察される。図３Ａに示す実線は光線が観察対象物によって局所的に偏向する様子を示し、波線は観察対象物がない時に直進する様子を示している。即ち、図３Ａには、観察対象物による収束光の偏向に伴い、検出面１１４上で回折光パターンが移動する様子が明示されている。この移動量が微分位相量に対応する。
　光の逆進を利用し、図３Ａに示す結像図を鏡映反転しても光線図は成立する。図３Ｂは、図３Ａの光逆進光線図であり、光源面の多数の点からそれぞれ光軸に対して傾きをもった平行照明光が観察対象物に照射される構成の図である。図３Ｂは、図３Ａの光源面と検出面とを置換した上で、左右逆転させた結像図であり、検出面２４上の１つの像点に集光する光線が、光源面２１上の３つの異なる点光源から出射される様子を示している。この場合の光線図は、物面２２上における観察対象物の有無で異なり、図３Ｂではそれぞれ実線と破線で示す。これは、収束光照射における検出面１１４上の回折光パターンの移動に対応し、平行光照射における検出面２４上の１点に収束する多数の点光源からなる光源面の領域（以下、光源円という。）の移動を表し、この移動を定量できれば微分位相量が観察対象物上の各点で求まる。
　光の逆進で重要なのは、全ての光学面が入れ代わることであり、例えば光源面と検出面が入れ代わることである。この場合、光学面の物理的意味は変わるが、各光学面に付与された座標系の数理的性質、即ち、実空間座標系か周波数空間座標系かの性質は保持される。その結果、検出面の周波数空間座標ｓｄはｓｓに、光源面の実空間座標ｒｓはｒｄに、それぞれ変更される。前述した収束光照射４次元法の検出面光場の標記法ＵＣ（ｒｓ，ｓｄ）に従うと、平行光（parallel light）を用いる平行光照射４次元法の検出面光場はＵｐ（ｓｓ，ｒｄ）と表記される。ここで、ｒｓ及びｒｄは結像座標を表し、ｓｄは回折光の光線方向を表し、ｓｓは光源光の光線方向を表す。
　平行光照射４次元法の場合、収束光照射４次元法とは異なり、収束光の偏向は前述したように光源円の移動として現れるので、微分位相量は、検出面光場の２乗｜Ｕｐ（ｓｓ，ｒｄ）｜２の光源面におけるｓｓ重心を計算することで求まる。
　図４は本発明の第１の実施形態の４次元顕微鏡観察方法における結像過程の光線図であり、図１に示す光線図の方式に従い、図３Ｂを書き換えたものである。通常の平行光照射法では、点光源が光軸上に置かれるが、平行光照射４次元法では、収束光照射４次元法と同様に、光軸から離れた点から発せられる光を２次元走査する。
　この場合、光軸から離れた点から観察物対象物を照明すること、即ち、通常の光軸に平行な光の照射に代えて、光軸に対して傾きをもつ光を照射すること（以下、「斜光照明」という。）により、検出面で観察される実像を記録する。そして、光源点を２次元的に走査し、その都度観察像を、例えば顕微鏡装置に設けられたデータ記憶部に蓄積する。こうしてデータは、光源面の２次元座標と実像検出面の２次元座標の合成である４次元座標上に展開する。
　３レンズ・４光学面の７要素で構成される光学系を用いて、収束光照射と平行光照射を比較すると、図３Ａに示すように、収束光照射では、光源面１１１－検出面１１４結像過程の数理はＦＴ－１、ＦＴ及びＦＴの順となる。一方、図３Ｂに示すように、光の逆進に対応し、平行光照射では、光源面２１－検出面２４結像過程の数理はＦＴ、ＦＴ及びＦＴ－１の順となる。
　そして、臨界照明で得られる４次元像は、下記数式３で表される照射光のプローブ関数ｐ（ｒ）と、下記数式４で表される対象物透過関数ｔ（ｒ）を用いて、下記数式５で表される。なお、プローブ関数ｐ（ｒ）と対象物透過関数ｔ（ｒ）は、共に複素数である。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　一方、ケーラー照明で得られる４次元像は、下記数式６で表される。
Figure JPOXMLDOC01-appb-M000006
　ここで、上記数式６における絞り関数Ｐ（ｓ）は下記数式７で表され、照射光プローブ関数とフーリエ変換ＦＴで結ばれる。また、Ｔ（ｓ）は、下記数式８で表される対象物透過関数のＦＴである。なお、Ｐ（ｓ）とＴ（ｓ）は、共に複素数である。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　臨界照明による４次元法とケーラー照明による４次元法での微分位相量は、上記数式２～８を用いて、それぞれ数式９及び数式１０で表される。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　上記数式９及び数式１０において、分子は１次モーメントを表し、分母は信号強度に対応する面積分を表す。また、割り算は重心に対応し、こうした演算を重心積分という。
　ｓｄ重心に対する上記数式９は、透過係数の位相成分の微分θ’ｔ（ｒ）とプローブ関数の位相成分の微分θ’ｐ（ｒ）の双方を含んでいる。これは、微分符号などは若干異なるが、Waddellらにより世界で最初に導出された数式と同じである（非特許文献１参照）。一方、上記数式１０に示すｓｓ重心の表式は、本発明者が発見したものであり、本出願が世界初出である。そして、上記数式９及び数式１０を比較すると、光源面における実座標ｒｓを変数とするか、検出面における実座標ｒｄを変数とするかの違いを除けば、透過係数とプローブ関数の位相成分の微分表現が同じ表式を与えていることがわかる。
　この結果は、図３Ａ，３Ｂに示す２つの４次元法の光場が光の逆進から考え等価であることを解析的に示していると共に、Waddellらにより提案された収束光の観察対象物上走査４次元法が、平行光照射を用いた光源面上点光源走査４次元法に代替できることを意味している。ここで、プローブ関数ｐ（ｒ）について考えると、顕微鏡のプローブ関数は、ほとんどのケースで中心対称なので、位相微分θ'p（０）は０となり、ｓｄ重心及びｓｓ重心は、共にｔ（ｒ）の位相成分θ（r）の微分のみを用いて表される。ただし、本発明の平行光照射４次元顕微鏡観察方法で用いられる微分は、２次元１次微分、即ち下記数式１１に示す勾配を意味し、θ’（r）は下記数式１２で表される。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　そして、プローブ関数ｐ（ｒ）がδ関数的に絞った収束光であれば、上記数式９及び数式１０は、それぞれ下記数式１３及び数式１４に帰着される。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　以上から、臨界照明による４次元顕微鏡データ及びケーラー照明による４次元顕微鏡データの両方について数式９及び数式１０に示すｓ重心計算を行えば、観察対象物の微分位相が求まることが分かる。実験で得られたθ'（r）（２次元）からθ（r）（１次元）を得るには、勾配からポテンシャルを求める定法に従い、下記数式１５に示す線積分操作を行えばよい。
Figure JPOXMLDOC01-appb-M000015
　上記数式１５において、積分路Ｃは、例えばある起点ｒｉ＝（ｘｉ，ｙｉ）からｘ軸に平行な直線（ｘ，ｙｉ）、その直線端点（ｘｆ，ｙｉ）でｙ軸に平行な直線（ｘｆ，ｙ）で、終点が求めたいｒｆ＝（ｘｆ，ｙｆ）点となるような道筋である。
　また、上記数式９及び数式１０で周波数空間の重心（ｓ重心）を計算するとき、下記数式１６に示すｔ（ｒ）の強度情報は、分母に現れる光場２乗検出の全積分値として得られているので、観察対象物とプローブの双方の光学情報、位相と強度の両方が得られたことになる。
Figure JPOXMLDOC01-appb-M000016
［装置構成］
　図５は本実施形態の透過型顕微鏡装置の構成例を示すブロック図である。前述した顕微鏡観察方法は、例えば、図５に示すように、光学系２と、結像した２次元像を検出する撮像部３と、光源走査などを制御する制御部４と、４次元画像データの蓄積、保管、計算処理を行うデータ処理部５を備える透過型顕微鏡装置１により実施することができる。光学系２には、光源と、例えば図１～図４に示す光学系を実現する複数のレンズを用いた結像系が設けられている。
　図１に示すWaddellらが提案した収束光照射４次元法と、図４に示す本発明の平行光照射４次元法とでは、絞りと観察対象物の配置が異なるが、本実施形態の透過型顕微鏡装置１の光学系２の基本構成は、Waddellらが提案した収束光照射４次元法によるものと同じである。また、撮像部３には、２次元検出器を用いることができる。
　現行顕微鏡を４次元観察用に改変する場合、収束光照射４次元法は、共焦点顕微鏡装置において検出面で回折円を検出し、その２次元データを対象物上の２次元走査と組み合わせ４次元データ化することで実現できる。一方、本実施形態の平行光照射による４次元顕微鏡観察方法は、通常透過型顕微鏡装置において検出面で実像を検出し、その２次元データを光源面上の点光源２次元走査と組み合わせ４次元データ化することで実現できる。
　以上詳述したように、本実施形態の顕微鏡観察方法は、平行光照明４次元法であり、実像を第一義的観察対象としているため、観察対象物の強度像及び微分位相像を、高精度かつ高感度で簡便に取得することができる。また、本実施形態の透過型顕微鏡装置は、通常透過型顕微鏡装置を改変することで実現できるため、顕微鏡操作が容易である。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る４次元顕微鏡観察方法について説明する。前述した第１の実施形態の平行光照射による４次元顕微鏡観察方法は、収束光照射による４次元法と同様に、４次元データ取得には、極めて大きなデータ容量と長時間観測が必要となる。この問題を根本的に解決するには、観察法の次元を下げる次元縮減技法が必要となる。そこで、本実施形態の４次元顕微鏡観察方法では、以下に示す３種の次元縮減技法を適用する。
　４次元データを２次元に埋め込む方法としては、数年前にスタンフォード大で開発されたライトフィールドカメラ（Ren Ng, Marc Levoy, Mathieu Bredif, Gene Duval, Mark Horowitz, Pat Hanrahan、“Light Field Photography with a Hand-held Plenoptic Camera”、Stanford Tech Report CTSR 2005-02、p.1-11）を利用する方法が挙げられる。ライトフィールドカメラは、結像面にマイクロレンズアレイが配置され、その後方に微小検出器アレイが配置されており、各マイクロレンズの回折光を対応する微小検出器で検出する。これにより、ライトフィールドカメラでは、異なる視線方向を微小検出器上の異なる点にマッピングすることができる。
　ライトフィールドカメラでは、この視線方向分解をピント合わせの事後的再調整に利用し、リフォーカシングという３次元イメージングを実現しているが、視線方向分解は４次元法から見れば光源光方向分解に対応するため、ライトフィールドカメラ像は平行光照射４次元法情報を含んでいることになる。このため、観察条件次第では、微小検出器で構成される検出器全体のデータから、微分位相像を計算できる。
　図６Ａ～Ｃはライトフィールドカメラを利用した本実施形態の平行光照射４次元顕微鏡観察方法の結像過程を示す図である。図６Ａは、図４の光線図に対応するものであり、観察対象物（物面２２）による光線偏向が、検出面２４の後方に位置する回折面２５上で、どのような変化をもたらすかを図示したものである。図６Ａでは、無偏向の場合の光の様子を破線で示し、偏向が生じた場合の光の様子を実線で示している。この図６Ａからは、検出面２４の後方に位置する回折面２５上の光点移動が確認できる。
　この移動量は、すでに述べたように観察対象物の光線通過点での微分位相に比例する。しかしながら、このままでは、観察対象物全体が平行照射されるため、隣接部分を通過する多数の光線は、回折面２５上ではそれぞれ異なる方向に偏向した状態で重なり、個別の光点移動を取り出せない。この重なりを回避するには、検出面２４にライトフィールドカメラで使われているマイクロレンズアレイを配置すればよい。
　そこで、顕微鏡光軸上に配置した点光源（以下、「光軸上点光源」という）を用いて平行照射する構成を図６Ｂに示す。図６Ｂでは、ライトフィールドカメラの主レンズ３１が、対物レンズ１３を代置するように配置されており、マイクロレンズアレイ３４の後方に微小検出器アレイ３５が配置されている。そして、マイクロレンズアレイ３４上に像が形成され、各マイクロレンズに対応する微小検出器アレイ３５の各微小検出器上に回折像が形成される。なお、図６Ｂでは、点光源からの光束が、観察対象物により偏向される場合を実線で示し、偏向されない場合を破線で示しており、それぞれマイクロレンズアレイ３４によって、どのようにして微小検出器アレイ３５上の異なる位置に収束されるかを示している。
　図６Ｂに示す構成では、図６Ａに示す構成の問題点、即ち、隣接点間を通る光線が作る検出面上光点の重なりは、マイクロレンズによる隣接点分離観測により解消されている。図６Ｂに示す構成では、光源面２１と微小検出器アレイ３５が置かれた回折面は共役であり、点光源は微小検出器の１点に収束している。この収束点の移動量が微分位相を与える。この構成は、マイクロレンズの座標が実像座標に、微小検出器上の座標が周波数座標に対応するので、４次元データ化は容易である。
　図６Ｃは、図３Ｂに対応するものであり、対物レンズを代置する形でライトフィールドカメラが配置され、微小検出器に回折光が投影される構成を示している。リフォーカシングを実現する本来のライトフィールド顕微鏡は、面光源を用いるこの方式である。面発光により微小検出器上の回折像は回折光円を形成するが、面発光中の異なる光源からの光は、特定の観察対象物点を通るとき同じ光線偏光を受けるので、回折光円の移動が起こる。
　この移動量を求めれば、図６Ｂに示す光点移動と同様に微分位相が取り出せることができる。図６Ｂの光点移動も図６Ｃの回折光円移動もその移動量は、微小検出器上の回折像の重心座標を計算すれば求まるので、光源の大きさにかかわらず、同一演算で微分位相量が求められる。以上から、ライトフィールドカメラを利用することにより、光源の大きさを気にせず４次元データを１回の撮像で同時悉皆的に微分位相量を取得できることが分かる。
　なお、図６Ｂに示す光軸上点光源を用いたライトフィールドカメラ４次元顕微鏡法（以下、「微分位相ライトフィールド顕微鏡法」という。）も、図６Ｃに示す面光源を用いた微分位相ライトフィールド顕微鏡法も、吸収成分を持たない透明観察対象物については、同一微分位相像を与える。特に、吸収成分を持ちかつ厚い観察対象物については、マイクロレンズアレイ３４上にできる実像が投影像となるため、投影方向に依存した吸収成分由来の強度変動が生じ、その強度ムラが回折光円の重心計算に付加的重心移動を与える。
　この問題を回避するには、図６Ｂに示すような観察対象物の投影方向が１つに定まる点光源を用いればよい。開口絞りの調節機能利用する場合、面光源を点光源に絞る点光源照明を用いると自動的に図６Ｂに示す光軸上点光源微分位相ライトフィールド顕微鏡法となる。そして、現在普及しているケーラー照明法では、開口絞りを調節することにより面光源の光源面積を最小（点光源対応）から最大（広い面光源対応）に自由に変えられる。
　従って、顕微鏡装置にマイクロレンズが積層された微小検出器アレイを用いることにより、走査しなくても、異なる斜光照明に対応する複数の像で構成される４次元的データを、同時に悉皆撮像できるため、４次元観測から２次元観測への次元縮減を実現できる。ただし、この方法では、１回の２次元検出で４次元的データを取得するため、データ量不足となり、視野の広さ、画像分解能及び微分位相分解能の間でトレードオフの関係が生じ、これらの全てを同時に最適化することはできない。
　ライトフィールド顕微鏡に関して、例えばRobert Prevedelらは、一辺が１５０μｍのマイクロレンズを使用し、４０倍主レンズで、平面方向の分解能３．７５μｍ、画素数１５×１５の微小検出器により、奥行き方向の分解能約７μｍを実現している（Robert Prevedelほか、“Simultaneous whole-animal 3Dimaging of neuronal activity using light-field microscopy”、Nature Methods、第１１巻、２０１４年、ｐ．７２７－７３０　参照）。Robert Prevedelらのライトフィールド顕微鏡においては、例えば１００倍の主レンズを用いれば平面方向の分解能を２.５倍にすることができるが、そうすると視野は２．５分の１になる。このように、微分位相ライトフィールド顕微鏡では、本来のライトフィールド顕微鏡の奥行き情報が微分位相情報に対応するので、視野の広さ、画像分解能及び微分位相分解能はそれぞれトレードオフの関係となる。
［装置構成］
　前述した悉皆型４次元顕微鏡観察方法を実現する装置、即ち、本実施形態の透過型顕微鏡装置は、図５に示す制御部４から走査制御系をなくし、光源面積を制御できる光源制御系を設置し、通常透過型顕微鏡の光学系及びライトフィールドカメラからなる撮像部と、４次元画像データの保管及び計算処理を行うデータ処理部を備える構成とすることができる。ライトフィールドカメラから出力される２次元データは、データ処理部において、以下の処理が行われる。
＜ステップ１：４次元データ化＞
　マイクロレンズの位置を実座標ｒｄに対応させ、各マイクロレンズ後方の微小検出器の画素の位置を周波数座標ｓｓに対応させ、実像型４次元データＵＫ（ｓｓ，ｒｄ）を構成する。
＜ステップ２：積分操作＞
　ステップ１で得られた実像型４次元データを、ｓｓ座標に対して面積積分を行い、強度像を得る。又は、ステップ１で得られた実像型４次元データを、ｓｓ座標に対し重心積分を行い、即ちｓｓ座標に対し１次モーメントを計算しそれを強度像で除し、微分位相像を得る。
　以上詳述したように、本実施形態の顕微鏡観察方法及び透過型顕微鏡装置は、第一義的観察対象としてマイクロアレイ上に現出する実像を観察するため、データ量を大幅に縮減することができると共に顕微鏡操作が容易となり、更に、同時並行的に面積分や重心積分の高速演算を行うため、観察対象物の強度像及び微分位相像を、リアルタイムで取得することができる。なお、本実施形態における上記以外の構成及び効果は、前述した第１の実施形態と同様である。
（第３の実施形態）
　次に、本発明の第３の実施形態に係る４次元顕微鏡観察方法について説明する。前述したライトフィールドカメラを用いる４次元顕微鏡観察方法は、一度の２次元検出により４次元画像を取得するため、取得データ量にある程度の制限が課される。そこで、本実施形態の顕微鏡観察方法では、第１の実施形態の走査型４次元法の長所である「高解像度性」と、第２の実施形態のマイクロレンズアレイ利用４次元法の長所である「低次元性」の両者を持つ走査次元の縮減法を適用した。
　前述したようにライトフィールドカメラの本来の機能は、奥行き情報を取得して、撮像後にピント合わせ（再焦点合わせ：refocusing）できることである。撮像後にピント合わせをする機能は、マルチフォーカス設定撮影を行うこと、即ち、ピントを変えた複数枚の写真を撮り、その画像データを３次元データとして外部の記憶装置に保存することでも可能である。この場合のデータは、観察対象物の異なる奥行きにピントを合わせた複数枚の写真なので３次元データを構成する。
　情報的には、ライトフィールドカメラの４次元データもマルチフォーカス３次元データも同じ内容を持っている。従って、ライトフィールドカメラにより取得される４次元データと、マルチフォーカス３次元データは、何らかの方法で数理変換することが可能である。数理的には両者は等価だが、ピントが異なる写真１枚１枚は、マイクロレンズを介さずに通常の２次元デジタル受光器で撮像されるため、技術的にはマルチフォーカス３次元データの方がデータ量に制限がない点で優れている。
　上述した３次元－４次元変換に関しては、例えば、コンピュータトモグラフィーの基盤である投影－断面定理を用いて、同一観察対象物に対し、ライトフィールドカメラ撮像による４次元データとマルチフォーカス設定により撮像された３次元データの変換方法が既に提案されている（Kazuya Kodama and Akira Kubota、”Efficient Reconstruction of All-in-Focus Images Through Shifted Pinholes from Multi-Focus Images for Dense Light Field Synthesis and Rendering”、IEEE Trans. Image Processing、第22巻、2013年、p.4407-4421）。この変換方法を用いれば、本実施形態の顕微鏡観察方法は、データ量制限のない第１の実施形態の走査型４次元顕微鏡法と等価な手法となる。
　具体的には、本実施形態の透過型顕微鏡装置では、開口絞りつきコレクターレンズ系を備える公知の透過型顕微鏡に、面光源と電動制御ピント合わせ機構を持つ撮像部を付加し、焦点の異なる複数の２次元画像からなるマルチフォーカス３次元データを取得する。本実施形態の透過型顕微鏡装置は、４次元データでなく３次元データを取得するため、データ収集に必要な撮像時間及び画像記憶容量を、大幅に低減することができる。
　ライトフィールドカメラが想定する対象物のピント合わせ範囲と、小さな物を観察する顕微鏡の想定するピント合わせ範囲では大きな違い（前者の奥行範囲が広い）があるため、そこを考察する必要がある。ここで、マルチフォーカス３次元データ取得の基本に関し、図２に示す３レンズ４光学面６焦点光学系を用いて考える。図７Ａ～Ｄは本実施形態の実像型４次元顕微鏡観察方法（以下、「微分位相マルチフォーカス顕微鏡法」という。）におけるマルチフォーカスを実現する例を示す概略図であり、図２をもとに描いている。そして、図７Ａは対物レンズの焦点をずらしてマルチフォーカスを実現する焦点ずらし法、図７Ｂは検出面をずらすことでマルチフォーカスを実現する検出面ずらし法、図７Ｃは第１レンズと物面の間隔を固定しつつ物面をずらすことでマルチフォーカスを設定する物面ずらし法、図７Ｄは第１レンズと第２レンズの間隔を固定しつつ物面のみをずらすことでマルチフォーカスを実現する物面ずらし法である。
　面光源を用いた微分位相マルチフォーカス顕微鏡法におけるマルチフォーカス設定の方法には、図７Ａに示す対物レンズの焦点距離を変動させる方式がある。この方式は電磁レンズを用いる電子顕微鏡で採用されており、焦点の異なる複数枚の画像を撮り、３次元のマルチフォーカス画像群とする。通常カメラのようにガラスレンズを用いる場合には、個々のレンズの焦点距離が固定なので、この方式は採用できない。その場合、図７Ｂに示す第３レンズ１３と検出面２４の距離を変えることで実現できる。具体的には、焦点ずらしΔｚを正負の方向に変え、複数枚の画像を撮り、３次元のマルチフォーカス画像群とする。
　顕微鏡では、カメラと違い、観察対象物の位置を自由に変えられるので、焦点ずらしを物側で実現しても良い。その場合は、図７Ｃのように物と第２レンズ１２の距離を変えることで焦点ずらしを実現できる。更に、図７Ｄに示す焦点ずらしΔｚを正負の方向に変え、複数枚の画像を撮り、３次元のマルチフォーカス画像群とする。図７Ｃの例では、観察対象物（物面２２）と第１レンズ１１間の距離は焦点距離に固定されているが、図７Ｄのように、７要素全て固定し、観察対象物（物面２２）だけを動かし焦点ずらしΔｚを正負の方向に変え、複数枚の画像を撮り、３次元のマルチフォーカス画像群とすることもできる。
　簡単かつ抽象的に示された図７Ｂ～Ｄのマルチフォーカス設定を実際の顕微鏡装置に組み込むには、対象機器毎にそれぞれ実験的工夫が必要となる。ただし、現在のデジタル顕微鏡は、光学系の各要素の移動がコンピュータ制御されているので、図７Ｂ～Ｄに示すいずれの場合も、マルチフォーカス設定と連動する画像の撮像は、ピント合わせ機構を持つ撮像部を付加するまでもなく、デジタル顕微鏡固有のピント合わせ機構の制御プログラムを改変することで、全自動化することができる。
　本実施形態の面光源微分位相マルチフォーカス顕微鏡法で得られた３次元データは、例えば透過型顕微鏡装置に設けられたデータ処理部において、４次元データ化を経て強度像又は微分位相像に数値変換される。データ処理部における変換処理は、例えば、以下に示す工程を実行するプログラムにより実施することができる。
＜ステップ１：フーリエ変換＞
　マルチフォーカス３次元実画像を、３次元フーリエ変換し、３次元周波数画像化する。
＜ステップ２：４次元データ化＞
　３次元周波数画像から面光源からの絞り方向に垂直な多数の周波数空間断面を切りだし、２次元逆フーリエ変換を行い、斜光照明対応の２次元実像を得る。斜光照明方向の垂直断面は光源座標と１対１対応するので、２次元逆フーリエ変換データの集合は、実像型４次元データＵＫ（ｓｓ，ｒｄ）を構成する。
＜ステップ３＞
　ステップ２で得られた実像型４次元データを、ｓｓ座標に対して面積積分を行い、強度像を得る。又は、ステップ２で得られた実像型４次元データを、ｓｓ座標に対し重心積分を行い、即ちｓｓ座標に対し１次モーメントを計算し、それを強度像で除し、微分位相像を得る。
　焦点ずらしの最小ずれ幅とずれ領域範囲をどう設定するかは、多用されるフーリエ変換の基本的性質に立ち返り、以下のように考察される。実空間の最小ずれ幅は、周波数空間では、周波数範囲に対応するので、微分位相マルチフォーカス顕微鏡法の周波数対応である光源座標の範囲、即ち最大偏向視覚範囲を定める。実空間のずれ領域範囲は、周波数空間では、周波数精度に対応するので、微分位相マルチフォーカス顕微鏡法の周波数対応である光源座座標の観測精度、即ち観測位相精度を定める。従って、観察対象毎に得たい位相微分の範囲と観測精度とへの要求から、逆に焦点ずらしの最小ずれ幅とずれ領域範囲が決められる。
［装置構成］
　前述した顕微鏡観察方法を実現する装置、即ち、本実施形態の透過型顕微鏡装置の構成は、光学系２の点光源を面光源に代えて光源を走査する代わりに焦点ずらしを行い、データ処理部５において３次元－４次元変換を行う以外は、図５に示す顕微鏡装置１と同様である。本実施形態の透過型顕微鏡装置における光学系は、従来の透過型顕微鏡の光学系を踏襲することができ、撮像部には２次元検出器を用いることができる。また、データ処理部では、３次元データを４次元データに変換し、面積分や重心積分を算出する演算処理を行い、最終的に強度像や微分位相像を得る。
　以上詳述したように、図７Ａ～Ｄに示す本実施形態の透過型顕微鏡装置は、マルチフォーカス３次元観察を基本とする微分位相マルチフォーカス顕微鏡であり、平行光照射を用いた透過型顕微鏡装置を拡張したもので、臨界照明による収束光を用いた走査型顕微鏡法とは異なり、走査を行わないため、装置を簡素化することができる。また、本実施形態の顕微鏡観察方法及び透過型顕微鏡は、第一義的観察対象が実像であるため、顕微鏡装置が簡易化され、かつ、顕微鏡操作が容易となる。
　更に、本実施形態の顕微鏡観察方法及び透過型顕微鏡は、マルチフォーカス機構に依拠した奥行き方向操作のみによる３次元的データ取得であるため、２次元点光源走査による４次元データ取得に比べて撮像が高速となりデータ量も圧縮される。その結果、本実施形態の顕微鏡観察方法及び透過型顕微鏡装置によれば、観察対象物の強度像及び微分位相像を、精度を保ちつつ高速かつ簡便に取得することができる。なお、本実施形態における上記以外の構成及び効果は、前述した第１又は第２の実施形態と同様である。
（第４の実施形態）
　次に、本発明の第４の実施形態に係る顕微鏡観察方法について説明する。前述した第１～第３の実施形態では明視野法による４次元顕微鏡観察方法について述べたが、本技術は暗視野法にも適用することが可能である。図８Ａ，Ｂは本実施形態の４次元顕微鏡観察方法における結像過程を示す図であり、図８Ａは光学顕微鏡に適用した場合の構成例であり、図８Ｂは電子顕微鏡に適用した場合の構成例である。
　光学顕微鏡の場合は、図８Ａに示すように、３つのレンズ１１～１３が、それぞれ光源面２１、物面２２、絞り面２３、検出面２４の４つの光学面の間に配置されている。そして、光源面２１の任意の点から射出された光は第１レンズ１１を通り斜光平行光として観察対象物に当たる。光は物により散乱される成分（実線で表示）と散乱されない成分（破線で表示）に分かれる。
　散乱されない成分はいわゆる背景光として検出面２４に現出し、光源面と共役である絞り面２３の共役点に集光する。そこで、本実施形態の顕微鏡観察方法では、この光源共役点に成分全てを遮蔽するビームストッパー４０を配置して、背景光を除去する。なお、物質（観察対象物）により偏向された光は、絞り面２３の光源共役点からずれた位置を通過するため、ビームストッパー４０では遮蔽されない。これにより、検出面２４に散乱成分のみからなる暗視野像を結像させることができる。この場合の暗視野像は、散乱成分のうち特に偏向によりビームストッパー４０を迂回する成分であり、この暗視野像の実座標が光源面２１における光源座標にタグ付けされた形で記録される。
　そして、光源座標を２次元走査すれば４次元データが得られ、これを前述したアルゴリズム、即ち光源座標での重心座標を求める演算を行えば、暗視野像の実座標各点の微分位相が求まる。本実施形態の顕微鏡観察方法では、散乱成分のみが微分位相に関する情報を保持しており、背景光はノイズ源の役割しか持たないため、背景光を除去することで感度向上が図られる。ただし、この方法は、光源点の走査に共役して背景光の絞り面集光点が走査されるので、ビームストッパー４０の共役走査も必要となる。
　電子顕微鏡の場合は、点光源アレイの製作が困難であるため、図８Ｂに示すように、点光源を光軸に固定しかつ偏向コイル２６を用いて斜光照明を作出する方法を適用し、斜光照明を斜光方向走査することで点光源走査を代替する。背景光は偏向のない透過光であり、絞り面２３上の光源共役点ｐ２に強い共役点像を作るので、この光源共役点に適当な大きさのビームストッパー４０を配置すれば、背景光を除去することができる。この場合もビームストッパー４０の共役走査が必要である。
［装置構成］
　前述した顕微鏡観察方法は、例えば、図５に示す構成の透過型顕微鏡装置により実施することができる。その際、光学顕微鏡の場合は、光学系２に例えば点光源アレイを設け、制御部４に点光源アレイの点光源走査制御系と光源走査に共役したストッパー走査制御系を設ける。また、電子顕微鏡の場合は、光学系２に光軸上点光源からの平行光を斜光照明に変換し斜光方向走査するための偏向コイルを設け、制御部４に光軸上点光源を斜光走査する偏向コイル制御系と斜光走査に共役したストッパー走査制御系を設ける。そして、データ処理部５において、面積分や重心積分を算出する演算処理を行い、最終的に微分位相像を得る。
　本実施形態の顕微鏡観察方法は、点光源から出射される平行光の対物レンズ後焦点面の集光位置にビームストッパーを配置して背景光を除去しているため、高感度で暗視野像を観察することができる。なお、本実施形態における上記以外の構成は、前述した第１の実施形態と同様である。
（第４の実施形態の第１変形例）
　次に、本発明の第４の実施形態の第１変形例に係る顕微鏡観察方法について説明する。図９は本変形例の４次元顕微鏡観察方法で用いるＨ状スリットを示す図である。
　特に生体物質の電子顕微鏡観察においては、電子線破壊の問題で電子線の照射量にある限界が存在する。例えば生体分子の場合、１平方オングストロームあたり１００電子が限界照射量といわれている。４次元法では追加次元である周波数空間の解像のため、例えば６４×６４の周波数メッシュでデータを得るには、通常の２次元観察を４０９６回も実行する必要がある。そのため、１回ごとの電子線量（限界照射量÷実行観察数）は、例えば通常２次元観察の４０９６分の１となり、極めて小さくなる。その場合、像観察はほぼ不可能となるため、顕微鏡の操作性が悪化する。
　この問題を回避するには、周波数空間の解像度を低下させて、例えば１６×１６の周波数メッシュにし、観察回数を２５６回にしてデータ取得を行えば良いが、これは微分位相の観測分解能を４分の１に落とすことになる。このため、観測分解能を落とさず各観察実行時の電子線照射量を増大させる方法が求められる。
　そこで、本変形例の顕微鏡観察方法では、暗視野４次元観察方法である第４の実施形態に次元縮減法を組み合わせて、暗視野像の観察を行う。具体的には、本実施形態の顕微鏡観察方法では、図８Ｂに示す光学系の絞り面２３に、図９に示すようなＨ状スリット４１が形成された光学素子を配置し、光源像４２がＨ状スリット４１の架橋部４１ａに位置するよう調整し、架橋部４１ａを１次元で光源走査又は偏向コイルによる斜光走査する。
　ここで、Ｈ状スリット４１は、相互に平行な２本の直線板で形成されたスリットが、ストッパーの役割をする架橋部４１ａでつながれている形状のスリットであり、導電材料からなる光学素子（絞り）に形成されている。電子顕微鏡の場合、光源走査に伴い光源共役な強い背景電子線が架橋部４１ａを移動するが、その際、架橋部４１aの導電材料部分に電子が当たると、光学素子の外周を通ってグランドに流れるため、帯電が防止される。また先に述べたビームストッパーの共役走査が不要となる。
　上述した方法で得られた３次元データについて、実像上の各点において光源走査又は斜光走査で得た１次元データで重心計算を行う。この重心位置が電子線走査方向に対応する物質（観察対象物）の微分位相であり、各点でプロットした２次元像が、走査方向対応微分位相像となる。
　なお、本変形例の顕微鏡観察方法における光学系２の絞りをＨ状スリット４１に変更した点、及び微分位相を求める演算を２次元の重心積分から１次元に変更した点以外の構成は、前述した第４の実施形態と同様である。
　なおＨ状スリットにおいて架橋部４１ａを除いた単純スリットを用いて同様の観察を行うと暗視野像の代わりに明視野像が得られる。
（第５の実施形態）
　次に、本発明の第５の実施形態に係る顕微鏡観察方法について説明する。前述した第４の実施形態の顕微鏡観察方法は、光源の２次元走査が必要なため、空間分解能と微分位相分解能を共に高めるには、極めて大きな４次元データ容量と長時間観測が必要となる。この問題は、前述した第２の実施形態の顕微鏡観察方法のように、分解能を犠牲にし、４次元データ取得をマイクロレンズアレイによる２次元データ検出で代替することで解決することができる。
　図１０は本実施形態の４次元顕微鏡観察方法における結像過程を示す図である。図１０に示すように、本実施形態の顕微鏡観察方法は、第２の実施形態と第４の実施形態を組み合わせたものであり、マイクロレンズアレイ３４により操作不要とした４次元顕微鏡観察方法において、点光源を光軸に配置すると共に対物レンズ後焦点面の光軸にビームストッパー４０を配置している。
　本実施形態の顕微鏡観察方法では、光軸上の光源を用いるため、ストッパー４０は常に光軸上に位置（固定）していればよく、走査は不要である。本実施形態の顕微鏡装置においても、物質（観察対象物）により偏向された光がストッパー４０を回避し、検出面２４に到達する点は、前述した第４の実施形態と同じである。
　図１１はマイクロレンズアレイを装着したライトフィールド顕微鏡を用いて光軸上点光源照明下で撮影した腎組織切片の微小検出器アレイ上の回折像の等高線プロットである。マイクロレンズアレイ３４の後方に配置された微小検出器アレイ３５上には、図１１の中央に広がる背景光由来の強い回折像（大きいピーク）と、物（観察対象物）による散乱光由来の移動回折像（小さいピーク）の重なりが見えている。このような場合でも、暗視野法を適用すれば、中央の背景光由来の回折像を除去できるため、散乱光由来の回折像の偏向度合いを評価する重心移動の見積もりが正確となり、権威強観察における感度を向上させることができる。
　本実施形態の顕微鏡観察方法は、例えば、光源とストッパーの走査にかかわる制御系をなくし、点光源を含めた光源面積を制御できる制御系を備え、絞り面２３の光軸上にストッパー４０を配置した構成とし、撮像部３にはライトフィールドカメラを用い、データ処理部５において４次元画像データの保管及び計算処理を行う透過型顕微鏡装置により実施することができる。この場合、ライトフィールドカメラから出力される２次元データは、データ処理部５において４次元データに変換され、第４の実施形態と同様の演算処理により微分位相像が得られる。
　本実施形態の顕微鏡観察方法は、光軸から外れた光源の共役点は絞り開口内でも光軸から外れ、この外れにさらに物（観察対象物）による偏向が加わると絞りに当たり光が遮蔽されるため、光源を光軸に固定し、絞りを２次元的に走査することで、光源共役点は光軸上に固定されストッパーも固定される。その結果、本実施形態の顕微鏡観察方法によれば、絞り面で２次元走査を１回実施するだけで、高感度な暗視野像が得られる。
（第６の実施形態）
　次に、本発明の第６の実施形態に係る顕微鏡観察方法について説明する。図１２は本実施形態の４次元顕微鏡観察方法における結像過程を示す図である。前述した第４の実施形態において暗視野法を実現する顕微鏡装置には、光源走査と光源走査に共役するストッパー走査の２つの機械系が不可欠であるが、これらの機構を顕微鏡に付加するには、大きな設計変更が必要となる。
　一方、前述した偏向利用４次元微分位相法の本質は偏向に伴う絞りによる遮蔽であるから、光源の走査は絞りの走査に代替可能である。そこで、図１２に示すように、本実施形態の顕微鏡観察方法では、絞りを２次元的に走査し、走査の各点で２次元の実像を記録する。具体的には、本実施形態の顕微鏡観察方法では、光源面２１と絞り面２３の点対称共役性から、絞りの走査点座標は、図８Ａに示す光源座標と点対称になり、走査２次元座標と実像２次元座標が４次元データを構成する。
　本実施形態の顕微鏡観察方法により暗視野像を観察する際は、前述した第３の実施形態と同様に、光軸光源共役である絞り面２３の光軸上にビームストッパー４０が固定される。なお、図１２には、図８Ａに示す光源走査法に対応する絞り走査法の例を示しているが、本発明はこれに限定されるものではなく、図８Ｂに示す斜光走査法に対応する絞り走査法でもよく、その場合でも同様の効果が得られる。
　本実施形態の顕微鏡観察方法に用いられる透過型顕微鏡装置の構成は、制御部４における光源又は斜光とストッパー４０の共役２次元走査制御を、絞りの２次元走査制御に変更する以外は前述した第４の実施形態で説明したものと同様である。また、本実施形態の顕微鏡観察方法において微分位相を求める演算方法も、前述した第４の実施形態と同じである。
（第６の実施形態の第１変形例）
　次に、本発明の第６の実施形態の第１変形例に係る顕微鏡観察方法について説明する。図１３は本変形例の４次元顕微鏡観察方法で用いるＨ状スリットを示す図である。本変形例の顕微鏡観察方法は、前述した第６の実施形態の顕微鏡観察方法と次元縮減法を組み合わせたものであり、図１３に示すＨ状スリット４１を絞り面２３に配置し、光源像４２がＨ状スリット４１の架橋部４１ａに位置するよう調整し、架橋部４１ａと平行な方向に絞り走査を１次元で行う。
　これらの３次元データの周波数に関する１次元重心積分が微分位相を与えるため、得られた３次元データについて、実像上の各点において光源走査又は斜光走査で得た１次元データで重心計算を行う。直交する次元方向での微分位相については、例えば、観察対象物を左右どちらかに９０度回転させて同様の１次元走査観察をすれば、直交方向の微分位相３次元データが取得できる。又は、直交する２つの３次元データを用いれば、周波数重心計算とその結果を組み合わせた積分計算から位相像が得られる。そして、この重心位置が絞り走査方向に対応する物質の微分位相であり、各点でプロットした２次元像が、絞り走査方向対応微分位相像となる。
　本実施形態の顕微鏡観察方法に用いる装置の構成は、光学系２の絞りをＨ状スリットに変更する以外は、前述した第６の実施形態と同様である。また、微分位相を求める演算は、２次元の重心積分を１次元に変更する以外は、前述した第４の実施形態と同じである。
　上述した各実施形態及びその変形例の４次元透過型顕微鏡法は、可視光や電子線を用いる顕微鏡だけでなく、レンズを用いるあらゆるタイプの透過型顕微鏡に応用可能である。応用可能な顕微鏡としては、Ｘ線顕微鏡、紫外顕微鏡、赤外顕微鏡、中性子顕微鏡、超音波顕微鏡などが挙げられる。また、本発明の顕微鏡観察方法は、位相板を使わないため、波の干渉作用を原理とする位相板を用いる現行の位相差顕微鏡法に比べて、以下に示す利点を有する。
＜一般的利点＞
　位相板を使わないので、光学構成が単純であり、位相版劣化による寿命問題や位相板自体の生み出すエラー問題から解放されている。さらに干渉法一般との比較では、干渉法が信号光と強い参照光の和についての観測なので、画像中には必ず信号よりはるかに強い背景光が含まれ、位相差像はその背景信号の差として検出される。本発明は、光であれ電子であれ、それらの物質透過時の偏向の定量化なので、信号光のみで画像が構成され干渉法に見られるような不要な背景光がない。このため干渉を利用する位相差法に比べ信号感度（Ｓ／Ｎ比)が各段に向上する。
＜各顕微鏡における個別的な利点＞
　可視、紫外、赤外などの光学顕微鏡：現行位相差法では、位相変化の大きい境界でハローなどのエラーが生じる。これを取り除く種々の方法が提案されているが、完全のものはない。本発明の微分位相ライトフィールド顕微鏡法、微分位相マルチフォーカス顕微鏡法は共にハローフリーである。また現行位相差法では、光学構成の異なる典型的な２種、位相差法と微分干渉法が用いられているが、本発明を利用すれば両者に対応する位相法が１度の実験で得られる。また１度の実験であらゆる方向の微分に対応した微分干渉像が得られる。
　電子顕微鏡、Ｘ線顕微鏡、中性子顕微鏡などにおける位相板を使う現行の手法の欠点、（ｉ）弱い位相物体にしか適用できない（ii）電子顕微鏡の場合、電子が誘起する位相板帯電のため、像の乱れが生じ位相板の短寿命化が避けられない、（iii）干渉を生起する弾性散乱電子・Ｘ線・中性子のみ結像に寄与し、非弾性散乱電子・Ｘ線・中性子は背景ノイズになる。厚い試料では非弾性散乱電子・Ｘ線・中性子が弾性散乱電子・Ｘ線・中性子を凌駕するため、位相差像はＳ／Ｎ比が低い。本発明はこうした欠点全てから解放されており、特に弾性散乱電子・Ｘ線・中性子、非弾性散乱電子・Ｘ線・中性子すべてが像形成に活用されるので厚い試料のＳ／Ｎ比が格段に向上する。
　以下、本発明の実施例として、市販のライトフィールド顕微鏡を用いて、前述した第２の実施形態の方法により、微分位相ライトフィールド顕微鏡の実証実験を行った。図１４は本発明の実施例で用いたデータ処理方法を示すフローチャートである。なお次元縮減した3次元データに対しても同様なデータ処理のフローチャートとなる。
　実験に用いた装置は、オリンパス株式会社製　正立顕微鏡　ＢＸ６３に、ライトフィールド顕微鏡用アタッチメント（PhaseView社製３Ｄイメージングユニット　InSight）を装着して構成した。オリンパス株式会社製　正立顕微鏡　ＢＸ６３は、多機能で明視野像や微分干渉像などの切り替え撮影ができるものである。この正立顕微鏡のＣマウントに、PhaseView社製３Ｄイメージングユニット　InSightを装着し、InSightのマイクロレンズがオリンパス顕微鏡の中間像面に来るよう調整した。そして、そのマイクロレンズアレイ上に形成された中間像の回折像の総体を、InSightのリレーレンズにより浜松ホトニクス株式会社製デジタルカメラ　ＯＲＣＡ－Ｆｌａｓｈ４．０　Ｖ３（画素数　２０４８×２０４８）のＣＭＯＳイメージセンサ上に転送し検出した。
　マイクロレンズは、中間像面に出し入れ可能となっており、引き抜くと正立顕微鏡本来の機能が回復される。また、正立顕微鏡の明視野モードの状態でマイクロレンズを挿入してライトフィールド顕微鏡を構成し、観察は、４０倍の対物レンズ（Olympus UPlanSApo X40 NA0.95）を用いて行った。この４０倍の対物レンズは、明視野像及び微分干渉像の取得においても用いた。なお、これら像の解像度は画素数が２０４８×２０４８だが、低解像度のライトフィールド顕微鏡像との比較のため、画素数を１２８×１２８に粗視化した画像も作成した。
　ここで、InSightが備えるマイクロレンズアレイは、直径６５μｍのマイクロレンズが縦横１２８個ずつ配列された構成であった。また、デジタルカメラのＣＭＯＳイメージセンサの画素数は２０４８×２０４８であり、画素サイズは６．５μｍ×６．５μｍであった。ライトフィールド顕微鏡では、マイクロレンズが１画素に対応するので、像分解能は、６５μｍ÷４０＝１．６３μｍとなる。マイクロレンズアレイで形成された像は、デジタルカメラのＣＭＯＳ上に投影されるので、各マイクロレンズが作る回折像は、マイクロレンズの直下にある１６×１６の正方形の画素に投影されるが、その中でも回折像の円形中心分の画素（画素数１０×１０）が使用された。
　即ち、本発明における微小検出器は、ＣＭＯＳ上に縦１０個×横１０個の画素で構成され、その総数はマイクロレンズアレイの構成と同じ縦１２８個×横１２８個となる。このような構成のライトフィールド顕微鏡では、奥行き分解能は６μｍであった。この光学系の基本構成は、前述したRobert Prevedelらにより報告されたライトフィールド顕微鏡とほぼ同じであった。
　観察対象物には、マウス腎臓の切片が３色で蛍光染色されている試料（ThermoFisher Scientific社製　FluoCells F24630）を用いた。切片の厚さは１６μｍであった。この試料に対して、図１４に示すデータ処理方法を用いて、明視野像と微分位相像の観察（低分機能）を行った。また、比較例として、正立顕微鏡本来の機能である明視野像と微分干渉像の観察（高分解能）及びライトフィールド顕微鏡での４次元観察を行った。
　その結果を図１５～１７に示す。なお、図１５～１７に示す画像のうち、図１５Ａと図１６Ａは、多数あるＣＭＯＳ画素の受光強度ばらつきを補正するため、試料のないブランク状態での画像を用いて各画素の感度補正を行った後の較正画像である。
（１）微分位相ライトフィールド顕微鏡像と通常微分干渉像の比較
　図１５Ａはマウスの腎臓組織切片の点光源微分位相ライトフィールド顕微鏡像、図１５Ｂは面光源微分位相ライトフィールド顕微鏡像、図１５Ｃは通常微分干渉顕微鏡の粗視化像、図１５Ｄは通常微分干渉顕微鏡の高画素数オリジナル像である。図１５Ａに示す点光源微分位相ライトフィールド顕微鏡像と、図１５Ｃに示す通常微分干渉顕微鏡の粗視化像はきわめて類似しており、本発明の観察方法の実現性と効果を実証している。
　一方、図１５Ｂに示す面光源微分位相ライトフィールド顕微鏡像は、図１５Ａに示す点光源微分位相ライトフィールド顕微鏡像に比べて、画像がぼけて解像度が低下した。これは、図６Ｃに示すように、斜光成分が隣の画素に越境して入射するためと考えられる。この結果は、点光源が微分位相ライトフィールド顕微鏡用照明として優れていることを示している。図１５Ｄに示す通常微分干渉顕微鏡の高画素数オリジナル画像は、画素数を減らした効果を示すために参考として載せたものである。
（２）点光源明視野ライトフィールド顕微鏡像と通常明視野像（粗視化）の比較
　図１６Ａはマウスの腎臓組織切片の点光源明視野ライトフィールド顕微鏡像であり、図１６Ｂはその通常明視野法の粗視化像である。前述したように、微分位相ライトフィールド顕微鏡像の計算過程で得られる各マイクロ受光器の画像強度の面積分は、明視野像を与える。図１６Ａに示す点光源明視野ライトフィールド顕微鏡像は、こうして得られた点光源対応の明視野像である。これを、図１６Ｂに示す粗視化された通常明視野像と比較すると、両観察では光源面積に差があるためか、図１６Ａ，Ｂの両画像には図１５Ａ～Ｄの画像に見られるような並行性は見られなかった。
（３）面光源明視野ライトフィールド顕微鏡像と通常ライトフィールド顕微鏡像の比較
　図１７Ａはマウスの腎臓組織切片の面光源明視野ライトフィールド顕微鏡像、図１７Ｂはその通常ライトフィールド顕微鏡像である。これらの実験はともにライトフィールド顕微鏡モードの観察だが、得られたデータの処理が異なる。具体的には、図１７Ａは本発明の手法を適用した各マイクロ受光器検出全域の強度の積分値の画像、図１７Ｂは本来の面光源利用ライトフィールド顕微鏡の全焦点画像、即ち、異なる奥行きの合焦点像１０枚を再生し、その全ての画像の総和をとったものである。各マイクロ受光器における検出全域のデータを等分に使用する意味では、両者は同一結果を与えると予想されるが、両画像の類似性は高い。
　ライトフィールドカメラと焦点ずらしを用いたマルチフォーカスカメラの等価性は、すでに実験的に実証されており、図１５Ａ～Ｄに示す微分位相ライトフィールド顕微鏡の実証は、微分位相マルチフォーカス顕微鏡法の実証を含意している。従って、光源面積を制御できるケーラー照明を用いる微分位相法の本発明は実証されたといえる。
　１　顕微鏡装置
　２、１０、１００　光学系
　３　撮像部
　４　制御部
　５　データ処理部
　１１～１３、３１、１０１～１０３　レンズ
　２１、１１１　光源面
　２２、１１３　物面
　２３、１１２　絞り面
　２４、１１４　検出面
　２５　回折面
　２６　偏向コイル
　３１　ライトフィールドカメラの主レンズ
　３４　マイクロレンズアレイ
　３５　微小検出器アレイ
　４０　ビームストッパー
　４１　Ｈ状スリット
　４１ａ　架橋部
　４２　光源像
　ｆ　焦点距離
　Ｚ　光軸

Claims (16)

  1. 　顕微鏡の光軸上に配置された点光源例えば開口絞りを最小にしたケーラー照明法により光源から出射された光を観察対象物に平行照射する工程と、
    　前記観察対象物を透過した光を集光して像面上に配置されたマイクロレンズアレイに結像投影する工程と、
    　前記マイクロレンズアレイ後方検出面に配置されたマイクロ光検出器アレイ上に形成された回折光場の強度分布を検出する工程と、
    　前記マイクロ光検出器アレイ上の複数の回折画像から、マイクロレンズアレイ座標を２次元実空間座標、マイクロ光検出器アレイ上各検出座標を２次元周波数空間座標とする４次元データを生成する工程と、
    　前記４次元データを、前記２次元周波数空間座標における面積積分及び／又は重心積分を計算して、前記観察対象物の２次元強度像及び／又は２次元微分位相像を取得する工程と、
    を有する顕微鏡観察方法。
  2. 　前記絞り面と前記光軸との交点にビームストッパーを配置して非散乱成分を遮蔽する顕微鏡観察方法。
  3. 　面光源を構成する各点光源から同時出射された光を観察対象物に平行照射する工程と、
    　前記観察対象物を透過した光を集光して検出面に実像を結像させる工程と、
    　前記検出面に形成される光場の強度分布から実像を取得して互いにピントが異なる複数の実画像を撮像する工程と、
    　前記複数の実画像から３次元データを生成する工程と、
    　前記３次元データを３次元フーリエ変換した後、投影－断面定理を用いて光源面２次元座標と検出面２次元座標からなる４次元データを生成し、前記光源面２次元座標における面積積分及び／又は重心積分を計算して、前記観察対象物の２次元強度像及び／又は２次元微分位相像を取得する工程と、
    を有する顕微鏡観察方法。
  4. 　点光源から出射された光を観察対象物に斜め方向から平行照射する照明工程と、
    　前記観察対象物で偏向され、前記点光源と共役な位置に配置された絞りを通過した散乱光を集光して検出面に実像を結像させる結像工程と、
    　前記点光源を２次元走査しながら前記照明工程と前記結像工程を行い、光源面２次元座標と検出面２次元座標からなる４次元データを生成する工程と、
    　前記４次元データを、前記光源面２次元座標における重心積分を計算して、前記観察対象物の２次元微分位相像を取得する工程と
    を有する顕微鏡観察方法。
  5. 　前記絞りにおいて非散乱成分の集光する点にビームストッパーを配置し、非散乱成分を遮蔽する請求項３に記載の顕微鏡観察方法。
  6. 　点光源から出射された光を観察対象物に斜め方向から平行照射する照明工程と、
    　前記観察対象物で偏向され、前記点光源と共役な位置に配置された絞りを通過した散乱光を集光して検出面に実像を結像させる結像工程と、
    　前記絞りを２次元走査しながら前記照明工程と前記結像工程を行い、走査２次元座標と検出面２次元座標からなる４次元データを生成する工程と、
    　前記４次元データを、前記走査２次元座標と点対称の光源面２次元座標における重心積分を計算して、前記観察対象物の２次元微分位相像を取得する工程と
    を有する顕微鏡観察方法。
  7. 　前記絞りにおいて非散乱成分の集光する点にビームストッパーを配置し、非散乱成分を遮蔽する請求項６に記載の顕微鏡観察方法。
  8. 　点光源から出射された光を観察対象物に斜め方向から平行照射する照明工程と、
    　前記観察対象物で偏向され、前記点光源と共役な位置に配置されたＨ状スリットを通過した散乱光を集光して検出面に実像を結像させる結像工程と、
    　前記Ｈ状スリットの架橋部に光源像が位置するように調整し、該架橋部において前記点光源からの光又は前記Ｈ状スリットの走査を１次元で行い、３次元データを生成する工程と、
    　前記３次元データを、検出面２次元座標の各点における１次元データの重心積分を計算して、前記観察対象物の２次元微分位相像を取得する工程と
    を有し、
    　非散乱成分は前記Ｈ状スリットの架橋部分に集光するので、架橋がビームストッパーの役割を果たし、非散乱成分を遮蔽する顕微鏡観察方法。
  9. 　顕微鏡の光軸上に配置された点光源例えば開口絞りを最小にしたケーラー照明法により光源から出射された光を観察対象物に平行照射する照明光学系と、
    　前記観察対象物を透過した光を集光して像面上に配置されたマイクロレンズアレイに結像投影する結像光学系と、
    　前記マイクロレンズアレイ後方検出面に配置されたマイクロ光検出器アレイ上に形成された回折光場の強度分布を検出する撮像部と、
    　前記マイクロ光検出器アレイ上の複数の回折画像から、マイクロレンズアレイ座標を２次元実空間座標、マイクロ光検出器アレイ上各検出座標を２次元周波数空間座標とする４次元データを生成する４次元データ生成部と、
    　前記４次元データの、前記２次元周波数空間座標における面積積分及び／又は重心積分を計算するデータ処理部と、を有し、
    　前記観察対象物の２次元強度像及び／又は２次元微分位相像を得る透過型顕微鏡装置。
  10. 　面光源を構成する各点光源から同時出射された光を観察対象物に平行照射する照明光学系と、
    　前記観察対象物を透過した光を集光して、検出面に実像を結像させる結像光学系と、
    　前記検出面に形成される光場の強度分布から実像を取得し、互いにピントが異なる複数の実画像を撮像する撮像部と、
    　前記複数の実像画像から３次元データを生成する３次元データ生成部と、
    　前記３次元データから前記観察対象物の２次元強度像及び／又は２次元微分位相像を生成するデータ処理部と、を有し、
    　前記データ処理部は、前記３次元データを３次元フーリエ変換した後、投影－断面定理を用いて光源面２次元座標と検出面２次元座標からなる４次元データを生成し、前記光源面２次元座標における面積積分及び／又は重心積分を計算して、前記観察対象物の２次元強度像及び／又は２次元微分位相像を得る透過型顕微鏡装置。
  11. 　前記照明光学系は、１枚又は１群のレンズ及び１枚又は１群の絞りにより構成されている請求項９又は１０に記載の透過型顕微鏡装置。
  12. 　前記結像光学系は、少なくとも２枚のレンズの間に絞り面が配置された構成を有する請求項９～１１のいずれか１項に記載の透過型顕微鏡装置。
  13. 　点光源から出射された光を観察対象物に斜め方向から平行照射する照明光学系と、
    　前記観察対象物で偏向され、前記点光源と共役な位置に配置された絞りを通過した散乱光を集光して検出面に実像を結像させる結像光学系と、
    　前記点光源を２次元走査しながら前記平行照射と前記結像を行い、光源面２次元座標と検出面２次元座標からなる４次元データを生成する４次元データ生成部と、
    　前記４次元データを、前記光源面２次元座標における重心積分を計算して、前記観察対象物の２次元微分位相像を取得するデータ処理部と
    を有する透過型顕微鏡装置。
  14. 　点光源から出射された光を観察対象物に斜め方向から平行照射する照明光学系と、
    　前記観察対象物で偏向され、前記点光源と共役な位置に配置された絞りを通過した散乱光を集光して検出面に実像を結像させる結像光学系と、
    　前記絞りを２次元走査しながら前記平行照射と前記結像を行い、走査２次元座標と検出面２次元座標からなる４次元データを生成する４次元データ生成部と、
    　前記４次元データを、前記走査２次元座標と点対称の光源面２次元座標における重心積分を計算して、前記観察対象物の２次元微分位相像を取得するデータ処理部と
    を有する透過型顕微鏡装置。
  15. 　点光源から出射された光を観察対象物に斜め方向から平行照射する照明光学系と、
    　前記観察対象物で偏向され、前記点光源と共役な位置に配置されたＨ状スリットを通過した散乱光を集光して検出面に実像を結像させる結像光学系と、
    　前記Ｈ状スリットの架橋部に光源像が位置するように調整し、該架橋部において前記点光源からの光又は前記Ｈ状スリットの走査を１次元で行い、３次元データを生成する３次元データ生成部と、
    　前記３次元データを、検出面２次元座標の各点における１次元データの重心積分を計算して、前記観察対象物の２次元微分位相像を取得するデータ処理部と
    を有し、
    　非散乱成分は前記Ｈ状スリットの架橋部分に集光するので、架橋がビームストッパーの役割を果たし、非散乱成分を遮蔽する透過型顕微鏡装置。
  16. 　点光源から出射された光を観察対象物に斜め方向から平行照射する照明光学系と、
    　前記観察対象物で偏向され、前記点光源と共役な位置に配置された絞りを通過した散乱光を集光して像面上に配置されたマイクロレンズアレイに結像投影する結像光学系と、
    　前記マイクロレンズアレイ後方検出面に配置されたマイクロ光検出器アレイ上に形成された回折光場の強度分布を検出する検出系と、
    　前記マイクロ光検出器アレイ上の複数の回折画像から、マイクロレンズアレイ座標を２次元実空間座標、マイクロ光検出器アレイ上各検出座標を２次元周波数空間座標とする４次元データを生成する４次元データ生成部と、
    　前記４次元データを、前記２次元周波数空間座標における重心積分を計算して、前記観察対象物の２次元微分位相像を取得するデータ処理部と
    を有し、
    　絞り面と光軸との交点にビームストッパーを配置して非散乱成分を遮蔽する透過型顕微鏡装置。
PCT/JP2018/028534 2017-12-06 2018-07-31 顕微鏡観察方法及び透過型顕微鏡装置 WO2019111440A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18886557.0A EP3722861A1 (en) 2017-12-06 2018-07-31 Observation method using microscope and transmission-type microscopic device
JP2019557991A JP6900066B2 (ja) 2017-12-06 2018-07-31 顕微鏡観察方法及び透過型顕微鏡装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-234714 2017-12-06
JP2017234714 2017-12-06

Publications (1)

Publication Number Publication Date
WO2019111440A1 true WO2019111440A1 (ja) 2019-06-13

Family

ID=66750859

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028534 WO2019111440A1 (ja) 2017-12-06 2018-07-31 顕微鏡観察方法及び透過型顕微鏡装置

Country Status (3)

Country Link
EP (1) EP3722861A1 (ja)
JP (1) JP6900066B2 (ja)
WO (1) WO2019111440A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579474A (zh) * 2019-09-24 2019-12-17 中国科学院力学研究所 一种同时观测晶体形貌及测量晶体周围浓度场的装置
WO2024113316A1 (zh) * 2022-12-01 2024-06-06 骆远 可携式量化差分相位对比显微模块以及其深度学习重建方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4394487A1 (fr) * 2022-12-28 2024-07-03 Commissariat à l'énergie atomique et aux énergies alternatives Dispositif d`observation d'un échantillon par imagerie
CN116704008B (zh) * 2023-08-01 2023-10-17 城云科技（中国）有限公司 基于画面面积计算判断物体的方法、装置及其应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61219919A (ja) * 1985-03-27 1986-09-30 Olympus Optical Co Ltd 走査型光学顕微鏡
JP2003051268A (ja) * 2001-08-07 2003-02-21 Sony Corp 偏向ヨーク
US20130176622A1 (en) * 2012-01-11 2013-07-11 Howard Hughes Medical Institute Multi-Dimensional Imaging Using Multi-Focus Microscopy
CN103513411A (zh) * 2013-09-27 2014-01-15 香港应用科技研究院有限公司 荧光显微镜中聚焦的装置和方法
US20140263963A1 (en) * 2013-03-15 2014-09-18 The Board Of Trustees Of The Leland Stanford Junior University Volume imaging with aliased views
JP2017167535A (ja) * 2016-03-14 2017-09-21 オリンパス株式会社 ライトフィールド顕微鏡および照明方法
WO2018211601A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置および撮像システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10288741A (ja) * 1997-04-15 1998-10-27 Nikon Corp 顕微鏡
US6477273B1 (en) * 1999-10-21 2002-11-05 3M Innovative Properties Company Centroid integration
WO2001029756A2 (en) * 1999-10-21 2001-04-26 3M Innovative Properties Company Autogrid analysis
US7471393B2 (en) * 2004-03-06 2008-12-30 Michael Trainer Methods and apparatus for determining the size and shape of particles
JP2012220610A (ja) * 2011-04-06 2012-11-12 Nikon Corp 顕微鏡装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61219919A (ja) * 1985-03-27 1986-09-30 Olympus Optical Co Ltd 走査型光学顕微鏡
JP2003051268A (ja) * 2001-08-07 2003-02-21 Sony Corp 偏向ヨーク
US20130176622A1 (en) * 2012-01-11 2013-07-11 Howard Hughes Medical Institute Multi-Dimensional Imaging Using Multi-Focus Microscopy
US20140263963A1 (en) * 2013-03-15 2014-09-18 The Board Of Trustees Of The Leland Stanford Junior University Volume imaging with aliased views
CN103513411A (zh) * 2013-09-27 2014-01-15 香港应用科技研究院有限公司 荧光显微镜中聚焦的装置和方法
JP2017167535A (ja) * 2016-03-14 2017-09-21 オリンパス株式会社 ライトフィールド顕微鏡および照明方法
WO2018211601A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置および撮像システム

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
A. GIANONCELLIG. R. MORRISONB. KAULICHD. BACESCUJ.KOVAC: "Scanning transmission x-ray microscopy with a configurable detector", APPL. PHYS. LETT., vol. 89, 2006, XP012087712, DOI: 10.1063/1.2422908
A. LUBKJ. ZWECK: "Differential phase contrast: An integral perspective", PHYS. REV., vol. A91, 2015
B. HORNBERGERM. FESERC. JACOBSEN: "Quantitative amplitude and phase contrast imaging in a scanning transmission X-ray microscope", ULTRAMICROSCOPY, vol. 107, 2007, pages 644 - 655, XP022042058, DOI: 10.1016/j.ultramic.2006.12.006
E. M. WADDELLJ. N. CHAPMAN: "Linear imaging of strong phase objects using asymmetrical detection in STEM", OPTIK, vol. 54, 1979, pages 83 - 96, XP055617071
G. R. MORRISONJ. N. CHAPMAN: "A comparison of three differential phase contrast systems suitable for use in STEM", OPTIK, vol. 64, 1983, pages 1 - 12
I. LAZICE. G. T. BOSCHS. LAZAR: "Phase contrast STEM for thin samples: Integrated differential phase contrast", ULTRAMICROSCOPY, vol. 160, 2016, pages 265 - 280, XP029344830, DOI: 10.1016/j.ultramic.2015.10.011
J. PALMERG. MORRISON: "Differential phase contrast imaging in the scanning transmission x-ray microscope", PROC. SHORT-WAVELENGTH COHERENT RADIATION, vol. 11, 1991, pages 141 - 145
KAZUYA KODAMAAKIRA KUBOTA: "Efficient Reconstruction of All-in-Focus Images Through Shifted Pinholes from Multi-Focus Images for Dense Light Field Synthesis and Rendering", IEEE TRANS. IMAGE PROCESSING, vol. 22, 2013, pages 4407 - 4421, XP011526863, DOI: 10.1109/TIP.2013.2273668
P. THIBAULTM. DIEROLFA. MENZELO. BUNKC. DAVIDF. PFEIFFER: "High-Resolution Scanning X-ray Diffraction Microscopy", SCIENCE, vol. 321, 2008, pages 379 - 382
REN NGMARC LEVOYMATHIEU BREDIFGENE DUVALMARK HOROWITZPAT HANRAHAN: "Light Field Photography with a Hand-held Plenoptic Camera", STANFORD TECH REPORT CTSR, vol. 02, 2005, pages 1 - 11
ROBERT PREVEDEL ET AL.: "Simultaneous whole-animal 3Dimaging of neuronal activity using light-field microscopy", NATURE METHODS, vol. 11, 2014, pages 727 - 730
WADDELL, E. M. ET AL.: "Linear imaging of strong phase objects using asymmetrical detection in STEM", OPTIK, vol. 54, 5 February 1979 (1979-02-05), pages 83 - 96, XP055617071 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579474A (zh) * 2019-09-24 2019-12-17 中国科学院力学研究所 一种同时观测晶体形貌及测量晶体周围浓度场的装置
WO2024113316A1 (zh) * 2022-12-01 2024-06-06 骆远 可携式量化差分相位对比显微模块以及其深度学习重建方法

Also Published As

Publication number Publication date
JPWO2019111440A1 (ja) 2020-12-10
EP3722861A1 (en) 2020-10-14
JP6900066B2 (ja) 2021-07-07

Similar Documents

Publication Publication Date Title
WO2019111440A1 (ja) 顕微鏡観察方法及び透過型顕微鏡装置
US20220254538A1 (en) Fourier ptychographic imaging systems, devices, and methods
CN105659143B (zh) 孔径扫描傅立叶重叠关联成像
CN102687056B (zh) 用于显微镜检查的传感器
JP6408543B2 (ja) 走査型光学ユニットを用いた光照射野の画像化
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
Zheng et al. Fourier ptychographic microscopy: a gigapixel superscope for biomedicine
CN113671681A (zh) 光片显微镜以及用于运行光片显微镜的方法
JP6131013B2 (ja) 点状対象物の３次元位置決め用の顕微鏡装置および顕微鏡法
JP2010537166A (ja) サンプルを撮像する方法
CN106796404B (zh) 制造光刻结构的光学系统
JP5626367B2 (ja) 焦点位置維持装置及び顕微鏡
RU2580870C2 (ru) Система получения изображения высокого разрешения
JP6533665B2 (ja) 電子顕微鏡および収差測定方法
JP2022000834A (ja) 電子顕微鏡観察方法、透過型電子顕微鏡用絞り走査高速模倣装置、透過型電子顕微鏡及びデータ処理システム
JP2009516314A (ja) 焦点制御を有する情報担体の走査方法及びシステム
WO2020178994A1 (ja) 顕微鏡観察方法、透過型顕微鏡装置、および走査透過型顕微鏡装置
JP5822067B2 (ja) 顕微鏡装置
CN117369106B (zh) 一种多点共聚焦图像扫描显微镜及成像方法
Moreno et al. A nano-illumination microscope with 7 mm2 extended field-of-view and resolution below 1µm
JP2004144932A (ja) 共焦点顕微鏡システム
WO2024020655A1 (en) A computational microscopy method and system for volumetric imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18886557

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019557991

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018886557

Country of ref document: EP

Effective date: 20200706