WO2017094184A1 - 走査型顕微鏡および顕微鏡画像取得方法 - Google Patents
走査型顕微鏡および顕微鏡画像取得方法 Download PDFInfo
- Publication number
- WO2017094184A1 WO2017094184A1 PCT/JP2015/084143 JP2015084143W WO2017094184A1 WO 2017094184 A1 WO2017094184 A1 WO 2017094184A1 JP 2015084143 W JP2015084143 W JP 2015084143W WO 2017094184 A1 WO2017094184 A1 WO 2017094184A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- sample
- illumination
- unit
- scanning
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
Definitions
- the present invention relates to a scanning microscope and a microscope image acquisition method.
- a fluorescence microscope is known in which a sample is irradiated with excitation light from a light source to generate fluorescence from a fluorescent substance in the sample, and the generated fluorescence is separated from the excitation light and detected to detect a fluorescence image.
- Fluorescence microscopes include a laser beam scanning microscope that irradiates a sample while scanning a laser beam and a multiphoton excitation microscope that utilizes a multiphoton absorption process.
- a two-photon excitation microscope using a two-photon excitation process is particularly popular.
- a two-photon excitation microscope when a near-infrared pulse laser is condensed in a sample, a two-photon absorption process, which is a nonlinear optical process, occurs only at the focal point, and fluorescence is generated.
- the wavelength of the laser to be used is in the near infrared region, it is less susceptible to scattering in the sample than the wavelength in the visible region, and fluorescence is generated only from the laser condensing point. Compared with the laser of, it is suitable for observation in the deep part.
- the fluorescence is often visible light and is strongly scattered in the sample. Therefore, it is possible to acquire spatial information by imaging using a camera or a pinhole. difficult.
- a photomultiplier tube (PMT) with high sensitivity is often used as the photodetector. That is, the optical system for fluorescence detection does not have a function of performing spatial decomposition, but only acquires the total intensity signal of fluorescence, and the spatial resolution of the image is the PSF at the condensing point from the objective lens of the excitation laser. It is determined only by (Point Spread Function). For this reason, in order to improve the spatial resolution, it is necessary to have some effect on the PSF of the excitation laser.
- SIM Structured Illumination
- the SIM irradiates the entire observation range of the sample with a striped pattern by structured illumination, and uses a camera as a detector for acquiring the image.
- a camera it is necessary to detect a very small amount of fluorescence signal generated in the deep portion and taken into the objective lens with a good S / N ratio, and the fluorescence is often visible light in the sample.
- the camera is not suitable as a detector because it is difficult to form an image by receiving strong scattering. Therefore, it is difficult to apply SIM to a two-photon excitation microscope.
- the present invention has been made in view of the above-described circumstances, and provides a scanning microscope and a microscope image acquisition method capable of acquiring an image in which high-frequency components are emphasized by applying SIM without using a camera.
- the purpose is that.
- One aspect of the present invention includes an illumination unit and a detection unit, and the illumination unit generates a plurality of illumination lights, and spatially emits the plurality of illumination lights emitted from the light generation units.
- a scanning unit that scans so that the overlap periodically changes depending on the position of the sample; and an objective lens that collects the illumination light scanned by the scanning unit on the sample, and the detection unit
- a light-receiving unit that detects signal light generated at the spatially overlapping position of the illumination light in the sample by irradiation and a signal detected by the light-receiving unit are reconstructed to generate an image of the sample It is a scanning microscope provided with the processing part to perform.
- the spatial overlap of the plurality of illumination lights depends on the position of the sample. Scanning is performed periodically, and signal light is generated at each spatial overlap position. The generated signal light is detected for each position of the sample by the light receiving unit, and is reconstructed in the processing unit to acquire an image of the sample. That is, according to this aspect, the spatial overlap of the illumination light is periodically changed while scanning the illumination light. Therefore, even in a scanning microscope that does not use a camera, an image in which high frequency components are enhanced by applying SIM is used. Can be acquired.
- the light generation unit generates a plurality of illumination lights having different time frequencies
- the light receiving unit includes a time frequency selection unit that selects only the signal light generated at the spatial overlap position. Also good. By doing in this way, only the signal from the spatial overlap position of several illumination light is easily detectable.
- the said light generation part may generate
- the spatial distribution of the illumination light in the spatial overlap in the sample can be arbitrarily shaped.
- the first illumination light may be spatially distributed over the entire pupil at the pupil position of the objective lens, and the second illumination light may be spatially distributed around the pupil at the pupil position of the objective lens.
- the spatial distribution of the illumination light in the spatial overlap can be a stripe pattern with a short period within the range of the numerical aperture of the objective lens.
- the said time frequency selection part may be provided with the lock-in amplifier. In this way, it is possible to easily detect only the signal light from the spatial overlap.
- the light generating unit includes a light source, a branching unit that branches light from the light source, and an acoustooptic device that modulates the light branched by the branching unit into illumination light having different time frequencies.
- an electro-optical element may be provided.
- the illumination light may be excitation light that excites a fluorescent substance in a sample to induce fluorescence
- the signal light may be fluorescence.
- the said illumination light may induce fluorescence by the multiphoton absorption effect.
- the said process part may reconfigure
- an image generation step of generating a sample image by reconstructing the signal detected by the detection step.
- the scanning microscope of FIG. 1 it is a figure which shows intensity distribution in the pupil of the objective lens of a 1st laser beam.
- the scanning microscope of FIG. 1 it is a figure which shows intensity distribution in the pupil of the objective lens of a 2nd laser beam.
- FIG. 4A It is a figure which shows the 1st laser beam intensity distribution in the condensing position in the sample S obtained by squaring the electric field distribution of FIG. 4A. It is a figure which shows the 2nd laser beam intensity distribution in the condensing position in the sample S obtained by squaring the electric field distribution of FIG. 4B.
- FIG. 1 In the scanning microscope of FIG. 1, it is a figure which shows distribution of the laser beam in the overlapping position of the 1st laser beam and the 2nd laser beam. It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6A.
- FIG. 6B It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6B. It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6C. It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6D. It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6E. It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG.
- FIG. 6F It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6G. It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6H. It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6I. It is a figure which shows distribution of the laser beam when the overlapping position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6J.
- FIG. 6K It is a figure which shows distribution of the laser beam when the overlap position of the 1st laser beam and the 2nd laser beam is changed minutely from FIG. 6K. It is a figure which shows distribution of the total laser beam at the time of performing FIG. 6A to FIG. 6L repeatedly. It is a figure which shows the frequency distribution before frequency rearrangement. It is a figure which shows the frequency distribution after frequency rearrangement. It is a figure which shows the frequency distribution which added and shifted the frequency shift direction by 120 degrees and 240 degrees with the image rotation element. It is a figure which shows the modification of the laser distribution adjustment part of FIG. It is a front view which shows an example of the mask used for FIG. It is a typical whole block diagram which shows the modification of the scanning microscope of FIG.
- the scanning microscope 1 is a multiphoton excitation scanning microscope 1 and includes an illumination unit 2 and a detection unit 3.
- the microscope image acquisition method according to the present embodiment includes a scanning step, an irradiation step, a detection step, and an image generation step.
- the illumination unit 2 includes a light generation unit 4, a scanning unit 5, and an objective lens 6, and the detection unit 3 includes a light receiving unit 7 and a processing unit 8.
- the light generation unit 4 includes a laser light source (light source) 9 that generates ultrashort pulse laser light (hereinafter simply referred to as laser light (excitation light)), and laser light emitted from the laser light source 9 in two optical paths ( A beam splitter (branching unit) 10 that branches into a first laser beam (first illumination beam) and a second laser beam (second illumination beam) traveling in the first optical path L1 and the second optical path L2), and each optical path L1 , L2 for modulating the time frequency of the laser beam branched to L2, beam diameter adjusting optical systems 13 and 14 for adjusting the beam diameter of the laser beam in each of the optical paths L1 and L2, and the first optical path L1.
- a beam splitter (branching unit) 10 that branches into a first laser beam (first illumination beam) and a second laser beam (second illumination beam) traveling in the
- the laser light source 9 is mainly a femtosecond pulse laser light source such as a titanium sapphire laser.
- the optical modulators 11 and 12 are composed of, for example, an acousto-optic element or an electro-optic element, shift the time frequency of the first laser light in the first optical path L1 to ⁇ 1, and the time of the second laser light in the second optical path L2. The frequency is shifted to ⁇ 2.
- the beam diameter adjusting optical system 13 disposed in the first optical path L1 serves as a beam expander, and adjusts the light beam diameter so that the first laser light fills the pupil of the objective lens 6.
- the beam diameter adjusting optical system 14 disposed in the second optical path L2 is configured to adjust the beam diameter of the second laser light depending on the configuration of the laser distribution adjusting unit 16.
- the optical path length adjusting optical system 15 includes a first mirror 15a disposed at an angle of 45 ° with respect to the optical axis of the first laser light, and laser light deflected by 90 ° by the first mirror 15a.
- a second mirror 15b that turns back 180 ° and a third mirror 15c that deflects the laser light turned back by the second mirror 15b by 90 ° are provided.
- the optical path length adjusting optical system 15 moves the second mirror 15b toward and away from the fixed first mirror 15a and third mirror 15c (direction of arrow A), thereby returning the optical path length.
- the laser distribution adjusting unit 16 includes a beam splitter 17 that branches incident laser light into two optical paths, and an optical path length of one optical path with respect to an optical path length of the other optical path.
- An optical path length adjusting optical system 18 for adjustment, a triangular prism 19 that deflects laser light that has passed through the two optical paths so as to be parallel with a minute gap, and an image rotation element 20 are provided.
- the optical path length adjusting optical system 18 has substantially the same structure as the optical path length adjusting optical system 15 described above, and moves the L-shaped mirror 18b in the direction of arrow B with respect to the fixed mirror 18a and the triangular prism 19. Thus, the optical path length can be adjusted.
- the triangular prism 19 is provided so as to be capable of translational movement in the direction of emission of the laser light to the image rotation element 20 (the direction of the arrow C), and adjusts the interval between the parallel laser lights to the image rotation element 20 by movement. Be able to.
- the image rotation element 20 is composed of, for example, a dove prism.
- the image rotation element 20 is set so as to be able to rotate two incident light beams that are incident with their intermediate point as a rotation center.
- the beam diameter adjusting optical system 14 is adjusted so that the beam diameter of the second laser light is sufficiently smaller than the pupil of the objective lens 6.
- the scanning unit 5 is a biaxial galvano scanner 5a, 5b in which two pairs of galvano mirrors respectively provided in two optical paths branched by the beam splitter 10 are opposed to each other.
- the galvano scanner 5a on the first optical path L1 scans the first laser light after the optical path length is adjusted by the optical path length adjusting optical system 15 in a two-dimensional manner.
- the galvano scanner 5b in the second optical path L2 is configured to two-dimensionally scan the second laser light whose distribution is adjusted by the laser distribution adjusting unit 16.
- a pupil projection lens 21 is provided in the first optical path L1 and the second optical path L2, and the first laser light and the second laser light that have passed through each pupil projection lens 21 are combined by the beam splitter 22 to form an imaging lens.
- the light beam is collimated by the light beam 23 and is incident on the objective lens 6.
- the second laser light that has passed through the laser distribution adjustment unit 16 is actually two light beams, but is shown by a single line for the sake of simplicity.
- reference numeral 24 denotes a mirror for forming an optical path.
- FIGS. 3A and 3B the intensity distributions of the first laser light and the second laser light at the pupil of the objective lens 6 are shown in FIGS. 3A and 3B.
- the first laser light fills the entire pupil, and FIG. 3A shows that the intensity is constant in the pupil for the sake of simplicity.
- the second laser light is incident on the periphery of the pupil with a small light beam diameter.
- 4A and 4B show the electric field distribution of each laser beam that is emitted from the objective lens 6 and is focused on the sample S under this condition. While the first laser beam is focused on a small spot, the second laser beam has a striped electric field distribution.
- the pupil distribution of the objective lens 6 corresponds to the spatial frequency distribution of the condensed light, and becomes higher in frequency from the center to the periphery of the pupil. Since the first laser beam contains from low frequency to high frequency, the electric field of each frequency is added at the condensing point to form a spot shape. On the other hand, the second laser beam is incident only on the periphery of the pupil. This indicates that the second laser beam has only a high frequency component. Therefore, the electric field distribution has a substantially single frequency and becomes a striped distribution at the focal point.
- the detection unit 3 includes a main detection unit 25 and an auxiliary detection unit 26.
- the main detection unit 25 includes a dichroic mirror 25a for branching the fluorescence collected by the objective lens 6 from the optical path of the laser light among the fluorescence generated by the multiphoton absorption effect at the laser beam condensing position in the sample S, and A condensing lens 25b for condensing the fluorescence branched by the dichroic mirror 25a, a photodetector 25c for detecting the fluorescence condensed by the condensing lens 25b, and the fluorescence detected by the photodetector 25c.
- a lock-in amplifier (time frequency selection unit) 25d that extracts only the fluorescence intensity signal of a specific time frequency.
- the light detector 7 is configured by the photodetector 25c and the lock-in amplifier 25d.
- the processing unit 8 generates an image based on the fluorescence intensity signal extracted by the lock-in amplifier 25d.
- the photodetector 25c is preferably a PMT (photomultiplier tube), but any detector can be adopted as long as it can detect fluorescence with high sensitivity.
- the auxiliary detection unit 26 When the first laser beam and the second laser beam are combined by the beam splitter 22, the auxiliary detection unit 26 outputs a component emitted from the beam splitter 22 in a direction different from the direction of the objective lens 6.
- the photodetector 26c only needs to detect the intensity of the laser beam, and a photodiode or the like can be used. Further, the collimator lens 26a and the condensing lens 26b may be omitted as long as the combined intensity of the first laser beam and the second laser beam can be detected by the photodetector 26c.
- the specific frequency extracted by the lock-in amplifier 25d will be described. Focusing on the spatial overlap of the first laser beam and the second laser beam at the condensing position in the sample S, the first laser beam and the second laser beam are timed at ⁇ 1 and ⁇ 2 by the optical modulators 11 and 12, respectively. The frequency is modulated. When waves of different frequencies are superimposed, the frequency component of the difference is detected as a beat. That is, the time frequency component of
- the laser beam is an ultrashort pulse laser beam. Therefore, in order for the beat to occur due to the overlap between the first laser beam and the second laser beam, the first laser beam and the second laser beam are used. It is necessary that the light pulse reaches the condensing position at the same timing. Therefore, it is necessary to adjust the optical path length adjusting optical system 15 so that the optical path lengths of the first laser beam and the second laser beam are equal.
- E1 and E2 are electric field amplitudes of the first laser beam and the second laser beam, respectively.
- cos ( ⁇ 1- ⁇ 2) t and sin ( ⁇ 1- ⁇ 2) t represent the beat time oscillation.
- the fluorescence intensity Ifl_2P in the multiphoton excitation microscope is proportional to the square of Iex, it is expressed by Equation 2.
- a component having a frequency (1f) equal to the beat frequency and a component having a frequency (2f) twice the beat frequency are generated.
- the lock-in amplifier 25d when demodulating by the lock-in amplifier 25d at a frequency of 2f, from the photodetector 25c at a frequency twice the frequency of the beat signal obtained by the photodetector 26c input as a reference signal to the lock-in amplifier 25d.
- the input signal may be detected.
- a signal proportional to the square of the inner product of E1 and E2 is detected.
- E1 and E2 are the distributed electric fields in FIGS. 4A and 4B at the condensing position from the objective lens 6.
- a component proportional to the square of the product of the electric field distribution of the first laser light in FIG. 4A and the electric field distribution of the second laser light in FIG. 4B is detected.
- the images of FIGS. 4A and 4B are squared.
- the product distribution of the images of the first laser beam in FIG. 5A and the second laser beam in FIG. 5B is detected.
- FIG. 6A to FIG. 6L show signal distributions when demodulating at the time frequency 2f while changing the overlapping position of the first laser beam and the second laser beam.
- the distribution of the stripe pattern of the second laser light in FIG. 5B is obtained by reading the spot of the first laser light in FIG. 5A.
- 6A to 6L are not the distribution of the sample S but the distribution of the laser light after demodulation. That is, when the signal is acquired by demodulating at the time frequency 2f, it means that the PSF of the laser light has a spatial distribution as shown in FIGS. 6A to 6L.
- the electric field distribution of the laser light actually irradiated becomes the distribution of the first laser light in FIG. 4A and the second laser light in FIG. 4B, and the fluorescence detected by the photodetector 25c is the laser light.
- the signal is demodulated at the time frequency 2f by the lock-in amplifier 25d, the fluorescence excited by the PSF laser light shown in FIGS. 6A to 6L. Only the signal will be detected (detection step).
- the fringe pattern used in the SIM when the camera is used is divided into fine PSFs and observed with the scanning microscope 1. More specifically, it can be understood that the distribution of the fringe pattern of the second laser light in FIG. 5B is applied to the sample S and scanned by the spot of the first laser light in FIG. 5A.
- the distribution of the second laser light in FIG. 5B is wider than the spot of the first laser light in FIG. 5A, the size is small to cover the entire sample S. Therefore, the second laser beam is spatially scanned as the phase of the fringe pattern advances by 2 ⁇ .
- the sample S is irradiated with the second laser beam, and at the same time, the first laser beam is first irradiated onto the dark ring one left from the center of the second laser beam in FIG. 5B.
- the actual PSF demodulated at the time frequency 2f in this case corresponds to PSF1 in FIG. 6A.
- the first laser beam is again positioned on the dark ring one left from the center of the second laser beam.
- the first laser beam is moved by the galvano scanner 5b shown in FIG.
- the shape of the PSF differs depending on the spatial position as shown in FIGS. 6A to 6L. It is obvious that this element is essential in view of spatial decomposition of the striped pattern. Therefore, for example, when the intensity is changed for each pixel with a PSF having the same shape so as to have a stripe-like intensity distribution, the effect cannot be expected.
- the high frequency component of the spatial frequency can be emphasized.
- the spatial frequency distribution will be described with reference to FIG. FIG. 8A shows the range of observable spatial frequencies in the image.
- the range shown in gray is the spatial frequency distribution of the PSF of the first laser light in FIG. 5A (that is, the range observable with the PSF in FIG. 5A), and the spatial resolution is improved in proportion to the width of this range. be able to.
- the DC component has the strongest intensity, and the intensity decreases with increasing frequency, whereas the frequency component that can be observed according to the frequency by exciting with a fringe pattern. Shift occurs.
- DC to (kx, ky) (k x1 , 0).
- the frequency components can be separated and rearranged by obtaining a plurality of images by changing the phase of the fringe pattern and further performing computation in the frequency space.
- the frequency components after rearrangement are shown in FIG. 8B.
- the image rotation element 20 rotates the second laser light to change the overlapping position and the scanning direction of the first laser light and the second laser light, thereby enhancing the high frequency as shown in FIG. 8C.
- the area that can be created can be expanded two-dimensionally.
- the scanning microscope 1 such as a multiphoton excitation microscope
- high-frequency components are emphasized by exciting with a different PSF for each spatial position to have the effect of structured illumination.
- the discrimination of the fine structure of the sample S can be improved.
- the configuration shown in FIG. 2 is used in the laser distribution adjusting unit 16, but a configuration shown in FIG. 9 may be used instead.
- a mask 30 black portion is a shielding portion
- FIG. 10 is arranged on the optical path so that the second laser light is incident only on both ends of the pupil of the objective lens 6.
- the beam diameter adjusting optical system 14 in FIG. 1 adjusts the beam diameter so that the second laser beam covers the entire mask 30. In this way, if the second laser light irradiates only both ends of the pupil of the objective lens 6, the same effect as described above can be obtained.
- the mask 30 itself may be rotated instead of rotating the image rotating element 20.
- the galvano scanners 5a and 5b for independently scanning the first laser beam and the second laser beam are provided, but instead of this, as shown in FIG.
- the combining position of the laser light and the second laser light may be different, and the second laser light may be combined with the first laser light by the beam splitter 22 in front of the galvano scanner 41.
- the second laser light passes through both the galvano scanners 5a and 5b.
- reference numeral 41 denotes a relay lens, which is arranged so that the galvano scanners 5a and 5b are optically conjugate.
- the second laser light is scanned relative to the first laser light.
- the scanning microscope 1 of FIG. 1 it is necessary to grasp the absolute positions of the scanning on the sample S of the two galvano scanners 5a and 5b, but in the scanning microscope 40 of FIG. It is sufficient that the relative scanning amount with respect to can be grasped, and there is an advantage that the apparatus configuration and optical scanning can be simplified.
- 2f is described as the demodulation frequency.
- the spatial distribution of the laser light at the pupil position of the objective lens 6 is not limited to the above, and the effect of structured illumination can be obtained if the PSF shape is different for each pixel.
- the intensity of each frequency component may be adjusted.
- high frequency enhancement can also be performed in image processing by simply operating the intensity ratio of the three rearranged components described above by calculation.
- the PSF shape in the real space becomes a complicated shape such as having a negative component. In such a case, the PSF having a natural shape can be obtained by using deconvolution together. An acquired image can be created.
- the present embodiment can be applied to other scanning microscopes and can be used for multi-photon microscopes other than one-photon microscopes and two-photon microscopes.
- the observation is not deep, or when the fluorescence scattering is relatively small in the transparent sample S, the PSF shape is not disturbed and the fluorescence signal is strong even during detection. It may be combined with a hall.
- the transmission type can also be configured, and the configuration can be changed in any way as long as the principle of the present plan can be applied, such as a stage scan instead of a galvano scan. It is.
- the present invention can be applied to other than fluorescence observation as long as it is a scanning microscope.
- the signal light becomes laser light that is transmitted or reflected by the sample S.
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Microscoopes, Condenser (AREA)
Abstract
カメラを用いることなくSIMを適用して高周波成分を強調した画像を取得することを目的として、走査型顕微鏡(1)は、照明部(2)と、検出部(3)とを備え、照明部(2)が、複数の照明光を発生する光発生部(4)と、該光発生部(4)から発せられた複数の照明光の空間的重なりが試料(S)の位置によって周期的に変化するように走査する走査部(5)と、該走査部(5)により走査された照明光を試料(S)に集光する対物レンズ(6)とを備え、検出部(3)が、照明光の照射によって、試料(S)内の照明光の空間的重なり位置で発生した信号光を試料(S)の位置毎に検出する受光部(7)と、該受光部(7)により検出した信号を再構成して試料(S)の画像を生成する処理部(8)とを備える。
Description
本発明は、走査型顕微鏡および顕微鏡画像取得方法に関するものである。
光源からの励起光を試料に照射して試料内の蛍光物質から蛍光を発生させ、発生させられた蛍光を励起光と分離して検出することにより蛍光像を観察する蛍光顕微鏡が知られている。蛍光顕微鏡には、レーザ光を走査しながら試料に照射するレーザ光走査型の顕微鏡や多光子吸収過程を利用した多光子励起顕微鏡がある。
多光子励起顕微鏡として、特に2光子励起過程を利用した2光子励起顕微鏡が普及している。2光子励起顕微鏡を用いた場合、近赤外パルスレーザを試料内に集光すると、その集光点のみで非線形光学過程である2光子吸収過程が生じて蛍光が発生する。この場合、用いるレーザの波長が近赤外領域であるため、可視域の波長と比べて試料内の散乱の影響を受けにくく、また、レーザの集光点のみから蛍光が発生するため、可視域のレーザと比べて深部での観察に適しているという特徴がある。
一般的に、2光子励起顕微鏡による深部観察では、蛍光は可視光であることが多く試料内で散乱を強く受けるため、カメラやピンホールなどを利用して結像による空間情報を取得することが難しい。加えて、深部で発生して対物レンズに取り込まれる微量な蛍光信号をS/N良く検出する必要があるため、光検出器としては感度の高い光電子増倍管(PMT)を利用ことが多い。即ち、蛍光検出のための光学系は空間分解を行う機能は有しておらず蛍光の総和強度信号を取得するのみであり、画像の空間分解能は励起レーザの対物レンズからの集光点におけるPSF(Point Spread Function)のみによって決定される。このため、空間分解能を向上させるためには、励起レーザのPSFに何らかの効果を持たせる必要がある。
PSFを小さくして空間分解能を向上させる手段として、非線形光学過程を利用する方法がある。しかし、2光子励起顕微鏡では、2光子吸収過程が非線形光学過程であり、また、深部観察時には散乱の影響を受けるため、励起レーザは大きなパワーを必要とする。このため、更に非線形光学過程を利用して空間分解能を向上させることは、レーザパワーの観点から現実的ではない。
一方、顕微鏡の分解能を向上させる手法として、非線形光学過程を用いずに、構造化照明を利用することで対物レンズの開口数を超える高い空間周波数成分を取得して分解能を向上させるSIM(Structured Illumination Microscopy)が知られている(例えば、非特許文献1参照。)。
M.G.L.Gustafsson,D.A.Agard and J.W.Sedat,"Doubling the lateral resolution of wide-field fluorescence microscopy using structured illumination," Proc.SPIE3919,141(2000)
SIMは、構造化照明によって縞パターンを試料の観察範囲全体に照射し、また、その画像取得には検出器としてカメラを用いる。一方、2光子励起顕微鏡では、上述の通り、深部で発生して対物レンズに取り込まれる微量な蛍光信号をS/Nよく検出する必要があり、また、蛍光は可視光であることが多く試料内で散乱を強く受けて像を結ぶことが難しいため、カメラは検出器として不適切である。よって、SIMを2光子励起顕微鏡に適用することは困難である。
本発明は、上述した事情に鑑みてなされたものであって、カメラを用いることなくSIMを適用して高周波成分を強調した画像を取得することができる走査型顕微鏡および顕微鏡画像取得方法を提供することを目的としている。
本発明の一態様は、照明部と、検出部とを備え、前記照明部が、複数の照明光を発生する光発生部と、該光発生部から発せられた前記複数の照明光の空間的重なりが試料の位置によって周期的に変化するように走査する走査部と、該走査部により走査された前記照明光を試料に集光する対物レンズとを備え、前記検出部が、前記照明光の照射によって、前記試料内の前記照明光の空間的重なり位置で発生した信号光を前記試料の位置毎に検出する受光部と、該受光部により検出した信号を再構成して試料の画像を生成する処理部とを備える走査型顕微鏡である。
本態様によれば、照明部の光発生部において発生した複数の照明光が走査部により走査され、対物レンズにより試料に集光されると、複数の照明光の空間的重なりが試料の位置によって周期的に変化するように走査され、各空間的重なり位置において信号光が発生する。発生した信号光が受光部により試料の位置毎に検出され、処理部において再構成されることにより試料の画像が取得される。すなわち、本態様によれば、照明光を走査させながら照明光の空間的重なりを周期的に変化させるので、カメラを用いない走査型顕微鏡においても、SIMを適用して高周波成分を強調した画像を取得することができる。
上記態様においては、前記光発生部が、時間周波数の異なる複数の照明光を発生し、前記受光部が、前記空間的重なり位置で発生した信号光のみを選択する時間周波数選択部を備えていてもよい。
このようにすることで、複数の照明光の空間的重なり位置からの信号のみを容易に検出することができる。
このようにすることで、複数の照明光の空間的重なり位置からの信号のみを容易に検出することができる。
また、上記態様においては、前記光発生部が、前記対物レンズの瞳位置において異なる空間分布を有する第1照明光および第2照明光を発生してもよい。
このようにすることで、対物レンズの瞳位置における第1照明光の空間分布と第2照明光の空間分布とを調節することで、試料における空間的重なりにおける照明光の空間分布を任意の形状に設定することができる。
このようにすることで、対物レンズの瞳位置における第1照明光の空間分布と第2照明光の空間分布とを調節することで、試料における空間的重なりにおける照明光の空間分布を任意の形状に設定することができる。
また、上記態様においては、前記第1照明光が、前記対物レンズの瞳位置において瞳全域に空間分布し、前記第2照明光が、前記対物レンズの瞳位置において瞳周辺に空間分布してもよい。
このようにすることで、空間的重なりにおける照明光の空間分布を対物レンズの開口数の範囲内で周期の短い縞パターンとすることができる。
このようにすることで、空間的重なりにおける照明光の空間分布を対物レンズの開口数の範囲内で周期の短い縞パターンとすることができる。
また、上記態様においては、前記走査部が、前記対物レンズの瞳周辺の位置に応じた空間周波数の周期で周期的に変化するように走査してもよい。
このようにすることで、空間周波数に対応する構造化照明を試料全体にわたって行うことができる。
このようにすることで、空間周波数に対応する構造化照明を試料全体にわたって行うことができる。
また、上記態様においては、前記時間周波数選択部が、ロックインアンプを備えていてもよい。
このようにすることで、空間的重なりからの信号光のみを簡易に検出することができる。
このようにすることで、空間的重なりからの信号光のみを簡易に検出することができる。
また、上記態様においては、前記光発生部が、光源と、該光源からの光を分岐する分岐部と、該分岐部により分岐された光をそれぞれ異なる時間周波数の照明光に変調する音響光学素子または電気光学素子とを備えていてもよい。
このようにすることで、空間的重なり位置における照明光の時間周波数を簡易に設定することができる。
このようにすることで、空間的重なり位置における照明光の時間周波数を簡易に設定することができる。
また、上記態様においては、前記照明光が、試料内の蛍光物質を励起して蛍光を誘起する励起光であり、前記信号光が蛍光であってもよい。
このようにすることで、蛍光を発生する試料に対して高周波成分を強調した画像を取得することができる。
このようにすることで、蛍光を発生する試料に対して高周波成分を強調した画像を取得することができる。
また、上記態様においては、前記照明光が、多光子吸収効果によって蛍光を誘起してもよい。
このようにすることで、多光子励起型の走査型顕微鏡においても高周波成分を強調した画像を取得することができる。
このようにすることで、多光子励起型の走査型顕微鏡においても高周波成分を強調した画像を取得することができる。
また、上記態様においては、前記処理部は、デコンボリューションを利用して前記信号を再構成してもよい。
このようにすることで、PSFが不自然な形になった場合にもそれを補正して観察を行うことができる。
このようにすることで、PSFが不自然な形になった場合にもそれを補正して観察を行うことができる。
また、本発明の他の態様は、複数の照明光を、それらの空間的重なりが試料の位置によって周期的に変化するように走査する走査ステップと、該走査ステップにおいて走査された前記照明光を前記試料に集光する照射ステップと、該照射ステップによる前記照明光の照射によって、前記試料内の前記照明光の空間的重なり位置で発生した信号光を前記試料の位置毎に検出する検出ステップと、該検出ステップにより検出された信号を再構成して試料の画像を生成する画像生成ステップとを含む顕微鏡画像取得方法である。
本発明によれば、カメラを用いることなくSIMを適用して高周波成分を強調した画像を取得することができるという効果を奏する。
本発明の一実施形態に係る走査型顕微鏡1および顕微鏡画像取得方法について、図面を参照して以下に説明する。
本実施形態に係る走査型顕微鏡1は、図1に示されるように、多光子励起型の走査型顕微鏡1であって、照明部2と、検出部3とを備えている。
また、本実施形態に係る顕微鏡画像取得方法は、走査ステップと、照射ステップと、検出ステップと、画像生成ステップとを含んでいる。
本実施形態に係る走査型顕微鏡1は、図1に示されるように、多光子励起型の走査型顕微鏡1であって、照明部2と、検出部3とを備えている。
また、本実施形態に係る顕微鏡画像取得方法は、走査ステップと、照射ステップと、検出ステップと、画像生成ステップとを含んでいる。
照明部2は、光発生部4と、走査部5と、対物レンズ6とを備え、検出部3は、受光部7と、処理部8とを備えている。
光発生部4は、極短パルスレーザ光(以下、単にレーザ光(励起光)という。)を発生するレーザ光源(光源)9と、該レーザ光源9から発せられたレーザ光を2つの光路(第1光路L1および第2光路L2)を進行する第1レーザ光(第1照明光)と第2レーザ光(第2照明光)とに分岐するビームスプリッタ(分岐部)10と、各光路L1,L2に分岐されたレーザ光の時間周波数を変調する光変調器11,12と、各光路L1,L2のレーザ光の光束径を調節するビーム径調整光学系13,14と、第1光路L1に設けられた光路長調整光学系15と、第2光路L2に設けられたレーザ分布調整部16とを備えている。
光発生部4は、極短パルスレーザ光(以下、単にレーザ光(励起光)という。)を発生するレーザ光源(光源)9と、該レーザ光源9から発せられたレーザ光を2つの光路(第1光路L1および第2光路L2)を進行する第1レーザ光(第1照明光)と第2レーザ光(第2照明光)とに分岐するビームスプリッタ(分岐部)10と、各光路L1,L2に分岐されたレーザ光の時間周波数を変調する光変調器11,12と、各光路L1,L2のレーザ光の光束径を調節するビーム径調整光学系13,14と、第1光路L1に設けられた光路長調整光学系15と、第2光路L2に設けられたレーザ分布調整部16とを備えている。
レーザ光源9は、例えば、チタンサファイアレーザなど主にフェムト秒のパルスレーザ光源である。
光変調器11,12は、例えば、音響光学素子または電気光学素子により構成され、第1光路L1の第1レーザ光の時間周波数をω1にシフトさせ、第2光路L2の第2レーザ光の時間周波数をω2にシフトさせるようになっている。
光変調器11,12は、例えば、音響光学素子または電気光学素子により構成され、第1光路L1の第1レーザ光の時間周波数をω1にシフトさせ、第2光路L2の第2レーザ光の時間周波数をω2にシフトさせるようになっている。
第1光路L1に配置されたビーム径調整光学系13は、ビームエキスパンダの役割を果たし、第1レーザ光が対物レンズ6の瞳を満たすように光束径を調整するようになっている。
第2光路L2に配置されたビーム径調整光学系14は、レーザ分布調整部16の構成に依存して、第2レーザ光の光束径を調節するようになっている。
第2光路L2に配置されたビーム径調整光学系14は、レーザ分布調整部16の構成に依存して、第2レーザ光の光束径を調節するようになっている。
光路長調整光学系15は、第1レーザ光の光軸に対して45°の角度をなして配置された第1のミラー15aと、該第1のミラー15aによって90°偏向されたレーザ光を180°折り返す第2のミラー15bと、該第2のミラー15bによって折り返されたレーザ光を90°偏向する第3のミラー15cとを備えている。光路長調整光学系15は、固定された第1のミラー15aおよび第3のミラー15cに対して第2のミラー15bを近接離間する方向(矢印Aの方向)に移動させることにより、折り返し光路長を調節して第1光路L1の光路長を第2光路L2の光路長に対して調節するようになっている。
レーザ分布調整部16は、例えば、図2に示されるように、入射されたレーザ光を2つの光路に分岐するビームスプリッタ17と、一方の光路の光路長を他方の光路の光路長に対して調節する光路長調整光学系18と、2つの光路を通過してきたレーザ光を、微小間隙をあけて並行させるように偏向する三角プリズム19と、像回転素子20とを備えている。
光路長調整光学系18は、上述した光路長調整光学系15と略同一構造を有し、固定されたミラー18aおよび三角プリズム19に対して、L字状のミラー18bを矢印Bの方向に移動させることにより光路長を調節することができるようになっている。三角プリズム19は、像回転素子20へのレーザ光の射出方向(矢印Cの方向)に並進移動可能に設けられており、移動により、像回転素子20への並行するレーザ光の間隔を調節することができるようになっている。
像回転素子20は、例えば、ダブプリズム等で構成されている。像回転素子20は、入射された2つの並行な光を、それらの中間地点を回転中心として回転することができるように設定されている。そして、この構成の場合に、ビーム径調整光学系14は、第2レーザ光の光束径が対物レンズ6の瞳に対して十分に小さくなるように調節するようになっている。
走査部5は、ビームスプリッタ10により分岐された2つの光路にそれぞれ設けられた2個一対のガルバノミラーを対向させてなる2軸のガルバノスキャナ5a,5bである。第1光路L1のガルバノスキャナ5aは、光路長調整光学系15により光路長を調節された後の第1レーザ光を2次元的に走査するようになっている。また、第2光路L2のガルバノスキャナ5bは、レーザ分布調整部16により分布が調整された第2レーザ光を2次元的に走査するようになっている。
また、第1光路L1および第2光路L2には瞳投影レンズ21が設けられ、各瞳投影レンズ21を通過した第1レーザ光および第2レーザ光がビームスプリッタ22により合波され、結像レンズ23によってコリメートされて、対物レンズ6に入射されるようになっている。
図1では、レーザ分布調整部16を経た第2レーザ光は実際には2本の光束となっているが、説明を簡略化するために一本の線で示している。図中、符号24は光路を形成するためのミラーである。
図1では、レーザ分布調整部16を経た第2レーザ光は実際には2本の光束となっているが、説明を簡略化するために一本の線で示している。図中、符号24は光路を形成するためのミラーである。
ここで、対物レンズ6の瞳における第1レーザ光および第2レーザ光の強度分布を図3Aおよび図3Bに示す。第1レーザ光は瞳を全て満たしており、図3Aでは説明を簡略化するためにその強度が瞳中で一定であるように示している。また、第2レーザ光は、図3Bに示されるように、瞳の周辺に小さな光束径で入射されるようになっている。
この条件において、対物レンズ6から射出され、試料Sにおける集光位置での各々のレーザ光の電場分布を図4Aおよび図4Bに示す。第1レーザ光は小さなスポットに集光される一方、第2レーザ光は縞状の電場分布となる。
これは次のように説明できる。対物レンズ6の瞳分布は集光される光の空間周波数分布に対応しており、瞳の中心から周辺にいくに従って高い周波数となる。第1レーザ光は低周波から高周波まで含んでいるため、集光点では各周波数の電場が足し合わされてスポット状となる。一方、第2レーザ光は瞳の周辺にしか入射していない。そのことは、すなわち、第2レーザ光が高周波成分のみを有することを示している。したがって、略単一周波数の電場分布となって、集光点で縞状の分布となる。
検出部3は、主検出部25と補助検出部26とを備えている。
主検出部25は、試料Sにおけるレーザ光の集光位置において多光子吸収効果により発生した蛍光の内、対物レンズ6によって集光された蛍光をレーザ光の光路から分岐するダイクロイックミラー25aと、該ダイクロイックミラー25aによって分岐された蛍光を集光する集光レンズ25bと、該集光レンズ25bにより集光された蛍光を検出する光検出器25cと、該光検出器25cにより検出された蛍光の内、特定の時間周波数の蛍光の強度信号のみを抽出するロックインアンプ(時間周波数選択部)25dとを備えている。光検出器25cとロックインアンプ25dとにより受光部7が構成されている。また、処理部8は、該ロックインアンプ25dにより抽出された蛍光の強度信号に基づいて画像を生成するようになっている。
光検出器25cは、PMT(光電子増倍管)が好ましいが、感度よく蛍光を検出できるものであれば、任意の検出器を採用できる。
主検出部25は、試料Sにおけるレーザ光の集光位置において多光子吸収効果により発生した蛍光の内、対物レンズ6によって集光された蛍光をレーザ光の光路から分岐するダイクロイックミラー25aと、該ダイクロイックミラー25aによって分岐された蛍光を集光する集光レンズ25bと、該集光レンズ25bにより集光された蛍光を検出する光検出器25cと、該光検出器25cにより検出された蛍光の内、特定の時間周波数の蛍光の強度信号のみを抽出するロックインアンプ(時間周波数選択部)25dとを備えている。光検出器25cとロックインアンプ25dとにより受光部7が構成されている。また、処理部8は、該ロックインアンプ25dにより抽出された蛍光の強度信号に基づいて画像を生成するようになっている。
光検出器25cは、PMT(光電子増倍管)が好ましいが、感度よく蛍光を検出できるものであれば、任意の検出器を採用できる。
補助検出部26は、第1レーザ光と第2レーザ光とがビームスプリッタ22で合波された際、ビームスプリッタ22から対物レンズ6の方向とは別の方向に出射された成分を略平行光にするコリメータレンズ26aと、略平行光にされた光を集光する集光レンズ26bと、該集光レンズ26a、26bで集光された光を検出する光検出器26cとを備えている。
光検出器26cはレーザ光の強度が検出できればよく、フォトダイオードなどが利用できる。また、コリメータレンズ26aと集光レンズ26bは、第1レーザ光と第2レーザ光とが合波された強度が光検出器26cで検出できれば、なくてもよい。
光検出器26cはレーザ光の強度が検出できればよく、フォトダイオードなどが利用できる。また、コリメータレンズ26aと集光レンズ26bは、第1レーザ光と第2レーザ光とが合波された強度が光検出器26cで検出できれば、なくてもよい。
ここで、ロックインアンプ25dにより抽出する特定の周波数について説明する。
試料Sにおける集光位置での第1レーザ光と第2レーザ光の空間的重なりに着目すると、第1レーザ光および第2レーザ光は、それぞれ光変調器11,12によって、ω1とω2に時間周波数が変調されている。異なる周波数の波が重ね合わされたとき、その差の周波数成分がうなりとして検出される。すなわち、|ω1-ω2|の時間周波数成分が第1レーザ光と第2レーザ光との重なり位置で発生する。
試料Sにおける集光位置での第1レーザ光と第2レーザ光の空間的重なりに着目すると、第1レーザ光および第2レーザ光は、それぞれ光変調器11,12によって、ω1とω2に時間周波数が変調されている。異なる周波数の波が重ね合わされたとき、その差の周波数成分がうなりとして検出される。すなわち、|ω1-ω2|の時間周波数成分が第1レーザ光と第2レーザ光との重なり位置で発生する。
ここで、多光子励起顕微鏡では、レーザ光は極短パルスレーザ光であるため、第1レーザ光と第2レーザ光との重なりによって、うなりが生じるためには、第1レーザ光と第2レーザ光のパルスが同じタイミングで集光位置に到達する必要がある。そこで、第1レーザ光と第2レーザ光の光路長が等しくなるように光路長調整光学系15を調整しておく必要がある。
図1において、試料Sが蛍光物質を含んでいる場合、集光位置では|ω1-ω2|の時間周波数を有する蛍光が発生することとなる。
ここで、光路長調整光学系15によって第1レーザ光と第2レーザ光の光路長が等しくなるように設定されている場合、補助検出部26の光検出器26cで検出される信号にも|ω1-ω2|のうなり成分が存在する。これをロックインアンプ25dのリファレンス信号として用いるようになっている。これにより、ロックインアンプ25dを利用して、蛍光信号の中からうなりの周波数に相当する成分のみを抽出することができるようになる。
ここで、光路長調整光学系15によって第1レーザ光と第2レーザ光の光路長が等しくなるように設定されている場合、補助検出部26の光検出器26cで検出される信号にも|ω1-ω2|のうなり成分が存在する。これをロックインアンプ25dのリファレンス信号として用いるようになっている。これにより、ロックインアンプ25dを利用して、蛍光信号の中からうなりの周波数に相当する成分のみを抽出することができるようになる。
うなりの周波数についてより詳細に説明する。第1レーザ光と第2レーザ光の重なり位置におけるレーザ光強度をIexとおくと、Iexは数1で表すことができる。
ここで、E1、E2は、それぞれ、第1レーザ光と第2レーザ光の電場振幅である。この式において、cos(ω1-ω2)tおよびsin(ω1-ω2)tがうなりの時間振動を表している。
この場合、多光子励起顕微鏡における蛍光強度Ifl_2PはIexの2乗に比例するため数2で表される。
この場合、多光子励起顕微鏡における蛍光強度Ifl_2PはIexの2乗に比例するため数2で表される。
この式からも分かるように、多光子励起の場合には、うなりの周波数と等しい周波数(1f)の成分と、うなりの周波数の2倍の周波数(2f)の成分が発生する。例えば、2fの周波数によりロックインアンプ25dで復調する場合には、ロックインアンプ25dにリファレンス信号として入力された光検出器26cで得たうなり信号の周波数の2倍の周波数で光検出器25cからの入力信号を検出すればよい。そうすると、E1とE2の内積の2乗に比例する信号が検出される。
E1、E2は対物レンズ6からの集光位置における図4Aおよび図4Bの分布電場となる。時間周波数2fで復調する場合は、図4Aの第1レーザ光の電場分布と図4Bの第2レーザ光の電場分布の積の2乗に比例する成分が検出される。図5Aおよび図5Bに示されるように、図4Aおよび図4Bの各々の画像を2乗したものを示す。時間周波数2fで復調する場合は、図5Aの第1レーザ光と図5Bの第2レーザ光の画像の積の分布が検出されることになる。
次に、図1のガルバノスキャナ5aで第1レーザ光を微小に走査させる場合(走査ステップおよび照射ステップ)について説明する。
対物レンズ6からの集光位置において、第2レーザ光は固定されたまま、第1レーザ光のみが移動することとなる。すなわち、第1レーザ光と第2レーザ光の空間的重なり位置が変化する。このようにして、第1レーザ光と第2レーザ光の重なり位置を変えながら、時間周波数2fで復調した場合の信号の分布を図6Aから図6Lに示す。
対物レンズ6からの集光位置において、第2レーザ光は固定されたまま、第1レーザ光のみが移動することとなる。すなわち、第1レーザ光と第2レーザ光の空間的重なり位置が変化する。このようにして、第1レーザ光と第2レーザ光の重なり位置を変えながら、時間周波数2fで復調した場合の信号の分布を図6Aから図6Lに示す。
図6Aから図6Lでは、図5Bの第2レーザ光の縞パターンの分布を図5Aの第1レーザ光のスポットで読み取ったような分布が得られている。
図6Aから図6Lの分布は、試料Sの分布ではなく、復調後のレーザ光の分布である。すなわち、時間周波数2fで復調して信号取得する場合、レーザ光のPSFが図6Aから図6Lのような空間分布となることを意味する。
図6Aから図6Lの分布は、試料Sの分布ではなく、復調後のレーザ光の分布である。すなわち、時間周波数2fで復調して信号取得する場合、レーザ光のPSFが図6Aから図6Lのような空間分布となることを意味する。
勿論、実際に照射されているレーザ光の電場分布は図4Aの第1レーザ光と、図4Bの第2レーザ光の分布のようになり、光検出器25cで検出される蛍光はそれらレーザ光によって発生した蛍光のうち対物レンズ6で集光されたもの全てになるが、ロックインアンプ25dによって時間周波数2fで復調した場合には、図6Aから図6LのPSFのレーザ光で励起された蛍光信号のみが検出されることになる(検出ステップ)。
図6Aから図6Lによれば、第1レーザ光と第2レーザ光の相対位置の変化によってPSFの形状が変化する様子がわかる。これらPSFで試料Sを励起して画像を作成することを考える(画像生成ステップ)。このとき、1つのPSFで全ピクセルを励起するのではなく、各ピクセルをPSFを入れ替えながら励起するようにする。すなわち、画像の1列目に相当するピクセルは図6AのPSF1で励起し、2列目は図6BのPSF2で、3列目は図6CのPSF3で、というように、PSFを入れ替えながら励起を行う。このようにすると、トータルのレーザ光の分布は、図7のようになる。即ち、縞パターンの励起分布となる。
これは、カメラを使用する場合のSIMで用いられる縞パターンを細かいPSFに分割して走査型顕微鏡1で観察していると理解することができる。より詳細には、図5Bの第2レーザ光の縞パターンの分布を試料Sに照射し、それを図5Aの第1レーザ光のスポットで走査して読み取っていると理解することもできる。
ここで、図5Bの第2レーザ光の分布は、図5Aの第1レーザ光のスポットよりも広いとはいえ、試料S全体を覆うにはサイズが小さい。そこで、縞パターンの位相が2π分だけ進むにつれて第2レーザ光を空間的に走査させる。
すなわち、第2レーザ光を試料Sに照射し、同時に最初に図5Bの第2レーザ光の中央よりも1つ左の暗環上に第1レーザ光を照射しているとする。この場合の時間周波数2fで復調した実質のPSFは図6AのPSF1に相当する。
第2レーザ光の位置はそのままで、第1レーザ光を右に走査していくと、復調後の実質のPSFは図6BのPSF2、図6CのPSF3と変化していく。そして、第1レーザ光の位置が第2レーザ光の中央から1つ右の暗環位置に来る際に、第2レーザ光自体を縞の位相2π分だけ右に移動させる。
そうすると、第1レーザ光は再び第2レーザ光の中央から1つ左の暗環上に位置することとなる。これは、図6Aから図6LのPSFで、PSF1からPSF12までPSFが変化した後、またPSF1に戻ることを意味する。よって、第2レーザ光の電場分布の広さに関わらず、第1レーザ光と第2レーザ光を双方とも走査することで、どんなに大きな試料に対しても縞パターンで励起することができることになる。なお、第2レーザ光の移動は、図1のガルバノスキャナ5bで行う。
このようにすることで、走査型顕微鏡1でありながら、カメラを用いた場合のSIMと同様の構造化照明を行うことができるようになる。なお、本実施形態で重要となるのは図6Aから図6Lのように、空間位置によってPSFの形状が異なることである。この要素が必須であることは、縞状のパターンを空間分解することを考えると、自明である。したがって、例えば、同じ形状のPSFでピクセル毎に強度を変化させて縞状の強度分布になるようにした場合には、効果は期待できない。
このようにして、縞パターンで励起された画像が取得できれば、後の処理は非特許文献1と同様に画像処理を行うことで、画像の再構成を行うことができる。この場合、縞の位相を変化させて画像取得を行うことが必要であるが、それは図5Aの第1レーザ光と図5Bの第2レーザ光との重ね合わせ位置を変えるだけでよく、また、縞の角度を変化させる場合は、図2の像回転素子20を回転させるとともに、第1レーザ光と第2レーザ光との重ね合わせ位置と走査方向を変化させるだけでよい。
本実施形態によれば、空間周波数の高周波成分を強調することができる。空間周波数分布に関して、図8をもとに説明する。図8Aは画像における観察可能な空間周波数の範囲を示したものである。灰色で示した範囲が、図5Aの第1レーザ光のPSFの空間周波数分布(すなわち、図5AのPSFで観察可能な範囲)であり、この範囲の広さに比例して空間分解能を向上させることができる。
通常の2光子励起顕微鏡観察では、DC成分が最も強度が強く、高周波にいくにしたがってその強度が弱くなるのに対して、縞パターンで励起することにより、その周波数に応じて観察可能な周波数成分のシフトが生じる。対物レンズ6の開口数の範囲内で最も高い周波数の縞パターンで励起すると、図8Aの灰色の範囲の最も外側の±kX1にDC成分がくるように周波数シフトが生じる。すわなち、図8Aでは、周波数シフトが生じる前の周波数成分((kx,ky)=(0,0)にDCが相当)と、(kx,ky)=(kx1,0)にDCが相当する成分、それに(kx,ky)=(-kx1,0)にDCが相当する成分の3つの周波数成分が重畳する形となっている。
ここで、縞パターンの位相を変化させて複数枚の画像を取得し、更に周波数空間上で演算を行うことで、周波数成分を分離して再配置することができる。再配置後の周波数成分を図8Bに示す。図8Aに対して、図8Bではkx方向において周波数成分がシフトした形となっている。すなわち、(kx,ky)=(kx1,0)にDCが相当した成分が-kx1だけ周波数シフトされ、また、(kx,ky)=(-kx1,0)にDCが相当した成分がkx1だけ周波数シフトされている。周波数再配置後の図8Bを見ると、kx=0およびkx=±kx1の位置で強度が強くなる。よって、図8Bではkx=0から高周波にいくにしたがって常に強度が弱くなるわけではなく、kx=±kx1において強度が強くなり、高周波を強調できていることになる。
例えば、多光子顕微鏡観察では、上述のように試料Sの深部での観察が可能になるが、対物レンズ6で取得される蛍光の強度が弱い場合には、蛍光信号と相対的にノイズが多くなる。その場合、信号として強度の弱い高周波成分からノイズに紛れてしまう(すなわち、細かい構造の識別ができなくなる)。しかし、本実施形態のように高周波成分が強調されている場合は、高周波成分であってもノイズに紛れ難くなり、細かい構造の識別が可能となる。そして、像回転素子20により、第2レーザ光を回転させて第1レーザ光と第2レーザ光との重ね合わせ位置と走査方向を変化させることにより、図8Cに示されるように、高周波を強調できる領域を2次元的に広げることができる。
このように、本実施形態によれば、多光子励起顕微鏡のような走査型顕微鏡1においても、空間位置毎に異なるPSFで励起して構造化照明の効果を持たせることで、高周波成分を強調して、試料Sの細かい構造の識別性を向上することができるという利点がある。
なお、本実施形態においては、レーザ分布調整部16において図2の構成を用いるとしたが、これに代えて図9のような構成を採用してもよい。図9では図10のようなマスク30(黒色部が遮蔽部)を光路上に配置して、対物レンズ6の瞳の両端のみに第2レーザ光が入射するようにしている。この場合、図1のビーム径調整光学系14は第2レーザ光がマスク30全域を覆うように光束径を調整する。このようにして、第2レーザ光が対物レンズ6の瞳の両端のみを照射するようにすれば、上述と同様の効果を得ることができる。また、縞パターンの角度を変える際には、像回転素子20を回転させる代わりに、マスク30自体を回転させればよい。
また、本実施形態においては、第1レーザ光および第2レーザ光をそれぞれ独立に走査するガルバノスキャナ5a,5bを備えることとしたが、これに代えて、図11に示されるように、第1レーザ光と第2レーザ光の合波位置を異ならせ、第2レーザ光が、ガルバノスキャナ41の前でビームスプリッタ22により第1レーザ光に合波されてもよい。
この場合には、第2レーザ光はガルバノスキャナ5a,5bの双方を通過するようになっている。図中、符号41はリレーレンズであり、ガルバノスキャナ5a,5bが光学的に共役になるように配置されている。
この場合には、第2レーザ光はガルバノスキャナ5a,5bの双方を通過するようになっている。図中、符号41はリレーレンズであり、ガルバノスキャナ5a,5bが光学的に共役になるように配置されている。
このようにすることで、第2レーザ光は第1レーザ光に対して相対的に走査されることになる。図1の走査型顕微鏡1では2つのガルバノスキャナ5a,5bの試料S上での走査の絶対位置が把握されている必要があるが、図11の走査型顕微鏡40ではガルバノスキャナ5bはガルバノスキャナ5aに対する相対的走査量が把握できていればよく、装置構成や光走査を簡易にすることができるという利点がある。
また、上記では復調の周波数として2fについて述べたが、1fの周波数でも構造化照明の効果を持たせることは可能である。また、対物レンズ6の瞳位置におけるレーザ光の空間分布に関しても上記に限ることはなく、ピクセル毎に異なるPSF形状となるようにすれば構造化照明の効果を持たせることはできる。
また、図8Aから図8Cのように周波数空間で画像処理を行う際に、各周波数成分の強度を調整してもよい。例えば、簡単には上述の再配置された3つの成分の強度比を演算によって操作することで、画像処理において高周波強調を行うこともできる。また、周波数空間における分布が複雑な場合には、実空間におけるPSF形状がマイナス成分を持つなど複雑な形状になるが、そのような場合にはデコンボリューションを併用することで自然な形状のPSFで画像取得した画像を作成することができる。
また、多光子励起の走査型顕微鏡1,40について述べたが、本実施形態は、他の走査型顕微鏡にも適用可能であり、1光子顕微鏡や2光子以外の多光子顕微鏡についても利用できる。また、深部観察では無い場合や透明な試料Sで蛍光の散乱が比較的小さい場合には、検出時にもPSF形状が乱れず蛍光信号も強いため、実施形態に係る走査型顕微鏡1とカメラやピンホールとを組み合わせることにしてもよい。また、顕微鏡の形態としては反射型を前提に説明をしたが、透過型でも構成は可能であり、ガルバノスキャンに代えてステージスキャンとするなど本案の原理を適用できれば構成は如何様にも変更可能である。
また、これまでは信号光が蛍光の場合について述べたが、本実施形態においては、走査型顕微鏡であれば蛍光観察以外についても適用可能である。例えば、ラマン顕微鏡に適用する場合には、信号光が試料Sを透過または反射したレーザ光となる。本実施形態で蛍光信号に行った方法と同様に取得した信号を処理することにより、高周波成分を強調した画像を取得することができる。
1,40 走査型顕微鏡
2 照明部
3 検出部
4 光発生部
5 走査部
6 対物レンズ
7 受光部
8 処理部
9 レーザ光源(光源)
10 ビームスプリッタ(分岐部)
11,12 光変調器(音響光学素子、電気光学素子)
25d ロックインアンプ(時間周波数選択部)
S 試料
2 照明部
3 検出部
4 光発生部
5 走査部
6 対物レンズ
7 受光部
8 処理部
9 レーザ光源(光源)
10 ビームスプリッタ(分岐部)
11,12 光変調器(音響光学素子、電気光学素子)
25d ロックインアンプ(時間周波数選択部)
S 試料
Claims (11)
- 照明部と、検出部とを備え、
前記照明部が、複数の照明光を発生する光発生部と、該光発生部から発せられた前記複数の照明光の空間的重なりが試料の位置によって周期的に変化するように走査する走査部と、該走査部により走査された前記照明光を試料に集光する対物レンズとを備え、
前記検出部が、前記照明光の照射によって、前記試料内の前記照明光の空間的重なり位置で発生した信号光を前記試料の位置毎に検出する受光部と、該受光部により検出した信号を再構成して試料の画像を生成する処理部とを備える走査型顕微鏡。 - 前記光発生部が、時間周波数の異なる複数の照明光を発生し、
前記受光部が、前記空間的重なり位置で発生した信号光のみを選択する時間周波数選択部を備える請求項1に記載の走査型顕微鏡。 - 前記光発生部が、前記対物レンズの瞳位置において異なる空間分布を有する第1照明光および第2照明光を発生する請求項1または請求項2に記載の走査型顕微鏡。
- 前記第1照明光が、前記対物レンズの瞳位置において瞳全域に空間分布し、
前記第2照明光が、前記対物レンズの瞳位置において瞳周辺に空間分布する請求項3に記載の走査型顕微鏡。 - 前記走査部が、前記対物レンズの瞳周辺の位置に応じた空間周波数の周期で周期的に変化するように走査する請求項1から請求項4のいずれかに記載の走査型顕微鏡。
- 前記時間周波数選択部が、ロックインアンプを備える請求項2に記載の走査型顕微鏡。
- 前記光発生部が、光源と、該光源からの光を分岐する分岐部と、該分岐部により分岐された光をそれぞれ異なる時間周波数の照明光に変調する音響光学素子または電気光学素子とを備える請求項2に記載の走査型顕微鏡。
- 前記照明光が、試料内の蛍光物質を励起して蛍光を誘起する励起光であり、
前記信号光が蛍光である請求項1から請求項7のいずれかに記載の走査型顕微鏡。 - 前記照明光が、多光子吸収効果によって蛍光を誘起する請求項8に記載の走査型顕微鏡。
- 前記処理部は、デコンボリューションを利用して前記信号を再構成する請求項1から請求項9のいずれかに記載の走査型顕微鏡。
- 複数の照明光を、それらの空間的重なりが試料の位置によって周期的に変化するように走査する走査ステップと、
該走査ステップにおいて走査された前記照明光を前記試料に集光する照射ステップと、
該照射ステップによる前記照明光の照射によって、前記試料内の前記照明光の空間的重なり位置で発生した信号光を前記試料の位置毎に検出する検出ステップと、
該検出ステップにより検出された信号を再構成して試料の画像を生成する画像生成ステップとを含む顕微鏡画像取得方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/084143 WO2017094184A1 (ja) | 2015-12-04 | 2015-12-04 | 走査型顕微鏡および顕微鏡画像取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/084143 WO2017094184A1 (ja) | 2015-12-04 | 2015-12-04 | 走査型顕微鏡および顕微鏡画像取得方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017094184A1 true WO2017094184A1 (ja) | 2017-06-08 |
Family
ID=58796625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/084143 WO2017094184A1 (ja) | 2015-12-04 | 2015-12-04 | 走査型顕微鏡および顕微鏡画像取得方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2017094184A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020179039A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡および観察方法 |
WO2020179032A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡および観察方法 |
WO2020179040A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡および観察方法 |
WO2020179036A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10509817A (ja) * | 1994-10-04 | 1998-09-22 | ノーラン インスツルメンツ インコーポレイテッド | 信号復元方法および装置 |
JP2006030989A (ja) * | 2004-07-16 | 2006-02-02 | Carl Zeiss Jena Gmbh | ライン走査式のレーザ走査型顕微鏡 |
JP2014006450A (ja) * | 2012-06-26 | 2014-01-16 | Olympus Corp | 超解像顕微鏡及び顕微鏡観察法 |
-
2015
- 2015-12-04 WO PCT/JP2015/084143 patent/WO2017094184A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10509817A (ja) * | 1994-10-04 | 1998-09-22 | ノーラン インスツルメンツ インコーポレイテッド | 信号復元方法および装置 |
JP2006030989A (ja) * | 2004-07-16 | 2006-02-02 | Carl Zeiss Jena Gmbh | ライン走査式のレーザ走査型顕微鏡 |
JP2014006450A (ja) * | 2012-06-26 | 2014-01-16 | Olympus Corp | 超解像顕微鏡及び顕微鏡観察法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020179039A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡および観察方法 |
WO2020179032A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡および観察方法 |
WO2020179040A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡および観察方法 |
WO2020179036A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10649196B2 (en) | Structured illumination microscope, observation method , and control program | |
JP5527625B2 (ja) | 顕微鏡装置 | |
WO2017094184A1 (ja) | 走査型顕微鏡および顕微鏡画像取得方法 | |
JP2012507756A (ja) | 組み合わせ顕微鏡検査法 | |
CN104541193A (zh) | 光学显微镜和及其控制方法 | |
US9404867B2 (en) | Luminescence microscopy | |
US11042017B2 (en) | Point-spread-function measurement device and measurement method, image acquisition apparatus, and image acquisition method | |
US9348128B2 (en) | Microscope for high spatial resolution imaging a structure of interest in a sample | |
Rong et al. | Super-resolution microscopy based on fluorescence emission difference of cylindrical vector beams | |
JP5510712B2 (ja) | 非線形顕微鏡 | |
JP5135066B2 (ja) | 光学顕微鏡、及び観察方法 | |
US9729800B2 (en) | Image generation system | |
WO2017213171A1 (ja) | 光学情報検知装置及び顕微鏡システム | |
JP5668566B2 (ja) | 顕微鏡装置および観察方法 | |
WO2016208322A1 (ja) | 画像取得装置および画像取得方法 | |
JP6467160B2 (ja) | 結像光学系、照明装置および観察装置 | |
US8829415B2 (en) | Correlation confocal microscope | |
KR101329474B1 (ko) | 전기광학 변조기를 이용한 공간적 위상 변조기 및 이를 이용한 공초점 현미경 | |
US10942345B2 (en) | Image acquisition method and image acquisition device | |
JP6379810B2 (ja) | 観察装置 | |
WO2017178538A1 (en) | Method and arrangement for identifying optical aberrations | |
JP6266851B1 (ja) | イメージング装置及びイメージング方法 | |
Ryu et al. | PROOF COPY 275614APL |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15909814 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15909814 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |