WO2017159821A1 - イメージング装置及びイメージング方法 - Google Patents
イメージング装置及びイメージング方法 Download PDFInfo
- Publication number
- WO2017159821A1 WO2017159821A1 PCT/JP2017/010785 JP2017010785W WO2017159821A1 WO 2017159821 A1 WO2017159821 A1 WO 2017159821A1 JP 2017010785 W JP2017010785 W JP 2017010785W WO 2017159821 A1 WO2017159821 A1 WO 2017159821A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- probe
- sample
- irradiation
- scanning direction
- sub
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
Definitions
- the present invention relates to an imaging apparatus and an imaging method.
- a laser microscope apparatus using a confocal optical system condenses laser light with an objective lens and irradiates the sample, and emits fluorescence and reflected light emitted from the sample through a condensing lens and a pinhole arranged at a focal position of the condensing lens. Light is received by a photodetector. Then, the sample surface is scanned by moving the irradiation position of the laser light in two orthogonal directions.
- Patent Document 1 proposes a laser microscope apparatus using a technique called a frequency multiplex excitation (FIRE: Fluorescence Imaging using Radiofrequency-tagged Emission) method.
- the frequency multiplex excitation laser microscope apparatus includes a beam splitter that divides laser light into first and second laser light, and a plurality of diffracted lights having different deflection angles and frequency shifts from the first laser light.
- AOD Acoustic-Optic Deflector
- the frequency of the second laser beam is set.
- a shift acousto-optic frequency shifter (hereinafter referred to as AOFS (Acousto-Optic Frequency Shifter)) and a plurality of diffracted lights from the AOD are superposed on the second laser light from the AOFS, and the diffracted light and the second laser light.
- AOFS Acoustic-Optic Frequency Shifter
- a beam splitter that generates excitation light whose intensity is modulated with a difference from the frequency (beat frequency), and an irradiation unit that irradiates the sample with the excitation light.
- the imaging apparatus using the frequency multiplex excitation method as described above since it is only necessary to scan the sample in one direction, it is possible to acquire observation images at high speed, and when acquiring observation images of a large number of samples. It is advantageous.
- the observation image since the observation image is used for analyzing the shape and characteristics of the sample, it is desired to obtain an observation image with higher image quality.
- the present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus and an imaging method capable of obtaining a higher quality image.
- the imaging apparatus of the present invention includes a beam generation unit that generates a plurality of probe beams in which a plurality of frequency components are spatially arranged, and a frequency component that is arranged in a line along the main scanning direction for each of the plurality of probe beams.
- a beam irradiation unit that irradiates the sample with a plurality of probe beams adjacent to or separated from each other in a sub-scanning direction different from the main scanning direction, and relatively moves the irradiation position of the plurality of probe beams and the sample in the sub-scanning direction.
- a sub-scanning unit that detects the intensity of the signal light generated by irradiating the sample with the probe beam and outputs a detection signal; and an observation image of the sample from the signal component for each frequency component of the detection signal. And a signal processing unit to be generated.
- the imaging method of the present invention includes a beam generation step for generating a plurality of probe beams in which a plurality of frequency components are spatially arranged, and the frequency components for each of the plurality of probe beams in a line shape along the main scanning direction.
- a beam irradiation step of irradiating the sample with a plurality of probe beams adjacent to or separated from each other in a sub-scanning direction different from the main scanning direction, and the irradiation position of the plurality of probe beams and the sample relative to each other in the sub-scanning direction A sub-scanning step that moves to the sample, a light detection step that detects the intensity of the signal light generated by irradiating the sample with the probe beam and outputs a detection signal, and observation of the sample from the signal component for each frequency component of the detection signal And a signal processing step for generating an image.
- an image of a sample is generated from detection signals obtained by irradiating the sample with a plurality of probe beams spatially arranged with a plurality of frequency components adjacent or separated in the sub-scanning direction. A higher quality image can be obtained.
- FIG. 1 shows a laser microscope apparatus 10 as an imaging apparatus embodying the present invention.
- the laser microscope apparatus 10 includes a beam generation unit 11 and a beam irradiation unit 12, a light detection unit 13, and a signal processing unit 14 that constitute a probe beam output system.
- the laser microscope apparatus 10 irradiates the sample G from the beam irradiation unit 12 with the first and second probe beams generated by the beam generation unit 11, and detects the signal light emitted from the sample G by the light detection unit 13.
- An image for one frame (hereinafter referred to as an observation image) is generated by processing the obtained detection signal by the signal processing unit 14.
- Both the first and second probe beams are composed of a plurality of interference lights as frequency components, and the interference light is irradiated onto the sample G in a state where the interference lights are arranged in a line in the main scanning direction (M direction: y-axis direction).
- M direction main scanning direction
- the Each interference light of the first and second probe beams is irradiated to the sample G as excitation light, and the distribution of the fluorescent material in each sub-scanning line is obtained from the fluorescence as the signal light emitted from the sample G, and the fluorescent material An observation image showing the distribution of the image is generated.
- the sub-scanning line (S direction: z-axis direction) extends in the sub-scanning direction orthogonal to the main scanning direction, and the observation image for one frame has a plurality of sub-scanning lines arranged in the main scanning direction.
- the x-axis direction, the y-axis direction, and the z-axis direction are directions orthogonal to each other.
- the sub-scanning direction is a relative moving direction between the sample G and the probe beam lined along the main scanning direction in order to scan the sample G.
- the interference light is intensity modulated light whose intensity is modulated
- the beat of the interference light corresponds to intensity modulation
- the beat frequency is the intensity modulation frequency.
- intensity-modulated light is not limited to interference light.
- a line-shaped beam such as a line beam that passes through a rotating mask pattern is used.
- the beam may have an intensity modulation frequency that varies depending on the position in the line direction.
- Such beam generation methods are described in the literature “Futia, G., Schlup, P., Winters, D. G .., Bartels, R. A.,“ Spatially-chirped modulation imaging of absorbtion and fluorescent objects on single-element optical "detector.”, "Opt.” Express “19 (2),” 1626-1640 "(2011)”.
- the beam generation unit 11 includes a laser device 15 as a laser light source, a diffracted light generation unit 16, a multiplexing unit 17, a relay optical system 18, and the like.
- the laser device 15 is a continuous oscillation type, and continuously outputs linearly polarized (for example, horizontally polarized) laser light.
- a DPSS15 (Diode Pumped Solid State) laser that outputs laser light with a wavelength of 488 nm is used as the laser device 15.
- the diffracted light generation unit 16 includes a half-wave plate 21, a polarizing beam splitter 22, first and second arms 23 and 24, and a non-polarizing half beam splitter 25, and first and second sources of interference light. Generates diffracted light.
- the first arm 23 includes a mirror 26, an anamorphic prism pair 27, and a first acousto-optic deflector (hereinafter referred to as AOD (Acousto-Optic Deflector)) 28, and generates a plurality of first diffracted lights.
- AOD Acoustic-Optic Deflector
- the second arm 24 includes a half-wave plate 31, a mirror 32, an acousto-optic frequency shifter (hereinafter referred to as AOFS (Acousto-ousOptic Frequency Shifter)) 33, an anamorphic prism pair 34, and a second AOD 35. Second diffracted light is generated.
- AOFS Acoustic-ousOptic Frequency Shifter
- Laser light from the laser device 15 enters the polarization beam splitter 22 via the half-wave plate 21.
- the polarization beam splitter 22 transmits the horizontally polarized component of the incident laser beam as the first laser beam to the first arm 23 and reflects the vertically polarized component as the second laser beam to the second arm 24.
- the polarization beam splitter 22 transmits and reflects the laser light at an intensity ratio corresponding to the polarization direction of the laser light.
- the polarization direction of the laser light incident on the polarization beam splitter 22 can be adjusted by the azimuth of the optical axis of the half-wave plate 21. Thereby, the intensity ratio between the first laser beam and the second laser beam is adjusted in consideration of the loss of each laser beam in the first arm 23 and the second arm 24.
- the first laser light and the second laser light incident on the first and second AODs 28 and 35 are adjusted to have the same light intensity. If it is not necessary to adjust the intensity ratio between the first and second laser beams, a half mirror or a non-polarization type beam splitter can be used in place of the polarization beam splitter 22. / The two-wavelength plates 21 and 31 are unnecessary.
- the first diffracted light generated from the first laser light and the second diffracted light generated from the second laser light can interfere with each other, a laser device that outputs the first laser light; You may provide separately the laser apparatus which outputs a 2nd laser beam.
- the first laser light is incident on the first AOD 28 via the mirror 26 and the anamorphic prism pair 27.
- the anamorphic prism pair 27 deforms the beam shape (cross-sectional shape) of the first laser light from a circle to an ellipse. This deformation is performed by extending the beam shape along the diffraction direction of the first laser light by the first AOD 28 (the traveling wave travels in the AOD). In this way, by deforming the beam shape of the first laser light, the spread of each first diffracted light emitted from the first AOD 28 is suppressed, and a reduction in resolution is prevented.
- the anamorphic prism pair 27 extends the beam shape in the x-axis direction.
- the first AOD 28 is driven by the first comb signal from the comb signal generating unit 41, and generates a plurality (N) of first diffracted light from the first laser light by diffraction. Each first diffracted light from the first AOD 28 enters the non-polarized half beam splitter 25.
- the comb signal generator 41 is constituted by an arbitrary waveform generator, for example.
- the first comb signal is obtained by superimposing drive signals having a plurality of different frequencies, and the first AOD 28 emits N first diffracted lights having different deflection angles simultaneously by the input of the first comb signal.
- the first AOD 28 increases the deflection angle of the first diffracted light in proportion to the frequency of the drive signal and shifts the frequency of the first diffracted light with respect to the first laser light. This frequency shift increases or decreases the optical frequency of the first diffracted light by the frequency of the drive signal with respect to the first laser light.
- the first diffracted light whose optical frequency is higher than the first laser light by the frequency of the drive signal is emitted from the first AOD 28.
- the first diffracted light having a larger deflection angle has a higher optical frequency.
- the deflection angle is an angle formed between the 0th-order diffracted light and the first diffracted light. Further, the optical frequency of the first diffracted light may be lowered by the frequency of the drive signal with respect to the first laser light.
- the first comb signal is obtained by superimposing the N drive signal from the frequency f 11 to frequency f 1N at a constant frequency interval Delta] f.
- the N first diffracted lights from the optical frequency f a1 to the optical frequency f aN are output from the first AOD 28 at the frequency interval ⁇ f.
- the optical frequency of the first laser beam that is, the laser beam output from the laser device 15
- f 0 and i 1, 2,... N
- “f ai f 0 + f 1i ”.
- the difference in deflection angle between the adjacent first diffracted lights is made equal.
- an AOD having an operable drive signal range (hereinafter referred to as an operation band) of 100 MHz to 200 MHz is used as the first AOD 28.
- the frequency interval ⁇ f in the first comb signal is 1 MHz
- the second laser light from the polarization beam splitter 22 is incident on the second AOD 35 via the half-wave plate 31, the mirror 32, the AOFS 33, and the anamorphic prism pair 34.
- the half-wave plate 31 rotates the polarization direction of the second laser light to make it the same horizontal polarization as the polarization direction of the first laser light.
- AOFS33 is driven by a shift signal from the shift signal generator 42, to lower the optical frequency of the second laser beam by the shift frequency f s.
- the AOFS 33 has the same operating band as the first AOD 28 as the second AOD 35, and uses the AOD having the same characteristics, and the optical frequency range of the plurality of first diffracted lights and the plurality of second diffracted lights emitted from the second AOD 35. It does not overlap with the optical frequency range. For this reason, the shift frequency f s is determined so that the optical frequency ranges of the plurality of first diffracted lights do not overlap with the optical frequency ranges of the plurality of second diffracted lights. In this example, the shift frequency f s is 100 MHz. Further, the AOFS33, may increase the optical frequency of the second laser beam by the shift frequency f s.
- the AOFS 33 is provided so that the optical frequency ranges of the plurality of first diffracted lights and the optical frequency ranges of the plurality of second diffracted lights do not overlap, the first and second AODs 28 and 35 are provided. If the first and second laser beams can generate a plurality of first diffracted beams and a plurality of second diffracted beams whose optical frequency ranges do not directly overlap, the AOFS 33 is unnecessary.
- the beat frequency of the interference light can be lowered by generating the interference light by combining the first diffracted light from the first AOD 28 and the second diffracted light from the second AOD 35, so AOFS for lowering the beat frequency in accordance with the response and the response speed of the fluorescent material of the sample G can be eliminated.
- the anamorphic prism pair 34 changes the beam shape of the second laser light from the AOFS 33 from a circle to an ellipse. This deformation is performed by extending the beam shape along the diffraction direction of the second laser light by the second AOD 35. Similar to the anamorphic prism pair 27, the anamorphic prism pair 34 suppresses the spread of each second diffracted light emitted from the second AOD 35 and prevents a reduction in resolution. In this example, the anamorphic prism pair 34 extends the beam shape in the y-axis direction.
- the second AOD 35 is driven by the second comb signal from the comb signal generation unit 41, and generates N second diffracted lights from the second laser light by diffraction.
- Each second diffracted light from the second AOD 35 enters the non-polarized half beam splitter 25.
- the second comb signal is obtained by superimposing drive signals having a plurality of different frequencies, and the second AOD 35 receives N second signals having different deflection angles by the input of the second comb signal.
- the diffracted light is emitted simultaneously, and the optical frequency of each second diffracted light is made higher than that of the second laser light by the frequency of the drive signal due to the frequency shift.
- N second diffracted lights from the optical frequency f b1 to the optical frequency f bN are output at a frequency interval ⁇ f.
- first diffracted lights and a plurality of second diffracted lights for generating a plurality of interference lights. That is, by using the first AOD 28 and the second AOD 35 that have the same amount of change in the deflection angle of the first diffracted light and the second diffracted light with respect to the amount of change in the frequency of the drive signal in the comb signal, a plurality of first diffracted lights And the angle intervals of the deflection angles of the plurality of second diffracted lights can be made equal to each other, thereby facilitating their superposition. For example, as will be described later, a plurality of first diffracted lights and a plurality of second diffracted lights can be superposed with a simple configuration like a non-polarized half beam splitter 25 to obtain a desired plurality of interference lights.
- the non-polarization half beam splitter 25 as the superimposing unit superimposes the first probe beam and the second probe beam by superimposing a plurality of first diffracted beams and a plurality of second diffracted beams in combination with different frequencies. Is generated.
- the first probe beam is obtained by superimposing the component of the first diffracted light reflected by the non-polarized half beam splitter 25 and the component of the second diffracted light transmitted through the non-polarized half beam splitter 25.
- the light is emitted from the non-polarization half beam splitter 25 in the x-axis direction.
- the second probe beam is obtained by superimposing the first diffracted light component transmitted through the non-polarized half beam splitter 25 and the second diffracted light component reflected by the non-polarized half beam splitter 25; The light is emitted from the non-polarization half beam splitter 25 in the y-axis direction.
- Both the first and second probe beams are composed of N interference lights obtained by interfering with the first diffracted light and the second diffracted light.
- N interference lights are emitted from the non-polarization half beam splitter 25 side by side on the horizontal plane (xy plane) at equal angular intervals.
- the first and second probe beams emitted from the non-polarization half beam splitter 25 are both horizontally polarized.
- the interference light having the same beat frequency is The phases of the beats are shifted from each other by a half cycle ( ⁇ ).
- the first AOD 28 and the second AOD 35 are arranged so as to emit the first diffracted light and the second diffracted light on the same horizontal plane (xy plane).
- the second diffracted light enters the half beam splitter 25 from the y-axis direction, and the second diffracted light enters the non-polarized half beam splitter 25 from the x-axis direction.
- the non-polarized half beam splitter 25 causes the first diffracted light L ai and the second diffracted light L
- the direction is adjusted so that the interference light L1 abi of the first probe beam and the interference light L2 abi of the second probe beam are generated by superimposing b (N ⁇ i + 1) . That is, the first diffracted light is combined in the order in which the optical frequency is increased, and the second diffracted light is in the order in which the optical frequency is decreased. Interference light is generated.
- the beat frequency f abi of the interference light L1 abi of the first probe beam becomes “f ai -f b (N ⁇ i + 1) ”, and the interference light L1 ab1 All of L1 abN have different beat frequencies.
- the interference lights L1 ab1 to L1 abN are emitted side by side in the y-axis direction.
- the beat frequency f abi of the interference light L2 abi is “f ai -f b (N ⁇ i + 1) ”
- the interference lights L2 ab1 to L2 abN are emitted side by side in the x-axis direction. Is done.
- first and second probe beams are generated in which interference light as an optical component is spatially arranged according to the beat frequency.
- the corresponding first diffracted light and second diffracted light may not completely overlap.
- the optical path lengths of the laser beams of the first arm 23 and the second arm 24 are made to coincide with each other in a range where the first diffracted light and the second diffracted light interfere (coherent length range).
- the frequency interval between adjacent beat frequencies according to the method described in Patent Document 1 is the same as the frequency interval of the AOD drive signal that generates the diffracted light, and corresponds to the frequency interval ⁇ f in this example.
- each beat frequency f abi is a carrier frequency (center frequency) of an optical signal that changes in accordance with a change in the fluorescence light intensity of the sample G, and can be used as a side wave for each carrier frequency.
- the width, that is, the bandwidth is the frequency interval ⁇ f ab . Therefore, the bandwidth for each carrier frequency and the total bandwidth that can be used for detection by N interference lights are doubled as compared to the conventional method.
- the frequency interval ⁇ f is 1 MHz
- the bandwidth for each carrier frequency is 1 MHz and the total bandwidth is 100 MHz
- the bandwidth for each carrier frequency is Is 2 MHz and the total bandwidth is 200 MHz.
- the bandwidth for each carrier frequency and the N interference lights also for this second probe beam is twice that of the conventional method.
- the first and second probe beams from the non-polarization half beam splitter 25 are sent to the multiplexing unit 17.
- the multiplexing unit 17 includes a half-wave plate 44, mirrors 45 and 46, and a polarization beam splitter 47.
- the first probe beam is converted into vertically polarized light whose polarization direction is orthogonal to the second probe beam by the half-wave plate 44 and then enters the polarization beam splitter 47 via the mirror 45 from the y-axis direction.
- One second probe beam enters the polarization beam splitter 47 via the mirror 46 from the x-axis direction.
- the polarization beam splitter 47 reflects the vertically polarized first probe beam in the x-axis direction and transmits the horizontally polarized second probe beam in the x-axis direction.
- the incident angles of the first probe beam and the second probe beam with respect to the polarization beam splitter 47 in the z-axis direction are different from each other.
- the mirrors 45 and 46 are adjusted.
- the first probe beam and the second probe beam are multiplexed so as to advance in the x-axis direction with a slight angle in the z-axis direction.
- the first and second probe beams from the polarization beam splitter 47 are incident on the dichroic mirror 50 via the anamorphic prism pair 49 and the relay optical system 18.
- the direction in which N interference lights are arranged is a direction corresponding to the main scanning, and the direction orthogonal to the main scanning direction is the sub-scanning direction.
- the main scanning direction is the left-right direction (y-axis direction)
- the sub-scanning direction is the horizontal direction (z-axis direction).
- the anamorphic prism pair 49 is formed into a circular shape by extending the beam shape of each interference light that is elliptical by the anamorphic prism pairs 27 and 34 in the minor axis direction.
- a cylindrical lens or the like may be used in place of the anamorphic prism pairs 27, 34, and 49.
- the relay optical system 18 includes a lens 18a disposed on the anamorphic prism pair 49 side and a lens 18b disposed on the dichroic mirror 50 side.
- the front focal position of the lens 18a is the first and second AOD 28,
- the rear focal position of the lens 18b is arranged on the output surface 35 so as to coincide with the front focal position of the lens 53a of the relay optical system 53 described later.
- the first and second probe beams are sent to the beam irradiation unit 12 in a state in which each interference light thereof has a predetermined beam diameter.
- the dichroic mirror 50 reflects the first and second probe beams from the relay optical system 18 toward the beam irradiation unit 12, transmits the signal light from the beam irradiation unit 12, and sends the signal light to the light detection unit 13.
- the beam irradiation unit 12 includes a mirror 52, a relay optical system 53, and an objective lens 54.
- the relay optical system 53 includes a lens 52 a disposed on the mirror 52 side and a lens 53 b disposed on the objective lens 54 side, and the rear focal position of the lens 53 b coincides with the entrance pupil of the objective lens 54. Have been adjusted so that.
- the first and second probe beams are incident on the entrance pupil of the objective lens 54 so as to spread almost completely.
- the objective lens 54 collects the first and second probe beams and irradiates the microchannel 55 through which the sample G flows.
- the objective lens 54 is adjusted so that its focal plane is located in the micro flow channel 55.
- irradiation spots beam waists
- the objective lens 54 is movable in the optical axis direction, and can be moved by, for example, a motor (not shown). Thereby, scanning can be performed by changing the position of the focal plane of the objective lens 54 with respect to the sample G.
- the laser microscope apparatus 10 is applied to the flow cytometer.
- the micro flow channel 55 is formed in a flow cell (flow cytometry cell) provided in a flow channel device 56 constituting a flow cytometer.
- the flow channel device 56 moves the sample G in the sub-scanning direction by sequentially flowing a plurality of samples G together with a fluid such as water into the micro flow channel 55. Therefore, in this example, the flow channel device 56 is a sub-scanning unit.
- N irradiation spots SP 11 to SP 1N from the first to the Nth of each interference light of the first probe beam are arranged in the main scanning direction (M direction).
- a first irradiation line BL1 of the first probe beam arranged in a line is formed.
- the irradiation spots SP 11 to SP 1N are arranged in the main scanning direction at substantially the same pitch as their diameter.
- N irradiation spots SP 21 to SP 2N from the first to the Nth of each interference light of the second probe beam are arranged in the main scanning direction at substantially the same pitch as their diameters.
- a second irradiation line BL2 of the second probe beam arranged in a line is formed.
- the interference light as the frequency component is arranged in a line along the main scanning direction.
- the diameters (full width at half maximum) of the irradiation spots SP 11 to SP 1N and SP 21 to SP 2N are about 330 nm in this example.
- the irradiation spots SP 11 to SP 1N are referred to as irradiation spots SP 1 when it is not necessary to distinguish between them, and the irradiation spots SP 21 to SP 2N are referred to as irradiation spots SP 2 when it is not necessary to particularly distinguish them.
- the positions of the irradiation spots SP 11 to SP 1N and the irradiation spots SP 21 to SP 2N in the main scanning direction are the same. That is, for example, in FIG. 5, the j-th irradiation spot SP 1j (j is 1, 2,... N) from the top and the irradiation spot SP 2j have the same position in the main scanning direction. Further, when the beams are emitted from the polarization beam splitter 47, the arrangement of the beat frequencies of the interference light beams of the first probe beam and the interference light beams of the second probe beam is the same, so that the positions in the main scanning direction are the same.
- the beat frequency of the interference light that forms the spots SP 1j and SP 2j is the same.
- the interference light beams of the first and second probe beams are arranged in a line along the main scanning direction, and are irradiated to the sample G, respectively.
- the multiplexing unit 17 provides an angle in the z-axis direction between the first probe beam and the second probe beam, the first irradiation line BL1 and the second irradiation line BL2 are mutually in the sub-scanning direction. Leave.
- the adjacent line interval DL between the first irradiation line BL1 and the second irradiation line BL2 is adjusted to be larger than the maximum length WG of the sample G in the sub-scanning direction. This prevents the first and second probe beams from being simultaneously irradiated onto the same sample G.
- the distance between the irradiation line arranged on the most upstream side of the microchannel 55 and the irradiation line arranged on the most downstream side is set in the microchannel 55.
- the sample G passes through the first irradiation line BL1 by flowing in the micro flow path 55 in the sub-scanning direction.
- the sample G is irradiated with each interference light of the first probe beam, and the irradiation position is shifted by the downstream movement of the sample G, so that the sub scanning with respect to the sample G is performed. Is done.
- the sample G is scanned two-dimensionally. Fluorescence is emitted from the portion of the sample G irradiated with the interference light, and the light intensity of the fluorescence changes according to the beat frequency of the interference light to be irradiated and also changes according to the distribution of the fluorescent substance.
- the sample G After passing through the first irradiation line, the sample G passes through the second irradiation line.
- the sample G is irradiated with each interference light of the second probe beam.
- the irradiation position of the second probe beam on the sample G shifts, and sub-scanning of the sample G is performed.
- fluorescence is emitted from the portion of the sample G irradiated with the interference light, and the light intensity of the fluorescence changes according to the beat frequency of the interference light to be irradiated, and the distribution of the fluorescent material Will change accordingly.
- Fluorescence from the sample G is an optical signal in which a signal having the beat frequency of the irradiated interference light as a carrier frequency is intensity-modulated according to the distribution of the fluorescent substance. Since the beat frequency corresponds to the position in the main scanning direction in the irradiation line, the optical signal is a signal including position information in the main scanning direction in the irradiation line together with information on the distribution of the fluorescent material. . As will be described later, one-dimensional images of N sub-scan lines are generated by N interference lights of the first and second probe beams, respectively.
- the first diffracted light and the second diffracted light of the first and second probe beams both have a Gaussian intensity distribution, and the interference light overlaps the first diffracted light and the second diffracted light. Since they are combined, the half width of the intensity distribution is narrow and the kurtosis is large. For this reason, the method of irradiating the sample G with the interference light obtained by superimposing the first diffracted light and the second diffracted light has an advantage that the spatial resolution is higher than the conventional method.
- each fluorescence emitted when the sample G passes the first irradiation line BL ⁇ b> 1 is collected by the objective lens 54, and detection light composed of each fluorescence is transmitted from the objective lens 54.
- the light enters the relay optical system 53 and enters the dichroic mirror 50 through a path opposite to the probe beam. Thereafter, the detection light composed of each fluorescence emitted when the sample G passes the second irradiation line also enters the dichroic mirror 50 through the objective lens 54 and the relay optical system 53.
- the detection light incident on the dichroic mirror 50 is transmitted through the dichroic mirror 50 and sent to the light detection unit 13.
- the light detection unit 13 includes a mirror 61, a condenser lens 62, a slit plate 63, a photomultiplier tube (hereinafter referred to as PMT) 64, an amplifier 65, and a digitizer 66 as a photodetector.
- the detection light is incident on the PMT 64 via the mirror 61 and the condenser lens 62.
- a slit plate 63 is disposed at the focal position of the condenser lens 62.
- the slit plate 63 is provided with a slit portion 63a composed of two slits corresponding to the first irradiation line BL1 and the second irradiation line BL2, and only the detection light transmitted through the slit enters the PMT 64.
- the laser microscope apparatus 10 is confocal, and only the fluorescent component from the focal plane of the objective lens 54 is incident on the PMT 64, thereby improving contrast and spatial resolution.
- the longitudinal direction of each slit of the slit portion 63 a is the direction in which the main scanning direction on the focal plane of the objective lens 54 is projected through an optical system between the focal plane and the slit plate 63. Note that the slit plate 63 may be omitted.
- the PMT 64 outputs a detection signal corresponding to the light intensity of the incident detection light.
- detection signals for one sample G that change in response to the sample G sequentially passing through the first irradiation line BL1 and the second irradiation line BL2, respectively. can get.
- an avalanche photodiode or the like may be used instead of the PMT 64.
- the detection signal from the PMT 64 is amplified by the amplifier 65 and then sent to the digitizer 66.
- the digitizer 66 samples the signal level of the detection signal at a predetermined sampling frequency, and digitally converts the detection signal.
- the detection signal digitized by the digitizer 66 is sent to the signal processing unit 14.
- the signal processing unit 14 is configured by, for example, a PC, and acquires information on the sample G from the detection signal, in this example, the distribution of the fluorescent material, and generates an observation image.
- the signal processing unit 14 includes a Fourier transform unit 14a, an inverse Fourier transform unit 14b, an image processing unit 14c, a speed detection unit 14d, and a monitor 14e.
- the signal processing unit 14 includes, for example, a memory that sequentially accumulates the detection signals, and a predetermined passing time has elapsed from a start point that is back by a predetermined retroactive time from the time when the detection signal becomes equal to or greater than a predetermined threshold.
- the detection signal output during the period up to the end point is processed as a detection signal for one sample G.
- the retroactive time is determined so that the start point is set at a timing before the sample G reaches the first irradiation line BL1 in consideration of the moving speed of the sample G in the sub-scanning direction and its fluctuation.
- the passage time is determined by considering the moving speed of the sample G in the sub-scanning direction, the fluctuation thereof, and the size of the sample G, and the sample G passes through the second irradiation line BL2 from the position at the start point.
- the timing before the sample G reaches the first irradiation line BL1 is determined to be the end point.
- the Fourier transform unit 14a performs fast Fourier transform on the detection signal to obtain a frequency spectrum.
- An inverse Fourier transform is performed on the frequency spectrum obtained from the detection signal by the inverse Fourier transform unit 14b.
- the frequency spectrum is separated with a predetermined bandwidth ⁇ f wd ( ⁇ 2 ⁇ f) using the beat frequency of the interference light as the carrier frequency, and the absolute value is obtained by performing inverse Fourier transform on each of the separated frequency spectra. I take the. Separating the frequency spectrum is equivalent to separating the frequency spectrum for each sub-scan line, and individually separating the modulated spectrum (light signal) obtained by irradiating the sub-scan line with interference light.
- N one-dimensional images indicating the distribution of the fluorescent material along the sub-scanning direction are calculated.
- the longitudinal direction corresponds to the sub-scanning direction, that is, the time during which the sample G passes, and the pixel value indicates the amount of the fluorescent substance.
- Each one-dimensional image in one irradiation of the distribution of detected fluorescent substance spots SP 1 image, at intervals corresponding to the adjacent line interval DL, the position of the irradiation spot SP 1 to the main scanning direction images of the distribution of detected fluorescent material at the same irradiation spot SP 2 is in the subsequent ones.
- N one-dimensional images of the sample G are sent to the image processing unit 14c.
- the spectrum of the STFT in the time range corresponding to the pixel in the main scanning direction corresponds to the distribution of the fluorescent material in the sub-scanning direction, and the temporal change in the spectrum of the STFT becomes an image.
- STFT short-time Fourier transform
- the digitizer 66 sends the digitally converted detection signal to the speed detection unit 14d.
- the speed detector 14d detects the moving speed VG of the sample G in the sub-scanning direction based on the input detection signal.
- the delay time Td corresponds to the timing at which the first probe beam is irradiated when the sample G reaches the position of the first irradiation line BL1 due to the movement of the sample G in the sub-scanning direction and the second irradiation line BL2.
- the delay time Td corresponds to, for example, the time from when one sample G passes through the first irradiation line BL1 until it passes through the second irradiation line BL2.
- the delay time Td obtained using the autocorrelation function does not specify the portion of the sample G irradiated with the first and second probe beams, and the first and second probes for one sample G It is a time indicating the deviation of the irradiation timing of the beam.
- the delay time Td can also be obtained by calculating the autocorrelation function of the one-dimensional image generated as described above or an image in which each one-dimensional image is arranged in the main scanning direction.
- the autocorrelation function itself can be used when obtaining the secondary peak.
- An envelope waveform is obtained by applying a low-pass filter having a cut-off frequency lower than the modulation frequency range to the detection signal, and within the envelope waveform, the sample G passes through the first irradiation line BL1 and the second time.
- the time difference between the respective peak values within the period passing through the irradiation line BL2 may be used as the delay time Td.
- an envelope waveform of the detection signal may be obtained, an autocorrelation function of the envelope waveform may be calculated, and a value T that becomes a secondary peak of the autocorrelation function may be used as the delay time Td.
- the image processing unit 14c multiplies the time axis value by the moving speed VG from the speed detection unit 14d. Thereby, the longitudinal direction of each one-dimensional image is expanded and contracted at the moving speed VG, and the time in the longitudinal direction is converted into the distance in the z-axis direction.
- the image processing unit 14c divides each one-dimensional image at the division position.
- the division position is set to a position having a length obtained by multiplying the moving speed VG by the delay time Td from the above-described start point.
- the one-dimensional image is divided into a first image obtained by irradiation with the first probe beam and a second image obtained by irradiation with the second probe beam.
- the image processing unit 14c matches the start point of the first image with the start point (division position) of the second image, and superimposes the first image and the second image, thereby creating a new one-dimensional image. Is generated.
- the superimposition of the one-dimensional images is performed by adding pixel values.
- each new one-dimensional image is arranged in the order of the corresponding irradiation spots SP 1 and SP 2 to generate a two-dimensional observation image.
- an observation image obtained by two-dimensionally mapping the distribution of the fluorescent material of the sample G is synthesized with an image obtained by irradiating the first probe beam and an image obtained by irradiating the second probe beam.
- An observation image obtained by mapping the fluorescent substance distribution of the sample G two-dimensionally is displayed on the monitor 14e.
- an observation image is generated.
- a doubled high quality observation image can be obtained.
- the light intensity of each interference light is not increased, the luminance of the fluorescent material is not saturated. It is also advantageous for reducing random noise.
- the arrangement of the irradiation spots in the irradiation lines BL1 and BL2 described above is an example, and the present invention is not limited to this.
- an interval between adjacent irradiation spots in the same irradiation line may be provided, and the position of the irradiation spot may be shifted in the main scanning direction between the irradiation lines.
- the irradiation spots SP 11 to SP 1N of the first irradiation line BL1 and the irradiation spots SP 21 to SP 2N of the second irradiation line BL2 are respectively formed on the focal plane of the objective lens 54. They are arranged in the main scanning direction at an arrangement pitch P twice as large as Ds. Further, for example, by adjusting the inclination of the mirrors 45 and 46 (see FIG. 1) in the multiplexing unit 17 around the z axis, the second is applied to the irradiation spots SP 11 to SP 1N of the first irradiation line BL1.
- Ds 1/2 ⁇ P
- the signal processor 14 a one-dimensional images obtained from the respective irradiation spots SP 1 of the first irradiation line BL1, the main scanning direction and one-dimensional images obtained from each radiation spot SP 2 of the second irradiation line By alternately arranging the images, one observation image corresponding to one sample G is obtained.
- the length in the main scanning direction is longer than when the arrangement pitch P shown in FIG. 5 is substantially the same as the diameter Ds of the irradiation spots SP 1 and SP 2.
- the frequency interval ⁇ fw of the signal can be double the frequency interval ⁇ f in the case of the first embodiment.
- the frequency interval ⁇ fw ab of the beat frequency is twice the frequency interval ⁇ f ab in the case of the first embodiment, That is, the bandwidth for each carrier frequency can be doubled, and the image quality of the observation image can be increased, or the moving speed of the sample G can be increased.
- the interval between adjacent irradiation spots in the same irradiation line is widened, generation of a crosstalk signal due to interference between adjacent irradiation spots can be suppressed, which contributes to an improvement in image quality.
- the pinhole 69 corresponds to the irradiation spots SP 1 and SP 2 of the first and second irradiation lines BL1 and BL2.
- the irradiation spots of each probe beam are arranged at a predetermined arrangement pitch, and other ones between the irradiation spots of any one probe beam in the main scanning direction
- the probe beams may be shifted in the main scanning direction so that one irradiation spot of each probe beam is arranged.
- M M is an integer of 2 or more
- the array pitch of the probe beam irradiation spots is set to M times the irradiation spot diameter Ds, and each probe beam is sequentially scanned in the irradiation spot diameter Ds sequentially. It is preferable to shift in the direction.
- FIG. 11 shows an example in which a probe beam is associated with each of a plurality of small areas obtained by dividing the irradiation range in the main scanning direction, and the corresponding probe beam is irradiated for each small area.
- the irradiation range 71 to be irradiated with interference light in the main scanning direction is divided into, for example, a first small region 71a and a second small region 71b, with the center of the microchannel 55 as a boundary, and the first small region The region 71a is irradiated with the first probe beam, and the second small region 71b is irradiated with the second probe beam.
- the first irradiation line BL1 including the irradiation spots SP 11 to SP 1N is formed in the first small area 71a
- the second irradiation line BL2 including the irradiation spots SP 21 to SP 2N is formed in the second small area 71b.
- the first probe beam and the second probe beam do not overlap in the main scanning direction in which they are irradiated.
- the inclinations of the mirrors 45 and 46 (see FIG. 1) in the multiplexing unit 17 are adjusted.
- the signal processing unit 14 performs main scanning on a first image composed of a plurality of one-dimensional images obtained by irradiation with the first probe beam and a second image composed of a plurality of one-dimensional images obtained by irradiation with the second probe beam.
- An observation image corresponding to one sample G is obtained by arranging in the direction.
- the number of first and second diffracted lights to be generated by the first and second AODs 28 and 35 is halved as in the case of the example of FIG.
- the image is doubled and a clear image can be obtained.
- the bandwidth for each carrier frequency can be doubled, and the image quality of the observation image can be increased, or the moving speed of the sample G can be increased.
- the number of interference lights that can be generated with one AOD while securing a certain bandwidth, that is, the range in which the probe beam can be irradiated is limited by the operating band of the AOD. If the irradiation range to be irradiated is divided in the main scanning direction and the divided irradiation range is irradiated with another probe beam, the main scanning range can be substantially widened.
- the detection signal component by the interference light irradiated to the edge part by the side of the 2nd small area 71b among each interference light of the 1st probe beam, and the 1st small area 71a side among each interference light of the 2nd probe beam It is preferable to obtain the delay time Td using the detection signal component due to the interference light irradiated to the end. In this way, the accuracy of the delay time Td can be increased because it is a detection signal component obtained by irradiating interference light at positions close to each other.
- the beat frequency component of the interference light irradiated to the end portion of the first probe beam on the second small region 71b side is represented by a bandpass filter.
- a signal obtained by extracting the beat frequency component of the interference light irradiated to the end portion of the second probe beam on the first small region 71a side with a bandpass filter May be used as a detection signal for obtaining the delay time Td.
- the irradiation range in which the interference light should be irradiated in the main scanning direction may be divided into three or more small regions, and the probe beam may be irradiated for each small region.
- a plurality of first and second diffracted lights are generated and superposed using the first and second AODs 28 and 35, respectively.
- a plurality of interference lights may be generated by superimposing a widened laser beam on a plurality of diffracted lights.
- a configuration for calculating the moving speed VG of the sample G and correcting the observation image with the moving speed VG may be provided as necessary. For example, there is a problem even if the image of the sample G expands or contracts in the sub-scanning direction. When the observation image is used for such an analysis method, the configuration for correcting the observation image at the moving speed VG can be omitted.
- the laser microscope apparatus according to the second embodiment is configured to irradiate four probe beams.
- the laser microscope apparatus of the second embodiment is the same as the example of FIG. 1 of the first embodiment except that it will be described below. The detailed explanation is omitted.
- FIG. 12 shows a laser microscope apparatus 80 according to the second embodiment.
- the first and second probe beams emitted from the polarization beam splitter 47 (hereinafter referred to as the first beam and the second beam in order to distinguish them from newly generated probe beams) are 1 / It is configured to enter the anamorphic prism pair 49 via the two-wave plate 81 and the Wollaston prism 82.
- the half-wave plate 81 has an optical axis inclined by 22.5 degrees with respect to the vertical direction, converts the first beam that is vertically polarized light into ⁇ 45 degree linearly polarized light, and converts the second beam that is horizontally polarized light into the second beam. Convert to +45 degree linearly polarized light.
- the Wollaston prism 82 deflects and separates light having orthogonal polarization planes in different directions.
- the Wollaston prism 82 is arranged so as to separate vertical polarization and horizontal polarization.
- the first and second beams from the half-wave plate 81 are incident on the Wollaston prism 82, the first and second beams are separated into a vertical polarization component and a horizontal polarization component, respectively.
- the first to fourth probe beams having an angle in the direction are emitted.
- a slit plate 84 having a slit portion 84a in which four slits are arranged in the z-axis direction is disposed at the focal position of the condenser lens 62 of the light detection unit 13.
- First to fourth irradiation lines BL1 to BL4 of the first to fourth probe beams are formed apart in the sub-scanning direction.
- N irradiation spots SP 11 to SP 1N of each interference light of the first probe beam are arranged in a line shape in the main scanning direction
- the second irradiation line BL2 includes each of the second probe beams.
- N irradiation spots SP 21 to SP 2N of interference light are arranged in a line in the main scanning direction.
- N irradiation spots SP 31 to SP 3N of each interference light of the third probe beam are arranged in a line shape in the main scanning direction
- the fourth irradiation line BL4 includes each of the fourth probe beams.
- N irradiation spots SP 41 to SP 4N of interference light are arranged in a line in the main scanning direction. If the irradiation spots of the first to fourth irradiation lines BL1 to BL4 have the same position in the main scanning direction, the beat frequency of the interference light that forms the irradiation spot is also the same.
- the adjacent line intervals DL 1 to DL 3 between the adjacent irradiation lines of the first to fourth irradiation lines BL1 to BL4 are all larger than the maximum length WG of the sample G in the sub-scanning direction. It has been adjusted. This prevents the same sample G from being irradiated with a plurality of probe beams simultaneously. Further, the distance Ls between the first irradiation line BL1 arranged on the most upstream side of the microchannel 55 and the fourth irradiation line BL4 arranged on the most downstream side is set as the minimum interval of the sample G flowing in the microchannel 55. By making it shorter than SG, the probe beam is not simultaneously irradiated to different samples G.
- the movement time VG of the sample G is calculated by obtaining the delay time Td using the detection signal of each period during which the sample G passes through any two of the first to fourth irradiation lines BL1 to BL4. can do.
- the image processing unit 14c converts the one-dimensional image into four one-dimensional images. A new one-dimensional image is created by dividing and overlapping, and an observation image is generated from them.
- the delay time until the sample G passes through the second to fourth irradiation lines BL2 to BL4 is obtained with reference to the timing when the sample G passes through the first irradiation line BL1, respectively.
- a one-dimensional image may be divided into four and superimposed at three positions corresponding to these delay times.
- Each delay time can be obtained as a value T that is a second to fourth order peak of the autocorrelation function I (T).
- the bandwidth for each carrier frequency is wider than before, it is advantageous for improving the image quality of the observation image and acquiring the observation image maintaining a good image quality, and substantially fluorescent.
- a high-quality observation image with improved brightness can be obtained.
- the light intensity of each interference light is not increased, the luminance of the fluorescent material is not saturated. Furthermore, it is advantageous for reducing random noise.
- a third embodiment in which the beam generator is simply configured will be described.
- the laser microscope apparatus of the third embodiment is the same as that of the first embodiment except for the following description, and substantially the same components are denoted by the same reference numerals and detailed description thereof is omitted.
- the configuration of the beam irradiation unit and the light detection unit is the same as that of the first embodiment, and therefore only the beam generation unit is illustrated in FIG.
- the beam generation unit 11 includes a laser device 15 as a laser light source, a diffracted light generation unit 86, an interference light generation unit 87, a relay optical system 18, and the like.
- the diffracted light generation unit 86 includes a half-wave plate 21, a polarizing beam splitter 22, first and second arms 86a and 86b, and a polarizing beam splitter 86c.
- the first arm 86a includes a mirror 26, an anamorphic prism pair 27, and a first AOD 28, and generates a plurality of first diffracted lights.
- the second arm 86b includes a mirror 32, an AOFS 33, an anamorphic prism pair 34, and a second AOD 35, and generates a plurality of second diffracted lights.
- Laser light from the laser device 15 enters the polarization beam splitter 22 via the half-wave plate 21.
- the polarization beam splitter 22 reflects the vertical polarization component of the laser light as the first laser light to the first arm 86a and transmits the horizontal polarization component as the second laser light to the second arm 86b.
- the first laser light is incident on the first AOD 28 via the mirror 26 and the anamorphic prism pair 27, thereby generating a plurality of first diffracted lights.
- the second laser light is incident on the second AOD 35 through the mirror 32, the AOFS 33, and the anamorphic prism pair 34, thereby generating a plurality of second diffracted lights.
- the first diffracted light is vertically polarized light
- the second diffracted light is horizontally polarized light.
- the polarization beam splitter 86c as an overlapping unit reflects the plurality of first diffracted lights from the first arm 86a and transmits the plurality of second diffracted lights from the second arm 86b.
- the second diffracted light is combined and overlapped with each other having different optical frequencies.
- the combination of the first diffracted light and the second diffracted light superimposed by the polarizing beam splitter 86c is the same as that of the non-polarized half beam splitter 25 (see FIG. 1) of the first embodiment.
- the second diffracted light and the second diffracted light do not interfere with each other even if they are overlapped by the polarization beam splitter 86c because their polarization directions are orthogonal to each other. Therefore, the first diffracted light and the second diffracted light that are spatially overlapped are emitted from the polarization beam splitter 86c.
- the interference light generation unit 87 includes a half-wave plate 87a and a Wollaston prism 87b.
- the plurality of first diffracted lights and the plurality of second diffracted lights from the polarization beam splitter 86c enter the Wollaston prism 82b via the half-wave plate 87a.
- the half-wave plate 82a has an optical axis inclined by 22.5 degrees with respect to the vertical direction, converts the first diffracted light with vertical polarization into linearly polarized light with ⁇ 45 degrees, and the second diffracted light with horizontal polarization. Is converted to +45 degree linearly polarized light.
- the Wollaston prism 87b is arranged so as to separate vertical polarization and horizontal polarization.
- the first diffracted light and the second diffracted light from the half-wave plate 87a are incident on the Wollaston prism 87b, the first diffracted light and the second diffracted light have a vertical polarization component and a horizontal polarization component, respectively.
- the first diffracted light and the second diffracted light are emitted in the same direction, and the first diffracted light and the second diffracted light are emitted in the same direction.
- interference light is generated by overlapping the vertically polarized components of the first diffracted light and the second diffracted light that are spatially overlapped, and the horizontally polarized components of the first diffracted light and the second diffracted light are overlapped.
- interference light is generated.
- a first probe beam composed of a plurality of vertically polarized interference lights and a second probe beam composed of a plurality of horizontally polarized interference lights Generated.
- the first and second probe beams are sent to the beam irradiation unit via the anamorphic prism pair 49 and the relay optical system 18.
- the fourth embodiment sub scanning is performed by moving the irradiation position of the probe beam in the sub scanning direction with respect to a stationary sample.
- the laser microscope apparatus of the fourth embodiment is the same as that of the first embodiment, except as described below, and substantially the same components are denoted by the same reference numerals and detailed description thereof is omitted.
- the laser microscope apparatus according to the fourth embodiment has the same configuration as that of the first embodiment except for the beam irradiation unit. Therefore, only the beam irradiation unit is illustrated in FIG.
- the beam irradiation unit 90 mounts a resonant scanner 91 as a sub-scanning unit including a scanning mirror 91a, a mirror 92, a relay optical system 53, a mask plate 93, an objective lens 54, and a sample G. It is composed of a stage (not shown) and the like.
- the first and second probe beams from the dichroic mirror 50 enter the objective lens 54 via the scanning mirror 91a, the mirror 92, and the relay optical system 53, and are irradiated on the sample G.
- the resonant scanner 91 is an optical deflector, and swings the scanning mirror 91a around a rotation axis 91b parallel to a horizontal direction (x-axis direction) orthogonal to the incident direction of interference light, thereby making the first and second
- the probe beam is periodically deflected in the sub-scanning direction to perform equiangular scanning.
- the main scanning direction is the z-axis direction
- the sub-scanning direction is the y-axis direction.
- another optical deflector such as a galvanometer mirror or a polygon mirror may be used.
- the mask plate 93 is formed with an aperture 93a, and is arranged at the focal position of each lens 53a, 53b between the relay optical system 53.
- the aperture 93a of the mask plate 93 is provided in the observation visual field range, that is, the range where the first and second probe beams PB1 and PB2 are to be irradiated. Accordingly, the range in the sub-scanning direction in which the first and second probe beams are irradiated by the mask plate 93 is limited, and the first and second probe beams PB1 and PB2 are prevented from being irradiated outside the observation visual field range. Thus, unnecessary optical signals from other than the sample G to be detected are prevented from being mixed.
- the mask plate 93 may be omitted when there is nothing that generates an unnecessary optical signal outside the observation visual field range.
- the same effect as that of the first embodiment can be obtained for the stationary sample G.
- the above configuration can also be used when a plurality of observation images are obtained from the same sample G, and is advantageous because the frame rate is substantially doubled compared to the case of using a single probe beam.
- the structure which moves a probe beam irradiation position to a subscanning direction can be utilized in combination with the beam generation part and light detection part in other embodiment.
- an observation image is generated by deconvolution of an acquired image obtained from a detection signal using irradiation position information of a plurality of probe beams.
- the laser microscope apparatus of the fifth embodiment is the same as that of the first embodiment, except as described below, and substantially the same components are denoted by the same reference numerals and detailed description thereof is omitted. . In this example, it is assumed that the sample moves in the sub-scanning direction at a constant speed.
- FIG. 17 shows the configuration of the laser microscope apparatus 97.
- the first beam In order to distinguish the first and second probe beams emitted from the non-polarization half beam splitter 25 of the multiplexing unit 99 of the beam generation unit 98 from the newly generated probe beam, the first beam, This is called the second beam.
- the first beam and the second beam are both horizontally polarized light, but the phase of the beats of interference light having the same beat frequency are shifted from each other by a half period ( ⁇ ).
- an anamorphic prism pair 101, 102 and a third AOD 103 are arranged between the half-wave plate 44 and the polarization beam splitter 47 on the optical path through which the first beam passes.
- An anamorphic prism pair 104 and 105 and a fourth AOD 106 are arranged between the non-polarizing half beam splitter 25 and the polarizing beam splitter 47 on the optical path through which the second beam passes.
- an anamorphic prism pair 107 is disposed between the polarization beam splitter 47 and the relay optical system 18.
- the comb signal generator 41 generates third and fourth comb signals.
- the third and fourth comb signals are obtained by superimposing three drive signals having different frequencies from each other.
- the third AOD 103 is driven by the third comb signal, and generates the first to third probe beams by diffracting the first beam.
- the fourth AOD 104 is driven by the fourth comb signal, and generates the fourth to sixth probe beams by diffracting the second beam.
- the diffraction directions of the third and fourth AODs 103 and 106 are both z-axis directions.
- the first to sixth probe beams are each composed of N interference lights.
- the beat frequencies of the N interference lights of the first to sixth probe beams are the same as the beat frequencies of the original interference light of the first or second beam. Since each interference light of the first beam and each interference light of the second beam are shifted in phase by a half period at the same beat frequency, the interference light of the first to third probe beams and the fourth to sixth Even between the interference beams of the probe beam, beat phases are shifted from each other by a half cycle at the same beat frequency.
- the anamorphic prism pairs 101 and 104 are both circular by reducing the beam shapes of the first and second beams, which are elliptical by the anamorphic prism pairs 27 and 34, in the major axis direction. To do.
- the anamorphic prism pairs 102 and 105 are emitted from the third and fourth AODs 103 and 106 by deforming the first and second beams from a circular shape to an elliptical shape by extending them in the z-axis direction.
- the spread of the beam shapes of the first to third and fourth to sixth probe beams is suppressed, and the resolution is prevented from being lowered.
- the polarization beam splitter 47 reflects vertically polarized first to third probe beams in the x-axis direction and transmits horizontally polarized fourth to sixth probe beams in the x-axis direction. As a result, the first to third probe beams and the fourth to sixth probe beams are multiplexed.
- the first to sixth probe beams from the polarization beam splitter 47 are sent to the beam irradiation unit 12 via the anamorphic prism pair 107, the relay optical system 18, and the dichroic mirror 50.
- the anamorphic prism pair 107 is formed into a circular shape by extending the beam shape of each interference light of the first to sixth probe beams in the y-axis direction.
- the irradiation positions of the first to sixth probe beams in the sub-scanning direction are adjusted by the third AOD 103 and the fourth AOD 106.
- the focal position of the condenser lens 62 of the light detection unit 13 six slits 109a corresponding to first to sixth irradiation lines BL1 to BL6 (see FIG. 18) described later are arranged in the z-axis direction.
- the third comb signal is obtained by superimposing three types of drive signals of 100 MHz, 140 MHz, and 180 MHz.
- the fourth comb signal is obtained by superimposing three types of drive signals of 110 MHz, 160 MHz, and 170 MHz.
- the line BL2, the fifth irradiation line BL5 of the fifth probe beam, the sixth irradiation line BL6 of the sixth probe beam, and the third irradiation line BL3 of the third probe beam are formed simultaneously.
- the PMT 64 simultaneously detects fluorescence emitted when the first to sixth probe beams are irradiated. Also in this example, if the position of the irradiation spot in the main scanning direction is the same, the beat frequency of the corresponding interference light is the same.
- the first to sixth probe beams are encoded and irradiated to the sample G.
- encoding is performed with a code pattern of “1, -1, 0, 0, 1, 0, ⁇ 1, ⁇ 1, 1” at equal intervals in the moving direction of the sample G.
- the code (1, -1, 0) and the position of the code, that is, the code pattern indicating the irradiation position of each probe beam in the z-axis direction is irradiation position information.
- “1” and “ ⁇ 1” mean that the probe beam is irradiated, “1” corresponds to the first to third probe beams, and “ ⁇ 1” means the second to sixth. Corresponds to the probe beam.
- the code interval of the code pattern corresponds to the frequency interval of the drive signals of the third and fourth comb signals, and each of the third and fourth comb signals corresponds to “1” and “ ⁇ 1”.
- the frequency of the drive signal is set as described above.
- the signs of the first to third probe beams and the fourth to sixth probe beams are different in sign from the interference light of the first to third probe beams. This means that the phase of the beat of the corresponding interference light is shifted by a half cycle. Then, the pixel value of the image Im2 obtained from each interference light of the fourth to sixth probe beams is obtained from each interference light of the first to third probe beams virtually by Fourier transform and inverse Fourier transform of the signal processing unit 14. This means that the sign is inverted with respect to the pixel value of the image Im1 to be displayed.
- the signal processing unit 14 generates an observation image Im (see FIG. 18) from a detection signal obtained when the sample G passes through the first to sixth irradiation lines BL1 to BL6.
- the Fourier transform unit 14a performs Fourier transform on the detection signal obtained when the sample G passes through the first to sixth irradiation lines BL1 to BL6, and the inverse Fourier transform unit 14b N one-dimensional images are generated by performing inverse Fourier transform on each frequency spectrum obtained by Fourier transform.
- the image processing unit 14c generates an observation image Im by deconvolution of an image in which N one-dimensional images are arranged in the main scanning direction (hereinafter referred to as an acquired image).
- the PMT 64 simultaneously detects the fluorescence emitted from the sample G when the first to sixth probe beams are irradiated, the acquired images are displayed in the sub-scanning direction of the first to sixth irradiation lines BL1 to BL6.
- six images corresponding to the sample G are shifted and formed in multiple in the sub-scanning direction. That is, an acquired image is generated by superimposing the image Im1 obtained by irradiation with the first to third probe beams and the image Im2 obtained by irradiation with the fourth to sixth probe beams.
- images corresponding to three of the samples G are formed in a multiple manner by shifting in the sub-scanning direction. Further, as described above, since the phase of each interference light of the first to third probe beams and the phase of each interference light of the fourth to sixth probe beams are shifted by a half wavelength, the pixel value of the image Im2 is positive or negative Since it is opposite to the pixel value of the image Im1, an acquired image having each pixel value obtained by subtracting the magnitude (absolute value) of the pixel value of the image Im2 from the pixel value of the image Im1 is generated.
- the acquired image can be regarded as a result of convolution of the image of the sample G (hereinafter referred to as an original image) acquired by irradiation with one probe beam and the code pattern shown in FIG. . Therefore, if the acquired image is f (z, y) and the original image is f 0 (z, y), it can be expressed by the following equation (2) using the code delta function c (z). Note that “*” in equation (2) is a convolution operator.
- the value z in the above expression is the position (z coordinate) in the sub-scanning direction where the sample G moves, and the value y is the position (y coordinate) in the main scanning direction, and each interference light in the main scanning direction.
- Equation (2) When the above equation (2) is Fourier transformed, it can be expressed as the following equation (4).
- a function obtained by Fourier transforming f (z, y), f 0 (z, y), and c (z) is defined as F (z, y), F 0 (z, y), and C (z).
- F 0 (z, y) is obtained by Fourier transforming the acquired image
- C (z) is prepared in advance as a Fourier transform of the code delta function c (z). I can leave. Therefore, it can be seen that F 0 (z, y) obtained by Fourier transform of the acquired image is obtained as shown in the following equation (5).
- the image processing unit 14c performs Fourier transform on the acquired image f (z, y), and obtains F 0 (z, y) using the acquired image F (z, y) obtained by the Fourier transform and the known C (z).
- the obtained F 0 (z, y) is subjected to inverse Fourier transform. In this way, an original image, that is, an observation image Im is obtained.
- a high-quality observation image in which the luminance of the fluorescent material is substantially improved by irradiating a plurality of probe beams without causing saturation of the luminance of the fluorescent material. Can be obtained. Even when the size of the sample G is unknown and the possibility that a plurality of probe beams irradiate the sample G at the same time cannot be excluded, it is effective because the observation image Im can be stably acquired by the above calculation. It is also advantageous for reducing random noise.
- the interval between the plurality of probe beams is larger than the size of the sample G, and the detection signal from one sample G and the detection of the next sample G are detected. Overlap with the signal is allowed.
- the case of irradiating two probe beams as in the first embodiment is included, and the calculation processing after signal acquisition is changed as described above to change between the probe beams. It is possible to eliminate distance constraints.
- the sample G is irradiated with six probe beams.
- the number of probe beams is not limited to this, and if two or more, substantially the same effect can be obtained. Further, it is not necessary to make the intensity of each probe beam equal.
- the deconvolution calculation may be performed by defining c (z) using the relative intensities of the respective probe beams with positive and negative instead of the codes 1 and ⁇ 1.
- the response of the phosphor of the sample G is slow, there may be a phase delay in the modulation of the fluorescence emitted as signal light due to the beat of the interference light.
- phase delay ⁇ may be reflected in the code, and instead of 1, ⁇ 1, for example, exp (i ⁇ ), ⁇ exp (i ⁇ ) may be replaced.
- c (z) may be defined by multiplying these codes (exp (i ⁇ ), ⁇ exp (i ⁇ )) by the relative intensity of the probe beam.
- deconvolution may be performed using a Wiener filter using the following equation (6).
- other general deconvolution techniques such as the Richardson-Lucy algorithm may be used.
- * ” in the formula (6) means a complex conjugate.
- the value ⁇ is a predetermined constant.
- an observation image may be constructed by matrix calculation instead of the above calculation.
- the pseudo inverse matrix of the matrix A is B
- a code pattern including both positive and negative codes is used, but only one (positive or negative) code pattern may be used.
- the codes including the code “0” are arranged at equal intervals.
- the code patterns may be arranged so that the irradiation positions of the probe beams are discrete. Just decide. The irradiation position of each probe beam being discrete is a state in which different probe beams are adjacent or separated in the sub-scanning direction. More specifically, the irradiation spots of the interference light beams of different probe beams should not overlap each other, and the irradiation spots should be adjacent or separated (the center interval of the irradiation spots is not less than the spot diameter (diameter)).
- the spot diameter of the irradiation spot is, for example, the diameter, full width at half maximum, or airy disk of which the illuminance decreases to 1 / square of e at the center of the irradiation spot in consideration of the sensitivity and accuracy of the laser microscope device 97 It can be defined as a diameter or the like.
- the fluorescence emitted from the sample G to the irradiation side of the probe beam is detected as the detection light by irradiating the probe beam, but is emitted to the side opposite to the objective lens.
- the laser microscope apparatus may be configured to detect fluorescence from the sample G. Further, when the sample G is irradiated with the probe beam, the observation image may be obtained by detecting reflected light reflected by the sample G, backscattered light, or transmitted light transmitted through the sample G as detection light.
- the imaging apparatus 130 of the sixth embodiment includes a beam generation unit 131, a first objective lens 132 as a beam irradiation unit, a light detection unit 133, and a signal processing unit 134.
- the beam generation unit 131 includes a laser device 141 as a light source, a single mode optical fiber 142, a first diffraction grating 143, a mirror 144, a half-wave plate 145, and a first Wollaston prism 146.
- the light detection unit 133 includes a second objective lens 151, a second Wollaston prism 152, a second diffraction grating 153, a condenser lens 154, a photodetector 155, an amplifier 156, and a digitizer 157.
- the laser device 141 uses, for example, a titanium sapphire (Ti: Al 2 O 3 ) femtosecond pulse laser that repeatedly outputs broadband laser light at regular intervals.
- the laser device 141 may be one generally used for optical communication.
- the laser device 141 outputs horizontally polarized laser light.
- Laser light from the laser device 141 enters one end of the optical fiber 142.
- the optical fiber 142 since the propagation speed of light differs depending on the optical frequency (wavelength), group velocity dispersion occurs in the laser light in the process of transmitting the laser light. For this reason, as the laser beam travels through the optical fiber 142, the difference in the delay time of each wavelength component increases, the pulse width broadens in the traveling direction, and each frequency component is separated on the time axis (the laser beam The light is emitted from the other end of the optical fiber 142 in a state where the spectrum is mapped in the time domain. That is, the laser light is converted into a state in which each optical frequency component, which is a frequency component in this example, is dispersed according to the optical frequency along the traveling direction of the laser light.
- Laser light from the optical fiber 142 is incident on the first diffraction grating 143. Since the laser beam has a different diffraction angle at the first diffraction grating 143 for each wavelength component, the laser light incident on the first diffraction grating 143 becomes a spatially spread beam, and each optical frequency component is primary. Originally spatially dispersed. The beam spreading direction at this time, that is, the direction in which each optical frequency component of the laser light is dispersed is inclined with respect to the direction orthogonal to the traveling direction of the laser light.
- the laser light diffracted by the first diffraction grating 143 enters the first Wollaston prism 146 via the mirror 144 and the half-wave plate 145.
- the half-wave plate 145 converts horizontally polarized laser light into 45 degree linearly polarized light.
- the first Wollaston prism 146 separates the laser light into a vertical polarization component and a horizontal polarization component when the laser beam from the half-wave plate 145 is incident.
- the vertical polarization component is used as the first probe beam.
- the horizontal polarization component is emitted as the second probe beam.
- the first probe beam and the second probe beam are emitted from the first Wollaston prism 146 in the x-axis direction with an angle to each other in the z-axis direction.
- the first probe beam and the second probe beam in which the optical frequency components of the laser light are spatially dispersed in one dimension are generated.
- the first and second probe beams are pulsed and are generated each time laser light from the laser device 141 is output.
- the first and second probe beams are condensed by the first objective lens 132 and irradiated toward the sample G in the microchannel 165a.
- the microchannel 165a is formed in the flow cell of the channel device 56 constituting the flow cytometer as in the first embodiment, and a plurality of samples G are sequentially contained in the microchannel 165a together with the fluid in the sub-scanning direction. Washed away. Therefore, in this example, the flow channel device 165 is a sub-scanning unit.
- the first and second probe beams incident on the first objective lens 132 are spatially dispersed in one dimension as described above. For this reason, as shown in FIG. 21, the first and second probe beams are line-shaped first along the main scanning direction (M direction) on the focal plane of the first objective lens 132 in the microchannel 165a. Second irradiation lines BLa and BLb are formed.
- the direction in which each optical frequency component is dispersed is inclined in a direction perpendicular to the traveling direction of the laser light, like the laser light that is the source of the first and second probe beams.
- the first and second irradiation lines BLa and BLb each have a higher optical frequency component from one end side toward the other end side, and the irradiation timing is shifted in accordance with the optical frequency component. For example, the irradiation timing is delayed as the optical frequency increases.
- the first and second irradiation lines BLa and BLb are mutually in the sub-scanning direction. Leave.
- the adjacent line interval DL between the first irradiation line BLa and the second irradiation line BLb is adjusted to be larger than the maximum length WG of the sample G in the sub-scanning direction.
- the distance between the irradiation line arranged on the most upstream side of the micro flow channel 165a and the irradiation line arranged on the most downstream side is within the micro flow channel 165a. It is shorter than the minimum interval SG of the sample G flowing through. This prevents the first and second probe beams from being simultaneously irradiated to the same sample G and different samples G.
- the portion of the sample G positioned on the first irradiation line BLa is irradiated with the first probe beam, and when the sample G flows through the microchannel 165a, the portion irradiated with the first probe beam is shifted in the sub-scanning direction. After passing through the first irradiation line BLa, the sample G reaches the second irradiation line BLb and is irradiated with the second probe beam. Also in this case, the portion irradiated with the second probe beam is shifted in the sub-scanning direction as the sample G flows through the minute flow path 165a.
- the second objective lens 151 is disposed on the opposite side of the first objective lens 132 with the minute flow path 55 interposed therebetween.
- the second objective lens 151 is the same objective lens as the first objective lens 132, and is arranged so that the focal position coincides with the focal position of the first objective lens 132. Two probe beams are collected.
- the first and second probe beams irradiated from the first objective lens 132 pass through the fluid and the sample G in the microchannel 165a.
- the first and second probe beams irradiated to the sample G are scattered, diffracted, and absorbed according to the structure of the sample G, the light intensity is attenuated.
- the first and second probe beams whose intensity is modulated according to the structure of the sample G and the like are transmitted.
- the transmitted first and second probe beams become signal light in this example.
- first and second probe beams are spatially mapped with optical frequency components. Therefore, the light intensity of each optical frequency component of the first and second probe beams transmitted through the sample G corresponds to the position where the optical frequency component is irradiated, that is, the structure of each position of the sample G in the main scanning direction. It becomes.
- the light intensity of the first and second probe beams also attenuates when passing through the fluid in the microchannel 165a and the flow cell forming the microchannel 165a. It is assumed that the light intensity of the two probe beam is attenuated only by the sample G.
- the first and second probe beams collected by the second objective lens 151 are incident on the second Wollaston prism 152, and are combined by the second Wollaston prism 152 and emitted as a detection beam. Since the first and second probe beams are linearly polarized light orthogonal to each other, they do not interfere even if they are combined.
- the detection beam from the second Wollaston prism 152 is incident on the second diffraction grating 153, and the spatial dispersion is reduced.
- the detection beam from the second diffraction grating 153 enters the photodetector 155 via the condenser lens 154. At this time, for example, light components having a low optical frequency are incident on the photodetector 155 in order. And the detection signal according to the light intensity of the detection beam which injects from this photodetector 155 is output.
- the detection signal from the light detector 155 is digitally converted via the amplifier 156 and the digitizer 157.
- the signal processing unit 134 is configured by a PC, for example, and generates an observation image of the sample G from the detection signal.
- the signal processing unit 134 includes an image processing unit 134a and a monitor 134b.
- the image processing unit 134a generates a one-dimensional image indicating the light intensity distribution of the first and second probe beams in the main scanning direction from the detection signal obtained from the digitizer 157. This one-dimensional image is generated every time the first and second probe beams are irradiated.
- the one-dimensional image shows, for example, the distribution in the main scanning direction of the magnitude of attenuation or transmission of the probe beam.
- the first probe beam detected by the photodetector 155 has an optical frequency corresponding to a position in the main scanning direction, and a time difference occurs in the incident timing to the optical detector 155 depending on the level of the optical frequency. Location and time correspond. The same applies to the second probe beam detected by the photodetector 155. Therefore, the waveform of the detection signal indicates a change in the combined intensity obtained by superimposing the light intensity transmitted through the first probe beam and the light intensity transmitted through the second probe beam in the main scanning direction. Further, as described above, the same sample G and different sample G are not simultaneously irradiated with the first and second probe beams.
- the detection signal is based on the signal level obtained when both the first and second probe beams are not irradiated on the sample G, and one of the first and second probe beams is used as a reference.
- This shows the magnitude of attenuation or transmission of the optical frequency component when only the sample G is irradiated. Therefore, the above one-dimensional image corresponding to the structure of the sample G can be obtained.
- the signal processing unit 134 passes a predetermined passing time from a start point that is back by a predetermined retroactive time from the time when the detection signal becomes equal to or higher than a predetermined threshold.
- the detection signal output during the period until the end point is processed as a detection signal for one sample G.
- the image processing unit 134a After accumulating all the one-dimensional images of one sample G, the image processing unit 134a generates a two-dimensional image by arranging the accumulated one-dimensional images in the order of acquisition.
- the direction in which the one-dimensional images are arranged, that is, the sub-scanning direction is a time axis.
- two images corresponding to the sample G are formed corresponding to the irradiation of the first and second probe beams.
- the image processing unit 134a divides the two-dimensional image into two in the sub-scanning direction, and superimposes these images to generate an observation image.
- an autocorrelation function is calculated for one line extending in the sub-scanning direction in the two-dimensional image, and a value T that becomes a secondary peak is acquired as the delay time Td.
- the acquired delay time Td is set as a division position, and an observation image may be generated in the same procedure as in the first embodiment. In this way, an observation image in which the distribution of the transmission state of the sample G is two-dimensionally mapped is generated and displayed on the monitor 134b.
- the sub-scanning direction that is, the relative movement direction of the probe beam lined along the main scanning direction in order to scan the sample is a direction orthogonal to the main scanning direction.
- the sub-scanning direction should be different from the main scanning direction, that is, not to be parallel to the main scanning direction, and the angle formed between the irradiation line of each probe beam and the relative movement direction (sub-scanning direction) of the sample is ⁇ . Then, it is sufficient to satisfy “0 ° ⁇ ⁇ 90 °”. For this reason, for example, the moving direction of the sample flowing in the microchannel may be inclined with respect to the irradiation line of each probe beam and the direction orthogonal to the irradiation line.
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
より高画質な画像を得ることができるイメージング装置及びイメージング方法を提供する。ビーム生成部(11)は、レーザ光から第1、第2プローブビームを生成する。第1、第2プローブビームは、それぞれ互いにビート周波数が異なる複数の干渉光からなる。ビーム照射部(12)は、第1、第2プローブビームを副走査方向に離して照射する。微小流路(55)内を試料(G)が移動することで、試料(G)に対する第1、第2プローブビームの照射位置がずれて副走査が行われる。第1、第2プローブビームのそれぞれの照射で得られる試料(G)の画像を重ねて観察画像を生成する。
Description
本発明は、イメージング装置及びイメージング方法に関する。
イメージング装置として、例えば、共焦点光学系を用いたレーザ顕微鏡装置が知られている。このレーザ顕微鏡装置は、レーザ光を対物レンズで集光して試料に照射し、試料から放出される蛍光や反射光を集光レンズ及び集光レンズの焦点位置に配されたピンホールを介して光検出器で受光する。そして、レーザ光の照射位置を直交する2方向にそれぞれ移動することにより、試料表面を走査している。
また、周波数多重励起(FIRE:Fluorescence Imaging using Radiofrequency-tagged Emission)法と称される手法を用いたレーザ顕微鏡装置が特許文献1によって提案されている。この周波数多重励起法のレーザ顕微鏡装置は、レーザ光を第1、第2のレーザ光に分けるビームスプリッタと、第1のレーザ光から偏向角と周波数シフトの大きさが互いに異なる複数の回折光を出力する音響光学ディフレクタ(以下、AOD(Acousto-Optic Deflector)と称する)と、光検出器の応答性や蛍光の応答速度を考慮してビート周波数を低くするために第2のレーザ光の周波数をシフトする音響光学周波数シフタ(以下、AOFS(Acousto-Optic Frequency Shifter)と称する)と、AODからの複数の回折光にAOFSからの第2のレーザ光を重ね合わせ、回折光と第2のレーザ光との周波数との差(ビート周波数)で強度変調された励起光を生成するビームスプリッタと、励起光を試料に照射する照射部とを備えている。
上記のような周波数多重励起法を用いたイメージング装置では、試料に対して一方向の走査だけでよいので、高速に観察画像を取得することができ、多数の試料の観察画像を取得する際に有利である。一方で、観察画像は、試料の形状や特性などを解析するのに用いられるので、より高画質な観察画像の取得が望まれる。
本発明は、上記事情を鑑みてなされたものであり、より高画質な画像を得ることができるイメージング装置及びイメージング方法を提供することを目的とする。
本発明のイメージング装置は、複数の周波数成分を空間的に配列した複数のプローブビームを生成するビーム生成部と、複数のプローブビームのそれぞれについて、周波数成分を主走査方向に沿ってライン状に配列するとともに、複数のプローブビームを互いに主走査方向と異なる副走査方向に隣接または離して試料に照射するビーム照射部と、複数のプローブビームの照射位置と試料とを副走査方向に相対的に移動する副走査部と、プローブビームを試料に照射することで生じた信号光の強度を検出して検出信号を出力する光検出部と、検出信号の周波数成分ごとの信号成分から試料の観察画像を生成する信号処理部とを備えるものである。
また、本発明のイメージング方法は、複数の周波数成分を空間的に配列した複数のプローブビームを生成するビーム生成ステップと、複数のプローブビームのそれぞれについて、周波数成分を主走査方向に沿ってライン状に配列するとともに、複数のプローブビームを互いに主走査方向と異なる副走査方向に隣接または離して試料に照射するビーム照射ステップと、複数のプローブビームの照射位置と試料とを副走査方向に相対的に移動する副走査ステップと、プローブビームを試料に照射することで生じた信号光の強度を検出して検出信号を出力する光検出ステップと、検出信号の周波数成分ごとの信号成分から試料の観察画像を生成する信号処理ステップとを有するものである。
本発明によれば、副走査方向に隣接または離して、複数の周波数成分を空間的に配列した複数のプローブビームをそれぞれ試料に照射することで得られる検出信号から試料の画像を生成するので、より高画質な画像を得ることができる。
[第1実施形態]
図1に本発明を実施したイメージング装置としてのレーザ顕微鏡装置10を示す。レーザ顕微鏡装置10は、プローブビーム出力系を構成するビーム生成部11及びビーム照射部12と、光検出部13と、信号処理部14とを備えている。このレーザ顕微鏡装置10は、ビーム生成部11で生成した第1及び第2プローブビームをビーム照射部12から試料Gに照射し、試料Gから放出される信号光を光検出部13で検出して得られる検出信号を信号処理部14で処理することにより1フレーム分の画像(以下、観察画像という)を生成する。
図1に本発明を実施したイメージング装置としてのレーザ顕微鏡装置10を示す。レーザ顕微鏡装置10は、プローブビーム出力系を構成するビーム生成部11及びビーム照射部12と、光検出部13と、信号処理部14とを備えている。このレーザ顕微鏡装置10は、ビーム生成部11で生成した第1及び第2プローブビームをビーム照射部12から試料Gに照射し、試料Gから放出される信号光を光検出部13で検出して得られる検出信号を信号処理部14で処理することにより1フレーム分の画像(以下、観察画像という)を生成する。
第1及び第2プローブビームは、いずれも周波数成分としての複数の干渉光からなり、各干渉光を主走査方向(M方向:y軸方向)にライン状に並べた状態で試料Gに照射される。第1及び第2プローブビームの各干渉光は、励起光として試料Gに照射され、試料Gから放出される信号光としての蛍光から各副走査ラインにおける蛍光物質の分布を取得して、蛍光物質の分布を示す観察画像を生成する。副走査ライン(S方向:z軸方向)は、主走査方向と直交する副走査方向に延びており、1フレーム分の観察画像は、複数の副走査ラインが主走査方向に並んでいる。なお、以下、x軸方向、y軸方向、z軸方向は、互いに直交した方向とする。また、副走査方向は、試料Gを走査するために、試料Gと主走査方向に沿ってライン状にされたプローブビームとの相対的な移動方向である。
この例では、干渉光が強度変調された強度変調光であり、干渉光のビートが強度変調に相当し、そのビート周波数が強度変調周波数である。この例では、強度変調光として、干渉光の例について説明するが、強度変調光は、干渉光に限定されるものではなく、例えば回転するマスクパターンを通過したライン状ビームのような、ライン状ビームがライン方向の位置によって異なる強度変調周波数を有するものであってもよい。このようなビームの生成方法は文献「Futia, G., Schlup, P., Winters, D. G.., Bartels, R. A., “Spatially-chirped modulation imaging of absorbtion and fluorescent objects on single-element optical detector.,” Opt. Express 19(2), 1626-1640 (2011)」に詳しく記載されている。
ビーム生成部11は、レーザ光源としてのレーザ装置15、回折光生成ユニット16、合波ユニット17、リレー光学系18等で構成される。レーザ装置15は、連続発振タイプであり、直線偏光(例えば水平偏光)のレーザ光を連続的に出力する。この例では、レーザ装置15としては、波長488nmのレーザ光を出力するDPSS (Diode Pumped Solid State)レーザを用いている。
回折光生成ユニット16は、1/2波長板21、偏光ビームスプリッタ22、第1、第2アーム23、24、無偏光ハーフビームスプリッタ25を有し、干渉光の元となる第1、第2回折光を生成する。第1アーム23は、ミラー26、アナモルフィックプリズムペア27、第1音響光学ディフレクタ(以下、AOD(Acousto-Optic Deflector)と称する)28を備え,複数の第1回折光を生成する。第2アーム24は、1/2波長板31、ミラー32、音響光学周波数シフタ(以下、AOFS(Acousto- Optic Frequency Shifter)と称する)33、アナモルフィックプリズムペア34、第2AOD35を備え、複数の第2回折光を生成する。
レーザ装置15からのレーザ光は、1/2波長板21を介して偏光ビームスプリッタ22に入射する。偏光ビームスプリッタ22は、入射するレーザ光の水平偏光成分を第1レーザ光として第1アーム23に透過し、垂直偏光成分を第2レーザ光として第2アーム24に反射する。この偏光ビームスプリッタ22は、レーザ光の偏光方向に応じた強度比でレーザ光を透過及び反射する。偏光ビームスプリッタ22に入射するレーザ光の偏光方向は、1/2波長板21の光学軸の方位によって調整することができる。これにより、第1アーム23、第2アーム24における各レーザ光の損失を考慮して、第1レーザ光と第2レーザ光との強度比を調整している。例えば、第1、第2AOD28、35に入射する第1レーザ光と第2レーザ光との光強度が同じになるように調整している。なお、第1、第2レーザ光の強度比を調整する必要がない場合には、偏光ビームスプリッタ22に代えて、ハーフミラーや無偏光タイプのビームスプリッタを用いることができ、この場合には1/2波長板21、31は不要である。
また、後述するように第1レーザ光から生成される第1回折光と、第2レーザ光から生成される第2回折光とを干渉させることができれば、第1レーザ光を出力するレーザ装置と第2レーザ光を出力するレーザ装置とを別々に設けてもよい。
第1アーム23では、第1レーザ光がミラー26、アナモルフィックプリズムペア27を介して第1AOD28入射する。アナモルフィックプリズムペア27は、第1レーザ光のビーム形状(断面形状)を円形から楕円形に変形させる。この変形では第1AOD28による第1レーザ光の回折方向(AOD内で進行波が進む方向)に沿ってビーム形状を引き延ばすことにより行う。このように、第1レーザ光のビーム形状を変形することで、第1AOD28から射出される各第1回折光の広がりを抑え、分解能の低下を防止している。なお、この例では、アナモルフィックプリズムペア27は、x軸方向にビーム形状を引き延ばす。
第1AOD28は、コム信号発生部41からの第1コム信号によって駆動され、回折によって第1レーザ光から複数(N本)の第1回折光を生成する。この第1AOD28からの各第1回折光は、無偏光ハーフビームスプリッタ25に入射する。コム信号発生部41は、例えば任意波形発生器で構成されている。
第1コム信号は、互いに異なる複数の周波数の駆動信号を重ねたものであり、この第1コム信号の入力によって第1AOD28は、偏向角が異なるN本の第1回折光を同時に射出する。また、第1AOD28は、駆動信号の周波数に比例して、第1回折光の偏向角を大きくするとともに、第1回折光を第1レーザ光に対して周波数シフトする。この周波数シフトは、第1レーザ光に対して駆動信号の周波数だけ第1回折光の光周波数が高くまたは低くなる。この例では、第1レーザ光に対して駆動信号の周波数分だけ光周波数が高くなった第1回折光が第1AOD28から射出する。したがって、偏向角が大きい第1回折光ほど光周波数が高くなる。なお、偏向角は、0次の回折光と第1回折光とのなす角度である。また、第1レーザ光に対して駆動信号の周波数分だけ第1回折光の光周波数を低くしてもよい。
図2に示すように、第1コム信号は、一定な周波数間隔Δfで周波数f11から周波数f1NまでのN個の駆動信号を重ねたものである。これにより、第1AOD28からは、周波数間隔Δfで光周波数fa1から光周波数faNまでのN本の第1回折光が出力される。ここで、第1レーザ光、すなわちレーザ装置15から出力されるレーザ光の光周波数をf0、iを1、2・・・Nとすると「fai=f0+f1i」となる。また、周波数間隔Δfを一定にすることで、隣接した第1回折光同士の偏向角の差をいずれも等しくしている。
この例では、第1AOD28として、動作可能な駆動信号の範囲(以下、動作帯域という)が100MHz~200MHzのAODを用いている。また、第1コム信号における周波数間隔Δfを1MHzとして、101MHz(=f11)から200MHz(=f1(100))までの駆動信号を重ね合わせており、これにより光周波数が1MHz間隔(=Δf)で変化する100(=N)本の第1回折光を生成する。
図1において、第2アーム24では、偏光ビームスプリッタ22からの第2レーザ光は、1/2波長板31、ミラー32、AOFS33、アナモルフィックプリズムペア34を介して第2AOD35に入射する。1/2波長板31は、第2レーザ光の偏光方向を回転して第1レーザ光の偏光方向と同じ水平偏光にする。AOFS33は、シフト信号発生部42からのシフト信号によって駆動され、第2レーザ光の光周波数をシフト周波数fsだけ低くする。このAOFS33は、第2AOD35として、第1AOD28と同じ動作帯域であり、同じ特性を持つAODを用いながら、複数の第1回折光の光周波数範囲と第2AOD35から射出される複数の第2回折光の光周波数範囲とが重ならないようにしている。このため、シフト周波数fsは、複数の第1回折光の光周波数範囲と複数の第2回折光の光周波数範囲とが重ならないように決められている。この例では、シフト周波数fsは、100MHzとしてある。また、AOFS33によって、第2レーザ光の光周波数をシフト周波数fsだけ高くしてもよい。
上記のように、AOFS33は、複数の第1回折光の光周波数範囲と複数の第2回折光の光周波数範囲とが重ならないようにするために設けているので、第1、第2AOD28、35によって第1、第2レーザ光から直接に光周波数範囲が重ならない複数の第1回折光と複数の第2回折光とを生成することができる場合には、AOFS33は、不要である。また、後述するように、第1AOD28からの第1回折光と第2AOD35からの第2回折光とを組み合わせて干渉光を生成することで干渉光のビート周波数を低くできるので、光検出部13の応答性や試料Gの蛍光物質の応答速度に対応させてビート周波数を低くするためのAOFSを不要とすることができる。
アナモルフィックプリズムペア34は、AOFS33からの第2レーザ光のビーム形状を円形から楕円形に変形させる。この変形では第2AOD35による第2レーザ光の回折方向に沿ってビーム形状を引き延ばすことにより行う。アナモルフィックプリズムペア34は、アナモルフィックプリズムペア27と同様に、第2AOD35から射出される各第2回折光の広がりを抑え、分解能の低下を防止している。なお、この例では、アナモルフィックプリズムペア34は、y軸方向にビーム形状を引き延ばす。
第2AOD35は、コム信号発生部41からの第2コム信号によって駆動され、回折によって第2レーザ光からN本の第2回折光を生成する。第2AOD35からの各第2回折光は、無偏光ハーフビームスプリッタ25に入射する。第2コム信号は、第1コム信号と同様に、互いに異なる複数の周波数の駆動信号を重ねたものであり、この第2コム信号の入力によって第2AOD35は、偏向角が異なるN本の第2回折光を同時に射出し、各第2回折光は、その光周波数が周波数シフトによって駆動信号の周波数分だけ第2レーザ光よりも高くされている。
この例では、第2AOD35としては、上述のように第1AOD28と同じAODを用いている。すなわち、同一の周波数の駆動信号に対する回折光の偏向角が同じになり、駆動信号の周波数の変化量に対する第1回折光と第2回折光の偏向角の変化量が同じになる第1AOD28と第2AOD35とを用いている。また、図2に示すように、第2コム信号の各駆動信号の周波数と第1コム信号の各駆動信号の周波数とを同じにしている(f1i=f2i)。したがって、第2コム信号は、周波数間隔Δfで周波数f21(=f11)から周波数f2N(=f1N)までのN個の駆動信号を重ねたものになっている。第2AOD35からは、周波数間隔Δfで光周波数fb1から光周波数fbNまでのN本の第2回折光が出力される。第2回折光の光周波数fbiは、対応する駆動信号の周波数f2iを用いて「fbi=f0-fs+f2i」となる。
第1AOD28と第2AOD35として、同じAODを用いることによって、複数の干渉光を生成するための複数の第1回折光と複数の第2回折光との重ね合わせを容易にしている。すなわち、コム信号中の駆動信号の周波数の変化量に対する第1回折光と第2回折光の偏向角の変化量が同じになる第1AOD28と第2AOD35とを用いることによって、複数の第1回折光と複数の第2回折光の偏向角の角度間隔を互いに同じすることができ、それらの重ね合わせを容易にしている。例えば、後述するように無偏光ハーフビームスプリッタ25のように簡単な構成で複数の第1回折光と複数の第2回折光とを重ね合わせて、所望の複数の干渉光を得ることができる。
上記第2AOD35は、第1AOD28と同じく周波数が1MHz間隔(=Δf)で変化する100(=N)本の第2回折光を生成する。また、同じ周波数の駆動信号に対する第2回折光と第1回折光との各偏向角は同じであるが、各光周波数はAOFS33のシフト周波数fsだけ第1回折光の光周波数が高くなる(fai=fbi+fs)。
重ね合わせ部としての無偏光ハーフビームスプリッタ25は、複数の第1回折光と複数の第2回折光とを互いに周波数が異なる同士で組み合わせて重ねることで、第1プローブビームと第2プローブビームとを生成する。例えば、第1プローブビームは、無偏光ハーフビームスプリッタ25で反射される第1回折光の成分と、無偏光ハーフビームスプリッタ25を透過する第2回折光の成分とを重ね合わせたものであり、無偏光ハーフビームスプリッタ25からx軸方向に射出される。また、第2プローブビームは、無偏光ハーフビームスプリッタ25を透過する第1回折光の成分と、無偏光ハーフビームスプリッタ25で反射される第2回折光の成分とを重ね合わせたものであり、無偏光ハーフビームスプリッタ25からy軸方向に射出される。
第1、第2プローブビームは、いずれも第1回折光と第2回折光とが干渉したN本の干渉光からなる。N本の干渉光は、無偏光ハーフビームスプリッタ25から等角度間隔で水平面(xy面)上に並んで射出される。この例では、無偏光ハーフビームスプリッタ25から射出される第1、第2プローブビームは、いずれも水平偏光であるが、第1、第2プローブビームの間では、ビート周波数が同じ干渉光は、互いにビートの位相が半周期(π)ずれている。
図3に示すように、第1AOD28と第2AOD35とは、同一の水平面(xy平面)に各第1回折光、各第2回折光を射出するように配置され、第1回折光は、無偏光ハーフビームスプリッタ25に対してy軸方向から入射し、第2回折光は、無偏光ハーフビームスプリッタ25に対してx軸方向から入射する。第1回折光Laiの光周波数をfai、第2回折光Lbiの光周波数をfbiとしたときに、無偏光ハーフビームスプリッタ25によって、第1回折光Laiと第2回折光Lb(N―i+1)とを重ね合わせて、第1プローブビームの干渉光L1abiと、第2プローブビームの干渉光L2abiとを生成するように、その向きが調整されている。すなわち、第1回折光については光周波数が高くなる順番で、また第2回折光は光周波数が低くなる順番で、第1回折光と第2回折光とを組み合わせて、各プローブビームについてN本の干渉光を生成する。
第1回折光と第2回折光とを重ね合わせることにより、例えば第1プローブビームの干渉光L1abiのビート周波数fabiは「fai-fb(N―i+1)」となり、干渉光L1ab1~L1abNはいずれも違うビート周波数となる。第1プローブビームでは、干渉光L1ab1~L1abNがy軸方向に並んで射出される。第2プローブビームについても、同様であり干渉光L2abiのビート周波数fabiは「fai-fb(N―i+1)」であり、干渉光L2ab1~L2abNがx軸方向に並んで射出される。このようにして、光成分としての干渉光がそのビート周波数に応じて空間的に配列した第1及び第2プローブビームが生成される。
なお、干渉光を生成する際に、対応する第1回折光と第2回折光とが完全に重ならなくてもよい。また、第1アーム23と第2アーム24の各レーザ光の光路長は、第1回折光と第2回折光とが干渉する範囲(コヒーレント長の範囲)で一致させておく。
上記のように、第1回折光と第2回折光とを重ね合わせることにより、図4Aに示すように、例えば第1プローブビームにおける隣接したビート周波数の周波数間隔Δfab(=fab(i+1)-fabi)を一定にするとともに、その周波数間隔Δfabを従来よりも広くしている。具体的には、特許文献1に記載される手法による隣接したビート周波数の周波数間隔は、回折光を生成するAODの駆動信号の周波数間隔と同じであって、この例の周波数間隔Δfに相当する。しかし、この例では隣接したビート周波数の周波数間隔Δfabは、AODの駆動信号の周波数間隔Δfの2倍(Δfab=2・Δf)になる。
図4Bに示すように、各ビート周波数fabiは、それぞれ試料Gの蛍光の光強度の変化に応じて変化する光信号の搬送周波数(中心周波数)となり、搬送周波数ごとに側波として利用可能な幅、すなわち帯域幅が周波数間隔Δfabとなる。したがって、搬送周波数ごとの帯域幅と、N本の干渉光による検出で利用可能な全帯域幅が従来手法の2倍になる。具体的には、この例では周波数間隔Δfが1MHzであるから、従来手法では搬送周波数ごとの帯域幅が1MHz、全帯域幅が100MHzであるのに対して、この例では搬送周波数ごとの帯域幅が2MHz、全帯域幅が200MHzである。
第2プローブビームの干渉光L2abiは、第1プローブビームの干渉光L1abiと同じビート周波数fabiとなるから、この第2プローブビームについても搬送周波数ごとの帯域幅と、N本の干渉光による検出で利用可能な全帯域幅が従来手法の2倍になる。
図1において、無偏光ハーフビームスプリッタ25からの第1、第2プローブビームは、合波ユニット17に送られる。合波ユニット17は、1/2波長板44、ミラー45,46、偏光ビームスプリッタ47を有している。第1プローブビームは、1/2波長板44によって第2プローブビームと偏光方向が直交する垂直偏光にされてから、ミラー45を介して偏光ビームスプリッタ47にy軸方向から入射する。一方の第2プローブビームは、ミラー46を介して偏光ビームスプリッタ47にx軸方向から入射する。
偏光ビームスプリッタ47は、垂直偏光の第1プローブビームをx軸方向に反射し、水平偏光の第2ブローブビームをx軸方向に透過する。第1プローブビームと第2プローブビームとを副走査方向に離して試料Gに照射するために、第1プローブビームと第2プローブビームとの偏光ビームスプリッタ47に対するz軸方向の入射角度が互い異なるように、ミラー45、46がそれぞれ調整されている。これにより、第1プローブビームと第2プローブビームとを、わずかにz軸方向に角度をつけて、x軸方向に進むように合波している。
偏光ビームスプリッタ47からの第1、第2プローブビームは、アナモルフィックプリズムペア49、リレー光学系18を介してダイクロイックミラー50に入射する。このときに、N本の干渉光が並ぶ方向が主走査に相当する方向であり、この主走査方向に直交する方向が副走査方向である。なお、この例では、ビーム照射部12では、主走査方向は左右方向(y軸方向)になり、副走査方向は水平方向(z軸方向)になる。
アナモルフィックプリズムペア49は、アナモルフィックプリズムペア27、34によって楕円形となっている各干渉光のビーム形状を、その短軸方向に引き延ばすことによって円形とする。アナモルフィックプリズムペア27、34、49に代えてシリンドリカルレンズ等を用いてもよい。
リレー光学系18は、アナモルフィックプリズムペア49側に配されたレンズ18aとダイクロイックミラー50側に配されたレンズ18bとから構成されており、レンズ18aの前側焦点位置が第1、第2AOD28、35の出力面に、レンズ18bの後側焦点位置が後述するリレー光学系53のレンズ53aの前側焦点位置に一致するように配されている。これにより、第1及び第2プローブビームを、それらの各干渉光を所定のビーム径を保持した状態でビーム照射部12に送る。
ダイクロイックミラー50は、リレー光学系18からの第1、第2プローブビームをビーム照射部12に向けて反射し、ビーム照射部12からの信号光を透過して光検出部13に送る。
ビーム照射部12は、ミラー52、リレー光学系53、対物レンズ54を有している。リレー光学系53は、ミラー52側に配されたレンズ52aと対物レンズ54側に配されたレンズ53bとから構成されており、レンズ53bの後側焦点位置が対物レンズ54の入射瞳に一致するように調整されている。このリレー光学系53によって、第1、第2プローブビームは、対物レンズ54の入射瞳にほぼいっぱいに広がって入射する。
対物レンズ54は、第1、第2プローブビームをそれぞれ集光して、試料Gが流れる微小流路55に向けて照射する。対物レンズ54は、その焦点面が微小流路55の内に位置するように調整されている。これにより、各干渉光を絞った照射スポット(ビームウエスト)がそれぞれ微小流路55内に形成される。なお、対物レンズ54は、その光軸方向に移動自在にされており、例えばモータ(図示省略)によって移動できる。これにより、試料Gに対する対物レンズ54の焦点面の位置を変えて走査を行うことができる。
この例では、フローサイトメータに、レーザ顕微鏡装置10を適用した構成になっている。上記微小流路55は、フローサイトメータを構成する流路デバイス56に設けられたフローセル(フローサイトメトリー用セル)に形成されている。流路デバイス56は、微小流路55内に水等の流体とともに複数の試料Gを順次に流すことにより、試料Gを副走査方向に移動する。したがって、この例では、流路デバイス56が副走査部となる。
図5に示すように、微小流路55内には、第1プローブビームの各干渉光の1番目からN番目までのN個の照射スポットSP11~SP1Nを主走査方向(M方向)にライン状に配列した、第1プローブビームの第1照射ラインBL1が形成される。照射スポットSP11~SP1Nは、それらの直径とほぼ同じピッチで主走査方向に並ぶ。同様に、微小流路55内には、第2プローブビームの各干渉光の1番目からN番目までのN個の照射スポットSP21~SP2Nを、それらの直径とほぼ同じピッチで主走査方向にライン状に配列した第2プローブビームの第2照射ラインBL2が形成される。このように、第1、第2プローブビームのそれぞれについて、周波数成分である干渉光が主走査方向に沿ってライン状に配列される。なお、照射スポットSP11~SP1N、SP21~SP2Nの直径(半値全幅)は、この例では、約330nmである。また、照射スポットSP11~SP1Nを特に区別する必要がない場合には照射スポットSP1と称し、照射スポットSP21~SP2Nを特に区別する必要がない場合には照射スポットSP2と称する。
第1照射ラインBL1と第2照射ラインBL2とでは、照射スポットSP11~SP1Nと照射スポットSP21~SP2Nとの主走査方向における位置が同じにされている。すなわち、例えば、図5において上からj番目(jは、1、2・・・N)の照射スポットSP1jと照射スポットSP2jとは主走査方向における位置が同じである。また、偏光ビームスプリッタ47から射出されるときに、第1プローブビームの各干渉光と第2プローブビームの各干渉光とのビート周波数の並び方は同じになるので、主走査方向における位置が同じ照射スポットSP1j、SP2jを形成する干渉光のビート周波数は同じである。このようにして、第1、第2プローブビームは、それらの干渉光が主走査方向に沿ってライン状に配列されて、それぞれ試料Gに照射される。
また、合波ユニット17によって第1プローブビームと第2プローブビームとの間にz軸方向に角度をつけてあるため、第1照射ラインBL1と第2照射ラインBL2とは、互いに副走査方向に離れる。第1照射ラインBL1と第2照射ラインBL2との隣接ライン間隔DLは、試料Gの副走査方向の最大の長さWGよりも大きくなるように調整されている。これにより、同一の試料Gに同時に第1、第2プローブビームが照射されないようにしている。
また、微小流路55の最も上流側に配された照射ラインと最も下流側に配された照射ラインとの距離(この第1実施形態では隣接ライン間隔DLに等しい)を、微小流路55内を流れる試料Gの最小間隔SGよりも短くすることによって、異なる試料Gに同時に第1、第2プローブビームが照射されないようにしている。
上記のように、同一の試料G及び異なる試料Gに対して、同時に第1、第2プローブビームを照射しないようにすることにより、高画質な観察画像を得る際に、複雑な計算処理を必要としない。そして、複雑な計算処理を必要としないため、高速な演算処理が可能であり、多数の試料Gの観察画像を得るうえで有利である。
試料Gは、微小流路55内を副走査方向に流れることによって、第1照射ラインBL1を通過する。第1照射ラインBL1を通過する際には、試料Gに対して、第1プローブビームの各干渉光が照射され、その照射位置が試料Gの下流への移動でずれることによって試料Gに対する副走査が行われる。この副走査によって、試料Gが2次元的に走査される。干渉光が照射された試料Gの部分からは、蛍光が放出され、その蛍光の光強度は、照射される干渉光のビート周波数に応じて変化するとともに、蛍光物質の分布に応じて変化する。
第1照射ラインの通過後、試料Gは、第2照射ラインを通過する。この第2照射ラインを通過する際には、試料Gに対して、第2プローブビームの各干渉光がそれぞれ照射される。試料Gの下流への移動によって、第2プローブビームの試料Gへの照射位置がずれることによって試料Gに対する副走査が行われる。この場合にも、干渉光が照射された試料Gの部分からは、蛍光が放出され、その蛍光の光強度は、照射される干渉光のビート周波数に応じて変化するとともに、蛍光物質の分布に応じて変化する。
試料Gからの蛍光は、照射された干渉光のビート周波数を搬送周波数とした信号が蛍光物質の分布に応じて強度変調された光信号である。ビート周波数が、照射ライン内における主走査方向の位置に対応しているから、光信号は、蛍光物質の分布の情報とともに、照射ライン内における主走査方向の位置情報を含んだ信号になっている。後述するように、第1、第2プローブビームのそれぞれN本の干渉光によって、N本の副走査ラインのそれぞれの一次元画像が生成される。
第1、第2プローブビームの第1回折光と第2回折光とは、いずれも強度分布がガウシアン分布となったものであり、干渉光は、第1回折光と第2回折光とを重ね合わせたものになるので、強度分布の半値幅が狭く尖度が大きくなる。このため、第1回折光と第2回折光とを重ね合わせた干渉光を試料Gに照射する手法は、従来の手法に比べて空間分解能が高くなるという利点がある。
図1において、上記のようにして、試料Gが第1照射ラインBL1を通過する際に放出される各蛍光は、対物レンズ54によって集光され、それら各蛍光からなる検出光が対物レンズ54からリレー光学系53に入射し、プローブビームと逆の経路を通ってダイクロイックミラー50に入射する。この後に、試料Gが第2照射ラインを通過する際に放出される各蛍光からなる検出光についても、対物レンズ54、リレー光学系53を経てダイクロイックミラー50に入射する。
ダイクロイックミラー50に入射した検出光は、ダイクロイックミラー50を透過して、光検出部13に送られる。光検出部13は、ミラー61、集光レンズ62、スリット板63、光検出器としての光電子増倍管(以下、PMT(Photomultiplier tube)という)64、増幅器65、デジタイザ66を備える。検出光は、ミラー61、集光レンズ62を介してPMT64に入射する。集光レンズ62の焦点位置には、スリット板63が配されている。スリット板63には、第1照射ラインBL1、第2照射ラインBL2に対応した2本のスリットからなるスリット部63aが設けられており、スリットを透過した検出光だけがPMT64に入射する。これにより、レーザ顕微鏡装置10を共焦点式として、対物レンズ54の焦点面からの蛍光成分だけをPMT64に入射させ、コントラストや空間分解能を向上させている。スリット部63aの各スリットの長手方向は、対物レンズ54の焦点面における主走査方向を焦点面とスリット板63との間にある光学系を通して投影した向きである。なお、スリット板63を省略してもよい。
PMT64は、入射する検出光の光強度に応じた検出信号を出力する。これにより、図6に一例を示すように、試料Gが第1照射ラインBL1と第2照射ラインBL2とを順次に通過することに対応してそれぞれ変化する1個分の試料Gに対する検出信号が得られる。なお、光検出器としては、PMT64に代えてアバランシェフォトダイオード等を用いてもよい。
PMT64からの検出信号は、増幅器65で増幅されてからデジタイザ66に送られる。デジタイザ66は、検出信号の信号レベルを所定のサンプリング周波数でサンプリングして、検出信号をデジタル変換する。デジタイザ66のサンプリング周波数は、検出光の変調帯域の上限周波数の2倍よりも高くされている。検出光の変調帯域の上限周波数は、最も高いビート周波数より周波数間隔Δf(=Δfab)だけ高いから、この例では上限周波数が200MHzであり、サンプリング周波数を例えば1GHzに設定している。
デジタイザ66でデジタル化された検出信号は、信号処理部14に送られる。この信号処理部14は、例えばPCで構成されており、検出信号から試料Gの情報、この例では蛍光物質の分布を取得して観察画像を生成する。信号処理部14は、フーリエ変換部14a、逆フーリエ変換部14b、画像処理部14c、速度検出部14d、モニタ14eを有する。
信号処理部14は、例えば、検出信号を順次蓄積するメモリを備えており、検出信号が所定の閾値以上になった時点から所定の遡及時間だけ遡った開始点から所定の通過所用時間が経過した終了点までの期間に出力された検出信号を1個分の試料Gに対する検出信号として処理する。遡及時間は、試料Gの副走査方向の移動速度及びその変動を考慮して、試料Gが第1照射ラインBL1に達する前のタイミングに開始点が設定されるように決められている。一方、通過所用時間は、試料Gの副走査方向の移動速度、その変動及び試料Gの大きさを考慮して、開始点での位置から試料Gが第2照射ラインBL2を通過し、かつ次の試料Gが第1照射ラインBL1に達する前のタイミングが終了点となるように決められている。
信号処理部14では、1個分の試料Gに対する検出信号が得られると、まずフーリエ変換部14aによって、その検出信号に対して高速フーリエ変換が行われ、周波数スペクトルが求められる。この検出信号から求められた周波数スペクトルに対して、逆フーリエ変換部14bによって、逆フーリエ変換を施す。このときには、干渉光のビート周波数を搬送周波数とした所定の帯域幅Δfwd(≦2Δf)で周波数スペクトルを分離し、それら分離した各周波数スペクトルに逆フーリエ変換をそれぞれ行ったものに対して絶対値を取る。周波数スペクトルを分離することは、周波数スペクトルを副走査ラインごとに分離することに相当し、個々に分離されるのは副走査ラインに干渉光が照射することで得られる変調された蛍光(光信号)の周波数スペクトルである。なお、逆フーリエ変換の結果の絶対値を取るのは、位相が反転している第1プローブビームの干渉光と第2プローブビームの干渉光に対応した各画素値の正負が逆になるので、これらの画素値の符号を同じ(正)にするためである。
上記の逆フーリエ変換により、副走査方向に沿った蛍光物質の分布を示すN本分の一次元画像が算出される。一次元画像は、その長手方向が副走査方向、すなわち試料Gが通過する時間に相当し、画素値が蛍光物質の量を示している。そして、各一次元画像は、1つの照射スポットSP1で検出された蛍光物質の分布の画像に、隣接ライン間隔DLに相当する間隔をあけて、当該照射スポットSP1と主走査方向の位置が同じ照射スポットSP2で検出された蛍光物質の分布の画像が続くものとなっている。試料GについてのN本分の一次元画像は、画像処理部14cに送られる。
なお、上記高速フーリエ変換と逆フーリエ変換の代わりに短時間フーリエ変換(STFT)を行った画像取得も可能である。この場合、主走査方向のピクセルに相当する時間範囲でのSTFTのスペクトルが副走査方向の蛍光物質の分布に相当し、STFTのスペクトルの時間変化が画像となる。
また、デジタイザ66は、デジタル変換した検出信号を速度検出部14dにも送る。速度検出部14dは、入力される検出信号に基づいて、試料Gの副走査方向の移動速度VGを検出する。この例では、速度検出部14dは、検出信号の自己相関関数を用いて遅延時間Tdを求め、その遅延時間Tdと、既知の第1照射ラインBL1と第2照射ラインBL2の隣接ライン間隔DLとに基づいて、検出した試料Gの副走査方向の移動速度VG(=DL/Td)を算出する。デジタイザ66から入力される検出信号の時間的な波形変化を時間tの関数f(t)としたときに、下記の式(1)の自己相関関数を計算し、図7に一例を示すような自己相関関数の絶対値(|I(T)|)の2次ピーク(T=0以外のピーク)となる値Tを遅延時間Tdとしている。この遅延時間Tdは、この例では試料Gの副走査方向への移動によって、試料Gが第1照射ラインBL1の位置に達することで第1プローブビームが照射されるタイミングと第2照射ラインBL2の位置に達することで第2プローブビームが照射されるタイミングとのずれの時間を示している。したがって、遅延時間Tdは、例えば1つの試料Gが第1照射ラインBL1を通過してから第2照射ラインBL2を通過するまでの時間に相当するものである。上記のように自己相関関数を用いて求められる遅延時間Tdは、第1及び第2プローブビームが照射される試料Gの部位を特定しておらず、1つの試料Gに対する第1及び第2プローブビームの照射タイミングのずれを示す時間になっている。なお、上記のように生成した一次元画像、または各一次元画像を主走査方向に並べた画像の自己相関関数を計算して遅延時間Tdを求めることもできる。この場合には、上記のように逆フーリエ変換後に絶対値をとっているので、2次ピークを求める際に自己相関関数のそのものを用いることができる。
なお、検出信号に、変調周波数範囲よりも低いカットオフ周波数のローパスフィルタをかけてエンベロープ波形を求め、そのエンベロープ波形のうち、試料Gが第1照射ラインBL1を通過している期間内と第2照射ラインBL2を通過している期間内のそれぞれのピーク値の時間差を遅延時間Tdとしてもよい。また、同様にして、検出信号のエンベロープ波形を求め、そのエンベロープ波形の自己相関関数を計算し、自己相関関数の2次ピークとなる値Tを遅延時間Tdとしてもよい。
画像処理部14cは、逆フーリエ変換部14bから入力される各一次元画像の長手方向が時間軸であるから、その時間軸の値に速度検出部14dからの移動速度VGを乗算する。これにより、各一次元画像の長手方向を移動速度VGで伸縮し、その長手方向の時間をz軸方向の距離に変換する。
次に、画像処理部14cは、各一次元画像を分割位置でそれぞれ分割する。分割位置は、例えば上述の開始点から、移動速度VGに遅延時間Tdを乗じた長さの位置に設定される。これにより、一次元画像は、第1プローブビームの照射によって得られる第1画像と第2プローブビームの照射によって得られる第2画像とに分割される。そして、画像処理部14cは、第1画像の開始点と、第2画像の開始点(分割位置)を一致させて、第1画像と第2画像とを重ね合わせることにより、新たな一次元画像を生成する。この一次元画像の重ね合わせは、画素値同士の加算によって行う。この後、新たな各一次元画像を対応する照射スポットSP1、SP2の順番で並べて2次元の観察画像を生成する。このようにして、試料Gの蛍光物質の分布を2次元にマッピングした観察画像を、第1プローブビームを照射して得た画像と第2プローブビームを照射して得た画像とを合成して生成する。試料Gの蛍光物質の分布を2次元にマッピングした観察画像は、モニタ14eに表示される。
上記のように、搬送周波数ごとの帯域幅が従来よりも広くなっているので、従来よりも高い周波数の変調成分まで利用して蛍光物質の分布を示す観察画像を生成するので、画質の高い観察画像が得られる。また、帯域幅が従来よりも広くなっているので、第1、第2プローブビームに対する試料Gの移動速度を高くしても、良好な画質を維持した観察画像を得ることができる。
さらに、第1プローブビームを照射することで得られる画像と、第2プローブビームの干渉光を照射することで得られる画像とを重ねあわせて観察画像を生成するので、実質的に蛍光の輝度を2倍した高画質な観察画像を得ることができる。しかも、各々の干渉光の光強度を大きくしていないので、蛍光物質の輝度の飽和を招くことがない。また、ランダムノイズの低減にも有利である。
上記では、複数のプローブビームとして2本のプローブビームを照射する例について説明したが、後述する第2実施形態のように、3本以上のプローブビームを照射してもよい。
上記に説明した各照射ラインBL1、BL2における照射スポットの配列は一例であり、これに限定されるものではない。例えば、図8に示すように、同じ照射ライン内の隣接した照射スポット同士の間隔をあけるとともに、照射ライン間において、照射スポットの位置を主走査方向にずらしてもよい。
図8の例では、対物レンズ54の焦点面に、第1照射ラインBL1の照射スポットSP11~SP1Nと、第2照射ラインBL2の照射スポットSP21~SP2Nとを、それぞれ照射スポットの直径Dsの2倍の配列ピッチPで主走査方向に並べる。また、例えば合波ユニット17内のミラー45、46(図1参照)のz軸を中心とした傾きを調整することによって、第1照射ラインBL1の照射スポットSP11~SP1Nに対して第2照射ラインBL2の照射スポットSP21~SP2Nを直径Ds(=1/2・P)だけ主走査方向にずらしてある。これにより、主走査方向について第1プローブビームの各照射スポットSP1の間に第2プローブビームの照射スポットSP2が1個ずつ配されるように、第1、第2プローブビームを互いに主走査方向にずらして照射する。
この例では、信号処理部14は、第1照射ラインBL1の各照射スポットSP1から得られる一次元画像と、第2照射ラインの各照射スポットSP2から得られる一次元画像とを主走査方向に交互にならべることにより、1個の試料Gに対応した1枚の観察画像を得る。
上記のような照射スポットSP1、SP2の配列とした場合、図5に示す配列ピッチPを照射スポットSP1、SP2の直径Dsとほぼ同じにした場合に比べて、主走査方向の長さが同じ照射範囲に対する照射スポットSP1、SP2の個数が1/2(例えばN=50)となる。このため、第1及び第2AOD28、35(図1参照)で生成すべき第1、第2回折光の本数がそれぞれ1/2になるので、第1、第2プローブビームを構成する各干渉光の光強度、信号振幅が2倍になり、結果として検出される輝度が2倍になり、鮮明な画像を得ることができる。
また、第1、第2AOD28、35で生成すべき第1、第2回折光の本数がそれぞれ1/2になることにより、図9に示すように、第1、第2AOD28、35に入力するコム信号の周波数間隔Δfwを第1実施形態の場合の周波数間隔Δfの2倍にすることができ、結果としてビート周波数の周波数間隔Δfwabを第1実施形態の場合の周波数間隔Δfabの2倍、すなわち搬送周波数ごとの帯域幅を2倍にすることができ、観察画像の高画質化、あるいは試料Gの移動速度の高速化を図ることができる。さらに、同一の照射ライン内における隣接した照射スポット同士の間隔が広がるため、隣接した照射スポット同士の干渉によるクロストーク信号の発生を抑圧でき、画質の向上に寄与する。
さらには、スリット部63aを形成したスリット板63に代えて、図10に示すように、第1、第2照射ラインBL1、BL2の各照射スポットSP1、SP2に対応して、ピンホール69をライン状に並べたピンホールアレイ68a、68bを形成したスリット板68用いることにより、光学分解能の向上を図ることができ、より高画質な観察画像が得られる。
上記では、2本のプローブビームの場合について説明したが、プローブビームは3本以上であってもよい。2本の場合はもちろん3本以上の場合であっても、各プローブビームの照射スポットを所定の配列ピッチで並べるとともに、主走査方向について任意の一のプローブビームの各照射スポットの間に他の各プローブビームのそれぞれ1個の照射スポットが配されるように、各プローブビームを互いに主走査方向にずらせばよい。M(Mは2以上の整数)本のプローブビームを用いる場合、プローブビームの照射スポットの配列ピッチを照射スポットの直径DsのM倍とし、各プローブビームを照射スポットの直径Dsずつ順次に主走査方向にずらすことが好ましい。
図11は、主走査方向の照射範囲を分割した複数の小領域にプローブビームをそれぞれ対応させて、小領域ごとに対応するプローブビームを照射する例を示している。この例では、主走査方向について干渉光を照射すべき照射範囲71を、例えば微小流路55の中心を境界にして第1小領域71aと第2小領域71bとに2分割し、第1小領域71aには第1プローブビームを照射し、第2小領域71bには第2プローブビームを照射する。したがって、第1小領域71aに照射スポットSP11~SP1Nからなる第1照射ラインBL1が形成され、第2小領域71bに照射スポットSP21~SP2Nからなる第2照射ラインBL2が形成される。第1プローブビームと第2プローブビームとは、それらが照射される主走査方向における範囲は重ならない。このように、第1プローブビームと第2プローブビームを照射するために、例えば合波ユニット17内のミラー45、46(図1参照)の傾きが調整されている。
信号処理部14では、第1プローブビームの照射によって得られる複数の一次元画像からなる第1画像と、第2プローブビームの照射によって得られる複数の一次元画像からなる第2画像とを主走査方向に並べることによって1個の試料Gに対応した観察画像を得る。
この例によれば、図8の例の場合と同様に、第1、第2AOD28、35で生成すべき第1、第2回折光の本数がそれぞれ1/2になるので、検出される輝度が2倍になり鮮明な画像を得ることができる。また、搬送周波数ごとの帯域幅を2倍にすることができ、観察画像の高画質化、あるいは試料Gの移動速度の高速化を図ることができる。さらに、一定の帯域幅を確保しながら1つのAODで生成できる干渉光の本数、すなわちプローブビームを照射することができる範囲は、AODの動作帯域に制約されるが、上記のように干渉光を照射すべき照射範囲を主走査方向に分割して、分割された照射範囲を別のプローブビームで照射すれば、実質的に主走査の範囲を広くすることができる。
なお、第1プローブビームの各干渉光のうち第2小領域71b側の端部に照射される干渉光による検出信号成分と、第2プローブビームの各干渉光のうち第1小領域71a側の端部に照射される干渉光による検出信号成分とを用いて遅延時間Tdを求めることが好ましい。このようにすれば、互いに近い位置に干渉光を照射することで得られる検出信号成分であるから遅延時間Tdの精度を高くすることができる。具体的には、検出信号の第1プローブビームが照射されている前半の期間では、第1プローブビームの第2小領域71b側の端部に照射される干渉光のビート周波数成分をバンドパスフィルタで抽出し、第2プローブビームが照射されている後半の期間では、第2プローブビームの第1小領域71a側の端部に照射される干渉光のビート周波数成分をバンドパスフィルタで抽出した信号を、遅延時間Tdを求めるための検出信号とすればよい。また、主走査方向について干渉光を照射すべき照射範囲を3以上の小領域に分割して、小領域ごとにプローブビームを照射してもよい。
上記第1実施形態では、干渉光を生成する際に、第1、第2AOD28、35を用いて、それぞれ複数本の第1、第2回折光を生成し、これらを重ね合わせているが、特許文献1のように、複数本の回折光に幅広にした1本のレーザ光を重ね合わせることで、複数本の干渉光を生成してもよい。また、試料Gの移動速度VGを算出して、その移動速度VGで観察画像を補正する構成は、必要に応じて設ければよく、例えば副走査方向に試料Gの像が伸縮しても問題ないような解析手法に観察画像を利用する場合、移動速度VGで観察画像を補正する構成を省略することができる。
[第2実施形態]
第2実施形態のレーザ顕微鏡装置は、4本のプローブビームを照射する構成である。なお、第2実施形態のレーザ顕微鏡装置は、以下に説明する他は、第1実施形態の図1の例と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。
第2実施形態のレーザ顕微鏡装置は、4本のプローブビームを照射する構成である。なお、第2実施形態のレーザ顕微鏡装置は、以下に説明する他は、第1実施形態の図1の例と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。
図12に第2実施形態のレーザ顕微鏡装置80を示す。このレーザ顕微鏡装置80では、偏光ビームスプリッタ47から射出される第1、第2プローブビーム(以下では、新たに生成されるプローブビームと区別するため、第1ビーム、第2ビームという)が1/2波長板81とウォラストンプリズム82とを介してアナモルフィックプリズムペア49に入射するように構成されている。1/2波長板81は、光学軸が垂直方向に対して22.5度傾けられており、垂直偏光である第1ビームを-45度直線偏光に変換し、水平偏光である第2ビームを+45度直線偏光に変換する。
ウォラストンプリズム82は、周知のように、直交する偏光面を有する光を異なる方向に偏向して分離するものである。この例では、ウォラストンプリズム82は、垂直偏光と水平偏光とを分離するように配されている。このウォラストンプリズム82に1/2波長板81からの第1、第2ビームが入射することにより、第1、第2ビームは、それぞれ垂直偏光成分と水平偏光成分とに分離され、互いにz軸方向に角度を持った第1~第4プローブビームとして射出される。光検出部13の集光レンズ62の焦点位置には、4本のスリットがz軸方向に並べられたスリット部84aを有するスリット板84が配されている。
第1~第4プローブビームは、互いにz軸方向に角度を持って射出されるため、対物レンズ54の微小流路55内の焦点面には、図13に示すように、上流側から順番に第1~第4プローブビームの第1~第4照射ラインBL1~BL4が副走査方向に離れて形成される。第1照射ラインBL1は、第1プローブビームの各干渉光のN個の照射スポットSP11~SP1Nが主走査方向にライン状に配列され、第2照射ラインBL2は、第2プローブビームの各干渉光のN個の照射スポットSP21~SP2Nが主走査方向にライン状に配列されている。第3照射ラインBL3は、第3プローブビームの各干渉光のN個の照射スポットSP31~SP3Nが主走査方向にライン状に配列され、第4照射ラインBL4は、第4プローブビームの各干渉光のN個の照射スポットSP41~SP4Nが主走査方向にライン状に配列されている。第1~第4照射ラインBL1~BL4の各照射スポットは、主走査方向の位置が同じであれば、照射スポットを形成する干渉光のビート周波数も同じである。
なお、第1~第4照射ラインBL1~BL4の隣接した照射ライン間の各隣接ライン間隔DL1~DL3は、いずれも試料Gの副走査方向の最大の長さWGよりも大きくなるように調整されている。これにより、同一の試料Gに同時に複数のプローブビームが照射されないようにしている。また、微小流路55の最も上流側に配された第1照射ラインBL1と最も下流側に配された第4照射ラインBL4との距離Lsを、微小流路55内を流れる試料Gの最小間隔SGよりも短くすることによって、異なる試料Gに同時にプローブビームが照射されないようにしている。
試料Gが第1~第4照射ラインBL1~BL4のうちの任意の2つの照射ラインを通過している各期間の検出信号を用いて遅延時間Tdを求めて、試料Gの移動速度VGを算出することができる。また、各一次元画像は、照射スポットSP1~SP4で検出された蛍光物質の分布の画像が所定の間隔をあけて繋がったものであるから、画像処理部14cは、一次元画像を4分割して重ね合わせることによって、新たな一次元画像を作成し、それらから観察画像を生成する。新たな一次元画像を作成する場合には、試料Gが第1照射ラインBL1を通過するタイミングを基準にして、第2~第4照射ラインBL2~BL4を通過するまでの遅延時間をそれぞれ求め、それら遅延時間に対応する3つの位置で一次元画像を4分割して重ね合わせればよい。なお、各遅延時間は、上述の自己相関関数I(T)の2次~4次ピークとなる値Tとして求めることができる。
上記構成によれば、搬送周波数ごとの帯域幅が従来よりも広くなっているので、観察画像の画質の向上や、良好な画質を維持した観察画像の取得に有利であるとともに、実質的の蛍光の輝度を向上した高画質な観察画像を得ることができる。しかも、各々の干渉光の光強度を大きくしていないので、蛍光物質の輝度の飽和を招くことがない。さらには、ランダムノイズの低減にも有利である。
[第3実施形態]
ビーム生成部を簡易な構成とした第3実施形態について説明する。なお、第3実施形態のレーザ顕微鏡装置は、以下に説明する他は、第1実施形態と同じであり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。また、この第3実施形態のレーザ顕微鏡装置は、ビーム照射部、光検出部の構成は第1実施形態と同じであるから、図14ではビーム生成部だけを描いてある。
ビーム生成部を簡易な構成とした第3実施形態について説明する。なお、第3実施形態のレーザ顕微鏡装置は、以下に説明する他は、第1実施形態と同じであり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。また、この第3実施形態のレーザ顕微鏡装置は、ビーム照射部、光検出部の構成は第1実施形態と同じであるから、図14ではビーム生成部だけを描いてある。
図14に示すように、ビーム生成部11は、レーザ光源としてのレーザ装置15、回折光生成ユニット86、干渉光生成ユニット87、リレー光学系18等で構成される。回折光生成ユニット86は、1/2波長板21、偏光ビームスプリッタ22、第1及び第2アーム86a、86b、偏光ビームスプリッタ86cを有する。第1アーム86aは、ミラー26、アナモルフィックプリズムペア27、第1AOD28を備え、複数の第1回折光を生成する。第2アーム86bは、ミラー32、AOFS33、アナモルフィックプリズムペア34、第2AOD35を備え、複数の第2回折光を生成する。
レーザ装置15からのレーザ光は、1/2波長板21を介して偏光ビームスプリッタ22に入射する。偏光ビームスプリッタ22は、レーザ光の垂直偏光成分を第1レーザ光として第1アーム86aに反射し、水平偏光成分を第2レーザ光として第2アーム86bに透過する。第1アーム86aでは、第1レーザ光がミラー26、アナモルフィックプリズムペア27を介して第1AOD28に入射することで、複数の第1回折光が生成される。また、第2アーム86bでは、第2レーザ光がミラー32、AOFS33、アナモルフィックプリズムペア34を介して第2AOD35に入射することで、複数の第2回折光が生成される。第1回折光は、垂直偏光であり、第2回折光は水平偏光である。
重ね合わせ部としての偏光ビームスプリッタ86cは、第1アーム86aからの複数の第1回折光を反射し、第2アーム86bからの複数の第2回折光を透過することにより、第1回折光と第2回折光とを互いに光周波数が異なる同士で組み合わせて重ねる。この偏光ビームスプリッタ86cによって、重ねられる第1回折光と第2回折光の組み合わせは、第1実施形態の無偏光ハーフビームスプリッタ25(図1参照)によるものと同じであるが、第1回折光と第2回折光とは、偏光方向が互いに直交しているため、偏光ビームスプリッタ86cで重ねられても干渉しない。したがって、偏光ビームスプリッタ86cからは、空間的に重なった第1回折光と第2回折光とが射出される。
干渉光生成ユニット87は、1/2波長板87aと、ウォラストンプリズム87bとを有している。偏光ビームスプリッタ86cからの複数の第1回折光と複数の第2回折光は、1/2波長板87aを介して、ウォラストンプリズム82bに入射する。1/2波長板82aは、光学軸が垂直方向に対して22.5度傾けられており、垂直偏光の第1回折光を-45度の直線偏光に変換し、水平偏光の第2回折光を+45度の直線偏光に変換する。
ウォラストンプリズム87bは、垂直偏光と水平偏光とを分離するように配されている。このウォラストンプリズム87bに1/2波長板87aからの第1回折光と第2回折光とが入射することにより、第1回折光及び第2回折光は、それぞれ垂直偏光成分と水平偏光成分とに分離され、第1回折光と第2回折光の各垂直偏光成分とが互いに同方向に、また第1回折光と第2回折光の各水平偏光成分とが互いに同方向に射出される。これにより、空間的に重なっている第1回折光と第2回折光の各垂直偏光成分が重なり合うことで干渉光が生成され、また第1回折光と第2回折光の各水平偏光成分が重なり合うことで干渉光が生成される。結果として、複数の第1回折光と複数の第2回折光とから、例えば垂直偏光の複数の干渉光からなる第1プローブビームと、水平偏光の複数の干渉光からなる第2プローブビームとが生成される。第1及び第2プローブビームは、アナモルフィックプリズムペア49、リレー光学系18を介してビーム照射部に送られる。
上記のような構成であっても、第1実施形態と同じ効果を得ることができる。
[第4実施形態]
第4実施形態は、静止した試料に対してプローブビームの照射位置を副走査方向に移動することによって副走査を行う構成としたものである。なお、第4実施形態のレーザ顕微鏡装置は、以下に説明する他は、第1実施形態と同じであり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。また、この第4実施形態のレーザ顕微鏡装置は、ビーム照射部以外の構成は第1実施形態と同じであるから、図15ではビーム照射部だけを描いてある。
第4実施形態は、静止した試料に対してプローブビームの照射位置を副走査方向に移動することによって副走査を行う構成としたものである。なお、第4実施形態のレーザ顕微鏡装置は、以下に説明する他は、第1実施形態と同じであり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。また、この第4実施形態のレーザ顕微鏡装置は、ビーム照射部以外の構成は第1実施形態と同じであるから、図15ではビーム照射部だけを描いてある。
図15に示すように、ビーム照射部90は、走査ミラー91aを備えた副走査部としてのレゾナントスキャナ91、ミラー92、リレー光学系53、マスク板93、対物レンズ54、試料Gを載置するステージ(図示省略)等で構成されている。ダイクロイックミラー50からの第1、第2プローブビームは、走査ミラー91a、ミラー92、リレー光学系53を介して対物レンズ54に入射し、試料Gに照射される。
レゾナントスキャナ91は、光偏向器であり、干渉光の入射方向と直交する水平方向(x軸方向)に平行な回転軸91bを中心に走査ミラー91aを揺動させることによって、第1、第2プローブビームを副走査方向に周期的に偏向して等角度走査する。この例においては、主走査方向は、z軸方向であり、副走査方向はy軸方向である。なお、レゾナントスキャナ91の代わりに、ガルバノミラーやポリゴンミラーなどの他の光偏向器を用いてもよい。
マスク板93は、アパーチャ93aが形成されており、リレー光学系53の間の各レンズ53a、53bの焦点位置に配されている。図16に示すように、マスク板93のアパーチャ93aは、観測視野範囲、すなわち第1、第2プローブビームPB1、PB2を照射すべき範囲に設けられている。これにより、マスク板93により第1、第2プローブビームが照射される副走査方向の範囲を制限し、観測視野範囲外に第1、第2プローブビームPB1、PB2が照射されることを阻止して、検出対象の試料G以外からの不要な光信号の混入を防止している。なお、観測視野範囲外に不要な光信号を発生させるものがない場合には、マスク板93を省略してもよい。
上記構成によれば、静止した試料Gに対して、第1実施形態と同様な効果を得ることができる。また、上記構成は、同じ試料Gから複数の観察画像を得る場合にも利用でき、プローブビームが1本の場合と比べて実質的にフレームレートが2倍になるので有利である。
なお、プローブビーム照射位置を副走査方向に移動する構成は、他の実施形態におけるビーム生成部、光検出部と組み合わせて利用することができる。
[第5実施形態]
第5実施形態は、複数のプローブビームの照射位置情報を用いて、検出信号から得られる取得画像をデコンボリューションすることにより観察画像を生成するものである。なお、第5実施形態のレーザ顕微鏡装置は、以下に説明する他は、第1実施形態と同じであり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。また、この例では、試料が一定の速度で副走査方向に移動するものとする。
第5実施形態は、複数のプローブビームの照射位置情報を用いて、検出信号から得られる取得画像をデコンボリューションすることにより観察画像を生成するものである。なお、第5実施形態のレーザ顕微鏡装置は、以下に説明する他は、第1実施形態と同じであり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。また、この例では、試料が一定の速度で副走査方向に移動するものとする。
図17にレーザ顕微鏡装置97の構成を示す。なお、ビーム生成部98の合波ユニット99の無偏光ハーフビームスプリッタ25から射出される第1、第2プローブビームを、以下では、新たに生成されるプローブビームと区別するため、第1ビーム、第2ビームという。第1ビーム、第2ビームは、いずれも水平偏光であるが、ビート周波数が同じ干渉光は、互いにビートの位相が半周期(π)ずれている。
合波ユニット99は、第1ビームの通る光路上の1/2波長板44と偏光ビームスプリッタ47との間に、アナモルフィックプリズムペア101、102と、第3AOD103とを配してある。また、第2ビームの通る光路上の無偏光ハーフビームスプリッタ25と偏光ビームスプリッタ47との間にアナモルフィックプリズムペア104、105と、第4AOD106とを配してある。さらに、偏光ビームスプリッタ47とリレー光学系18との間にアナモルフィックプリズムペア107を配してある。
コム信号発生部41は、第3、第4コム信号を生成する。この例では、第3、第4コム信号は、それぞれ互いに周波数が異なる3つの駆動信号を重ね合わせたものである。第3AOD103は、第3コム信号で駆動され、第1ビームを回折させることによって第1~第3プローブビームを生成する。また、第4AOD104は、第4コム信号で駆動され、第2ビームを回折させることによって第4~第6プローブビームを生成する。第3、第4AOD103、106の回折方向は、いずれもz軸方向である。
第1~第6プローブビームは、それぞれN本の干渉光からなる。また、第1~第6プローブビームのN本の干渉光のビート周波数は、元になった第1または第2ビームの干渉光と同じビート周波数になっている。第1ビームの各干渉光と第2ビームの各干渉光は、同じビート周波数同士では互いに位相が半周期ずれているので、第1~第3プローブビームの各干渉光と、第4~第6プローブビームの各干渉光との間においても、同じビート周波数同士では互いにビートの位相が半周期ずれている。
なお、アナモルフィックプリズムペア101、104は、いずれもアナモルフィックプリズムペア27、34によって楕円形となっている第1、第2ビームのビーム形状を、その長軸方向に縮めることによって円形とする。一方、アナモルフィックプリズムペア102、105は、第1、第2ビームのビーム形状をz軸方向に引き延ばすことにより円形から楕円形に変形させることによって、第3、第4AOD103、106から射出される第1~第3、第4~第6プローブビームのビーム形状の広がりを抑え、分解能の低下を防止する。
偏光ビームスプリッタ47は、垂直偏光の第1~第3プローブビームをx軸方向に反射し、水平偏光の第4~第6ブローブビームをx軸方向に透過する。これにより、第1~第3プローブビームと第4~第6プローブビームとを合波する。偏光ビームスプリッタ47からの第1~第6プローブビームは、アナモルフィックプリズムペア107、リレー光学系18、ダイクロイックミラー50を介してビーム照射部12に送られる。アナモルフィックプリズムペア107は、第1~第6プローブビームの各干渉光のビーム形状をy軸方向に引き延ばすことによって円形にする。また、この例では、第3AOD103、第4AOD106によって、副走査方向における第1~第6プローブビームの照射位置を調整している。光検出部13の集光レンズ62の焦点位置には、後述する第1~第6照射ラインBL1~BL6(図18参照)に対応した6本のスリットがz軸方向に並べられたスリット部109aを有するスリット板109が配されている。
図18に一例を示すように、第3コム信号は、100MHz、140MHz、180MHzの3種類の駆動信号を重ね合わせたものになっている。一方、第4コム信号は、110MHz、160MHz、170MHzの3種類の駆動信号を重ね合わせたものになっている。これにより、微小流路55内には、その上流側(左側)から順番に第1プローブビームの第1照射ラインBL1、第4プローブビームの第4照射ラインBL4、第2プローブビームの第2照射ラインBL2、第5プローブビームの第5照射ラインBL5、第6プローブビームの第6照射ラインBL6、第3プローブビームの第3照射ラインBL3が同時に形成される。PMT64は、第1~第6プローブビームが照射されることによって放出される蛍光を同時に検出する。なお、この例においても、照射スポットの主走査方向の位置が同じであれば、対応する各干渉光のビート周波数は同じである。
上記のように第1~第6照射ラインBL1~BL6を形成することにより、第1~第6プローブビームを符号化して試料Gに照射する。この例においては、試料Gが移動する方向に等間隔に「1,-1,0,0,1,0,-1,-1,1」の符号パターンで符号化している。符号(1、-1、0)とその符号の位置、すなわちz軸方向における各プローブビームの照射位置を示す符号パターンは、照射位置情報になっている。
符号パターンのうち「1」及び「-1」がプローブビームを照射することを意味し、「1」は、第1~第3プローブビームに対応し、「-1」は、第2~第6プローブビームに対応する。符号パターンの符号の間隔は、第3、第4コム信号の駆動信号の周波数の間隔に対応しており、「1」及び「-1」に対応させて、第3、第4コム信号の各駆動信号の周波数を上記のように設定している。
符号パターンにおいて、第1~第3プローブビームと第4~第6プローブビームとの符号の正負が異なるのは、第1~第3プローブビームの干渉光に対して第4~第6プローブビームの対応する干渉光のビートの位相が半周期ずれていることを意味している。そして、信号処理部14のフーリエ変換、逆フーリエ変換によって仮想的に第4~第6プローブビームの各干渉光から得られる画像Im2の画素値が第1~第3プローブビームの各干渉光から得られる画像Im1の画素値に対して正負が反転することを意味する。
ビートの位相が半周期ずれている干渉光同士では、一方の干渉によって光強度が大きくなっているときに、他方の光強度が小さくなる。そして、それらにより励起される蛍光も同様であるので、検出光が過剰に大きくなることがなく、PMT64が飽和しづらくなる。これにより、PMT64のダイナミックレンジを大きくしたのと同等の効果が得られる。
図17において、信号処理部14は、試料Gが第1~第6照射ラインBL1~BL6を通過することにより得られる検出信号から観察画像Im(図18参照)を生成する。フーリエ変換部14aは、試料Gが第1~第6照射ラインBL1~BL6を通過することにより得られる検出信号に対して、フーリエ変換部14aがフーリエ変換を行い、逆フーリエ変換部14bは、そのフーリエ変換で得られる各周波数スペクトルにそれぞれ逆フーリエ変換を行うことで、N本の一次元画像を生成する。そして、画像処理部14cは、N本の一次元画像を主走査方向に並べた画像(以下、取得画像という)をデコンボリューションすることによって観察画像Imを生成する。
ところで、第1~第6プローブビームが照射されることによって試料Gから放出される蛍光をPMT64が同時に検出するので、取得画像は、第1~第6照射ラインBL1~BL6の副走査方向への位置のずれに対応して、試料Gに対応した6個の像(蛍光の分布を示す像)を副走査方向にずらして多重に形成したものとなる。すなわち、第1~第3プローブビームの照射によって得られる画像Im1と、第4~第6プローブビームの照射によって得られる画像Im2とを重ね合わせた取得画像が生成される。画像Im1、Im2は、いずれも試料Gの3個に対応する像が副走査方向にずれて多重に形成されている。また、上記のように第1~第3プローブビームの各干渉光の位相と第4~第6プローブビームの各干渉光の位相とが半波長ずれているから、画像Im2の画素値の正負は、画像Im1の画素値とは逆であるから、画像Im1の画素値に対して、画像Im2の画素値の大きさ(絶対値)を減算した各画素値を有する取得画像が生成される。
上記取得画像は、1つのプローブビームの照射で取得される試料Gの画像(以下、原画像という)と上述するとともに図19に示す符号パターンとの畳み込み(コンボリューション)の結果とみなすことができる。したがって、取得画像をf(z,y)、原画像をf0(z,y)とすると、符号デルタ関数c(z)を用いて、次の式(2)のように表すことができる。なお、式(2)中の「*」は、コンボリューションの演算子とする。
上記式中の値zは、試料Gが移動する副走査方向の位置(z座標)であり、値yは、主走査方向の位置(y座標)であって、主走査方向における各干渉光の照射位置に対応する。また、符号デルタ関数c(z)は、符号パターンに応じたデルタ関数の和であり、デルタ関数をδ、符号パターンの符号の個数をk(この例ではk=9)とし、n番目の符号(1、-1または0)をan、符号と符号の副走査方向の間隔をΔzとしたときに、次の式(3)のように表すことができる。
上記式(2)をフーリエ変換すると、次の式(4)のように表すことができる。なお、f(z,y)、f0(z,y)、c(z)をフーリエ変換した関数をF(z,y)、F0(z,y)、C(z)とする。式(4)中において、F0(z,y)は、取得画像をフーリエ変換することにより得られ、C(z)は、符号デルタ関数c(z)をフーリエ変換したものとして予め用意しておくことができる。したがって、次の式(5)に示されるように、取得画像をフーリエ変換したF0(z,y)が得られることがわかる。
画像処理部14cは、取得画像f(z,y)をフーリエ変換し、そのフーリエ変換した取得画像F(z,y)と既知のC(z)を用いてF0(z,y)を求め、得られるF0(z,y)を逆フーリエ変換する。このようにして、原画像、すなわち観察画像Imを得る。
上記構成によれば、上記他の実施形態と同様に、複数のプローブビームを照射することにより、蛍光物質の輝度の飽和を招くことなく、実質的の蛍光の輝度を向上した高画質な観察画像を得ることができる。試料Gの大きさが未知で複数のプローブビームが同時に試料Gを照射する可能性が排除できない場合にも、上記のような演算により安定的に観察画像Imを取得できるため有効である。また、ランダムノイズの低減にも有利である。また、この例では、上記の他の実施形態と異なり、複数のプローブビームの間隔を試料Gの大きさよりも必ずしも大きくする必要が無く、またある試料Gからの検出信号と次の試料Gの検出信号との重なりも許容される。さらに、第5実施形態の特殊な場合として、例えば第1実施形態のように2つのプローブビームを照射する場合も含まれ、信号取得後の演算処理を上記のごとく変更することでプローブビーム間の距離の制約を排除することが可能である。
上記の例では、6本のプローブビームを試料Gに照射するが、プローブビームの本数はこれに限るものではなく、2本以上であれば実質的に同等の効果が得られる。また、それぞれのプローブビームの強度を等しくする必要はない。この場合は、符号1、-1に代えてそれぞれのプローブビームの相対強度に正負を付したものを用いてc(z)を定義し、デコンボリューションの演算を行えばよい。試料Gの蛍光体の応答が遅い場合などに、干渉光のビートによる信号光として放出される蛍光の変調に位相遅れが発生する場合がある。この場合は位相遅れφを符号にも反映させればよく、1、-1に代えて例えばexp(iφ)、-exp(iφ)と置き換えればよい。この場合に、プローブビームの強度が一定でないときには、これら符号(exp(iφ)、-exp(iφ))にさらにプローブビームの相対強度を掛けてc(z)を定義すればよい。
上記の例では、いわゆる逆フィルタを用いてデコンボリューションする例について説明したが、デコンボリューションは、それに限られるものではない。例えば、次の式(6)を用いたウイナー(Wiener)フィルタを用いてデコンボリューションを行ってもよい。また、他の一般的なデコンボリューション手法、例えばリチャードソン・ルーシー(Richardson-Lucy)アルゴリズム等を用いてもよい。なお、式(6)中の「*」は複素共役を意味する。また、値Γは、所定の定数である。
また、上記演算の変わりに行列演算により観察画像を構築しても良い。これは、原画像をX、上記のデコンボリューションを実施する前の取得画像をYとして行列で表現すると、ある行列Aを用いて「Y=AX」と表されることを利用したものである。行列Aの擬似逆行列をBとすると、Yから所望の原画像(観察画像)Xが「X=BY」として得られるというものである。この方法の詳細については、文献「Ramesh Raskar, Amit Agrawal, and Jack Tumblin, "Coded exposure photography: motion deblurring using fluttered shutter," ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2006 Volume 25 Issue 3, July 2006 Pages 795-804.」に詳しく記載されている。
上記の例では、正負両方の符号を含む符号パターンを用いているが、いずれか一方(正または負)だけの符号パターンを用いてもよい。また、上記の符号パターンは、符号「0」を含めて各符号を等間隔に配しているが等間隔でなくてもよく、各プローブビームの照射位置が離散的になるように符号パターンを決めればよい。各プローブビームの照射位置が離散的であるとは、異なるプローブビームが副走査方向に隣接または離れている状態である。より具体的には、異なるプローブビームの干渉光の照射スポットが互いに重ならないようにすることであり、照射スポットが隣接または離れた状態(照射スポットの中心間隔がスポット径(直径)以上)であればよい。したがって、異なるプローブビームの干渉光の照射スポットが接していてもよい。照射スポットのスポット径は、例えばレーザ顕微鏡装置97の感度や精度等を考慮して、例えば照度が照射スポットの中心部のeの2乗分の1に低下する直径、半値全幅、あるいはエアリーディスクの直径等と定義することができる。
上記第1~第5実施形態では、プローブビームを照射することにより試料Gがプローブビームの照射側に放出される蛍光を検出光として検出しているが、対物レンズとは反対側に放出される試料Gからの蛍光を検出するようにレーザ顕微鏡装置を構成してもよい。また、プローブビームを試料Gに照射したときに、試料Gで反射した反射光や後方散乱した光、試料Gを透過した透過光を検出光として検出して観察画像を取得してもよい。
[第6実施形態]
次に、周波数成分を光周波数成分とした第6実施形態について説明する。以下では、2本のプローブビームを照射する構成について説明するが、3本以上のプローブビームを照射する構成としもよい。
次に、周波数成分を光周波数成分とした第6実施形態について説明する。以下では、2本のプローブビームを照射する構成について説明するが、3本以上のプローブビームを照射する構成としもよい。
図20に示すように、第6実施形態のイメージング装置130は、ビーム生成部131と、ビーム照射部としての第1対物レンズ132と、光検出部133、信号処理部134とを備えている。ビーム生成部131は、光源としてのレーザ装置141、シングルモードの光ファイバ142、第1回折格子143、ミラー144、1/2波長板145、第1ウォラストンプリズム146とを備える。また、光検出部133は、第2対物レンズ151、第2ウォラストンプリズム152、第2回折格子153、集光レンズ154、光検出器155、増幅器156、デジタイザ157を備えている。
レーザ装置141は、広帯域なレーザ光を一定の間隔で繰返し出力する、例えばチタンサファイア(Ti:Al2O3)フェムト秒パルスレーザーが用いられている。レーザ装置141としては、光通信に一般的に用いられるものであってもよい。この例では、レーザ装置141は、水平偏光のレーザ光を出力する。
レーザ装置141からのレーザ光は、光ファイバ142の一端に入射する。光ファイバ142内では、光の伝搬速度が光周波数(波長)によって異なるため、レーザ光が透過する過程で、そのレーザ光に群速度分散が生じる。このため、レーザ光は、光ファイバ142内を進むほど各波長成分の遅延の時間の差が大きくなってパルス幅がその進行方向に大きく広がり、各周波数成分が時間軸上で分離(レーザ光の分光スペクトルを時間領域にマッピング)した状態で光ファイバ142の他端から射出される。すなわち、レーザ光は、レーザ光の進行方向に沿って、この例における周波数成分である各光周波数成分が光周波数に応じて分散した状態に変換される。
光ファイバ142からのレーザ光は、第1回折格子143に入射する。レーザ光は、波長成分ごとに第1回折格子143での回折角が異なるため、第1回折格子143に入射したレーザ光は、空間的に1次元に広がったビームとなり、各光周波数成分が一次元に空間的に分散した状態にされる。このときのビームの広がる方向、すなわちレーザ光の各光周波数成分が分散する方向は、レーザ光の進行方向と直交する方向に対して傾いている。
第1回折格子143で回折されたレーザ光は、ミラー144、1/2波長板145を介して、第1ウォラストンプリズム146に入射する。1/2波長板145は、水平偏光のレーザ光を45度直線偏光に変換する。第1ウォラストンプリズム146は、1/2波長板145からのレーザ光が入射することにより、そのレーザ光を垂直偏光成分と水平偏光成分とに分離し、例えば垂直偏光成分を第1プローブビームとして、また水平偏光成分を第2プローブビームとして射出する。このときに、第1プローブビームと第2プローブビームとは、z軸方向に互いに角度を持って第1ウォラストンプリズム146からx軸方向に射出される。このようにして、レーザ光の各光周波数成分が空間的に1次元に分散された第1プローブビームと第2プローブビームとが生成される。第1、第2プローブビームは、パルス状であり、レーザ装置141からのレーザ光が出力されるごとに生成される。
第1、第2プローブビームは、第1対物レンズ132で集光されて、微小流路165a内の試料Gに向けて照射される。微小流路165aは、第1実施形態と同様にフローサイトメータを構成する流路デバイス56のフローセルに形成されており、微小流路165a内には流体とともに複数の試料Gが順次に副走査方向に流される。したがって、この例では、流路デバイス165が副走査部となる。
第1対物レンズ132に入射する第1、第2プローブビームは、上記のように1次元に空間的に分散されている。このため、図21に示すように、第1、第2プローブビームは、微小流路165a内の第1対物レンズ132の焦点面に、主走査方向(M方向)に沿ったライン状の第1、第2照射ラインBLa、BLbを形成する。ここで、第1、第2プローブビームは、それらの元となったレーザ光と同じく、各光周波数成分の分散する方向がレーザ光の進行方向と直交する方向に傾いている。このため、第1、第2照射ラインBLa、BLbは、それぞれ一端側から他端側に向かって光周波数成分が高くなるとともに、光周波数成分に応じて照射タイミングがずれる。例えば光周波数が高くなるほど照射タイミングが遅くなる。
また、第1ウォラストンプリズム146から射出される第1、第2プローブビームは、z軸方向に互いに角度を持っているので、第1、第2照射ラインBLa、BLbは、副走査方向に互いに離れる。第1照射ラインBLaと第2照射ラインBLbとの隣接ライン間隔DLは、試料Gの副走査方向の最大の長さWGよりも大きくなるように調整されている。また、微小流路165aの最も上流側に配された照射ラインと最も下流側に配された照射ラインとの距離(この第6実施形態では隣接ライン間隔DLに等しい)が、微小流路165a内を流れる試料Gの最小間隔SGよりも短くしてある。これにより、同じ試料G及び、異なる試料Gに同時に第1、第2プローブビームが照射されないようにしている。
第1照射ラインBLaに位置する試料Gの部分に第1プローブビームが照射され、試料Gが微小流路165a内を流れることによって、第1プローブビームが照射される部分が副走査方向にずれる。試料Gは、第1照射ラインBLaを通過した後に、第2照射ラインBLbに達し第2プローブビームが照射される。この場合にも、試料Gが微小流路165a内を流れることによって、第2プローブビームが照射される部分が副走査方向にずれる。
微小流路55を挟んで第1対物レンズ132の反対側に、第2対物レンズ151が配されている。第2対物レンズ151は、第1対物レンズ132と同じ対物レンズであり、焦点位置が第1対物レンズ132の焦点位置と一致するように配されており、微小流路55からの第1、第2プローブビームを集光する。
上記のように第1対物レンズ132から照射される第1、第2プローブビームは、微小流路165a中の流体や試料Gを透過する。このときに、試料Gに照射された第1、第2プローブビームは、試料Gの構造等に応じて散乱、回折、吸収されるため、その光強度が減衰する。これにより、試料Gの構造等に応じて強度変調された第1、第2プローブビームが透過する。この透過する第1、第2プローブビームが、この例では信号光となる。
これら第1、第2プローブビームは、光周波数成分が空間的にマッピングされている。したがって、試料Gを透過した第1、第2プローブビームの各光周波数成分の光強度は、光周波数成分が照射された位置、すなわち試料Gの主走査方向の各位置の構造等に対応したものとなる。なお、微小流路165a中の流体や微小流路165aを形成するフローセルを透過する際にも、第1、2プローブビームの光強度は減衰するが、説明を簡単にするため、第1、第2プローブビームは、試料Gだけによって光強度が減衰するものとする。
第2対物レンズ151で集光された第1、第2プローブビームは、第2ウォラストンプリズム152に入射し、この第2ウォラストンプリズム152によって合波されて検出ビームとして射出される。第1、第2プローブビームは、互いに直交する直線偏光なので合波しても干渉することはない。第2ウォラストンプリズム152からの検出ビームは、第2回折格子153に入射し、空間的な分散が小さくされる。この第2回折格子153からの検出ビームが集光レンズ154を介して光検出器155に入射する。このとき、例えば光周波数の低い光周波数成分から順番に光検出器155に入射する。そして、この光検出器155から入射する検出ビームの光強度に応じた検出信号が出力される。
光検出器155からの検出信号は、増幅器156、デジタイザ157を介してデジタル変換される。信号処理部134は、例えばPCで構成されており、検出信号から試料Gの観察画像を生成する。信号処理部134は、画像処理部134a、モニタ134bを備えている。画像処理部134aは、デジタイザ157から得られる検出信号から、主走査方向における第1、第2プローブビームの光強度分布を示す1次元画像を生成する。この1次元画像の生成は、第1、第2プローブビームの照射ごとに行われる。なお、この例においては、1次元画像は、例えばプローブビームの減衰あるいは透過の大きさの主走査方向の分布を示すものである。
光検出器155で検出される第1プローブビームは、光周波数が主走査方向における位置に対応し、しかも光周波数の高低で光検出器155への入射タイミングに時間差が生じるので、主走査方向における位置と時間とが対応している。光検出器155で検出される第2プローブビームについても同様である。したがって、検出信号の波形は、第1プローブビームが透過した光強度と第2プローブビームが透過した光強度とを重ね合わせた合成強度の変化を主走査方向について示す。また、上述のように、第1、第2プローブビームが、同じ試料G及び異なる試料Gに同時に照射されることがない。このため、検出信号は、第1、第2プローブビームの両方が試料Gに対して照射されていない状態のときに得られる信号レベルを基準にして、第1、第2プローブビームのいずれか一方だけを試料Gに照射しているときの光周波数成分の減衰あるいは透過の大きさを示している。したがって、試料Gの構造等に応じた上記のような一次元画像を得ることができる。
信号処理部134は、例えば、第1実施形態の信号処理部14と同様に、検出信号が所定の閾値以上になった時点から所定の遡及時間だけ遡った開始点から所定の通過所用時間が経過した終了点までの期間に出力された検出信号を1個分の試料Gに対する検出信号として処理する。そして、画像処理部134aは、1個分の試料Gの全ての一次元画像を蓄積すると、蓄積した複数の一次元画像を取得した順番で並べて二次元画像を生成する。生成される二次元画像は、一次元画像を並べた方向、すなわち副走査方向が時間軸になる。また、二次元画像は、第1、第2プローブビームの照射に対応して試料Gに対応した2個の像が形成されている。
次に、画像処理部134aは、二次元画像を副走査方向に2分割し、これら画像を重ねあわせて観察画像を生成する。このときには、例えば、二次元画像中の副走査方向に伸びた1ラインについて自己相関関数を計算して、2次ピークとなる値Tを遅延時間Tdとして取得する。そして、この取得した遅延時間Tdを分割位置とし、第1実施形態の場合と同様な手順で観察画像を生成すればよい。このようにして、試料Gの透過状態の分布を2次元にマッピングした観察画像を生成し、モニタ134bに表示する。
上記各実施形態では、副走査方向、すなわち、試料を走査するために、試料と主走査方向に沿ってライン状にされたプローブビームとの相対的な移動方向を、主走査方向と直交する方向とした例について説明したが、本発明は、これに限定されるものではない。副走査方向は、主走査方向と異なる方向、すなわち主走査方向と平行にならなければよく各プローブビームの照射ラインと試料との相対的な移動方向(副走査方向)とのなす角度をθとしたときに、「0°<θ≦90°」を満たせばよい。このため、例えば、微小流路内を流れる試料の移動方向が各プローブビームの照射ライン及び照射ラインと直交する方向に対してそれぞれ傾いてもよい。
10 レーザ顕微鏡装置
11、131 ビーム生成部
12 ビーム照射部
13、133 光検出部
14、134 信号処理部
55、165a 微小流路
56、165 流路デバイス
91 レゾナントスキャナ
BL 照射ライン
G 試料
11、131 ビーム生成部
12 ビーム照射部
13、133 光検出部
14、134 信号処理部
55、165a 微小流路
56、165 流路デバイス
91 レゾナントスキャナ
BL 照射ライン
G 試料
Claims (13)
- 複数の周波数成分を空間的に配列した複数のプローブビームを生成するビーム生成部と、
複数の前記プローブビームのそれぞれについて、前記周波数成分を主走査方向に沿ってライン状に配列するとともに、複数の前記プローブビームを互いに主走査方向と異なる副走査方向に隣接または離して試料に照射するビーム照射部と、
複数の前記プローブビームの照射位置と前記試料とを副走査方向に相対的に移動する副走査部と、
前記プローブビームを前記試料に照射することで生じた信号光の強度を検出して検出信号を出力する光検出部と、
前記検出信号の前記周波数成分ごとの信号成分から前記試料の観察画像を生成する信号処理部と
を備えることを特徴とするイメージング装置。 - 前記ビーム生成部は、前記周波数成分として強度変調周波数が互いに異なる複数の変調光からなる複数の前記プローブビームを生成することを特徴とする請求項1に記載のイメージング装置。
- 前記信号処理部は、複数の前記プローブビームの照射位置情報を用いて、前記検出信号から得られる取得画像をデコンボリューションすることにより前記観察画像を生成することを特徴とする請求項1または2に記載のイメージング装置。
- 複数の前記プローブビームは、変調光のビートの位相が他の前記プローブビームの変調光に対して半周期ずれた前記プローブビームを含むことを特徴とする請求項3に記載のイメージング装置。
- 前記副走査部は、複数の前記プローブビームの照射位置に対して複数の前記試料を副走査方向に相対的に移動し、
前記ビーム照射部は、隣接した前記プローブビームの副走査方向における間隔を前記試料の副走査方向のサイズよりも大きくし、かつ副走査方向の両端の前記プローブビームの間隔を前記試料の副走査方向の間隔の最小値よりも小さくして、複数の前記プローブビームを照射することを特徴とする請求項1または2に記載のイメージング装置。 - 前記ビーム照射部は、複数の前記プローブビームの各変調光の照射スポットを所定の配列ピッチで並べるとともに、主走査方向について一の前記プローブビームの各照射スポットの間に他の各前記プローブビームのそれぞれ1個の照射スポットが配されるように、複数の前記プローブビームを互いに主走査方向にずらして照射することを特徴とする請求項2に記載のイメージング装置。
- 前記ビーム照射部は、主走査方向の照射範囲を分割した複数の小領域に前記プローブビームをそれぞれ対応させ、前記小領域ごとに対応する前記プローブビームを照射することを特徴とする請求項2に記載のイメージング装置。
- 前記ビーム生成部は、複数の光周波数成分を空間的に配列した複数の前記プローブビームを生成することを特徴とする請求項1に記載のイメージング装置。
- 前記副走査部は、副走査方向に沿って前記試料が流体と共に流れる流路を有する流路デバイスであり、
前記ビーム照射部は、前記流路内に複数の前記プローブビームを照射する
ことを特徴とする請求項1ないし8のいずれか1項に記載のイメージング装置。 - 前記信号処理部は、前記検出信号に基づいて得られる前記試料に対する前記プローブビームの照射タイミングのずれから、前記試料の移動速度を検出する速度検出部を有し、前記速度検出部で検出された前記移動速度に基づいて副走査方向について前記観察画像を補正することを特徴とする請求項9に記載のイメージング装置。
- 前記副走査部は、複数の前記プローブビームの照射位置を副走査方向に移動させる光偏向器であることを特徴とする請求項1ないし8のいずれか1項に記載のイメージング装置。
- 複数の前記プローブビームが照射される副走査方向の範囲を制限するマスク板を備えることを特徴とする請求項11に記載のイメージング装置。
- 複数の周波数成分を空間的に配列した複数のプローブビームを生成するビーム生成ステップと、
複数の前記プローブビームのそれぞれについて、前記周波数成分を主走査方向に沿ってライン状に配列するとともに、複数の前記プローブビームを互いに主走査方向と異なる副走査方向に隣接または離して試料に照射するビーム照射ステップと、
複数の前記プローブビームの照射位置と前記試料とを副走査方向に相対的に移動する副走査ステップと、
前記プローブビームを前記試料に照射することで生じた信号光の強度を検出して検出信号を出力する光検出ステップと、
前記検出信号の前記周波数成分ごとの信号成分から前記試料の観察画像を生成する信号処理ステップと
を有することを特徴とするイメージング方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017539042A JP6266851B1 (ja) | 2016-03-17 | 2017-03-16 | イメージング装置及びイメージング方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016053549 | 2016-03-17 | ||
JP2016-053549 | 2016-03-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017159821A1 true WO2017159821A1 (ja) | 2017-09-21 |
Family
ID=59851193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/010785 WO2017159821A1 (ja) | 2016-03-17 | 2017-03-16 | イメージング装置及びイメージング方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6266851B1 (ja) |
WO (1) | WO2017159821A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002323660A (ja) * | 2001-04-07 | 2002-11-08 | Carl Zeiss Jena Gmbh | 試料の光学的深部分解による光学的把握のための方法および装置 |
JP2006317261A (ja) * | 2005-05-12 | 2006-11-24 | Olympus Corp | 走査型サイトメータの画像処理方法及び装置 |
WO2014110290A1 (en) * | 2013-01-09 | 2014-07-17 | The Regents Of The University Of California | Apparatus and methods for fluorescence imaging using radiofrequency-multiplexed excitation |
WO2014147590A1 (en) * | 2013-03-22 | 2014-09-25 | Fondazione Istituto Italiano Di Tecnologia | Random access stimulated emission depletion (sted) microscopy |
-
2017
- 2017-03-16 JP JP2017539042A patent/JP6266851B1/ja not_active Expired - Fee Related
- 2017-03-16 WO PCT/JP2017/010785 patent/WO2017159821A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002323660A (ja) * | 2001-04-07 | 2002-11-08 | Carl Zeiss Jena Gmbh | 試料の光学的深部分解による光学的把握のための方法および装置 |
JP2006317261A (ja) * | 2005-05-12 | 2006-11-24 | Olympus Corp | 走査型サイトメータの画像処理方法及び装置 |
WO2014110290A1 (en) * | 2013-01-09 | 2014-07-17 | The Regents Of The University Of California | Apparatus and methods for fluorescence imaging using radiofrequency-multiplexed excitation |
WO2014147590A1 (en) * | 2013-03-22 | 2014-09-25 | Fondazione Istituto Italiano Di Tecnologia | Random access stimulated emission depletion (sted) microscopy |
Non-Patent Citations (2)
Title |
---|
MIKAMI H ET AL.: "Enhanced speed in fluorescence imaging using beat frequency multiplexing", PROC. OF SPIE, vol. 9720, 7 March 2016 (2016-03-07), pages 97200T - 1 - 97200T- 6, XP060068638 * |
UGAWAM ET AL.: "High-throughput optofluidic particle profiling with morphological and chemical specificity", OPTICS LETTERS, vol. 40, no. 20, 15 October 2015 (2015-10-15), pages 4803 - 4806, XP055601369 * |
Also Published As
Publication number | Publication date |
---|---|
JP6266851B1 (ja) | 2018-01-24 |
JPWO2017159821A1 (ja) | 2018-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7050983B2 (ja) | マルチモードの蛍光撮像フローサイトメトリシステム | |
JP6260691B2 (ja) | 構造化照明顕微鏡装置及び構造化照明観察方法 | |
JP5527625B2 (ja) | 顕微鏡装置 | |
JP6051397B2 (ja) | ラマン顕微鏡、及びラマン分光測定方法 | |
JP6232525B1 (ja) | 照射装置、レーザ顕微鏡システム、照射方法及びレーザ顕微鏡の検出方法 | |
US7463344B2 (en) | Arrangement for the optical detection of light radiation which is excited and/or backscattered in a specimen with a double-objective arrangement | |
US10816474B2 (en) | Optical information detection apparatus and microscope system | |
JP6701322B2 (ja) | 点像分布関数の測定装置、測定方法、画像取得装置および画像取得方法 | |
JP6253395B2 (ja) | 画像生成システム | |
JP6768289B2 (ja) | 走査型顕微鏡 | |
WO2017094184A1 (ja) | 走査型顕微鏡および顕微鏡画像取得方法 | |
JP5371362B2 (ja) | レーザ顕微鏡装置 | |
EP3017331B1 (en) | Apparatus for confocal observation of a specimen | |
CN109073873B (zh) | 图像取得装置以及图像取得方法 | |
JP6266851B1 (ja) | イメージング装置及びイメージング方法 | |
JP6260391B2 (ja) | 共焦点顕微鏡装置及び共焦点観察方法 | |
JP2018072111A (ja) | 光画像計測装置、光画像計測方法 | |
JP2018112611A (ja) | レーザ顕微鏡装置およびフローサイトメーター | |
JP2010039323A (ja) | 共焦点顕微鏡 | |
JP6379810B2 (ja) | 観察装置 | |
JP2012047632A (ja) | 非線形顕微鏡及び非線形観察方法 | |
JP5454942B2 (ja) | 分光装置とそれを用いた顕微鏡 | |
WO2017158697A1 (ja) | 画像取得方法および画像取得装置 | |
JP2015172549A (ja) | 干渉観察装置及び干渉観察方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2017539042 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17766816 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17766816 Country of ref document: EP Kind code of ref document: A1 |