WO2013080542A1 - 構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置 - Google Patents
構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置 Download PDFInfo
- Publication number
- WO2013080542A1 WO2013080542A1 PCT/JP2012/007645 JP2012007645W WO2013080542A1 WO 2013080542 A1 WO2013080542 A1 WO 2013080542A1 JP 2012007645 W JP2012007645 W JP 2012007645W WO 2013080542 A1 WO2013080542 A1 WO 2013080542A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound wave
- propagation path
- wave propagation
- structured illumination
- frequency
- Prior art date
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 65
- 230000008859 change Effects 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000004907 flux Effects 0.000 abstract description 5
- 238000006073 displacement reaction Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 21
- 230000010363 phase shift Effects 0.000 description 18
- 238000005259 measurement Methods 0.000 description 12
- 210000001747 pupil Anatomy 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000001427 coherent effect Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000005308 flint glass Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- SITVSCPRJNYAGV-UHFFFAOYSA-L tellurite Chemical compound [O-][Te]([O-])=O SITVSCPRJNYAGV-UHFFFAOYSA-L 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Definitions
- the present invention relates to a structured illumination apparatus applied to super-resolution observation, an adjustment method for the structured illumination apparatus, a computer-executable adjustment program, a structured illumination microscope apparatus, and a pattern projection type surface shape measuring apparatus.
- a plurality of microscopy methods exceeding the resolution limit of an optical microscope have been proposed, and they are collectively referred to as a super-resolution optical microscope.
- One type of super-resolution optical microscope is a microscope using a so-called structured illumination (structured illumination microscope).
- This structured illumination microscope projects a striped stripe pattern (structured illumination) onto a specimen or a surface to be observed (sample surface or sample surface) of the specimen, and the fluorescence generated in the specimen according to the structured illumination (or Light such as scattered light) is acquired by the image sensor.
- structured illumination or Light such as scattered light
- Patent Document 1 discloses an example in which a structured illumination microscope is applied to fluorescence observation.
- a light beam emitted from a coherent light source is divided into two light beams by a diffraction grating, and the two light beams are individually condensed at different positions on the pupil of the objective lens.
- the two light beams exit from the objective lens as parallel light beams having different angles, and overlap on the sample surface to form a stripe-shaped interference fringe (structured illumination).
- a specimen image is repeatedly acquired while changing the phase of structured illumination stepwise, and the specimen structure and the diffraction grating pattern are separated from the acquired plurality of images.
- An operation (separation operation) and an operation (demodulation operation) for demodulating a super-resolution image from a plurality of separated images are performed.
- the number of images necessary for the above-described separation calculation increases.
- the need to speed up acquisition is considered particularly high.
- the present invention provides a structured illumination apparatus having a configuration suitable for speeding up switching of illumination patterns, a method for adjusting the structured illumination apparatus, a computer-executable adjustment program, a structured illumination microscope apparatus, and structured illumination thereof.
- An object of the present invention is to provide a surface shape measuring apparatus to which the apparatus is applied.
- the structured illumination device includes an optical modulator disposed in a light beam emitted from a light source and having a sound wave propagation path in a direction crossing the light beam, and a drive signal for vibrating a medium in the sound wave propagation path.
- the drive unit that generates a sound wave standing wave in the sound wave propagation path, and the different diffraction components of the emitted light flux that has passed through the sound wave propagation path interfere with each other, and the interference fringes are generated.
- the method for adjusting a structured illumination device includes an optical modulator disposed in a light beam emitted from a light source and having a sound wave propagation path in a direction crossing the light beam, and a medium in the sound wave propagation path. Is applied to the optical modulator to cause interference between a drive unit that generates a sound wave standing wave in the sound wave propagation path and different diffraction components of the emitted light beam that has passed through the sound wave propagation path.
- An adjustment method for a structured illumination device including an illumination optical system that forms an interference fringe on an object to be observed, the adjustment adjusting the parameters of the drive unit so that the interference fringe is in a predetermined state Includes procedures.
- An adjustment program that can be executed by the computer of the present invention is arranged in a light beam emitted from a light source, and an optical modulator in which a sound wave propagation path is arranged in a direction crossing the light beam, and a medium in the sound wave propagation path is vibrated. Is applied to the optical modulator to cause interference between a drive unit that generates a sound wave standing wave in the sound wave propagation path and different diffraction components of the emitted light beam that has passed through the sound wave propagation path.
- An illumination optical system that forms interference fringes on the object to be observed, and an adjustment program executable by a computer of the structured illumination device, wherein the driving unit is configured so that the interference fringes are in a predetermined state. Includes adjustment procedures for adjusting parameters.
- the structured illumination microscope apparatus of the present invention is arranged in an emitted light beam from a light source and has an optical modulator in which a sound wave propagation path is arranged in a direction crossing the emitted light beam, and a drive for vibrating the medium of the sound wave propagation path
- a drive unit that generates a sound wave standing wave in the sound wave propagation path is caused to interfere with different diffraction components of the emitted light beam that has passed through the sound wave propagation path, and the interference fringes thereof.
- the adjustment unit that adjusts the parameters of the driving unit so that the state of the interference fringes becomes a predetermined state, and the object on which the interference fringes are formed.
- An imaging optical system that forms an image of the observation beam.
- the surface shape measuring apparatus of the present invention is arranged in an emitted light beam from a light source, and an optical modulator having a sound wave propagation path in a direction crossing the emitted light beam, and a drive signal for vibrating a medium in the sound wave propagation path
- the drive unit that generates a sound wave standing wave in the sound wave propagation path, and the different diffraction components of the emitted light flux that has passed through the sound wave propagation path interfere with each other, and the interference fringes are generated.
- An image detector for detection is arranged in an emitted light beam from a light source, and an optical modulator having a sound wave propagation path in a direction crossing the emitted light beam, and a drive signal for vibrating a medium in the sound wave propagation path
- the drive unit
- FIG. 2A is a schematic diagram showing a pattern of an ultrasonic standing wave generated in the ultrasonic wave propagation path R of the ultrasonic light modulator 3
- FIG. 2B is a corresponding structured illumination.
- 2C to 2E are diagrams for explaining the change in the number of stripes when the number of waves changes.
- 3A is a diagram for explaining the relationship between the length L and the distance D
- FIG. 3B is a conceptual diagram of the structured illumination S ′ corresponding to the spot S.
- FIG. (A) is a figure explaining the shift
- FIG. 2 is a configuration diagram of an ultrasonic light modulator 3.
- FIG. It is a figure explaining the drive circuit 19A of the ultrasonic light modulator 3.
- FIG. It is a schematic diagram explaining a minute displacement measuring instrument 90. It is an operation
- movement flowchart of CPU of 3rd Embodiment. 5 is a modification of the ultrasonic light modulator 3. It is a block diagram of the surface shape measuring apparatus of 4th Embodiment. It is a block diagram of the ultrasonic light modulator 3 '.
- the present embodiment is an embodiment of a structured illumination microscope system applied to fluorescence observation.
- FIG. 1 is a configuration diagram of the structured illumination microscope system of the present embodiment.
- the structured illumination microscope system includes an optical fiber 1, a collector lens 2, an ultrasonic light modulator 3, a lens 4, a zero-order light cut mask 5A, a lens 6, a field stop 5B, a lens 7, and a dichroic mirror 8.
- Reference numeral 10 in FIG. 1 denotes an observation target surface (specimen surface) of a specimen placed on a stage (not shown), and the specimen is a fluorescently stained biological specimen.
- an optical fiber 1 guides light from a coherent light source (not shown), and forms a secondary point light source (over-interfering secondary point light source) at an emission end thereof.
- the wavelength of a coherent light source (not shown) is set to the same wavelength as the excitation wavelength of the sample.
- the light emitted from the secondary point light source is converted into parallel light by the collector lens 2 and enters the ultrasonic light modulator 3.
- the ultrasonic light modulator 3 has an ultrasonic wave propagation path R that propagates ultrasonic waves in a direction perpendicular to the optical axis, and the ultrasonic wave propagation path R has an ultrasonic plane standing wave (hereinafter referred to as “super wave”).
- a sine wave-like refractive index distribution is imparted to the ultrasonic wave propagation path R by generating a “sonic standing wave”.
- Such an ultrasonic light modulator 3 functions as a phase-type diffraction grating for incident light, and branches the light into diffracted light of each order.
- the solid line indicates the 0th order diffracted light
- the dotted line indicates the ⁇ 1st order diffracted light.
- the diffracted light of each order emitted from the ultrasonic light modulator 3 forms a pupil conjugate plane after passing through the lens 4.
- the pupil conjugate plane is a focal position (rear focal position) of the lens 4, and the lens 7 and the lens 6 with respect to a pupil P (a position where ⁇ first-order diffracted light is condensed) of an objective lens 9 described later.
- the concept of “conjugate position” is determined by a person skilled in the art in consideration of design-related matters such as the aberration of the objective lens 9 and the lenses 6 and 7 and vignetting.
- the position is also included.
- a 0th-order light cut mask 5A is disposed in the vicinity of the pupil conjugate plane, and this has a function of cutting 0th-order diffracted light and second-order and higher-order diffracted light and allowing only ⁇ 1st-order diffracted light to pass through.
- the 0th-order light cut mask 5A is formed by forming a plurality of openings or transmission parts on a substrate, and the positions of the openings or transmission parts correspond to regions through which ⁇ first-order diffracted light passes on the pupil conjugate plane.
- Structured illumination by two-beam interference has a stripe pattern in the in-plane direction of the specimen and is an illumination for obtaining a super-resolution effect (two-dimensional super-resolution effect) in the in-plane direction.
- structured illumination by three-beam interference has a stripe pattern not only in the in-plane direction but also in the depth direction, and provides super-resolution effects in the in-plane direction and depth direction (three-dimensional super-resolution effect). Make it possible to get.
- a case where a two-dimensional super-resolution effect is obtained will be described.
- the ⁇ 1st-order diffracted light that has passed through the 0th-order light cut mask 5A forms a conjugate surface of the specimen 10 via the lens 6.
- a field stop 5B is disposed in the vicinity of the sample conjugate surface, and has a function of controlling the size of the illumination region (observation region) on the sample surface 10.
- the ⁇ 1st-order diffracted light that has passed through the field stop 5B enters the dichroic mirror 8 after passing through the lens 7 and is reflected by the dichroic mirror 8.
- the ⁇ first-order diffracted light reflected from the dichroic mirror 8 forms spots at different positions on the pupil P of the objective lens 9.
- the formation positions of the two spots on the pupil P are approximately the outermost peripheral portion of the pupil P and are positions that are symmetrical with respect to the optical axis of the objective lens 9.
- the pitch (one cycle) of the diffraction grating is slightly changed as a result of minutely changing the frequency of the applied voltage as will be described later, the formation positions of the two spots change extremely minutely.
- the ⁇ first-order diffracted light emitted from the tip of the objective lens 9 irradiates the sample surface 10 from opposite directions at an angle corresponding to the NA of the objective lens 9.
- the illumination pattern on the specimen surface 10 is an illumination pattern having a stripe structure.
- the illumination by the illumination pattern having the stripe structure in this way is structured illumination.
- the fluorescent substance is excited and emits fluorescence.
- moire fringes corresponding to the difference between the structural period of structured illumination and the structural period of the fluorescent region (corresponding to the structural period of the specimen) appear on the specimen surface 10.
- the spatial frequency of the structure of the fluorescent region is modulated and shifted to a lower spatial frequency than actual. Therefore, according to structured illumination, even fluorescence that shows a component having a high spatial frequency in the structure of the fluorescent region, that is, fluorescence emitted at a large angle exceeding the resolution limit of the objective lens 9 can enter the objective lens 9.
- Fluorescence emitted from the specimen surface 10 and incident on the objective lens 6 is converted into parallel light by the objective lens 6 and then incident on the dichroic mirror 8.
- the fluorescence passes through the dichroic mirror 8 and then passes through the second objective lens 11 to form a fluorescence image of the sample surface 10 on the imaging surface of the imaging device 12.
- this fluorescent image includes not only the structural information of the fluorescent region of the specimen surface 10 but also the structural information of structured illumination.
- the spatial frequency of the structure of the fluorescent region of the specimen surface 10 is modulated. (Ie, it remains shifted to a lower spatial frequency than it actually is).
- the control device 19 includes various circuits (such as a drive circuit 19A described later), a CPU that controls the circuits, and a storage unit that stores an operation program for the CPU, and an ultrasonic propagation path R of the ultrasonic light modulator 3.
- the amount of phase shift of structured illumination is changed stepwise by 2 ⁇ / 3 by controlling the standing ultrasonic wave generated in step (details will be described later).
- the control device 19 drives the imaging device 12 to obtain three types of image data I ⁇ 1 , I 0 , I +1 when the structured illumination phase is in each state, and those image data I ⁇ . 1 , I 0 , I +1 are sequentially sent to the image storage / arithmetic unit 13.
- the image storage / arithmetic unit 13 obtains the image data I from which the structural information of the structured illumination is removed by performing a separation operation on the captured image data I ⁇ 1 , I 0 , I +1 . Further, the image storage / calculation device 13 performs demodulation calculation on the image data I to obtain image data I ′ in which the spatial frequency of the structure information of the fluorescent region is returned to the actual spatial frequency, and the image Data I ′ is sent to the image display device 14. Note that, for example, a method disclosed in US Pat. No. 8,115,806 can be used for specific calculation by the image storage / calculation device 13. Therefore, a resolution image (super resolution image) exceeding the resolution limit of the objective lens 9 is displayed on the image display device 14.
- the direction of the structured illumination can be switched, and the image data I 'is acquired in each of a plurality of states having different directions of the structured illumination. And what combined these several image data I 'appropriately is acquired as a super-resolution image.
- FIG. 2A is a schematic diagram showing a pattern of an ultrasonic standing wave generated in the ultrasonic wave propagation path R
- FIG. 2B is a corresponding structured illumination pattern (bright part and dark part).
- the number of ultrasonic standing waves generated in the ultrasonic wave propagation path R is set to “2”, which is smaller than the actual number.
- the phase of the structured illumination corresponding to the focused portion is “ ⁇ ” by 3. It is changing on the street.
- the phase of the structured illumination corresponding to the focused portion is “2 ⁇ / 3” by each. It has changed in three ways.
- the structure can be realized by changing the wave number of the ultrasonic standing wave by half.
- the phase of illumination can be changed by “ ⁇ ”.
- the structure can be obtained by changing the wave number of the ultrasonic standing wave by 1/2.
- the phase of illumination can be changed by “2 ⁇ / 3”.
- the center of the effective light spot (effective diameter) S incident on the ultrasonic wave propagation path R is set as shown in FIG. 3A so that the phase shift amount per step is 2 ⁇ / 3.
- Is set to 1/3 times the length L in the propagation direction of the ultrasonic wave propagation path R (D L / 3).
- the number of ultrasonic standing waves generated in the ultrasonic wave propagation path R changes by 1 ⁇ 2
- the number of ultrasonic standing waves generated in the spot S also slightly shifts.
- the number of fringes of the structured illumination S ′ corresponding to the spot S also slightly deviates (however, the wave pattern and the fringe pattern shown in FIG. 3 are schematic diagrams, and the wave number and the fringe number are the actual numbers). It does not always match the number.)
- the length L of the ultrasonic wave propagation path R is set to be sufficiently larger than the diameter ⁇ of the spot S so that the deviation of the number of stripes of the structured illumination S ′ can be regarded as almost zero.
- the length L of the ultrasonic wave propagation path R and the diameter ⁇ of the spot S have a relationship of ⁇ / L ⁇ with respect to an allowable amount ⁇ of deviation of the number of stripes of the structured illumination S ′. It is set to satisfy. For example, if it is necessary to suppress the deviation of the number of stripes in the structured illumination S ′ to 0.15 or less, the relational expression is ⁇ / L ⁇ 0.15.
- the diameter ⁇ of the spot S on the ultrasonic wave propagation path R of the ultrasonic light modulator 3 may not necessarily satisfy the relationship of ⁇ / L ⁇ .
- ⁇ emitted from the ultrasonic light modulator 3 is ⁇
- the optical magnification m to 3 may be set so as to satisfy the relationship of ⁇ ′ ⁇ m / L ⁇ with respect to the allowable amount ⁇ of the deviation of the number of fringes of the structured illumination S ′.
- the diameter ⁇ of the spot S is assumed to be 4 mm.
- the length L of the ultrasonic propagation path R is set to 30 mm, as shown in FIG. 3C, the deviation of the stripes at both ends of the structured illumination S ′ can be suppressed to about 0.068.
- the dotted line indicates the ideal pattern of the structured illumination S ′ (pattern when the deviation of the number of stripes is zero), and the solid line indicates the structured illumination S ′. Although it is an actual pattern, it is drawn with emphasis on the difference between the two for easy understanding.
- FIG. 4 is a configuration diagram of the ultrasonic light modulator 3.
- 4A is a view of the ultrasonic light modulator 3 viewed from the front (optical axis direction), and
- FIG. 4B is a side view of the ultrasonic light modulator 3 (direction perpendicular to the optical axis). It is the figure seen from.
- the ultrasonic light modulator 3 includes an acoustooptic medium 15, and the acoustooptic medium 15 is arranged in a prismatic shape having three parallel side pairs facing each other.
- Three transducers 18 a, 18 b, 18 c are individually provided in one of each of the three pairs of side surfaces, whereby three ultrasonic propagation paths are formed in one acousto-optic medium 15.
- an ultrasonic wave propagation path formed between the formation surface of the transducer 18a and the side surface 15a opposite thereto is referred to as an “ultrasonic propagation path Ra”, and between the formation surface of the transducer 18b and the side surface 15b opposed thereto.
- the formed ultrasonic propagation path is referred to as “ultrasonic propagation path Rb”, and the ultrasonic propagation path formed between the formation surface of the transducer 18c and the corresponding side surface 15c is referred to as “ultrasonic propagation path Rc”. .
- the material of the acousto-optic medium 15 is, for example, quartz glass, tellurite glass, heavy flint glass, flint glass, etc., and the three pairs of side surfaces and the two bottom surfaces are polished with sufficient accuracy.
- the region where the ultrasonic propagation paths Ra, Rb, and Rc intersect is a hexagon when viewed from the optical axis direction, and the spot S is within the hexagon.
- the posture of the acoustooptic medium 15 is adjusted in advance so that each of the ultrasonic wave propagation paths Ra, Rb, and Rc is substantially perpendicular to the incident light.
- the attitude error of the acousto-optic medium 15 is preferably within ⁇ 1 °. This is because when the magnitude of the posture error is larger than 1 °, the light amount difference of the ⁇ first-order diffracted light becomes large, and the contrast of the structured illumination S ′ may be lowered.
- the transducer 18a is an ultrasonic transducer having a piezoelectric body 16a and two electrodes 17a individually formed on the upper and lower surfaces of the piezoelectric body 16a, and one of the acousto-optic medium 15 is interposed through one of the electrodes 17a. It is joined to the side.
- a high-frequency AC voltage is applied between the two electrodes 17a of the transducer 18a, the piezoelectric body 16a vibrates in the thickness direction, and planar ultrasonic waves reciprocate in the ultrasonic wave propagation path Ra.
- the frequency of the AC voltage applied between the two electrodes 17a is set to a specific frequency (appropriate frequency), the ultrasonic wave becomes a standing wave.
- the ultrasonic wave propagation path Ra becomes a phase type diffraction grating having a phase grating perpendicular to the ultrasonic wave propagation direction.
- the propagation direction of the ultrasonic wave propagation path Ra is referred to as a “first direction”.
- the transducer 18b has the same configuration as the transducer 18a, and includes a piezoelectric body 16b and two electrodes 17b formed individually on the upper and lower surfaces of the piezoelectric body 16b, of which one electrode 17b is interposed. Bonded to one side surface of the acousto-optic medium 15.
- the ultrasonic wave propagation path Rb is the propagation direction of the ultrasonic wave.
- a phase type diffraction grating having a perpendicular phase grating is referred to as a “second direction”.
- the second direction forms an angle of 60 ° with the first direction.
- the transducer 18c has the same configuration as the transducer 18a, and includes a piezoelectric body 16c and two electrodes 17c formed individually on the upper and lower surfaces of the piezoelectric body 16c, and one of the electrodes 17c is interposed therebetween. Bonded to one side surface of the acousto-optic medium 15.
- the ultrasonic wave propagation path Rc is the propagation direction of the ultrasonic wave.
- a phase type diffraction grating having a perpendicular phase grating is referred to as a “third direction”. This third direction forms an angle of ⁇ 60 ° with respect to the first direction.
- FIG. 5 is a diagram for explaining the drive circuit 19A of the ultrasonic light modulator 3. As shown in FIG. The drive circuit 19A is a part of the control device 19 shown in FIG.
- the drive circuit 19A includes a high-frequency AC power source 19A-1 and a changeover switch 19A-2.
- the high frequency AC power source 19A-1 generates an AC voltage to be supplied to the ultrasonic light modulator 3.
- the frequency of the AC voltage is controlled to an appropriate frequency (for example, any value within several tens of MHz to 100 MHz) by the CPU in the control device 19.
- the CPU changes the frequency of the AC voltage to the frequency It is assumed that switching can be performed between three appropriate frequencies f ⁇ 1 , f 0 , and f + 1 .
- the appropriate frequency f 0 causes 100 ultrasonic standing waves (the number of stripes of structured illumination corresponding to 200) to be generated in the ultrasonic propagation paths Ra, Rb, and Rc having a length L of 30 mm.
- the appropriate frequency 80 MHz. According to this appropriate frequency f 0 , the phase shift amount of the structured illumination S ′ becomes zero.
- the appropriate frequency f ⁇ 1 is (100 ⁇ 1 / 2) ultrasonic standing waves (corresponding to the structured illumination fringes) in the ultrasonic propagation paths Ra, Rb, Rc having a length L of 30 mm.
- the number is an appropriate frequency (79.946 MHz) for generating 199).
- the phase shift amount of the structured illumination S ′ is ⁇ 2 ⁇ / 3.
- the appropriate frequency f + 1 is (100 + 1/2) ultrasonic standing waves in the ultrasonic propagation paths Ra, Rb, Rc having a length L of 30 mm (the number of fringes of structured illumination corresponding to the ultrasonic wave is 201). Is an appropriate frequency (80.54 MHz) for causing According to this appropriate frequency f + 1 , the phase shift amount of the structured illumination S ′ is + 2 ⁇ / 3.
- the changeover switch 19A-2 is disposed between the high-frequency AC power supply 19A-1 and the ultrasonic light modulator 3, and the connection destination on the ultrasonic light modulator 3 side is connected to the three transducers of the ultrasonic light modulator 3. It is possible to switch between 18a, 18b, 18c.
- the connection destination of the switch 19A-2 is appropriately switched by the CPU in the control device 19.
- connection destination of the changeover switch 19A-2 is on the transducer 18b side, an AC voltage is applied between the two electrodes of the transducer 18b, so that the supersonic wave among the three ultrasonic propagation paths Ra, Rb, and Rc. Only the sound wave propagation path Rb is effective.
- connection destination of the changeover switch 19A-2 is on the transducer 18c side, an AC voltage is applied between the two electrodes of the transducer 18c, so that the supersonic wave among the three ultrasonic propagation paths Ra, Rb, Rc Only the sound wave propagation path Rc is effective.
- the direction of the structured illumination S ′ corresponds to the direction corresponding to the first direction (hereinafter “first direction”). "Da”), a direction corresponding to the second direction (hereinafter referred to as “second direction Db”), and a direction corresponding to the third direction (hereinafter referred to as "third direction Da"). Can be switched between.
- the material of the acoustooptic medium 15 that is a medium of the ultrasonic propagation paths Ra, Rb, and Rc is glass or the like, which may expand or contract depending on the temperature.
- -1 , fb 0 , fb +1 , and the frequency fc ⁇ 1 , fc 0 , fc +1 of the AC voltage applied to the transducer 18 c are considered to be able to maintain the number of stripes and the contrast of the structured illumination S ′ by appropriately adjusting It is done.
- the structured illumination microscope system of this embodiment includes the minute displacement measuring device 90 in order to maintain them.
- FIG. 6 is a schematic diagram for explaining the minute displacement measuring instrument 90.
- the minute displacement measuring device 90 measures the length La of the ultrasonic wave propagation path Rb and the minute displacement measuring device 90a that measures the length La of the ultrasonic wave propagation path Ra of the ultrasonic light modulator 3.
- a minute displacement measuring device 90b and a minute displacement measuring device 90c for measuring the length Lc of the ultrasonic wave propagation path Rc are provided.
- These minute displacement measuring devices 90a, 90b, 90c are displacement meters having the same principle and the same characteristics as each other, and can measure the height of an object with a resolution of 0.1 ⁇ m (preferably 0.01 ⁇ m). it can.
- a resolution of 0.1 ⁇ m corresponds to 1/100 or less of an ultrasonic wavelength (for example, 40 ⁇ m), and a resolution of 0.01 ⁇ m corresponds to 1/1000 or less.
- a displacement meter for example, a contact displacement meter such as a Nikon Digimicro MF-501 can be applied.
- Each of these minute displacement measuring instruments 90a, 90b, 90c is driven at an appropriate timing by the CPU in the control device 19.
- the CPU in the control device 19 adjusts the appropriate frequencies fa ⁇ 1 , fa 0 , fa +1 according to the length La, adjusts the appropriate frequencies fb ⁇ 1 , fb 0 , fb + 1 according to the length Lb, The appropriate frequencies fc ⁇ 1 , fc 0 and fc +1 are adjusted according to the length Lc.
- the CPU in the control device 19 stores the following three lookup tables in advance.
- the first lookup table is a table (La-fa table) in which the values of the appropriate frequencies fa ⁇ 1 , fa 0 , fa +1 are stored for each value of the length La
- the second lookup table is the appropriate
- This is a table (Lb-fb table) in which the values of the frequencies fb ⁇ 1 , fb 0 , fb +1 are stored for each value of the length Lb
- the third look-up table includes the appropriate frequencies fc ⁇ 1 , fc 0 , fc It is a table (Lc-fc table) in which a value of +1 is stored for each value of length Lc.
- the values of the appropriate frequencies fa ⁇ 1 , fa 0 , fa +1 associated with the value of the length La are the first values when the length of the ultrasonic wave propagation path Ra is La. Only the phase of the structured illumination S ′ in the first direction Da is ⁇ 2 ⁇ while keeping the number of stripes of the structured illumination S ′ in the direction Da at a predetermined value and keeping the structured illumination S ′ contrast in the first direction Da at the maximum. It is a value for switching in a pattern of / 3, 0, + 2 ⁇ / 3.
- the values of the appropriate frequencies fb ⁇ 1 , fb 0 , and fb +1 associated with the value of the length Lb are the second values when the length of the ultrasonic wave propagation path Rb is Lb.
- Only the phase of the structured illumination S ′ in the second direction Db is ⁇ 2 ⁇ while keeping the number of stripes of the structured illumination S ′ in the direction Db at a predetermined value and keeping the contrast of the structured illumination S ′ in the second direction Db at the maximum. It is a value for switching in a pattern of / 3, 0, + 2 ⁇ / 3.
- the appropriate frequencies fc ⁇ 1 , fc 0 , and fc +1 associated with the length Lc are the structures in the third direction Dc when the length of the ultrasonic propagation path Rc is Lc.
- Only the phase of the structured illumination S ′ in the third direction Dc is set to ⁇ 2 ⁇ / 3, 0 while keeping the number of stripes of the structured illumination S ′ at a predetermined value and maintaining the highest contrast in the structured illumination S ′ in the third direction Dc.
- + 2 ⁇ / 3 is a value for switching.
- FIG. 7 is an operation flowchart of the CPU of this embodiment. Hereinafter, each step will be described in order.
- Step S11 The CPU measures the length La of the ultrasonic propagation path Ra by driving the minute displacement measuring device 90a.
- Step S12 The CPU determines appropriate frequencies fa ⁇ 1 , fa 0 , fa +1 in the first direction Da by referring to the La-fa table according to the measured length La.
- Step S13 The CPU sets the direction of the structured illumination S 'to the first direction Da by setting the connection destination of the changeover switch 19A-2 to the transducer 18a side.
- Step S14 The CPU changes the frequency of the AC voltage applied to the transducer 18a between fa ⁇ 1 , fa 0 , and fa +1 , and drives the image pickup device 12 at timings before and after the change, whereby the image data Ia 1 , Ia 2 and Ia 3 are acquired.
- Step S15 The CPU measures the length Lb of the ultrasonic wave propagation path Rb by driving the minute displacement measuring device 90b.
- Step S16 The CPU determines appropriate frequencies fb ⁇ 1 , fb 0 , and fb +1 in the second direction Db by referring to the Lb ⁇ fb table according to the measured length Lb.
- Step S17 The CPU switches the direction of the structured illumination S ′ to the second direction Db by switching the connection destination of the changeover switch 19A-2 to the transducer 18b side.
- Step S18 The CPU changes the frequency of the AC voltage applied to the transducer 18a between fb ⁇ 1 , fb 0 , and fb +1 , and drives the image pickup device 12 at timings before and after the change, whereby the image data Ib 1 , Ib 2 , and Ib 3 are acquired.
- Step S19 The CPU measures the length Lc of the ultrasonic wave propagation path Rb by driving the minute displacement measuring device 90c.
- Step S20 The CPU determines appropriate frequencies fc ⁇ 1 , fc 0 , and fc +1 in the third direction Dc by referring to the Lc ⁇ fc table according to the measured length Lc.
- Step S21 The CPU switches the direction of the structured illumination S ′ to the third direction Dc by switching the connection destination of the changeover switch 19A-2 to the transducer 18c side.
- Step S22 The CPU changes the frequency of the AC voltage applied to the transducer 18c between fc ⁇ 1 , fc 0 , and fc +1 , and drives the image pickup device 12 at timings before and after the change, whereby the image data Ic 1 , Ic 2 , and Ic 3 are acquired, and the flow ends.
- the series of nine image data Ia 1 , Ia 2 , Ia 3 , Ib 1 , Ib 2 , Ib 3 , Ic 1 , Ic 2 , and Ic 3 acquired by the above flow are sent to the image storage / calculation device 13. It is captured.
- the image storage / arithmetic unit 13 obtains image data Ia that does not include structural information of structured illumination by performing a separation operation including a linear operation on a series of three image data Ia 1 , Ia 2 , and Ia 3 . Then, demodulated image data Ia ′ of the super-resolution image in the first direction Da is obtained by performing a demodulation operation including multiplication of the demodulation coefficient on the image data Ia.
- the image storage / calculation device 13 performs a demodulation operation including a linear operation on a series of three pieces of image data Ib 1 , Ib 2 , and Ib 3 , so that the image data Ib that does not include the structural information of structured illumination. And demodulating image data Ib ′ of the super-resolution image in the second direction Db is obtained by performing a demodulation operation including multiplication of the demodulation coefficient on the image data Ib.
- the image storage / calculation device 13 performs a demodulation operation including a linear operation on a series of three pieces of image data Ic 1 , Ic 2 , and Ic 3 , so that the image data Ic that does not include structural information of structured illumination. And demodulating image data Ic ′ of the super-resolution image in the third direction Dc is obtained by performing a demodulation operation including multiplication of the demodulation coefficient on the image data Ic.
- the image storage / arithmetic unit 13 synthesizes the three demodulated image data Ia ′, Ib ′, and Ic ′ in the wave number space and then returns them to the real space, whereby the first direction Da, the second direction Db, Image data I of the super-resolution image in the three directions Dc is acquired, and the image data I is sent to the image display device 14. Therefore, the image display device 14 displays a super-resolution image that shows the structure of the fluorescent region of the specimen surface 10 in detail.
- the structured illumination microscope system includes an optical modulator (ultrasonic light modulator 3) disposed in a light beam emitted from a light source and a sound wave propagation path arranged in a direction crossing the emitted light beam, and a sound wave.
- optical modulator ultrasonic light modulator 3
- a drive unit that generates a sound wave standing wave in the sound wave propagation path, and an emitted light beam that has passed through the sound wave propagation path
- Illumination optical systems (lens 4, 0th-order light cut mask 5A, lens 6 and field stop 5B) that cause different diffraction components to interfere with each other and form interference fringes (structured illumination S ′) on the object to be observed (sample surface 10).
- Lens 7, dichroic mirror 8, and objective lens 9 the structure of the structured illumination microscope system of this embodiment is suitable for speeding up the switching of illumination patterns.
- the structured illumination microscope system of the present embodiment has an adjustment unit (a micro displacement measuring device 90, a control device 19) that adjusts parameters of the drive unit (control device 19) so that the state of interference fringes becomes a predetermined state. Therefore, the state of interference fringes that are easily influenced by the environment can be maintained in a predetermined state, and the modulation state of each of a series of images necessary for super-resolution can be maintained well.
- an adjustment unit a micro displacement measuring device 90, a control device 19
- the adjustment target (parameter) by the adjustment unit (the minute displacement measuring device 90 and the control device 19) of the present embodiment is the frequency of the drive signal (the appropriate frequency f of the AC voltage), interference fringes (structured illumination)
- the number of stripes, phase, contrast, etc. of S ′) can be adjusted.
- the adjustment unit (the minute displacement measuring device 90 and the control device 19) of the present embodiment detects the length of the sound wave propagation path and adjusts the frequency of the drive signal according to the detected length. It is possible to suppress the change in the state of the interference fringes caused by the change in the length of.
- the adjustment unit (the minute displacement measuring device 90 and the control device 19) of the present embodiment stores in advance the relationship between the length of the sound wave propagation path and the appropriate frequency of the drive signal, and drives based on the detected length and the relationship. Since the frequency of the signal is set to an appropriate frequency, the time required for adjustment can be kept short.
- the appropriate frequency of the present embodiment is a frequency at which the number of interference fringes becomes a predetermined value, the degree of modulation of each of a plurality of images necessary for super-resolution can be kept good.
- the appropriate frequency of the present embodiment is such a frequency that the number of interference fringes becomes a predetermined value and the contrast of the interference fringes is the highest, so that the modulation degree of each of a plurality of images necessary for super-resolution is high.
- the image quality can be kept good.
- the optical modulator (ultrasonic light modulator 3) of the present embodiment is an optical modulator having a plurality of sound wave propagation paths intersecting each other, and the adjustment unit is a drive signal related to each of the plurality of sound wave propagation paths. Adjust the frequency.
- the structured illumination microscope system of the present embodiment can switch the direction of interference fringes at a high speed and can maintain the modulation state of each of a plurality of images having different interference fringe directions.
- the drive unit of the present embodiment can change the phase of the interference fringes formed in the observation target region on the observation object in a predetermined pattern by changing the frequency of the drive signal in a predetermined pattern.
- the timing at which the adjustment unit adjusts the frequency of the drive signal is excluded from the period in which the drive unit changes the phase in a predetermined pattern.
- the structured illumination microscope system of the present embodiment can reliably maintain the phase shift pitch of the interference fringes. Incidentally, if the phase shift pitch is shifted even a little, the above-described separation calculation may not be performed correctly, so it is extremely important to maintain the phase shift pitch.
- FIG. 8 is a schematic diagram for explaining the minute displacement measuring instrument 90 of the present embodiment.
- the minute displacement measuring device 90 of the present embodiment the minute displacement measuring device 90b that measures the actual length Lb of the ultrasonic wave propagation path Rb and the actual length Lc of the ultrasonic wave propagation path Rc are measured.
- the minute displacement measuring device 90c is omitted.
- the look-up table stored in advance by the CPU of this embodiment includes a table (La-fa table) in which the values of the appropriate frequencies fa ⁇ 1 , fa 0 , fa +1 are stored for each value of the length La, and the appropriate frequency.
- a table (La-fb table) that stores values of fb ⁇ 1 , fb 0 , fb +1 for each value of length La, and values of appropriate frequencies fc ⁇ 1 , fc 0 , fc +1 for each value of length La (La-fc table) stored in the table.
- FIG. 9 is an operation flowchart of the CPU of the present embodiment. Hereinafter, each step will be described in order.
- Step S11 The CPU measures the length La of the ultrasonic propagation path Ra by driving the minute displacement measuring device 90a.
- Step S12 The CPU determines appropriate frequencies fa ⁇ 1 , fa 0 , fa +1 in the first direction Da by referring to the La-fa table according to the measured length La.
- Step S13 The CPU sets the direction of the structured illumination S 'to the first direction Da by setting the connection destination of the changeover switch 19A-2 to the transducer 18a side.
- Step S14 The CPU changes the frequency of the AC voltage applied to the transducer 18a between fa ⁇ 1 , fa 0 , and fa +1 , and drives the image pickup device 12 at timings before and after the change, whereby the image data Ia 1 , Ia 2 and Ia 3 are acquired.
- Step S15 ' The CPU measures the length La of the ultrasonic propagation path Ra by driving the minute displacement measuring device 90a.
- Step S16 ′ The CPU determines appropriate frequencies fb ⁇ 1 , fb 0 , and fb +1 in the second direction Db by referring to the La-fb table according to the measured length La.
- Step S17 The CPU switches the direction of the structured illumination S ′ to the second direction Db by switching the connection destination of the changeover switch 19A-2 to the transducer 18b side.
- Step S18 The CPU changes the frequency of the AC voltage applied to the transducer 18a between fb ⁇ 1 , fb 0 , and fb +1 , and drives the image pickup device 12 at timings before and after the change, whereby the image data Ib 1 , Ib 2 , and Ib 3 are acquired.
- Step S19 ' The CPU measures the length La of the ultrasonic propagation path Ra by driving the minute displacement measuring device 90a.
- Step S20 ′ The CPU determines appropriate frequencies fc ⁇ 1 , fc 0 , and fc +1 in the third direction Dc by referring to the La-fc table according to the measured length La.
- Step S21 The CPU switches the direction of the structured illumination S ′ to the third direction Dc by switching the connection destination of the changeover switch 19A-2 to the transducer 18c side.
- Step S22 The CPU changes the frequency of the AC voltage applied to the transducer 18c between fc ⁇ 1 , fc 0 , and fc +1 , and drives the image pickup device 12 at timings before and after the change, whereby the image data Ic 1 , Ic 2 , and Ic 3 are acquired, and the flow ends.
- the structured illumination microscope system according to the present embodiment also uses one minute displacement measuring device 90a for determining appropriate frequencies in three directions. Therefore, the configuration of the structured illumination microscope system of the present embodiment is simplified more than the configuration of the structured illumination microscope system of the first embodiment.
- the CPU of the first embodiment or the second embodiment stores all three appropriate frequencies necessary for the phase shift in the lookup table, but only some appropriate frequencies (representative frequencies) are stored in the lookup table. The other appropriate frequencies may be stored and calculated from the representative frequency.
- the CPU of the first embodiment or the second embodiment stores the relationship between the length of the ultrasonic propagation path and the appropriate frequency as a lookup table, but may store it as an arithmetic expression.
- the procedure for determining and adjusting the appropriate frequency may be executed each time the structured illumination microscope system observes, or when the structured illumination microscope system is necessary. May be executed at any time by the user of the system, or may be executed by the manufacturer of the structured microscope system before shipment.
- the necessity for adjustment may be determined as follows, for example. That is, the CPU periodically or continuously measures the length of the ultrasonic propagation path during the observation period, and if the measured length has changed by more than a threshold from the length immediately after the previous adjustment, adjustment is necessary. If it is not, it is determined that there is no need for adjustment.
- the entire procedure related to the adjustment of the appropriate frequency is automatically performed, but it goes without saying that a part of the procedure may be performed manually.
- FIG. 10 is a configuration diagram of the structured illumination microscope system of the present embodiment.
- a mirror 200 is provided instead of the minute displacement measuring device 90.
- the mirror 200 is arranged side by side on a stage 300 common to the specimen 100.
- the CPU of this embodiment inserts the reflecting surface 20 of the mirror 200 into the optical path of the microscope (the field of view of the objective lens 9) instead of the sample surface 10 of the sample 100 by driving the stage 300 in a predetermined direction and a predetermined distance. be able to. In this state, the CPU can obtain a single luminance distribution of the sampled illumination S ′ as an image (striped image).
- the CPU can return the sample surface 10 of the sample 100 and the reflection surface 20 of the mirror 200 to their original positions by driving the stage 300 by the same distance in the opposite direction.
- FIG. 11 is an operation flowchart of the CPU of the present embodiment. Here, only the flow related to the first direction Da will be described, and the description of the flow related to the second direction Db and the third direction Dc is the same as the flow related to the first direction Da, and will be omitted.
- Step S101 The CPU drives the stage 300 to insert the reflecting surface 20 of the mirror 200 into the optical path instead of the sample surface 10 of the sample 100.
- Step S102 The CPU sets the direction of the structured illumination S ′ to the first direction Da by setting the connection destination of the changeover switch 19A-2 to the transducer 18a side.
- Step S103 The CPU acquires a plurality of image data by repeatedly driving the imaging device 12 while changing the frequency of the AC voltage applied to the transducer 18a in a plurality of ways.
- the plurality of image data is a “striped image” indicating a single luminance distribution of the structured illumination S ′.
- the number of stripes is different between the plurality of stripe images.
- Step S104 The CPU performs common image processing (image processing for counting the number of stripes) on the acquired plurality of stripe images, thereby counting the number of stripes of each of the plurality of stripe images, and the number of stripes. Finds the frequency of the alternating voltage when the value coincides with the predetermined value, and sets the frequency as the appropriate frequency fa 0 in the first direction Da. As a result, the appropriate frequency fa 0 is provisionally determined.
- Step S105 CPU, while the frequency of the AC voltage applied to the transducer 18a is changed into a plurality as in the vicinity of fa 0, by repeatedly driving the image pickup device 12, to obtain a plurality of fringe images. Note that the number of stripes is the same among the plurality of stripe images, but the contrast is different.
- Step S106 The CPU calculates the contrast of each of the plurality of stripe images by performing common image processing (image processing for calculating the contrast) on the plurality of stripe images, and the contrast is maximized.
- the frequency of the alternating voltage at the time is found, and the frequency is set to an appropriate frequency fa 0 in the first direction Da. As a result, the proper frequency fa 0 has been determined.
- Step S107 The CPU determines appropriate frequencies fa ⁇ 1 and fa +1 based on the determined appropriate frequency fa 0 . This determination may be performed by calculation, or may be performed based on a lookup table prepared in advance (fa 0 -fa -1 table, fa 0 -fa +1 table).
- Step S108 The CPU drives the stage 300 to insert the sample surface 10 of the sample 100 into the optical path instead of the reflecting surface 20 of the mirror 200.
- Step S109 The frequency of the AC voltage applied to the transducer 18a is changed between fa ⁇ 1 , fa 0 , fa +1 , and the image data Ia 1 , Ia is driven by driving the imaging device 12 at timings before and after the change. acquires 2, Ia 3.
- the adjustment unit (the minute displacement measuring device 90 and the control device 19) of the present embodiment detects the fringe image that is an image of the interference fringe (structured illumination S ′), and outputs the drive signal according to the detected fringe image. Since the frequency (appropriate frequency f of the AC voltage) is adjusted, the modulation state of each of a series of images necessary for super-resolution can be maintained without detecting the length of the sound wave propagation path.
- the adjustment unit of the present embodiment adjusts the frequency of the drive signal so that the number of stripes of the detected fringe image becomes a predetermined value, the degree of modulation of each of a series of images necessary for super-resolution is improved. Can keep.
- the adjustment unit of the present embodiment adjusts the frequency of the drive signal so that the number of stripes of the detected stripe image becomes a predetermined value and the contrast of the stripe image is maximized.
- the degree of modulation and the image quality of each image can be kept good.
- the determination of the frequency in the third embodiment requires more time than the determination of the frequency in the first embodiment because it requires insertion and removal of the mirror. For this reason, the CPU of the third embodiment may collectively determine the appropriate frequencies in all directions before acquiring image data in all directions. If executed in such a manner, the number of mirror insertion / removal operations can be made only once, which is efficient.
- the CPU of the third embodiment determines the appropriate frequency in each direction based on the stripe image in each direction, but may determine the appropriate frequency in each direction based on the stripe image in a part of the direction.
- the CPU of the third embodiment determines only a part of the three appropriate frequencies (representative frequencies) necessary for the phase shift based on the fringe image, and obtains other appropriate frequencies by calculation from the representative frequencies. All three appropriate frequencies necessary for the phase shift may be determined based on the fringe image. In that case, the CPU may set the frequency at which the number of stripes of the stripe image is a predetermined value, the contrast of the stripe image is maximum, and the phase of the stripe image is a predetermined value as an appropriate frequency.
- the procedure for determining / adjusting the appropriate frequency may be executed each time the structured illumination microscope system performs observation, or may be executed only when the structured illumination microscope system is necessary. Alternatively, the system user may execute it at an arbitrary timing, or the structured microscope system manufacturer may execute it before shipping.
- the necessity for adjustment may be determined as follows, for example. That is, the CPU calculates the contrast of the image data acquired by the imaging device during the observation period, and determines that the adjustment is necessary when the calculated contrast is lower than the threshold immediately after the previous adjustment by the threshold. If not, it is determined that there is no need for adjustment.
- the entire procedure for adjusting the appropriate frequency is automatically performed, but it goes without saying that a part of the procedure may be performed manually.
- the procedure for exchanging the sample surface and the reflecting surface (S101, S108), the procedure for changing the frequency (S103, S105), the procedure for finding an appropriate frequency (S104, S106), etc. can be performed manually. is there.
- the fringe image is displayed in real time during the frequency change period so that humans can monitor the number of stripes and the contrast of the fringe image during the frequency change period. Need to be displayed.
- the three ultrasonic propagation paths Ra, Rb, and Rc are arranged in an asymmetric relationship with respect to the center of the spot S (see FIG. 4). They may be arranged in a symmetrical relationship.
- the advantage of the example shown in FIG. 4 is that the contour of the outer shape of the acoustooptic medium 15 is small, and the advantage of the example shown in FIG. 12 is that the environment of the three ultrasonic propagation paths Ra, Rb, Rc is completely There is a match.
- the ultrasonic propagation paths Ra, Rb, and Rc have the same length and the AC voltage frequency change pattern applied to the transducers 18a, 18b, and 18c is the same.
- the present invention is limited to this. There is no.
- the frequency change pattern of the AC voltage applied to each of the transducers 18a, 18b, and 18c is a pattern in which the number of ultrasonic standing waves changes by half. It is not limited to.
- each of the ultrasonic propagation paths Ra, Rb, and Rc only needs to satisfy the following conditions individually.
- the frequency change pattern of the AC voltage applied to the transducer may be a pattern in which the number of ultrasonic standing waves changes by M / 2 (where
- the passage region (spot) of the emitted light beam on the ultrasonic wave propagation path R of the ultrasonic light modulator 3 is not necessarily a part that is separated from both ends of the ultrasonic wave propagation path R.
- the image data (a plurality of pieces of image data) necessary for the above-described separation calculation can be reliably obtained (note that In the above description, since the phase shift pitch ⁇ is 2 ⁇ / 3, the required number of image data is 3, but when the phase shift pitch ⁇ is another value, the required number of image data is less. It may be other than 3.)
- interference fringes two-beam structured illumination
- ⁇ first-order diffracted light are described using an example in which the specimen surface 10 (in the XY plane when the optical axis is the Z direction) is used.
- the present invention is naturally applicable to the case where interference fringes (three-beam structured illumination in which interference fringes are also formed in the optical axis direction) are formed on a specimen by zero-order diffracted light and ⁇ first-order diffracted light.
- the method disclosed in US Pat. No. 8,115,806 can be used.
- a combination of ⁇ first-order diffracted light and zero-order diffracted light is used as diffracted light for forming interference fringes (two-beam interference fringes, three-beam interference fringes), but other combinations may be used.
- three-beam interference is generated by three diffracted lights having equal intervals of diffraction orders.
- a combination of zero-order diffracted light, first-order diffracted light, and second-order diffracted light A combination of ⁇ 2nd order diffracted light and 0th order diffracted light, a combination of ⁇ 3rd order diffracted light and 0th order diffracted light, and the like can be used.
- the number of ultrasonic standing waves generated in the ultrasonic propagation paths Ra, Rb, and Rc in order to change the phase of the interference fringes due to the ⁇ first-order diffracted light that is, the ultrasonic wave
- the frequency of the AC voltage applied to the transducers 18a, 18b, 18c of the ultrasonic light modulator 3 is changed in a predetermined pattern. Needless to say, this method is not limited.
- This embodiment is an embodiment of a surface shape measuring apparatus to which the illumination system of the first embodiment is applied.
- FIG. 13 is a configuration diagram of the surface shape measuring apparatus (pattern projection type surface shape measuring apparatus) of the present embodiment.
- the surface shape measuring apparatus includes a coherent light source (laser light source) 111, a control device 19 ′, a lens 113, a pinhole member 114, an ultrasonic light modulator 3 ′, and a collimator lens L. And the imaging part 120 and the micro displacement measuring device 90 are arrange
- reference numeral 10 ′ indicates a surface (measurement target surface) 10 ′ of a measurement object arranged on a stage (not shown).
- the coherent light source 111, the lens 113, the pinhole member 114, the ultrasonic light modulator 3 ′, the collimator lens L, and the control device 19 ′ project a fringe pattern onto the measurement target surface 10 ′. And is arranged so that the optical axis is inclined with respect to a reference plane of a stage (not shown).
- An ultrasonic light modulator similar to the ultrasonic light modulator described in the first embodiment is applied to the ultrasonic light modulator 3 '.
- the parameters such as L, ⁇ , D, M, ⁇ , and k described above are set to the optimum relationship similar to that in the first embodiment.
- the ultrasonic light modulator 3 ′ of this embodiment does not need to switch the light branching direction, for example, as shown in FIG. 14, the acoustooptic medium 15 ′ of the ultrasonic light modulator 3 ′ is formed into a quadrangular prism shape.
- the number of ultrasonic wave propagation paths R formed inside may be one.
- the ultrasonic light modulator 3 ′ functions as a phase diffraction grating by generating an ultrasonic standing wave in the ultrasonic wave propagation path R, as in the first embodiment.
- the diffracted light branched by the ultrasonic light modulator 3 ′ forms interference fringes on the measurement target surface 10 ′.
- the minute displacement measuring device 90 is a displacement meter that measures the actual length of the ultrasonic wave propagation path R of the ultrasonic light modulator 3 '. This displacement meter is the same displacement meter as any one of the minute displacement measuring devices 90a, 90b, and 90c described in the first embodiment.
- the control device 19 ′ can switch the frequency of the AC voltage applied to the ultrasonic light modulator 3 ′ in the same pattern as described in the first embodiment. Thereby, the phase of the fringe projected on the measurement target surface 10 ′ is switched in the same manner as the phase of the structured illumination S ′ in the first embodiment.
- the imaging unit 120 is arranged so that the optical axis is perpendicular to a reference surface of a stage (not shown), and captures an image of the measurement target surface 10 ′ on which the stripes are projected.
- the imaging unit 120 includes an imaging optical system that forms an image of reflected light from the measurement target surface 10 ′, and an imaging element that captures an image of the measurement target surface 10 ′.
- the imaging unit 120 captures the measurement target surface 10 ′ when the phase of the stripe is in each state, and obtains a plurality of image data (three image data when the phase shift pitch is 2 ⁇ / 3). Is sent to an arithmetic unit (not shown). The arithmetic device applies the plurality of image data to a predetermined arithmetic expression (the expression of the three bucket method when the phase shift pitch is 2 ⁇ / 3), thereby increasing the height of each position on the measurement target surface 10 ′. Is calculated.
- the control device 19 ′ detects the length of the ultrasonic propagation path of the ultrasonic light modulator 3 ′ by the micro displacement measuring device 90, and according to the length, The frequency of the AC voltage applied to the sonic light modulator 3 ′ is adjusted.
- the operation of the control device 19 ′ relating to the adjustment is the same as that described as the operation of the control device 19 in the first embodiment or its modification (however, this embodiment differs from the first embodiment in stripes). Is only one direction).
- the surface shape measuring apparatus is disposed in the light beam emitted from the light source (laser light source 111), and the light modulator (ultrasonic light modulator 3) in which the sound wave propagation path is arranged in a direction crossing the light beam.
- a drive unit for generating a sound wave standing wave in the sound wave propagation path by applying a drive signal for vibrating the medium of the sound wave propagation path to the optical modulator, and the sound wave propagation path
- an illumination optical system (collimator lens L) that interferes with different diffraction components of the emitted light beam that has passed through and forms an interference fringe on the object to be observed (measurement target surface 10 ′). Therefore, the configuration of the surface shape measuring apparatus according to this embodiment is suitable for speeding up the switching of the illumination pattern.
- the surface shape measuring apparatus of the present embodiment has an adjustment unit (a micro displacement measuring device 90, a control device 19 ′) that adjusts parameters of the drive unit (control device 19 ′) so that the state of interference fringes becomes a predetermined state. ),
- the state of interference fringes that are easily influenced by the environment can be maintained in a predetermined state, and the state of the fringes in each of a series of images necessary for calculating the surface shape can be favorably maintained.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
Abstract
照明パターンの切り替えを高速化するために、本発明の構造化照明装置は、光源(11)からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器(3)と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部(19)と、前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物(10)に形成する照明光学系(4、6、7、9)と、前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整部(90、19)とを備える。
Description
本発明は、超解像観察に適用される構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、及びパターン投影型の面形状測定装置に関する。
近年、光学顕微鏡の解像限界を超えた顕微鏡法が複数提案され、それらは総称して超解像光学顕微鏡と呼ばれている。超解像光学顕微鏡の一種に、いわゆる構造化照明を用いる顕微鏡(構造化照明顕微鏡)がある。
この構造化照明顕微鏡は、標本又は試料の被観察面(標本面又は試料面)にストライプ状の縞パターン(構造化照明)を投影し、その構造化照明に応じて標本で発生した蛍光(或いは散乱光などの光)を撮像素子で取得する。観察用の結像光学系の解像限界を超える超解像画像を構築するには、縞パターン(構造化照明パターン)の位相の異なる複数の画像を取得し、それら複数画像を解析する必要がある。また、2次元面内において超解像効果を得るためには、構造化照明の方位も変化させる必要がある。
構造化照明を標本面に投影することで、構造化照明の空間周波数と標本の空間周波数とはモアレ縞を生成する。このモアレ縞には、標本の空間周波数情報であって、低周波数に周波数変換された空間周波数情報(=変換前は結像光学系の解像限界相当の空間周波数を超えていたもの)が含まれる。そのモアレ縞の空間周波数が解像限界相当の空間周波数より低ければ、その空間周波数情報は、その結像光学系で検出することが可能である。従って、構造化照明の位相を変えながら、そのモアレ縞の情報を含む画像を複数枚取得し、それら複数枚の画像へ演算処理を施すことにより、超解像を実現することが可能となる(例えば、特許文献1等を参照)。
特許文献1には、構造化照明顕微鏡を蛍光観察へ適用した例が開示されている。特許文献1の方法では、可干渉光源から射出した光束を回折格子によって2つの光束に分割し、それら2つの光束を対物レンズの瞳上の互いに異なる位置へ個別に集光させる。このとき2つの光束は対物レンズから角度の異なる平行光束として射出し、標本面上で重なり合いストライプ状の干渉縞(構造化照明)を形成する。そして、特許文献1の方法では、構造化照明の位相をステップ状に変化させながら標本の画像を繰り返し取得し、取得した複数の画像に対して、標本の構造と回折格子のパターンとを分離する演算(分離演算)と、分離された複数の画像から超解像画像を復調する演算(復調演算)とを施している。
また、特許文献1の方法の応用として、標本面内の方向と深さ方向との双方に亘って超解像効果を得るために、干渉縞に寄与する光束を3光束化する技術が提案されている。3光束を利用すれば、構造化照明のストライプパターンを標本面内の方向だけでなく標本の深さ方向にも発生させることができるからである。
しかしながら、構造化照明の位相をステップ状に変化させる従来の方法のうち、回折格子等の光学素子をステップ移動させる方法では、移動していた光学素子を適当な位置で静止させるのに一定の時間を要するため、必要な画像を全て取得するまでの時間(観察時間)を短縮することが難しい。特に、標本が生体標本である場合は、標本の構造が時々刻々と変化する可能性があるため、画像取得はできるだけ高速に行われることが望ましい。
また、3光束を利用して標本面内の方向と深さ方向との双方に亘って超解像効果を得る従来の方法では、前述した分離演算に必要な画像の枚数が多くなるので、画像取得を高速化する必要性は特に高いと考えられる。
そこで本発明は、照明パターンの切り換えを高速化するのに適した構成の構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、その構造化照明装置を応用した面形状測定装置を提供することを目的とする。
本発明の構造化照明装置は、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整部とを備える。
本発明の構造化照明装置の調整方法は、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、を備えた構造化照明装置の調整方法であって、前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整手順を含む。
本発明のコンピュータが実行可能な調整プログラムは、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、を備えた構造化照明装置のコンピュータが実行可能な調整プログラムであって、前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整手順を含む。
本発明の構造化照明顕微鏡装置は、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整部と、前記干渉縞の形成された前記被観察物からの観察光束を結像する結像光学系とを備える。
本発明の面形状測定装置は、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整部と、前記干渉縞の形成された前記被観察物の画像を検出する画像検出器とを備える。
[第1実施形態]
以下、本発明の第1実施形態について図を用いて説明する。本実施形態は、蛍光観察に適用される構造化照明顕微鏡システムの実施形態である。
以下、本発明の第1実施形態について図を用いて説明する。本実施形態は、蛍光観察に適用される構造化照明顕微鏡システムの実施形態である。
図1は、本実施形態の構造化照明顕微鏡システムの構成図である。図1に示すとおり構造化照明顕微鏡システムには、光ファイバー1、コレクタレンズ2、超音波光変調器3、レンズ4、0次光カットマスク5A、レンズ6、視野絞り5B、レンズ7、ダイクロイックミラー8、第二対物レンズ11、撮像装置(CCDカメラなど)12、制御装置19、画像記憶・演算装置(コンピュータなど)13、画像表示装置14、対物レンズ9、微小変位測定器90などが配置される。図1中に符号10で示すのは、不図示のステージ上に載置された標本の観察対象面(標本面)であり、その標本は、蛍光染色された生体標本である。
図1において光ファイバー1は、不図示の可干渉光源からの光を導光し、その出射端に二次点光源(過干渉な二次点光源)を形成する。なお、不図示の可干渉光源の波長は、標本の励起波長と同じ波長に設定されている。その二次点光源から射出した光は、コレクタレンズ2によって平行光に変換され、超音波光変調器3へ入射する。
超音波光変調器3は、光軸と垂直な方向に超音波を伝搬する超音波伝搬路Rを有しており、その超音波伝搬路Rに超音波の平面定在波(以下、「超音波定在波」という。)を生起させることにより、超音波伝搬路Rに正弦波状の屈折率分布を付与している。このような超音波光変調器3は、入射光に対して位相型回折格子の働きをし、その光を各次数の回折光に分岐する。図1において実線で示したのは0次回折光であり、点線で示したのは±1次回折光である。
超音波光変調器3から射出した各次数の回折光は、レンズ4を通過した後に瞳共役面を形成する。ここで、瞳共役面は、レンズ4の焦点位置(後ろ側焦点位置)であって、後述する対物レンズ9の瞳P(±1次回折光が集光する位置)に対してレンズ7、レンズ6を介して共役な位置をいう(なお、「共役な位置」の概念には、当業者が対物レンズ9、レンズ6、7の収差、ビネッティング等、設計上必要な事項を考慮して決定した位置も含まれる。)。
この瞳共役面の近傍には0次光カットマスク5Aが配置されており、これは0次回折光及び2次以降の高次回折光をカットし±1次回折光のみを通過させる機能を有している。0次光カットマスク5Aは、基板に複数の開口部又は透過部を形成したものであり、開口部又は透過部の位置は、瞳共役面において±1次回折光が通過する領域に対応する。
これによって、2光束干渉による構造化照明が可能となる。2光束干渉による構造化照明は、標本面内方向にストライプパターンを有しており、面内方向の超解像効果(2次元の超解像効果)を得るための照明である。
因みに、±1次回折光と共に0次回折光を通過させたならば、3光束干渉による構造化照明が実現する。3光束干渉による構造化照明は、面内方向だけでなく深さ方向にもストライプパターンを有しており、面内方向及び深さ方向の超解像効果(3次元の超解像効果)を得ることを可能とする。ここでは、2次元の超解像効果を得る場合について説明する。
0次光カットマスク5Aを通過した±1次回折光は、レンズ6を介して標本10の共役面を形成する。この標本共役面の近傍には視野絞り5Bが配置されており、これは標本面10上の照明領域(観察領域)のサイズを制御する機能を有している。
視野絞り5Bを通過した±1次回折光は、レンズ7を通過した後にダイクロイックミラー8へ入射し、そのダイクロイックミラー8を反射する。ダイクロイックミラー8を反射した±1次回折光は、対物レンズ9の瞳P上の互いに異なる位置にそれぞれスポットを形成する。なお、瞳Pにおける2つのスポットの形成位置は、瞳Pの概ね最外周部であって、対物レンズ9の光軸に関して互いに対称な位置である。因みに、後述するように印加電圧の周波数を微小に変更させた結果、回折格子のピッチ(1周期)が微小に変化した場合には、2つのスポットの形成位置は極めて微小に変化する。
したがって、対物レンズ9の先端から射出する±1次回折光は、対物レンズ9のNAに相当する角度で互いに反対の方向から標本面10を照射する。
前述したとおりこれらの±1次回折光は互いに可干渉な光であるので、標本面10には縞ピッチが一様なストライプ状の干渉縞が投影される。よって、標本面10の照明パターンは、縞構造を持った照明パターンとなる。このように縞構造を持った照明パターンによる照明が、構造化照明である。構造化照明された標本面10の蛍光領域(前述した蛍光染色された領域)では蛍光物質が励起され、蛍光を発する。
ここで、構造化照明によると、構造化照明の構造周期と蛍光領域の構造周期(標本の構造周期に相当)との差に相当するモアレ縞が標本面10に現れる。このモアレ縞上では、蛍光領域の構造の空間周波数が変調されており、実際よりも低い空間周波数にシフトしている。したがって構造化照明によると、蛍光領域の構造のうち空間周波数の高い成分を示す蛍光、すなわち対物レンズ9の解像限界を超える大角度で射出した蛍光までもが対物レンズ9へ入射できる。
標本面10から射出し対物レンズ6へ入射した蛍光は、対物レンズ6により平行光に変換された後にダイクロイックミラー8へ入射する。その蛍光は、ダイクロイックミラー8を透過した後、第二対物レンズ11を通過することにより撮像装置12の撮像面上に標本面10の蛍光像を形成する。但し、この蛍光像には、標本面10の蛍光領域の構造情報だけでなく構造化照明の構造情報も含まれており、この蛍光像では、標本面10の蛍光領域の構造の空間周波数は変調されたままである(つまり実際よりも低い空間周波数にシフトしたままである)。
制御装置19は、各種の回路(後述する駆動回路19Aなど)と、回路を制御するCPUと、CPUの動作プログラムを格納した記憶部とを備え、超音波光変調器3の超音波伝搬路Rに生起する超音波定在波を制御することにより、構造化照明の位相シフト量を2π/3ずつステップ状に変化させる(詳細は後述。)。そして、制御装置19は、構造化照明の位相が各状態にあるときに撮像装置12を駆動して3種類の画像データI-1、I0、I+1を取得し、それらの画像データI-1、I0、I+1を順次に画像記憶・演算装置13へ送出する。
画像記憶・演算装置13は、取り込まれた画像データI-1、I0、I+1に対して分離演算を施すことにより、構造化照明の構造情報の除去された画像データIを取得する。さらに画像記憶・演算装置13は、その画像データIに対して復調演算を施すことにより、蛍光領域の構造情報の空間周波数が実際の空間周波数に戻された画像データI’を取得し、その画像データI’を画像表示装置14へ送出する。なお、画像記憶・演算装置13による具体的な演算には、例えば米国特許第8115806号明細書に開示された方法を用いることができる。したがって、画像表示装置14には、対物レンズ9の解像限界を超えた解像画像(超解像画像)が表示される。
なお、詳細は後述するが、本実施形態では構造化照明の方向を切り替えることが可能であって、構造化照明の方向の異なる複数の状態の各々において画像データI’の取得が行われる。そして、それら複数の画像データI’を適切に合成したものが超解像画像として取得される。
図2(A)は、超音波伝搬路R内に生起する超音波定在波のパターンを示す模式図であり、図2(B)は、それに対応する構造化照明のパターン(明部及び暗部の配置)を示す模式図である(但し、超音波伝搬路Rのパターンのうち、実際の構造化照明に反映されるのは、有効な光束が通過する部分のパターンのみである。)。また、図2(A)では、説明をわかりやすくするため、超音波伝搬路Rに生起する超音波定在波の波本数を実際よりも少ない「2」とした。
図2(A)に示すとおり、超音波定在波の波本数(位相変化2πで波本数1本とカウントする)が「2」であるときには、図2(B)に示すとおり、±1次光の干渉による構造化照明の縞本数(明部又は暗部の本数)は「4」となる。つまり、構造化照明の縞本数は、それに対応する超音波定在波の波本数の2倍となる。
したがって、図2(C)、(D)、(E)に示すとおり超音波定在波の波本数を2、(2+1/2)、3のように1/2ずつ3通りに変化させたならば(即ち、超音波定在波の波長を変化させたならば)、それに対応する構造化照明の縞本数は4、5、6のように1ずつ3通りに変化する。
ここで、図2中に白矢印で示すとおり超音波伝搬路Rの一端から1/2だけずれた部分のみに着目すると、その着目部分に対応する構造化照明の位相は、「π」ずつ3通りに変化している。
また、図2中に黒矢印で示すとおり超音波伝搬路Rの一端から1/3だけずれた部分のみに着目すると、その着目部分に対応する構造化照明の位相は、「2π/3」ずつ3通りに変化している。
よって、仮に、超音波伝搬路Rに対する有効な光の入射領域を白矢印で示した位置のみに制限したならば、超音波定在波の波本数を1/2ずつ変化させるだけで、構造化照明の位相を「π」ずつ変化させることができる。
また、仮に、超音波伝搬路Rに対する有効な光の入射領域を黒矢印で示した位置のみに制限したならば、超音波定在波の波本数を1/2ずつ変化させるだけで、構造化照明の位相を「2π/3」ずつ変化させることができる。
そこで本実施形態では、1ステップ当たりの位相シフト量を2π/3とするべく、図3(A)に示すとおり、超音波伝搬路Rへ入射する有効な光のスポット(有効径)Sの中心から超音波伝搬路Rの一端までの距離Dは、超音波伝搬路Rの伝搬方向の長さLの1/3倍に設定される(D=L/3)。
但し、超音波伝搬路Rに生起する超音波定在波の波本数が1/2だけ変化すると、スポットSの内部に生起する超音波定在波の波本数も少しずれるので、図3(B)に示すとおりスポットSに対応する構造化照明S’の縞本数も少しずれてしまう(但し、図3に示した波パターン及び縞パターンは模式図であって、波本数及び縞本数は実際の本数に一致しているとは限らない。)。
そこで本実施形態では、超音波伝搬路Rの長さLは、構造化照明S’の縞本数のズレがほぼゼロとみなせるよう、スポットSの径φに比べて十分に大きく設定される。
具体的には、超音波伝搬路Rの長さLと、スポットSの径φとは、構造化照明S’の縞本数のズレの許容量δとに対して、φ/L<δの関係を満たすように設定される。例えば、構造化照明S’の縞本数のズレを0.15本以下に抑える必要があったならば、その関係式は、φ/L≦0.15となる。
また、超音波光変調器3の超音波伝搬路R上でスポットSの径φがφ/L<δの関係を必ずしも満たしてなくてもよく、例えば、超音波光変調器3から射出した±1次回折光を視野絞り5Bで絞った場合は、超音波伝搬路Rの長さL、標本面10における照明領域(観察領域、視野領域)の直径φ’、標本面10から超音波光変調器3への光学倍率mが、構造化照明S’の縞本数のズレの許容量δに対して、φ’×m/L<δの関係を満たすように設定されればよい。
本実施形態では、スポットSの径φを4mmと仮定する。この場合、超音波伝搬路Rの長さLを30mmに設定すれば、図3(C)に示すとおり、構造化照明S’の両端における縞のズレは、0.068本分程度に抑えられ、構造化照明S’の全域における縞本数のズレは0.68+0.68=0.13本程度に抑えられる。なお、図3(C)において点線で示したのは構造化照明S’の理想パターン(縞本数のズレがゼロである場合のパターン)であり、実線で示したのは構造化照明S’の実際のパターンであるが、わかりやすくするために両者のずれを強調して描いた。
図4は、超音波光変調器3の構成図である。図4(A)は、超音波光変調器3を正面(光軸方向)から見た図であり、図4(B)は、超音波光変調器3を側面(光軸に垂直な方向)から見た図である。
図4に示すように、超音波光変調器3は、音響光学媒体15を備え、その音響光学媒体15は、互いに対向する平行な側面対を3対有した角柱状に整えられている。これら3対の側面対の各々の一方に3つのトランスデューサ18a、18b、18cが個別に設けられており、これによって1つの音響光学媒体15内に3つの超音波伝搬路が形成される。以下、トランスデューサ18aの形成面とそれに相対する側面15aとの間に形成される超音波伝搬路を「超音波伝搬路Ra」とおき、トランスデューサ18bの形成面とそれに相対する側面15bとの間に形成される超音波伝搬路を「超音波伝搬路Rb」とおき、トランスデューサ18cの形成面とそれに対応する側面15cとの間に形成される超音波伝搬路を「超音波伝搬路Rc」とおく。
なお、音響光学媒体15の材質は、例えば石英ガラス、テルライトガラス、重フリントガラス、フリントガラスなどであり、3対の側面対及び2つの底面は、それぞれ十分な精度で研磨されている。
ここで、3つの超音波伝搬路Ra、Rb、Rcの各々の長さLは共通であり(L=30mm)、その長さLは前述したスポットSの径φに対して前述した条件を満たしている。また、3つの超音波伝搬路Ra、Rb、Rcは、各々の一端からL/3だけ離れた位置において60°ずつ異なる角度で交差している。その交差位置に前述したスポットSの中心が位置する。
なお、超音波伝搬路Ra、Rb、Rcの交差する領域は、光軸方向から見ると六角形になっており、その六角形の内部にスポットSが収まっているものとする。また、音響光学媒体15の姿勢は、入射光に対して超音波伝搬路Ra、Rb、Rcの各々がほぼ垂直になるように予め調整されているものとする。また、音響光学媒体15の姿勢誤差は、±1°以内であることが望ましい。なぜなら、姿勢誤差の大きさが1°よりも大きくなると、±1次回折光の光量差が大きくなり、構造化照明S’のコントラストが低下する虞があるからである。
トランスデューサ18aは、圧電体16aと、圧電体16aの上下面に個別に形成された2つの電極17aとを有した超音波トランスデューサであり、そのうち一方の電極17aを介して音響光学媒体15の1つの側面に接合されている。このトランスデューサ18aの2つの電極17aの間に高周波の交流電圧が印加されると、圧電体16aが厚み方向に振動し、超音波伝搬路Ra内を平面超音波が往復する。2つの電極17aの間に印加される交流電圧の周波数が特定の周波数(適正周波数)に設定された場合、その超音波は定在波となるので、超音波伝搬路の屈折率には、超音波の伝搬方向にかけて正弦波状の分布が付与される。これによって、超音波伝搬路Raは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Raの伝搬方向を、「第1方向」と称す。
また、トランスデューサ18bも、トランスデューサ18aと同じ構成をしており、圧電体16bと、圧電体16bの上下面に個別に形成された2つの電極17bとを有し、そのうち一方の電極17bを介して音響光学媒体15の1つの側面に接合されている。
したがって、トランスデューサ18bの2つの電極17bの間に適正周波数の交流電圧が印加されると、超音波伝搬路Rb内を平面超音波が伝搬するので、超音波伝搬路Rbは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Rbの伝搬方向を、「第2方向」と称す。この第2方向は、第1方向に対して60°の角度を成す。
また、トランスデューサ18cも、トランスデューサ18aと同じ構成をしており、圧電体16cと、圧電体16cの上下面に個別に形成された2つの電極17cとを有し、そのうち一方の電極17cを介して音響光学媒体15の1つの側面に接合されている。
したがって、トランスデューサ18cの2つの電極17cの間に適正周波数の交流電圧が印加されると、超音波伝搬路Rc内を平面超音波が伝搬するので、超音波伝搬路Rcは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Rcの伝搬方向を、「第3方向」と称す。この第3方向は、第1方向に対して-60°の角度を成す。
図5は、超音波光変調器3の駆動回路19Aを説明する図である。この駆動回路19Aは、図1に示した制御装置19の一部である。
図5に示すとおり駆動回路19Aは、高周波交流電源19A-1と切り換えスイッチ19A-2とを備える。
高周波交流電源19A-1は、超音波光変調器3へ供給されるべき交流電圧を生成する。その交流電圧の周波数は、制御装置19内のCPUによって適正周波数(例えば、数十MHz~100MHz内の何れかの値)に制御される。
本実施形態では、前述した構造化照明S’の位相シフト量を-2π/3、0、+2π/3の3通りにステップ状に変化させるために、CPUは、その交流電圧の周波数を、周波数の異なる3通りの適正周波数f-1、f0、f+1の間で切り換えることができるものとする。
例えば、適正周波数f0は、長さLが30mmである超音波伝搬路Ra、Rb、Rcに100本の超音波定在波(それに対応する構造化照明の縞本数は200)を生起させるための適正周波数(80MHz)である。この適正周波数f0によると、構造化照明S’の位相シフト量はゼロとなる。
この場合、適正周波数f-1は、長さLが30mmである超音波伝搬路Ra、Rb、Rcに(100-1/2)本の超音波定在波(それに対応する構造化照明の縞本数は199)を生起させるための適正周波数(79.946MHz)となる。この適正周波数f-1によると、構造化照明S’の位相シフト量は-2π/3となる。
また、適正周波数f+1は、長さLが30mmである超音波伝搬路Ra、Rb、Rcに(100+1/2)本の超音波定在波(それに対応する構造化照明の縞本数は201)を生起させるための適正周波数(80.054MHz)となる。この適正周波数f+1によると、構造化照明S’の位相シフト量は+2π/3となる。
切り換えスイッチ19A-2は、高周波交流電源19A-1と超音波光変調器3との間に配置され、超音波光変調器3の側の接続先を、超音波光変調器3の3つのトランスデューサ18a、18b、18cの間で切り換えることが可能である。スイッチ19A-2の接続先は、制御装置19内のCPUによって適宜に切り換えられる。
切り換えスイッチ19A-2の接続先がトランスデューサ18aの側であるとき、交流電圧はトランスデューサ18aの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Raのみが有効となる。
また、切り換えスイッチ19A-2の接続先がトランスデューサ18bの側であるとき、交流電圧はトランスデューサ18bの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Rbのみが有効となる。
また、切り換えスイッチ19A-2の接続先がトランスデューサ18cの側であるとき、交流電圧はトランスデューサ18cの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Rcのみが有効となる。
このように、有効な超音波伝搬路を3つの超音波伝搬路Ra、Rb、Rcの間で切り換えれば、構造化照明S’の方向を第1方向に対応する方向(以下「第1方向Da」と称す。)と、第2方向に対応する方向(以下、「第2方向Db」と称す。)と、第3方向に対応する方向(以下、「第3方向Da」と称す。)との間で切り換えることができる。
ここで、超音波伝搬路Ra、Rb、Rcの媒体である音響光学媒体15の材質は、ガラスなどであり、これは温度によって膨張したり収縮したりする可能性があるので、超音波伝搬路Ra、Rb、Rcの長さ(実際の長さ)は必ずしも設計値(=L)に一致しない。そして、超音波伝搬路Ra、Rb、Rcの長さLa、Lb、Lcが設計値Lから外れると、構造化照明S’のコントラストが低下したり、構造化照明S’の縞本数が変化したりする虞がある。
但し、長さLa、Lb、Lcが設計値Lから外れたとしても、トランスデューサ18aに与えるべき交流電圧の適正周波数fa-1、fa0、fa+1、トランスデューサ18bに与えるべき交流電圧の適正周波数fb-1、fb0、fb+1、トランスデューサ18cに与える交流電圧の周波数fc-1、fc0、fc+1の各々を適切に調節すれば、構造化照明S’の縞本数及びコントラストを維持できると考えられる。本実施形態の構造化照明顕微鏡システムが微小変位測定器90を備えているのは、これらを維持するためである。
図6は、微小変位測定器90を説明する模式図である。図6に示すとおり微小変位測定器90は、超音波光変調器3の超音波伝搬路Raの長さLaを測定する微小変位測定器90aと、超音波伝搬路Rbの長さLbを測定する微小変位測定器90bと、超音波伝搬路Rcの長さLcを測定する微小変位測定器90cとを備える。これらの微小変位測定器90a、90b、90cは、互いに同じ原理、かつ互いに同じ特性の変位計であって、物体の高さを0.1μm(望ましくは0.01μm)の分解能で測定することができる。0.1μmの分解能は、超音波の波長(例えば40μm)の1/100以下に相当し、0.01μmの分解能は、1/1000以下に相当する。このような変位計としては、例えば、ニコン製デジマイクロMF-501などの接触型変位計を適用することができる。これらの微小変位測定器90a、90b、90cの各々は、制御装置19内のCPUによって適当なタイミングで駆動される。
制御装置19内のCPUは、適正周波数fa-1、fa0、fa+1を長さLaに応じて調節し、適正周波数fb-1、fb0、fb+1を長さLbに応じて調節し、適正周波数fc-1、fc0、fc+1を長さLcに応じて調節する。また、それを可能とするため、制御装置19内のCPUは、以下の3つのルックアップテーブルを予め記憶している。
第1のルックアップテーブルは、適正周波数fa-1、fa0、fa+1の値を長さLaの値ごとに記憶したテーブル(La-faテーブル)であり、第2のルックアップテーブルは、適正周波数fb-1、fb0、fb+1の値を長さLbの値ごとに記憶したテーブル(Lb-fbテーブル)であり、第3のルックアップテーブルは、適正周波数fc-1、fc0、fc+1の値を長さLcの値ごとに記憶したテーブル(Lc-fcテーブル)である。
なお、La-faテーブルにおいて、長さLaの値に対応づけられた適正周波数fa-1、fa0、fa+1の値は、超音波伝搬路Raの長さがLaであるときに、第1方向Daの構造化照明S’の縞本数を所定値に保ち、第1方向Daの構造化照明S’コントラストを最高に保ちながら、第1方向Daの構造化照明S’の位相のみを-2π/3、0、+2π/3というパターンで切り替えるための値である。
また、Lb-fbテーブルにおいて、長さLbの値に対応づけられた適正周波数fb-1、fb0、fb+1の値は、超音波伝搬路Rbの長さがLbであるときに、第2方向Dbの構造化照明S’の縞本数を所定値に保ち、第2方向Dbの構造化照明S’コントラストを最高に保ちながら、第2方向Dbの構造化照明S’の位相のみを-2π/3、0、+2π/3というパターンで切り替えるための値である。
また、Lc-fcテーブルにおいて、長さLcに対応づけられた適正周波数fc-1、fc0、fc+1は、超音波伝搬路Rcの長さがLcであるときに、第3方向Dcの構造化照明S’の縞本数を所定値に保ち、第3方向Dcの構造化照明S’コントラストを最高に保ちながら、第3方向Dcの構造化照明S’の位相のみを-2π/3、0、+2π/3というパターンで切り替えるための値である。
図7は、本実施形態のCPUの動作フローチャートである。以下、各ステップを順に説明する。
ステップS11:CPUは、微小変位測定器90aを駆動することにより超音波伝搬路Raの長さLaを測定する。
ステップS12:CPUは、測定した長さLaに応じてLa-faテーブルを参照することにより、第1方向Daの適正周波数fa-1、fa0、fa+1を決定する。
ステップS13:CPUは、切り換えスイッチ19A-2の接続先をトランスデューサ18aの側に設定することにより、構造化照明S’の方向を第1方向Daに設定する。
ステップS14:CPUは、トランスデューサ18aに与える交流電圧の周波数をfa-1、fa0、fa+1の間で変化させると共に、その変化の前後のタイミングで撮像装置12を駆動することにより、画像データIa1、Ia2、Ia3を取得する。
ステップS15:CPUは、微小変位測定器90bを駆動することにより超音波伝搬路Rbの長さLbを測定する。
ステップS16:CPUは、測定した長さLbに応じてLb-fbテーブルを参照することにより、第2方向Dbの適正周波数fb-1、fb0、fb+1を決定する。
ステップS17:CPUは、切り換えスイッチ19A-2の接続先をトランスデューサ18bの側に切り換えることにより、構造化照明S’の方向を第2方向Dbに切り換える。
ステップS18:CPUは、トランスデューサ18aに与える交流電圧の周波数をfb-1、fb0、fb+1の間で変化させると共に、その変化の前後のタイミングで撮像装置12を駆動することにより、画像データIb1、Ib2、Ib3を取得する。
ステップS19:CPUは、微小変位測定器90cを駆動することにより超音波伝搬路Rbの長さLcを測定する。
ステップS20:CPUは、測定した長さLcに応じてLc-fcテーブルを参照することにより、第3方向Dcの適正周波数fc-1、fc0、fc+1を決定する。
ステップS21:CPUは、切り換えスイッチ19A-2の接続先をトランスデューサ18cの側に切り換えることにより、構造化照明S’の方向を第3方向Dcに切り換える。
ステップS22:CPUは、トランスデューサ18cに与える交流電圧の周波数をfc-1、fc0、fc+1の間で変化させると共に、その変化の前後のタイミングで撮像装置12を駆動することにより、画像データIc1、Ic2、Ic3を取得し、フローを終了する。
なお、以上のフローにより取得された一連の9つの画像データIa1、Ia2、Ia3、Ib1、Ib2、Ib3、Ic1、Ic2、Ic3は、画像記憶・演算装置13へ取り込まれる。
画像記憶・演算装置13は、一連の3つの画像データIa1、Ia2、Ia3に対して線形演算からなる分離演算を施すことにより、構造化照明の構造情報を含まない画像データIaを取得し、その画像データIaに対して復調係数の乗算からなる復調演算を施すことにより、第1方向Daに亘る超解像画像の復調画像データIa’を取得する。
また、画像記憶・演算装置13は、一連の3つの画像データIb1、Ib2、Ib3に対して線形演算からなる復調演算を施すことにより、構造化照明の構造情報を含まない画像データIbを取得し、その画像データIbに対して復調係数の乗算からなる復調演算を施すことにより、第2方向Dbに亘る超解像画像の復調画像データIb’を取得する。
また、画像記憶・演算装置13は、一連の3つの画像データIc1、Ic2、Ic3に対して線形演算からなる復調演算を施すことにより、構造化照明の構造情報を含まない画像データIcを取得し、その画像データIcに対して復調係数の乗算からなる復調演算を施すことにより、第3方向Dcに亘る超解像画像の復調画像データIc’を取得する。
そして画像記憶・演算装置13は、3つの復調画像データIa’、Ib’、Ic’を波数空間上で合成してから再び実空間に戻すことにより、第1方向Da、第2方向Db、第3方向Dcに亘る超解像画像の画像データIを取得し、その画像データIを画像表示装置14へ送出する。したがって、画像表示装置14には、標本面10の蛍光領域の構造を詳細に示す超解像画像が表示される。
以上、本実施形態の構造化照明顕微鏡システムは、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器(超音波光変調器3)と、音波伝搬路の媒体を振動させるための駆動信号を光変調器へ与えることにより、音波伝搬路内に音波定在波を生起させる駆動部(制御装置19)と、音波伝搬路を通過した射出光束の互いに異なる回折成分を干渉させ、その干渉縞(構造化照明S’)を被観察物(標本面10)に形成する照明光学系(レンズ4、0次光カットマスク5A、レンズ6、視野絞り5B、レンズ7、ダイクロイックミラー8、対物レンズ9)とを備える。したがって、本実施形態の構造化照明顕微鏡システムの構成は、照明パターンの切り替えを高速化するのに適している。
しかも、本実施形態の構造化照明顕微鏡システムは、干渉縞の状態が所定の状態になるように駆動部(制御装置19)のパラメータを調整する調整部(微少変位測定器90、制御装置19)を更に備えるので、環境に左右されやすい干渉縞の状態を所定の状態に保ち、超解像に必要な一連の画像の各々の変調状態を良好に保つことができる。
また、本実施形態の調整部(微少変位測定器90、制御装置19)による調整の対象(パラメータ)は、駆動信号の周波数(交流電圧の適正周波数f)であるので、干渉縞(構造化照明S’)の縞本数、位相、コントラストなどを調整することができる。
また、本実施形態の調整部(微少変位測定器90、制御装置19)は、音波伝搬路の長さを検出し、検出した長さに応じて駆動信号の周波数を調整するので、音波伝搬路の長さ変化に起因した干渉縞の状態変化を抑えることができる。
また、本実施形態の調整部(微少変位測定器90、制御装置19)は、音波伝搬路の長さと駆動信号の適正周波数との関係を予め記憶し、検出した長さとその関係とに基づき駆動信号の周波数を適正周波数に設定するので、調整に要する時間を短く抑えることができる。
また、本実施形態の適正周波数は、干渉縞の縞本数が所定値となるような周波数であるので、超解像に必要な複数の画像の各々の変調度を良好に保つことができる。
また、本実施形態の適正周波数は、干渉縞の縞本数が所定値となり、かつ干渉縞のコントラストが最高となるような周波数であるので、超解像に必要な複数の画像の各々の変調度及び画質を良好に保つことができる。
また、本実施形態の光変調器(超音波光変調器3)は、互いに交差した複数の音波伝搬路を有した光変調器であり、調整部は、複数の音波伝搬路の各々に関する駆動信号の周波数を調整する。
したがって、本実施形態の構造化照明顕微鏡システムは、干渉縞の方向を高速に切り換えることができると共に、干渉縞の方向の異なる複数の画像の各々の変調状態を保つことができる。
また、本実施形態の駆動部は、駆動信号の周波数を所定のパターンで変化させることにより、被観察物上の観察対象領域に形成される干渉縞の位相を所定のパターンで変化させることが可能であり、調整部が駆動信号の周波数を調整するタイミングは、駆動部が位相を所定のパターンで変化させる期間から外される。
したがって、本実施形態の構造化照明顕微鏡システムは、干渉縞の位相シフトピッチを確実に保つことができる。因みに、位相シフトピッチが少しでもずれてしまうと、前述した分離演算が正しく行われない可能性があるので、位相シフトピッチを維持することは極めて重要である。
[第2実施形態]
以下、本発明の第2実施形態について説明する。ここでは、第1実施形態との相違点のみ説明する。
以下、本発明の第2実施形態について説明する。ここでは、第1実施形態との相違点のみ説明する。
図8は、本実施形態の微少変位測定器90を説明する模式図である。
図8に示すとおり本実施形態の微少変位測定器90では、超音波伝搬路Rbの実際の長さLbを測定する微小変位測定器90bと、超音波伝搬路Rcの実際の長さLcを測定する微小変位測定器90cとが省略される。
そして、本実施形態のCPUが予め記憶するルックアップテーブルは、適正周波数fa-1、fa0、fa+1の値を長さLaの値ごとに記憶したテーブル(La-faテーブル)と、適正周波数fb-1、fb0、fb+1の値を長さLaの値ごとに記憶したテーブル(La-fbテーブル)と、適正周波数fc-1、fc0、fc+1の値を長さLaの値ごとに記憶したテーブル(La-fcテーブル)とである。
図9は、本実施形態のCPUの動作フローチャートである。以下、各ステップを順に説明する。
ステップS11:CPUは、微小変位測定器90aを駆動することにより超音波伝搬路Raの長さLaを測定する。
ステップS12:CPUは、測定した長さLaに応じてLa-faテーブルを参照することにより、第1方向Daの適正周波数fa-1、fa0、fa+1を決定する。
ステップS13:CPUは、切り換えスイッチ19A-2の接続先をトランスデューサ18aの側に設定することにより、構造化照明S’の方向を第1方向Daに設定する。
ステップS14:CPUは、トランスデューサ18aに与える交流電圧の周波数をfa-1、fa0、fa+1の間で変化させると共に、その変化の前後のタイミングで撮像装置12を駆動することにより、画像データIa1、Ia2、Ia3を取得する。
ステップS15’:CPUは、微小変位測定器90aを駆動することにより超音波伝搬路Raの長さLaを測定する。
ステップS16’:CPUは、測定した長さLaに応じてLa-fbテーブルを参照することにより、第2方向Dbの適正周波数fb-1、fb0、fb+1を決定する。
ステップS17:CPUは、切り換えスイッチ19A-2の接続先をトランスデューサ18bの側に切り換えることにより、構造化照明S’の方向を第2方向Dbに切り換える。
ステップS18:CPUは、トランスデューサ18aに与える交流電圧の周波数をfb-1、fb0、fb+1の間で変化させると共に、その変化の前後のタイミングで撮像装置12を駆動することにより、画像データIb1、Ib2、Ib3を取得する。
ステップS19’:CPUは、微小変位測定器90aを駆動することにより超音波伝搬路Raの長さLaを測定する。
ステップS20’:CPUは、測定した長さLaに応じてLa-fcテーブルを参照することにより、第3方向Dcの適正周波数fc-1、fc0、fc+1を決定する。
ステップS21:CPUは、切り換えスイッチ19A-2の接続先をトランスデューサ18cの側に切り換えることにより、構造化照明S’の方向を第3方向Dcに切り換える。
ステップS22:CPUは、トランスデューサ18cに与える交流電圧の周波数をfc-1、fc0、fc+1の間で変化させると共に、その変化の前後のタイミングで撮像装置12を駆動することにより、画像データIc1、Ic2、Ic3を取得し、フローを終了する。
以上、本実施形態の構造化照明顕微鏡システムは、3つの方向の適正周波数の決定に、1つの微少変位測定器90aを兼用する。したがって、本実施形態の構造化照明顕微鏡システムの構成は、第1実施形態の構造化照明顕微鏡システムの構成よりも簡略化される。
[第1実施形態又は第2実施形態の変形例]
なお、第1実施形態又は第2実施形態のCPUは、位相シフトに必要な3つの適正周波数の全てをルックアップテーブルに格納したが、一部の適正周波数(代表周波数)のみをルックアップテーブルに格納し、他の適正周波数については、代表周波数から計算により求めてもよい。
なお、第1実施形態又は第2実施形態のCPUは、位相シフトに必要な3つの適正周波数の全てをルックアップテーブルに格納したが、一部の適正周波数(代表周波数)のみをルックアップテーブルに格納し、他の適正周波数については、代表周波数から計算により求めてもよい。
また、第1実施形態又は第2実施形態のCPUは、超音波伝搬路の長さと適正周波数との関係をルックアップテーブルとして記憶したが、演算式として記憶してもよい。一般に、長さLの超音波伝搬路に対して波本数nの超音波定在波を生成するために必要な適正周波数fは、f=v・n/Lの式で表される(但し、vは媒体中の音速)。
また、第1実施形態又は第2実施形態において、適正周波数を決定・調整する手順は、構造化照明顕微鏡システムが観察の度に実行してもよいし、構造化照明顕微鏡システムが必要なときにのみ実行してもよいし、システムのユーザが任意のタイミングで実行してもよいし、構造化顕微鏡システムの製造者が出荷前に実行してもよい。
なお、調整の必要性は、例えば次のようにして判断すればよい。すなわち、CPUは、観察期間中に超音波伝搬路の長さを定期的又は継続的に測定し、測定した長さが前回の調整直後の長さから閾値以上変化していたときには、調整の必要性ありと判断し、そうでなかったときには、調整の必要性なしと判断する。
また、第1実施形態又は第2実施形態では、適正周波数の調整に関する手順の全部が自動で行われたが、その手順の一部を手動で行ってもよいことは言うまでもない。
[第3実施形態]
以下、本発明の第3実施形態について説明する。ここでは、第1実施形態又は第2実施形態との相違点のみ説明する。
以下、本発明の第3実施形態について説明する。ここでは、第1実施形態又は第2実施形態との相違点のみ説明する。
図10は、本実施形態の構造化照明顕微鏡システムの構成図である。
図10に示すとおり、本実施形態の構造化照明顕微鏡システムでは、微少変位測定器90の代わりにミラー200が備えられる。ミラー200は、標本100と共通のステージ300上に並べて配置されている。
本実施形態のCPUは、ステージ300を所定方向かつ所定距離だけ駆動することにより、標本100の標本面10の代わりにミラー200の反射面20を顕微鏡の光路(対物レンズ9の視野)へ挿入することができる。この状態でCPUは、標本化照明S’の単体の輝度分布を画像(縞画像)として得ることが可能である。
また、CPUは、ステージ300を反対方向に等距離だけ駆動することにより、標本100の標本面10及びミラー200の反射面20をそれぞれ元の位置に戻すこともできる。
図11は、本実施形態のCPUの動作フローチャートである。なお、ここでは、第1方向Daに関するフローのみを説明し、第2方向Db、第3方向Dcに関するフローの説明は、第1方向Daに関するフローと同様であるので省略する。
ステップS101:CPUは、ステージ300を駆動することにより、標本100の標本面10の代わりにミラー200の反射面20を光路へ挿入する。
ステップS102:CPUは、切り換えスイッチ19A-2の接続先をトランスデューサ18aの側に設定することにより、構造化照明S’の方向を第1方向Daに設定する。
ステップS103:CPUは、トランスデューサ18aに与える交流電圧の周波数を複数通りに変化させながら、撮像装置12を繰り返し駆動することにより、複数の画像データを取得する。これら複数の画像データは、構造化照明S’の単体の輝度分布を示す「縞画像」である。これら複数の縞画像の間では、縞本数が異なるものとする。
ステップS104:CPUは、取得した複数の縞画像に対して共通の画像処理(縞本数を計数するための画像処理)を施すことにより、複数の縞画像の各々の縞本数を計数し、縞本数が所定値に一致していたときの交流電圧の周波数を見いだし、その周波数を第1方向Daの適正周波数fa0とする。これによって、適正周波数fa0が仮決定されたことになる。
ステップS105:CPUは、トランスデューサ18aに与える交流電圧の周波数をfa0の近傍で複数通りに変化させながら、撮像装置12を繰り返し駆動することにより、複数の縞画像を取得する。なお、これら複数の縞画像の間では、縞本数は共通であるが、コントラストが異なるものとする。
ステップS106:CPUは、複数の縞画像に対して共通の画像処理(コントラストを計算するための画像処理)を施すことにより、複数の縞画像の各々のコントラストを計算し、コントラストが最大となったときの交流電圧の周波数を見いだし、その周波数を第1方向Daの適正周波数fa0とする。これによって、適正周波数fa0が本決定されたことになる。
ステップS107:CPUは、本決定した適正周波数fa0に基づき適正周波数fa-1、fa+1を決定する。なお、この決定は、計算によって行われてもよいし、予め用意したルックアップテーブル(fa0-fa-1テーブル、fa0-fa+1テーブル)に基づき行われてもよい。
ステップS108:CPUは、ステージ300を駆動することにより、ミラー200の反射面20の代わりに標本100の標本面10を光路へ挿入する。
ステップS109:トランスデューサ18aに与える交流電圧の周波数をfa-1、fa0、fa+1の間で変化させると共に、その変化の前後のタイミングで撮像装置12を駆動することにより、画像データIa1、Ia2、Ia3を取得する。
以上、本実施形態の調整部(微少変位測定器90、制御装置19)は、干渉縞(構造化照明S’)の画像である縞画像を検出し、検出した縞画像に応じて駆動信号の周波数(交流電圧の適正周波数f)を調整するので、音波伝搬路の長さを検出せずとも、超解像に必要な一連の画像の各々の変調状態を保つことができる。
また、本実施形態の調整部は、検出した縞画像の縞本数が所定値となるように駆動信号の周波数を調整するので、超解像に必要な一連の画像の各々の変調度を良好に保つことができる。
また、本実施形態の調整部は、検出した縞画像の縞本数が所定値となり、かつ縞画像のコントラストが最高となるように駆動信号の周波数を調整するので、超解像に必要な複数の画像の各々の変調度及び画質を良好に保つことができる。
[第3実施形態の変形例]
なお、第3実施形態における周波数の決定には、ミラーの挿脱を要するため、第1実施形態における周波数の決定よりも時間がかかる。このため、第3実施形態のCPUは、全方向の適正周波数の決定を、全方向の画像データの取得前に纏めて実行してもよい。このように纏めて実行すれば、ミラーの挿脱の回数を1回のみとすることができるので効率的である。
なお、第3実施形態における周波数の決定には、ミラーの挿脱を要するため、第1実施形態における周波数の決定よりも時間がかかる。このため、第3実施形態のCPUは、全方向の適正周波数の決定を、全方向の画像データの取得前に纏めて実行してもよい。このように纏めて実行すれば、ミラーの挿脱の回数を1回のみとすることができるので効率的である。
また、第3実施形態のCPUは、各方向の縞画像に基づき各方向の適正周波数を決定したが、一部の方向の縞画像に基づき各方向の適正周波数を決定してもよい。
また、第3実施形態のCPUは、位相シフトに必要な3つの適正周波数の一部(代表周波数)のみを縞画像に基づき決定し、他の適正周波数については代表周波数から計算により求めたが、位相シフトに必要な3つの適正周波数の全てを縞画像に基づき決定してもよい。その場合、CPUは、縞画像の縞本数が所定値となり、縞画像のコントラストが最大となり、しかも、縞画像の位相が所定値となるような周波数を、適正周波数とすればよい。
また、第3実施形態において、適正周波数を決定・調整する手順は、構造化照明顕微鏡システムが観察の度に実行してもよいし、構造化照明顕微鏡システムが必要なときにのみ実行してもよいし、システムのユーザが任意のタイミングで実行してもよいし、構造化顕微鏡システムの製造者が出荷前に実行してもよい。
なお、調整の必要性は、例えば次のようにして判断すればよい。すなわち、CPUは、観察期間中に撮像装置が取得する画像データのコントラストを計算し、計算したコントラストが前回の調整直後のコントラストから閾値以上低下していたときには、調整の必要ありと判断し、そうでなかったときには、調整の必要性なしと判断する。
また、第3実施形態では、適正周波数の調整に関する手順の全部が自動で行われたが、その手順の一部を手動で行ってもよいことは言うまでもない。
例えば、標本面と反射面とを入れ替える手順(S101、S108)や、周波数を変化させる手順(S103、S105)や、適正周波数を見いだす手順(S104、S106)などは、手動で行うことも可能である。
なお、周波数を変化させながら適正周波数を見いだす手順を手動で行う場合は、周波数の変化期間中における縞画像の縞本数やコントラストをヒトが監視できるよう、周波数の変化期間中に縞画像をリアルタイムで表示する必要がある。
また、標本面と反射面との入れ替えの手順を手動で行う場合は、標本の位置及び姿勢が変化しないよう、標本を光路に挿入したまま標本の直上に厚さの薄いミラーを置いたり外したりしてもよい。
[その他の変形例]
また、上述した実施形態の音響光学媒体15は、3つの超音波伝搬路Ra、Rb、RcをスポットSの中心に関して非対称な関係で配置していたが(図4参照)、例えば図12に示すとおり対称な関係で配置してもよい。因みに、図4に示す例の利点は、音響光学媒体15の外形の凹凸が少ないところにあり、図12に示す例の利点は、3つの超音波伝搬路Ra、Rb、Rcの環境が完全に一致するところにある。
また、上述した実施形態の音響光学媒体15は、3つの超音波伝搬路Ra、Rb、RcをスポットSの中心に関して非対称な関係で配置していたが(図4参照)、例えば図12に示すとおり対称な関係で配置してもよい。因みに、図4に示す例の利点は、音響光学媒体15の外形の凹凸が少ないところにあり、図12に示す例の利点は、3つの超音波伝搬路Ra、Rb、Rcの環境が完全に一致するところにある。
また、上記説明では、超音波伝播路Ra、Rb、Rcの長さを共通とし、トランスデューサ18a、18b、18cに与えられる交流電圧の周波数の変化パターンを共通としたが、これに限定されることは無い。
また、上記説明では、トランスデューサ18a、18b、18cの各々に与えられる交流電圧の周波数の変化パターンを、超音波定在波の波本数が1/2本ずつ変化するようなパターンとしたが、これに限定されることは無い。
また、上記説明では、第1方向及び第2方向及び第3方向の各々の構造化照明S’の位相シフトピッチを2π/3とするために、スポット(有効径)Sの中心から超音波伝搬路Ra、Rb、Rcの各々の端部までの距離Dは、超音波伝搬路Rの伝搬方向の長さLの1/3倍に設定した(D=L/3)が、これに限定されることはない。
具体的には、超音波伝播路Ra、Rb、Rcの各々は以下の条件を個別に満たしていればよい。
先ず、トランスデューサに与えられる交流電圧の周波数の変化パターンは、超音波定在波の波本数がM/2本ずつ変化するようなパターンであればよい(但し、|M|は1以上の整数)。
また、構造化照明S’の位相シフトピッチを任意の値Δψに設定するために、超音波伝搬路の何れか一方の端部から部分領域(例えばスポットS)の中心までの距離Dと、超音波伝搬路の全長Lとは、D:L=Δψ/M:2πの関係を満たせばよい。
なお、標本面10に干渉縞を形成するために、超音波光変調器3の超音波伝搬路R上で射出光束の通過領域(スポット)が、必ずしも超音波伝搬路Rの両端から離れた部分領域に制限されていなくともよく、例えば、超音波伝搬路Rを通過した光束を視野絞り5Bで絞った場合は、標本面10における照明領域(観察領域、視野領域)に形成される干渉縞(構造化照明S’)に寄与する射出光束が通過したであろう超音波伝搬路Rの部分領域が、D:L=Δψ/M:2πの関係を満たしていればよい。
なお、標本面10に干渉縞を形成するために、超音波光変調器3の超音波伝搬路R上で射出光束の通過領域(スポット)が、必ずしも超音波伝搬路Rの両端から離れた部分領域に制限されていなくともよく、例えば、超音波伝搬路Rを通過した光束を視野絞り5Bで絞った場合は、標本面10における照明領域(観察領域、視野領域)に形成される干渉縞(構造化照明S’)に寄与する射出光束が通過したであろう超音波伝搬路Rの部分領域が、D:L=Δψ/M:2πの関係を満たしていればよい。
因みに、M=1とすれば、超音波定在波の本数が1/2本ずつしか変化しないので、その変化に起因して構造化照明S’の縞本数に生じるズレを極めて小さく抑えることができる。
また、Δψ=2π/k(但し、|k|は2以上の整数)とすれば、上述した分離演算に必要な画像データ(複数枚の画像データ)を確実に取得することができる(なお、上記の説明では、位相シフトピッチΔψを2π/3としたので、画像データの必要枚数は3であったが、位相シフトピッチΔψが他の値であった場合には、画像データの必要枚数が3以外になることもある。)。
また、上記説明では、±1次回折光による干渉縞(2光束構造化照明)を標本面10(光軸をZ方向とするとX-Y面内)に形成する例を用いて説明しているが、本発明は、0次回折光及び±1次回折光による干渉縞(光軸方向にも干渉縞が形成される3光束構造化照明)を標本に形成する場合にも当然適用することができる。また、その場合の演算にも、例えば米国特許第8115806号明細書に開示された方法を用いることができる。
また、上記説明では、干渉縞(2光束干渉縞、3光束干渉縞)を形成するための回折光として、±1次回折光及び0次回折光の組み合わせを用いたが、他の組み合わせを用いてもよい。3光束干渉縞を形成するためには、回折次数の間隔が等間隔な3つの回折光による3光束干渉を生起させればよいので、例えば、0次回折光、1次回折光、2次回折光の組み合わせ、±2次回折光及び0次回折光の組み合わせ、±3次回折光及び0次回折光の組み合わせ、などを用いることが可能である。
また、本実施形態の説明では、±1次回折光による干渉縞の位相を変化させるために、超音波伝播路Ra、Rb、Rcで生起される超音波定在波の波本数、即ち、超音波定在波の波長を、所定のパターンで変化させる一つの方法として、超音波光変調器3のトランスデューサ18a、18b、18cに与えられる交流電圧の周波数を所定のパターンで変化させることを説明したが、この方法限られないことは言うまでもない。
[第4実施形態]
以下、本発明の第4実施形態について図を用いて説明する。本実施形態は、第1実施形態の照明系を応用した面形状測定装置の実施形態である。
以下、本発明の第4実施形態について図を用いて説明する。本実施形態は、第1実施形態の照明系を応用した面形状測定装置の実施形態である。
図13は、本実施形態の面形状測定装置(パターン投影型の面形状測定装置)の構成図である。図13に示すとおり面形状測定装置には、可干渉光源(レーザ光源)111と、制御装置19’と、レンズ113と、ピンホール部材114と、超音波光変調器3’と、コリメータレンズLと、撮像部120と、微小変位測定器90と、が配置される。図13中に符号10’で示すのは、不図示のステージに配置された測定物の表面(測定対象面)10’である。このうち、可干渉光源111と、レンズ113と、ピンホール部材114と、超音波光変調器3’と、コリメータレンズLと、制御装置19’とが、測定対象面10’へ縞パターンを投影する投影部であり、不図示のステージの基準面に対して光軸が斜めになるように配置されている。
超音波光変調器3’には、第1実施形態で説明した超音波光変調器と同様の超音波光変調器が適用される。前述したL、φ、D、M、Δψ、kなどの各パラメータは、第1実施形態と同様の最適な関係に設定されている。
但し、本実施形態の超音波光変調器3’は光の分岐方向を切り換える必要が無いので、例えば図14に示すとおり超音波光変調器3’の音響光学媒体15’を四角柱状にし、その内部に形成される超音波伝搬路Rの数を1としても構わない。
超音波光変調器3’は、第1実施形態と同様、超音波伝搬路Rに超音波定在波を生起させることによって位相型回折格子の働きをする。超音波光変調器3’で分岐した回折光は、測定対象面10’上に干渉縞を形成する。
微小変位測定器90は、超音波光変調器3’の超音波伝搬路Rの実際の長さを測定する変位計である。この変位計は、第1実施形態で説明した微小変位測定器90a、90b、90cの何れか1つと同じ変位計である。
制御装置19’は、超音波光変調器3’に与える交流電圧の周波数を第1実施形態で説明したのと同様のパターンで切り換えることが可能である。これによって、測定対象面10’に投影される縞の位相は、第1実施形態における構造化照明S’の位相と同様に切り換わる。
撮像部120は、不図示のステージの基準面に対して光軸が垂直となるように配置されており、縞の投影された測定対象面10’の像を撮像する。この撮像部120は、測定対象面10’からの反射光を結像する結像光学系と、測定対象面10’の画像を撮像する撮像素子とを有している。
撮像部120は、縞の位相が各状態にあるときに測定対象面10’を撮像し、それによって取得した複数の画像データ(位相シフトピッチが2π/3であった場合は3つの画像データ)を不図示の演算装置へ送出する。その演算装置は、それら複数の画像データを所定の演算式(位相シフトピッチが2π/3であった場合は3バケット法の式)に当てはめることにより、測定対象面10’の各位置の高さを算出する。
制御装置19’は、第1実施形態の制御装置19と同様、微小変位測定器90により超音波光変調器3’の超音波伝搬路の長さを検出し、その長さに応じて、超音波光変調器3’に与える交流電圧の周波数を調整する。なお、調整に関する制御装置19’の動作は、第1実施形態又はその変形例にて制御装置19の動作として説明したものと同様である(但し、本実施形態では第1実施形態とは異なり縞の方向は1方向のみとなる。)。
以上、本実施形態の面形状測定装置は、光源(レーザ光源111)からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器(超音波光変調器3’)と、音波伝搬路の媒体を振動させるための駆動信号を光変調器へ与えることにより、音波伝搬路内に音波定在波を生起させる駆動部(制御装置19’)と、音波伝搬路を通過した射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物(測定対象面10’)に形成する照明光学系(コリメータレンズL)とを備える。したがって、本実施形態の面形状測定装置の構成は、照明パターンの切り替えを高速化するのに適している。
しかも、本実施形態の面形状測定装置は、干渉縞の状態が所定の状態になるように駆動部(制御装置19’)のパラメータを調整する調整部(微少変位測定器90、制御装置19’)を更に備えるので、環境に左右されやすい干渉縞の状態を所定の状態に保ち、面形状算出に必要な一連の画像の各々における縞の状態を良好に保つことができる。
なお、ここでは第1実施形態を応用した面形状測定装置を説明したが、第3実施形態を応用した面形状測定装置も同様に実現できることは言うまでもない。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
1:光ファイバー、2:コレクタレンズ、3、3’:超音波光変調器、4:レンズ、5A:0次光カットマスク、5B:視野絞り、9:対物レンズ、10:標本面、10’:測定対象面、12:撮像装置、13:画像記憶・演算装置、19:制御装置、14:画像表示装置、90:微少変位測定器、15、15’:音響光学媒体、16:圧電体、18:トランスデューサ、19A:駆動回路、19A-1:高周波交流電源、19A-2:切り換えスイッチ
Claims (15)
- 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、
前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、
前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、
前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整部と
を備えたことを特徴とする構造化照明装置。 - 請求項1に記載の構造化照明装置において、
前記調整部による前記調整の対象は、
前記駆動信号の周波数である
ことを特徴とする構造化照明装置。 - 請求項2に記載の構造化照明装置において、
前記調整部は、
前記音波伝搬路の長さを検出し、検出した長さに応じて前記駆動信号の周波数を調整する
ことを特徴とする構造化照明装置。 - 請求項3に記載の構造化照明装置において、
前記調整部は、
前記音波伝搬路の長さと前記駆動信号の適正周波数との関係を予め記憶し、検出した長さと前記関係とに基づき前記駆動信号の周波数を適正周波数に設定する
ことを特徴とする構造化照明装置。 - 請求項4に記載の構造化照明装置において、
前記適正周波数は、
前記干渉縞の縞本数が所定値となるような周波数である
ことを特徴とする構造化照明装置。 - 請求項5に記載の構造化照明装置において、
前記適正周波数は、
前記干渉縞の縞本数が所定値となり、かつ前記干渉縞のコントラストが最高となるような周波数である
ことを特徴とする構造化照明装置。 - 請求項2に記載の構造化照明装置において、
前記調整部は、
前記干渉縞の画像である縞画像を検出し、検出した縞画像に応じて前記駆動信号の周波数を調整する
ことを特徴とする構造化照明装置。 - 請求項7に記載の構造化照明装置において、
前記調整部は、
検出した縞画像の縞本数が所定値となるように前記駆動信号の周波数を調整する
ことを特徴とする構造化照明装置。 - 請求項7に記載の構造化照明装置において、
前記調整部は、
検出した縞画像の縞本数が所定値となり、かつ前記縞画像のコントラストが最高となるように前記駆動信号の周波数を調整する
ことを特徴とする構造化照明装置。 - 請求項2~請求項9の何れか一項に記載の構造化照明装置において、
前記光変調器は、
互いに交差した複数の前記音波伝搬路を有した光変調器であり、
前記調整部は、
複数の前記音波伝搬路の各々に関する前記駆動信号の周波数を調整する
ことを特徴とする構造化照明装置。 - 請求項2~請求項10の何れか一項に記載の構造化照明装置において、
前記駆動部は、
前記駆動信号の周波数を所定のパターンで変化させることにより、前記被観察物上の観察対象領域に形成される前記干渉縞の位相を所定のパターンで変化させることが可能であり、
前記調整部が前記駆動信号の周波数を調整するタイミングは、
前記駆動部が前記位相を前記所定のパターンで変化させる期間から外される
ことを特徴とする構造化照明装置。 - 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、
前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、
前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、
を備えた構造化照明装置の調整方法であって、
前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整手順を含む
ことを特徴とする構造化照明装置の調整方法。 - 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、
前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、
前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、
を備えた構造化照明装置のコンピュータが実行可能な調整プログラムであって、
前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整手順を含む
ことを特徴とするコンピュータが実行可能な調整プログラム。 - 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、
前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、
前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、
前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整部と、
前記干渉縞の形成された前記被観察物からの観察光束を結像する結像光学系と
を備えたことを特徴とする構造化照明顕微鏡装置。 - 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、
前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動部と、
前記音波伝搬路を通過した前記射出光束の互いに異なる回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、
前記干渉縞の状態が所定の状態になるように前記駆動部のパラメータを調整する調整部と、
前記干渉縞の形成された前記被観察物の画像を検出する画像検出器と
を備えたことを特徴とする面形状測定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013546996A JP5741709B2 (ja) | 2011-12-01 | 2012-11-28 | 構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-263486 | 2011-12-01 | ||
JP2011263486 | 2011-12-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013080542A1 true WO2013080542A1 (ja) | 2013-06-06 |
Family
ID=48535031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/007645 WO2013080542A1 (ja) | 2011-12-01 | 2012-11-28 | 構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5741709B2 (ja) |
WO (1) | WO2013080542A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015212744A (ja) * | 2014-05-02 | 2015-11-26 | オリンパス株式会社 | 標本像データ生成装置、及び、標本像データ生成方法 |
JPWO2016125281A1 (ja) * | 2015-02-05 | 2017-11-16 | 株式会社ニコン | 構造化照明顕微鏡、観察方法、及び制御プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008072597A1 (ja) * | 2006-12-12 | 2008-06-19 | Nikon Corporation | 顕微鏡装置及び画像処理方法 |
JP2009103958A (ja) * | 2007-10-24 | 2009-05-14 | Olympus Corp | 走査型レーザ顕微鏡 |
JP2009157084A (ja) * | 2007-12-26 | 2009-07-16 | Nikon Corp | 顕微鏡装置 |
JP2010175625A (ja) * | 2009-01-27 | 2010-08-12 | Nikon Corp | 可変フィルタ装置及びコンフォーカル顕微鏡 |
WO2011135819A1 (ja) * | 2010-04-26 | 2011-11-03 | 株式会社ニコン | 構造化照明顕微鏡装置 |
-
2012
- 2012-11-28 JP JP2013546996A patent/JP5741709B2/ja not_active Expired - Fee Related
- 2012-11-28 WO PCT/JP2012/007645 patent/WO2013080542A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008072597A1 (ja) * | 2006-12-12 | 2008-06-19 | Nikon Corporation | 顕微鏡装置及び画像処理方法 |
JP2009103958A (ja) * | 2007-10-24 | 2009-05-14 | Olympus Corp | 走査型レーザ顕微鏡 |
JP2009157084A (ja) * | 2007-12-26 | 2009-07-16 | Nikon Corp | 顕微鏡装置 |
JP2010175625A (ja) * | 2009-01-27 | 2010-08-12 | Nikon Corp | 可変フィルタ装置及びコンフォーカル顕微鏡 |
WO2011135819A1 (ja) * | 2010-04-26 | 2011-11-03 | 株式会社ニコン | 構造化照明顕微鏡装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015212744A (ja) * | 2014-05-02 | 2015-11-26 | オリンパス株式会社 | 標本像データ生成装置、及び、標本像データ生成方法 |
JPWO2016125281A1 (ja) * | 2015-02-05 | 2017-11-16 | 株式会社ニコン | 構造化照明顕微鏡、観察方法、及び制御プログラム |
US10649196B2 (en) | 2015-02-05 | 2020-05-12 | Nikon Corporation | Structured illumination microscope, observation method , and control program |
Also Published As
Publication number | Publication date |
---|---|
JP5741709B2 (ja) | 2015-07-01 |
JPWO2013080542A1 (ja) | 2015-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5549740B2 (ja) | 構造化照明装置、構造化照明顕微鏡装置、及び面形状測定装置 | |
JP5594429B2 (ja) | 構造化照明顕微鏡及び構造化照明観察方法 | |
JP6264377B2 (ja) | 構造化照明装置及び構造化照明顕微鏡装置 | |
JP5641142B2 (ja) | 構造化照明装置、構造化照明顕微鏡、構造化照明方法 | |
US9575302B2 (en) | Stimulated emission depletion microscopy | |
JP6033798B2 (ja) | 蛍光顕微鏡検査法における照明位相制御のためのシステムおよび方法 | |
JP4899408B2 (ja) | 顕微鏡装置 | |
JP2009098215A (ja) | 顕微鏡装置、及び顕微鏡装置における位相変化量の算出方法。 | |
JP4844862B2 (ja) | 格子照明顕微鏡 | |
WO2013021615A1 (ja) | 構造化照明装置及び構造化照明方法、並びに構造化照明顕微鏡装置 | |
JP5278522B2 (ja) | 顕微鏡装置 | |
JP6014449B2 (ja) | レーザー走査顕微鏡装置 | |
JP5741709B2 (ja) | 構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置 | |
JP6364750B2 (ja) | 構造化照明装置、および構造化照明顕微鏡装置 | |
JPWO2018190339A1 (ja) | 収差補正方法及び光学装置 | |
JP2010139951A (ja) | 光学装置 | |
JP6127451B2 (ja) | 構造化照明装置及び構造化照明顕微鏡装置 | |
KR100602915B1 (ko) | 공초점 원리를 이용한 현미경 자동초점장치 및 방법 | |
JP6623029B2 (ja) | 光学的距離計測装置 | |
JPWO2015052920A1 (ja) | 構造化照明装置及び構造化照明顕微鏡装置 | |
JP6762183B2 (ja) | 位相計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12853709 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013546996 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12853709 Country of ref document: EP Kind code of ref document: A1 |