WO2016117415A1 - 画像取得装置および画像取得方法 - Google Patents

画像取得装置および画像取得方法 Download PDF

Info

Publication number
WO2016117415A1
WO2016117415A1 PCT/JP2016/050700 JP2016050700W WO2016117415A1 WO 2016117415 A1 WO2016117415 A1 WO 2016117415A1 JP 2016050700 W JP2016050700 W JP 2016050700W WO 2016117415 A1 WO2016117415 A1 WO 2016117415A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
light
image acquisition
condensing
condensing points
Prior art date
Application number
PCT/JP2016/050700
Other languages
English (en)
French (fr)
Inventor
直也 松本
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to CN201680006352.5A priority Critical patent/CN107209360B/zh
Priority to US15/544,129 priority patent/US10488640B2/en
Priority to EP16740022.5A priority patent/EP3249441B1/en
Publication of WO2016117415A1 publication Critical patent/WO2016117415A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/004—Scanning details, e.g. scanning stages fixed arrays, e.g. switchable aperture arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/114—Two photon or multiphoton effect
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0031—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes

Definitions

  • One aspect of the present invention relates to an image acquisition device and an image acquisition method.
  • Non-Patent Document 1 discloses a multiphoton absorption microscope using a spatial light modulator (SLM). This microscope intends to acquire a fluorescent image in an observation object at high speed and clearly by forming and scanning a plurality of excitation light spots using an SLM.
  • SLM spatial light modulator
  • an aberration for example, spherical aberration
  • the wavefront of the irradiation light may be controlled using an SLM.
  • the form of the observation light reaching the photodetector is affected by the aberration.
  • the observation light generated at a deep position of the observation object has a larger light diameter when reaching the objective lens than the observation light generated at a shallow position of the observation object. Accordingly, similarly in the photodetector, the light diameter of the observation light generated at the deep position is larger than the light diameter of the observation light generated at the shallow position.
  • An object of one aspect of the present invention is to provide an image acquisition device and an image acquisition method capable of reducing crosstalk caused by a plurality of observation lights overlapping each other.
  • An image acquisition apparatus is an apparatus that acquires an image of an observation object, a spatial light modulator that modulates irradiation light output from a light source, and a plurality of condensing points in the observation object.
  • a control unit that controls the modulation pattern presented to the spatial light modulator, and a condenser that collects the modulated irradiation light to form a plurality of condensing points in the observation object.
  • a scanning unit that scans the positions of a plurality of condensing points in an observation object in a scanning direction that intersects the optical axis of the optical optical system, and a plurality of condensing points, respectively,
  • a light detector that detects light and an image creation unit that creates an image of an observation object using a detection signal from the light detector.
  • a control part sets the center space
  • An image acquisition apparatus is an apparatus that acquires an image of an observation object, and includes a spatial light modulator that modulates irradiation light output from a light source, and a plurality of observation objects.
  • a control unit that controls the modulation pattern presented to the spatial light modulator so that a condensing point is formed, and modulated irradiation light is collected to form a plurality of condensing points in the observation object.
  • a condensing optical system that emits light, a photodetector that detects a plurality of observation lights respectively generated from a plurality of condensing points, and an image creation unit that creates an image of an observation object using detection signals from the photodetectors With.
  • the modulation pattern includes a pattern for scanning a plurality of condensing points in a scanning direction intersecting with the optical axis of the irradiation light.
  • a control part sets the center space
  • An image acquisition method is a method for acquiring an image of an observation object, and presents a modulation pattern for forming a plurality of condensing points on the observation object to the spatial light modulator. And a step of modulating the irradiation light output from the light source by a spatial light modulator and condensing the modulated irradiation light by a condensing optical system in order to form a plurality of condensing points in the observation object.
  • the center interval between adjacent condensing points is set based on the positions of a plurality of condensing points in the direction of the optical axis.
  • a modulation pattern is presented on the spatial light modulator, whereby a plurality of condensing points can be formed simultaneously and easily.
  • a plurality of condensing points are scanned (scanned), and a plurality of observation lights respectively generated at these condensing points are detected by the photodetector.
  • the center interval between adjacent condensing points is set based on the positions (that is, observation depths) of the plurality of condensing points in the direction of the optical axis.
  • the control unit may change the center interval according to a change in the position of a plurality of condensing points in the direction of the optical axis.
  • the center interval may be changed according to the change in the position of the plurality of condensing points in the direction of the optical axis.
  • the scanning unit may include an optical scanner that receives the modulated irradiation light, or may include a stage that moves the observation object in the scanning direction while holding the observation object.
  • a plurality of condensing points may be scanned using an optical scanner that receives modulated irradiation light, and the observation target is held in the scanning direction while holding the observation target.
  • a plurality of condensing points may be scanned using a stage for moving an object, or a pattern for scanning a plurality of condensing points may be superimposed on the modulation pattern. By any of these, the positions of a plurality of condensing points can be suitably scanned.
  • the photodetector has a plurality of detection areas for detecting a plurality of observation lights, respectively, and the sizes and center intervals of the plurality of detection areas are a plurality in the direction of the optical axis. It may be set based on the position of the condensing point.
  • a photodetector having a plurality of detection areas for detecting a plurality of observation lights is used, and the plurality of detection areas are a plurality of collections in the direction of the optical axis. It may be set based on the position of the light spot.
  • size of a some detection area are set according to the center space
  • the photodetector outputs a plurality of image data corresponding to a plurality of detection regions as a detection signal, and the image creation unit creates a plurality of images to create an image of the observation object.
  • the image data may be combined.
  • the photodetector outputs a plurality of image data corresponding to a plurality of detection regions as a detection signal, and in the image creation step, in order to create an image of the observation object, A plurality of image data may be combined.
  • the region to be observed in the observation object can be divided into a plurality of regions, and images of each region can be created in parallel, so that the observation time can be effectively shortened.
  • the photodetector may include a multi-anode photomultiplier having a plurality of anodes or an area image sensor having a plurality of pixels.
  • a plurality of observation lights may be detected using a multi-anode photomultiplier tube having a plurality of anodes, and an area image sensor having a plurality of pixels is used.
  • a plurality of observation lights may be detected. By any of these, it is possible to accurately detect a plurality of observation lights.
  • a plurality of condensing points may be arranged in a direction intersecting the scanning direction when viewed from the direction of the optical axis.
  • the region to be observed in the observation object can be divided into a plurality of regions, and images of each region can be created in parallel, so that the observation time can be effectively shortened.
  • control unit may further set the center interval between adjacent condensing points based on the aberration amounts of a plurality of condensing points in the direction of the optical axis.
  • the center interval between adjacent condensing points may be further set based on the aberration amounts of a plurality of condensing points in the direction of the optical axis.
  • the image acquisition device and the image acquisition method of one aspect of the present invention it is possible to simultaneously irradiate a plurality of lights having different condensing positions in the depth direction of the observation object.
  • FIG. 1 is a diagram illustrating a configuration of an image acquisition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram conceptually illustrating the state of the observation object and the irradiation light in the vicinity thereof.
  • FIG. 3 is a diagram conceptually showing the observation object and the state of irradiation light in the vicinity thereof.
  • FIG. 4 is a diagram schematically illustrating an example of the arrangement direction of the condensing points viewed from the optical axis direction of the objective lens.
  • FIG. 5 is a front view showing a light detection surface of the photodetector.
  • FIG. 6 is a diagram conceptually showing a plurality of image data included in the detection signal.
  • FIG. 7 is a flowchart of the image acquisition method.
  • FIG. 1 is a diagram illustrating a configuration of an image acquisition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram conceptually illustrating the state of the observation object and the irradiation light in the vicinity thereof.
  • FIG. 8 is a diagram conceptually showing how the reference height is set.
  • FIG. 9 is a diagram showing how the observation depth of the condensing point is set.
  • FIG. 10 is a diagram showing a state in which adjacent point images are overlapped with each other by the photodetector and crosstalk occurs.
  • FIG. 11 is a flowchart of an image acquisition method according to the first modification.
  • FIG. 12 shows an image obtained in the example.
  • FIG. 13 shows an image obtained in the example.
  • FIG. 1 is a diagram showing a configuration of an image acquisition apparatus 1A according to an embodiment of the present invention.
  • the image acquisition device 1A is a device for irradiating the observation object B with the irradiation light L1, and thereby observing the observation light (detected light) L2 generated in the observation object B.
  • the image acquisition device 1A is, for example, a microscope device. Examples of the microscope apparatus include an upright microscope and an inverted microscope.
  • the observation light L2 is, for example, fluorescence, phosphorescence, high frequency generated light (SHG), reflected light, transmitted light, scattered light, or the like.
  • the image acquisition apparatus 1 ⁇ / b> A includes an irradiation light generation unit 10, a scanning unit 20, an irradiation optical unit 30, an observation unit 40, and a control unit 50.
  • the irradiation light generation unit 10 generates irradiation light L1 that is irradiated onto the observation object B.
  • the irradiation light generation unit 10 of this embodiment includes a light source 11, a beam expander 12, and a spatial light modulator (SLM) 13.
  • SLM spatial light modulator
  • the light source 11 outputs the irradiation light L0.
  • the irradiation light L0 includes, for example, light having a wavelength to be irradiated on the observation object B.
  • the light source 11 includes, for example, a pulsed light oscillation or continuous wave oscillation laser light source, an SLD light source, or an LED light source.
  • the beam expander 12 includes, for example, a plurality of lenses 12a and 12b arranged side by side on the optical axis of the irradiation light L0, and adjusts the size of a cross section perpendicular to the optical axis of the irradiation light L0. .
  • the lenses 12a and 12b may be convex lenses or concave lenses, or a combination thereof.
  • the spatial light modulator 13 is optically coupled to the light source 11, and generates the irradiation light L 1 irradiated to the observation object B by modulating the irradiation light L 0 from the light source 11.
  • the spatial light modulator 13 has a plurality of pixels arranged two-dimensionally, and modulates the intensity or phase of the irradiation light L0 output from the light source 11 for each of a plurality of pixel columns.
  • the modulation pattern (hologram) presented to the spatial light modulator 13 is controlled by the control unit 50 described later.
  • the spatial light modulator 13 may be a phase modulation type or an amplitude (intensity) modulation type.
  • the spatial light modulator 13 may be either a reflection type or a transmission type. Further, a plurality of spatial light modulators 13 may be provided, and in that case, the irradiation light L0 is modulated a plurality of times.
  • the scanning unit 20 is an example of a scanning unit in the present embodiment.
  • the scanning unit 20 has an optical scanner 21 as a scanning optical system.
  • the optical scanner 21 is optically coupled to the spatial light modulator 13 and receives the irradiation light L1 modulated by the spatial light modulator 13.
  • the optical scanner 21 scans the irradiation position of the irradiation light L1 on the observation object B.
  • the optical scanner 21 receives the observation light L2 generated at the condensing point of the observation object B. Thereby, the observation light L2 is descanned.
  • the optical scanner 21 is controlled by a control unit 50 described later.
  • the optical scanner 21 is configured by, for example, a galvanometer mirror, a resonant mirror, a MEMS mirror, a two-dimensional acoustooptic device (AOM), a polygon mirror, or the like.
  • the optical scanner 21 can include an image transfer optical system such as a telecentric optical system.
  • the scanning unit 20 may further include a mirror 22 in addition to the optical scanner 21.
  • the mirror 22 bends the optical axis of the irradiation light L ⁇ b> 1 in order to optically couple the optical scanner 21 and the irradiation optical unit 30.
  • the irradiation optical unit 30 irradiates the observation target B with the irradiation light L1 provided from the scanning unit 20 and outputs the observation light L2 from the observation target B to the observation unit 40.
  • the irradiation optical unit 30 includes a stage 31, an objective lens 32, an objective lens moving mechanism 33, and a reflection mirror 34.
  • a dichroic mirror may be used as the reflection mirror 34.
  • the stage 31 is a member for supporting the observation object B (or a container such as a slide glass, a petri dish, a microplate, or a glass bottom dish that accommodates the observation object B).
  • the stage 31 is made of glass, for example.
  • the irradiation light L1 is irradiated from the front side of the stage 31, but the irradiation light L1 may pass through the stage 31 from the back side of the stage 31 and be irradiated to the observation object B.
  • the stage 31 is movable in a plane direction intersecting (for example, orthogonal) with respect to an optical axis of an objective lens 32 described later while holding the observation object B. Further, it may be movable in the optical axis direction of the objective lens 32.
  • the objective lens 32 is a condensing optical system that is arranged to face the observation object B and forms a condensing point of the irradiation light L1 inside the observation object B.
  • the objective lens 32 receives the observation light L2 generated at the condensing point of the observation object B and collimates the observation light L2.
  • the objective lens for the irradiation light L1 and the objective lens for the observation light L2 may be provided separately.
  • an objective lens having a high numerical aperture (NA) may be used for the irradiation light L ⁇ b> 1, and the light may be condensed locally by aberration correction by the spatial light modulator 13.
  • an objective lens having a large pupil may be used for the observation light L2 so that more light can be extracted.
  • the objective lens for the irradiation light L1 and the objective lens for the observation light L2 are arranged so as to sandwich the observation object B, and the transmitted light of the irradiation light L1 through the observation object B is acquired as the observation light L2. Also good.
  • the objective lens moving mechanism 33 is a mechanism for moving the objective lens 32 in the optical axis direction of the irradiation light L1.
  • the objective lens moving mechanism 33 is configured by, for example, a stepping motor or a piezo actuator.
  • the reflection mirror 34 reflects the irradiation light L1 that has reached the irradiation optical unit 30 from the irradiation light generation unit 10 toward the objective lens 32. Further, the reflection mirror 34 reflects the observation light L2 from the observation object B toward the scanning unit 20.
  • At least one telecentric optical system may be provided on the optical axes of the irradiation light L1 and the observation light L2.
  • two telecentric optical systems 61 and 62 are shown in FIG.
  • the telecentric optical systems 61 and 62 have a role of transferring the wavefront of the irradiation light L1 generated in the spatial light modulator 13 to the rear focal point of the objective lens 32.
  • the telecentric optical systems 61 and 62 may be double-sided telecentric optical systems.
  • the telecentric optical system 61 disposed between the spatial light modulator 13 and the optical scanner 21 is adjusted so as to form an image on the modulation surface of the spatial light modulator 13 and the scanning surface of the optical scanner 21.
  • the telecentric optical system 62 disposed between the optical scanner 21 and the objective lens 32 is adjusted so as to form an image on the scanning surface of the optical scanner 21 and the pupil plane of the objective lens 32.
  • the telecentric optical systems 61 and 62 are capable of transferring the wavefront of the irradiation light L1 generated by the spatial light modulator 13 to the rear focal point of the objective lens 32, and the image side telecentric optical system and the object side telecentric optics. It may be a system. Further, when the distance between the objective lens 32 and the spatial light modulator 13 is extremely short, the telecentric optical system can be omitted.
  • the observation unit 40 includes a photodetector 41, a filter 42, and a condenser lens 43.
  • the photodetector 41 is optically coupled to the objective lens 32 and the optical scanner 21, and receives the observation light L2 and detects the light intensity of the observation light L2.
  • the photodetector 41 is optically coupled to the optical scanner 21 via the dichroic mirror 14 provided in the irradiation light generation unit 10.
  • the dichroic mirror 14 is disposed at a position for receiving the irradiation light L1 modulated by the spatial light modulator 13 and the observation light L2 descanned by the optical scanner 21, and transmits at least a part of the irradiation light L1. Reflect at least partly.
  • the photodetector 41 detects the light intensity of the observation light L2 and outputs a detection signal Sd.
  • the photodetector 41 may be constituted by a multi-anode type photomultiplier tube (PMT) having a plurality of anodes, or a photodiode array in which a plurality of photodiodes are arranged in an array. Alternatively, it may be constituted by an avalanche photodiode array in which a plurality of avalanche photodiodes are arranged in an array.
  • PMT multi-anode type photomultiplier tube
  • the photodetector 41 may be an area image sensor having a plurality of pixels, such as a CCD image sensor, an EM-CCD image sensor, or a CMOS image sensor, or may be a line sensor.
  • the multi-anode type PMT has a high multiplication factor and a light receiving surface larger than the others.
  • the filter 42 is disposed on the optical axis between the dichroic mirror 14 and the photodetector 41.
  • the filter 42 cuts the wavelength of the irradiation light L1 and the wavelength of fluorescence unnecessary for observation from the light incident on the photodetector 41.
  • the condensing lens 43 is disposed immediately before the light detector 41 and condenses the observation light L2 toward the light detector 41. Note that the filter 42 may be disposed either before or after the condenser lens 43. Further, when the filter 42 is unnecessary, it may not be provided.
  • the control unit 50 controls the irradiation light generation unit 10, the scanning unit 20, and the irradiation optical unit 30.
  • the control unit 50 controls the light source 11, the spatial light modulator 13, and the optical scanner 21.
  • the control unit 50 uses the objective lens moving mechanism 33 to control the position (height) of the objective lens 32 in the optical axis direction.
  • the control unit 50 moves the stage 31 that supports the observation object B in a direction that intersects the optical axis direction.
  • the control unit 50 includes an input device 51 such as a mouse and a keyboard, a display device 52 such as a display, and a computer 53.
  • the computer 53 is an example of an image creating unit in the present embodiment.
  • the computer 53 is, for example, a personal computer or a smart device, and includes an image processing circuit (image processing processor), a control circuit (control processor), and an internal memory.
  • the computer 53 creates an image of the observation object B using the detection signal Sd from the light detector 41 and the light irradiation position information in the optical scanner 21.
  • the created image is displayed on the display device 52.
  • the computer 53 is an example of a control unit (controller) in the present embodiment.
  • the computer 53 controls the modulation pattern (hologram) presented to the spatial light modulator 13 so that a desired condensing point is formed on the observation object B.
  • the created image may be stored in the memory of the computer 53 or an external storage device.
  • FIGS. 2 and 3 are diagrams conceptually showing the state of the irradiation light L1 in the observation object B and the vicinity thereof.
  • the irradiation light L ⁇ b> 1 is condensed at a plurality of condensing points P ⁇ b> 1 by the objective lens 32.
  • FIG.2 and FIG.3 has expanded and showed two condensing points P1 adjacent to each other among several condensing points P1.
  • An imaginary line A ⁇ b> 1 in the figure is a reference line representing the reference height of the objective lens 32.
  • FIG. 2 shows a case where the depth d of the condensing point P1 from the surface of the observation object B is shallow
  • FIG. 3 shows the condensing point P1 from the surface of the observation object B.
  • the condensing point P1 shown in FIG. 3 is farther from the surface of the observation object B than the condensing point P1 shown in FIG.
  • the center interval of the focal point P1 in the direction orthogonal to the optical axis direction of the objective lens 32 is set based on the position of the focal point P1 in the optical axis direction of the objective lens 32. For example, as shown in FIG. 2, when the depth of the condensing point P1 is d, the computer 53 sets the center interval W between the adjacent condensing points P1 to be narrow. Further, as shown in FIG. 3, when the depth d of the condensing point P1 is deep, the computer 53 sets the center interval W between the adjacent condensing points P1 wide.
  • the computer 53 sets the center interval between the adjacent condensing points P1 wider as the position of the condensing point P1 in the optical axis direction of the objective lens 32 is farther from the surface of the observation object B. Such setting is performed through control of a modulation pattern presented to the spatial light modulator 13. Further, the computer 53 changes the center interval W between the adjacent condensing points P1 each time in response to a change in the observation depth d, that is, a change in the position of the condensing point P1 in the optical axis direction of the objective lens 32. Good.
  • the center interval of the focal point P1 in the direction orthogonal to the optical axis direction of the objective lens 32 is further set based on the surface and / or internal aberration amount of the observation object B. For example, when the aberration amount is large, the center interval of the condensing point P1 is set wide, and when the aberration amount is small, the center interval of the condensing point P2 is set narrow. Such setting is performed through control of a modulation pattern presented to the spatial light modulator 13. Note that the aberration amount on the surface and / or inside of the observation object B may be obtained by actual measurement or may be obtained by estimation by simulation or the like.
  • FIG. 4 is a diagram schematically showing an example of the arrangement direction of the condensing points P ⁇ b> 1 as seen from the optical axis direction of the objective lens 32.
  • 4A shows the scanning direction A2 of the condensing point P1
  • FIG. 4B shows the state of scanning by the optical scanner 21 of the condensing point P1 viewed from the optical axis direction of the irradiation light L1.
  • the condensing points P1 are arranged along the direction A3 intersecting the scanning direction A2 when viewed from the optical axis direction of the irradiation light L1.
  • FIG. 4A shows the scanning direction A2 of the condensing point P1
  • FIG. 4B shows the state of scanning by the optical scanner 21 of the condensing point P1 viewed from the optical axis direction of the irradiation light L1.
  • the condensing points P1 are arranged along the direction A3 intersecting the scanning direction A2 when viewed from the optical axis direction of the
  • the scanning by the optical scanner 21 has a high speed axis and a low speed axis, and the condensing point P1 moves along the high speed axis and then moves in the direction of the low speed axis.
  • the operation of shifting and moving along the high-speed axis again is repeated.
  • the arrangement direction of the condensing points P1 viewed from the optical axis direction of the irradiation light L1 is along the low-speed axis (that is, the axis that intersects the scanning direction A2).
  • the direction A3 is, for example, orthogonal to the scanning direction A2 or inclined with respect to the scanning direction A2.
  • the optical scanner 21 may scan the condensing point P1 so that the condensing point P1 moves along the high-speed axis and also moves in the low-speed axis direction. Further, not only line scanning but also tiling scanning may be used.
  • the plurality of condensing points P1 formed by the positional relationship as described above are realized by the computer 53 that controls the modulation pattern presented to the spatial light modulator 13 and the objective lens 32.
  • the computer 53 controls the modulation pattern so that a plurality of condensing points P1 are formed on the observation object B. Then, the modulated irradiation light L1 is condensed by the objective lens 32, and a plurality of condensing points P1 are formed on the observation object B.
  • the light detection surface 44 includes a plurality of light detection units 44a.
  • the light detection unit 44a corresponds to each anode of the multi-anode PMT.
  • the light detection unit 44a corresponds to one pixel or a pixel group.
  • the photodetector 41 is a photodiode array (line sensor)
  • the light detection unit 44a corresponds to each photodiode.
  • FIGS. 5A to 5C a plurality of point images P2 of the observation light respectively generated from the plurality of condensing points P1 are formed on the light detection surface 44.
  • the photodetector 41 detects a plurality of observation lights by detecting the light intensity of each of the plurality of point images P2.
  • FIG. 5A shows the case where the observation depth of the condensing point P1 is shallow
  • FIG. 5C shows the case where the observation depth of the condensing point P1 is deep
  • FIG. 5B shows the condensing point P1. This shows a case where the observation depth is intermediate between them.
  • the light diameter of the point image P2 of the observation light reaching the photodetector 41 is increased.
  • the observation depth of the condensing point P1 since the observation depth of the condensing point P1 is shallow, the light diameter of the point image P2 becomes small.
  • the observation depth of the condensing point P1 since the observation depth of the condensing point P1 is deep, the light diameter of the point image P2 becomes large.
  • the size of the diameter of the point image P2 of the observation light that reaches the photodetector 41 also varies depending on the size of the distance between the focal point of the objective lens 32 and the focal point P1.
  • the photodetector 41 has a plurality of detection areas 45 for detecting a plurality of point images P2, respectively.
  • the plurality of detection regions 45 are regions independent of each other, and each include one or a plurality of light detection units 44a.
  • the sizes and center intervals of the plurality of detection regions 45 are set based on the positions (that is, observation depths) of the plurality of condensing points P1 in the optical axis direction of the objective lens 32.
  • each detection region 45 is set to include one light detection unit 44a, and the center interval is set equal to the center interval of the light detection unit 44a.
  • the size of the plurality of detection regions 45 is set larger than that in FIG.
  • the center interval is set longer than that in FIG.
  • each detection region 45 is set to include three light detection units 44a, and the center interval thereof is set equal to the center interval of every fifth light detection unit 44a.
  • the detection signals from the three light detection units 44 a are summed to become a detection signal from the detection region 45.
  • the observation depth of the condensing point P1 is intermediate between those shown in FIGS. 5A and 5C, so the size of the plurality of detection regions 45 is as shown in FIG. ) And smaller than FIG. 5C, and the center interval of the plurality of detection regions 45 is set longer than FIG. 5A and shorter than FIG. 5C.
  • each detection region 45 is set to be composed of two light detection units 44a, and the center interval is set equal to the center interval between every two light detection units 44a.
  • the detection signals from the two light detection units 44 a are summed to become a detection signal from the detection region 45.
  • the center interval of the plurality of detection regions 45 is different from the center interval W of the condensing point P1.
  • the computer 53 as an image creation unit creates an image of the observation object B based on the detection signal Sd from the light detector 41 and the light irradiation position information in the optical scanner 21.
  • the detection signal Sd from the photodetector 41 includes a plurality of image data corresponding to the plurality of detection regions 45.
  • FIG. 6 is a diagram conceptually showing a plurality of image data D1 included in the detection signal Sd.
  • a plurality of elongated image data (strip images) D1 is generated from the plurality of observation lights.
  • each image data D1 is an image of the scanning area of each condensing point P1.
  • the computer 53 creates an image of the observation object B by combining the plurality of image data D1 with each other. Thereby, an internal image of the observation object B at a desired observation depth can be created.
  • region may be set so that the scanning area
  • the boundary portion between the plurality of image data D1 can be made inconspicuous.
  • FIG. 7 is a flowchart showing the operation of the image acquisition apparatus 1A described above.
  • the image acquisition method according to the present embodiment will be described with reference to FIG.
  • step S1 the reference height of the objective lens 32 is set (step S1).
  • the distance between the objective lens 32 and the observation object B is adjusted by the objective lens moving mechanism 33 or the stage 31, and the reference height is set.
  • FIG. 8 is a diagram conceptually showing how the reference height Z0 is set.
  • the height of the objective lens 32 may be adjusted so that the focal position of the objective lens 32 matches the surface of the observation object B, and the height may be set as the reference height Z0.
  • the stage 31 may be moved in the optical axis direction of the objective lens 32 so that the focal position of the objective lens 32 matches the surface of the observation object B.
  • the computer 53 stores this reference height Z0.
  • the observation depth d of the condensing point P1, that is, the depth inside the observation object B to be imaged is set (step S2).
  • the observer may input the position in the optical axis direction of the objective lens 32 with respect to the reference height Z0 via the input device 51, or input the depth from the surface of the observation object B. May be.
  • the depth inside the observation object B may be an actual distance or an optical distance.
  • the objective lens is actually considered in consideration of the refractive index of the medium (for example, air, water, oil, glycerin, silicone, etc.) between the objective lens 32 and the observation object B and / or the refractive index of the observation object B.
  • the amount by which 32 (or stage 31) is moved may be calculated. For example, in this case, an observation depth d optical distance of the focal point P1, the refractive index of the medium n a, and the refractive index of the observed object B and n b, the objective lens 32 (or stage 31) calculates a movement amount as n b ⁇ d / n a.
  • the center interval W of the plurality of condensing points P1 is set (step S3).
  • the center interval W is preferably increased as the depth d of the condensing point P1 increases.
  • the center interval W may be set based on parameters such as the surface shape and internal structure, the surface of the observation object B, and / or the amount of aberration inside. These parameters may be obtained by actual measurement or may be obtained by estimation by simulation or the like.
  • the center interval W corresponding to the depth d may be calculated in advance and stored as a table in the storage area of the computer 53, and an appropriate center interval W may be selected from the table.
  • a modulation pattern (hologram) is created (step S4).
  • a computer generated hologram (CGH) to be presented to the spatial light modulator 13 is created based on the interval W and depth d of the plurality of condensing points P1 set in steps S2 and S3.
  • This step S4 is performed by the computer 53, for example.
  • the CGH corresponding to the depth d and the interval W may be calculated in advance, stored as a table in a storage unit inside the computer 53, and an appropriate CGH may be selected from the table.
  • step S4 the CGH created in step S4, that is, a modulation pattern that forms a plurality of condensing points P1 on the observation object B is presented to the spatial light modulator 13 (pattern presentation step S5).
  • the irradiation light L0 output from the light source 11 is modulated by the spatial light modulator 13, and the modulated irradiation light L1 is condensed by the objective lens 32, whereby a plurality of light beams are collected at the depth d of the observation object B.
  • a light spot P1 is formed (focusing point forming step S6).
  • steps S5 and S6 the distance between the objective lens 32 and the observation object B is adjusted so that the condensing point P1 is formed at the depth d inside the observation object B.
  • CGH is presented to the spatial light modulator 13, whereby the irradiation light L0 output from the light source 11 is modulated, and the modulated irradiation light L1 is condensed by the objective lens 32, and the observation object B A plurality of condensing points P1 are formed with a center interval W at the position of the internal depth d.
  • CGH may be presented to the spatial light modulator 13 and the modulated irradiation light L1 may be condensed by the objective lens 32.
  • an image of the observation object B is created (image creation step S8).
  • the computer 53 uses the detection signal Sd (light intensity information) obtained in the light detection step S7 and the optical scanning position information (planar position information of the condensing point P1) by the optical scanner 21.
  • An image of the observation object B is created at. Specifically, as shown in FIG. 6, a plurality of image data D1 is acquired from the detection signal Sd and the optical scanning position information (step S8a), and then the plurality of image data D1 are combined with each other. Then, an image of the observation object B is created (step S8b).
  • the modulation pattern is presented to the spatial light modulator 13, whereby a plurality of condensing points P ⁇ b> 1 can be formed simultaneously and easily.
  • a plurality of condensing points P1 are scanned (scanned), and a point image P2 of a plurality of observation lights respectively generated at these condensing points P1 is detected by the photodetector 41.
  • the observation object B can be irradiated with the plurality of irradiation lights L1 at the same time, and the plurality of observation lights L2 can be detected simultaneously. be able to. Therefore, the observation time can be shortened, and the situation at the same time in a plurality of locations can be easily acquired.
  • the observation time can be shortened to reduce the load on the living body and enable observation in a better state. For example, when it takes 100 minutes for three-dimensional imaging, it is difficult to observe in a state where the living body is alive. However, if the time is 10 minutes, it is considered that observation in the state where it is alive is possible.
  • FIG. 10 is a diagram for explaining such a phenomenon.
  • FIG. 10A a case is considered where point images P2 of a plurality of observation lights are incident on a plurality of detection regions 45 at a certain observation depth d.
  • the light diameter of the observation light generated at the deep position of the observation object B is larger than the light diameter of the observation light generated at the shallow position ( (See FIG. 5).
  • the aberration on the surface of the observation object B is, for example, spherical aberration caused by a difference in refractive index between the immersion liquid or air used for observation and the observation object B, and a refractive index boundary with respect to the optical axis.
  • Astigmatism, coma aberration, defocus aberration, etc. that occur when the image is not vertical.
  • spherical aberration tends to increase as the observation depth d increases.
  • the light diameter of the observation light generated at a deep position of the observation object B is shallow even though it is caused by aberration (spherical aberration, astigmatism, coma aberration, defocus aberration, etc.) inside the observation object B.
  • the point images P2 of the adjacent observation lights may overlap each other at the photodetector 41, and crosstalk may occur. When crosstalk occurs, it becomes difficult to accurately detect each of the plurality of observation lights L2.
  • the center interval W between the adjacent condensing points P1 is set in the optical axis direction of the objective lens 32. It is set based on the positions (that is, observation depth d) of the plurality of condensing points P1. Accordingly, for example, when the light diameter of the point image P2 of the observation light is increased in the photodetector 41, the center interval W of the condensing point P1 can be widened, so that a plurality of point images P2 are prevented from overlapping. In addition, crosstalk can be reduced.
  • the center interval W between the adjacent condensing points P1 is further set based on the surface and / or internal aberration amount of the observation object B.
  • the center interval W between the adjacent condensing points P1 is set in consideration of the amount of aberration on the surface and / or inside of the observation object B, so that the overlapping of the plurality of point images P2 is further suppressed. , Crosstalk can be reduced. Therefore, each of the point images P2 of the plurality of observation lights can be detected with high accuracy, and a clear image in the observation object can be provided.
  • the plurality of condensing points P1 indicate condensing points with the same amount of light.
  • a condensing point that is much less light than other condensing points and does not contribute to image creation is not included in this condensing point.
  • the condensing point P1 in the present embodiment refers to a condensing point that generates observation light L2 useful for image creation.
  • the light is easily condensed at a desired position in a direction perpendicular or parallel to the optical axis direction of the irradiation light L1.
  • the number of condensing points, position, intensity, etc. can be easily changed.
  • the computer 53 may increase the center interval W as the plurality of condensing points P1 move away from the surface of the observation object B. Thereby, the crosstalk of the observation light caused by the aberration of the surface of the observation object B can be suitably reduced.
  • the photodetector 41 has a plurality of detection areas 45 for detecting the respective point images P2 of the plurality of observation lights, and the sizes and center intervals of the plurality of detection areas 45 are as follows. Alternatively, it may be set based on the positions of a plurality of condensing points P1 in the optical axis direction of the objective lens 32. Thereby, since the pitch and size of the plurality of detection regions 45 are set according to the center interval and the light diameter of the point images P2 in the photodetector 41, it is possible to suitably detect the plurality of observation lights L2. it can.
  • the photodetector 41 outputs a plurality of image data D1 corresponding to the plurality of detection regions 45 as the detection signal Sd.
  • the computer 53 displays a plurality of images.
  • An image of the observation object B may be created by combining the data D1. Thereby, the region to be observed in the observation object B can be divided into a plurality of regions, and images of the respective regions can be created in parallel, so that the observation time can be effectively shortened.
  • the photodetector 41 may include a multi-anode photomultiplier having a plurality of anodes, or may include an area image sensor having a plurality of pixels. By any of these, the light intensity of the observation light L2 can be detected with high accuracy in each of the plurality of point images P2.
  • a plurality of condensing points P1 may be arranged in a direction intersecting the scanning direction A2 when viewed from the optical axis direction of the objective lens 32.
  • the region to be observed in the observation object B can be divided into a plurality of regions, and images of the respective regions can be created in parallel, so that the observation time can be effectively shortened.
  • the modulation pattern presented to the spatial light modulator 13 may include an aberration correction pattern for the irradiation light L1.
  • the condensing point P1 can be made small and the measurement resolution can be increased. Then, a wide observation area is observed at a small interval.
  • a plurality of condensing points P1 are simultaneously irradiated and point images P2 of a plurality of observation lights are simultaneously detected. Can be effectively shortened. For example, even if the observation with a single condensing point P1 requires more observation time, the observation time can be prevented from increasing or can be observed in a much shorter time. It becomes.
  • FIG. 11 is a flowchart of an image acquisition method according to a first modification of the above embodiment.
  • an image of the observation object B at a certain observation depth d is acquired.
  • an image is acquired while changing the observation depth d in order from the surface of the observation object B.
  • steps S1 to S8 shown in FIG. 11 are the same as those in the above-described embodiment, and thus description thereof is omitted.
  • the computer 53 sets a plurality of observation depths d (step S11).
  • the plurality of observation depths d may be set by the observer via the input device 51, or may be automatically set by the computer 53 based on the image acquisition range input by the observer. .
  • steps S2 to S8 are performed as in the above embodiment.
  • step S12: NO when images have not been created for all the observation depths d (step S12: NO), the process returns to step S2 again, and the computer 53 resets the depth d of the condensing point P1, and the depth d. To change.
  • step S3 the computer 53 changes the center interval W according to the change in the observation depth d. Specifically, the computer 53 increases the center interval W as the condensing point P1 is farther from the surface of the observation object B. If images have been created for all observation depths d (step S12: YES), the process ends.
  • the computer 53 may change the center interval W in accordance with changes in the positions of the plurality of condensing points P1 in the optical axis direction of the objective lens 32 (that is, the observation depth d). Thereby, observation at a plurality of observation depths d can be continuously performed while suppressing crosstalk.
  • the computer 53 may increase the center interval W as the plurality of condensing points P1 are separated from the surface of the observation object B. Thereby, the crosstalk of the observation light caused by the aberration of the surface of the observation object B can be suitably reduced.
  • the condensing point P1 is scanned by the optical scanner 21, but even if the condensing point P1 is scanned by moving the stage 31 in the plane direction intersecting the optical axis direction. Good.
  • the scanning unit of the above embodiment may include the stage 31 instead of or together with the optical scanner 21. Even with such a configuration, the condensing point P1 can be suitably scanned.
  • the light condensing point P1 is scanned by the optical scanner 21, but a pattern (light) for scanning the light condensing point P1 to the modulation pattern presented to the spatial light modulator 13 is used.
  • a scanning hologram may be included (superimposed). In this case, since the scanning unit in the above embodiment is not necessary, the number of components of the image acquisition device 1A can be reduced, which can contribute to downsizing.
  • Example 2 Here, an example of the above embodiment will be described.
  • the observation object B a resin containing a plurality of fluorescent beads having a diameter of 3 ⁇ m was prepared. This resin was observed using an objective lens (water immersion 40 times, NA 1.15). A plurality of condensing points P1 were formed at a position of depth d, and these condensing points P1 were scanned to acquire an image. At this time, the plurality of condensing points P1 are arranged along a direction A3 orthogonal to the scanning direction A2. The observation depth d was 5 ⁇ m and 250 ⁇ m.
  • an arrow A4 in the figure represents the scanning start positions of the plurality of condensing points P1 in the direction A3.
  • FIG. 12 shows an image obtained when the observation depth d is 5.68 ⁇ m in terms of optical distance and the center interval W between the plurality of condensing points P1 is 13.7 ⁇ m. At this time, a clear fluorescent image could be acquired.
  • FIG. 13 shows an image obtained when the observation depth d is 292 ⁇ m in terms of optical distance.
  • FIG. 13A is an image obtained by setting the center interval W of the plurality of condensing points P1 to 27.4 ⁇ m
  • FIG. 13B shows the center interval W of the plurality of condensing points P1 of 13.7 ⁇ m. It is the image obtained as.
  • FIG. 13B when the observation depth d is changed to 292 ⁇ m and the center interval W remains unchanged at 13.7 ⁇ m, one fluorescent bead is inherently affected by the crosstalk of the observation light. However, it appeared that there were a plurality of fluorescent beads (see range B1 in the figure).
  • FIG. 13A when the center interval W is changed to 27.4 ⁇ m based on the observation depth d (292 ⁇ m), the influence of crosstalk is clearly suppressed. A fluorescent image could be acquired.
  • SYMBOLS 1A ... Image acquisition device, 10 ... Irradiation light generation unit, 11 ... Light source, 12 ... Beam expander, 13 ... Spatial light modulator, 14 ... Dichroic mirror, 20 ... Scanning unit, 21 ... Optical scanner, 22 ... Mirror, 30 Irradiating optical unit 31 ... stage 32 ... objective lens 33 ... objective lens moving mechanism 34 ... reflecting mirror 40 ... observation unit 41 ... photodetector 42 ... filter 43 ... condensing lens 44 ... light Detection surface, 44a ... light detection unit, 45 ... detection region, 50 ... control unit, 51 ... input device, 52 ... display device, 53 ... computer, 61, 62 ... telecentric optical system, B ... observation object, D1 ... image Data, L1 ... irradiation light, L2 ... observation light, P1 ... condensing point, P2 ... point image, Sd ... detection signal.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Nonlinear Science (AREA)

Abstract

　照射光を変調する空間光変調器と、観察対象物において複数の集光点が形成されるように変調パターンを制御する制御部と、変調された前記照射光を集光する集光光学系と、前記集光光学系の光軸と交差する走査方向に、前記観察対象物中の前記複数の集光点の位置を走査する走査部と、前記複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、を備え、前記制御部は、隣り合う前記集光点の中心間隔を、前記光軸の方向における前記複数の集光点の位置に基づいて設定する、画像取得装置。

Description

画像取得装置および画像取得方法
　本発明の一側面は、画像取得装置および画像取得方法に関する。
　非特許文献１は、空間光変調器（Spatial Light Modulator；ＳＬＭ）を用いた多光子吸収顕微鏡を開示する。この顕微鏡は、ＳＬＭを用いて、複数の励起光スポットを形成して走査することにより、観察対象物内の蛍光画像を高速に且つ鮮明に取得することを企図している。
特開２０１２－２２６２６８号公報
Wan Qin, Yonghong Shao, Honghai Liu, Xiang Peng, Hanben Niu, and Bruce Gao, "Addressable discrete-line-scanning multiphoton microscopy based on a spatial light modulator", OPTICS LETTERS, Vol. 37, No. 5, pp.827-829, March 1, 2012
　近年、観察対象物に照射される励起光や照明光といった光を、ＳＬＭを用いて変調する技術が研究されている。このような技術によれば、観察対象物に対して様々な照射光、例えば平坦な強度分布を有する光や複数の位置（スポット）に同時に照射される光などを実現することができる。
　顕微観察において観察対象物の複数の位置に光を同時に照射することにより、複数の箇所を同時に観察することが可能となるので、観察時間を短縮でき、また複数の箇所の同時刻における状況を取得できる等の利点がある。そのためには、複数の位置に同時に光を照射するとともに、これらの位置から生じた観察光を、例えば複数の検出領域を有する光検出器を用いて同時に検出する必要がある。しかしながら、このようにして観察光を検出する際には、以下のような問題が生じることがある。
　照射光を観察対象物に照射する際には、観察対象物の表面形状に起因する収差（例えば球面収差）が生じる。このような収差を補正するためには、例えばＳＬＭを用いて照射光の波面を制御するとよい。しかしながら、観察対象物から生じる観察光に対しては、このような補正を行うことが困難であることが多い。従って、光検出器に到達した観察光の形態は、収差に影響されたものとなる。すなわち、観察対象物の深い位置において生じた観察光では、観察対象物の浅い位置において生じた観察光と較べて、対物レンズ到達時の光径が大きくなる。従って、光検出器においても同様に、深い位置において生じた観察光の光径が、浅い位置において生じた観察光の光径よりも大きくなる。
　顕微観察において、厚みのある観察対象物を浅い位置から深い位置まで観察する場合、上記の現象により、観察深さによって観察光の光径が異なる。従って、複数の位置から生じた複数の観察光を同時に検出する場合、観察深さによっては、光検出器にて隣り合う観察光同士が重なり合い、クロストークが発生するおそれがある。クロストークが発生すると、複数の観察光それぞれを精度良く検出することが困難となる。
　本発明の一側面は、複数の観察光同士が重なり合うことによるクロストークを低減できる画像取得装置および画像取得方法を提供することを目的とする。
　本発明の一実施形態による画像取得装置は、観察対象物の画像を取得する装置であって、光源から出力された照射光を変調する空間光変調器と、観察対象物において複数の集光点が形成されるように、空間光変調器に呈示される変調パターンを制御する制御部と、観察対象物中に複数の集光点を形成するために、変調された照射光を集光する集光光学系と、集光光学系の光軸と交差する走査方向に、観察対象物中の複数の集光点の位置を走査する走査部と、複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、光検出器からの検出信号を用いて観察対象物の画像を作成する画像作成部とを備える。制御部は、隣り合う集光点の中心間隔を、光軸の方向における複数の集光点の位置に基づいて設定する。
　また、本発明の別の実施形態による画像取得装置は、観察対象物の画像を取得する装置であって、光源から出力された照射光を変調する空間光変調器と、観察対象物において複数の集光点が形成されるように、空間光変調器に呈示される変調パターンを制御する制御部と、観察対象物中に複数の集光点を形成するために、変調された照射光を集光する集光光学系と、複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、光検出器からの検出信号を用いて観察対象物の画像を作成する画像作成部とを備える。変調パターンは、照射光の光軸と交差する走査方向に複数の集光点を走査するためのパターンを含む。制御部は、隣り合う集光点の中心間隔を、光軸の方向における複数の集光点の位置に基づいて設定する。
　また、本発明の一実施形態による画像取得方法は、観察対象物の画像を取得する方法であって、観察対象物において複数の集光点を形成するための変調パターンを空間光変調器に呈示するステップと、光源から出力された照射光を空間光変調器において変調し、観察対象物中に複数の集光点を形成するために、変調された照射光を集光光学系により集光するステップと、照射光の光軸と交差する走査方向に、観察対象物中の複数の集光点の位置を走査しつつ、複数の集光点からそれぞれ生じた複数の観察光を検出するステップと、光検出ステップにより得られた検出信号を用いて観察対象物の画像を作成するステップとを含む。パターン呈示ステップでは、隣り合う集光点の中心間隔を、光軸の方向における複数の集光点の位置に基づいて設定する。
　これらの画像取得装置および画像取得方法では、変調パターンが空間光変調器に呈示されることにより、複数の集光点を同時に且つ容易に形成することができる。そして、複数の集光点が走査（スキャン）されるとともに、これらの集光点においてそれぞれ生じた複数の観察光が光検出器によって検出される。このように、上記の各画像取得装置および画像取得方法によれば、観察対象物に複数の光を同時に照射することができ、更に、複数の観察光を同時に検出することができる。従って、観察時間を短縮でき、また複数の箇所の同時刻における状況を容易に取得できる。
　また、前述したように、複数の位置から生じた複数の観察光を同時に検出する場合、観察深さによっては、光検出器にて隣り合う観察光同士が重なり合い、クロストークが発生するおそれがある。これに対し、上記の画像取得装置および画像取得方法では、隣り合う集光点の中心間隔が、光軸の方向における複数の集光点の位置（すなわち観察深さ）に基づいて設定される。これにより、例えば光検出器において観察光の光径が大きくなる場合には集光点の中心間隔を広げることができるので、複数の観察光同士が重なり合うことを抑制し、クロストークを低減できる。従って、複数の観察光それぞれを精度良く検出することが可能となり、明瞭な観察対象物中の画像を提供することができる。
　また、上記の画像取得装置において、制御部は、光軸の方向における複数の集光点の位置の変化に応じて中心間隔を変化させてもよい。同様に、上記の画像取得方法のパターン呈示ステップでは、光軸の方向における複数の集光点の位置の変化に応じて中心間隔を変化させてもよい。これにより、複数の観察深さでの観察を、クロストークを抑えながら連続して行うことができる。この場合、制御部は（若しくはパターン呈示ステップにおいて）、光軸の方向における複数の集光点の位置が観察対象物の表面から離れるほど中心間隔を広くしてもよい。これにより、観察対象物の表面の収差に起因する観察光のクロストークを好適に低減できる。
　また、上記の画像取得装置において、走査部は、変調された照射光を受ける光スキャナを含んでもよく、或いは、観察対象物を保持しつつ走査方向に観察対象物を移動させるステージを含んでもよい。また、上記の画像取得方法の光検出ステップでは、変調された照射光を受ける光スキャナを用いて複数の集光点の走査を行ってもよく、観察対象物を保持しつつ走査方向に観察対象物を移動させるステージを用いて複数の集光点の走査を行ってもよく、或いは、複数の集光点を走査するためのパターンを変調パターンに重畳させてもよい。これらの何れかによって、複数の集光点の位置を好適に走査することができる。
　また、上記の画像取得装置において、光検出器は、複数の観察光をそれぞれ検出するための複数の検出領域を有し、複数の検出領域の大きさ及び中心間隔は、光軸の方向における複数の集光点の位置に基づいて設定されてもよい。同様に、上記の画像取得方法の光検出ステップでは、複数の観察光をそれぞれ検出するための複数の検出領域を有する光検出器を用い、複数の検出領域は、光軸の方向における複数の集光点の位置に基づいて設定されてもよい。これにより、光検出器での観察光同士の中心間隔や光径に応じて複数の検出領域のピッチ及び大きさが設定されるので、複数の観察光を好適に検出することができる。
　また、上記の画像取得装置において、光検出器は、検出信号として、複数の検出領域に対応する複数の画像データを出力し、画像作成部は、観察対象物の画像を作成するために、複数の画像データを結合してもよい。同様に、上記の画像取得方法において、光検出器は、検出信号として、複数の検出領域に対応する複数の画像データを出力し、画像作成ステップでは、観察対象物の画像を作成するために、複数の画像データを結合してもよい。これにより、観察対象物において観察対象となる領域を複数の領域に分割し、各領域の画像を並行して作成することができるので、観察時間を効果的に短縮できる。
　また、上記の画像取得装置において、光検出器は、複数のアノードを有するマルチアノード光電子増倍管を含んでもよく、複数の画素を有するエリアイメージセンサを含んでもよい。同様に、上記の画像取得方法の光検出ステップでは、複数のアノードを有するマルチアノード光電子増倍管を用いて複数の観察光を検出してもよく、複数の画素を有するエリアイメージセンサを用いて複数の観察光を検出してもよい。これらの何れかによって、複数の観察光を精度良く検出することができる。
　また、上記の画像取得装置及び画像取得方法では、光軸の方向から見て複数の集光点が走査方向と交差する方向に並んでいてもよい。これにより、観察対象物において観察対象となる領域を複数の領域に分割し、各領域の画像を並行して作成することができるので、観察時間を効果的に短縮できる。
　また、制御部は、隣り合う集光点の中心間隔を、さらに光軸の方向における複数の集光点の収差量に基づいて設定してもよい。同様に、上記の画像取得方法のパターン呈示ステップでは、隣り合う集光点の中心間隔を、さらに光軸の方向における複数の集光点の収差量に基づいて設定してもよい。これにより、観察対象物中の収差に起因する観察光のクロストークを好適に低減できる。
　本発明の一側面による画像取得装置および画像取得方法によれば、観察対象物の深さ方向において集光位置が互いに異なる複数の光を同時に照射することができる。
図１は、本発明の一実施形態に係る画像取得装置の構成を示す図である。 図２は、観察対象物及びその近傍における照射光の様子を概念的に示す図である。 図３は、観察対象物及びその近傍における照射光の様子を概念的に示す図である。 図４は、対物レンズの光軸方向から見た集光点の並び方向の一例を概略的に示す図である。 図５は、光検出器の光検出面を示す正面図である。 図６は、検出信号に含まれる複数の画像データを概念的に示す図である。 図７は、画像取得方法のフローチャートである。 図８は、基準高さを設定する様子を概念的に示す図である。 図９は、集光点の観察深さを設定する様子を示す図である。 図１０は、光検出器にて隣り合う点像同士が重なり合い、クロストークが発生する様子を示す図である。 図１１は、第１変形例に係る画像取得方法のフローチャートである。 図１２は、実施例において得られた画像を示す。 図１３は、実施例において得られた画像を示す。
　以下、添付図面を参照しながら本発明の一側面による画像取得装置および画像取得方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
　図１は、本発明の一実施形態に係る画像取得装置１Ａの構成を示す図である。画像取得装置１Ａは、観察対象物Ｂに照射光Ｌ１を照射し、これにより観察対象物Ｂにおいて生じる観察光（被検出光）Ｌ２を観察するための装置である。画像取得装置１Ａは、例えば顕微鏡装置である。顕微鏡装置としては、例えば、正立型顕微鏡あるいは倒立型顕微鏡が挙げられる。観察光Ｌ２は、例えば蛍光、りん光、高周波発生光（ＳＨＧ）、反射光、透過光、散乱光などである。図１に示されるように、画像取得装置１Ａは、照射光生成ユニット１０、走査ユニット２０、照射光学ユニット３０、観察ユニット４０、及び制御ユニット５０を備えている。
　照射光生成ユニット１０は、観察対象物Ｂに照射される照射光Ｌ１を生成する。本実施形態の照射光生成ユニット１０は、光源１１、ビームエキスパンダ１２、及び空間光変調器（Spatial Light Modulator：ＳＬＭ）１３を有する。
　光源１１は、照射光Ｌ０を出力する。照射光Ｌ０は、例えば観察対象物Ｂに照射すべき波長の光を含む。光源１１は、例えばパルス光発振や連続波発振のレーザ光源、ＳＬＤ光源、或いはＬＥＤ光源を含んで構成される。ビームエキスパンダ１２は、例えば照射光Ｌ０の光軸上に並んで配置された複数のレンズ１２ａ，１２ｂを含んで構成され、照射光Ｌ０の光軸に対して垂直な断面の大きさを調整する。なお、レンズ１２ａ，１２ｂは、凸レンズでも凹レンズでもよく、それらを組み合わせてもよい。
　空間光変調器１３は、光源１１と光学的に結合されており、光源１１からの照射光Ｌ０を変調することにより、観察対象物Ｂへ照射される照射光Ｌ１を生成する。空間光変調器１３は、二次元に配列された複数の画素を有し、光源１１から出力された照射光Ｌ０の強度或いは位相を複数の画素列毎に変調する。空間光変調器１３に呈示される変調パターン（ホログラム）は、後述する制御ユニット５０によって制御される。空間光変調器１３は、位相変調型でも良いし、振幅（強度）変調型でも良い。また、空間光変調器１３は、反射型及び透過型の何れであってもよい。また、空間光変調器１３は複数枚設けられてもよく、その場合、照射光Ｌ０は複数回にわたって変調される。
　走査ユニット２０は、本実施形態における走査部の例である。走査ユニット２０は、走査光学系としての光スキャナ２１を有する。光スキャナ２１は、空間光変調器１３と光学的に結合されており、空間光変調器１３によって変調された照射光Ｌ１を受ける。また、光スキャナ２１は、観察対象物Ｂにおける照射光Ｌ１の照射位置を走査する。さらに、光スキャナ２１は、観察対象物Ｂの集光点において発生する観察光Ｌ２を受ける。これにより、観察光Ｌ２はデスキャンされる。光スキャナ２１は、後述する制御ユニット５０によって制御される。光スキャナ２１は、例えばガルバノミラー、共振ミラー、ＭＥＭＳミラー、２次元音響光学素子（ＡＯＭ）若しくはポリゴンミラー等によって構成される。なお、光スキャナ２１が二軸スキャナである場合、光スキャナ２１はテレセントリック光学系などの像転送光学系を含むことができる。
　なお、走査ユニット２０は、光スキャナ２１に加えて、ミラー２２を更に有してもよい。ミラー２２は、光スキャナ２１と照射光学ユニット３０とを光学的に結合させるために、照射光Ｌ１の光軸を屈曲させる。
　照射光学ユニット３０は、走査ユニット２０から提供される照射光Ｌ１を観察対象物Ｂに照射するとともに、観察対象物Ｂからの観察光Ｌ２を観察ユニット４０へ出力する。照射光学ユニット３０は、ステージ３１、対物レンズ３２、対物レンズ移動機構３３、及び反射ミラー３４を有する。なお、反射ミラー３４としてダイクロイックミラーを用いてもよい。
　ステージ３１は、観察対象物Ｂ（若しくは観察対象物Ｂを収容するスライドガラスやシャーレ、マイクロプレート、ガラスボトムディッシュなどの容器）を支持するための部材である。ステージ３１は、例えばガラスからなる。図１に示された例では照射光Ｌ１はステージ３１の表面側から照射されるが、照射光Ｌ１はステージ３１の裏面側からステージ３１を透過して観察対象物Ｂに照射されてもよい。ステージ３１は、観察対象物Ｂを保持しつつ、後述する対物レンズ３２の光軸に対して交差（たとえば直交）する面方向に移動可能である。また、対物レンズ３２の光軸方向に移動可能であってもよい。
　対物レンズ３２は、観察対象物Ｂと対向して配置され、観察対象物Ｂの内部に照射光Ｌ１の集光点を形成する集光光学系である。また、対物レンズ３２は、観察対象物Ｂの該集光点において発生した観察光Ｌ２を受け、観察光Ｌ２を平行化する。照射光Ｌ１のための対物レンズと観察光Ｌ２のための対物レンズとは別個に設けられてもよい。例えば、照射光Ｌ１のために開口数（ＮＡ）が高い対物レンズを用い、空間光変調器１３による収差補正により局所的に集光させてもよい。また、観察光Ｌ２のために瞳の大きな対物レンズを用い、より多くの光を取り出せるようにしてもよい。照射光Ｌ１のための対物レンズと観察光Ｌ２のための対物レンズとを観察対象物Ｂを挟むように配置して、照射光Ｌ１の観察対象物Ｂにおける透過光を観察光Ｌ２として取得してもよい。
　対物レンズ移動機構３３は、対物レンズ３２を照射光Ｌ１の光軸方向に移動させるための機構である。対物レンズ移動機構３３は、例えばステッピングモータ若しくはピエゾアクチュエータ等によって構成される。
　反射ミラー３４は、照射光生成ユニット１０から照射光学ユニット３０に到達した照射光Ｌ１を、対物レンズ３２へ向けて反射する。また、反射ミラー３４は、観察対象物Ｂからの観察光Ｌ２を走査ユニット２０に向けて反射する。
　対物レンズ３２と空間光変調器１３との距離が長い場合には、照射光Ｌ１及び観察光Ｌ２の光軸上に少なくとも一つのテレセントリック光学系が設けられてもよい。一例として、図１には２つのテレセントリック光学系６１及び６２が示されている。テレセントリック光学系６１及び６２は、空間光変調器１３において生成された照射光Ｌ１の波面を対物レンズ３２の後側焦点へ転送する役割を有する。テレセントリック光学系６１及び６２は、両側テレセントリック光学系であってもよい。この場合、空間光変調器１３と光スキャナ２１との間に配置されるテレセントリック光学系６１は、空間光変調器１３の変調面と光スキャナ２１の走査面とに結像するように調整される。また、光スキャナ２１と対物レンズ３２との間に配置されるテレセントリック光学系６２は、光スキャナ２１の走査面と対物レンズ３２の瞳面とに結像するように調整される。なお、テレセントリック光学系６１，６２は、空間光変調器１３にて生成された照射光Ｌ１の波面を対物レンズ３２の後側焦点へ転送可能であれば、像側テレセントリック光学系や物体側テレセントリック光学系であってもよい。また、対物レンズ３２と空間光変調器１３との距離が極めて近い場合には、テレセントリック光学系を省くことも可能である。
　観察ユニット４０は、光検出器４１、フィルタ４２、及び集光レンズ４３を有する。光検出器４１は、対物レンズ３２及び光スキャナ２１に光学的に結合されており、観察光Ｌ２を受けて、観察光Ｌ２の光強度を検出する。光検出器４１は、照射光生成ユニット１０に設けられたダイクロイックミラー１４を介して光スキャナ２１と光学的に結合される。ダイクロイックミラー１４は、空間光変調器１３によって変調された照射光Ｌ１及び光スキャナ２１によってデスキャンされた観察光Ｌ２を受ける位置に配置され、照射光Ｌ１の少なくとも一部を透過し、観察光Ｌ２の少なくとも一部を反射する。光検出器４１は、観察光Ｌ２の光強度を検出し、検出信号Ｓｄを出力する。光検出器４１は、複数のアノードを有するマルチアノード型の光電子増倍管（Photomultiplier Tube；ＰＭＴ）によって構成されてもよく、または、複数のフォトダイオードがアレイ状に並んで構成されるフォトダイオードアレイ若しくは複数のアバランシェフォトダイオードがアレイ状に並んで構成されるアバランシェフォトダイオードアレイによって構成されてもよい。或いは、光検出器４１は、ＣＣＤイメージセンサ、ＥＭ－ＣＣＤイメージセンサ、若しくはＣＭＯＳイメージセンサといった、複数の画素を有するエリアイメージセンサであってもよく、また、ラインセンサであってもよい。特に、マルチアノード型のＰＭＴは、増倍率が高く且つ受光面が他よりも大きい。
　フィルタ４２は、ダイクロイックミラー１４と光検出器４１との間の光軸上に配置される。フィルタ４２は、光検出器４１に入射する光から、照射光Ｌ１の波長、及び観察に不要な蛍光等の波長をカットする。集光レンズ４３は、光検出器４１との直前に配置され、観察光Ｌ２を光検出器４１に向けて集光する。なお、フィルタ４２は、集光レンズ４３の前段、後段のどちらに配置されてもよい。また、フィルタ４２が不要な場合は設けなくてもよい。
　制御ユニット５０は、照射光生成ユニット１０、走査ユニット２０、及び照射光学ユニット３０を制御する。例えば、制御ユニット５０は、光源１１、空間光変調器１３、及び光スキャナ２１を制御する。また、例えば、制御ユニット５０は、対物レンズ移動機構３３を用いて対物レンズ３２の光軸方向の位置（高さ）を制御する。また、例えば、制御ユニット５０は、観察対象物Ｂを支持するステージ３１を光軸方向と交差する方向に移動させる。制御ユニット５０は、マウスやキーボードといった入力装置５１、ディスプレイといった表示装置５２、及びコンピュータ５３を含んで構成される。
　また、コンピュータ５３は、本実施形態における画像作成部の例である。コンピュータ５３は、例えばパーソナルコンピュータ或いはスマートデバイスなどであり、画像処理回路（画像処理プロセッサ）及び制御回路（制御プロセッサ）、内部メモリを有する。コンピュータ５３は、光検出器４１からの検出信号Ｓｄ、及び光スキャナ２１における光照射位置情報を用いて、観察対象物Ｂの画像を作成する。作成された画像は、表示装置５２に表示される。また、コンピュータ５３は、本実施形態における制御部（コントローラ）の例である。コンピュータ５３は、観察対象物Ｂにおいて所望の集光点が形成されるように、空間光変調器１３に呈示される変調パターン（ホログラム）を制御する。作成された画像は、コンピュータ５３のメモリや外部記憶装置に記憶されてもよい。
　ここで、観察対象物Ｂにおける集光点の態様について詳細に説明する。図２及び図３は、観察対象物Ｂ及びその近傍における照射光Ｌ１の様子を概念的に示す図である。図２及び図３に示されるように、本実施形態では、対物レンズ３２によって、照射光Ｌ１が、複数の集光点Ｐ１に集光される。なお、集光点の数が３つ以上である場合、図２及び図３は、複数の集光点Ｐ１のうち互いに隣り合う２つの集光点Ｐ１を拡大して示している。図中の仮想線Ａ１は、対物レンズ３２の基準高さを表す基準線である。
　対物レンズ３２の光軸方向（言い換えれば、観察対象物Ｂの深さ方向）における集光点Ｐ１の位置は、図２と図３とで異なっている。すなわち、図２には、観察対象物Ｂの表面からの集光点Ｐ１の深さｄが浅い場合が示されており、図３には、観察対象物Ｂの表面からの集光点Ｐ１の深さｄが深い場合が示されている。言い換えれば、図３に示される集光点Ｐ１は、図２に示される集光点Ｐ１よりも、観察対象物Ｂの表面から離れている。
　対物レンズ３２の光軸方向と直交する方向における集光点Ｐ１の中心間隔は、対物レンズ３２の光軸方向における集光点Ｐ１の位置に基づいて設定される。例えば図２に示されるように集光点Ｐ１の深さがｄが浅い場合、コンピュータ５３は、隣り合う集光点Ｐ１の中心間隔Ｗを狭く設定する。また、図３に示されるように集光点Ｐ１の深さｄが深い場合、コンピュータ５３は、隣り合う集光点Ｐ１の中心間隔Ｗを広く設定する。このように、コンピュータ５３は、対物レンズ３２の光軸方向における集光点Ｐ１の位置が観察対象物Ｂの表面から離れるほど、隣り合う集光点Ｐ１の中心間隔を広く設定する。このような設定は、空間光変調器１３に呈示される変調パターンの制御を通じて行われる。また、コンピュータ５３は、観察深さｄの変化、すなわち対物レンズ３２の光軸方向における集光点Ｐ１の位置の変化に対応して、隣り合う集光点Ｐ１の中心間隔Ｗをその都度変化させるとよい。
　また、対物レンズ３２の光軸方向と直交する方向における集光点Ｐ１の中心間隔は、さらに観察対象物Ｂの表面及び／又は内部の収差量に基づいて設定される。例えば、収差量が大きい場合は、集光点Ｐ１の中心間隔を広く設定し、収差量が小さい場合は、集光点Ｐ２の中心間隔を狭く設定する。このような設定は、空間光変調器１３に呈示される変調パターンの制御を通じて行われる。なお、観察対象物Ｂの表面及び／又は内部の収差量は、実際に測定して求めてもよいし、シミュレーション等により推定して求めてもよい。
　図４は、対物レンズ３２の光軸方向から見た集光点Ｐ１の並び方向の一例を概略的に示す図である。図４（ａ）は、集光点Ｐ１の走査方向Ａ２を示し、図４（ｂ）は、照射光Ｌ１の光軸方向から見た集光点Ｐ１の、光スキャナ２１による走査の様子を示す。図４（ａ）に示されるように、この例では、照射光Ｌ１の光軸方向から見て集光点Ｐ１が走査方向Ａ２と交差する方向Ａ３に沿って並んでいる。また、図４（ｂ）に示されるように、光スキャナ２１による走査には高速軸と低速軸とが存在し、集光点Ｐ１は、高速軸に沿って移動したのち、低速軸の方向にシフトされて再び高速軸に沿って移動するという動作を繰り返す。この例では、照射光Ｌ１の光軸方向から見た集光点Ｐ１の並び方向は、低速軸（すなわち走査方向Ａ２と交差する軸）に沿っている。方向Ａ３は、例えば走査方向Ａ２と直交しているか、或いは、走査方向Ａ２に対して傾斜している。なお、光スキャナ２１は、集光点Ｐ１が高速軸に沿って移動しながら、低速軸方向にも移動するように、集光点Ｐ１を走査してもよい。また、ラインスキャンに限らず、タイリングスキャンでもよい。
　上記のような位置関係でもって形成される複数の集光点Ｐ１は、空間光変調器１３に呈示される変調パターンを制御するコンピュータ５３と、対物レンズ３２とによって実現される。コンピュータ５３は、観察対象物Ｂにおいて複数の集光点Ｐ１が形成されるように変調パターンを制御する。そして、変調後の照射光Ｌ１が対物レンズ３２によって集光され、複数の集光点Ｐ１が観察対象物Ｂに形成される。
　図５（ａ）～図５（ｃ）は、本実施形態の光検出器４１の光検出面４４を示す正面図である。図５（ａ）～図５（ｃ）に示されるように、光検出面４４は、複数の光検出部４４ａを含む。例えば光検出器４１がマルチアノードＰＭＴである場合、光検出部４４ａは、マルチアノードＰＭＴの各アノードに相当する。また、例えば光検出器４１がエリアイメージセンサである場合、光検出部４４ａは、一つの画素または画素群に相当する。また、例えば光検出器４１がフォトダイオードアレイ（ラインセンサ）である場合、光検出部４４ａは、各フォトダイオードに相当する。
　また、図５（ａ）～図５（ｃ）に示されるように、光検出面４４には、複数の集光点Ｐ１からそれぞれ発生した複数の観察光の点像Ｐ２が形成される。光検出器４１は、複数の点像Ｐ２それぞれの光強度を検出することにより、複数の観察光を検出する。図５（ａ）は集光点Ｐ１の観察深さが浅い場合を示し、図５（ｃ）は集光点Ｐ１の観察深さが深い場合を示し、図５（ｂ）は集光点Ｐ１の観察深さがそれらの中間である場合を示している。観察対象物Ｂにおける集光点Ｐ１の観察深さが深いほど、収差を与える観察対象物Ｂの表面と集光点Ｐ１との距離（つまり、観察対象物Ｂの内部の距離）が長くなるので、光検出器４１に達する観察光の点像Ｐ２の光径が大きくなる。例えば図５（ａ）では、集光点Ｐ１の観察深さが浅いので、点像Ｐ２の光径が小さくなる。逆に、図５（ｃ）では、集光点Ｐ１の観察深さが深いので、点像Ｐ２の光径が大きくなる。なお、光検出器４１に達する観察光の点像Ｐ２の光径の大きさは、対物レンズ３２の焦点と集光点Ｐ１の距離の大きさによっても変化する。
　光検出器４１は、複数の点像Ｐ２をそれぞれ検出するための複数の検出領域４５を有する。複数の検出領域４５は、互いに独立した領域であって、それぞれ一又は複数の光検出部４４ａを含んで構成される。そして、本実施形態では、複数の検出領域４５の大きさ及び中心間隔は、対物レンズ３２の光軸方向における複数の集光点Ｐ１の位置（すなわち観察深さ）に基づいて設定される。
　具体的には、図５（ａ）に示される例では集光点Ｐ１の観察深さが浅いので、複数の検出領域４５の大きさが小さく設定され、複数の検出領域４５の中心間隔も短く設定される。一例としては、各検出領域４５は、一つの光検出部４４ａからなるように設定され、その中心間隔は、光検出部４４ａの中心間隔と等しく設定される。また、図５（ｃ）に示される例では集光点Ｐ１の観察深さが深いので、複数の検出領域４５の大きさが図５（ａ）よりも大きく設定され、複数の検出領域４５の中心間隔が図５（ａ）よりも長く設定される。一例としては、各検出領域４５は、３つの光検出部４４ａからなるように設定され、その中心間隔は、５つおきの光検出部４４ａの中心間隔と等しく設定される。この場合、３つの光検出部４４ａからの検出信号は、合計されて検出領域４５からの検出信号となる。また、図５（ｂ）に示される例では、集光点Ｐ１の観察深さが図５（ａ）及び図５（ｃ）の中間なので、複数の検出領域４５の大きさが図５（ａ）よりも大きく且つ図５（ｃ）よりも小さく設定され、複数の検出領域４５の中心間隔が図５（ａ）よりも長く且つ図５（ｃ）よりも短く設定される。一例としては、各検出領域４５は、２つの光検出部４４ａからなるように設定され、その中心間隔は、２つおきの光検出部４４ａの中心間隔と等しく設定される。この場合、２つの光検出部４４ａからの検出信号は、合計されて検出領域４５からの検出信号となる。なお、多くの場合、複数の検出領域４５の中心間隔は、集光点Ｐ１の中心間隔Ｗとは異なる値となる。
　画像作成部としてのコンピュータ５３は、光検出器４１からの検出信号Ｓｄと、光スキャナ２１における光照射位置情報とに基づいて、観察対象物Ｂの画像を作成する。光検出器４１からの検出信号Ｓｄには、複数の検出領域４５に対応する複数の画像データが含まれる。図６は、検出信号Ｓｄに含まれる複数の画像データＤ１を概念的に示す図である。複数の集光点Ｐ１が上述した態様で観察対象物Ｂにおいて走査されることにより、複数の観察光から細長形状の複数の画像データ（ストリップ画像）Ｄ１が生成される。言い換えれば、各画像データＤ１は、各集光点Ｐ１の走査領域の画像である。なお、図６には、複数の画像データＤ１のうち２つが拡大して示されている。コンピュータ５３は、複数の画像データＤ１を相互に結合することによって、観察対象物Ｂの画像を作成する。これにより、所望の観察深さにおける観察対象物Ｂの内部画像を作成することができる。
　なお、隣り合う集光点Ｐ１の走査領域が部分的に重なるように各走査領域が設定されてもよい。この場合、例えば重なり合う部分に重み付けを行いながら複数の画像データＤ１を結合することにより、複数の画像データＤ１同士の境界部分を目立ちにくくすることができる。
　ここで、図７は、上述した画像取得装置１Ａの動作を示すフローチャートである。図７を参照しながら、本実施形態による画像取得方法について説明する。
　まず、ステージ３１上に観察対象物Ｂを載置したのち、対物レンズ３２の基準高さを設定する（ステップＳ１）。このステップＳ１では、対物レンズ移動機構３３またはステージ３１によって対物レンズ３２と観察対象物Ｂとの距離を調整し、基準高さを設定する。図８は、基準高さＺ０を設定する様子を概念的に示す図である。例えば、対物レンズ３２の焦点位置が観察対象物Ｂの表面に合うように対物レンズ３２の高さを調整し、その高さを基準高さＺ０としてもよい。また、ステージ３１を対物レンズ３２の光軸方向に移動させることにより、対物レンズ３２の焦点位置が観察対象物Ｂの表面に合うようにしてもよい。コンピュータ５３は、この基準高さＺ０を記憶する。
　次に、図９に示されるように、集光点Ｐ１の観察深さｄ、すなわち画像化したい観察対象物Ｂ内部の深さを設定する（ステップＳ２）。このステップＳ２では、例えば、観察者が入力装置５１を介して、基準高さＺ０に対する対物レンズ３２の光軸方向位置を入力してもよいし、観察対象物Ｂの表面からの深さを入力してもよい。観察対象物Ｂ内部の深さは、実距離であってもよいし、光学距離であってもよい。なお、対物レンズ３２と観察対象物Ｂとの間の媒体（例えば空気、水、オイル、グルセリン、シリコーンなど）の屈折率及び／又は観察対象物Ｂの屈折率を考慮して、実際に対物レンズ３２（もしくはステージ３１）を移動させる量を算出してもよい。例えば、この場合、集光点Ｐ１の観察深さｄが光学距離であり、媒体の屈折率をｎａ、観察対象物Ｂの屈折率をｎｂとすると、対物レンズ３２（もしくはステージ３１）の移動量をｎｂ・ｄ／ｎａとして算出する。
　続いて、複数の集光点Ｐ１の中心間隔Ｗを設定する（ステップＳ３）。このステップＳ３では、図２及び図３に示されたように、集光点Ｐ１の深さｄが深いほど中心間隔Ｗを大きくするとよい。また、例えば、対物レンズ３２の開口数（ＮＡ）、対物レンズ３２と観察対象物Ｂとの間の媒体の屈折率、観察対象物Ｂの屈折率、照射光Ｌ１の波長、観察対象物Ｂの表面形状や内部構造、観察対象物Ｂの表面及び／又は内部の収差量といったパラメータを基に、中心間隔Ｗを設定してもよい。これらのパラメータは、実際に測定して求めてもよいし、シミュレーション等により推定して求めてもよい。また、深さｄに対応する中心間隔Ｗを予め計算してコンピュータ５３の記憶領域にテーブルとして保存しておき、その中から適切な中心間隔Ｗを選択してもよい。
　続いて、変調パターン（ホログラム）を作成する（ステップＳ４）。このステップＳ４では、上記ステップＳ２，Ｓ３において設定された複数の集光点Ｐ１の間隔Ｗ及び深さｄに基づいて、空間光変調器１３に呈示される計算機ホログラム（ＣＧＨ）を作成する。なお、このステップＳ４は、例えばコンピュータ５３によって行われる。また、深さｄ及び間隔Ｗに対応するＣＧＨを予め計算し、コンピュータ５３内部の記憶手段にテーブルとして保存しておき、その中から適切なＣＧＨを選択してもよい。
　続いて、ステップＳ４において作成されたＣＧＨ、すなわち観察対象物Ｂにおいて複数の集光点Ｐ１が形成されるような変調パターンを、空間光変調器１３に呈示する（パターン呈示ステップＳ５）。そして、光源１１から出力された照射光Ｌ０を空間光変調器１３において変調し、変調後の照射光Ｌ１を対物レンズ３２により集光することによって、観察対象物Ｂの深さｄに複数の集光点Ｐ１を形成する（集光点形成ステップＳ６）。このステップＳ５及びＳ６では、観察対象物Ｂ内部の深さｄに集光点Ｐ１が形成されるように、対物レンズ３２と観察対象物Ｂとの距離を調整する。この状態で、ＣＧＨが空間光変調器１３に呈示されることによって、光源１１から出力された照射光Ｌ０が変調され、対物レンズ３２により変調後の照射光Ｌ１が集光され、観察対象物Ｂ内部の深さｄの位置に複数の集光点Ｐ１が中心間隔Ｗでもって形成される。なお、対物レンズ３２と観察対象物Ｂとの距離を調整した後に、ＣＧＨを空間光変調器１３に呈示し、対物レンズ３２により変調後の照射光Ｌ１を集光してもよい。
　続いて、複数の集光点Ｐ１の走査及び光検出を行う（光検出ステップＳ７）。この光検出ステップＳ７では、照射光Ｌ１の光軸と交差する走査方向に、観察対象物Ｂ内部の複数の集光点Ｐ１の位置を走査しつつ、複数の集光点Ｐ１それぞれから生じた複数の観察光Ｌ２を検出する。このとき、複数の観察光Ｌ２は光スキャナ２１によってデスキャンされるので、集光点Ｐ１を移動させながらも、光検出器４１における観察光Ｌ２の点像Ｐ２の位置を固定して検出することができる。光検出器４１からは、複数の点像Ｐ２に対応する複数の画像データを含む検出信号Ｓｄがコンピュータ５３に出力される。
　続いて、観察対象物Ｂの画像を作成する（画像作成ステップＳ８）。この画像作成ステップＳ８では、光検出ステップＳ７により得られた検出信号Ｓｄ（光強度情報）と、光スキャナ２１による光走査位置情報（集光点Ｐ１の平面位置情報）とを用いて、コンピュータ５３にて観察対象物Ｂの画像を作成する。具体的には、図６に示されたように、検出信号Ｓｄ及び光走査位置情報から複数の画像データＤ１を取得し（ステップＳ８ａ）、その後、複数の画像データＤ１を相互に結合することによって、観察対象物Ｂの画像を作成する（ステップＳ８ｂ）。
　以上に説明した本実施形態の画像取得装置１Ａ及び画像取得方法による効果について説明する。本実施形態の画像取得装置１Ａおよび画像取得方法では、変調パターンが空間光変調器１３に呈示されることにより、複数の集光点Ｐ１を同時に且つ容易に形成することができる。そして、複数の集光点Ｐ１が走査（スキャン）されるとともに、これらの集光点Ｐ１においてそれぞれ生じた複数の観察光の点像Ｐ２が光検出器４１によって検出される。このように、本実施形態の各画像取得装置１Ａおよび画像取得方法によれば、観察対象物Ｂに複数の照射光Ｌ１を同時に照射することができ、更に、複数の観察光Ｌ２を同時に検出することができる。従って、観察時間を短縮でき、また複数の箇所の同時刻における状況を容易に取得できる。
　観察対象物Ｂが例えば生体試料であるような場合には、観察時間の短縮によって、生体への負荷を小さくし、より良好な状態での観察が可能となる。例えば、３次元イメージングに１００分の時間を要する場合には生体を生かした状態で観察することが難しいが、その時間が１０分になれば、生かした状態での観察が可能になると考えられる。
　また、複数の位置から生じた複数の観察光Ｌ２を同時に検出する場合、観察深さｄによっては、光検出器４１にて隣り合う点像Ｐ２同士が重なり合い、クロストークが発生するおそれがある。図１０は、そのような現象を説明するための図である。図１０（ａ）に示されるように、或る観察深さｄにおいて、複数の検出領域４５に複数の観察光の点像Ｐ２が入射する場合を考える。前述したように、観察対象物Ｂの表面における収差に起因して、観察対象物Ｂの深い位置において生じた観察光の光径は、浅い位置において生じた観察光の光径よりも大きくなる（図５を参照）。ここで、観察対象物Ｂの表面における収差とは、例えば観察のために用いられる浸液若しくは空気と観察対象物Ｂとの屈折率差によって生じる球面収差、及び、屈折率境界が光軸に対して垂直でない場合に生じる非点収差、コマ収差、デフォーカス収差などがある。特に球面収差については、観察深さｄが深くなるほど大きくなる傾向がある。また、観察対象物Ｂの内部における収差（球面収差や非点収差、コマ収差、デフォーカス収差など）に起因しても、観察対象物Ｂの深い位置において生じた観察光の光径は、浅い位置において生じた観察光の光径よりも大きくなる（図５を参照）。従って、観察深さｄによっては、図１０（ｂ）に示されるように、光検出器４１にて隣り合う観察光の点像Ｐ２同士が重なり合い、クロストークが発生するおそれがある。クロストークが発生すると、複数の観察光Ｌ２それぞれを精度良く検出することが困難となる。
　これに対し、本実施形態の画像取得装置１Ａおよび画像取得方法では、図２及び図３に示されたように、隣り合う集光点Ｐ１の中心間隔Ｗが、対物レンズ３２の光軸方向における複数の集光点Ｐ１の位置（すなわち観察深さｄ）に基づいて設定される。これにより、例えば光検出器４１において観察光の点像Ｐ２の光径が大きくなる場合には集光点Ｐ１の中心間隔Ｗを広げることができるので、複数の点像Ｐ２同士が重なり合うことを抑制し、クロストークを低減できる。また、本実施形態の画像取得装置１Ａおよび画像取得方法では、隣り合う集光点Ｐ１の中心間隔Ｗが、さらに観察対象物Ｂの表面及び／又は内部の収差量も基づいて設定される。これにより、観察対象物Ｂの表面及び／又は内部の収差量も考慮して、隣り合う集光点Ｐ１の中心間隔Ｗが設定されるので、複数の点像Ｐ２同士が重なり合うことをより抑制し、クロストークを低減できる。従って、複数の観察光の点像Ｐ２それぞれを精度良く検出することが可能となり、明瞭な観察対象物中の画像を提供することができる。
　なお、本実施形態において、複数の集光点Ｐ１とは、互いに同等の光量の集光点を指す。例えば、他の集光点よりも格段に光量が少なく、画像の作成に資さないような集光点は、ここでいう集光点には含まれない。言い換えれば、本実施形態における集光点Ｐ１とは、画像作成の為に有用な観察光Ｌ２を生じさせる集光点をいう。
　また、空間光変調器１３に呈示される変調パターンを用いて複数の集光点Ｐ１を形成することにより、照射光Ｌ１の光軸方向に垂直或いは平行な方向における所望の位置に容易に集光でき、且つ、集光点数、位置、強度等を容易に変えることができる。
　また、本実施形態のように、コンピュータ５３は、複数の集光点Ｐ１が観察対象物Ｂの表面から離れるほど中心間隔Ｗを広くしてもよい。これにより、観察対象物Ｂの表面の収差に起因する観察光のクロストークを好適に低減できる。
　また、本実施形態のように、光検出器４１は、複数の観察光の点像Ｐ２をそれぞれ検出するための複数の検出領域４５を有し、複数の検出領域４５の大きさ及び中心間隔は、対物レンズ３２の光軸方向における複数の集光点Ｐ１の位置に基づいて設定されてもよい。これにより、光検出器４１での点像Ｐ２同士の中心間隔や光径に応じて複数の検出領域４５のピッチ及び大きさが設定されるので、複数の観察光Ｌ２を好適に検出することができる。
　また、本実施形態のように、光検出器４１は、検出信号Ｓｄとして、複数の検出領域４５に対応する複数の画像データＤ１を出力し、画像作成ステップＳ８において、コンピュータ５３は、複数の画像データＤ１を結合することにより観察対象物Ｂの画像を作成してもよい。これにより、観察対象物Ｂにおいて観察対象となる領域を複数の領域に分割し、各領域の画像を並行して作成することができるので、観察時間を効果的に短縮できる。
　また、本実施形態のように、光検出器４１は、複数のアノードを有するマルチアノード光電子増倍管を含んでもよく、或いは、複数の画素を有するエリアイメージセンサを含んでもよい。これらの何れかによって、複数の点像Ｐ２それぞれにおいて観察光Ｌ２の光強度を精度良く検出することができる。
　また、本実施形態のように、対物レンズ３２の光軸方向から見て複数の集光点Ｐ１が走査方向Ａ２と交差する方向に並んでいてもよい。これにより、観察対象物Ｂにおいて観察対象となる領域を複数の領域に分割し、各領域の画像を並行して作成することができるので、観察時間を効果的に短縮できる。
　なお、本実施形態では、空間光変調器１３に呈示される変調パターンが、照射光Ｌ１に対する収差補正パターンを含んでもよい。これにより、集光点Ｐ１を小さくして、計測の分解能を高めることができる。そうすると、広い観察領域を小さな間隔で観察することとなるが、本実施形態によれば、複数の集光点Ｐ１を同時に照射し、複数の観察光の点像Ｐ２を同時に検出するので、観察時間を効果的に短縮でき、例えば単一の集光点Ｐ１による観察では更に観察時間を要するような条件であっても、観察時間の増加を防ぎ、或いは、格段に短い時間で観察することが可能となる。
　（第１変形例）図１１は、上記実施形態の第１変形例に係る画像取得方法のフローチャートである。上記実施形態では、観察対象物Ｂの或る観察深さｄでの画像を取得しているが、本変形例では、観察対象物Ｂの表面から順に観察深さｄを変化させながら画像を取得する。なお、図１１に示されるステップＳ１～Ｓ８については、上記実施形態と同様なので説明を省略する。
　本変形例では、対物レンズ３２の基準高さＺ０を設定したのち（ステップＳ１）、コンピュータ５３が、複数の観察深さｄの設定を行う（ステップＳ１１）。なお、複数の観察深さｄは、入力装置５１を介して観察者により設定されてもよいし、観察者により入力された画像取得範囲に基づいて、コンピュータ５３により自動的に設定されてもよい。
　続いて、上記実施形態と同様に、ステップＳ２～Ｓ８を行う。その後、全ての観察深さｄについて画像を作成していない場合は（ステップＳ１２：ＮＯ）、再びステップＳ２へ戻り、コンピュータ５３が集光点Ｐ１の深さｄの再設定を行い、深さｄを変更する。このとき、ステップＳ３においては、観察深さｄの変化に応じて、コンピュータ５３が中心間隔Ｗを変化させる。具体的には、コンピュータ５３は、集光点Ｐ１が観察対象物Ｂの表面から離れるほど中心間隔Ｗを広くする。また、全ての観察深さｄについて画像を作成した場合は（ステップＳ１２：ＹＥＳ）、処理を終了する。
　本変形例のように、コンピュータ５３は、対物レンズ３２の光軸方向における複数の集光点Ｐ１の位置（すなわち観察深さｄ）の変化に応じて、中心間隔Ｗを変化させてもよい。これにより、複数の観察深さｄでの観察を、クロストークを抑えながら連続して行うことができる。この場合、コンピュータ５３は、複数の集光点Ｐ１が観察対象物Ｂの表面から離れるほど中心間隔Ｗを広くしてもよい。これにより、観察対象物Ｂの表面の収差に起因する観察光のクロストークを好適に低減できる。
　（第２変形例）上記実施形態では光スキャナ２１によって集光点Ｐ１を走査しているが、ステージ３１を光軸方向と交差する面方向に移動させることによって集光点Ｐ１を走査してもよい。言い換えれば、上記実施形態の走査部は、光スキャナ２１に代えて若しくは光スキャナ２１とともに、ステージ３１を含んでもよい。このような構成であっても、集光点Ｐ１を好適に走査することができる。
　（第３変形例）上記実施形態では光スキャナ２１によって集光点Ｐ１を走査しているが、空間光変調器１３に呈示される変調パターンに、集光点Ｐ１を走査するためのパターン（光走査ホログラム）を含ませ（重畳させ）てもよい。この場合、上記実施形態における走査部が不要となるので、画像取得装置１Ａの構成部品を削減し、小型化に寄与できる。
　（実施例）ここで、上記実施形態の実施例について説明する。本実施例では、観察対象物Ｂとして、直径３μｍの蛍光ビーズを複数個内包した樹脂を用意した。この樹脂を対物レンズ（水浸４０倍、ＮＡ１．１５）を用いて観察した。深さｄの位置に複数の集光点Ｐ１を形成し、これらの集光点Ｐ１を走査して画像を取得した。このとき、複数の集光点Ｐ１は、走査方向Ａ２に対して直交する方向Ａ３に沿って並ぶものとした。また、観察深さｄを５μｍ及び２５０μｍとした。なお、以下の図において、図中の矢印Ａ４は方向Ａ３における複数の集光点Ｐ１の走査開始位置を表す。
　図１２は、観察深さｄを光学距離で５．６８μｍとし、複数の集光点Ｐ１の中心間隔Ｗを１３．７μｍとして得られた画像を示す。このとき、明確な蛍光画像を取得することができた。
　また、図１３は、観察深さｄを光学距離で２９２μｍとして得られた画像を示す。図１３（ａ）は、複数の集光点Ｐ１の中心間隔Ｗを２７．４μｍとして得られた画像であり、図１３（ｂ）は、複数の集光点Ｐ１の中心間隔Ｗを１３．７μｍとして得られた画像である。図１３（ｂ）に示されるように、観察深さｄを２９２μｍに変更し、中心間隔Ｗを１３．７μｍのまま変更しなかった場合、観察光のクロストークの影響により、本来１つの蛍光ビーズであるところが、複数の蛍光ビーズが存在するように見えた（図中の範囲Ｂ１を参照）。これに対し、図１３（ａ）に示されるように、、観察深さｄ（２９２μｍ）に基づいて中心間隔Ｗを２７．４μｍに変更した場合には、クロストークの影響が抑制された明確な蛍光画像を取得することができた。
　観察対象物の深さ方向において集光位置が互いに異なる複数の光を同時に照射することができる。
　１Ａ…画像取得装置、１０…照射光生成ユニット、１１…光源、１２…ビームエキスパンダ、１３…空間光変調器、１４…ダイクロイックミラー、２０…走査ユニット、２１…光スキャナ、２２…ミラー、３０…照射光学ユニット、３１…ステージ、３２…対物レンズ、３３…対物レンズ移動機構、３４…反射ミラー、４０…観察ユニット、４１…光検出器、４２…フィルタ、４３…集光レンズ、４４…光検出面、４４ａ…光検出部、４５…検出領域、５０…制御ユニット、５１…入力装置、５２…表示装置、５３…コンピュータ、６１，６２…テレセントリック光学系、Ｂ…観察対象物、Ｄ１…画像データ、Ｌ１…照射光、Ｌ２…観察光、Ｐ１…集光点、Ｐ２…点像、Ｓｄ…検出信号。

Claims (26)

  1. 　光源から出力された照射光を変調する空間光変調器と、
    　観察対象物において複数の集光点が形成されるように、前記空間光変調器に呈示される変調パターンを制御する制御部と、
    　前記観察対象物中に前記複数の集光点を形成するために、変調された前記照射光を集光する集光光学系と、
    　前記集光光学系の光軸と交差する走査方向に、前記観察対象物中の前記複数の集光点の位置を走査する走査部と、
    　前記複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、
    　前記光検出器からの検出信号を用いて前記観察対象物の画像を作成する画像作成部と、
    　を備え、
    　前記制御部は、隣り合う前記集光点の中心間隔を、前記光軸の方向における前記複数の集光点の位置に基づいて設定する、画像取得装置。
  2. 　前記制御部は、前記光軸の方向における前記複数の集光点の位置の変化に応じて前記中心間隔を変化させる、請求項１に記載の画像取得装置。
  3. 　前記制御部は、前記光軸の方向における前記複数の集光点の位置が前記観察対象物の表面から離れるほど前記中心間隔を広くする、請求項２に記載の画像取得装置。
  4. 　前記走査部は、変調された前記照射光を受ける光スキャナを含む、請求項１～３のいずれか１項に記載の画像取得装置。
  5. 　前記走査部は、前記観察対象物を保持しつつ前記走査方向に前記観察対象物を移動させるステージを含む、請求項１～３のいずれか１項に記載の画像取得装置。
  6. 　前記光検出器は、前記複数の観察光をそれぞれ検出するための複数の検出領域を有し、
    　前記複数の検出領域の大きさ及び中心間隔は、前記光軸の方向における前記複数の集光点の位置に基づいて設定される、請求項１～５のいずれか１項に記載の画像取得装置。
  7. 　前記光検出器は、前記検出信号として、前記複数の検出領域に対応する複数の画像データを出力し、
    　前記画像作成部は、前記観察対象物の画像を作成するために、前記複数の画像データを結合する、請求項６に記載の画像取得装置。
  8. 　前記光検出器は、複数のアノードを有するマルチアノード光電子増倍管を含む、請求項６または７に記載の画像取得装置。
  9. 　前記光検出器は、複数の画素を有するエリアイメージセンサを含む、請求項６または７に記載の画像取得装置。
  10. 　前記光検出器は、複数のアバランシェフォトダイオードを有するアバランシェフォトダイオードアレイを含む、請求項６または７に記載の画像取得装置。
  11. 　前記光軸の方向から見て前記複数の集光点が前記走査方向と交差する方向に並んでいる、請求項１～１０のいずれか１項に記載の画像取得装置。
  12. 　前記制御部は、隣り合う前記集光点の中心間隔を、さらに前記観察対象物の表面及び／又は内部の収差量に基づいて設定する、請求項１～１１のいずれか１項に記載の画像取得装置。
  13. 　光源から出力された照射光を変調する空間光変調器と、
    　観察対象物において複数の集光点が形成されるように、前記空間光変調器に呈示される変調パターンを制御する制御部と、
    　前記観察対象物中に前記複数の集光点を形成するために、変調された前記照射光を集光する集光光学系と、
    　前記複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、
    　前記光検出器からの検出信号を用いて前記観察対象物の画像を作成する画像作成部と、
    　を備え、
    　前記変調パターンは、前記照射光の光軸と交差する走査方向に前記複数の集光点を走査するためのパターンを含み、
    　前記制御部は、隣り合う前記集光点の中心間隔を、前記光軸の方向における前記複数の集光点の位置に基づいて設定する、画像取得装置。
  14. 　観察対象物において複数の集光点を形成するための変調パターンを空間光変調器に呈示するパターン呈示ステップと、
    　光源から出力された照射光を前記空間光変調器において変調し、前記観察対象物中に前記複数の集光点を形成するために、変調された前記照射光を集光光学系により集光する集光点形成ステップと、
    　前記照射光の光軸と交差する走査方向に、前記観察対象物中の前記複数の集光点の位置を走査しつつ、前記複数の集光点からそれぞれ生じた複数の観察光を検出する光検出ステップと、
    　前記光検出ステップにより得られた検出信号を用いて前記観察対象物の画像を作成する画像作成ステップと、
    　を含み、
    　前記パターン呈示ステップでは、隣り合う前記集光点の中心間隔を、前記光軸の方向における前記複数の集光点の位置に基づいて設定する、画像取得方法。
  15. 　前記パターン呈示ステップでは、前記光軸の方向における前記複数の集光点の位置の変化に応じて前記中心間隔を変化させる、請求項１４に記載の画像取得方法。
  16. 　前記パターン呈示ステップでは、前記光軸の方向における前記複数の集光点の位置が前記観察対象物の表面から離れるほど前記中心間隔を広くする、請求項１５に記載の画像取得方法。
  17. 　前記光検出ステップでは、変調された前記照射光を受ける光スキャナを用いて前記複数の集光点の走査を行う、請求項１４～１６のいずれか１項に記載の画像取得方法。
  18. 　前記光検出ステップでは、前記観察対象物を保持しつつ前記走査方向に前記観察対象物を移動させるステージを用いて前記複数の集光点の走査を行う、請求項１４～１６のいずれか１項に記載の画像取得方法。
  19. 　前記光検出ステップでは、前記複数の集光点を走査するためのパターンを前記変調パターンに重畳させる、請求項１４～１６のいずれか１項に記載の画像取得方法。
  20. 　前記光検出ステップでは、前記複数の観察光をそれぞれ検出するための複数の検出領域を有する光検出器を用い、
    　前記複数の検出領域の大きさ及び中心間隔は、前記光軸の方向における前記複数の集光点の位置に基づいて設定される、請求項１４～１９のいずれか１項に記載の画像取得方法。
  21. 　前記光検出器は、前記検出信号として、前記複数の検出領域に対応する複数の画像データを出力し、
    　前記画像作成ステップでは、前記観察対象物の画像を作成するために、前記複数の画像データを結合する、請求項２０に記載の画像取得方法。
  22. 　前記光検出ステップでは、複数のアノードを有するマルチアノード光電子増倍管を用いて前記複数の観察光を検出する、請求項１４～２１のいずれか１項に記載の画像取得方法。
  23. 　前記光検出ステップでは、複数の画素を有するエリアイメージセンサを用いて前記複数の観察光を検出する、請求項１４～２１のいずれか１項に記載の画像取得方法。
  24. 　前記光検出ステップでは、複数のアバランシェフォトダイオードを有するアバランシェフォトダイオードアレイを用いて前記複数の観察光を検出する、請求項１４～２１のいずれか１項に記載の画像取得方法。
  25. 　前記光軸の方向から見て前記複数の集光点が前記走査方向と交差する方向に並んでいる、請求項１４～２４のいずれか１項に記載の画像取得方法。
  26. 　前記パターン呈示ステップでは、隣り合う前記集光点の中心間隔を、さらに前記観察対象物の表面及び／又は内部の収差量に基づいて設定する、請求項１４～２５のいずれか１項に記載の画像取得方法。
PCT/JP2016/050700 2015-01-20 2016-01-12 画像取得装置および画像取得方法 WO2016117415A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680006352.5A CN107209360B (zh) 2015-01-20 2016-01-12 图像取得装置以及图像取得方法
US15/544,129 US10488640B2 (en) 2015-01-20 2016-01-12 Image acquisition device and image acquisition method
EP16740022.5A EP3249441B1 (en) 2015-01-20 2016-01-12 Image acquisition device and image acquisition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015008445A JP6300739B2 (ja) 2015-01-20 2015-01-20 画像取得装置および画像取得方法
JP2015-008445 2015-01-20

Publications (1)

Publication Number Publication Date
WO2016117415A1 true WO2016117415A1 (ja) 2016-07-28

Family

ID=56416962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050700 WO2016117415A1 (ja) 2015-01-20 2016-01-12 画像取得装置および画像取得方法

Country Status (5)

Country Link
US (1) US10488640B2 (ja)
EP (1) EP3249441B1 (ja)
JP (1) JP6300739B2 (ja)
CN (1) CN107209360B (ja)
WO (1) WO2016117415A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138794A1 (ja) * 2017-01-25 2018-08-02 オリンパス株式会社 光走査型顕微鏡装置および光走査型顕微鏡装置におけるスポット間距離測定方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6731901B2 (ja) * 2017-09-29 2020-07-29 株式会社日立ハイテク 分析装置
AU2018374385B2 (en) * 2017-11-30 2021-03-04 Leica Biosystems Imaging, Inc. Impulse rescan system
CN114113138B (zh) * 2021-11-22 2024-10-29 合肥维信诺科技有限公司 产品在籍检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004138906A (ja) * 2002-10-18 2004-05-13 Hamamatsu Photonics Kk 光ピンセット装置
JP2013225118A (ja) * 2012-03-23 2013-10-31 Olympus Corp レーザ顕微鏡
WO2014136784A1 (ja) * 2013-03-06 2014-09-12 浜松ホトニクス株式会社 蛍光受光装置および蛍光受光方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5248876A (en) 1992-04-21 1993-09-28 International Business Machines Corporation Tandem linear scanning confocal imaging system with focal volumes at different heights
US6758402B1 (en) * 1994-08-17 2004-07-06 Metrologic Instruments, Inc. Bioptical holographic laser scanning system
US5982553A (en) * 1997-03-20 1999-11-09 Silicon Light Machines Display device incorporating one-dimensional grating light-valve array
JP3816632B2 (ja) * 1997-05-14 2006-08-30 オリンパス株式会社 走査型顕微鏡
US7098871B1 (en) * 1998-08-05 2006-08-29 Microvision, Inc. Optical scanning system with correction
US9188874B1 (en) * 2011-05-09 2015-11-17 Kenneth C. Johnson Spot-array imaging system for maskless lithography and parallel confocal microscopy
US20030021016A1 (en) * 2001-07-27 2003-01-30 Grier David G. Parallel scanned laser confocal microscope
JP4425098B2 (ja) 2004-09-06 2010-03-03 浜松ホトニクス株式会社 蛍光顕微鏡および蛍光相関分光解析装置
JP4761432B2 (ja) * 2004-10-13 2011-08-31 株式会社リコー レーザ加工装置
WO2006127967A2 (en) 2005-05-25 2006-11-30 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
US8213017B2 (en) * 2006-07-17 2012-07-03 Max Wiki Analytical system comprising an arrangement for temporally variable spatial light modulation and detection method executable therewith
JP5281756B2 (ja) * 2007-04-13 2013-09-04 オリンパス株式会社 走査型光学装置および観察方法
KR100842617B1 (ko) 2007-05-29 2008-06-30 삼성전자주식회사 프로젝터
JP5039583B2 (ja) 2008-01-24 2012-10-03 浜松ホトニクス株式会社 観察装置
GB0812712D0 (en) 2008-07-10 2008-08-20 Imp Innovations Ltd Improved endoscope
JP5692969B2 (ja) * 2008-09-01 2015-04-01 浜松ホトニクス株式会社 収差補正方法、この収差補正方法を用いたレーザ加工方法、この収差補正方法を用いたレーザ照射方法、収差補正装置、及び、収差補正プログラム
JP2010175448A (ja) * 2009-01-30 2010-08-12 Kowa Co 光学撮像装置
JP5638793B2 (ja) 2009-12-03 2014-12-10 オリンパス株式会社 顕微鏡装置
JP2011128572A (ja) 2009-12-21 2011-06-30 Olympus Corp ホログラム像投影方法およびホログラム像投影装置
US20110267663A1 (en) * 2009-12-21 2011-11-03 Olympus Corporation Holographic image projection method and holographic image projection system
JP5479924B2 (ja) * 2010-01-27 2014-04-23 浜松ホトニクス株式会社 レーザ加工方法
JP5479925B2 (ja) * 2010-01-27 2014-04-23 浜松ホトニクス株式会社 レーザ加工システム
JP5809420B2 (ja) * 2011-02-22 2015-11-10 浜松ホトニクス株式会社 空間光変調装置および空間光変調方法
JP5749553B2 (ja) 2011-04-22 2015-07-15 浜松ホトニクス株式会社 光変調制御方法、制御プログラム、制御装置、及びレーザ光照射装置
CN102162908B (zh) * 2011-05-13 2013-08-07 厦门大学 一种基于塔尔博特效应的新型全息光镊系统
JP6116142B2 (ja) 2012-06-21 2017-04-19 オリンパス株式会社 走査型共焦点レーザ顕微鏡
WO2014085748A1 (en) * 2012-11-28 2014-06-05 The Penn State Research Foundation Z-microscopy
CN105379253A (zh) * 2013-01-25 2016-03-02 纽约市哥伦比亚大学理事会 景深3d成像空间光调制器显微镜
CN103226238B (zh) * 2013-05-14 2014-12-17 哈尔滨工业大学 基于反射式液晶空间光调制器的共焦横向扫描方法
WO2016056148A1 (ja) * 2014-10-08 2016-04-14 オリンパス株式会社 結像光学系、照明装置および観察装置
EP3035101A1 (en) * 2014-12-17 2016-06-22 Olympus Corporation Scanning apparatus and confocal observation apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004138906A (ja) * 2002-10-18 2004-05-13 Hamamatsu Photonics Kk 光ピンセット装置
JP2013225118A (ja) * 2012-03-23 2013-10-31 Olympus Corp レーザ顕微鏡
WO2014136784A1 (ja) * 2013-03-06 2014-09-12 浜松ホトニクス株式会社 蛍光受光装置および蛍光受光方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3249441A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138794A1 (ja) * 2017-01-25 2018-08-02 オリンパス株式会社 光走査型顕微鏡装置および光走査型顕微鏡装置におけるスポット間距離測定方法

Also Published As

Publication number Publication date
CN107209360A (zh) 2017-09-26
EP3249441A1 (en) 2017-11-29
JP2016133637A (ja) 2016-07-25
EP3249441A4 (en) 2018-09-12
JP6300739B2 (ja) 2018-03-28
CN107209360B (zh) 2021-01-29
US20180267283A1 (en) 2018-09-20
US10488640B2 (en) 2019-11-26
EP3249441B1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
US10302569B2 (en) Microscope device and image acquisition method
JP6276749B2 (ja) 蛍光受光装置および蛍光受光方法
JP6360825B2 (ja) 結像光学系、照明装置および観察装置
US10466458B2 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
US10191263B2 (en) Scanning microscopy system
WO2016117415A1 (ja) 画像取得装置および画像取得方法
CN110520779B (zh) 像差校正方法和光学装置
CN109073873B (zh) 图像取得装置以及图像取得方法
CN107209359B (zh) 图像取得装置以及图像取得方法
JP6770616B2 (ja) 画像取得装置、画像取得方法、及び空間光変調ユニット
JP5765569B2 (ja) 顕微鏡装置
JP2018072641A (ja) シート照明顕微鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16740022

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15544129

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2016740022

Country of ref document: EP