JP6300739B2 - 画像取得装置および画像取得方法 - Google Patents

画像取得装置および画像取得方法 Download PDF

Info

Publication number
JP6300739B2
JP6300739B2 JP2015008445A JP2015008445A JP6300739B2 JP 6300739 B2 JP6300739 B2 JP 6300739B2 JP 2015008445 A JP2015008445 A JP 2015008445A JP 2015008445 A JP2015008445 A JP 2015008445A JP 6300739 B2 JP6300739 B2 JP 6300739B2
Authority
JP
Japan
Prior art keywords
observation
condensing
light
image acquisition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015008445A
Other languages
English (en)
Other versions
JP2016133637A (ja
Inventor
直也 松本
直也 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2015008445A priority Critical patent/JP6300739B2/ja
Priority to CN201680006352.5A priority patent/CN107209360B/zh
Priority to US15/544,129 priority patent/US10488640B2/en
Priority to PCT/JP2016/050700 priority patent/WO2016117415A1/ja
Priority to EP16740022.5A priority patent/EP3249441B1/en
Publication of JP2016133637A publication Critical patent/JP2016133637A/ja
Application granted granted Critical
Publication of JP6300739B2 publication Critical patent/JP6300739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/004Scanning details, e.g. scanning stages fixed arrays, e.g. switchable aperture arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/114Two photon or multiphoton effect
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0031Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes

Description

本発明は、画像取得装置および画像取得方法に関する。
非特許文献1は、空間光変調器(Spatial Light Modulator;SLM)を用いた多光子吸収顕微鏡を開示する。この顕微鏡は、SLMを用いて、複数の励起光スポットを形成して走査することにより、観察対象物内の蛍光画像を高速に且つ鮮明に取得することを企図している。
特開2012−226268号公報
Wan Qin, Yonghong Shao, Honghai Liu, Xiang Peng, Hanben Niu, andBruce Gao, "Addressable discrete-line-scanning multiphoton microscopy based ona spatial light modulator", OPTICS LETTERS, Vol. 37, No. 5, pp.827-829, March1, 2012
近年、観察対象物に照射される励起光や照明光といった光を、SLMを用いて変調する技術が研究されている。このような技術によれば、観察対象物に対して様々な照射光、例えば平坦な強度分布を有する光や複数の位置(スポット)に同時に照射される光などを実現することができる。
顕微観察において観察対象物の複数の位置に光を同時に照射することにより、複数の箇所を同時に観察することが可能となるので、観察時間を短縮でき、また複数の箇所の同時刻における状況を取得できる等の利点がある。そのためには、複数の位置に同時に光を照射するとともに、これらの位置から生じた観察光を、例えば複数の検出領域を有する光検出器を用いて同時に検出する必要がある。しかしながら、このようにして観察光を検出する際には、以下のような問題が生じることがある。
照射光を観察対象物に照射する際には、観察対象物の表面形状に起因する収差(例えば球面収差)が生じる。このような収差を補正するためには、例えばSLMを用いて照射光の波面を制御するとよい。しかしながら、観察対象物から生じる観察光に対しては、このような補正を行うことが困難であることが多い。従って、光検出器に到達した観察光の形態は、収差に影響されたものとなる。すなわち、観察対象物の深い位置において生じた観察光では、観察対象物の浅い位置において生じた観察光と較べて、対物レンズ到達時の光径が大きくなる。従って、光検出器においても同様に、深い位置において生じた観察光の光径が、浅い位置において生じた観察光の光径よりも大きくなる。
顕微観察において、厚みのある観察対象物を浅い位置から深い位置まで観察する場合、上記の現象により、観察深さによって観察光の光径が異なる。従って、複数の位置から生じた複数の観察光を同時に検出する場合、観察深さによっては、光検出器にて隣り合う観察光同士が重なり合い、クロストークが発生するおそれがある。クロストークが発生すると、複数の観察光それぞれを精度良く検出することが困難となる。
本発明は、複数の観察光同士が重なり合うことによるクロストークを低減できる画像取得装置および画像取得方法を提供することを目的とする。
本発明の一実施形態による画像取得装置は、観察対象物の画像を取得する装置であって、光源から出力された照射光を変調する空間光変調器と、観察対象物において複数の集光点が形成されるように、空間光変調器に呈示される変調パターンを制御する制御部と、観察対象物中に複数の集光点を形成するために、変調された照射光を集光する集光光学系と、集光光学系の光軸と交差する走査方向に、観察対象物中の複数の集光点の位置を走査する走査部と、複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、光検出器からの検出信号を用いて観察対象物の画像を作成する画像作成部とを備える。制御部は、隣り合う集光点の中心間隔を、光軸の方向における複数の集光点の位置に基づいて設定する。
また、本発明の別の実施形態による画像取得装置は、観察対象物の画像を取得する装置であって、光源から出力された照射光を変調する空間光変調器と、観察対象物において複数の集光点が形成されるように、空間光変調器に呈示される変調パターンを制御する制御部と、観察対象物中に複数の集光点を形成するために、変調された照射光を集光する集光光学系と、複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、光検出器からの検出信号を用いて観察対象物の画像を作成する画像作成部とを備える。変調パターンは、照射光の光軸と交差する走査方向に複数の集光点を走査するためのパターンを含む。制御部は、隣り合う集光点の中心間隔を、光軸の方向における複数の集光点の位置に基づいて設定する。
また、本発明の一実施形態による画像取得方法は、観察対象物の画像を取得する方法であって、観察対象物において複数の集光点を形成するための変調パターンを空間光変調器に呈示するステップと、
光源から出力された照射光を空間光変調器において変調し、観察対象物中に複数の集光点を形成するために、変調された照射光を集光光学系により集光するステップと、照射光の光軸と交差する走査方向に、観察対象物中の複数の集光点の位置を走査しつつ、複数の集光点からそれぞれ生じた複数の観察光を検出するステップと、光検出ステップにより得られた検出信号を用いて観察対象物の画像を作成するステップとを含む。パターン呈示ステップでは、隣り合う集光点の中心間隔を、光軸の方向における複数の集光点の位置に基づいて設定する。
これらの画像取得装置および画像取得方法では、変調パターンが空間光変調器に呈示されることにより、複数の集光点を同時に且つ容易に形成することができる。そして、複数の集光点が走査(スキャン)されるとともに、これらの集光点においてそれぞれ生じた複数の観察光が光検出器によって検出される。このように、上記の各画像取得装置および画像取得方法によれば、観察対象物に複数の光を同時に照射することができ、更に、複数の観察光を同時に検出することができる。従って、観察時間を短縮でき、また複数の箇所の同時刻における状況を容易に取得できる。
また、前述したように、複数の位置から生じた複数の観察光を同時に検出する場合、観察深さによっては、光検出器にて隣り合う観察光同士が重なり合い、クロストークが発生するおそれがある。これに対し、上記の画像取得装置および画像取得方法では、隣り合う集光点の中心間隔が、光軸の方向における複数の集光点の位置(すなわち観察深さ)に基づいて設定される。これにより、例えば光検出器において観察光の光径が大きくなる場合には集光点の中心間隔を広げることができるので、複数の観察光同士が重なり合うことを抑制し、クロストークを低減できる。従って、複数の観察光それぞれを精度良く検出することが可能となり、明瞭な観察対象物中の画像を提供することができる。
また、上記の画像取得装置において、制御部は、光軸の方向における複数の集光点の位置の変化に応じて中心間隔を変化させてもよい。同様に、上記の画像取得方法のパターン呈示ステップでは、光軸の方向における複数の集光点の位置の変化に応じて中心間隔を変化させてもよい。これにより、複数の観察深さでの観察を、クロストークを抑えながら連続して行うことができる。この場合、制御部は(若しくはパターン呈示ステップにおいて)、光軸の方向における複数の集光点の位置が観察対象物の表面から離れるほど中心間隔を広くしてもよい。これにより、観察対象物の表面の収差に起因する観察光のクロストークを好適に低減できる。
また、上記の画像取得装置において、走査部は、変調された照射光を受ける光スキャナを含んでもよく、或いは、観察対象物を保持しつつ走査方向に観察対象物を移動させるステージを含んでもよい。また、上記の画像取得方法の光検出ステップでは、変調された照射光を受ける光スキャナを用いて複数の集光点の走査を行ってもよく、観察対象物を保持しつつ走査方向に観察対象物を移動させるステージを用いて複数の集光点の走査を行ってもよく、或いは、複数の集光点を走査するためのパターンを変調パターンに重畳させてもよい。これらの何れかによって、複数の集光点の位置を好適に走査することができる。
また、上記の画像取得装置において、光検出器は、複数の観察光をそれぞれ検出するための複数の検出領域を有し、複数の検出領域の大きさ及び中心間隔は、光軸の方向における複数の集光点の位置に基づいて設定されてもよい。同様に、上記の画像取得方法の光検出ステップでは、複数の観察光をそれぞれ検出するための複数の検出領域を有する光検出器を用い、複数の検出領域は、光軸の方向における複数の集光点の位置に基づいて設定されてもよい。これにより、光検出器での観察光同士の中心間隔や光径に応じて複数の検出領域のピッチ及び大きさが設定されるので、複数の観察光を好適に検出することができる。
また、上記の画像取得装置において、光検出器は、検出信号として、複数の検出領域に対応する複数の画像データを出力し、画像作成部は、観察対象物の画像を作成するために、複数の画像データを結合してもよい。同様に、上記の画像取得方法において、光検出器は、検出信号として、複数の検出領域に対応する複数の画像データを出力し、画像作成ステップでは、観察対象物の画像を作成するために、複数の画像データを結合してもよい。これにより、観察対象物において観察対象となる領域を複数の領域に分割し、各領域の画像を並行して作成することができるので、観察時間を効果的に短縮できる。
また、上記の画像取得装置において、光検出器は、複数のアノードを有するマルチアノード光電子増倍管を含んでもよく、複数の画素を有するエリアイメージセンサを含んでもよい。同様に、上記の画像取得方法の光検出ステップでは、複数のアノードを有するマルチアノード光電子増倍管を用いて複数の観察光を検出してもよく、複数の画素を有するエリアイメージセンサを用いて複数の観察光を検出してもよい。これらの何れかによって、複数の観察光を精度良く検出することができる。
また、上記の画像取得装置及び画像取得方法では、光軸の方向から見て複数の集光点が走査方向と交差する方向に並んでいてもよい。これにより、観察対象物において観察対象となる領域を複数の領域に分割し、各領域の画像を並行して作成することができるので、観察時間を効果的に短縮できる。
また、制御部は、隣り合う集光点の中心間隔を、さらに光軸の方向における複数の集光点の収差量に基づいて設定してもよい。同様に、上記の画像取得方法のパターン呈示ステップでは、隣り合う集光点の中心間隔を、さらに光軸の方向における複数の集光点の収差量に基づいて設定してもよい。これにより、観察対象物中の収差に起因する観察光のクロストークを好適に低減できる。
本発明による画像取得装置および画像取得方法によれば、観察対象物の深さ方向において集光位置が互いに異なる複数の光を同時に照射することができる。
図1は、本発明の一実施形態に係る画像取得装置の構成を示す図である。 図2は、観察対象物及びその近傍における照射光の様子を概念的に示す図である。 図3は、観察対象物及びその近傍における照射光の様子を概念的に示す図である。 図4は、対物レンズの光軸方向から見た集光点の並び方向の一例を概略的に示す図である。 図5は、光検出器の光検出面を示す正面図である。 図6は、検出信号に含まれる複数の画像データを概念的に示す図である。 図7は、画像取得方法のフローチャートである。 図8は、基準高さを設定する様子を概念的に示す図である。 図9は、集光点の観察深さを設定する様子を示す図である。 図10は、光検出器にて隣り合う点像同士が重なり合い、クロストークが発生する様子を示す図である。 図11は、第1変形例に係る画像取得方法のフローチャートである。 図12は、実施例において得られた画像を示す。 図13は、実施例において得られた画像を示す。
以下、添付図面を参照しながら本発明による画像取得装置および画像取得方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
図1は、本発明の一実施形態に係る画像取得装置1Aの構成を示す図である。画像取得装置1Aは、観察対象物Bに照射光L1を照射し、これにより観察対象物Bにおいて生じる観察光(被検出光)L2を観察するための装置である。画像取得装置1Aは、例えば顕微鏡装置である。観察光L2は、例えば蛍光、りん光、高周波発生光(SHG)、反射光、透過光、散乱光などである。図1に示されるように、画像取得装置1Aは、照射光生成ユニット10、走査ユニット20、照射光学ユニット30、観察ユニット40、及び制御ユニット50を備えている。
照射光生成ユニット10は、観察対象物Bに照射される照射光L1を生成する。本実施形態の照射光生成ユニット10は、光源11、ビームエキスパンダ12、及び空間光変調器(Spatial Light Modulator:SLM)13を有する。
光源11は、照射光L0を出力する。照射光L0は、例えば観察対象物Bに照射すべき波長の光を含む。光源11は、例えばパルス光発振や連続波発振のレーザ光源、SLD光源、或いはLED光源を含んで構成される。ビームエキスパンダ12は、例えば照射光L0の光軸上に並んで配置された複数のレンズ12a,12bを含んで構成され、照射光L0の光軸に対して垂直な断面の大きさを調整する。なお、レンズ12a,12bは、凸レンズでも凹レンズでもよく、それらを組み合わせてもよい。
空間光変調器13は、光源11と光学的に結合されており、光源11からの照射光L0を変調することにより、観察対象物Bへ照射される照射光L1を生成する。空間光変調器13に呈示される変調パターン(ホログラム)は、後述する制御ユニット50によって制御される。空間光変調器13は、位相変調型でも良いし、振幅(強度)変調型でも良い。また、空間光変調器13は、反射型及び透過型の何れであってもよい。また、空間光変調器13は複数枚設けられてもよく、その場合、照射光L0は複数回にわたって変調される。
走査ユニット20は、本実施形態における走査部の例である。走査ユニット20は、走査光学系としての光スキャナ21を有する。光スキャナ21は、空間光変調器13と光学的に結合されており、空間光変調器13によって変調された照射光L1を受ける。また、光スキャナ21は、観察対象物Bにおける照射光L1の照射位置を走査する。さらに、光スキャナ21は、観察対象物Bの集光点において発生する観察光L2を受ける。これにより、観察光L2はデスキャンされる。光スキャナ21は、後述する制御ユニット50によって制御される。光スキャナ21は、例えばガルバノミラー、共振ミラー、MEMSミラー、2次元音響光学素子(AOM)若しくはポリゴンミラー等によって構成される。なお、光スキャナ21が二軸スキャナである場合、光スキャナ21はテレセントリック光学系などの像転送光学系を含むことが好ましい。
なお、走査ユニット20は、光スキャナ21に加えて、ミラー22を更に有してもよい。ミラー22は、光スキャナ21と照射光学ユニット30とを光学的に結合させるために、照射光L1の光軸を屈曲させる。
照射光学ユニット30は、走査ユニット20から提供される照射光L1を観察対象物Bに照射するとともに、観察対象物Bからの観察光L2を観察ユニット40へ出力する。照射光学ユニット30は、ステージ31、対物レンズ32、対物レンズ移動機構33、及び反射ミラー34を有する。
ステージ31は、観察対象物B(若しくは観察対象物Bを収容するスライドガラスやシャーレ、マイクロプレートなどの容器)を支持するための部材である。ステージ31は、例えばガラスからなる。図1に示された例では照射光L1はステージ31の表面側から照射されるが、照射光L1はステージ31の裏面側からステージ31を透過して観察対象物Bに照射されてもよい。ステージ31は、観察対象物Bを保持しつつ、後述する対物レンズ32の光軸に対して交差(たとえば直交)する面方向に移動可能である。また、対物レンズ32の光軸方向に移動可能であってもよい。
対物レンズ32は、観察対象物Bと対向して配置され、観察対象物Bの内部に照射光L1の集光点を形成する集光光学系である。また、対物レンズ32は、観察対象物Bの該集光点において発生した観察光L2を受け、観察光L2を平行化する。照射光L1のための対物レンズと観察光L2のための対物レンズとは別個に設けられてもよい。例えば、照射光L1のために開口数(NA)が高い対物レンズを用い、空間光変調器13による収差補正により局所的に集光させてもよい。また、観察光L2のために瞳の大きな対物レンズを用い、より多くの光を取り出せるようにしてもよい。照射光L1のための対物レンズと観察光L2のための対物レンズとを観察対象物Bを挟むように配置して、照射光L1の観察対象物Bにおける透過光を観察光L2として取得してもよい。
対物レンズ移動機構33は、対物レンズ32を照射光L1の光軸方向に移動させるための機構である。対物レンズ移動機構33は、例えばステッピングモータ若しくはピエゾアクチュエータ等によって構成される。
反射ミラー34は、照射光生成ユニット10から照射光学ユニット30に到達した照射光L1を、対物レンズ32へ向けて反射する。また、反射ミラー34は、観察対象物Bからの観察光L2を走査ユニット20に向けて反射する。
対物レンズ32と空間光変調器13との距離が長い場合には、照射光L1及び観察光L2の光軸上に少なくとも一つのテレセントリック光学系が設けられてもよい。一例として、図1には2つのテレセントリック光学系61及び62が示されている。テレセントリック光学系61及び62は、空間光変調器13において生成された照射光L1の波面を対物レンズ32の後側焦点へ転送する役割を有する。テレセントリック光学系61及び62は、両側テレセントリック光学系であることが好ましい。この場合、空間光変調器13と光スキャナ21との間に配置されるテレセントリック光学系61は、空間光変調器13の変調面と光スキャナ21の走査面とに結像するように調整される。また、光スキャナ21と対物レンズ32との間に配置されるテレセントリック光学系62は、光スキャナ21の走査面と対物レンズ32の瞳面とに結像するように調整される。なお、テレセントリック光学系61,62は、空間光変調器13にて生成された照射光L1の波面を対物レンズ32の後側焦点へ転送可能であれば、像側テレセントリック光学系や物体側テレセントリック光学系であってもよい。また、対物レンズ32と空間光変調器13との距離が極めて近い場合には、テレセントリック光学系を省くことも可能である。
観察ユニット40は、光検出器41、フィルタ42、及び集光レンズ43を有する。光検出器41は、対物レンズ32及び光スキャナ21に光学的に結合されており、観察光L2を受けて、観察光L2の光強度を検出する。光検出器41は、照射光生成ユニット10に設けられたダイクロイックミラー14を介して光スキャナ21と光学的に結合される。ダイクロイックミラー14は、空間光変調器13によって変調された照射光L1及び光スキャナ21によってデスキャンされた観察光L2を受ける位置に配置され、照射光L1の少なくとも一部を透過し、観察光L2の少なくとも一部を反射する。光検出器41は、観察光L2の光強度を検出し、検出信号Sdを出力する。光検出器41は、複数のアノードを有するマルチアノード型の光電子増倍管(Photomultiplier Tube;PMT)によって構成されてもよく、または、フォトダイオード若しくはアバランシェフォトダイオードといったポイントセンサが複数個並んでアレイ状に構成されてもよい。或いは、光検出器41は、CCDイメージセンサ、EM−CCDイメージセンサ、若しくはCMOSイメージセンサといった、複数の画素を有するエリアイメージセンサであってもよく、また、ラインセンサであってもよい。特に、マルチアノード型のPMTは、増倍率が高く且つ受光面が他よりも大きいので好ましい。
フィルタ42は、ダイクロイックミラー14と光検出器41との間の光軸上に配置される。フィルタ42は、光検出器41に入射する光から、照射光L1の波長、及び観察に不要な蛍光等の波長をカットする。集光レンズ43は、光検出器41との直前に配置され、観察光L2を光検出器41に向けて集光する。なお、フィルタ42は、集光レンズ43の前段、後段のどちらに配置されてもよい。また、フィルタ42が不要な場合は設けなくてもよい。
制御ユニット50は、照射光生成ユニット10、走査ユニット20、及び照射光学ユニット30を制御する。例えば、制御ユニット50は、光源11、空間光変調器13、及び光スキャナ21を制御する。また、例えば、制御ユニット50は、対物レンズ移動機構33を用いて対物レンズ32の光軸方向の位置(高さ)を制御する。また、例えば、制御ユニット50は、観察対象物Bを支持するステージ31を光軸方向と交差する方向に移動させる。制御ユニット50は、マウスやキーボードといった入力装置51、ディスプレイといった表示装置52、及びコンピュータ53を含んで構成される。
また、コンピュータ53は、本実施形態における画像作成部の例である。コンピュータ53は、光検出器41からの検出信号Sd、及び光スキャナ21における光照射位置情報を用いて、観察対象物Bの画像を作成する。作成された画像は、表示装置52に表示される。また、コンピュータ53は、本実施形態における制御部の例である。コンピュータ53は、観察対象物Bにおいて所望の集光点が形成されるように、空間光変調器13に呈示される変調パターン(ホログラム)を制御する。作成された画像は、コンピュータ53のメモリや外部記憶装置に記憶されてもよい。
ここで、観察対象物Bにおける集光点の態様について詳細に説明する。図2及び図3は、観察対象物B及びその近傍における照射光L1の様子を概念的に示す図である。図2及び図3に示されるように、本実施形態では、対物レンズ32によって、照射光L1が、複数の集光点P1に集光される。なお、集光点の数が3つ以上である場合、図2及び図3は、複数の集光点P1のうち互いに隣り合う2つの集光点P1を拡大して示している。図中の仮想線A1は、対物レンズ32の基準高さを表す基準線である。
対物レンズ32の光軸方向(言い換えれば、観察対象物Bの深さ方向)における集光点P1の位置は、図2と図3とで異なっている。すなわち、図2には、観察対象物Bの表面からの集光点P1の深さdが浅い場合が示されており、図3には、観察対象物Bの表面からの集光点P1の深さdが深い場合が示されている。言い換えれば、図3に示される集光点P1は、図2に示される集光点P1よりも、観察対象物Bの表面から離れている。
対物レンズ32の光軸方向と直交する方向における集光点P1の中心間隔は、対物レンズ32の光軸方向における集光点P1の位置に基づいて設定される。例えば図2に示されるように集光点P1の深さがdが浅い場合、コンピュータ53は、隣り合う集光点P1の中心間隔Wを狭く設定する。また、図3に示されるように集光点P1の深さdが深い場合、コンピュータ53は、隣り合う集光点P1の中心間隔Wを広く設定する。このように、コンピュータ53は、対物レンズ32の光軸方向における集光点P1の位置が観察対象物Bの表面から離れるほど、隣り合う集光点P1の中心間隔を広く設定する。このような設定は、空間光変調器13に呈示される変調パターンの制御を通じて行われる。また、コンピュータ53は、観察深さdの変化、すなわち対物レンズ32の光軸方向における集光点P1の位置の変化に対応して、隣り合う集光点P1の中心間隔Wをその都度変化させるとよい。
また、対物レンズ32の光軸方向と直交する方向における集光点P1の中心間隔は、さらに観察対象物Bの表面及び/又は内部の収差量に基づいて設定される。例えば、収差量が大きい場合は、集光点P1の中心間隔を広く設定し、収差量が小さい場合は、集光点P2の中心間隔を狭く設定する。このような設定は、空間光変調器13に呈示される変調パターンの制御を通じて行われる。なお、観察対象物Bの表面及び/又は内部の収差量は、実際に測定して求めてもよいし、シミュレーション等により推定して求めてもよい。
図4は、対物レンズ32の光軸方向から見た集光点P1の並び方向の一例を概略的に示す図である。図4(a)は、集光点P1の走査方向A2を示し、図4(b)は、照射光L1の光軸方向から見た集光点P1の、光スキャナ21による走査の様子を示す。図4(a)に示されるように、この例では、照射光L1の光軸方向から見て集光点P1が走査方向A2と交差する方向A3に沿って並んでいる。また、図4(b)に示されるように、光スキャナ21による走査には高速軸と低速軸とが存在し、集光点P1は、高速軸に沿って移動したのち、低速軸の方向にシフトされて再び高速軸に沿って移動するという動作を繰り返す。この例では、照射光L1の光軸方向から見た集光点P1の並び方向は、低速軸(すなわち走査方向A2と交差する軸)に沿っている。方向A3は、例えば走査方向A2と直交しているか、或いは、走査方向A2に対して傾斜している。なお、光スキャナ21は、集光点P1が高速軸に沿って移動しながら、低速軸方向にも移動するように、集光点P1を走査してもよい。
上記のような位置関係でもって形成される複数の集光点P1は、空間光変調器13に呈示される変調パターンを制御するコンピュータ53と、対物レンズ32とによって実現される。コンピュータ53は、観察対象物Bにおいて複数の集光点P1が形成されるように変調パターンを制御する。そして、変調後の照射光L1が対物レンズ32によって集光され、複数の集光点P1が観察対象物Bに形成される。
図5(a)〜図5(c)は、本実施形態の光検出器41の光検出面44を示す正面図である。図5(a)〜図5(c)に示されるように、光検出面44は、複数の光検出部44aを含む。例えば光検出器41がマルチアノードPMTである場合、光検出部44aは、マルチアノードPMTの各アノードに相当する。また、例えば光検出器41がエリアイメージセンサである場合、光検出部44aは、一つの画素または画素群に相当する。また、例えば光検出器41がフォトダイオードアレイ(ラインセンサ)である場合、光検出部44aは、各フォトダイオードに相当する。
また、図5(a)〜図5(c)に示されるように、光検出面44には、複数の集光点P1からそれぞれ発生した複数の観察光の点像P2が形成される。光検出器41は、複数の点像P2それぞれの光強度を検出することにより、複数の観察光を検出する。図5(a)は集光点P1の観察深さが浅い場合を示し、図5(c)は集光点P1の観察深さが深い場合を示し、図5(b)は集光点P1の観察深さがそれらの中間である場合を示している。観察対象物Bにおける集光点P1の観察深さが深いほど、収差を与える観察対象物Bの表面と集光点P1との距離(つまり、観察対象物Bの内部の距離)が長くなるので、光検出器41に達する観察光の点像P2の光径が大きくなる。例えば図5(a)では、集光点P1の観察深さが浅いので、点像P2の光径が小さくなる。逆に、図5(c)では、集光点P1の観察深さが深いので、点像P2の光径が大きくなる。なお、光検出器41に達する観察光の点像P2の光径の大きさは、対物レンズ32の焦点と集光点P1の距離の大きさによっても変化する。
光検出器41は、複数の点像P2をそれぞれ検出するための複数の検出領域45を有する。複数の検出領域45は、互いに独立した領域であって、それぞれ一又は複数の光検出部44aを含んで構成される。そして、本実施形態では、複数の検出領域45の大きさ及び中心間隔は、対物レンズ32の光軸方向における複数の集光点P1の位置(すなわち観察深さ)に基づいて設定される。
具体的には、図5(a)に示される例では集光点P1の観察深さが浅いので、複数の検出領域45の大きさが小さく設定され、複数の検出領域45の中心間隔も短く設定される。一例としては、各検出領域45は、一つの光検出部44aからなるように設定され、その中心間隔は、光検出部44aの中心間隔と等しく設定される。また、図5(c)に示される例では集光点P1の観察深さが深いので、複数の検出領域45の大きさが図5(a)よりも大きく設定され、複数の検出領域45の中心間隔が図5(a)よりも長く設定される。一例としては、各検出領域45は、3つの光検出部44aからなるように設定され、その中心間隔は、5つおきの光検出部44aの中心間隔と等しく設定される。この場合、3つの光検出部44aからの検出信号は、合計されて検出領域45からの検出信号となる。また、図5(b)に示される例では、集光点P1の観察深さが図5(a)及び図5(c)の中間なので、複数の検出領域45の大きさが図5(a)よりも大きく且つ図5(c)よりも小さく設定され、複数の検出領域45の中心間隔が図5(a)よりも長く且つ図5(c)よりも短く設定される。一例としては、各検出領域45は、2つの光検出部44aからなるように設定され、その中心間隔は、2つおきの光検出部44aの中心間隔と等しく設定される。この場合、2つの光検出部44aからの検出信号は、合計されて検出領域45からの検出信号となる。なお、多くの場合、複数の検出領域45の中心間隔は、集光点P1の中心間隔Wとは異なる値となる。
画像作成部としてのコンピュータ53は、光検出器41からの検出信号Sdと、光スキャナ21における光照射位置情報とに基づいて、観察対象物Bの画像を作成する。光検出器41からの検出信号Sdには、複数の検出領域45に対応する複数の画像データが含まれる。図6は、検出信号Sdに含まれる複数の画像データD1を概念的に示す図である。複数の集光点P1が上述した態様で観察対象物Bにおいて走査されることにより、複数の観察光から細長形状の複数の画像データ(ストリップ画像)D1が生成される。言い換えれば、各画像データD1は、各集光点P1の走査領域の画像である。なお、図6には、複数の画像データD1のうち2つが拡大して示されている。コンピュータ53は、複数の画像データD1を相互に結合することによって、観察対象物Bの画像を作成する。これにより、所望の観察深さにおける観察対象物Bの内部画像を作成することができる。
なお、隣り合う集光点P1の走査領域が部分的に重なるように各走査領域が設定されてもよい。この場合、例えば重なり合う部分に重み付けを行いながら複数の画像データD1を結合することにより、複数の画像データD1同士の境界部分を目立ちにくくすることができる。
ここで、図7は、上述した画像取得装置1Aの動作を示すフローチャートである。図7を参照しながら、本実施形態による画像取得方法について説明する。
まず、ステージ31上に観察対象物Bを載置したのち、対物レンズ32の基準高さを設定する(ステップS1)。このステップS1では、対物レンズ移動機構33またはステージ31によって対物レンズ32と観察対象物Bとの距離を調整し、基準高さを設定する。図8は、基準高さZ0を設定する様子を概念的に示す図である。例えば、対物レンズ32の焦点位置が観察対象物Bの表面に合うように対物レンズ32の高さを調整し、その高さを基準高さZ0としてもよい。また、ステージ31を対物レンズ32の光軸方向に移動させることにより、対物レンズ32の焦点位置が観察対象物Bの表面に合うようにしてもよい。コンピュータ53は、この基準高さZ0を記憶する。
次に、図9に示されるように、集光点P1の観察深さd、すなわち画像化したい観察対象物B内部の深さを設定する(ステップS2)。このステップS2では、例えば、観察者が入力装置51を介して、基準高さZ0に対する対物レンズ32の光軸方向位置を入力してもよいし、観察対象物Bの表面からの深さを入力してもよい。観察対象物B内部の深さは、実距離であってもよいし、光学距離であってもよい。なお、対物レンズ32と観察対象物Bとの間の媒体(例えば空気、水、オイル、グルセリン、シリコーンなど)の屈折率及び/又は観察対象物Bの屈折率を考慮して、実際に対物レンズ32(もしくはステージ31)を移動させる量を算出してもよい。例えば、この場合、集光点P1の観察深さdが光学距離であり、媒体の屈折率をn、観察対象物Bの屈折率をnとすると、対物レンズ32(もしくはステージ31)の移動量をn・d/nとして算出する。
続いて、複数の集光点P1の中心間隔Wを設定する(ステップS3)。このステップS3では、図2及び図3に示されたように、集光点P1の深さdが深いほど中心間隔Wを大きくするとよい。また、例えば、対物レンズ32の開口数(NA)、対物レンズ32と観察対象物Bとの間の媒体の屈折率、観察対象物Bの屈折率、照射光L1の波長、観察対象物Bの表面形状や内部構造、観察対象物Bの表面及び/又は内部の収差量といったパラメータを基に、中心間隔Wを設定してもよい。これらのパラメータは、実際に測定して求めてもよいし、シミュレーション等により推定して求めてもよい。また、深さdに対応する中心間隔Wを予め計算してコンピュータ53の記憶領域にテーブルとして保存しておき、その中から適切な中心間隔Wを選択してもよい。
続いて、変調パターン(ホログラム)を作成する(ステップS4)。このステップS4では、上記ステップS2,S3において設定された複数の集光点P1の間隔W及び深さdに基づいて、空間光変調器13に呈示される計算機ホログラム(CGH)を作成する。なお、このステップS4は、例えばコンピュータ53によって行われる。また、深さd及び間隔Wに対応するCGHを予め計算し、コンピュータ53内部の記憶手段にテーブルとして保存しておき、その中から適切なCGHを選択してもよい。
続いて、ステップS4において作成されたCGH、すなわち観察対象物Bにおいて複数の集光点P1が形成されるような変調パターンを、空間光変調器13に呈示する(パターン呈示ステップS5)。そして、光源11から出力された照射光L0を空間光変調器13において変調し、変調後の照射光L1を対物レンズ32により集光することによって、観察対象物Bの深さdに複数の集光点P1を形成する(集光点形成ステップS6)。このステップS5及びS6では、観察対象物B内部の深さdに集光点P1が形成されるように、対物レンズ32と観察対象物Bとの距離を調整する。この状態で、CGHが空間光変調器13に呈示されることによって、光源11から出力された照射光L0が変調され、対物レンズ32により変調後の照射光L1が集光され、観察対象物B内部の深さdの位置に複数の集光点P1が中心間隔Wでもって形成される。なお、対物レンズ32と観察対象物Bとの距離を調整した後に、CGHを空間光変調器13に呈示し、対物レンズ32により変調後の照射光L1を集光してもよい。
続いて、複数の集光点P1の走査及び光検出を行う(光検出ステップS7)。この光検出ステップS7では、照射光L1の光軸と交差する走査方向に、観察対象物B内部の複数の集光点P1の位置を走査しつつ、複数の集光点P1それぞれから生じた複数の観察光L2を検出する。このとき、複数の観察光L2は光スキャナ21によってデスキャンされるので、集光点P1を移動させながらも、光検出器41における観察光L2の点像P2の位置を固定して検出することができる。光検出器41からは、複数の点像P2に対応する複数の画像データを含む検出信号Sdがコンピュータ53に出力される。
続いて、観察対象物Bの画像を作成する(画像作成ステップS8)。この画像作成ステップS8では、光検出ステップS7により得られた検出信号Sd(光強度情報)と、光スキャナ21による光走査位置情報(集光点P1の平面位置情報)とを用いて、コンピュータ53にて観察対象物Bの画像を作成する。具体的には、図6に示されたように、検出信号Sd及び光走査位置情報から複数の画像データD1を取得し(ステップS8a)、その後、複数の画像データD1を相互に結合することによって、観察対象物Bの画像を作成する(ステップS8b)。
以上に説明した本実施形態の画像取得装置1A及び画像取得方法による効果について説明する。本実施形態の画像取得装置1Aおよび画像取得方法では、変調パターンが空間光変調器13に呈示されることにより、複数の集光点P1を同時に且つ容易に形成することができる。そして、複数の集光点P1が走査(スキャン)されるとともに、これらの集光点P1においてそれぞれ生じた複数の観察光の点像P2が光検出器41によって検出される。このように、本実施形態の各画像取得装置1Aおよび画像取得方法によれば、観察対象物Bに複数の照射光L1を同時に照射することができ、更に、複数の観察光L2を同時に検出することができる。従って、観察時間を短縮でき、また複数の箇所の同時刻における状況を容易に取得できる。
観察対象物Bが例えば生体試料であるような場合には、観察時間の短縮によって、生体への負荷を小さくし、より良好な状態での観察が可能となる。例えば、3次元イメージングに100分の時間を要する場合には生体を生かした状態で観察することが難しいが、その時間が10分になれば、生かした状態での観察が可能になると考えられる。
また、複数の位置から生じた複数の観察光L2を同時に検出する場合、観察深さdによっては、光検出器41にて隣り合う点像P2同士が重なり合い、クロストークが発生するおそれがある。図10は、そのような現象を説明するための図である。図10(a)に示されるように、或る観察深さdにおいて、複数の検出領域45に複数の観察光の点像P2が入射する場合を考える。前述したように、観察対象物Bの表面における収差に起因して、観察対象物Bの深い位置において生じた観察光の光径は、浅い位置において生じた観察光の光径よりも大きくなる(図5を参照)。ここで、観察対象物Bの表面における収差とは、例えば観察のために用いられる浸液若しくは空気と観察対象物Bとの屈折率差によって生じる球面収差、及び、屈折率境界が光軸に対して垂直でない場合に生じる非点収差、コマ収差、デフォーカス収差などがある。特に球面収差については、観察深さdが深くなるほど大きくなる傾向がある。また、観察対象物Bの内部における収差(球面収差や非点収差、コマ収差、デフォーカス収差など)に起因しても、観察対象物Bの深い位置において生じた観察光の光径は、浅い位置において生じた観察光の光径よりも大きくなる(図5を参照)。従って、観察深さdによっては、図10(b)に示されるように、光検出器41にて隣り合う観察光の点像P2同士が重なり合い、クロストークが発生するおそれがある。クロストークが発生すると、複数の観察光L2それぞれを精度良く検出することが困難となる。
これに対し、本実施形態の画像取得装置1Aおよび画像取得方法では、図2及び図3に示されたように、隣り合う集光点P1の中心間隔Wが、対物レンズ32の光軸方向における複数の集光点P1の位置(すなわち観察深さd)に基づいて設定される。これにより、例えば光検出器41において観察光の点像P2の光径が大きくなる場合には集光点P1の中心間隔Wを広げることができるので、複数の点像P2同士が重なり合うことを抑制し、クロストークを低減できる。また、本実施形態の画像取得装置1Aおよび画像取得方法では、隣り合う集光点P1の中心間隔Wが、さらに観察対象物Bの表面及び/又は内部の収差量も基づいて設定される。これにより、観察対象物Bの表面及び/又は内部の収差量も考慮して、隣り合う集光点P1の中心間隔Wが設定されるので、複数の点像P2同士が重なり合うことをより抑制し、クロストークを低減できる。従って、複数の観察光の点像P2それぞれを精度良く検出することが可能となり、明瞭な観察対象物中の画像を提供することができる。
なお、本実施形態において、複数の集光点P1とは、互いに同等の光量の集光点を指す。例えば、他の集光点よりも格段に光量が少なく、画像の作成に資さないような集光点は、ここでいう集光点には含まれない。言い換えれば、本実施形態における集光点P1とは、画像作成の為に有用な観察光L2を生じさせる集光点をいう。
また、空間光変調器13に呈示される変調パターンを用いて複数の集光点P1を形成することにより、照射光L1の光軸方向に垂直或いは平行な方向における所望の位置に容易に集光でき、且つ、集光点数、位置、強度等を容易に変えることができる。
また、本実施形態のように、コンピュータ53は、複数の集光点P1が観察対象物Bの表面から離れるほど中心間隔Wを広くしてもよい。これにより、観察対象物Bの表面の収差に起因する観察光のクロストークを好適に低減できる。
また、本実施形態のように、光検出器41は、複数の観察光の点像P2をそれぞれ検出するための複数の検出領域45を有し、複数の検出領域45の大きさ及び中心間隔は、対物レンズ32の光軸方向における複数の集光点P1の位置に基づいて設定されてもよい。これにより、光検出器41での点像P2同士の中心間隔や光径に応じて複数の検出領域45のピッチ及び大きさが設定されるので、複数の観察光L2を好適に検出することができる。
また、本実施形態のように、光検出器41は、検出信号Sdとして、複数の検出領域45に対応する複数の画像データD1を出力し、画像作成ステップS8において、コンピュータ53は、複数の画像データD1を結合することにより観察対象物Bの画像を作成してもよい。これにより、観察対象物Bにおいて観察対象となる領域を複数の領域に分割し、各領域の画像を並行して作成することができるので、観察時間を効果的に短縮できる。
また、本実施形態のように、光検出器41は、複数のアノードを有するマルチアノード光電子増倍管を含んでもよく、或いは、複数の画素を有するエリアイメージセンサを含んでもよい。これらの何れかによって、複数の点像P2それぞれにおいて観察光L2の光強度を精度良く検出することができる。
また、本実施形態のように、対物レンズ32の光軸方向から見て複数の集光点P1が走査方向A2と交差する方向に並んでいてもよい。これにより、観察対象物Bにおいて観察対象となる領域を複数の領域に分割し、各領域の画像を並行して作成することができるので、観察時間を効果的に短縮できる。
なお、本実施形態では、空間光変調器13に呈示される変調パターンが、照射光L1に対する収差補正パターンを含んでもよい。これにより、集光点P1を小さくして、計測の分解能を高めることができる。そうすると、広い観察領域を小さな間隔で観察することとなるが、本実施形態によれば、複数の集光点P1を同時に照射し、複数の観察光の点像P2を同時に検出するので、観察時間を効果的に短縮でき、例えば単一の集光点P1による観察では更に観察時間を要するような条件であっても、観察時間の増加を防ぎ、或いは、格段に短い時間で観察することが可能となる。
(第1変形例)
図11は、上記実施形態の第1変形例に係る画像取得方法のフローチャートである。上記実施形態では、観察対象物Bの或る観察深さdでの画像を取得しているが、本変形例では、観察対象物Bの表面から順に観察深さdを変化させながら画像を取得する。なお、図11に示されるステップS1〜S8については、上記実施形態と同様なので説明を省略する。
本変形例では、対物レンズ32の基準高さZ0を設定したのち(ステップS1)、コンピュータ53が、複数の観察深さdの設定を行う(ステップS11)。なお、複数の観察深さdは、入力装置51を介して観察者により設定されてもよいし、観察者により入力された画像取得範囲に基づいて、コンピュータ53により自動的に設定されてもよい。
続いて、上記実施形態と同様に、ステップS2〜S8を行う。その後、全ての観察深さdについて画像を作成していない場合は(ステップS12:NO)、再びステップS2へ戻り、コンピュータ53が集光点P1の深さdの再設定を行い、深さdを変更する。このとき、ステップS3においては、観察深さdの変化に応じて、コンピュータ53が中心間隔Wを変化させる。具体的には、コンピュータ53は、集光点P1が観察対象物Bの表面から離れるほど中心間隔Wを広くする。また、全ての観察深さdについて画像を作成した場合は(ステップS12:YES)、処理を終了する。
本変形例のように、コンピュータ53は、対物レンズ32の光軸方向における複数の集光点P1の位置(すなわち観察深さd)の変化に応じて、中心間隔Wを変化させてもよい。これにより、複数の観察深さdでの観察を、クロストークを抑えながら連続して行うことができる。この場合、コンピュータ53は、複数の集光点P1が観察対象物Bの表面から離れるほど中心間隔Wを広くしてもよい。これにより、観察対象物Bの表面の収差に起因する観察光のクロストークを好適に低減できる。
(第2変形例)
上記実施形態では光スキャナ21によって集光点P1を走査しているが、ステージ31を光軸方向と交差する面方向に移動させることによって集光点P1を走査してもよい。言い換えれば、上記実施形態の走査部は、光スキャナ21に代えて若しくは光スキャナ21とともに、ステージ31を含んでもよい。このような構成であっても、集光点P1を好適に走査することができる。
(第3変形例)
上記実施形態では光スキャナ21によって集光点P1を走査しているが、空間光変調器13に呈示される変調パターンに、集光点P1を走査するためのパターン(光走査ホログラム)を含ませ(重畳させ)てもよい。この場合、上記実施形態における走査部が不要となるので、画像取得装置1Aの構成部品を削減し、小型化に寄与できる。
(実施例)
ここで、上記実施形態の実施例について説明する。本実施例では、観察対象物Bとして、直径3μmの蛍光ビーズを複数個内包した樹脂を用意した。この樹脂を対物レンズ(水浸40倍、NA1.15)を用いて観察した。深さdの位置に複数の集光点P1を形成し、これらの集光点P1を走査して画像を取得した。このとき、複数の集光点P1は、走査方向A2に対して直交する方向A3に沿って並ぶものとした。また、観察深さdを5μm及び250μmとした。なお、以下の図において、図中の矢印A4は方向A3における複数の集光点P1の走査開始位置を表す。
図12は、観察深さdを光学距離で5.68μmとし、複数の集光点P1の中心間隔Wを13.7μmとして得られた画像を示す。このとき、明確な蛍光画像を取得することができた。
また、図13は、観察深さdを光学距離で292μmとして得られた画像を示す。図13(a)は、複数の集光点P1の中心間隔Wを27.4μmとして得られた画像であり、図13(b)は、複数の集光点P1の中心間隔Wを13.7μmとして得られた画像である。図13(b)に示されるように、観察深さdを292μmに変更し、中心間隔Wを13.7μmのまま変更しなかった場合、観察光のクロストークの影響により、本来1つの蛍光ビーズであるところが、複数の蛍光ビーズが存在するように見えた(図中の範囲B1を参照)。これに対し、図13(a)に示されるように、、観察深さd(292μm)に基づいて中心間隔Wを27.4μmに変更した場合には、クロストークの影響が抑制された明確な蛍光画像を取得することができた。
1A…画像取得装置、10…照射光生成ユニット、11…光源、12…ビームエキスパンダ、13…空間光変調器、14…ダイクロイックミラー、20…走査ユニット、21…光スキャナ、22…ミラー、30…照射光学ユニット、31…ステージ、32…対物レンズ、33…対物レンズ移動機構、34…反射ミラー、40…観察ユニット、41…光検出器、42…フィルタ、43…集光レンズ、44…光検出面、44a…光検出部、45…検出領域、50…制御ユニット、51…入力装置、52…表示装置、53…コンピュータ、61,62…テレセントリック光学系、B…観察対象物、D1…画像データ、L1…照射光、L2…観察光、P1…集光点、P2…点像、Sd…検出信号。

Claims (24)

  1. 光源から出力された照射光を変調する空間光変調器と、
    観察対象物において複数の集光点が形成されるように、前記空間光変調器に呈示される変調パターンを制御する制御部と、
    前記観察対象物中に前記複数の集光点を形成するために、変調された前記照射光を集光する集光光学系と、
    前記集光光学系の光軸と交差する走査方向に、前記観察対象物中の前記複数の集光点の位置を走査する走査部と、
    前記複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、
    前記光検出器からの検出信号を用いて前記観察対象物の画像を作成する画像作成部と、
    を備え、
    前記制御部は、隣り合う前記集光点の中心間隔を、前記光軸の方向における前記複数の集光点の位置に基づいて設定する、画像取得装置。
  2. 前記制御部は、前記光軸の方向における前記複数の集光点の位置の変化に応じて前記中心間隔を変化させる、請求項1に記載の画像取得装置。
  3. 前記制御部は、前記光軸の方向における前記複数の集光点の位置が前記観察対象物の表面から離れるほど前記中心間隔を広くする、請求項2に記載の画像取得装置。
  4. 前記走査部は、変調された前記照射光を受ける光スキャナを含む、請求項1〜3のいずれか1項に記載の画像取得装置。
  5. 前記走査部は、前記観察対象物を保持しつつ前記走査方向に前記観察対象物を移動させるステージを含む、請求項1〜3のいずれか1項に記載の画像取得装置。
  6. 前記光検出器は、前記複数の観察光をそれぞれ検出するための複数の検出領域を有し、
    前記複数の検出領域の大きさ及び中心間隔は、前記光軸の方向における前記複数の集光点の位置に基づいて設定される、請求項1〜5のいずれか1項に記載の画像取得装置。
  7. 前記光検出器は、前記検出信号として、前記複数の検出領域に対応する複数の画像データを出力し、
    前記画像作成部は、前記観察対象物の画像を作成するために、前記複数の画像データを結合する、請求項6に記載の画像取得装置。
  8. 前記光検出器は、複数のアノードを有するマルチアノード光電子増倍管を含む、請求項6または7に記載の画像取得装置。
  9. 前記光検出器は、複数の画素を有するエリアイメージセンサを含む、請求項6または7に記載の画像取得装置。
  10. 前記光軸の方向から見て前記複数の集光点が前記走査方向と交差する方向に並んでいる、請求項1〜9のいずれか1項に記載の画像取得装置。
  11. 前記制御部は、隣り合う前記集光点の中心間隔を、さらに前記観察対象物の表面及び/又は内部の収差量に基づいて設定する、請求項1〜10のいずれか1項に記載の画像取得装置。
  12. 光源から出力された照射光を変調する空間光変調器と、
    観察対象物において複数の集光点が形成されるように、前記空間光変調器に呈示される変調パターンを制御する制御部と、
    前記観察対象物中に前記複数の集光点を形成するために、変調された前記照射光を集光する集光光学系と、
    前記複数の集光点からそれぞれ生じた複数の観察光を検出する光検出器と、
    前記光検出器からの検出信号を用いて前記観察対象物の画像を作成する画像作成部と、
    を備え、
    前記変調パターンは、前記照射光の光軸と交差する走査方向に前記複数の集光点を走査するためのパターンを含み、
    前記制御部は、隣り合う前記集光点の中心間隔を、前記光軸の方向における前記複数の集光点の位置に基づいて設定する、画像取得装置。
  13. 観察対象物において複数の集光点を形成するための変調パターンを空間光変調器に呈示するパターン呈示ステップと、
    光源から出力された照射光を前記空間光変調器において変調し、前記観察対象物中に前記複数の集光点を形成するために、変調された前記照射光を集光光学系により集光する集光点形成ステップと、
    前記照射光の光軸と交差する走査方向に、前記観察対象物中の前記複数の集光点の位置を走査しつつ、前記複数の集光点からそれぞれ生じた複数の観察光を検出する光検出ステップと、
    前記光検出ステップにより得られた検出信号を用いて前記観察対象物の画像を作成する画像作成ステップと、
    を含み、
    前記パターン呈示ステップでは、隣り合う前記集光点の中心間隔を、前記光軸の方向における前記複数の集光点の位置に基づいて設定する、画像取得方法。
  14. 前記パターン呈示ステップでは、前記光軸の方向における前記複数の集光点の位置の変化に応じて前記中心間隔を変化させる、請求項13に記載の画像取得方法。
  15. 前記パターン呈示ステップでは、前記光軸の方向における前記複数の集光点の位置が前記観察対象物の表面から離れるほど前記中心間隔を広くする、請求項14に記載の画像取得方法。
  16. 前記光検出ステップでは、変調された前記照射光を受ける光スキャナを用いて前記複数の集光点の走査を行う、請求項13〜15のいずれか1項に記載の画像取得方法。
  17. 前記光検出ステップでは、前記観察対象物を保持しつつ前記走査方向に前記観察対象物を移動させるステージを用いて前記複数の集光点の走査を行う、請求項13〜15のいずれか1項に記載の画像取得方法。
  18. 前記光検出ステップでは、前記複数の集光点を走査するためのパターンを前記変調パターンに重畳させる、請求項13〜15のいずれか1項に記載の画像取得方法。
  19. 前記光検出ステップでは、前記複数の観察光をそれぞれ検出するための複数の検出領域を有する光検出器を用い、
    前記複数の検出領域の大きさ及び中心間隔は、前記光軸の方向における前記複数の集光点の位置に基づいて設定される、請求項13〜18のいずれか1項に記載の画像取得方法。
  20. 前記光検出器は、前記検出信号として、前記複数の検出領域に対応する複数の画像データを出力し、
    前記画像作成ステップでは、前記観察対象物の画像を作成するために、前記複数の画像データを結合する、請求項19に記載の画像取得方法。
  21. 前記光検出ステップでは、複数のアノードを有するマルチアノード光電子増倍管を用いて前記複数の観察光を検出する、請求項13〜20のいずれか1項に記載の画像取得方法。
  22. 前記光検出ステップでは、複数の画素を有するエリアイメージセンサを用いて前記複数の観察光を検出する、請求項13〜20のいずれか1項に記載の画像取得方法。
  23. 前記光軸の方向から見て前記複数の集光点が前記走査方向と交差する方向に並んでいる、請求項13〜22のいずれか1項に記載の画像取得方法。
  24. 前記パターン呈示ステップでは、隣り合う前記集光点の中心間隔を、さらに前記観察対象物の表面及び/又は内部の収差量に基づいて設定する、請求項13〜23のいずれか1項に記載の画像取得方法。
JP2015008445A 2015-01-20 2015-01-20 画像取得装置および画像取得方法 Active JP6300739B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015008445A JP6300739B2 (ja) 2015-01-20 2015-01-20 画像取得装置および画像取得方法
CN201680006352.5A CN107209360B (zh) 2015-01-20 2016-01-12 图像取得装置以及图像取得方法
US15/544,129 US10488640B2 (en) 2015-01-20 2016-01-12 Image acquisition device and image acquisition method
PCT/JP2016/050700 WO2016117415A1 (ja) 2015-01-20 2016-01-12 画像取得装置および画像取得方法
EP16740022.5A EP3249441B1 (en) 2015-01-20 2016-01-12 Image acquisition device and image acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015008445A JP6300739B2 (ja) 2015-01-20 2015-01-20 画像取得装置および画像取得方法

Publications (2)

Publication Number Publication Date
JP2016133637A JP2016133637A (ja) 2016-07-25
JP6300739B2 true JP6300739B2 (ja) 2018-03-28

Family

ID=56416962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015008445A Active JP6300739B2 (ja) 2015-01-20 2015-01-20 画像取得装置および画像取得方法

Country Status (5)

Country Link
US (1) US10488640B2 (ja)
EP (1) EP3249441B1 (ja)
JP (1) JP6300739B2 (ja)
CN (1) CN107209360B (ja)
WO (1) WO2016117415A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138794A1 (ja) * 2017-01-25 2018-08-02 オリンパス株式会社 光走査型顕微鏡装置および光走査型顕微鏡装置におけるスポット間距離測定方法
JP6731901B2 (ja) * 2017-09-29 2020-07-29 株式会社日立ハイテク 分析装置
CN111527438B (zh) * 2017-11-30 2023-02-21 徕卡生物系统成像股份有限公司 冲击重新扫描系统
CN114113138A (zh) * 2021-11-22 2022-03-01 合肥维信诺科技有限公司 产品在籍检测装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5248876A (en) 1992-04-21 1993-09-28 International Business Machines Corporation Tandem linear scanning confocal imaging system with focal volumes at different heights
US6758402B1 (en) * 1994-08-17 2004-07-06 Metrologic Instruments, Inc. Bioptical holographic laser scanning system
US5982553A (en) * 1997-03-20 1999-11-09 Silicon Light Machines Display device incorporating one-dimensional grating light-valve array
JP3816632B2 (ja) * 1997-05-14 2006-08-30 オリンパス株式会社 走査型顕微鏡
US7098871B1 (en) * 1998-08-05 2006-08-29 Microvision, Inc. Optical scanning system with correction
US9188874B1 (en) * 2011-05-09 2015-11-17 Kenneth C. Johnson Spot-array imaging system for maskless lithography and parallel confocal microscopy
US20030021016A1 (en) * 2001-07-27 2003-01-30 Grier David G. Parallel scanned laser confocal microscope
JP2004138906A (ja) * 2002-10-18 2004-05-13 Hamamatsu Photonics Kk 光ピンセット装置
JP4425098B2 (ja) 2004-09-06 2010-03-03 浜松ホトニクス株式会社 蛍光顕微鏡および蛍光相関分光解析装置
JP4761432B2 (ja) * 2004-10-13 2011-08-31 株式会社リコー レーザ加工装置
EP1889111A2 (en) 2005-05-25 2008-02-20 Massachusetts Institute of Technology Multifocal imaging systems and methods
EP2044420A2 (de) * 2006-07-17 2009-04-08 Max Wiki Analytisches system mit einer anordnung zur zeitlich veränderbaren räumlichen lichtmodulation und damit ausführbares nachweisverfahren
JP5281756B2 (ja) * 2007-04-13 2013-09-04 オリンパス株式会社 走査型光学装置および観察方法
KR100842617B1 (ko) 2007-05-29 2008-06-30 삼성전자주식회사 프로젝터
JP5039583B2 (ja) 2008-01-24 2012-10-03 浜松ホトニクス株式会社 観察装置
GB0812712D0 (en) 2008-07-10 2008-08-20 Imp Innovations Ltd Improved endoscope
JP5692969B2 (ja) * 2008-09-01 2015-04-01 浜松ホトニクス株式会社 収差補正方法、この収差補正方法を用いたレーザ加工方法、この収差補正方法を用いたレーザ照射方法、収差補正装置、及び、収差補正プログラム
JP2010175448A (ja) * 2009-01-30 2010-08-12 Kowa Co 光学撮像装置
JP5638793B2 (ja) 2009-12-03 2014-12-10 オリンパス株式会社 顕微鏡装置
US20110267663A1 (en) * 2009-12-21 2011-11-03 Olympus Corporation Holographic image projection method and holographic image projection system
JP2011128572A (ja) 2009-12-21 2011-06-30 Olympus Corp ホログラム像投影方法およびホログラム像投影装置
JP5479924B2 (ja) * 2010-01-27 2014-04-23 浜松ホトニクス株式会社 レーザ加工方法
JP5479925B2 (ja) * 2010-01-27 2014-04-23 浜松ホトニクス株式会社 レーザ加工システム
JP5809420B2 (ja) * 2011-02-22 2015-11-10 浜松ホトニクス株式会社 空間光変調装置および空間光変調方法
JP5749553B2 (ja) 2011-04-22 2015-07-15 浜松ホトニクス株式会社 光変調制御方法、制御プログラム、制御装置、及びレーザ光照射装置
CN102162908B (zh) * 2011-05-13 2013-08-07 厦门大学 一种基于塔尔博特效应的新型全息光镊系统
US8659824B2 (en) * 2012-03-23 2014-02-25 Olympus Corporation Laser microscope
JP6116142B2 (ja) 2012-06-21 2017-04-19 オリンパス株式会社 走査型共焦点レーザ顕微鏡
WO2014085748A1 (en) * 2012-11-28 2014-06-05 The Penn State Research Foundation Z-microscopy
EP2949117A4 (en) * 2013-01-25 2016-10-05 Univ Columbia SLM MICROSCOPE FOR FIELD DEPTH 3D MODELING
US9740166B2 (en) * 2013-03-06 2017-08-22 Hamamatsu Photonics K.K. Fluorescence receiving apparatus and fluorescence receiving method
CN103226238B (zh) * 2013-05-14 2014-12-17 哈尔滨工业大学 基于反射式液晶空间光调制器的共焦横向扫描方法
WO2016056148A1 (ja) * 2014-10-08 2016-04-14 オリンパス株式会社 結像光学系、照明装置および観察装置
EP3035101A1 (en) * 2014-12-17 2016-06-22 Olympus Corporation Scanning apparatus and confocal observation apparatus

Also Published As

Publication number Publication date
WO2016117415A1 (ja) 2016-07-28
EP3249441B1 (en) 2021-05-19
EP3249441A1 (en) 2017-11-29
CN107209360A (zh) 2017-09-26
US20180267283A1 (en) 2018-09-20
EP3249441A4 (en) 2018-09-12
US10488640B2 (en) 2019-11-26
CN107209360B (zh) 2021-01-29
JP2016133637A (ja) 2016-07-25

Similar Documents

Publication Publication Date Title
US10302569B2 (en) Microscope device and image acquisition method
US9740166B2 (en) Fluorescence receiving apparatus and fluorescence receiving method
JP6360825B2 (ja) 結像光学系、照明装置および観察装置
US10466458B2 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
US10191263B2 (en) Scanning microscopy system
JP6300739B2 (ja) 画像取得装置および画像取得方法
JP6210754B2 (ja) 走査型光学顕微鏡
US11454793B2 (en) Aberration correction method and optical device
CN109073873B (zh) 图像取得装置以及图像取得方法
JP6539391B2 (ja) 顕微鏡装置及び画像取得方法
JP6539052B2 (ja) 画像取得装置および画像取得方法
JP6770616B2 (ja) 画像取得装置、画像取得方法、及び空間光変調ユニット
JP2018072641A (ja) シート照明顕微鏡
JP5765569B2 (ja) 顕微鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180227

R150 Certificate of patent or registration of utility model

Ref document number: 6300739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250