JPWO2014057998A1 - 顕微鏡及び観察方法 - Google Patents

顕微鏡及び観察方法 Download PDF

Info

Publication number
JPWO2014057998A1
JPWO2014057998A1 JP2014540879A JP2014540879A JPWO2014057998A1 JP WO2014057998 A1 JPWO2014057998 A1 JP WO2014057998A1 JP 2014540879 A JP2014540879 A JP 2014540879A JP 2014540879 A JP2014540879 A JP 2014540879A JP WO2014057998 A1 JPWO2014057998 A1 JP WO2014057998A1
Authority
JP
Japan
Prior art keywords
light
phase
aom
frequency
traveling wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014540879A
Other languages
English (en)
Other versions
JP5958779B2 (ja
Inventor
文宏 嶽
文宏 嶽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Application granted granted Critical
Publication of JP5958779B2 publication Critical patent/JP5958779B2/ja
Publication of JPWO2014057998A1 publication Critical patent/JPWO2014057998A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/11Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on acousto-optical elements, e.g. using variable diffraction by sound or like mechanical waves
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/21Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  by interference
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/063Illuminating optical parts

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Nonlinear Science (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

標本面を照明する照明装置であって、光源系から射出した可干渉性を持つ光パルス中に配置され、光パルスを横切る方向に音波の進行波を形成する音響光学素子と、音響光学素子から発生する複数の回折光による位相可変の干渉縞よりなる構造化照明を標本面に形成する集光光学系と、を備える。音波の進行波を形成する音響光学素子から発生する複数の回折光による干渉縞を構造化照明として使用できるため、構造化照明を行う場合にその位相を高速にかつ高精度に切り換えることができる。

Description

本発明は、標本又は試料の被観察面を照明する照明技術、並びに標本又は試料を観察する顕微鏡及び観察技術に関する。
近年、光学顕微鏡の解像限界を超えた顕微鏡法が複数提案され、それらは総称して超解像光学顕微鏡と呼ばれている。超解像光学顕微鏡の一種に、いわゆる構造化照明を用いる顕微鏡(構造化照明顕微鏡)がある。この顕微鏡は、標本又は試料の被観察面(標本面又は試料面)にストライプ状の縞パターン(構造化照明)を投影し、それにより励起された蛍光(あるいは散乱など標本から発する何らかの光)を撮像素子で取得する。超解像画像を構築するには、縞パターン(構造化照明)の位相の異なる複数の画像を取得する必要がある。それら複数画像を解析することで観察用の結像光学系の解像限界を超える超解像画像を取得するものである。また、2次元面内において超解像を実現するには、構造化照明の方位も変化させる必要がある。
構造化照明を標本面に投影することで、構造化照明の空間周波数と標本の空間周波数はモアレ縞を生成する。このモアレ縞には、低い空間周波数に周波数変換された、結像光学系の解像限界を超える標本の空間周波数情報が含まれる。そのモアレ縞の空間周波数が通常の結像光学系の解像限界の空間周波数より低ければ、その情報はその結像光学系で検出することができる。従って、そのモアレ縞の情報を含む画像を取得し、構造化照明の位相を変えて取得した複数の画像を用いて演算処理を行うことにより、超解像を実現することが可能となる(例えば、特許文献1参照)。
特許文献1には、構造化照明顕微鏡を蛍光観察へ適用した例が開示されている。特許文献1の方法では、可干渉光源から射出した光束を回折格子によって2つの光束に分割し、それら2つの光束を対物レンズの瞳上の互いに異なる位置へ個別に集光させる。このとき2つの光束は対物レンズから角度の異なる平行光束として射出し、標本面上で重なり合いストライプ状の干渉縞(構造化照明)を形成する。そして、特許文献1の方法では、構造化照明の位相をステップ状に変化させながら標本の画像を繰り返し取得し、取得した複数の画像に対して、標本の構造と回折格子のパターンとを分離する演算(分離演算)と、分離された複数の画像から超解像画像を復調する演算(復調演算)とを施している。
また、特許文献1の方法の応用として、標本面内の方向と深さ方向との双方に亘って超解像効果を得るために、干渉縞に寄与する光束を3光束化する技術が提案されている。3光束を利用すれば、構造化照明のストライプパターンを標本面内の方向だけでなく深さ方向にも発生させることができるからである。
米国特許第6239909号明細書
しかしながら、構造化照明の位相をステップ状に変化させる従来の方法のうち、回折格子等の光学素子をステップ移動させる方法では、移動していた光学素子を適当な位置で静止させるのに一定の時間を要するため、必要な画像を全て取得するまでの時間(観察時間)を短縮することが難しい。特に、標本が生体標本である場合は、標本の構造が時々刻々と変化する可能性があるため、画像取得はできるだけ高速に行われることが望ましい。
また、従来の3光束を利用して標本面内の方向と深さ方向との双方に亘って超解像効果を得る方法では、前述した分離演算に必要な画像の枚数が多くなるので、画像取得を高速化する必要性は特に高いと考えられる。
本発明の態様は、このように事情に鑑み、構造化照明を行う場合にその位相を高速にかつ高精度に切り換えることができるようにすることを目的とする。
本発明の第1の態様によれば、光源部から射出した光束の光路中に配置され、その射出した光束を横切る方向に音波進行波が形成される進行波形成部と、その進行波形成部から発生する複数の回折光による位置可変の干渉縞を被観察面に形成する照明光学系と、を備える照明装置が提供される。
また、第2の態様によれば、被観察面を観察する顕微鏡であって、その被観察面を照明する第1の態様の照明装置と、その被観察面から発生する光による像を形成する結像光学系と、その結像光学系によって形成される像を検出する撮像素子と、その撮像素子で検出される複数の像の情報を処理してその被観察面の像を求める演算部と、を備える顕微鏡が提供される。
また、第3の態様によれば、被観察面を照明する照明方法であって、光源部から光を射出し、射出された光束の光路中に配置され、その射出された光束を横切る方向に音波進行波が形成される進行波形成部から発生する複数の回折光による位相可変の干渉縞をその被観察面に形成する照明方法が提供される。
また、第4の態様によれば、被観察面を観察する観察方法であって、第3の態様の照明方法でその被観察面を照明し、その被観察面から発生する光から結像光学系を介して像を形成し、その結像光学系によって形成される像を検出し、その検出される複数の像の情報を処理してその観察面の像を求める観察方法が提供される。
本発明の態様によれば、音波進行波を形成する進行波発生部から発生する複数の回折光による干渉縞を構造化照明として使用できるため、構造化照明を行う場合にその位相を高速にかつ高精度に切り換えることができる。
(a)は第1の実施形態に係る顕微鏡の概略構成を示す図、(b)は図1(a)中のマスク及び変形例のマスクを示す図である。 進行波及びパルス光の周期の関係の一例を示す図である。 時間経過中の進行波とパルス光との位置関係の一例を示す図である。 (a)及び(b)はそれぞれ時点t1及びt4において標本面に形成される構造化照明(干渉縞)を示す図である。 (a)は3位相の構造化照明を行う場合の進行波及びパルス光の周期の関係を示す図、(b)は3つの時刻における進行波とパルス光との位置関係を示す図、(c)は3つの時点に標本面に形成される構造化照明を示す図である。 (a)は5位相の構造化照明を行う場合の進行波及びパルス光の周期の関係を示す図、(b)は5つの時刻における進行波とパルス光との位置関係を示す図、(c)は5つの時点に標本面に形成される構造化照明を示す図である。 3方向に進行波を発生できるAOM(音響光学素子)を示す図である。 第2の実施形態に係る顕微鏡の要部を示す図である。 スイッチング原理を説明するための図である。 (a)、(b)、及び(c)はそれぞれ位相1モード、位相2モード、及び位相3モードにおける入力パルス光と出力パルス光との関係を示す図である。 (a)、(b)、及び(c)はそれぞれ位相1モード、位相2モード、及び位相3モードにおける出力パルス光と進行波との関係を示す図、(d)は3つのモードでの標本面における構造化照明を示す図である。 (a)は第3の実施形態の位相1モードでのスイッチング部を示す図、(b)は標本面での構造化照明を示す図である。 (a)は位相2モードでのスイッチング部を示す図、(b)は標本面での構造化照明を示す図である。 (a)は位相3モードでのスイッチング部を示す図、(b)は標本面での構造化照明を示す図である。 第4の実施形態に係る顕微鏡の要部を示す図である。 (a)、(b)、(c)はそれぞれ位相1モード、位相2モード、及び位相3モードにおける入力パルス光と出力パルス光との関係を示す図、(d)は3つのモードでの標本面における構造化照明を示す図、(e)は図16(a)、(b)、(c)の状態を実現するための、EOM(電気光学素子)の印加電圧と時間の関係を示す図である。 (a)は第5の実施形態のAOMの動作を説明する図、(b)はAOMの制御部を示す図である。 (a)、(b)、及び(c)はそれぞれ位相1モード、位相2モード、及び位相3モードにおける光パルスと進行波との関係及び構造化照明を示す図である。 (a)、(b)、及び(c)はそれぞれ第6の実施形態のレーザー光、AOMの駆動信号、及び撮像素子の撮像タイミングを示す図である。 (a)、(b)、及び(c)はそれぞれ位相1モード、位相2モード、及び位相3モードにおける連続光と進行波との関係及び構造化照明を示す図である。 第7の実施形態に係る顕微鏡の要部を示す図である。 (a)、(b)、及び(c)はそれぞれ+1次光、−1次光、及び構造化照明等の位相の関係を示す図である。 (a)及び(b)はそれぞれ−1次光を位相変調したときの+1次光、−1次光、及び構造化照明の関係を示す図である。 (a)、(b)は画像とフーリエ変換像との対応関係を示す図、(c)は逆フーリエ変換によって画像を復元する方法の説明図である。 照明方法及び観察方法の一例を示すフローチャートである。 第8の実施形態に係る顕微鏡の概略構成を示す図である。 (a)は図26中の可変遅延回路56の一例を示す図、(b)は図27(a)中のインバータによる位相遅延の説明に供するタイミングチャート、(c)は遅延時間と露光量との関係を示す図である。 (a)はパルス光の繰り返し周波数とAOM内の進行波の周波数との同期の状態を示す図、(b)は画像取得数と位相差との関係の一例を示す図である。 (a)は周波数の制御方法の一例を示すフローチャート、(b)は周波数の制御方法の他の例を示すフローチャートである。 第9の実施形態に係る顕微鏡の概略構成を示す図である。 (a)は周波数誤差の検出方法の説明に供する図、(b)はAOM内の進行波の周波数と画像のコントラストとの関係の一例を示す図である。
[第1の実施形態]
本発明の第1の実施形態につき図1(a)〜図7を参照して説明する。図1(a)は、本実施形態に係る顕微鏡8の概略構成を示す。一例として、顕微鏡8は、構造化照明(詳細後述)を用いて蛍光観察を行う顕微鏡であり、顕微鏡8による観察対象物は、蛍光試薬で標識された標本12(例えば細胞等の生体標本)である。標本12は位置決め可能なテーブル(不図示)に保持され、標本12の蛍光試薬が塗布された表面(標本面12a)が被観察面である。
図1(a)において、顕微鏡8は、標本面12aを照明する照明装置10と、標本面12aから発生する蛍光LFによる像を形成する結像光学系36と、その像を検出するCCD型又はCMOS型の2次元の撮像素子38と、撮像素子38で検出される複数の像の情報を記憶する記憶装置42と、記憶装置42から読み出した情報を処理して結像光学系38の解像度を超える構造(超解像)を有する像の情報を求める演算装置44と、を備えている。演算装置44で求められた像は、一例として表示装置46に表示される。
照明装置10は、蛍光試薬を励起可能な波長域で可干渉性を持つ光パルスLBを射出する光源系14と、射出された光パルスLBを回折する音波の進行波19を発生する音響光学素子(Acousto-Optic Modulator: AOM)18と、音響光学素子18から発生する複数の回折光(例えば±1次光LB1,LB2又は0次光LB0及び±1次光LB1,LB2等)を標本面12aに導き、位相が可変の干渉縞よりなる構造化照明IFを形成する集光光学系20(照明光学系)と、を備えている。集光光学系20の光軸をAXとする。以下、音響光学素子又は音響光学変調器をAOMという。AOM18は、一例として、2酸化テルル、モリブデン酸鉛、又は水晶など光弾性を有する結晶の基板に、音波(超音波)を発生する圧電素子を付加したものである。照明装置10は、光源系14及びAOM18の動作を制御する制御装置40を備え、制御装置40には例えば所定周波数の交流信号(周期的信号)を出力可能な信号発生器41が接続されている。また、可干渉性を持つ光パルスLBとしては、YAGレーザーの2倍若しくは3倍高調波(波長300〜500nm程度)、又はパルス発振型の金属蒸気レーザー(波長400〜500nm程度)などのパルス発振されるレーザー光が使用できる。
また、光源系14は、可干渉性を持つ光パルス(パルス光)LBを発生するレーザー光源等の可干渉性光源15Aと、光パルスLBを伝送する光ファイバ15Bと、光ファイバ15Bの端部15Baから射出される光パルスLBをAOM18の進行波19が生成されている基板に入射させるレンズ16とを有する。AOM18は、進行波19によって音波の周波数で屈折率分布を生成するため、所定方向に移動する位相型の回折格子として機能する。光パルスLBとAOM18との相互作用についての詳細は後述する。
AOM18によって回折を受けた光パルスLBによって0次光LB0、±1次光LB1,LB2、及びより高次の回折光(不図示)が発生する。これらの回折光は、レンズ22により、マスク24上で回折角に応じた位置(マスク位置)に集光される。マスク24上での光軸AXからの高さ(集光位置)をy、レンズ22の焦点距離をf2、回折角をθとすると、y=f2 sinθという関係式が成立する。マスク24は所望の位置に結像する回折光のみを選択的に通過させるように構成されており、図1(a)の場合では±1次光LB1,LB2のみを通過させている。この場合、図1(b)に示すように、マスク24には1対の開口24aが形成されている。また、例えば光軸の回りに等角度間隔で設定される3つの方向に周期性を持つ構造化照明IFを順次生成する場合には、AOM18を回転可能として、3対の開口24Aa,24Ab,24Acが形成されたマスク24Aを使用してもよい。このマスク24Aは固定した状態でよいため、集光光学系20が簡素化できる。ただし、余分な回折光や迷光が存在する場合はマスク24を回転可能としてもよい。これは以下の3光束干渉の場合でも同様である。
マスク24は、後述の第1対物レンズ32の瞳面P1と共役な位置に配置されており、マスク24を通過した複数の回折光が1対のレンズ26,28及び波長選択性を持つダイクロイックミラー30を介して第1対物レンズ32の瞳面P1(瞳)にリレーされている。従って、瞳面P1では図1(a)中の図Aに示すような強度分布が形成される。ダイクロイックミラー30は、光パルスLB(回折光)を反射して標本面12aで発生する蛍光LFを透過させるという波長選択性を持つ。瞳面P1に入射した複数の回折光は、第1対物レンズ32によって標本面12aに集光され、標本面12aは、複数の回折光によって形成される干渉縞よりなる構造化照明IFで照明される。標本面12aでは、構造化照明IFによって励起された蛍光LFが発生する。
レンズ22、マスク24、レンズ26,28、ダイクロイックミラー30、及び第1対物レンズ32より集光光学系20が構成されている。集光光学系20によって、AOM18の進行波19の形成面と標本面12aとは光学的に共役となっている。なお、可干渉性光源15Aからの光パルスLBを伝送する光学系は、光ファイバ15Bに限定されることはなく、複数のミラー等を介してパルス光に空間を伝播させる光学系でも良い。
また、マスク24での回折光の選択として±1次光のみを選択しているが、本実施形態はこの用途に限定されるものではない。さらに、0次光LB0も追加して、3光束干渉で構造化照明IFを生成してもよい。3光束干渉で構造化照明IFを生成することで、光軸方向にも超解像効果を持たせることができる。0次光及び±1次光を選択するマスクとしては、図1(b)の一列に3個の開口24Baが形成されたマスク24Bを使用できる。また、例えば光軸の回りに等角度間隔で設定される3つの方向に周期性を持つ構造化照明IFを順次生成する場合には、AOM18を回転可能として、3対の開口24Ca,24Cb,24Ccが形成されたマスク24Cを固定した状態で使用してもよい。
ここで、2光束干渉を用いた構造化照明を2光束モード、3光束干渉を用いた構造化照明を3光束モードと定義し、以下の説明ではこの定義を用いることとする。
構造化照明IFにより励起された標本12の蛍光試薬は蛍光を発する。蛍光は等方的に発光するが、標本12から発生した蛍光のうち、第1対物レンズ32によって検出された蛍光LFは、ダイクロイックミラー30を透過して第2対物レンズ34により撮像素子38の受光面に標本面12aの像を形成し、この像が撮像素子38によって撮像される。このときの画像は、構造化照明IFの空間周波数と標本12が持つ空間周波数とによって生成されるモアレパターンが混入した画像となっている。対物レンズ32,43及びダイクロイックミラー30から結像光学系36が構成されている。結像光学系36に関して標本面12aと撮像素子38の受光面とは光学的に共役となっている。制御装置40は、駆動信号S1等を介してAOM18及び可干渉性光源15Aを同期して駆動し、制御信号S4を介して撮像素子38の撮像動作を制御する。
このとき、制御装置40が、撮像素子38のフレームレートを光パルスLBの繰り返し周波数frep に同期させることで、異なる縞位相の構造化照明IFで励起された標本像を高速に(例えば繰り返し周波数frepより数倍高速に)取得することができる。このタイミング同期についての詳細は後述する。
構造化照明IFの位相及び方位を変えて、超解像画像を生成するために必要な枚数の標本12の画像を取得し、演算装置44で所定の画像処理を施すことで、超解像画像を生成することができる。構造化照明IFの位相変化の方法は、撮像素子38と光パルスLBとのタイミングを同期する方法と合わせて後述する。構造化照明IFの方位を変化させる方法についても後述する。
次に、光パルスLBとAOM18との相互作用について詳述する。本実施形態では、図2に示すように、光パルスLBの繰り返し周波数frep と、AOM18の進行波19(音波)の周波数fAOM とを同期させる。AOM18は光弾性効果により、音波の周波数で屈折率分布の粗密を生成する。その屈折率分布の粗密は位相型の回折格子とみなすことができる。そして、進行波型のAOM18ではその屈折率分布が時間によって変化する。つまり、空間を固定して時間を変化させると、時間によって屈折率の粗密が連続的かつ周期的に変化する。その屈折率分布変化の時間周期をTとすると、T=1/fAOMとなる。AOM18内の音速をvとすると、AOM18内の音波によって形成される位相型の回折格子のピッチpは、次のように、音波の速度v及び音波の周波数fAOMによって決定される。 p=v・T=v/fAOM (1)
ここで、図2のように、frep =fAOMであるとすると、光パルスLBの繰返し周期も当然Tとなる。この場合、個々の光パルスLBがAOM18に到達したときに、光パルスLBが感じる回折格子の位相は常に一定となる。すなわち、光パルスLBにとって回折格子は静止しているようにみえる。図2の1周期Tの間に等時間間隔で設定される時点t1,t2,t3,t4で発生する光パルスLBが、AOM18に入射したときの様子を図3に示す。時間が変わることによって、AOM18が生成する位相型回折格子(進行波19)が光軸と垂直な方向にシフトしている。つまり、回折格子の位相が変化していることがわかる。時点t1とt4とは時間差がAOM18の位相型回折格子の1周期の移動時間Tに等しいため、時点t1とt4における光パルスLBにとって回折格子の縞の位相は同一となる。なお、例えば時点t1で発生する光パルスLBとは、時点t1,t1+T,t1+2T,…で発生する一連の光パルスLBを含むものである。
AOM18の回折格子の形成面と標本面12aとは共役関係にあるため、標本面12aには回折格子の位相に応じた正弦波状の強度パターン(構造化照明IF)が生成される。図3の時点t1, t4の光パルスLBが標本面12a上に生成する構造化照明のパターンを、図4(a)及び(b)に示す。時点t1, t4における光パルスLBは、互いに全く同一の構造化照明を形成していることがわかる。
このように、AOM18の進行波19の周波数fAOMと光パルスLBの周波数frepとを同期させることで、AOM18内で周波数fAOMで変化する回折格子を光パルスLBに対してあたかも静止させることができ、この場合には構造化照明IFも静止する。そして、光パルスLBの位相を変えることで、光パルスLBがAOM18内の回折格子に入射するタイミングを変えることができ、これにより回折格子の位相を変化させて、標本面12a上に形成される構造化照明IFの位相を変化させることができる。
次に、構造化照明の縞位相を高速に可変する方法、及び光パルスLBの繰り返し周波数と撮像素子38の撮像タイミングとの関係について説明する。ここで、光パルスLBの繰り返し周波数frepを次のようにAOM18の周波数fAOMの整数倍に設定する。ただし、mは整数である。
rep =m・fAOM (2)
さらに、一例として、構造化照明によって生成される干渉縞の位相を1/3周期ずつ変えて、位相の異なる3枚の画像を取得する場合を考える。AOM18内に生成される位相型回折格子のピッチをpとすると、1/3周期間での位置の変化量はp/3であり、これを位相量に換算すると、2π/3[rad]となる。以下、[rad]の単位は省略する。 なお、このとき、図1(a)の0次光LB0はブロックされている状態であるとする。つまり2光束モードを考える。
この位相変調を実現するために、式(2)においてm=3とすると、frep=3fAOMとなる。このときの光パルスLBとAOM18の関係を図5(a)に示す。回折格子の時間周期をTとすると、各光パルスLBが発生する時点t1, t2, t3の時間間隔はT/3となっている。従って、AOM18内を回折格子が1周期分進行する間に、3つの光パルスLBがAOM18に入射し、AOM18によって回折されることになる。各光パルスLBとAOM18の相互作用の様子を図5(b)に示す。各光パルスLBの時間間隔がT/3であるために、各光パルスLBが感じるAOM18内の回折格子の位相が1/3周期ずつ、つまり2π/3ずつずれていることがわかる。その時点t1, t2, t3で発生するパルス光が標本面12aに生成する構造化照明IFのパターンを図5(c)のパターンC1,C2,C3で示す。このように、光パルスLBとAOM18のタイミングに応じて、標本面上で所望の縞位相の構造化照明を生成することができる。
なお、ここでは2光束モードによる構造化照明を考えたため、標本面上での構造化照明のピッチpsは、AOM18内の回折格子のピッチをp、AOM18から標本面12aまでの光学系の投影倍率をβとすると、次のようになる。
s =(1/2)β・p (3)
従って、今回のようにAOM18において回折格子の位相を2π/3ずつ変位させた場合、標本面12aでの構造化照明IFの位相変位は2倍の4π/3となる。
このようにして、標本12は位相の異なる構造化照明パターンで励起されるので、それによる蛍光LFを撮像素子38で撮像することで、構造化照明を用いる顕微鏡8に必要な画像を、回折格子又は光学素子等の機械的な駆動を必要とせずに、高速に取得することが可能となる。
ここで、撮像素子38のフレームレートと光パルスLBの繰り返し周波数の制御について述べる。位相の異なる画像を取得するには、図5(a)〜(c)を用いて説明したように、撮像素子38で個々のパルス光を独立に検出する必要がある。従って、撮像素子38のフレームレートfrは光パルスLBの繰り返し周波数frepと等しくする必要がある。
これを実現させるためには、例えば、光パルスLBの繰り返し周波数をマスター周波数として用いればよい。この場合、光パルスLBの一部を周波数帯域の広い光検出器、例えばフォトダイオードで検出し、それを電気信号に変換し、その信号を制御装置40で処理して得られるトリガ信号を制御信号S4の一部として撮像素子38に供給することで、撮像素子38は光パルスLBに同期して撮像を行うことができる。
制御装置40は、信号発生器41から交流信号(例えば周波数fAOM及びm・fAOMの交流信号を含む)を受信し、その交流信号を用いてAOM18を駆動する。また、制御装置40を用いて、信号発生器41の発振周波数を可変にすれば、AOM18が生成する回折格子のピッチを可変にすることもできる。
次に、3光束干渉を用いて構造化照明を生成する場合(3光束モード)について説明する。この場合、図1(a)において、 0次光LB0が通過するように、マスク24を例えば図1(b)のマスク24B又は24Cに交換する必要がある。また、超解像画像を構築するためには、一方向につき5位相の画像を取得する必要がある。従って、式(2)においてm=5となるため、光パルスLBの繰り返し周波数frepは5fAOMとなる。
図6(a)〜(c)を参照して、3光束モードの概要を説明する。mの値が変わるために、光パルスLBの繰り返し周波数が変わり、それに伴って、撮像素子38のフレームレートfrが変わる以外は、2光束モードと同様の構成、処理で実現することができる。ここでは同様の事項の説明については省略する。
3光束モードでは、標本面上での構造化照明のピッチpsは、AOM18内の回折格子のピッチをp、集光光学系20の投影倍率をβとすると、次の関係がある。
s =β・p (4)
従って、AOM18において回折格子の位相を2π/5ずつ変位させた場合、標本面12aでの構造化照明IFの位相変位も同様に2π/5となる。
従って、3光束モードでは、図6(a)に示すように、回折格子(進行波19)の時間周期をTとすると、各光パルスLBが発生する時点t1, t2, t3, t4, t5の時間間隔はT/5となる。このため、AOM18内を回折格子が1周期分進行する間に、5つの光パルスLBがAOM18に入射して回折される。各光パルスLBの時間間隔がT/5であるために、図6(b)に示すように、各光パルスLBが感じるAOM18内の回折格子の位相が1/5周期ずつ、つまり2π/5ずつずれている。その時点t1〜 t5で発生するパルス光が標本面12aに生成する構造化照明IFのパターンを図6(c)のパターンC1,C2,C3,C4,C5で示す。このように、3光束モードでも、標本面上で所望の縞位相の構造化照明を生成することができる。
ここまで、本実施形態における構造化照明IFの位相の高速切り替えについて説明してきた。次に、構造化照明IFの方向切り替えについて説明する。このためには、図7に示すように、ほぼ正6角形のAOM効果を持つ基板18Aaに対して互いにほぼ120°ずつ異なる3つの方向D1,D2,D3に圧電素子(電極)18Ab,18Ac,18Adを設けた構成のAOM18Aを用いることが好ましい。このAOM18Aは圧電素子18Ab,18Ac,18Adのそれぞれに電気信号を印加することで、基板18Aa内の光パルスLBの光路を横切るように、各方向D1〜D3に屈折率の粗密(進行波)を生成し、結果として位相が変化する位相型回折格子を生成することができる。どの方向に回折格子を生成するかという選択は、制御装置40中に圧電素子18Ab〜18Adに選択的に電気信号を印加する切り替えスイッチ40aを設けることで実現できる。また、3方向ではなく、2方向に又は4方向以上の方向に進行波を生成するようにしたAOMを使用することもできる。
このような複数方向に進行波を発生可能なAOM18A等ではなく、図1(a)のAOM18を用いて回折格子の方位の回転を実現するには、AOM18を機械的に回転させても良い。この場合、物理的な駆動が必要となるため、速度は遅くなるが、製造コストを低減でき、AOMが入手し易くなる。
また、ある特定の一方向のみで超解像効果を得たい場合は、AOM18の回転は不要であるため、一般的なAOMを用いて、本実施形態の高速位相切り替えを適用すればよい。
ここで、本実施形態によって実現可能な位相切り替えの高速化についてその所要時間を見積もる。AOM18の音波の周波数fAOM を10MHzとすると、要求される光パルスLBの繰り返し周波数frepは式(2)より、2光束モードの場合30MHz、3光束モードの場合は50MHzとなる。本実施形態の方法では、光パルスLBの繰り返し周波数で位相変化が可能となる。
撮像素子38のフレームレートは光パルスLBの繰り返し周波数と同様となる。これは、個々の光パルスLBを独立に検出する必要性を考えれば、自明である。現状、このようなフレームレートを有する撮像素子38としては例えば高速度撮影カメラ用のものを使用できる。一般的な撮像素子のフレームレートを鑑みると,本実施形態による高速位相切り替えの律速条件は撮像素子38のフレームレートであり、構造化照明IFの位相の切り替えはそれ以上の高速で行うことができる。
AOM18の周波数を選択する際には、その周波数fAOMとAOM18内の位相型回折格子によって生じる回折現象との関係に注意する必要がある。周波数fAOMが小さい(例えば 10MHz程度)とラマンナス(Raman-Nath)回折が支配的になり、周波数fAOMが大きい(例えば100MHz程度)とブラッグ(Bragg)回折が支配的になる。周波数fAOMを大きくすることで、より高速化を実現できるが、ブラッグ回折では、回折光が非対称に生じるという問題がある。つまり、±1次光のうち、どちらか一方しか生じないのである。これはブラッグ条件を満たす光のみが回折することに由来する。
従って、3光束モードでは、ラマンナス回折の周波数帯域にAOM18の周波数fAOMを設定する必要がある。2光束モードでは、ラマンナス回折だけでなくブラッグ回折も用いることが可能となるため、より高速な位相変調が可能となる。
ここで、光パルスLBの時間幅について検討する。進行波型回折格子は常に移動しているので、それをあたかも静止させるには、パルス光の時間幅は短いことが望ましい。
例えば、回折格子が静止しているとする条件を、パルス幅τpが回折格子の時間周期Tの1/1000と仮定する。このとき、fAOM=10MHzとすると、T=1/fAOM =100nsとなる。従って、τp=T/1000=100psとなる。つまり、光パルスLBとしては、時間幅が100psのパルスレーザーを用いればよい。
次に、本実施形態の顕微鏡8において、照明装置10により構造化照明IFで照明された標本12の超解像画像を得る方法の一例につき、図25のフローチャート及び図24(a)〜(c)を参照して説明する。まず、AOM18内で進行波19を発生し(図25のステップ102)、光源系14からAOM18に光パルスLBを照射する(ステップ104)。これにより、AOM18から複数の回折光が発生し(ステップ106)、これらの回折光が集光光学系20を介して標本面12aに干渉縞よりなる構造化照明IFを形成し(ステップ108)、標本12からの蛍光LFが結像光学系36を介して撮像素子38上に標本像を形成し、その像が所定のタイミングで撮像素子38によって撮像される(ステップ110)。
この場合、簡単のため1次元で考えると、標本12(試料)上での計測方向の位置をxとして、蛍光物質密度をI0(x)、標本面12aでの構造化照明IFの強度分布をK(x)とする。標本12からの蛍光が照明強度に比例すると仮定すると、蛍光密度分布Ifl(x)は次のようになる。
fl(x)=I0(x)K(x) (21)
標本12の各点での蛍光はインコヒーレントであるため、その蛍光密度分布を結像光学系36で捉えた像I(x)は、インコヒーレント結像の式に従い次のようになる。なお、PSF(x)は結像光学系36の点像分布関数である。
I(x)=∬dx’PSF(x−x’)Ifl(x) (22)
ここで、関数f(x)のフーリエ変換をF[f(x)]として、像I(x)のフーリエ変換を以下の式(22F)で表し、関数PSF(x)のフーリエ変換をOTF(ξ)とすると、式(22)は以下の式(23)となる。ただし、式(22)の右辺の2番目の関数(蛍光密度分布Ifl(x)のフーリエ変換)は、式(21)にコンボリューション定理を適用して以下の式(24)で表される。
Figure 2014057998
以下、定性的に説明するため、比例係数等は無視する。図1(a)のように光パルスLB(波長λとする)による2光束干渉で形成される位相φの構造化照明IFの強度分布K(x)は以下の式(25)で表され、この式をフーリエ変換すると、式(26)となる。従って、式(23),(24)より式(27)が得られる。
Figure 2014057998
その式(27)で表される像I(x)のフーリエ変換は、図24(a)に示すように、構造化照明IFによって励起された蛍光像を撮像素子38で撮像し、その像をフーリエ変換(FT)することで得られる。ここで、未知数は式(27)の右辺の3つの関数(式(28A)〜(28C))である。従って、例えば図5(a)に示すように、時点t1, t2, t3の光パルスLBをAOM18に照射して、式(25)の構造化照明IFの位相φをφ1, φ2, φ3と変化させて(フリンジスキャンして)得られる位相の異なる像を撮像素子38で撮像する(ステップ112)。そして、演算装置44では、得られた複数の像に以下の演算を施して標本12の超解像画像を復元する(ステップ114)。すなわち、まず得られた標本12の複数の像をフーリエ変換することで、以下の式(29),(30),(31)及び図24(b)で表されるフーリエ変換像を得る。ただし、式(25)で位相シフト量をφとしたときの像をIφと表記した。
Figure 2014057998
式(29),(30),(31)を行列式の形に書き直すと上記の式(32)が得られる。そこで、演算装置44では、式(32)を解いて、式(28A)〜(28C)のフーリエ変換像を求めることができ、これらの像を用いて画像復元を行う。このためには、図24(c)に示すように、式(32)より算出した3つのフーリエ変換像を空間周波数座標上で重ね合わせる。このとき、式(28B),(28C)に残っている構造化照明の空間周波数成分が式(28A)のフーリエ変換像の原点に来るように重ね合わせる。これにより、OTF(Optical Transfer Function)が結像光学系36のOTFのほぼ2倍まで拡大していることがわかる。演算装置44で、その重ね合わせたフーリエ変換像を逆フーリエ変換することで、標本12の超解像画像を取得できる。この画像は例えば表示装置46に表示される。
これまでの説明はある特定の一方向のみにおいて超解像を実現する方法である。2次元的な超解像画像を得るためには、例えば図7のAOM18Aを用いて、異なる方向に進行波(位相型の回折格子)を発生して、上述の動作を繰り返せばよい。そして、最終的に空間周波数座標上で方向の異なるフーリエ変換像を合成し、それを逆フーリエ変換することで2次元の超解像画像を取得することができる。
上述のように、本実施形態の顕微鏡8は、被観察面としての標本面12a(標本12)を照明する照明装置10を備えている。そして、照明装置10は、光源系14から射出したレーザー光よりなる可干渉性を持つ光パルスLB中に配置され、射出した光パルスLBを横切る方向に音波の進行波19を形成するAOM18と、AOM18から発生する複数の回折光LB1,LB2(又はLB0,LB1,LB2)による位相可変の干渉縞よりなる構造化照明IFを標本面12aに形成する集光光学系20(照明光学系)と、を備えている。
また、照明装置10による照明方法は、標本面12aを照明する照明方法であって、光源系14からレーザー光よりなる可干渉性を持つ光パルスLBを射出し(ステップ104)、射出された光パルスLB中に配置され、その射出された光パルスLBを横切る方向に音波の進行波19を形成するAOM18から発生する複数の回折光LB1,LB2(又はLB0,LB1,LB2)による位相可変の干渉縞よりなる構造化照明IFを標本面12aに形成するものである(ステップ102,108)。
この照明装置10又は照明方法によれば、進行波を用いて形成される干渉縞を構造化照明として使用できるため、構造化照明を行う場合にその位相を高速にかつ高精度に切り換えることができる。
また、顕微鏡8は、標本面12a(被観察面)を照明する照明装置10と、標本面12aから発生する蛍光LFによる像を形成する結像光学系36と、その像を検出する撮像素子38と、撮像素子38で検出される複数の像の情報を処理して例えば結像光学系36の解像度を超える構造を有する像を求める演算装置44と、を備えている。
また、顕微鏡8による観察方法は、その照明方法によって標本面12aを照明し(ステップ102〜108)、標本面12aから発生する蛍光LFから結像光学系36を介して像を形成してその像を検出し(ステップ110,112)、その検出される複数の像の情報を処理して例えば結像光学系36の解像度を超える構造を有する像を求めるものである(ステップ114)。
この顕微鏡8又は観察方法によれば、照明装置10又はその照明方法によって、標本面12a上で構造化照明IFの位相を高速にかつ高精度に切り換えることができるため、標本面12aの像を用いて標本12の超解像画像を高速にかつ高精度に求めることができる。
なお、本実施形態において、光パルスLBの繰り返し周波数frepをAOM18の周波数fAOMの1/N(Nは1以上の整数)に設定し、制御装置40(タイミング制御部)で光パルスLBがAOM18に入射するタイミングを相対的に制御してもよい。この構成によっても、標本面12a上で構造化照明IFの位相を高速にかつ高精度に切り換えることができる。
[第2の実施形態]
第2の実施形態につき図8〜図11(d)を参照して説明する。
上述の第1の実施形態では、個々の光パルスLBを検出することで構造化照明IFの位相可変の高速化を実現した。しかしながら、場合によっては、位相切り替えが高速すぎて通常の撮像素子のフレームレートが追いつかない恐れもある。また、一つの光パルスLBのみから画像を取得する場合、1画像当たりの光量が少ないため、SN比が低下する恐れもある。そこで、この実施形態は、そのような場合においても、複数のパルス光を積算することで、構造化照明によって標本面に生成される縞の位相切り替えを一般的な撮像素子のフレームレートに合わせ、十分な高速化を実現するとともに、SN比を向上する。
図8は、本実施形態に係る照明装置10Aを備えた顕微鏡8Aの概略構成を示す。なお、図8において、図1(a)に対応する部分には同一の符号を付してその詳細な説明を省略する。図8において、照明装置10Aは、光ファイバの端部15Baから射出される光パルスLBをコリメートするレンズ16と、光パルスLBが入射するAOM18との間に配置されて、光パルスLBをスイッチングするためのAOM(音響光学素子)48と、駆動信号S1及びS2でそれぞれAOM18及びAOM48を駆動する制御装置40Aとを備えている。この他の構成は第1の実施形態と同様である。
ここでは、光パルスLBからAOM18によって発生する±1次光を用いて標本面12aに構造化照明IFを生成する2光束モードを例に挙げて説明する。この場合、AOM18内の進行波19の周波数をfAOMとすると、光パルスLBの周波数frepは3fAOMとなる。AOM48は入射してくる光パルスLBのうち、ある特定の時間間隔のパルス光のみを選択する役割を果たす。AOM48を周波数fAOMの電気信号で変調し、図9に示すように、AOM48から発生する回折光のうち、1次光のみを光路E1に沿ってAOM18に導き、その他の回折光(図9では0次光)を光路E2に沿って遮光部49に導く。駆動信号S2がオンの時には1次回折光が発生するが、オフの時には1次回折光は発生しない。これにより、ある時間間隔(T=1/fAOM)の光パルスのみを選択することができ、AOM48に入射するときに3fAOMだった光パルスLBの繰り返し周波数をfAOMに変換して、AOM18への入射光とすることができる。図9の例では、AOM48は、駆動信号S2がオン(ハイレベル)の期間で、1次回折光を選択して光パルスLBとしてAOM18に導光している。
このスイッチングの原理を図10(a)〜(c)に示す。AOM48の駆動信号S2として、周波数fAOMの周期的な2値信号を用いる。この2値信号のデューティー比(1周期内のオン期間の比率)は1/3に設定する。この信号は矩形波であることが望ましい。図10(a),(b),(c)に示すように、その2値信号(駆動信号S2)の位相を0°(例えば1周期を360°として駆動信号S1と同じ位相)、120°、240°と変えることで、AOM48に入力される光パルスLBから所望の光パルスLBを選択して周期T(AOM18内の進行波19と同じ周期)で出力することができる。このスイッチングにより、AOM18に入射するときの周波数frep’がfAOMで位相の異なる光パルスLBの列を生成することができる。説明の便宜上、上記の異なる3つの位相(例えば0°、120°、240°)で光パルスLBを選択する条件をそれぞれ位相1、2、3モードと呼ぶことにする。位相1、2、3モードは、それぞれ図9の時点t1, t2, t3で生成される光パルスLBを選択して出力する条件でもある。
図11(a),(b),(c)に示すように、位相モード1、2、3でAOM48で選択される光パルスLBは、出力されるときの繰り返し周波数frep’がAOM18の周波数fAOMに一致しているため、光パルスLBにとってAOM18内に生成される回折格子は静止しているように見える。従って、各位相モードにおいて標本面12aで光パルスLBからの回折光よりなる構造化照明IFを積算しても、同一位相の構造化照明の積算となる。このように、位相モード1、2、3の光パルスLBが標本面12aに生成する構造化照明のパターンは、図11(d)のパターンC11,C12,C13で示すように各モードで同一であるため、撮像素子38では構造化照明IFによって得られる蛍光の像を積算することが可能となる。
ここで、撮像素子38による画像取得時間を見積もると、周波数fAOMが10MHzであったときに、光パルスLB毎の画像を1000枚積算したとすると、超解像画像1枚を構築するのに必要な画像取得時間は100μsとなる。
このように、パルス光の積算を可能とすることで、一般的なフレームレートの撮像素子38の利用とSN比の向上が可能となる。ある位相の縞画像をパルス積算により取得した後は、AOM48によるスイッチングにより、別の位相の画像を取得する。これを必要な枚数だけ繰り返すことで、構造化照明を用いる顕微鏡8Aに必要な複数の画像を高速に取得することができる。
本実施形態において、図8の制御装置40Aは、信号発生器41から周波数fAOMの交流信号を受信し、それを用いてAOM18を駆動する。制御装置40Aは、それに加えて、信号発生器41から周波数fAOMの矩形の交流信号を受け取り、その信号でAOM48を駆動する。さらに、制御装置40Aは、その駆動信号の位相を変調して、上述のスイッチングを実現するとともに、その駆動信号から撮像素子38のトリガ信号を含む制御信号S4を生成する。この際に各信号が常に同期するように制御することが望ましい。
なお、本実施形態においても、第1の実施形態と同様に信号発信器41の発振周波数を可変にすることで、AOM18が生成する回折格子のピッチを可変にすることもできる。これは以下で説明する第3〜第7の実施形態でも同様である。
また、機械的な駆動機構を用いることなく高速に構造化照明IFの方位を複数の方位(例えば3つの方位)に設定するためには、図7の3方向に進行波を発生可能なAOM18Aを用いるのが望ましい。なお、第1の実施形態と同様に、AOM18Aを用いる代わりにAOM18を機械的に回転させても良い。これは以下で説明する第3〜第7の実施形態でも同様である。
なお、ここでは2光束モードを例に挙げて説明したが、3光束モードにおいても本実施形態は適用可能である。その際は、構造化照明の縞位相を5位相変化させる必要があるため、可干渉性光源から射出される光パルスLBの繰り返し周波数frepを5fAOMとし、スイッチング用のAOM48に周波数fAOMでデューティー比が1/5の駆動信号を付与して光パルスLBを選択すればよい。
また、本実施形態では、スイッチング素子としてAOM48を用いたが、チョッパのような回転シャッターを用いても、本実施形態は適用可能である。その際は、制御装置40Aを用いて、チョッパの回転数と位相を制御することが望ましい。
[第3の実施形態]
第3の実施形態につき図12(a)〜図14(b)を参照して説明する。この第3の実施形態は、簡単かつ安価な構成で標本面の構造化照明の位相切り替えを高速化するものである。第2の実施形態ではAOM48を用いて光パルスLBのスイッチングを行い、パルス光毎の画像の積算を実現した。これに対して、本実施形態では、AOM18の音波の周波数fAOMと光パルスLBの繰り返し周波数frepを等しくし、ガルバノミラー(振動ミラー)を用いて光パルスLBの光路を切り替えることで、構造化照明の位相切り替えを行う。そのために、光路長の差を利用して光パルスLBの位相差を可変にし、AOM18内の位相型回折格子と光パルスLBとの時間的タイミングを制御する。
図12(a)、図13(a)、図14(a)はそれぞれ本実施形態の顕微鏡の照明装置の要部(光源系50の要部及びAOM18)を示す。なお、図12(a)〜図14(a)において、図1(a)に対応する部分には同一の符号を付すとともに、AOM18以降の光学系及び演算装置等は第1の実施形態と同様であるため省略してある。ここでは一例として2光束モードについて説明する。2光束モードでは、AOM18から発生する2つの回折光によって標本面上に形成される構造化照明として、3位相分の干渉縞を生成させる必要がある。
図12(a)の照明装置の光源系50において、光ファイバの端部15Baから射出した光パルスLBは、レンズ16によりコリメートされ、入力パルス光としてハーフミラー52に入射する。ハーフミラー52を透過した光はガルバノミラー54により反射される。ガルバノミラー54により反射された光はレンズ56(焦点距離をf1とする)により、レンズ56の焦点位置に集光される。ここで、ガルバノミラー54はレンズ56の前側焦点位置に設置されているため、ガルバノミラー54及びレンズ56はテレセントリック光学系を構成している。従って、レンズ56で集光された光の主光線はレンズ56の光軸に平行となる。
レンズ56で集光された光は、3つのレンズ58a,58b,58c(各焦点距離をf2とする)から構成されるレンズ群58に入射する。レンズ群58の前側焦点位置は、レンズ56の集光位置に一致させてあるため、レンズ56からの光はレンズ群58によりコリメートされ、コリメートされた光はミラー60A,60B,60Cのうちのいずれかで反射されて、再び、レンズ群58に入射する。レンズ群58に戻された光は、レンズ群58により、レンズ56の後側焦点位置に集光され、レンズ56でコリメートされて、ガルバノミラー54で再び反射される。ガルバノミラー54で再び反射された光は、ハーフミラー52で反射されて出力光パルスLBとしてAOM18へ導かれる。
ここで、ガルバノミラー54を用いた位相切り替えの方法につき説明する。ガルバノミラー54の角度を変えることで、ガルバノミラー54で反射される光をレンズ群58(レンズ58a,58b,58c)のうちどのレンズに導くかを選択する。レンズ群58の各レンズによりコリメートされた光はミラー60A〜60Cで反射され、再びレンズ群58に入射するが、このミラー60A〜60Cを、ミラー60A,60B,60Cと対応するレンズ58a,58b,58cとの距離が順次dだけ異なるように配置する。このミラー間の間隔dは、光パルスLBの繰り返し周波数をfrep (ここではfAOMに等しい)、必要な位相可変数をm、光速をcとすると、次のようになる。
d=c/(2mfrep) (5)
これは、光が2d(往復距離)の距離を進むのに要する時間が、AOM18内の回折格子の時間周期T(=1/frep)の1/mになるように間隔dを設定することを意味する。 図12(a)、図13(a)、及び図14(a)は、それぞれガルバノミラー54からの光がレンズ58c、レンズ58b、及びレンズ58aに導かれるようにガルバノミラー54の角度を制御している状態を示す。図12(a)、図13(a)、及び図14(a)においてレンズ群58及びガルバノミラー54を介してハーフミラー52に戻される光の光路長が互いに異なるため、AOM18に入射する光パルスLBの位相も変化する。式(5)に従って間隔dを設定することで、光パルスLBとAOM18内の進行波19(回折格子)との位相関係を、図12(a)、図13(a)、及び図14(a)のそれぞれ時点t1, t2, t3で発生する光パルスLBのように順次1/3周期ずつずらすことができる。
ここで、光パルスLBの繰り返し周波数frepはAOM18の音波の周波数fAOMに等しいため、これらの各光パルスLBにとってAOM18は静止しているように見える。このため、複数の光パルスLBによって生成される構造化照明の積算が可能となる。図12(a)、図13(a)、及び図14(a)の光パルスLBによって標本面に生成する構造化照明を図12(b)、図13(b)、及び図14(b)に示す。このように、本実施形態によれば、ガルバノミラー54を用いて、光パルスLBの位相を変化させることで、構造化照明の位相変化を実現できる。なお、光パルスの繰り返し周波数frep=fAOM/Nとしても良い(Nは1以上の整数)。整数Nを大きくすることにより、種々のカメラに合わせて最速のフレームレートで、構造化照明法(Structured Illumination Microscopy)を用いて得られる像(以下、SIM画像という。)の取得を実現できる。
本実施形態の顕微鏡において、ある位相の構造化照明を標本に投影し、それを撮像する際には、必要な数のパルス光を積算して画像を取得する。構造化照明の位相を変えるときには、ガルバノミラー54の角度を変えて、レンズ58a〜58cのうち異なるレンズを選ぶことによりパルス光の位相を変化させればよい。これにより、パルス光とAOM18内の回折格子とのタイミングを変化させることができ、その状態で再びパルス光を積算して画像を取得することが可能となる。
また、現在の一般的なガルバノミラーは10kHz程度での動作が可能であるため、この周波数での位相切り替えが可能となる。
なお、ここでは2光束モードを例に挙げて説明したが、3光束モードにおいても本実施形態は適用可能である。その際は、0次光が通過するようにマスクを変更し、構造化照明の縞位相を5位相変化させる必要があるため、レンズ群58を5つのレンズで構成し、それぞれのレンズに対応するミラーを、式(5)で決まる適切な位置に配置する必要がある。
[第4の実施形態]
第4の実施形態につき図15〜図16(d)を参照して説明する。本実施形態は、AOM18の周波数fAOMとパルス光の繰り返し周波数frepを等しくし、電気光学素子又は電気光学変調器(Electro-Optic Modulator: EOM)を用いて、パルス光の位相を変えることで、パルス光とAOM18との相対位相を変化させ、パルス光の積算を可能にする。
図15は、本実施形態に係る照明装置10B及び制御装置40Bを備えた顕微鏡8Bの概略構成を示す。なお、図15において図1(a)に対応する部分には同一の符号を付してその詳細な説明を省略する。図15において、光ファイバの端部15Baから射出された光パルスLBをコリメートするレンズ16と、そのコリメートされた光パルスLBが入射するAOM18との間に、電気光学素子(以下、EOMという)62が配置されている。EOM62は、例えばニオブ酸リチウム又はKTP等の基板に電圧印加用の電極を設けたものである。制御装置40BはAOM18及びEOM62をそれぞれ駆動信号S1及びS2により制御する。この他の構成は第1の実施形態と同様である。
本実施形態の位相変調の様子を図16(a)〜(c)に示す。ここでは一例として2光束モードについて説明する。2光束モードでは、AOM18から発生する2つの回折光を用いて標本面12aに形成する構造化照明IFとして、3位相分の干渉縞を生成させる必要がある。
EOM62は、電気光学効果を利用した光デバイスであり、印加電圧に応じて光路の屈折率が変化するため、結果的に入射光の位相を変調することができる。図16(a)〜(c)に示すように、EOM62に入射する(入力される)周期Tの光パルスLBの位相をEOM62により変化させて出力する(射出させる)ことで、光パルスLBとAOM18内の回折格子との位相関係を制御し、所望の縞位相を有する構造化照明を実現することができる。
光パルスLBが時点t1に入射するものとして、図16(a),(b),(c)に示すように、EOM62から光パルスLBが時点t1、時点t1からT/3遅れた時点t2、及び時点t2からT/3遅れた時点t3に射出されるときのAOM18内の回折格子に対する光パルスLBの位相のモードをそれぞれ位相1、2、3モードと呼ぶ。位相1、2、3モードの光パルスLB光を比較すると、順次T/3の時間遅れを有している。このような位相遅れは、EOM62に印加する電圧を制御することで付与できる。このために、EOM62には図16(e)のような電圧を印加する。図16(e)中の電圧Va,Vb,Vcは、図16(a),(b),(c)においてEOM62に印加される電圧に対応する。EOMは印加電圧に応じて屈折率が変化するので、適切な屈折率を付与するように電圧を制御する必要がある。また、一定の電圧を与える時間Texpは、必要なパルス積算数によって決定され、これはカメラ(撮像素子)の積算時間に相当する。
EOM62によって付与された時間遅れが、光パルスLBの位相遅れに相当する。従って、各位相モードの光パルスLBにとってAOM18内の回折格子の位相は異なっているため、位相1、2、3モードに対応する図16(d)の構造化照明のパターンC21,C22,C23で示すように、3つの位相モードで互いに異なった位相の構造化照明で標本面を励起することができる。
また、光パルスLBの繰り返し周波数frepはAOM18の音波の周波数fAOMに等しいため、各光パルスLBにとってAOM18は静止しているように見える。このため、複数の光パルスの積算が可能となる。このように、光パルスの積算を可能とすることで、一般的なフレームレートの撮像素子38の利用が可能となり、SN比の向上が可能となる。なお、光パルスの繰り返し周波数frep=fAOM/Nとしても良い(Nは1以上の整数)、Nを大きくすることにより、種々のカメラに合わせて最速のフレームレートでSIM画像の取得を実現できる。
本実施形態において、ある位相の構造化照明で励起された標本の像(縞画像)をパルス積算により取得した後は、EOM62を用いた光パルスの位相変化により、別の位相の画像を取得する。これを必要な枚数だけ繰り返すことで、構造化照明を用いる顕微鏡に必要な複数の画像を高速に取得することができる。
また、ここでは2光束モードを例に挙げて説明したが、3光束モードにおいても本実施形態は適用可能である。その際は、0次光が通過するようにマスク24を変更するとともに、構造化照明の縞位相を5位相変化させる必要があるため、光パルスの位相がT/5ずつ変化するようにEOM62を駆動すればよい。
[第5の実施形態]
第5の実施形態につき図17(a)〜図18(c)を参照して説明する。本実施形態では、AOM18の周波数fAOMと光パルスLBの繰り返し周波数frepを等しくし、AOM18を駆動する交流信号(周波数fAOM)の位相を変えることで、光パルスの位相を変化させる。これにより、光パルスとAOM18との相対位相を変化させ、光パルスの積算を可能にする。
図17(a)は本実施形態の顕微鏡の照明装置のAOM18及び制御装置40Cを示し、図17(b)は制御装置40Cの構成例を示す。これ以外の構成は第1の実施形態と同様である。ここでは一例として2光束モードについて説明する。2光束モードでは、AOM18から発生する2つの回折光によって標本面上に形成される構造化照明として、3位相分の干渉縞を生成させる必要がある。
図17(a)において、AOM18には制御装置40Cから周波数fAOMの交流信号よりなる駆動信号S3が印加されている。AOM18は式(1)に従って、その周波数に応じた回折格子として機能する。回折格子のピッチの時間周期をTとすると、印加する駆動信号の時間周期もTとなる。この駆動信号の位相を図17(a)の信号S3(1),S3(2),S3(3)に示すように、T/3ずつ変化させることで、光パルスとAOM18との相対位相を変化させることができる。
そのように駆動信号S3の位相を変化させるために、図17(b)に示すように、制御装置40Cに位相調節回路40Caを設ける。なお、切り替え回路40Cbは図7に示した方位切り替えスイッチである。この制御装置40Cを用いてAOM18に入力される周波数fAOMの駆動信号S3の位相をT/3ずつずらすことができる。
図18(a),(b),(c)にそれぞれAOM18に駆動信号S3(1),S3(2),S3(3)が供給される場合における、光パルスLBとAOM18内の回折格子とのタイミングを示す。それぞれの光パルスLBは同じ時点t1にAOM18に入射している。しかし、AOM18に印加する音波の位相を可変にすることで、AOM18内の回折格子の位相が変化するため、図18(a),(b),(c)のパターンC31,C32,C33で示すように、各光パルスが標本面上に生成する構造化照明の縞の位相を変化させることができる。
光パルスLBの繰り返し周波数frepはAOM18の音波の周波数fAOMに等しいため、これらの各光パルスにとってAOM18内の回折格子は静止しているように見える。このため、複数の光パルスの積算が可能となる。そして、必要な数の光パルスを積算し、画像を取得した後には、図17(b)の位相調節回路40Caを用いてAOM18に入力される駆動信号の位相をT/3変化させ、再び必要数の光パルスを積算して、画像取得を行う。この作業を、必要な画像の枚数分だけ繰り返せばよい。なお、光パルスの繰り返し周波数frep=fAOM/Nとしても良い(Nは1以上の整数)、Nを大きくすることにより、種々のカメラに合わせて最速のフレームレートでSIM画像の取得を実現できる。
なお、ここでは2光束モードを例に挙げて説明したが、3光束モードにおいても本実施形態は適用可能である。その際は、0次光が通過するようにマスクを変更するとともに、構造化照明の縞位相を5位相変化させる必要があるため、AOM18に印加する駆動信号の位相をT/5ずつ変化させればよい。
[第6の実施形態]
第6の実施形態につき図19(a)〜図20(c)を参照して説明する。本実施形態では、図1(a)のパルスレーザー光源よりなる可干渉性光源15Aの代わりに、連続発振(Continuous-Wave: CW)型のレーザー光源よりなる可干渉性光源15ACを用いる。可干渉性光源15ACからは、光強度が時間的に一定の可干渉性のレーザー光(以下、連続光という。)LBCが射出される。CW型のレーザー光源としては、例えばアルゴンイオンレーザー(波長488nm)、ヘリウムネオンレーザー、又はヘリウムカドミウムレーザー等を使用できる。本実施形態は、可干渉性を持つ光として連続光LBCを使用する以外の構成は第1の実施形態と同様である。ここでは一例として2光束モードについて説明する。2光束モードでは、AOM18から発生する2つの回折光によって標本面上に形成される構造化照明として、3位相分の干渉縞を生成させる必要がある。
また、本実施形態では、撮像素子38のフレームレートをAOM18の音波の周波数に同期させたうえで、さらに撮像素子38の露光時間をAOM18内の進行波(位相型の回折格子)が静止しているとみなせるほど極短時間に設定する。AOM18は進行波型であるために、標本面12aに投影される構造化照明IFの位相は、AOM18の音波の周波数fAOMで絶えず変化している。その音波(回折格子)の時間周期をTで表すと、T=1/fAOMとなる。入射光に連続光LBCを用いることで、標本12に投影される干渉縞のパターンは常に干渉縞の周期方向に移動している。
撮像素子38の露光時間τexpをAOM18内の回折格子の時間周期Tに比べて十分小さくすることで、動的な干渉縞を静止させることができる。この様子を図19(a)〜(c)に示す。AOM18に入射する連続光LBCは時間的に一定の光強度を有している(図19(a)参照)。AOM18には、制御装置40を介して信号発振器41から交流信号よりなる駆動信号S1が印加されている。駆動信号S1の周波数はfAOMであり、時間周期はT(=1/fAOM)である(図19(b)参照)。標本面12aに形成される干渉縞(構造化照明IF)は時間周期Tを1周期として、常に移動している。しかしながら、撮像素子38の露光時間τexpを図19(c)に示すように周期Tに比べて十分小さくすることで、移動している干渉縞をあたかも静止させることができる。また、2光束モードでは、撮像素子38のフレームレートfrを3fAOMとし、縞の1周期Tの間に露光時間τexpで3枚の画像を取得することで、構造化照明を用いる顕微鏡に要求される、異なる位相の構造化照明で励起された蛍光画像を高速で取得することができる。
図19(a)〜(c)の1/3周期(T/3)ずつ離れた時点t1, t2, t3における連続光LBCとAOM18内に生成される位相型回折格子(進行波19)との関係を図20(a)、(b)、(c)に示す。また、各時点t1, t2, t3に連続光LBCからAOM18によって発生する複数の回折光によって標本面12a上に形成される構造化照明IFのパターンの一例が図20(a)、(b)、(c)のパターンC41,C42,C43である。このように、本実施形態においても、所望の構造化照明で、標本12を励起することができる。
本実施形態において達成しうる位相切り替えの速度についてその値を概算する。位相切り替えの速度は、AOM18に印加する音波の周波数fAOMによって決まる。周波数fAOMが10MHzとすると、2光束モードでは、撮像素子38のフレームレートfr は30MHzとなる。従って、1枚の画像の取得に要する時間tpはfr の逆数で、tp=33nsとなる。一方向につき3枚の画像が必要であるため、全部の画像を得るために要する時間はおよそ1μsとなる。
次に、撮像素子38に要求される露光時間τexpであるが、AOM18内の回折格子が実質的に静止している時間をT/1000とすると、T=/fAOM =100nsであるため、露光時間τexpの条件は次のように0.1nsより小さくなる。
τexp < T/1000=0.1ns (6)
このように本実施形態によれば、パルスレーザー光源に比べてより安価な連続発振型のレーザー光源を用いて、標本面における構造化照明の位相切り替えの高速化を実現することができる。
なお、ここでは2光束モードを例に挙げて説明したが、3光束モードにおいても本実施形態は適用可能である。その際は、0次光が通過するようにマスクを変更するとともに、構造化照明の縞位相を実質的に5位相変化させるために、撮像素子38における撮像のタイミングをT/5間隔で設定すればよい。
なお、本実施形態では、撮像素子38の露光時間を短くして構造化照明IFを実質的に静止させているが、その代わりに例えば撮像素子38の前に高速のシャッター(機械式のシャッター又は液晶パネル方式等のシャッター等)を設置し、その高速のシャッターで撮像素子38に入射する蛍光のタイミングを制御してもよい。この場合、カメラ(撮像素子)の露光時間を長くすることが可能となるので、より一般的なカメラ(撮像素子)を利用することが可能となる。
[第7の実施形態]
第7の実施形態につき図21(a)〜図23(b)を参照して説明する。本実施形態でも、図1(a)のパルスレーザー光源よりなる可干渉性光源15Aの代わりに、連続発振型のレーザー光源よりなる可干渉性光源15ACを用いる。また、上述の第6の実施形態では、時間的に高速に変化する構造化照明の位相を、撮像素子38の露光時間を短くすることで実質的に静止させ、撮像タイミングを制御することで、位相変調を行った。しかしながら、場合によっては、AOM18の周波数fAOMが高すぎて通常の撮像素子の露光時間とフレームレートが追いつかない恐れもある。また、AOM18内の回折格子の時間周期Tよりもはるかに短い極短時間で撮像素子38を露光する場合、1画像当たりの光量が少ないため、SN比が低下する恐れもある。そこで、この実施形態は、そのような場合においても、位相変調を用いて構造化照明を静止させることで、構造化照明によって標本面に生成される縞の位相切り替えを一般的な撮像素子のフレームレートに合わせ、十分な高速化を実現するとともに、SN比を向上する。
図21は、本実施形態の照明装置10Cを備えた顕微鏡8Cの概略構成を示す。なお、図21において、図1(a)に対応する部分には同一の符号を付してその詳細な説明を省略する。図21において、可干渉性の連続光LBCは、レンズ16によりコリメートされてAOM18に入射し、AOM18から0次光LB0及び±1次光LB1,LB2等が射出される。ここでは一例として2光束モードについて説明する。2光束モードでは、AOM18から発生する2つの回折光(ここでは±1次光LB1,LB2とする)によって標本面上に形成される構造化照明として、3位相分の干渉縞を生成させる必要がある。
本実施形態では、AOM18から発生した回折光のうち、±1次光LB1,LB2のみがレンズ22で集光されてマスク24の開口を通過する。そして、マスク24を通過する2つの回折光のうちの一方の回折光(ここでは−1次光LB2)の位相を変調するために、例えば電気光学素子又は電気光学変調器(EOM)よりなる位相変調素子64がマスク24に設けられている。また、AOM18及び撮像素子38の動作を制御する制御装置40Dが位相変調素子64の動作を制御する。この他の構成は第1の実施形態と同様である。
本実施形態における位相変調素子64を用いた位相変調について説明する。まず、位相変調素子64がないときに、図21の±1次光LB1,LB2とこれらの干渉によって生じる干渉縞(構造化照明IF)との位相関係を図22(a)に示す。本実施形態では、進行波型のAOM18によって生成される位相型回折格子を用いているため、回折光LB1,LB2の位相は時間的に常に変化している。+1次光LB1の位相をφ+1、−1次光LB2の位相をφ-1とし、位相を2πで折り返す(ラップする)と、これらは周期Tの周期関数となり、それぞれ次のように表すことができる。
φ+1=2πt/T (7A)
φ-1=−2πt/T (7B)
ここで、TはAOM18内の回折格子の時間周期であり、AOM18の音波の周波数をfAOMとすると、T=1/fAOMとなる。この±1次光が標本面12aに生成する構造化照明IFの位相φstrは、次のようになる。
φstr=φ+1−φ-1=4πt/T (8)
図22(a)に示すように、±1次光の位相の時間変化が反転しているため、構造化照明の位相も時間的に連続に変化する。従って、位相変調素子64がない場合には、構造化照明は連続して動き続けることになる。
次に、本実施形態の位相変調素子64を−1次光LB2(+1次光LB1でもよい)の光路に設けた場合につき説明する。この場合、EOMよりなる位相変調素子64を用いて、−1次光LB2の位相φ-1を変調することで構造化照明IFを静止させる。位相変調素子64を駆動する交流信号よりなる駆動信号S5の周波数は、AOM18の周波数fAOMと等しくなるので、位相変調素子64はAOM18を制御する制御装置40Dによって制御することが望ましい。
図22(b)に、位相変調前の−1次光LB2の位相φ-1、位相変調素子64で−1次光LB2に付与する位相φEOM、及び位相変調前後の−1次光LB2の位相φ’-1をそれぞれ示す。位相変調前の−1次光の位相φ-1は図22(a)(式(7B))と同様である。このとき、構造化照明の位相を一定にするには、+1次光LB1の位相と、−1次光LB2の位相とを同一にすればよい。それにより、どの時間においても両者の位相差は一定となり、φstr =0となる。
位相変調素子64がない場合、図22(a)に示したように±1次光の位相は反転している。従って、位相変調素子64を用いて−1次光の位相を反転させることで、構造化照明IFを静止できる。このために、位相変調素子64が−1次光に付与する位相量φEOMは、次のようになる。
φEOM=4πt/T=−2φ-1 (9)
このとき、位相変調後の−1次光の位相φ'-1は、次のようになる。
φ'-1=φ-1+φEOM=−φ-1 (10)
このように位相変調素子64を用いて、−1次光の位相を反転させることで、φ+1=φ'-1となる。構造化照明の位相φstrは式(8)で示したように、2つの光の位相の差となるため、両者の位相が等しい場合の位相差は0となり、構造化照明は静止する。この様子を図22(c)に示す。
ここまで、構造化照明の位相φstr を0とする方法について説明したが、異なる位相で構造化照明を静止させることも要求される。これを実現するためには、位相変調素子64が付与する位相量を変化させれば良い。式(9)を一般化すると、次のようになる。
φEOM=φ0 −2φ-1= φ0 +4πt/T (11)
ここで、φ0は初期位相である。2光束モードでは、3位相分の構造化照明が必要であるため、φ0 は、−2π/3、0、+2π/3のいずれかとなる。φ0 が−2π/3及び2π/3のときの、+1次光の位相、位相変調後の−1次光の位相、及び構造化照明の位相の関係をそれぞれ図23(a)及び(b)に示す。φ0 が0のときの位相の関係は、図22(c)と同様である。
このように、位相変調素子64を用いて回折光に位相変調を施すことで、標本面12a上の構造化照明IFの位相を時間的に一定とし、構造化照明IFを静止させることができる。また、位相変調素子64の位相変調を変化させることで、構造化照明の位相を変化させることができる。従って、撮像素子38が要求する積算時間分だけ構造化照明を静止させた後は、位相変調素子64で付与する位相量φ0を変化させることで、構造化照明の位相を変化させればよい。そして、この動作を必要な位相数だけ繰り返せばよい。
このように本実施形態の照明装置10Cは、標本面12a(被観察面)を照明する照明装置であって、観察用の可干渉性の連続光LBCを射出する端部15Baを含む光源系と、端部15Baから射出された連続光LBCを回折するAOM18と、AOM18から発生する複数の回折光のうち少なくとも1つの回折光(ここでは−1次光LB2)の位相を変調する位相変調素子64と、AOM18から発生した回折光(ここでは+1次光LB1)及び位相変調素子64で変調された回折光(−1次光LB2)を標本面12aに集光して位相が可変の干渉縞よりなる構造化照明IFを形成する集光光学系20(照明光学系)と、を備えている。
この照明装置10Cによれば、AOM18及び位相変調素子64を用いて形成される干渉縞を構造化照明として使用できるため、構造化照明を行う場合にその位相を高速にかつ高精度に切り換えることができる。
また、本実施形態によれば、安価な連続発振型のレーザー光源及び一般的な撮像素子38を用いて構造化照明の位相切り替えを高速化できる。これにより、装置構成の単純化、コスト削減といった恩恵を享受することができる。
なお、本実施形態においては、位相変調素子64はマスク24(集光光学系20の瞳面)に近接して配置されている。しかしながら、その瞳面をリレー光学系によりリレーした面に位相変調素子64を配置してもよい。
また、連続発振型のレーザー(連続光LBC)のコヒーレンス長が短い場合は、±1次光の両方に位相変調素子64を設置しても良い。また、一方の回折光の光路に位相変調素子64を置き、他方の回折光の光路に、同様の屈折率と厚みを有するガラス板を置いても良い。
また、位相変調素子64としてEOMを使用するものとしたが、光の位相を高速に変調できれば、素子は限定されない。従って、位相変調素子64の代わりに、連続的、あるいは周期的な位相を有する位相板を高速で回転させたものを使用してもよい。さらに、空間光変調器を用いて、位相変調を実現しても良い。
また、ここでは2光束モードを例に挙げて説明したが、3光束モードにおいても本実施形態は適用可能である。その際は、また、0次光が通過するようにマスク24を変更するとともに、3光束のうち、2つの光の位相を変調する必要がある。さらに、構造化照明の縞位相を5位相変化させる必要があるため、位相変調素子64に供給する駆動信号S5によって、−1次光の位相を2π/5(時間間隔でT/5)ずつ変化させればよい。
また、本実施形態では、連続光LBCから回折光を発生させるために進行波型のAOM18を使用している。しかしながら、本実施形態では、一方の回折光の位相を位相変調素子64で変調しているため、AOM18の代わりに定常波型のAOM、又は通常の回折格子を使用してもよい。この場合、位相変調素子64で静止している縞を動かすことができるので、標本面12aで構造化照明IFの位相を可変にできる。
[第8の実施形態]
第8の実施形態につき図26〜図29(a)を参照して説明する。
図26は、本実施形態に係る照明装置10D及び制御装置40Eを備えた顕微鏡8Dの概略構成を示す。なお、図26において図1(a)に対応する部分には同一の符号を付してその詳細な説明を省略する。図26において、光ファイバの端部15Baから射出された光パルスLBをコリメートするレンズ16と、そのコリメートされた光パルスLBが入射するAOM18との間に、所定の小さい反射率を持つビームスプリッタ51が配置され、ビームスプリッタ51で反射された光パルスを検出する例えばフォトダイオードよりなる光電検出器52が配置されている。
光電検出器52で検出する光は微弱光で十分であり、構造化照明IFの強度をできるだけ大きくすることが望ましいため、ビームスプリッタ51の反射率はかなり小さい値でよい。このため、ビームスプリッタ51として単なるガラス板を使用してもよい。さらに、ビームスプリッタ51の代わりに偏光ビームスプリッタを配置し、この偏光ビームスプリッタの入射側に例えば1/2波長板を配置し、1/2波長板の回転角を調整して、光電検出器52に入射する光の強度を調整できるようにしてもよい。
光電検出器52は、光パルスLBの繰り返し周波数frepを含む周波数域の光を検出できるように広帯域であることが望ましい。光電検出器52の受光回路(不図示)の遮断周波数をfcとすると、少なくとも、fc >frepを満たすように構成されることが望ましい。このために、その受光回路をTIA(Trans Impedance Amplifier)制御回路などを用いて構成することが望ましい。
光電検出器52に入射した光は光電変換により電気信号に変換され、その不図示の受光回路により検出信号S6になる。従って、この検出信号S6は光パルスLBと同じ周波数frepを有している。検出信号S6は、スペクトラムアナライザ53及び制御装置40Eに供給される。制御装置40E内でその検出信号S6は、波形整形回路55により、撮像素子38のトリガに適した信号形態に変換され、可変遅延回路56に入力される。
可変遅延回路56は、入力される電気信号に任意の時間遅延を付与する電気回路である。可変遅延回路56は、一例として図27に示すように、それぞれ1対のインバータ57よりなる複数個の遅延回路58を直列に接続し、各遅延回路58の出力信号を並列にスイッチング素子(Selector)59に供給するように構成されている。
単一のインバータ57はNOT回路を構成し、入力される信号(デジタル信号)を反転させる。つまり、ハイレベル“1”(H)の信号が入力されるとローレベル“0”(L)の信号を、ローレベル“0”の信号が入力されるとハイレベル“1”の信号を出力する。それを2つ直列に接続することで、2つのインバータ57(一つの遅延回路58)の出力信号は入力信号と同じ値を持つが、回路処理に時間を要するので、時間遅延が生じる。ある遅延回路58で時間遅延が生じた信号をスイッチング素子59及び次段の遅延回路58に出力することを繰り返すことで、遅延時間のみ異なる多数の出力信号が並列にスイッチング素子59に供給される。スイッチング素子59で任意の一つの出力信号を取り出すことで入力信号に適切な遅延時間Δtを付与させることができる。
あるいは、複数のインバータペア(1対のインバータ57)の変わりに、バリキャップコンデンサのような静電容量可変のコンデンサを用いて、RC回路の時定数を変化させることで遅延時間Δtを与えてもよい。
図26において、可変遅延回路56の出力(トリガパルスTP)を撮像素子38のトリガ入力(制御信号S4の一部)とする。これにより、撮像素子38のフレームレートを光パルスLBの繰り返し周波数frepに同期させることができる。スペクトラムアナライザ53は、検出信号S6の周波数を検出し、検出した周波数を制御装置40E内の制御部54に供給し、制御部54は、その周波数及び/又は信号発振器41の出力に基づいてAOM18の進行波(音波)の周波数fAOMを制御する。
この他の構成及び構造化照明IFによって生成される干渉縞の位相を高速に可変する原理は、図1(a)(第1の実施形態)の顕微鏡8と同じである。すなわち、光パルスLBの繰り返し周波数frepは、1以上の整数mを用いてAOM18の周波数fAOMに対して、上述の式(2)(frep=m・fAOM)のように設定される。
また、一例として、構造化照明によって生成される干渉縞の位相を1/3周期ずつ変えて、位相の異なる3枚の画像を取得する場合を考える。このとき、AOM18内の音波による回折格子のピッチをpとすると、その回折格子の変化量はp/3(位相量で2π/3)となる。
また、マスク24で0次光をブロックしている状態(2光束モード)では、標本面12a上での構造化照明IFのピッチpsは、AOM18内の回折格子のピッチp、及びAOM18から標本面12aまでの光学系の投影倍率βを用いて、上述の式(3)で表される。従って、今回のようにAOM18において位相を2π/3ずつ変化させた場合、標本面12aでの干渉縞の位相変位は4π/3となる。
このようにして、標本12は位相の異なる構造化照明IFで励起されるので、それによる蛍光LFを撮像素子38で撮像することで、構造化照明顕微鏡に必要な画像を、機械的な駆動を必要とせずに、高速に取得することが可能となる。
以下、本実施形態の照明方法及び観察方法の一例につき図29(a)のフローチャートを参照して説明する。
まず、図29(a)のステップ120において、上述の式(1)を用いて、AOM18の周波数fAOMを決定する。次のステップ122において、上述の式(2)を用いて、光パルスLBの繰り返し周波数frepを決定する。ただし、どのように繰り返し周波数frepの光パルス列を得るかは、どのようにして光パルスLBを生成しているかによって異なる。
例えば直接変調法により光パルスLBを生成している場合、繰り返し周波数frepは連続発振(CW)型のレーザー光源を駆動する電気信号の周波数で決定される。従って、その周波数をfrepに設定すれば良い。この場合、AOM18を駆動するのと同じ信号発振器41(例えばファンクションジェネレーター)を用いて出力される電気信号をレーザー光源に供給することが望ましい。
また、モード同期法により光パルスLBを生成している場合、繰り返し周波数frepは、レーザー共振器の共振器長Lで決定される。光速をcとすると、周波数frepと共振器長Lは、以下の関係式で表される。
rep=c/(2L) (41)
従って、周波数frepを変化させるためには、共振器長Lを変化させる必要がある。このために、一例としてレーザー共振器の中に電気光学変調器(Electro-Optic Modulator)(以下、EOMともいう。)を挿入する。EOMは、例えばニオブ酸リチウム、あるいはKTP結晶等の基板に電圧印加用の電極を設けた素子であり、電圧により結晶の屈折率を変化させることができる。EOM結晶の厚みをd、屈折率をnとすると、EOM結晶を透過する光の光路長はndとなる。従って、屈折率を変えることで、光路長を変えることができる。従って、EOMを用いて、最適な周波数frepになるように共振器長を変化させることで周波数frepを設定することができる。
次のステップ124において、撮像素子38のフレームレートfrを光パルスの繰り返し周波数frepに同期させる。ここでは、撮像素子38のフレームレートfrと光パルスの繰り返し周波数frepの制御について述べる。位相の異なる画像を取得するには、図5(a)〜(c)を参照して説明したように、撮像素子38で個々の光パルスを独立に検出する必要がある。従って、撮像素子38のフレームレートfrは繰り返し周波数frepに等しくする必要がある。
次に、光パルスLBと撮像素子38の撮像のタイミングの調整方法について述べる。光パルスLBの構造化照明IFにより励起された蛍光LFは、光パルスの繰り返し周波数frepと同じ周波数で撮像素子38に到達するので、蛍光LFを検出するためには、到達したときに露光している必要がある。このために、撮像素子38のフレームレートと蛍光信号の位相を適切に設定する必要がある。本実施形態では、これを実現するために可変遅延回路56を用いる。
可変遅延回路56では、光電検出器52によって得られる光パルスの検出信号に、上述のように適切な遅延時間Δtを付与させることができる。この場合の遅延時間Δtは、図27(b)(横軸は時間t)に示すように、蛍光LFが発生して蛍光LFの強度TLFが大きくなった時点(すなわち、光電検出器52で光パルスLBが検出された時点)から、制御装置40E内の可変遅延回路56から撮像素子38に撮像開始を指示するトリガパルスTPが出力される(立ち上がる)までの時間である。トリガパルスTPが出力された直後から所定時間、撮像素子38において露光が行われる。図27(b)において、その露光が行われている時間(露光時間)は仮想的な信号Tepがハイレベルとなっている期間で表されている。
このとき、遅延時間ΔtのストロークT(最大値)と分解能δt(可変遅延回路56で設定可能な最小単位時間)は、以下のようにするのが望ましい。
T>1/(2frep) (42)
δt<tex/2 (43)
ただし、texは撮像素子38の露光時間であり、この値は光パルスの繰返し周期trep ( = 1/frep)より短い。
図27(b)に示すように、遅延時間Δtを変えることで、露光タイミングと蛍光LFが発生している期間との位相を可変できる。従って、Δtを可変させて撮像素子38で画像を取得し、図27(c)に示すように、その画像の強度Int(任意単位)をΔtに対してプロットすることで、撮像する蛍光LFの強度が最大となるΔtを決定することができ、撮像素子38の露光のタイミングと蛍光LFが発生している期間とを合わせることができる。
このとき、AOM18の周波数fAOMと、光パルスの繰り返し周波数frepは同期していないので、構造化照明IFをそのまま標本12に投影した場合、発生する蛍光LFの強度が時間に依存する可能性がある。そこで、0次光、+1次光、−1次光のうち、いずれか1つのみをマスク24によって透過させる構成とすることが望ましい。回折光の強度分布は周波数fAOMに依らず、常に一定となるためである。
また、細胞の観測位置が変わると屈折率や細胞への浸入長が変わるので、光の光路長が変化し、露光のタイミングも変化する。しかし、仮に光路長が1μm変化したとしても、それを時間変化に換算すると、3.3fsであり、これは光パルスの時間間隔に比べて無視できるオーダーであると考えられる。また、蛍光体としては退色しにくいものが望ましい。
次のステップ126において、AOM18の周波数fAOMを光パルスの繰り返し周波数frepに同期させる。これは、光パルスの繰り返し周波数をマスター周波数として用いることを意味する。このため、図26において、光電検出器52を介して検出された検出信号S6をスペクトラムアナライザ53で周波数解析することで、光パルスの繰り返し周波数frepを測定し、測定結果を制御装置40Eの制御部54に供給する。
制御部54は、その測定値された繰り返し周波数の1/m倍の次式で表される周波数を持つ正弦波の電気信号を発振するように信号発振器41を制御し、その電気信号(駆動信号S1)でAOM18を駆動する。
AOM =frep /m (44)
ここで、mは必要な位相送り数(1以上の整数)であり、AOM18はその信号により回折格子として機能する。
光パルスLBがAOM18に入射すると、AOM18より回折光が生じ、標本面12aに構造化照明IFが投影される。それにより励起された蛍光分子は蛍光LFを発し、撮像素子38に構造化照明による像を形成する。この構造化照明による像は撮像素子38のフレームレートで決まる一定時間間隔で取得される。このとき、蛍光分子の変わりに、ミラーを標本12として用いても良い。
撮像素子38では、画像をタイムラプスで取得し、各画像の縞位相(干渉縞の位相)を解析する。このとき、光パルスの繰り返し周波数と撮像素子38のフレームレートは前述の方法で同期された状態にある。従って、取得された画像のうち、n枚目の画像(位相φn)とn+j・ m枚目の画像(位相φn+jm)の位相は一致しているはずである(j=1,2,3,…)。その各画像の位相差をΔφとすると、Δφは次のようになる。
Δφ=φn+jm−φn (45)
Δφ=0であれば、各画像に位相差はなく、図28(a)のΔφ=0の場合の画像で示すように、何枚目の画像であっても同様の画像が得られる。これは式(44)が成立していることを示している。従って、この状態では、n, n+1, …, n + m枚目の各画像の位相差は所望の縞位相2π/mに設定されており、構造化照明の正確な位相送りを実現できているといえる。
また、Δφ≠0であれば、式(44)が成立しておらず、この状態では正確な位相送りが実現できない。
例えば、Δφ>0であれば、fAOM >frep/mであり、このときの各タイムラプス画像(一定周期で撮像されたN枚(Nは2以上の整数)の画像)は、図28(a)のΔφ>0の場合の画像で示すように、時間が経つほど、つまり取得枚数が大きくなるほど、縞の進行方向である左側にシフトしている。
さらに、Δφ<0であれば、fAOM <frep/mであり、このときの各タイムラプス画像は、図28(a)のΔφ<0の場合の画像で示すように、時間が経つほど、つまり取得枚数が大きくなるほど、縞の進行方向と逆の右側にシフトしている。
画像をm・N枚取得したときの、位相差Δφと画像の取得枚数Nの関係を図28(b)に示す。図28(b)より、Δφの大小関係から、周波数の大小関係を知ることができる。従って、Δφ<0の場合は、信号発振器41の周波数fAOMを大きくし、Δφ>0の場合は、信号発振器41の周波数fAOMを小さくする。その状態で再び連続画像を取得し、Δφを測定する。Δφが0に収束するまでこれを繰り返すことで、式(44)の関係を成立させ、正確な位相送りを実現することができる。
また、ここでは、m枚で1セットの画像のうちの一つのみを用いたが、パルスのジッタが問題となる場合は、複数、あるいはすべての画像を用いて、位相の時間依存性を調整しても良い。
また、制御装置40Eを用いて、AOM18の周波数fAOMを可変すれば、AOM18が作る回折格子のピッチを可変することもできる。このとき、光パルスの繰り返し周波数も変える必要がある。
ここで、前述したように、どのように光パルスの繰り返し周波数frepを変えるかは、どのようにして光パルスを生成しているかによって異なる。
直接変調法により光パルスを生成している場合、適した周波数frepになるようにCW型のレーザー光源を駆動する電気信号の周波数を設定し、まずは撮像素子38との同期を行い、その後、図27(a)、(b)を参照して説明したように周波数fAOMを調整する。 一方、モード同期法により光パルスを生成している場合、レーザー共振器中のEOMに印加する電圧を制御することにより、適した周波数frepになるように共振器長を変化させる。その後、まずは撮像素子38との同期を行い、さらに図27(a)、(b)を参照して説明したようにAOM18の周波数fAOMを調整する。
上述のように、本実施形態によれば、光パルスLBの周波数frepが、AOM18の音波進行波の周波数fAOMのm倍(mは2以上の整数)になるように調整するために、光パルスLBに同期して標本面12a(被観察面)に形成される干渉縞の第1位相(φn)を検出し、その第1位相を検出してからj・m(jは1以上の整数)パルス目の光パルスLBに同期して標本面12aに形成される干渉縞の第2位相(φn+jm)を検出し、その第1位相とその第2位相との位相差Δφを低減させるように、AOM18の周波数fAOMを調整している。従って、光パルスLBの周波数frepが、AOM18の周波数fAOMのm倍になるように効率的に調整できる。
なお、これまでは、光パルスの繰り返し周波数frepを基準に考えてきたが、AOM18の周波数fAOMを基準にしてももちろん良い。すなわち、その位相差Δφを低減させるように、光パルスの周波数frepを調整しても良い。
この場合は、式(1)より決定したAOM18に入力する駆動信号S1の周波数fAOMのm倍の周波数を持つ信号を撮像素子38のトリガとし、その信号の位相を変えることで、撮像素子38の露光と光パルスのタイミングを合わせる。その後、縞画像を取得し位相解析することで、周波数fAOMに合わせて繰り返し周波数frepを調整することが望ましい。各調整方法は前述の通りである。
また、例えば光パルスLBの周波数frepが、AOM18の音波進行波の周波数fAOMの1/N倍(Nは1以上の整数)になるように調整することも可能である。この場合には、スペクトラムアナライザ53によって検出される光パルスLBの周波数のN倍の周波数の駆動信号でAOM18を駆動すればよい。
[第9の実施形態]
第9の実施形態につき図29(b)〜図31(b)を参照して説明する。上述の第8の実施形態では、AOM18の周波数fAOMが光パルスの繰り返し周波数frepより小さい場合(fAOM<frepの場合)、すなわち、個々の光パルスを独立に検出する必要がある場合の周波数の調整方法を説明した。本実施形態では、frep=fAOM/Nの場合の調整方法を述べる。ここでNは1以上の整数である。以下ではN=1の場合を例に挙げて説明する。
図30は、本実施形態に係る照明装置10E及び制御装置40Fを備えた顕微鏡8Eの概略構成を示す。なお、図30において図1(a)及び図26に対応する部分には同一の符号を付してその詳細な説明を省略する。
図30において、光ファイバの端部15Baから射出された光パルスLBをコリメートするレンズ16と、そのコリメートされた光パルスLBが入射するAOM18との間に、ビームスプリッタ51が配置され、ビームスプリッタ51で反射された光パルスを検出する光電検出器52が配置されている。光電検出器52に入射した光は光電変換により電気信号に変換され、不図示の受光回路により光パルスLBと同じ周波数frepを有する検出信号S6になり、検出信号S6は、スペクトラムアナライザ53に供給される。
この他の構成及び構造化照明IFによって生成される干渉縞の位相を高速に可変する原理は、図1(a)(第1の実施形態)の顕微鏡8と同じである。
本実施形態においては、撮像素子38では複数の光パルス(蛍光LFの像)を積算し、1枚の画像を生成する。干渉縞の位相を変える手法は複数あるが、ここでは、AOM18を駆動する駆動信号S1の位相を変更することで、干渉縞の位相を変える手法を例に挙げて、本実施形態の調整方法の一例につき図29(b)のフローチャートを参照して説明する。
まず、図29(b)のステップ130において、上述の第8の実施形態と同様に、AOM18の周波数fAOMを上述の式(1)で決める。そして、本実施形態では、ステップ132において、光パルスLBの繰り返し周波数frepをAOM18の周波数fAOMと同じ(frep =fAOM)にする。
本実施例では、撮像素子38は露光時間の間に多数の光パルス(蛍光LFの像)を積算するので、この効果により撮像素子38のフレームレートfrと繰り返し周波数frepの同期は不要となる。ただし、露光時間内における光パルスの数が極端に少なくなった場合には、同期することが望ましい。
次のステップ134において、繰り返し周波数frepとAOM18の周波数fAOMを同期させる。撮像素子38で撮像される画像は、個々の光パルスが生成する構造化照明IFにより励起された蛍光LFを光パルスの数だけ総和した値で構成される。従って、周波数frepとfAOMが同期していれば、個々の光パルスが作る構造化照明IFは全く同一のものとなる。
しかしながら、周波数frepとfAOMが同期していなければ、光パルスLBにとってAOM18内の回折格子は静止しておらず、その回折格子は両者のビート周波数fbeat(=frep−fAOM)で動いていることになる。従って、光パルス毎に構造化照明の位相が異なることになる。これにより、それらを積算することで得られる画像のコントラストは低下してしまう。
そこで、繰り返し周波数frepとAOM18の周波数fAOMを同期させるために、本実施形態では、図31(a)に示すように、取得画像60A,60Bを2次元フーリエ変換する。そして、フーリエスペクトル61A,61Bの0次(DC)成分IF0と1次成分IF1との次式で表される比RFを計算する。
RF=IF1/IF0 (46)
そして、信号発振器41により、AOM18の周波数fAOMを微調整し、図31(b)に示すように、比RFが最大となるように調整することで、周波数frepとfAOMを同期させることができる。
構造化照明IFの位相を変えるときには、信号発振器41により、AOM18の周波数fAOMの位相を変化させる。このときの位相の変化量は、2π/m(mは2以上の整数)とする。
上述のように本実施形態によれば、光パルスの周波数frepが、AOM18の音波進行波の周波数fAOMと同じになるように調整する(同期させる)ために、光パルスに同期して標本面12a(被観察面)に形成される干渉縞の像を複数回検出して積算し、この積算された干渉縞のコントラストを高めるように周波数fAOMを調整している。従って、光パルスの周波数frepとAOM18の周波数fAOMとを効率的に、かつ高精度に同期させることができる。
なお、調整の際にはAOM18の周波数fAOMを固定し、光パルスLBの繰り返し周波数frepを変化させても良い。
このように各種パラメータを調整することで、最適な構造化照明を生成することができる。
また、本実施形態では、構造化照明の位相変調手段としてAOM18の駆動信号S1の位相を変える手法を示したが、本調整方法はこの手法に限定される必要はない。例えばレーザー光源(不図示)とAOM18の間の光路にEOM(電気光学変調器)を挿入し、EOMによる屈折率変調によりAOM18と光パルスのタイミングを変化させて、構造化照明の位相変調を実現する場合においても、本調整手法は適用することができる。
[第10の実施形態]
第10の実施形態につき説明する。本実施形態では、図1(a)の顕微鏡8において、パルスレーザー光源よりなる可干渉性光源15Aの代わりに、連続発振(CW)型のレーザー光源よりなる可干渉性光源15ACを用いる。可干渉性光源15ACから出力される連続光LBC(CWレーザー光)を用いて生成される構造化照明IFを用いて標本12を観察する方法の原理は上記の第6の実施形態で説明した通りである。
ここでは一例として2光束モードについて述べる。このため構造化照明IFが作る干渉縞として、3位相分の干渉縞を生成させる必要がある。
図1(a)において、AOM18には制御装置40を経由して、信号発振器41から交流信号(駆動信号S1)が印加される。この周波数はfAOMであり、時間周期はT(=1/fAOM)である。標本面12aに形成される干渉縞は時間周期Tを1周期として、常に移動しているが、撮像素子38の露光時間τexpをTに比べて十分小さくすることで、移動している干渉縞をあたかも静止させることができる。また、2光束モードでは、撮像素子38のフレームレートfr を3fAOMとし、縞の1周期Tの間に露光時間τexpで3枚の画像を取得することで、構造化照明顕微鏡に要求される、異なる位相の構造化照明で励起された蛍光画像を高速で取得することができる。
調整の際には、AOM18の周波数fAOMを基本周波数として、そのm倍(mは2以上の整数)の周波数の電気信号Itrigを制御装置40の内部のファンクションジェネレーター(不図示)により生成する。それを撮像素子38のトリガとする。そして、第8の実施形態と同様に、同一位相となる画像を取得してその位相差Δφを調べ、それが最小となるように電気信号Itrigの周波数を微調整することで、正確な位相送りを実現できる。
本実施形態によれば、可干渉性光源15ACから射出される光は連続光LBC(CWレーザー)であり、上述の第8の実施形態と同様に、音波進行波の周波数fAOMのほぼm倍(mは2以上の整数)の周波数のトリガパルスに同期して標本面12a(被観察面)に形成される干渉縞の第1位相を検出し、その第1位相を検出してからj・m(jは2以上の整数)パルス目のトリガパルスに同期して標本面12aに形成される干渉縞の第2位相を検出し、その第1位相とその第2位相との差を低減させるように、そのトリガパルス(電気信号Itrig)の周波数を調整する。この調整方法によって、AOM18内の回折格子の移動に応じて位相が変化する蛍光LFの像を、撮像素子38で正確なタイミングで撮像することができ、標本12を高精度に観察できる。
なお、上記の第1〜第10の実施形態において、AOM18,18A内の位相型の回折格子の方位切り替え機構やその回折格子又は構造化照明の位相の制御機構等は一例であり、それらの構成及び組み合わせは上記の各実施形態に限定されることなく任意の構成及び組み合わせを使用できる。
また、上記の各実施形態においては、進行波型のAOM18,18A内に生成される位相型の回折格子で生じた回折光のうち、±1次光(又は0次光及び±1次光)を使用する場合について説明したが、±1次光の代わりに例えば±2次回折光又は±3次回折光等を用いても良い。ただし、その場合光強度は1次回折光に比べて低下するので、レーザー光の出力を増加させる等の対策が必要になることもある。
また、上記の各実施形態は、本発明を構造化照明を用いて蛍光観察を行う顕微鏡に適用したものであるが、本発明は、構造化照明を用いる通常の顕微鏡等にも適用できる。
このように、本発明は上述の実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々の構成を取り得る。
8…顕微鏡、10…照明装置、12…標本、IF…構造化照明(干渉縞)、14…光源系、15A…可干渉性光源、18…AOM、19…進行波、20…集光光学系、36…結像光学系、38…撮像素子、40…制御装置

Claims (23)

  1. 光源部から射出した光束の光路中に配置され、前記射出した光束を横切る方向に音波進行波が形成される進行波形成部と、
    前記進行波形成部から発生する複数の回折光による位置可変の干渉縞を被観察面に形成する照明光学系と、
    を備えることを特徴とする照明装置。
  2. 前記光源部はパルス光を射出し、
    前記光源部からの前記パルス光の射出と前記進行波形成部に形成される前記音波進行波の位相とを同期させる同期制御部を備えることを特徴とする請求項1に記載の照明装置。
  3. 前記光源部は、パルス光を射出し、
    前記パルス光の繰り返し周波数は、前記音波進行波の周波数の1/N倍(Nは1以上の整数)であり、
    前記パルス光が前記進行波形成部に入射するタイミングを相対的に制御するタイミング制御部を備えることを特徴とする請求項1に記載の照明装置。
  4. 前記光源部はパルス光を射出し、
    前記パルス光の繰り返し周波数は、前記音波進行波の周波数の整数倍であることを特徴とする請求項1又は2に記載の照明装置。
  5. 前記パルス光のうち所定タイミングのパルス光を選択するパルス光選択部を備えることを特徴とする請求項4に記載の照明装置。
  6. 前記進行波形成部から発生する複数の回折光のうち、少なくとも1つの回折光の位相を変調する位相変調部を備えることを特徴とする請求項1に記載の照明装置。
  7. 前記進行波形成部は、前記照明光学系の光軸と直交する面内において互いに異なる複数の方向から音波進行波を形成可能な音響光学素子を有することを特徴とする請求項1〜6のいずれか一項に記載の照明装置。
  8. 被観察面を観察する顕微鏡であって、
    前記被観察面を照明する請求項1〜7のいずれか一項に記載の照明装置と、
    前記被観察面から発生する光による像を形成する結像光学系と、
    前記結像光学系によって形成される像を検出する撮像素子と、
    前記撮像素子で検出される複数の像の情報を処理して前記被観察面の像を求める演算部と、
    を備えることを特徴とする顕微鏡。
  9. 前記被観察面に形成される前記干渉縞の位相が互いに異なる複数の位相になったときに、前記撮像素子によって前記結像光学系によって形成される像を検出させる撮像制御部を備えることを特徴とする請求項8に記載の顕微鏡。
  10. 被観察面を照明する照明方法であって、
    光源部から光を射出し、
    射出された光束の光路中に配置され、前記射出された光束を横切る方向に音波進行波が形成される進行波形成部から発生する複数の回折光による位相可変の干渉縞を前記被観察面に形成することを特徴とする照明方法。
  11. 前記光はパルス光であり、
    前記パルス光の射出に同期して前記音波進行波を形成させることを特徴とする請求項10に記載の照明方法。
  12. 前記光は、パルス光であり、
    前記パルス光の繰り返し周波数は、前記音波進行波の周波数の1/N倍(Nは1以上の整数)であり、
    前記パルス光が前記進行波形成部に入射するタイミングを相対的に制御することを特徴とする請求項10に記載の照明方法。
  13. 前記光はパルス光であり、
    前記パルス光の繰り返し周波数は、前記音波進行波の周波数の整数倍であることを特徴とする請求項10又は11に記載の照明方法。
  14. 前記パルス光のうち所定タイミングのパルス光を選択することを特徴とする請求項13に記載の照明方法。
  15. 前記複数の回折光のうち、少なくとも1つの回折光の位相を変調することを特徴とする請求項10に記載の照明方法。
  16. 被観察面を観察する観察方法であって、
    請求項10〜15のいずれか一項に記載の照明方法で前記被観察面を照明し、
    前記被観察面から発生する光から結像光学系を介して像を形成し、
    前記結像光学系によって形成される像を検出し、
    前記検出される複数の像の情報を処理して前記被観察面の像を求めることを特徴とする観察方法。
  17. 前記被観察面に形成される前記干渉縞の位相が互いに異なる複数の位相になったときに、前記撮像素子によって前記結像光学系によって形成される像を検出させることを特徴とする請求項16に記載の観察方法。
  18. 前記パルス光の繰り返し周波数が、前記音波進行波の周波数のm倍(mは2以上の整数)になるように調整するために、
    前記パルス光に同期して前記被観察面に形成される干渉縞の第1位相を検出し、
    前記第1位相を検出してからj・m(jは1以上の整数)パルス目の前記パルス光に同期して前記被観察面に形成される干渉縞の第2位相を検出し、
    前記第1位相と前記第2位相との差を低減させるように、前記パルス光の繰り返し周波数又は前記音波進行波の周波数を調整することを特徴とする請求項13に記載の照明方法。
  19. 前記パルス光の繰り返し周波数は、前記音波進行波の周波数と同じであり、
    前記パルス光の繰り返し周波数が、前記音波進行波の周波数と同じになるように調整するために、
    前記パルス光に同期して前記被観察面に形成される干渉縞を複数回検出して積算し、
    該積算された干渉縞のコントラストを高めるように前記パルス光の繰り返し周波数又は前記音波進行波の周波数を調整することを特徴とする請求項12に記載の照明方法。
  20. 前記光源部から射出される光は連続光であり、
    前記音波進行波の周波数のほぼm倍(mは2以上の整数)の周波数のトリガ信号に同期して前記被観察面に形成される干渉縞の第1位相を検出し、
    前記第1位相を検出してからj・m(jは2以上の整数)パルス目の前記トリガ信号に同期して前記被観察面に形成される干渉縞の第2位相を検出し、
    前記第1位相と前記第2位相との差を低減させるように、前記トリガ信号の周波数を調整することを特徴とする請求項10に記載の照明方法。
  21. 前記パルス光に同期して前記被観察面に形成される干渉縞の第1位相と、前記第1位相を検出してからj・m(jは1以上の整数)パルス目の前記パルス光に同期して前記被観察面に形成される干渉縞の第2位相との差を低減させるように、前記パルス光の繰り返し周波数又は前記音波進行波の周波数を調整する駆動信号を出力する調整部を備えることを特徴とする請求項3に記載の照明装置。
  22. 前記パルス光に同期して前記被観察面に形成される干渉縞を複数回検出して積算された干渉縞のコントラストを高めるように前記パルス光の繰り返し周波数又は前記音波進行波の周波数を調整する駆動信号を出力する調整部を備えることを特徴とする請求項5に記載の照明装置。
  23. 前記光源部から射出される光は連続光であり、
    前記音波進行波の周波数のほぼm倍(mは2以上の整数)の周波数のトリガ信号に同期して前記被観察面に形成される干渉縞の第1位相と、前記第1位相を検出してからj・m(jは2以上の整数)パルス目の前記トリガ信号に同期して前記被観察面に形成される干渉縞の第2位相との差を低減させるように、前記トリガ信号の周波数を調整する駆動信号を出力する調整部を備えることを特徴とする請求項1に記載の照明装置。
JP2014540879A 2012-10-12 2013-10-09 顕微鏡及び観察方法 Expired - Fee Related JP5958779B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012227503 2012-10-12
JP2012227503 2012-10-12
PCT/JP2013/077538 WO2014057998A1 (ja) 2012-10-12 2013-10-09 照明装置及び顕微鏡、並びに照明方法及び観察方法

Publications (2)

Publication Number Publication Date
JP5958779B2 JP5958779B2 (ja) 2016-08-02
JPWO2014057998A1 true JPWO2014057998A1 (ja) 2016-09-05

Family

ID=50477465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014540879A Expired - Fee Related JP5958779B2 (ja) 2012-10-12 2013-10-09 顕微鏡及び観察方法

Country Status (3)

Country Link
US (1) US20150211997A1 (ja)
JP (1) JP5958779B2 (ja)
WO (1) WO2014057998A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6433268B2 (ja) 2014-03-31 2018-12-05 国立大学法人 東京大学 検査システムおよび検査方法
JP6316068B2 (ja) * 2014-03-31 2018-04-25 国立大学法人 東京大学 検査システムおよび検査方法
JP6260691B2 (ja) * 2014-04-25 2018-01-17 株式会社ニコン 構造化照明顕微鏡装置及び構造化照明観察方法
JP6300658B2 (ja) 2014-06-19 2018-03-28 オリンパス株式会社 標本観察装置
JP2016093832A (ja) * 2014-11-17 2016-05-26 トリニティ工業株式会社 レーザ加飾装置、加飾部品の製造方法
JP6590633B2 (ja) * 2015-10-19 2019-10-16 リコーエレメックス株式会社 画像検査システム、電子機器、および画像検査方法
US20170261739A1 (en) * 2016-03-10 2017-09-14 The Board Of Trustees Of The Leland Stanford Junior University Multi-pass microscopy
JP6650342B2 (ja) * 2016-05-16 2020-02-19 オリンパス株式会社 顕微鏡システム
DE102016007839A1 (de) 2016-06-28 2017-12-28 Horst Wochnowski Hochauflösendes Verfahren zur Mikroskopie und Nanostrukturierung von Substratoberflächen basierend auf dem SIM-Verfahren (Structured Illumination Microscopy)
KR101847334B1 (ko) 2017-02-02 2018-04-10 한국기초과학지원연구원 형광 이미지 획득 장치 및 방법
WO2018204814A1 (en) * 2017-05-04 2018-11-08 Intelligent Imaging Innovations, Inc. A method to keep the excitation light sheet in focus in selective plane illumination microscopy
KR20230166137A (ko) * 2019-03-28 2023-12-06 하마마츠 포토닉스 가부시키가이샤 검사 장치 및 검사 방법
US10895727B1 (en) * 2019-10-19 2021-01-19 SequLITE Genomics US, Inc. Microscope for locating structures on the inner surface of a fluidic channel
DE102019129932B4 (de) * 2019-11-06 2023-12-21 Technische Universität Braunschweig Optische Detektionseinrichtung und Verfahren zum Betreiben einer optischen Detektionseinrichtung
CN113777811B (zh) * 2021-08-29 2024-03-29 复旦大学 基于多重4f成像的高带宽复合声光调制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4498770A (en) * 1979-05-29 1985-02-12 Beta Industries, Inc. Apparatus and method for determining the configuration of a reflective surface
JPH06302491A (ja) * 1993-04-15 1994-10-28 Nikon Corp 露光量制御装置
JPH08124830A (ja) * 1994-10-25 1996-05-17 Nikon Corp 投影露光装置
JPH07335526A (ja) * 1994-06-08 1995-12-22 Nikon Corp 位置検出装置及び該装置に使用される音響光学変調素子
JP3506156B2 (ja) * 1995-03-14 2004-03-15 株式会社ニコン 位置検出装置、露光装置、及び露光方法
DE102008049878A1 (de) * 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
EP3726274B1 (en) * 2010-04-26 2023-08-23 Nikon Corporation Structured illumination microscope apparatus and an image forming apparatus
WO2012049831A1 (ja) * 2010-10-14 2012-04-19 株式会社ニコン 構造化照明装置、構造化照明顕微鏡装置、及び面形状測定装置
WO2013011680A1 (ja) * 2011-07-15 2013-01-24 株式会社ニコン 構造化照明装置、構造化照明顕微鏡、構造化照明方法
US9213175B2 (en) * 2011-10-28 2015-12-15 Craig B. Arnold Microscope with tunable acoustic gradient index of refraction lens enabling multiple focal plan imaging

Also Published As

Publication number Publication date
JP5958779B2 (ja) 2016-08-02
WO2014057998A1 (ja) 2014-04-17
US20150211997A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
JP5958779B2 (ja) 顕微鏡及び観察方法
US7312876B2 (en) Optical image measuring apparatus
US9575182B2 (en) Three-dimensional tomographic imaging camera
US7486402B2 (en) Optical image measuring apparatus
US20060055939A1 (en) Optical image measuring apparatus
JP4837300B2 (ja) 光画像計測装置
US10393661B2 (en) Structured illumination microscopic device and structured illumination observation method
JP5149486B2 (ja) 干渉計、形状測定方法
US9684076B1 (en) Frequency multiplexed ranging
EP1650528A2 (en) Apparatus and method of heterodyne interferometry for imaging
JP5336921B2 (ja) 振動計測装置及び振動計測方法
JPH10213485A (ja) 光計測装置
KR20050114611A (ko) 간섭계에서 대상에 의해 반사/산란되고 투과되는 빔의 공액직교 필드의 공동 측정 장치 및 방법
JP6979391B2 (ja) 距離測定装置、距離測定方法、及び立体形状測定装置
JP4997406B1 (ja) 形状測定装置並びに深さ測定装置及び膜厚測定装置
EP2500687A2 (en) Structured light projector
JP5724133B2 (ja) 構造測定方法および構造測定装置
JP5421013B2 (ja) 位置決め装置及び位置決め方法
JP5949341B2 (ja) 距離測定装置
JP6014449B2 (ja) レーザー走査顕微鏡装置
JP5856440B2 (ja) 観察装置
JPWO2019031584A1 (ja) 計測装置及び照射装置
KR101085061B1 (ko) 고속카메라와 연속위상주사 방법을 이용한 진동둔감 간섭계
JP2011242307A (ja) 被検体測定装置
JP6600080B2 (ja) 時間多重スペクトル制御干渉法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160608

R150 Certificate of patent or registration of utility model

Ref document number: 5958779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees