JP5641142B2 - 構造化照明装置、構造化照明顕微鏡、構造化照明方法 - Google Patents

Description

本発明は、構造化照明装置、構造化照明顕微鏡、構造化照明方法に関する。

特許文献１には、構造化照明顕微鏡を蛍光観察へ適用した例が開示されている。特許文献１の方法では、可干渉光源から射出した光束を回折格子によって２つの光束に分割し、それら２つの光束を対物レンズの瞳上の互いに異なる位置へ個別に集光させる。このとき２つの光束は対物レンズから角度の異なる平行光束として射出し、試料面上で重なり合いストライプ状の干渉縞を形成する。これによって試料面が構造化照明される。そして特許文献１の方法では、構造化照明の位相をステップ状に変化させながら試料像の画像を繰り返し取得し、取得した複数の画像に対して、前述した分離に相当する演算（分離演算）と、前述した復調に相当する演算（復調演算）とを施している。

なお、構造化照明の位相をステップ状に変化させる方法としては、楔型プリズムを前述した２つの光束の一方に挿入して光軸と垂直な方向へステップ移動させる方法や、格子線と垂直な方向へ回折格子をステップ移動させる方法や、構造化照明のピッチ方向へ試料をステップ移動させる方法などがある。

米国特許発明第６２３９９０９号公報

Proceedings of the SPIE - The International Society for Optical Engineering (2000) vol.3919, p.141-50

しかしながら、光学素子をステップ移動させる場合、移動していた光学素子を適当な位置で静止させるのに一定の時間を要するので、特許文献２の方法において必要な画像を全て取得するまでの所要時間を短縮することは難しい。特に、観察対象である試料が生体標本である場合は、試料の構造が時々刻々と変化する可能性があるため、画像取得はできるだけ高速に行われるべきである。

また、干渉縞を利用した技術（特許文献１）の応用例として、試料の面内方向と深さ方向との双方に亘って超解像効果を得るために、干渉縞に寄与する光束を３光束化する技術（非特許文献１）も提案された。３光束を利用すれば、構造化照明のストライプパターンを面内方向だけでなく深さ方向にも発生させることができるからである。但し、その場合は前述した分離演算に必要な画像の枚数が多くなるので、画像取得を高速化する必要性は特に高いと考えられる。

そこで本発明は、構造化パターンの高速切り換えと構造化方向の拡張とが可能な構造化照明装置、構造化照明顕微鏡、構造化照明方法を提供することを目的とする。

本発明の構造化照明装置の一態様は、光源からの射出光束の光路中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手段と、前記音波伝搬路を通過した前記射出光束の少なくとも３つの回折光を干渉させ、その干渉縞を被観察物に形成する照明光学系と、前記回折光の少なくとも１つの回折光の位相を前記駆動信号の周波数の１／Ｎ倍の周波数を有した変調信号で変調することで、検出器によって検出される前記干渉縞の像のコントラストを制御する制御手段と（ただし、Ｎは１以上の整数）を備える。

本発明の構造化照明顕微鏡は、本発明の構造化照明装置と、前記照明装置で照明された被観察物からの観察光束を検出する検出器で取得された、前記音波定在波のパターンの異なる複数の状態での各々の像に基づき、前記被観察物の超解像画像を算出する演算手段を更に備える。

本発明の構造化照明方法の一態様は、光源からの射出光束の光路中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器を用意する光変調手順と、前記音波伝搬路の媒質を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手順と、前記音波伝搬路を通過した前記射出光束の少なくとも３つの回折光を干渉させ、その干渉縞を被観察物に形成する照明手順と、前記回折光の少なくとも１つの回折光の位相を、前記駆動信号の周波数の１／Ｎ倍の周波数を有した変調信号で変調することで、検出器によって検出される前記干渉縞の像のコントラストを制御する制御手順と（ただし、Ｎは１以上の整数）とを含む。
のコントラストを制御する制御手順とを含む。

図１（Ａ）は、第１の実施形態の構造化照明顕微鏡システムの構成図であり、図１（Ｂ）は、マスク５Ａの周辺の拡大図であり、図１（Ｃ）は、マスク５Ａを光軸方向から見た模式図であり、図１（Ｄ）は、マスク５Ａの変形例である。 図２（Ａ）は、超音波空間光変調器３の超音波伝搬路Ｒ内に生起する超音波定在波のパターンを示す模式図であり、図２（Ｂ）は、それに対応する２光束構造化照明のパターン（明部及び暗部の配置）を示す模式図である。図２（Ｃ）〜（Ｅ）は、波本数が変化したときの縞本数の変化を説明する図である。 図３（Ａ）は、長さＬと距離Ｄとの関係を説明する図であり、図３（Ｂ）は、スポットＳに対応する構造化照明Ｓ’の概念図であり、図３（Ｃ）は、構造化照明Ｓ’の縞本数のずれを説明する図である。 超音波空間光変調器３の構成図である。 制御装置１９の基本構成（駆動回路１９Ａ）を説明する図である。 ２次元モードにおけるＣＰＵの動作フローチャートである。 超音波伝搬路の屈折率分布の時間変化を示す図である。 図８（Ａ）は、超音波定在波のパターンを示す模式図であり、図８（Ｂ）は、２光束構造化照明のパターンを示す模式図である。 図９（Ａ）は、超音波定在波のパターンを示す模式図であり、図９（Ｂ）は、３光束構造化照明のパターンを示す模式図である。 ３次元モードに関わる制御装置１９の構成を説明する図である。 （Ａ）は、第１出力端子から出力される正弦信号の波形を示す図であり、（Ｂ）は、第２出力端子から出力されるパルス信号の波形を示す図である。 超音波定在波の腹aの屈折率の時間変化波形（実線）と、０次回折光の位相変調量の時間変化波形（点線）とを比較する図である。図１２（Ａ）は、これら２つの波形の位相差ΔΨがπ／２の偶数倍であるときの波形であり、図１２（Ｂ）は、２つの波形の位相差ΔΨがπ／２の奇数倍以外であるときの波形であり、図１２（Ｃ）は、２つの波形の位相差ΔΨがπ／２の奇数倍であるときの波形である。 図１３（Ａ）は、図７における定在波の腹ａの屈折率の時間変化波形であり、図１３（Ｂ）は、０次回折光の位相変調量の時間変化波形であり、図１３（Ｃ）は、電荷蓄積期間を示す波形である（但し、Ｎ＝３の場合）。 位相変調の対象が０次回折光であるときの位相変調パターンの例である。 位相変調の対象が±１次回折光であるときの位相変調パターンの例である。 図１６（Ａ）、（Ｂ）は、位相変調の対象が±１次回折光であるときのマスクの例である。 Ｄ：Ｌ＝１：６の設定下における位相シフトピッチを説明する図である。 超音波空間光変調器３の変形例である。 位相変調の対象が±１次回折光であるときのマスクの別の例である。 位相変調の対象が±１次回折光であるときの位相変調パターンの例である。

［第１の実施形態］
以下、本発明の第１の実施形態として構造化照明顕微鏡システムを説明する。

図１は、本実施形態の構造化照明顕微鏡システムの構成図である。

図１（Ａ）に示すとおり本システムには、可干渉光源１と、コレクタレンズ２と、超音波空間光変調器３と、レンズ４と、マスク５Ａと、レンズ６と、視野絞り５Ｂと、レンズ７と、励起フィルタ８ａと、ダイクロイックミラー８と、蛍光フィルタ８ｂと、第二対物レンズ１１と、撮像装置（ＣＣＤカメラなど）１２と、制御装置１９と、画像記憶・演算装置（コンピュータなど）１３と、画像表示装置１４と、対物レンズ９とが配置される。なお、図１（Ａ）中に符号１０で示すのは、不図示のステージ上に載置された標本であり、ここでは、予め蛍光染色されていると仮定する。

可干渉光源１は、標本１０の励起波長と同じ波長の光を出射する。可干渉光源１から射出した光は、コレクタレンズ２によって平行光に変換され、超音波空間光変調器３へ入射する。

超音波空間光変調器３は、光軸と垂直な方向に伝搬する超音波伝搬路Ｒを有しており、その超音波伝搬路Ｒに超音波の平面定在波（以下、「超音波定在波」という。）を生起させることにより、超音波伝搬路Ｒに正弦波状の屈折率分布を付与する。このような超音波空間光変調器３は、入射光に対して位相型回折格子の働きをし、その光を各次数の回折光（０次回折光、＋１次回折光、−１次回折光、＋２次回折光、−２次回折光、…）に分岐する。なお、図１（Ａ）では、代表して０次回折光及び±１次回折光のみを描いた。図１において実線で示したのが０次回折光であり、点線で示したのが±１次回折光である。超音波空間光変調器３から射出した各次数の回折光は、レンズ４を通過した後に瞳共役面を形成する。

ここで、瞳共役面は、レンズ４の焦点位置（後ろ側焦点位置）であって、後述する対物レンズ９の瞳Ｐ（±１次回折光が集光する位置）に対してレンズ７、レンズ６を介して共役な位置をいう（なお、「共役な位置」の概念には、当業者が対物レンズ９、レンズ６、７の収差、ビネッティング等、設計上必要な事項を考慮して決定した位置も含まれる。）。

マスク５Ａは、瞳共役面に配置され、瞳共役面へ入射した各次数の回折光のうち、２次以降の高次回折光をカットする機能を有する。また、マスク５Ａは、図１（Ｂ）に拡大して示すとおり、光位相変調器５Ｃと補正用ブロック５Ｃ’とを基板に形成したものである。このうち光位相変調器５Ｃの配置先は、瞳共役面において０次回折光の入射する領域であり、補正用ブロック５Ｃ’の配置先は、瞳共役面において±１次回折光の入射する領域である。図１（Ｃ）には、光位相変調器５Ｃと補正用ブロック５Ｃ’との配置関係の一例を示した（なお、図１（Ｃ）は模式図であり、電極や配線などの図示も省略してある。）。

光位相変調器５Ｃは、入射光（ここでは０次回折光）の位相を時間方向にかけて変調幅πで変調する光位相変調器である。この光位相変調器５Ｃには、カー効果を利用したＥＯモジュレータ（電気光学モジュレータ）、ポッケルス効果を利用したＥＯモジュレータ、ＡＯモジュレータ（音響光学モジュレータ）などを適用することができる。この光位相変調器５Ｃは、制御装置１９によって制御される。

補正用ブロック５Ｃ’は、光位相変調器５Ｃの位相変調量がゼロであるとき（光位相変調器５Ｃに電圧が印加されていないとき）にマスク５Ａを通過する０次回折光とマスク５Ａを通過する±１次回折光との間の位相差をゼロにするための位相ブロックである。

ここで、詳細は後述するが、超音波空間光変調器３による回折光の分岐方向は、切り換えが可能である。この場合、瞳共役面における０次回折光の入射領域は不変であるが、瞳共役面における±１次回折光の入射領域は、光軸の周りに移動する。よって、補正用ブロック５Ｃ’の配置先は、例えば図１（Ｄ）に示すとおり、±１次回折光の入射しうる領域の全体に設定されていることが望ましい。以下では、補正用ブロック５Ｃ’の配置先は、図１（Ｄ）に示すとおり±１次回折光の入射しうる領域の全体に設定されたと仮定する。

また、ここでは、光位相変調器５Ｃは、後述する２次元モードと３次元モードとの切り換えを行うために、入射光（ここでは０次回折光）の位相を変調する機能（位相変調機能）だけでなく、入射光（ここでは０次回折光）を必要に応じて遮光する機能（遮光機能）も有しているものとする。なお、光位相変調器５Ｃに遮光機能を搭載する代わりに、０次回折光の単独光路を開閉するシャッタを別途設けてもよいが、以下では、光位相変調器５Ｃに遮光機能が搭載されていると仮定する。

因みに、図１（Ａ）は、光位相変調器５Ｃの遮光機能がオンされた状態を示しており、図１（Ｂ）は、光位相変調器５Ｃの遮光機能がオフされた状態を示している。

先ず、光位相変調器５Ｃの遮光機能がオンされた状態を仮定して説明する。この場合、図１（Ａ）に示すとおりマスク５Ａを通過する回折光は、±１次回折光のみとなる。

マスク５Ａを通過した±１次回折光によって、レンズ６を介して標本１０の共役面が形成される。この標本１０の共役面の近傍には視野絞り５Ｂが配置されており、これは標本１０への照明領域（観察領域）のサイズを制御する機能を有している。

視野絞り５Ｂを通過した±１次回折光は、レンズ７を通過した後に励起フィルタ８ａを介してダイクロイックミラー８へ入射し、そのダイクロイックミラー８を反射する。ダイクロイックミラー８を反射した±１次回折光は、対物レンズ９の瞳Ｐ上の互いに異なる位置にそれぞれスポットを形成する。なお、瞳Ｐ上に±１次回折光が形成する２つのスポットの形成位置は、瞳Ｐの概ね最外周部であって、対物レンズ９の光軸に関して互いに対称な位置である。この場合、対物レンズ９の先端から射出する±１次回折光は、対物レンズ９のＮＡに相当する角度で互いに反対の方向から標本１０を照射する。なお、後述するように印加電圧の周波数を微小に変更させた結果、回折格子のピッチ（１周期）が微小に変化した場合には、２つのスポットの形成位置は極めて微小に変化する。

ここで、標本１０に照射されるこれらの±１次回折光は、可干渉光源１から射出した互いに可干渉な光である。よって、これらの±１次回折光によると、標本１０には縞ピッチが一様なストライプ状の干渉縞が投影される。つまり、標本１０への照明パターンは、縞構造を持った照明パターンとなる。このように縞構造を持った照明パターンによる照明が、構造化照明である。構造化照明された標本１０の蛍光領域（前述した蛍光染色された領域）では蛍光物質が励起され、蛍光を発する。

なお、この構造化照明は、±１次回折光の２光束のみからなるので、標本１０の面内方向にかけては構造化されているが、標本１０の深さ方向（光軸方向）にかけては構造化されていない。以下、このような構造化照明を「２光束構造化照明」と称す。

この２光束構造化照明によると、２光束構造化照明の構造周期と蛍光領域の構造周期（標本の構造周期に相当）との差に相当するモアレ縞が標本１０に現れる。このモアレ縞上では、蛍光領域の構造の空間周波数が変調されており、実際よりも低い空間周波数にシフトしている。したがって２光束構造化照明によると、蛍光領域の構造のうち空間周波数の高い成分を示す蛍光、すなわち対物レンズ９の解像限界を超える大角度で射出した蛍光までもが対物レンズ９へ入射できる。

標本１０から射出し対物レンズ９へ入射した蛍光は、対物レンズ９により平行光に変換された後にダイクロイックミラー８へ入射する。その蛍光は、ダイクロイックミラー８を透過した後、蛍光フィルタ８ｂを介して第二対物レンズ１１を通過することにより撮像装置１２の撮像面上に標本１０の蛍光像を形成する。但し、この蛍光像には、標本１０の蛍光領域の構造情報だけでなく２光束構造化照明の構造情報も含まれており、この蛍光像では、標本１０の蛍光領域の構造の空間周波数は変調されたままである（つまり実際よりも低い空間周波数にシフトしたままである）。

制御装置１９は、超音波空間光変調器３の超音波伝搬路Ｒに生起する超音波定在波を制御することにより、２光束構造化照明のパターンを変化させる（詳細は後述。）。そして、制御装置１９は、２光束構造化照明のパターンが各状態にあるときに撮像装置１２を駆動して複数種類の画像データを取得し、それら複数種類の画像データを順次に画像記憶・演算装置１３へ送出する。なお、撮像装置１２による１フレーム当たりの電荷蓄積時間は、例えば１／３０秒、１／６０秒などである。

画像記憶・演算装置１３は、取り込まれた複数種類の画像データに対して線形演算からなる分離演算を施すことにより、構造化照明の構造情報の除去された画像データを取得する。また、画像記憶・演算装置１３は、構造情報の除去された画像データに対して復調係数の乗算からなる復調演算を施すことにより、蛍光領域の構造情報の空間周波数が実際の空間周波数に戻された復調画像データを取得し、それを画像表示装置１４へ送出する。なお、具体的な演算には、例えばＵＳ８１１５８０６に開示された方法を用いることができる。これによって画像表示装置１４には、対物レンズ９の解像限界を超えた解像画像（２次元超解像画像）が表示される。

図２（Ａ）は、超音波伝搬路Ｒ内に生起する超音波定在波のパターンを示す模式図であり、図２（Ｂ）は、それに対応する２光束構造化照明のパターン（明部及び暗部の配置）を示す模式図である（但し、実際には、２光束構造化照明のパターンに寄与するのは、超音波定在波のパターンうち有効な光束が通過する領域のパターンのみである。）。また、図２（Ａ）では、説明をわかりやすくするため超音波定在波の波本数を実際よりも少ない「２」とした。

図２（Ａ）に示すとおり、超音波定在波の波本数（位相変化２πで波本数１本とカウントする）が「２」であるときには、図２（Ｂ）に示すとおり、±１次回折光の干渉による２光束構造化照明の縞本数（明部又は暗部の本数）は「４」となる。つまり、２光束構造化照明の縞本数は、それに対応する超音波定在波の波本数の２倍となる。

また、例えば図２（Ｃ）、（Ｄ）、（Ｅ）に示すとおり、超音波定在波の波本数を２、（２＋１／２）、３のように１／２ずつ３通りに変化させたならば（即ち、超音波定在波の波長を変化させたならば）、それに対応する２光束構造化照明の縞本数は４、５、６のように１ずつ３通りに変化する。

ここで、図２中に白矢印で示すとおり超音波伝搬路Ｒの一端から１／２だけずれた部分のみに着目すると、その着目部分に対応する２光束構造化照明の位相は、「π」ずつ３通りに変化している。

また、図２中に黒矢印で示すとおり超音波伝搬路Ｒの一端から１／３だけずれた部分のみに着目すると、その着目部分に対応する２光束構造化照明の位相は、「２π／３」ずつ３通りに変化している。

よって、仮に、超音波伝搬路Ｒに対する光の入射領域を白矢印で示した位置のみに制限したならば、超音波定在波の波本数を１／２ずつ変化させるだけで、２光束構造化照明の位相を「π」ずつ変化させることができる。

また、仮に、超音波伝搬路Ｒに対する光の入射領域を黒矢印で示した位置のみに制限したならば、超音波定在波の波本数を１／２ずつ変化させるだけで、２光束構造化照明の位相を「２π／３」ずつ変化させることができる。

ここで、２光束構造化照明の構造情報を除去するための前述した分離演算は、２光束構造化照明の位相の異なる少なくとも３つの画像データが必要である。その場合、２光束構造化照明の１ステップ当たりの位相シフト量は、例えば２π／３とすればよい。

この時、２光束構造化照明により２次元超解像画像を生成するためには、図３（Ａ）に示すとおり、超音波伝搬路Ｒへ入射する光のスポット（有効径）Ｓの中心から超音波伝搬路Ｒの一端までの距離Ｄは、超音波伝搬路Ｒの伝搬方向の長さＬの１／３倍に設定すればよい（Ｄ＝Ｌ／３）。

但し、超音波伝搬路Ｒに生起する超音波定在波の波本数が１／２だけ変化すると、スポットＳの内部に生起する超音波定在波の波本数も少しずれるので、図３（Ｂ）に示すとおりスポットＳに対応する２光束構造化照明Ｓ’の縞本数も少しずれてしまう（但し、図３に示した波パターン及び縞パターンは模式図であって、波本数及び縞本数は実際の本数に一致しているとは限らない。）。

そこで、超音波伝搬路Ｒの長さＬは、２光束構造化照明Ｓ’の縞本数のズレがほぼゼロとみなせるよう、スポットＳの径φに比べて十分に大きく設定されるものとする。

具体的には、超音波伝搬路Ｒの長さＬと、スポットＳの径φとは、２光束構造化照明Ｓ’の縞本数のズレの許容量δに対して、φ／Ｌ＜δの関係を満たすように設定される。
例えば、２光束構造化照明Ｓ’の縞本数のズレを０．１５本以下に抑える必要があったならば、その関係式は、φ／Ｌ≦０．１５となる。

本実施形態では、スポットＳの径φを４ｍｍとし、超音波伝搬路Ｒの長さＬを３０ｍｍと仮定し、適正周波数で縞本数を制御すれば、図３（Ｃ）に示すとおり、２光束構造化照明Ｓ’の両端における縞のズレは、０．０６８本分程度となる。そのため、２光束構造化照明Ｓ’の全域における縞本数のズレは０．０６８＋０．０６８＝０．１３本程度に抑えられる。
なお、図３（Ｃ）において点線で示したのは２光束構造化照明Ｓ’の理想パターン（縞本数のズレがゼロである場合のパターン）であり、実線で示したのは２光束構造化照明Ｓ’の実際のパターンであるが、わかりやすくするために両者のズレを強調して描いた。

なお、以上の説明では、超音波光変調器３の超音波伝搬路Ｒ上でスポットＳの径φは、φ／Ｌ＜δの関係を満たしたが、必ずしも満たしていなくてもよく、例えば、超音波光変調器３から射出した±１次回折光を視野絞り５Ｂで絞った場合、超音波伝搬路Ｒの長さＬ、標本面１０における照明領域（観察領域、視野領域）の直径φ’、標本面１０から超音波光変調器３への光学倍率ｍは、構造化照明Ｓ’の縞本数のズレの許容量δに対して、φ’×ｍ／Ｌ＜δの関係を満たすように設定されればよい。

図４は、超音波空間光変調器３の構成を詳しく説明する図である。図４（Ａ）は、超音波空間光変調器３を正面（光軸方向）から見た図であり、図４（Ｂ）は、超音波空間光変調器３を側面（光軸に垂直な方向）から見た図である。

図４に示すように、超音波空間光変調器３は、音響光学媒体１５を備え、その音響光学媒体１５は、互いに対向する平行な側面対を３対有した角柱状に整えられている。これら３対の側面対の各々の一方に３つのトランスデューサ１８ａ、１８ｂ、１８ｃが個別に設けられており、これによって１つの音響光学媒体１５内に３つの超音波伝搬路が形成される。以下、トランスデューサ１８ａの形成面とそれに相対する側面１５ａとの間に形成される超音波伝搬路を「超音波伝搬路Ｒａ」とおき、トランスデューサ１８ｂの形成面とそれに相対する側面１５ｂとの間に形成される超音波伝搬路を「超音波伝搬路Ｒｂ」とおき、トランスデューサ１８ｃの形成面とそれに対応する側面１５ｃとの間に形成される超音波伝搬路を「超音波伝搬路Ｒｃ」とおく。

なお、音響光学媒体１５の材質は、例えば石英ガラス、テルライトガラス、重フリントガラス、フリントガラスなどであり、３対の側面対及び２つの底面は、それぞれ十分な精度で研磨されている。

ここで、３つの超音波伝搬路Ｒａ、Ｒｂ、Ｒｃの各々の長さＬは共通であると仮定する（Ｌ＝３０ｍｍ）。また、その長さＬは前述したスポットＳの径φに対して前述した条件を満たしている。また、３つの超音波伝搬路Ｒａ、Ｒｂ、Ｒｃは、各々の一端からＬ／３だけ離れた位置において６０°ずつ異なる角度で交差している。その交差位置に前述したスポットＳの中心が位置する。

トランスデューサ１８ａは、圧電体１６ａと、圧電体１６ａの上下面に個別に形成された２つの電極１７ａとを有した超音波トランスデューサであり、そのうち一方の電極１７ａを介して音響光学媒体１５の１つの側面に接合されている。このトランスデューサ１８ａの２つの電極１７ａの間に高周波の正弦波状の交流電圧が印加されると、圧電体１６ａが厚み方向に振動し、超音波伝搬路Ｒａ内を平面超音波が往復する。２つの電極１７ａの間に印加される交流電圧の周波数が特定の周波数（適正周波数）に設定された場合、その超音波は定在波となるので、超音波伝搬路の屈折率には、超音波の伝搬方向にかけて正弦波状の分布が付与される。これによって、超音波伝搬路Ｒａは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Ｒａの伝搬方向を、「第１方向」と称す。

また、トランスデューサ１８ｂも、トランスデューサ１８ａと同じ構成をしており、圧電体１６ｂと、圧電体１６ｂの上下面に個別に形成された２つの電極１７ｂとを有し、そのうち一方の電極１７ｂを介して音響光学媒体１５の１つの側面に接合されている。

したがって、トランスデューサ１８ｂの２つの電極１７ｂの間に適正周波数の交流電圧が印加されると、超音波伝搬路Ｒｂ内を平面超音波が伝搬するので、超音波伝搬路Ｒｂは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Ｒｂの伝搬方向を、「第２方向」と称す。この第２方向は、第１方向に対して６０°の角度を成す。

また、トランスデューサ１８ｃも、トランスデューサ１８ａと同じ構成をしており、圧電体１６ｃと、圧電体１６ｃの上下面に個別に形成された２つの電極１７ｃとを有し、そのうち一方の電極１７ｃを介して音響光学媒体１５の１つの側面に接合されている。

したがって、トランスデューサ１８ｃの２つの電極１７ｃの間に適正周波数の交流電圧が印加されると、超音波伝搬路Ｒｃ内を平面超音波が伝搬するので、超音波伝搬路Ｒｃは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Ｒｃの伝搬方向を、「第３方向」と称す。この第３方向は、第１方向に対して−６０°の角度を成す。

図５は、制御装置１９の基本構成を説明する図である。図５中に符号１９Ａで示すのは、制御装置１９に備えられた駆動回路１９Ａであり、高周波交流電源１９Ａ−１と切り換えスイッチ１９Ａ−２とを備える。

高周波交流電源１９Ａ−１は、超音波空間光変調器３へ供給されるべき交流電圧を生成する。その交流電圧の周波数は、制御回路１９内のＣＰＵによって適正周波数（例えば、数十ＭＨｚ〜１００ＭＨｚ内の何れかの値）に制御される。

よって、２光束構造化照明Ｓ’の位相シフト量を例えば−２π／３、０、＋２π／３の３通りにステップ状に変化させる場合、ＣＰＵは、その交流電圧の周波数を、周波数の異なる３通りの適正周波数ｆ_−１、ｆ_０、ｆ_＋１の間で切り換えればよい。

例えば、適正周波数ｆ_０は、長さＬが３０ｍｍである超音波伝搬路Ｒａ、Ｒｂ、Ｒｃに１００本の超音波定在波（それに対応する２光束構造化照明の縞本数は２００）を生起させるための適正周波数（８０ＭＨｚ）とする。この適正周波数ｆ_０では、２光束構造化照明Ｓ’の位相シフト量はゼロである。

この場合、適正周波数ｆ_−１は、長さＬが３０ｍｍである超音波伝搬路Ｒａ、Ｒｂ、Ｒｃに（１００−１／２）本の超音波定在波（それに対応する２光束構造化照明の縞本数は１９９）を生起させるための適正周波数（７９．９４６ＭＨｚ）となる。この適正周波数ｆ_−１では、２光束構造化照明Ｓ’の位相シフト量は−２π／３となる。

また、適正周波数ｆ_＋１は、長さＬが３０ｍｍである超音波伝搬路Ｒａ、Ｒｂ、Ｒｃに（１００＋１／２）本の超音波定在波（それに対応する２光束構造化照明の縞本数は２０１）を生起させるための適正周波数（８０．０５４ＭＨｚ）となる。この適正周波数ｆ_＋１では、２光束構造化照明Ｓ’の位相シフト量は＋２π／３となる。

切り換えスイッチ１９Ａ−２は、高周波交流電源１９Ａ−１と超音波空間光変調器３との間に配置され、超音波空間光変調器３の側の接続先を、超音波空間光変調器３の３つのトランスデューサ１８ａ、１８ｂ、１８ｃの間で切り換えることが可能である。スイッチ１９Ａ−２の接続先は、制御装置１９内のＣＰＵによって適宜に切り換えられる。

切り換えスイッチ１９Ａ−２の接続先がトランスデューサ１８ａの側であるとき、交流電圧はトランスデューサ１８ａの２つの電極の間に印加されるので、３つの超音波伝搬路Ｒａ、Ｒｂ、Ｒｃのうち超音波伝搬路Ｒａのみが有効となる。

また、切り換えスイッチ１９Ａ−２の接続先がトランスデューサ１８ｂの側であるとき、交流電圧はトランスデューサ１８ｂの２つの電極の間に印加されるので、３つの超音波伝搬路Ｒａ、Ｒｂ、Ｒｃのうち超音波伝搬路Ｒｂのみが有効となる。

また、切り換えスイッチ１９Ａ−２の接続先がトランスデューサ１８ｃの側であるとき、交流電圧はトランスデューサ１８ｃの２つの電極の間に印加されるので、３つの超音波伝搬路Ｒａ、Ｒｂ、Ｒｃのうち超音波伝搬路Ｒｃのみが有効となる。

このように、有効な超音波伝搬路を３つの超音波伝搬路Ｒａ、Ｒｂ、Ｒｃの間で切り換えれば、２光束構造化照明Ｓ’の方向を第１方向に対応する方向と、第２方向に対応する方向と、第３方向に対応する方向との間で切り換えることができる。

したがって、以上の超音波空間光変調器３及び制御装置１９を適切に駆動すれば、詳細な２次元超解像画像を生成することができる。具体的には、以下のとおりである。

図６は、ＣＰＵの動作フローチャートである。以下、各ステップを順に説明する。

ステップＳ１１：ＣＰＵは、切り換えスイッチ１９Ａ−２の接続先を１番目のトランスデューサ（トランスデューサ１８ａ）の側に設定することにより、２光束構造化照明Ｓ’の方向を第１方向に対応する方向に設定する。

ステップＳ１２：ＣＰＵは、高周波交流電源１９Ａ−１が生成する交流電圧の周波数を、適正周波数ｆ_−１に設定することにより、２光束構造化照明Ｓ’の位相シフト量を−２π／３に設定する。

ステップＳ１３：ＣＰＵは、この状態で撮像装置１２を駆動して画像データＩ_−１を取得する。

ステップＳ１４：ＣＰＵは、高周波数交流電源１９Ａ−１が生成する交流電圧の周波数を、適正周波数ｆ_０に設定することにより、２光束構造化照明Ｓ’の位相シフト量をゼロに設定する。

ステップＳ１５：ＣＰＵは、この状態で撮像装置１２を駆動して画像データＩ_０を取得する。

ステップＳ１６：ＣＰＵは、高周波数交流電源１９Ａ−１が生成する交流電圧の周波数を、適正周波数ｆ_＋１に設定することにより、２光束構造化照明Ｓ’の位相シフト量を＋２π／３に設定する。

ステップＳ１７：ＣＰＵは、この状態で撮像装置１２を駆動して画像データＩ_＋１を取得する。

ステップＳ１８：ＣＰＵは、２光束構造化照明Ｓ’の方向が前述した３方向の全てに設定済みであるか否かを判別し、設定済みで無い場合はステップＳ１９へ移行し、設定済みであった場合はフローを終了する。

ステップＳ１９：ＣＰＵは、切り換えスイッチ１９Ａ−２の接続先を切り換えることにより２光束構造化照明Ｓ’の方向を切り換えてから、ステップＳ１２へ移行する。

以上のフローによると、第１方向に関する画像データＩａ_−１、Ｉａ_０、Ｉａ_＋１と、第２方向に関する画像データＩｂ_−１、Ｉｂ_０、Ｉｂ_＋１と、第３方向に関する画像データＩｃ_−１、Ｉｃ_０、Ｉｃ_＋１とが取得される。これらの画像データは、画像記憶・演算装置１３へ取り込まれる。

画像記憶・演算装置１３は、第１方向に関する３つの画像データＩａ_−１、Ｉａ_０、Ｉａ_＋１に基づき第１方向に亘る復調画像データＩａ’を取得し、第２方向に関する３つの画像データＩｂ_−１、Ｉｂ_０、Ｉｂ_＋１に基づき第２方向に亘る復調画像データＩｂ’を取得し、第３方向に亘る３つの画像データＩｃ_−１、Ｉｃ_０、Ｉｃ_＋１に基づき第３方向に亘る復調画像データＩｃ’を取得すると、それら３つの復調画像データＩａ’、Ｉｂ’、Ｉｃ’を波数空間上で合成してから再び実空間に戻すことにより、第１方向、第２方向、第３方向に亘る超解像画像の画像データＩを取得し、その画像データＩを画像表示装置１４へ送出する。この超解像画像は、標本１０の面内方向の３方向に亘る２次元超解像画像である。

以上、本システムでは、光位相変調器５Ｃの遮光機能をオンすることにより、±１次回折光からなる構造化照明（すなわち２光束構造化照明）を実施することができる。

よって、本システムでは、この２光束構造化照明のパターンを切り換えながら複数の画像データを取得することにより、標本１０の面内方向に亘る超解像画像（すなわち２次元超解像画像）の生成が可能となる。以下、２次元超解像画像を生成するための本システムのモードを「２次元モード」と称す。

さらに、本システムでは、光位相変調器５Ｃの遮光機能をオフすることにより、±１次回折光及び０次回折光からなる構造化照明（すなわち３光束構造化照明）を実施することができる。

よって、本システムでは、この３光束構造化照明のパターンを切り換えながら複数の画像データを取得することにより、標本１０の面内方向及び光軸方向に亘る超解像画像（すなわち３次元超解像画像）を生成することができる。以下、３次元超解像を生成するための本システムのモードを「３次元モード」と称す。

以下、３次元モードを詳しく説明する。なお、ここでは上述した２次元モードとの相違点のみを説明する。

３次元モードにおいて標本１０へ投影される３光束構造化照明は、±１次回折光及び０次回折光の３光束からなるので、標本１０の面内方向にかけて構造化されているだけでなく、光軸方向にかけても構造化されている。しかも、標本１０の面内における３光束構造化照明のパターンは、標本１０の面内における２光束構造化照明のパターンとは若干相違する。以下、それを詳しく説明する。

先ず、超音波空間光変調器３には前述したとおり超音波定在波が生起しており、その超音波定在波のパターン（＝超音波伝搬路の屈折率分布）の瞬時値は、図７の上段から下段に向かうとおりに時間変化している。

図７では、超音波伝搬路の屈折率分布がフラットとなる瞬間の時刻ｔをｔ＝０とおき、屈折率分布の時間変化周期をＴとおいた。因みにこの周期Ｔは、超音波空間光変調器３に供給される交流電圧の周波数の逆数に相当する。以下、ｔ＝０〜Ｔ／２の期間を「屈折率変化の前半期」と称し、ｔ＝Ｔ／２〜Ｔの期間を「屈折率変化の後半期」と称す。また、図７において丸印を付したとおり超音波伝搬路において屈折率が不変の部分を「節」と称し、屈折率の変化する部分を「腹」と称す。

ここで、図７における腹ａに着目すると、屈折率変化の前半期には、腹ａの屈折率は節の屈折率と比較して高くなる（媒質が密となる）のに対して、屈折率変化の後半期には、腹aの屈折率は節の屈折率と比較して低くなる（媒質が粗となる）のがわかる。

一方、図７において腹ａに隣接する腹ｂに着目すると、屈折率変化の前半期には、腹ｂの屈折率は節の屈折率と比較して低くなる（媒質が粗となる）のに対して、屈折率変化の後半期には、腹ｂの屈折率は節の屈折率と比較して高くなる（媒質が密となる）のがわかる。

したがって、超音波空間光変調器３を位相型回折格子とみなすと、その位相型回折格子は、図８（Ａ）又は図９（Ａ）に示すとおり、屈折率変化の前半期と後半期との間で位相分布が反転している。つまり、その位相型回折格子は、屈折率変化の前半期と後半期との間で格子半ピッチ分だけ横ズレしている。

ここで、２光束構造化照明は２光束干渉縞なので、２光束構造化照明の標本１０上の縞本数は、図８（Ｂ）に模式的に示すとおり、それに対応する位相型回折格子の格子数の２倍であった。よって、位相型回折格子が図８（Ａ）のとおり横シフトすると、２光束構造化照明のパターンは、図８（Ｂ）のとおり変化する。すなわち、２光束構造化照明は、屈折率変化の前半期と後半期との間で縞１ピッチ分だけ横ズレしている。

したがって、２光束構造化照明を周期Ｔより十分に長い期間に亘って時間積分すると、２光束構造化照明の各時点のパターンは強められ、高コントラストなストライプ画像となる。この場合、２光束構造化照明は、撮像装置１２によって画像化することが可能である。

一方、３光束構造化照明は３光束干渉縞なので、３光束構造化照明の標本１０上の縞本数は、図９（Ｂ）に模式的に示すとおり、それに対応する位相型回折格子の格子数の１倍となる。よって、位相回折格子が図９（Ａ）のとおり横シフトすると、３光束構造化照明のパターンは、図９（Ｂ）のとおり変化する。すなわち、３光束構造化照明は、屈折率変化の前半期と後半期との間で縞半ピッチ分だけ横ズレしている。この事実は、３光束構造化照明のうち光軸方向位置の異なる各面について同様に当てはまる。

したがって、この状態の３光束構造化照明を周期Ｔより十分に長い期間に亘って時間積分すると、３光束構造化照明の各時点のパターンは打ち消し合い、コントラストの無い一様な画像（グレーの画像）となってしまう。この場合、３光束構造化照明は、撮像装置１２によって画像化できない。

本システムにおいて光位相変調器５Ｃ（図１参照）が備えられたのは、３次元モードにおけるこの問題（コントラスト低下の問題）を解決するためである。

図１０は、３次元モードに関わる制御装置１９の構成を説明する図である。図１０に示すとおり、制御装置１９は、前述した交流電源１９Ａ−１や切り換えスイッチ１９Ａ−２の他に、電源回路１９Ｃや位相調整回路１９Ｄなどを備えている。

電源回路１９Ｃは、第１出力端子と第２出力端子とを有しており、第１出力端子は、前述した交流電圧（正弦信号）を超音波空間光変調器３の側へ供給するための端子であり、第２出力端子は、パルス電圧（パルス信号）を光位相変調器５Ｃの側へ供給するための端子である。

この電源回路１９Ｃは、第２出力端子から出力されるパルス信号の周波数を、第１出力端子から出力される正弦信号の周波数と常に一致させており、制御回路１９内のＣＰＵによって正弦信号の周波数が切り換えられた場合には、パルス信号の周波数も同様に切り換える。なお、パルス信号のデューティー比（ＯＮ期間／パルス周期）は、予め決められた比率（ここでは１／２とする。）に設定されており、パルス信号の周波数に依らず不変である。

位相調整回路１９Ｄは、電源回路１９Ｃと光位相変調器５Ｃとの間に介設されており、制御装置１９内のＣＰＵからの指示に応じて、正弦信号とパルス信号との間の位相関係を調整する。

図１１（Ａ）は、正弦信号の波形を示す図であり、図１１（Ｂ）は、パルス信号の波形を示す図である。このうち正弦信号の波形は、超音波空間光変調器３における超音波定在波の時間変化波形（すなわち腹ａ、ｂの各々の屈折率の時間変化波形）を規定しており、パルス信号の波形は、光位相変調器５Ａが０次回折光に加える位相変調量の時間変化波形を規定している。

このパルス信号によると、０次回折光の位相変調量を、前述した前半期と後半期との一方において０とし他方においてπとすることができる。この場合、３光束構造化照明の各時点のパターンが打ち消し合うことを回避できるので、３光束構造化照明の画像のコントラストを最大に高めることができる。

以下、パターンの打ち消し合いが回避できる理由を詳しく説明する。説明上、０次回折光の位相変調量は、前半期においてπとなり、後半期に０となるものと仮定する。

先ず、０次回折光の位相変調が行われなかった場合（光位相変調器５Ｃの変調機能をオフした場合）の３光束構造化照明のパターン（３光束構造化照明の位相分布）を考える。

この場合の３光束構造化照明は、図９（Ｂ）に示したとおり前半期と後半期とでパターンを反転させるので、前半期のパターンを以下の式（１）で表したならば、後半期のパターンは以下の式（２）で表される。
Ii(r) = I₀ + 2I+ 4・√I₀・√I・cos(k_xX)・cos(k_zZ)+ 2・I・cos(2k_xX)…(1)
Ii(r) = I₀ + 2I+ 4・√I₀・√I・cos(k_xX-π)・cos(k_zZ)+ 2・I・cos(2k_xX-2π) …(2)
なお、Ｘは、３光束構造化照明において位相型回折格子のピッチ方向に対応した方向の位置を示し、Ｚは、３光束構造化照明の光軸方向の位置を示し、I₀は、０次回折光の強度を示し、Iは、±１次回折光の強度を示し、kは、波数を示している。式（１）、（２）における第１項は、０次回折光の強度であり、第２項は、＋１次回折光の強度と−１次回折光の強度との和であり、第３項は、±１次回折光と０次回折光との間の干渉強度分布であり、第４項は、±１次回折光同士の干渉強度分布である。式（１）と式（２）との間では、第３項のみが異なる。

次に、０次回折光の位相変調が行われた場合（光位相変調器５Ｃの変調機能をオンした場合）の３光束構造化照明のパターンを考える。

この場合の３光束構造化照明は、０次回折光を変調幅πで位相変調したことにより、前半期における０次回折光の位相がπだけ変位するので、前半期のパターンは式（１’）のようになり、後半期のパターンは、式（２）のままとなる。
Ii(r) = I₀ + 2I+ 4・√I₀・√I・cos(k_xX-π)・cos(k_zZ)+ 2・I・cos(2k_xX）…(1')
つまり、０次回折光の位相変調が行われた場合の３光束構造化照明は、前半期には、式（１’）のパターンとなり、後半期には、式（２）のパターンとなる。この式（１’）を式（２）と比較すると、両者のパターンは互いに同じであることがわかる。

したがって、０次回折光の位相変調を行えば、パターンの打ち消し合いを回避できる。

なお、ここでは、０次回折光の位相の変位するタイミングを前半期のみとしたが、後半期のみとした場合も、同様の効果が得られることは言うまでもない。

さて、３次元モードに先立ち、制御装置１９内のＣＰＵは、標本１０の代わりに一様なテスト標本が本システムへ配置された状態で、可干渉光源１、撮像装置１２、位相調整回路１９Ｄの各々を連続駆動し、撮像装置１２から出力される画像のコントラストを参照しながら光強度変調器３０の位相調整量を変化させ、そのコントラストが最大となった時点（又は、そのコントラストが閾値以上となった時点）で、その位相調整量を固定する。

図１２は、超音波定在波の腹ａの屈折率の時間変化波形と、０次回折光の位相変調量の時間変化波形とを比較する図である。図１２では、腹ａの屈折率の時間変化波形を実線で示し、０次回折光の位相変調量の時間変化波形を点線で示した。

図１２（Ａ）に示すとおり、腹ａの屈折率の時間変化波形と０次回折光の位相変調量の時間変化波形との間の位相差ΔΨがπ／２の偶数倍に一致したときには、０次回折光の位相の変位する期間が、屈折率変化の前半期と後半期との何れか一方に一致するので、３光束構造化照明の画像のコントラストは最大となる。

また、図１２（Ｂ）に示すとおり、腹ａの屈折率の時間変化波形と０次回折光の位相変調量の時間変化波形との間の位相差ΔΨがπ／２の偶数倍に一致していなかったとしても、その位相差ΔΨがπ／２の奇数倍に一致しない限り、３光束構造化照明の画像は、コントラストを有する。

しかし、図１２（Ｃ）に示すとおり、腹ａの屈折率の時間変化波形と０次回折光の位相変調量の時間変化波形との間の位相差ΔΨがπ／２の奇数倍に一致してしまうと、３光束構造化照明の画像のコントラストは、ゼロとなる。

したがって、３次元モードでは、腹ａの屈折率の時間変化波形と０次回折光の位相変調量の時間変化波形との間の位相差ΔΨは、π／２の奇数倍以外、望ましくはπ／２の偶数倍に設定される。

なお、ここでは腹ａの屈折率に着目して説明したが、腹ｂの屈折率の時間変化波形は腹ａの屈折率の時間変化波形を逆位相にしたものなので、腹ａの屈折率に着目した場合にも同様のことが当てはまる。

そして、３次元モードにおけるＣＰＵは、２次元モードにおけるＣＰＵ（図６参照）と同様、切り換えスイッチ１９Ａ−２の接続先を切り換えることにより３光束構造化照明の方向を第１方向、第２方向、第３方向の間で切り換える。

また、３次元モードにおけるＣＰＵは、２次元モードにおけるＣＰＵ（図６参照）と同様に、３光束構造化照明の方向が第１方向、第２方向、第３方向であるときの各々において、３光束構造化照明の位相をシフトさせながら画像データを繰り返し取得する。

但し、３次元モードでは、３光束構造化照明の構造情報を除去するための分離演算に、３光束構造化照明の位相の異なる少なくとも５つの画像データが必要である（因みに、２次元モードでは、少なくとも３つの画像データがあれば十分であった。）。

このため、３次元モードにおけるＣＰＵは、３光束構造化照明の１ステップ当たりの位相シフト量を、例えば２π／５とすることが望ましい。

その場合、超音波伝搬路Ｒへ入射する光のスポット（有効径）Ｓの中心から超音波伝搬路Ｒの一端までの距離Ｄを、超音波伝搬路Ｒの伝搬方向の長さＬの１／５倍に設定すればよい（Ｄ＝Ｌ／５）。

そして、３次元モードにおけるＣＰＵは、各方向につき、位相シフト量が２π／５ずつ異なる５つの画像データを取得し、第１方向に関する５つの画像データと、第２方向に関する５つの画像データと、第３方向に関する５つの画像データとを、画像記憶・演算装置１３へ送出する。

また、３次元モードにおける画像記憶・演算装置１３は、第１方向に関する５つの画像データに基づき第１方向及び光軸方向に亘る復調画像データを取得し、第２方向に関する５つの画像データに基づき第２方向及び光軸方向に亘る復調画像データを取得し、第３方向に関する５つの画像データに基づき第３方向及び光軸方向に亘る復調画像データを取得すると、それら３つの復調画像データを波数空間上で合成してから再び実空間に戻すことにより、第１方向、第２方向、第３方向、及び光軸方向に亘る超解像画像の画像データを取得し、その画像データを画像表示装置１４へ送出する。この超解像画像は、標本１０の面内の３方向及び光軸方向に亘る超解像画像（３次元超解像画像）である（以上、３次元モードの説明。）。具体的な演算には、例えば、ＵＳ８１１５８０６に開示された方法を用いることができる。

以上、本システムでは、超音波伝搬路Ｒの長さＬと、スポットＳの径φと、超音波伝搬路Ｒの一端からスポットＳの中心までの距離Ｄとが、前述した最適な関係に設定されるので、超音波空間光変調器３に与える交流電圧の周波数を電気的に切り換えるだけで、２光束構造化照明又は３光束構造化照明の位相を切り換えることできる。その切り換えに要する時間は短く、電源を含む回路系の時定数込みでも１０ｍｓ以下に抑えられる。

したがって、本システムにおいて必要数の画像データの取得に要する時間は、２光束構造化照明又は３光束構造化照明の位相を切り換えるために光学素子又は標本１０を機械的に移動させる場合と比較して、格段に短く抑えられる。

また、本システムでは、２光束構造化照明又は３光束構造化照明の位相を切り換えるために、光学素子又は標本１０を機械的に移動させる必要が無いので、光学系周辺の構成をシンプルに抑えることができる。

また、本システムでは、１つの音響光学媒体１５内に角度の異なる３つの超音波伝搬路Ｒａ、Ｒｂ、Ｒｃを形成したので、切り換えスイッチ１９Ａ−１の接続状態を電気的に変更するだけで、２光束構造化照明又は３光束構造化照明の方向を切り換えることができる。その切り換えに要する時間は短く、電源を含む回路系の時定数込みでも１０ｍｓ以下に抑えられる。

したがって、本システムにおいて必要数の画像データの取得に要する時間は、２光束構造化照明又は３光束構造化照明の方向を切り換えるために光学素子又は標本１０を機械的に回動させる場合と比較して、格段に短く抑えられる。

また、本システムでは、２次元モードと３次元モードとの間で切り換えが可能なので、同一の標本１０から２次元超解像画像と３次元超解像画像との双方を生成することができる。

また、本システムの３次元モードでは、３光束構造化照明を生起させるための位相型回折格子として超音波空間光変調器を使用しているので、３光束構造化照明の画像のコントラストがゼロとなる虞（画像化ができない虞）もあったが、光位相変調器５Ｃを使用し、０次回折光の位相を、正弦信号と同じ周波数のパルス信号で変調するので、そのような問題（コントラスト低下の問題）を回避することができる。

［画像コントラスト制御に関する補足］
また、本システムの３次元モードでは、屈折率の時間変化波形と０次回折光の位相変調量の時間変化波形との間の位相差ΔΨの調整を、制御装置１９が自動で行ったが、システムのユーザが手動で行ってもよい。但し、その場合は、調整中の画像のコントラストをユーザが確認できるよう、撮像装置１２から出力される画像を制御装置１９がリアルタイムで画像表示装置１４へ表示する必要がある。

また、本システムの３次元モードでは、パルス信号の周波数を正弦信号の周波数と一致させたが、パルス信号が正弦信号と同期していれば、パルス信号の周波数が正弦信号の周波数と一致していなくても構わない。

例えば、パルス信号の周波数を、正弦信号の周波数の１／Ｎ倍（Ｎは１以上の整数）に設定し、パルス信号のデューティー比（ＯＮ期間／パルス周期）を１／（２Ｎ）に設定してもよい。図１３は、Ｎ＝３とした場合の例であり、図１３（Ａ）はＮ＝３の設定下における超音波定在波の図７における腹ａの屈折率の時間変化波形を示しており、図１３（Ｂ）は、Ｎ＝３の設定下における０次回折光の位相の時間変化波形を示している。

この場合、屈折率変化の３周期（３Ｔ）に１回ずつしか０次回折光の位相は変位しないが、０次回折光の位相の変位する期間の長さは、屈折率変化の半周期分（Ｔ／２）となるので、屈折率の時間変化波形と０次回折光の位相変調量の時間変化波形との間の位相差ΔΨを適切な値に調整し、図１３（Ａ）、（Ｂ）に示すとおり０次回折光の位相の変位する期間を、屈折率変化の前半期と後半期との一方のみに一致させることで、画像コントラストを高めることができる。

なお、Ｎを２以上とした場合には、画像コントラストの高まる期間が連続的ではなく間欠的となるので（画像コントラストの高まる期間が間欠的にしか出現しないので）、撮像素子１２の駆動信号（電子シャッタの開閉タイミングを規定する信号）を前述した正弦信号に動期させることで、撮像素子１２の電荷蓄積期間を、画像コントラストの高まる期間のみに制限してもよい。

この場合、電荷蓄積期間は、例えば図１３（Ｃ）に示すように、位相変調周期（Ｎ×Ｔ）のうち、０次回折光の位相の変位する期間（Ｔ／２）と、その前又は後における同等期間（Ｔ／２）とを合わせた期間（Ｔ）に設定されればよい。

なお、ここでは、パルス信号のデューティー比（ＯＮ期間／パルス周期）を１／（２Ｎ）に一致させたが、画像コントラストが多少低下しても良い場合には、そのデューティー比は１／（２Ｎ）に完全に一致していなくてもよく、１／（２Ｎ）未満としてもよい。

因みに、デューティー比を１／（２Ｎ）未満とした場合、０次回折光の位相の変位する期間の長さが屈折率変化の半周期分（Ｔ／２）よりも狭まるので、屈折率の時間変化波形と０次回折光の位相変調量の時間変化波形との間の位相差ΔΨを適切な値に調整し、０次回折光の位相の変位するタイミングを、屈折率がピーク又はバレーとなるタイミングに一致させることが望ましい。

また、本システムの３次元モードでは、０次回折光の位相の時間変調波形をパルス波形とし、０次回折光の位相を０とπの間で急峻に変位させた（位相を切り替えた）が、その時間変調波形を正弦波形とし、０とπとの間で緩やかに変位させるだけでも一定の効果が得られる。

また、本システムの３次元モードでは、０次回折光の位相の時間変化波形をパルス波形又は正弦波形としたが、０次回折光の位相が時間変調されるのであれば、他の波形を使用してもよい。

また、本システムの３次元モードでは、マスク５Ａの挿入先を、超音波空間光変調器３から蛍光フィルタ８ｂまでの光路の瞳共役面としたが、瞳共役面から多少外れていてもよい。但し、瞳共役面に近い方が、０次回折光の入射位置と±１次回折光の入射位置との間隔が広がるので、光位相変調器５Ｃ及び補正用ブロック５Ｃ’のレイアウトの自由度が高まる点で有利である。

また、本システムの３次元モードでは、位相変調の対象を０次回折光としたが、±１次回折光としてもよい。図１４は、位相変調の対象が０次回折光であるときの位相変調パターンの例であるのに対し、図１５は、位相変調の対象が±１次回折光であるときの位相変調パターンの例である。

また、位相変調の対象を±１次回折光とする場合は、図１６（Ａ）に示すとおり、光位相変調器５Ｃの配置先は、±１次回折光の入射する領域（光軸に関して対象な２つの領域）となり、補正用ブロック５Ｃ’の配置先は、０次回折光の入射する領域（光軸近傍の領域）となる。なお、その場合は、０次回折光の光路を開閉するシャッタが別途必要となる。

また、位相変調の対象を±１次回折光とした場合、回折光の分岐方向の切り換えに対応するには、図１６（Ａ）に矢印で示すとおり、マスク５Ａの全体を光軸の周りに回動可能にしておくか、例えば図１６（Ｂ）に示すとおり、光位相変調器５Ｃの配置先を、±１次回折光の入射しうる領域の全体に設定しておけばよい（なお、図１６（Ａ）、（Ｂ）は、模式図であり、電極や配線などの図示も省略してある。）。

また、本システムの３次元モードでは、±１次回折光と０次回折光との間の位相差を変調するために、位相変調の対象を±１次回折光と０次回折光との何れか一方のみとしたが、双方としてもよいことは言うまでもない。その場合は、±１次回折光の入射しうる領域と０次回折光の入射しうる領域との双方に対して個別に光位相変調器５Ｃを配置すればよい。

なお、本システムでは回折光の位相を変調するために光位相変調器５Ｃを用いたが、これに限られるものではない。例えば、光位相変調器５Ｃの代わりに厚さが異なる屈折部材を用いることも想定の範囲内であり、厚さの異なる屈折部材として、楔形や階段状のガラス部材などが挙げられる。０次回折光の入射する領域に楔形や階段状のガラス部材を配置し、所定の方向にガラス部材を移動させる、或いは、所定の軸を中心としてガラス部材を回転させることで、０次回折光が通過するガラス部材の厚さを周期的に変化させて、ガラス部材を通過する回折光の位相を変調することも可能である。

［構造化照明の位相シフトに関する補足］
なお、本システムの２次元モードでは、トランスデューサに与えられる交流電圧の周波数の変化パターンを、超音波定在波の波本数が１／２本ずつ変化するようなパターンとし、かつ、第１方向及び第２方向及び第３方向の各々の２光束構造化照明の位相シフトピッチを２π／３とするために、スポット（有効径）Ｓの中心から超音波伝搬路の一端までの距離Ｄを、超音波伝搬路Ｒの伝搬方向の長さＬの１／３倍に設定した（Ｄ＝Ｌ／３）が、これに限定されることはない。

具体的には、超音波伝播路は、以下の条件を満たしていればよい。

先ず、トランスデューサに与えられる交流電圧の周波数の変化パターンは、超音波定在波の波本数がＭ／２本ずつ変化するようなパターンであればよい（但し、｜Ｍ｜は１以上の整数）。

その場合、２光束構造化照明の位相シフトピッチを任意の値Δψに設定するためには、超音波伝搬路の一端からスポットＳの中心までの距離Ｄと、超音波伝搬路の全長Ｌとは、Ｄ：Ｌ＝Δψ／Ｍ：２πの関係を満たせばよい。

因みに、Ｍ＝１とすれば、超音波定在波の本数が１／２本ずつしか変化しないので、その変化に起因して２光束構造化照明の縞本数に生じるズレを極めて小さく抑えることができる。

また、分離演算に使用する画像データの数がｋである場合は、Δψ＝２π／ｋとすれば、必要な画像データを確実に取得することができる。但し、｜ｋ｜は３以上の整数であることが好ましい。

また、本システムの３次元モードでは、トランスデューサに与えられる交流電圧の周波数の変化パターンを、超音波定在波の波本数が１／２本ずつ変化するようなパターンとし、かつ、第１方向及び第２方向及び第３方向の各々の３光束構造化照明の位相シフトピッチを２π／５とするために、スポット（有効径）Ｓの中心から超音波伝搬路の一端までの距離Ｄを、超音波伝搬路Ｒの伝搬方向の長さＬの１／５倍に設定した（Ｄ＝Ｌ／５）が、これに限定されることはない。

具体的には、超音波伝播路は、以下の条件を満たしていればよい。

先ず、トランスデューサに与えられる交流電圧の周波数の変化パターンは、超音波定在波の波本数がＭ／２本ずつ変化するようなパターンであればよい（但し、｜Ｍ｜は１以上の整数）。

その場合、３光束構造化照明の位相シフトピッチを任意の値Δψに設定するためには、超音波伝搬路の一端からスポットＳの中心までの距離Ｄと、超音波伝搬路の全長Ｌとは、Ｄ：Ｌ＝Δψ／Ｍ：２πの関係を満たせばよい。
なお、標本面１０に干渉縞を形成するためには、超音波光変調器３の超音波伝搬路Ｒにおける射出光束の通過領域（スポット）が、必ずしも超音波伝搬路Ｒの両端から離れた部分領域に制限されていなくてもよく、例えば、視野絞り５Ｂにより超音波伝搬路Ｒを通過した光束を絞る場合などには、超音波伝搬路Ｒにおける有効な射出光束の通過領域、すなわち、超音波伝搬路Ｒのうち標本面１０の照明領域（観察領域、視野領域）に形成される干渉縞（構造化照明Ｓ’）に寄与する射出光束の通過した部分領域が、Ｄ：Ｌ＝Δψ／Ｍ：２πの関係を満たしていればよい。

因みに、Ｍ＝１とすれば、超音波定在波の本数が１／２本ずつしか変化しないので、その変化に起因して３光束構造化照明の縞本数に生じるズレを極めて小さく抑えることができる。

また、分離演算に使用する画像データの数がｋである場合は、Δψ＝２π／ｋとすれば、必要な画像データを確実に取得することができる。但し、｜ｋ｜は５以上の整数であることが好ましい。

また、上述した説明では、超音波空間光変調器３におけるスポットの位置を２次元モードと３次元モードとの間で異ならせたが、この場合、モード切り換えの前後において超音波空間光変調器３の位置を移動させる必要が生じる。

そこで、本システムでは、超音波定在波の波本数を１／２本ずつ変化させることができるよう上述した正弦信号の切り換えパターンを設定しておくと共に、超音波伝搬路一端からスポットＳの中心までの距離ＤがＤ：Ｌ＝１：６を満たすように、スポットＳと超音波空間光変調器３との位置関係を予め調整しておくとよい。

この場合、２次元モードでは、超音波定在波の波本数を１／２本ずつ変化させることで、２光束構造化照明の位相シフトピッチを「２π／３」とすることができる。

また、この場合、３次元モードでは、超音波定在波の波本数を１本ずつ変化させることで、３光束構造化照明の位相シフトピッチを「π／３」とすることができる。

図１７には、Ｄ：Ｌ＝１：６としたときにおける超音波定在波の波本数と位相シフト量との関係を示した。

したがって、２次元モードにおける画像記憶・演算装置１３は、図１７において符号ａ、ｃ、ｅで示す３状態の各々で取得された３つの画像データを、前述した分離演算に使用すればよい。

一方、３次元モードにおける画像記憶・演算装置１３は、図１７において符号ａ〜ｆで示す６状態の各々で取得された６つの画像データを、前述した分離演算に使用すればよい。

すなわち、本システムでは、スポットＳと超音波空間光変調器３との位置関係を２次元モードと３次元モードとの双方に適した関係に予め調整しておくだけで、モード切り換えの前後における超音波空間光変調器３の移動を省くことができる。

また、本システムの音響光学媒体１５は、３つの超音波伝搬路Ｒａ、Ｒｂ、ＲｃをスポットＳの中心に関して非対称な関係で配置していたが（図４参照）、例えば図１８に示すとおり対称な関係で配置してもよい。因みに、図４に示す例の利点は、音響光学媒体１５の外形の凹凸が少ないところにあり、図１８に示す例の利点は、３つの超音波伝搬路Ｒａ、Ｒｂ、Ｒｃの環境が完全に一致するところにある。

また、本システムでは、超音波伝播路Ｒａ、Ｒｂ、Ｒｃの長さを共通とし、トランスデューサ１８ａ、１８ｂ、１８ｃに与えられる交流電圧の周波数の変化パターンを共通としたが、非共通としてもよい。但し、その場合も、超音波伝搬路Ｒａ、Ｒｂ、Ｒｃの各々は、上述した条件を満たすものとする。
また、本実施形態の説明では、回折光による干渉縞の位相を変化させるために、超音波伝播路Ｒａ、Ｒｂ、Ｒｃで生起される超音波定在波の波本数（即ち、超音波定在波の波長）を所定のパターンで変化させると共に、超音波定在波の波長を変化させる方法の一つとして、超音波光変調器３のトランスデューサ１８ａ、１８ｂ、１８ｃに与えられる交流電圧の周波数を変化させることを説明したが、この方法に限られないことは言うまでもない。

例えば、３次元モードにおいて±１次回折光と０次回折光との間の位相差を変調するために、マスク５Ａにおける＋１次回折光の入射領域と−１次回折光の入射領域とに対して個別に光位相変調器５Ｃを配置した場合（例えば、光位相変調器５Ｃ及び補正用ブロック５Ｃ’の配置を図１９のようにした場合）は、次のようにしてもよい。

先ず、２次元モードでは、０次回折光を遮光し、＋１次回折光に対して位相オフセットαを付与し、−１次回折光に対して位相オフセット−αを付与する（つまり、０次回折光に対する＋１次回折光の位相オフセットと、０次回折光に対する−１次回折光の位相オフセットとを、等量反対符号に設定する。）。この状態でも、適正な２光束構造化照明を生成できる。そして、２光束構造化照明の位相を切り換える際には、前述した超音波定在波の波長を所定パターンで切り換える代わりに、位相オフセット量αを所定パターンで切り換える。例えば、位相オフセット量αを２π／３のピッチで３通りに切り換えれば、２光束構造化照明の位相を２π／３のピッチで３通りに切り換えることができる。

一方、３次元モードでは、０次回折光を開放し、＋１次回折光に対して位相オフセットαを付与し、−１次回折光に対して位相オフセット−αを付与し、その状態から前述した変調を行う。この状態でも、適正な３光束構造化照明を生成できる（図２０は、この場合の位相変調パターンを示す図である。）。そして、３光束構造化照明の位相を切り換える際には、前述した超音波定在波の波長を所定パターンで切り換える代わりに、位相オフセット量αを所定パターンで切り換える。例えば、位相オフセット量αを２π／５のピッチで５通りに切り換えれば、３光束構造化照明の位相を２π／５のピッチで５通りに切り換えることができる。

なお、ここでは、２次元モードにおける位相オフセット量αの変化ピッチと、３次元モードにおける位相オフセット量αの変化ピッチとを個別に設定したが、共通にしてもよい。すなわち、位相オフセット量αを２π／６ずつ切り換えることができるようにシステムを予め構成しておき、２次元モードでは、位相オフセット量αが０、２（２π）／６、４（２π）／６である３状態の各々で取得された３つの画像データを前述した分離演算に使用し、３次元モードでは、０、２π／６、２（２π）／６、３（２π）／６、４（２π）／６、５（２π）／６である６状態の各々で取得された６つの画像データを前述した分離演算に使用してもよい。

また、上述した実施形態では、干渉縞（２光束干渉縞、３光束干渉縞）を形成するための回折光として、±１次回折光及び０次回折光の組み合わせを用いたが、他の組み合わせを用いてもよい。３光束干渉縞を形成するためには、回折次数の間隔が等間隔な３つの回折光による３光束干渉を生起させればよいので、例えば、０次回折光、１次回折光、２次回折光の組み合わせ、±２次回折光及び０次回折光の組み合わせ、±３次回折光及び０次回折光の組み合わせ、などを用いることが可能である。

なお、本明細書において開示した以下の全ての文献について参照引用する（incorporated by reference)。
１）米国特許発明第６２３９９０９号公報
２）ＵＳ８１１５８０６
３）Proceedings of the SPIE - The International Society for Optical Engineering (2000) vol.3919, p.141-50

１：可干渉光源、２：コレクタレンズ、３：超音波空間光変調器、４：レンズ、５Ａ：マスク、５Ｃ：光位相変調器、５Ｃ’：補正用ブロック、５Ｂ：視野絞り、９：対物レンズ、１０：標本、１２：撮像装置、１３：画像記憶・演算装置、１９：制御装置、１４：画像表示装置、１５、１５’：音響光学媒体、１６：圧電体、１８：トランスデューサ、１９Ａ：駆動回路、１９Ａ−１：高周波交流電源、１９Ａ−２：切り換えスイッチ

Claims (15)

1. 光源からの射出光束の光路中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、
   前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手段と、
   前記音波伝搬路を通過した前記射出光束の少なくとも３つの回折光を干渉させ、その干渉縞を被観察物に形成する照明光学系と、
   前記回折光の少なくとも１つの回折光の位相を、前記駆動信号の周波数の１／Ｎ倍の周波数を有した変調信号で変調することで、検出器によって検出される前記干渉縞の像のコントラストを制御する制御手段と（ただし、Ｎは１以上の整数）、
   を備えたことを特徴とする構造化照明装置。
2. 請求項１に記載の構造化照明装置において、
   前記制御手段は、
   前記回折光の少なくとも２つの回折光の位相差が前記被観察物においてπとなるように前記位相を制御する
   ことを特徴とする構造化照明装置。
3. 請求項１又は２に記載の構造化照明装置において、
   前記制御手段は、
   変調信号により前記回折光の位相を変調する
   ことを特徴とする構造化照明装置。
4. 請求項３に記載の構造化照明装置において、
   前記制御手段は、
   前記変調信号の周波数を、前記駆動信号が有する周波数の１／Ｎ倍に設定すると共に、前記変調信号のデューティー比を、１／（２Ｎ）以下に設定する（但し、Ｎは１以上の整数）
   ことを特徴とする構造化照明装置。
5. 請求項３又は４に記載の構造化照明装置において、
   前記制御手段は、
   前記回折光の少なくとも１つの回折光の光路に配置された位相変調器と、前記位相変調器を前記変調信号で駆動する駆動部と
   を備えることを特徴とする構造化照明装置。
6. 請求項１〜請求項５の何れか一項に記載の構造化照明装置において、
   前記回折光は、０次回折光と、±１次回折光である
   ことを特徴とする構造化照明装置。
7. 請求項６に記載の構造化照明装置において、
   前記０次回折光を基準とした前記＋１次回折光の位相をαだけオフセットすると共に、前記０次回折光を基準とした前記−１次回折光の位相を−αだけオフセットするオフセット手段を更に備え、
   前記制御手段は、
   前記±１次回折光の位相がオフセットされた状態から前記変調を行うことにより、前記干渉縞のコントラストを制御すると共に、それらのオフセットの量αを所定のパターンで切り換えることにより、前記干渉縞の位相を切り換える
   ことを特徴とする構造化照明装置。
8. 請求項１〜請求項６の何れか一項に記載の構造化照明装置において、
   前記干渉縞は、
   前記音波伝搬路の両端から離れた所定の部分領域を通過した前記射出光束により形成されたものであり、
   前記駆動手段は、
   前記音波定在波の波長を所定のパターンで切り換えることにより、前記干渉縞の位相を切り換える
   ことを特徴とする構造化照明装置。
9. 請求項８に記載の構造化照明装置において、
   前記駆動手段は、
   前記音波定在波の全体の波本数がＭ／２本ずつ変化するようなパターンで前記音波定在波の波長を変化させることが可能であり（但し、｜Ｍ｜は１以上の整数）、
   前記干渉縞の位相シフトピッチをΔψとおくと、前記音波伝搬路の何れか一方の端部から前記部分領域までの距離Ｄと、前記音波伝搬路の全長Ｌとは、Ｄ：Ｌ＝Δψ／Ｍ：２πの関係を満たす
   ことを特徴とする構造化照明装置。
10. 請求項８又は請求項９に記載の構造化照明装置において、
    前記駆動手段は、
    前記光変調器へ与える前記駆動信号の周波数を所定のパターンで切り換えることで、前記音波定在波の波長を切り換える
    ことを特徴とする構造化照明装置。
11. 請求項１〜請求項１０の何れか一項に記載の構造化照明装置において、
    前記射出光束の３つの回折光を前記干渉縞に反映させる３次元モードと、前記射出光束の２つの回折光のみを前記干渉縞に反映させる２次元モードとの間で前記構造化照明装置のモードを切り換える切換手段を更に備えた
    ことを特徴とする構造化照明装置。
12. 請求項１１に記載の構造化照明装置において、
    前記干渉縞は、
    前記音波伝搬路の両端から離れた所定の部分領域を通過した前記射出光束により形成されたものであり、
    前記駆動手段は、
    前記音波定在波の波長を所定のパターンで切り換えることにより、前記干渉縞の位相を切り換え、
    前記音波伝搬路の何れか一方の端部から前記部分領域までの距離Ｄと、前記音波伝搬路の全長Ｌとは、Ｄ：Ｌ＝１：６の関係を満たす
    ことを特徴とする構造化照明装置。
13. 請求項１〜請求項１２の何れか一項に記載の装置構造化照明装置において、
    前記超音波光変調器は、
    前記射出光束の通過領域で交差した複数の前記音波伝搬路を有し、それら音波伝搬路の間で有効な音波伝搬路を切り換えることにより、前記音波定在波の方向を切り換えることが可能である
    ことを特徴とする構造化照明装置。
14. 請求項１〜請求項１３の何れか一項に記載の構造化照明装置と、
    前記照明装置で照明された被観察物からの観察光束を検出する検出器で取得された、前記音波定在波のパターンの異なる複数の状態での各々の像に基づき、前記被観察物の超解像画像を算出する演算手段を更に備えた
    ことを特徴とする構造化照明顕微鏡。
15. 光源からの射出光束の光路中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器を用意する光変調手順と、
    前記音波伝搬路の媒質を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手順と、
    前記音波伝搬路を通過した前記射出光束の少なくとも３つの回折光を干渉させ、その干渉縞を被観察物に形成する照明手順と、
    前記回折光の少なくとも１つの回折光の位相を、前記駆動信号の周波数の１／Ｎ倍の周波数を有した変調信号で変調することで、検出器によって検出される前記干渉縞の像のコントラストを制御する制御手順と（ただし、Ｎは１以上の整数）、
    を含むことを特徴とする構造化照明方法。

Images