JP2024016219A - プログラム可能な多点照明器、共焦点フィルタ、共焦点顕微鏡、および共焦点顕微鏡を操作する方法 - Google Patents

Abstract

【課題】単一点顕微鏡法と多点顕微鏡法との間のギャップを埋める。【解決手段】光学顕微鏡Ｍ用のプログラム可能な多点照明器は、光源１、２と、光源からの光ビームを変調するための空間光変調器ＳＬＭと、を備える。変調された光ビームは、顕微鏡対物レンズ２１の下に配置されたサンプルを横切って走査し、サンプル蛍光を発する。ＳＬＭは、第１の音響光学偏向器８および第２の音響光学偏向器９を備え、２つの音響光学偏向器が、異なる方向に偏向を提供すべくカスケードに配置され、２次元走査を行う。ＳＬＭは、第１の変調面８１を第２の変調面９１を共役とする望遠鏡リレー１０を備える。照明器は、ホログラムを合成するように構成されており、かつＳＬＭがホログラムに応答して光ビームを変調するために、同時に第１の音響光学偏向器８と第２の音響光学偏向器９にそれぞれのホログラムを注入するように配置されている任意波形発生器１３を備える。【選択図】図１

Description

本開示は、光学顕微鏡用のプログラム可能な多点照明器、および顕微鏡を共焦点顕微鏡にするための共焦点フィルタに関する。本開示はまた、共焦点顕微鏡を操作する方法に関する。

照明器は、光源と、光源からの光ビームを変調するための空間光変調器とを備え、変調された光ビームは、顕微鏡の対物レンズの下に配置されたサンプルを横切って走査することを意図し、サンプルは通常、フルオロフォアを備える。「サンプルは顕微鏡対物レンズの下に配置される」という表現は、光ビームが対物レンズによってサンプル内に集束されることを意味する（この表現は、サンプルが常に対物レンズの下にあることを意味すると理解されるべきではない）。

共焦点顕微鏡法は、細胞生物学のすべての分野におけるサンプルの可視化のための基準技術であり、光学顕微鏡法でこれまでに行われた最も重要な発明の１つとして広く認識されている。共焦点顕微鏡は、近年、途方もない人気を博しており、世界中のほとんどの大学および科学機関、ならびにますます多くの個々の研究所が共焦点顕微鏡を所有する。

共焦点顕微鏡には、基本的に２つの異なる様式があり、単一点走査装置および多点走査装置である。それらは、目的の構造を選択的に標識し、より長い波長で光を放出することによって照明レーザに応答する蛍光タグ（蛍光分子またはフルオロフォア）と組み合わせて使用されることが多い（ストークスシフト）。この波長シフトにより、ダイクロイックミラーおよびフィルタを使用して、励起光列と発光光列とを簡単に分離できる。

単一点共焦点顕微鏡は、サンプルをポイントごとに段階的に走査する単一のレーザビームに基づいており、サンプルから放出された光が、レーザスポットに共役された小さなピンホール穴によってフィルタをかけられた後、高解像度で、高コントラストの、かつ光学的に断面化された画像が得られる。集束面の上下で励起されたフルオロフォアによって放出された光はピンホールによって遮られ、検出器に到達しないため、厚いサンプルをイメージングする場合に非共焦点顕微鏡を悩ます光のかすみが最小限に抑えられる。

ただし、このポイントごとの走査方法では、必然的に明らかに遅い画像取得を伴い、これが単一点共焦点の主な欠点である。機器が多くの細胞現象の時間的ダイナミクスを解決できないため、細胞などの生きたサンプルは、被写体ぶれのない画像を取得するために修正される（つまり、取り消される）必要があることが多い。

したがって、より高速な走査は、現代の共焦点顕微鏡法の開発において重要なベクトルとなっている。ただし、走査速度が高速であるということは、レーザスポットがマイクロ秒単位の非常に短い露光時間の間でしかサンプルポイントを照射できないことを意味するので、単一のレーザスポットを使用した走査は任意に高速にすることはできない。この小さな励起時間を補償するために、サンプルに当たるレーザ出力を増加させる必要があり、それによりフルオロフォアを非常に急速に飽和状態にする。飽和閾値を超えるレーザ出力の増分は、蛍光発光率の同等の増分につながらず、そのため、検出器に到達する光子の総量は、露光時間の減少と共に減少し、したがって、走査速度を毎秒およそ数フレームに制限する。

高速共焦点操作を可能にする唯一の技術的解決策は、サンプルを並行して走査するいくつかのレーザスポットを使用することである。

この必要性に応えて、多点共焦点が開発された。何千ものレーザビームレットを使用してサンプルを同時に走査するため、したがって毎秒数百フレームの範囲のフレームレートに到達できる。多くのレーザ焦点に総出力を分割することの追加の利点は、これらの機器が生物学的サンプルに対してかなりより穏やかであり（同等の条件で単一点共焦点よりも１／１５損傷が少ない）、光退色および光毒性を最小限に抑えることである。

ただし、多点走査原理の商用の実施は、高速で回転する小さなマイクロレンズおよびピンホールの列で覆われたディスク（ニプコー円板）に基づいているため、システムの柔軟性が失われ、光学的に非効率になる。実際、高速回転ディスク顕微鏡は、サンプル内の任意の関心領域を走査することはできず、通常は高倍率で高開口数のレンズを使用して、単一の対物レンズに一致する。また、一般的なニプコー円板の光学効率は約４％であり、強力な励起レーザが必要であり、コストがかかる。

さらなる困難は、特に厚いサンプルにおいて、ピンホール間のクロストークから生じる共焦点の減少である（クロストークは、他の光信号から検出された信号の漏れによるものである）。１つのレーザスポットによって励起されたスプリアス光は、隣接するピンホールを介して検出器（例えば、カメラなど）に到達する可能性があり、同じ条件で単一点共焦点によって生成される画像と比較すると、画像の解像度が著しく低くなる。

特許文献１は、サンプルを検査するために生成された照明スポット間の光学的クロストークを抑制することを目的とする。特許文献１は、対物レンズの前に配置された回折光学素子（ＤＯＥ）を開示している。ＤＯＥは、スポット間の十分な分離を確保するために、スポット間隔を変更せずにスポット出力のコピーを作成する。しかし、特許文献１は、単純で比較的柔軟性のないスポットパターンのみを想定しているため（単に調整可能なスポット間隔を提供するために１つのプログラム可能な音響光学偏向器を開示する）、したがってニプコー円板の欠点をある程度再現している。

要約すると、共焦点顕微鏡法の２つの変調には、相互に対して明確な長所および短所があり、それによりそれらを特殊化し、互換性がない。一般に、ユーザは一度に２種類の機器にアクセスする必要がある。

本開示の目的は、単一点顕微鏡法と多点顕微鏡法との間のギャップを埋めることであり、実験室がただ１つの共焦点顕微鏡を用いて、制約のない操作を想定することを可能にする。

本開示の別の目的は、単なるスポットアレイよりも著しく複雑な自由照明パターンを生成することによって、従来の多点顕微鏡法を超越することである。

第１の態様では、光学顕微鏡用のプログラム可能な多点照明器は、光源と、光源からの光ビームを変調するための空間光変調器（ＳＬＭ）とを備える。変調された光ビームは、顕微鏡対物レンズの下に配置されたサンプルを横切って走査することを意図しており、サンプルはフルオロフォアを備える。ＳＬＭは、第１の音響光学偏向器（ＡＯＤ）および第２の音響光学偏向器を備え、第１のＡＯＤは第１の変調面を有し、第２のＡＯＤは第２の変調面を有し、２つの音響光学偏向器が、異なる方向（例えば、２つのＡＯＤの偏光の各方向は直交する可能性がある）にそれぞれの変調（すなわち、偏向）を提供するためにカスケードに配置され、それにより、空間光変調器がサンプルを横切って２次元で走査する
ことが可能になる。ＳＬＭは、第１の変調面を第２の変調面と共役させるための望遠鏡リレーをさらに備える。照明器はまた、デジタルホログラフィアルゴリズムで計算された無線周波数（ＲＦ）信号を合成するように構成されている任意波形発生器（ＡＷＧ）を備え、合成信号はホログラムと呼ばれ（そのようなホログラムは、その振幅および位相特性を含む光波のコード化された記録を含む）、ＳＬＭがホログラムに応答して光ビームを変調するために、同時に第１のそのようなホログラムを第１のＡＯＤに注入し、第２のそのようなホログラムを第２のＡＯＤに注入するように配置される。

したがって、照明器は、正確な目的で設計および選択された２Ｄ光パターンでサンプルを照らすことができ、選択された光パターンが非常に単純であり（例えば、いくつかのスポットによって）、または非常に複雑（例えば、密で複雑なスポット配置により）であり得るが、いずれの場合にも類似的に生成され得るので、単一点顕微鏡法と多点顕微鏡法の間のギャップを埋めることができる。

一例では、プログラム可能な照明器は、任意の変わりやすい裁量的パターンに従って、正確な位置決めと並行して複数の光スポットを顕微鏡サンプルに動的に投射することができるレーザ装置（光源）を備えることができる。プログラム可能な照明器はＡＯＤ技術に基づく。ＡＯＤは、装置を横切る光ビームの方向に変化を与えることができる、本質的に超高速の光偏向器である。ＡＯＤは、意図的に切断された光学結晶と、結晶の一端に取り付けられ、その中に音波を発生させることができる圧電変換器とを備える。

ＡＯＤの変調面（またはピボット面）は、入射コリメート光ビームが偏向しているように見えるＡＯＤ結晶内の仮想面であり、異なる角度で進む出射コリメート光ビームをもたらす。変調面は、入射光ビームの伝搬方向を前方投影し、対応する出射光ビームの伝搬方向を後方投影することによって見つけることができ、後方ビームおよび前方ビームは、水晶内部の平面（変調面）で交わる。

２つの光学的に共役されるＡＯＤは、分離可能な共同変調関数を生成し、すなわち、第１のＡＯＤの変調関数（例えばＸ方向）と第２のＡＯＤの変調関数（例えばＹ方向）の積である。

当技術分野では、単純な正弦波無線周波数（ＲＦ）信号（図２Ａを参照）を圧電変換器に加えることが知られている。変換器の振動は、周期的な方法で屈折率を空間的に変調する音響信号を結晶に送り込み、回折格子を生成する。制御ＲＦ信号の周波数を変化させることにより、ビームを別の空間位置に向け直すことができるように、回折格子の周期が修正され、レーザの偏向はすばやく変更され得る。

一例では、ＡＷＧは、任意の複雑さのホログラムを合成するように構成され（図２Ｂ、図３および図４を参照）、照明器が任意の複雑な２次元光パターンでサンプルを横切って走査できるようにすることを意図する。ＡＷＧは任意の形状を有する電気信号を合成でき、つまり、出力電圧の時間的変化が、機器の帯域幅内で完全に一般的な方法でユーザによって指定され得るようにすることができる。この意味で、ＡＷＧは、可変周波数の正弦関数のみを生成できる電圧制御発振器（ＶＣＯ）と、設計により事前規定された選択肢内でのみ、いくつかの異なる波形（正弦波、方形波、のこぎり波など）を生成する関数発生器とを一般化したものである。

一般に、ＡＷＧは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの波形を数学的に合成できるデジタル装置と、最終的に時変電気信号を生成する高速デジタルアナログ変換器回路とで構成される。

一例では、照明器は、所望の照明パターンの再構成を中間像面に投影するために空間光変調器の後に配置された走査レンズを備えることができ、走査レンズが、顕微鏡のチューブレンズと一緒に、音響光学偏向器の変調面を顕微鏡対物レンズの入力瞳孔と共役させる４ｆ光学システムを形成し、この対物レンズは、フーリエ変換レンズであり、対物レンズが、サンプルと交差するフーリエ再構成平面に光ビームを集束させることで充電され、その結果、フーリエ変換のシフト特性に起因して、ホログラムのセンタリングは重要ではない。

第２の態様では、そのような照明器を有する光学顕微鏡用の共焦点フィルタは、サンプル内の任意の励起された蛍光位置（フルオロフォアによって）の画像の周りに１つのデジタルピンホールの実時間実施を可能にするように構成された電子マルチピクセル検出器を備える画像センサを備える。フィルタはさらに、サンプルによって放出された蛍光を画像センサに集束させるためのリレーシステムを備える。

画像のデジタル後処理が物理的なピンホールの影響を模倣できるため、共焦点フィルタは、プログラム可能な照明器と共に光学顕微鏡を実際に共焦点にする。例えば、プログラム可能なピクセルセット（行など）を選択的に読み取ることができるＣＭＯＳ画像センサは、画像フィルタリングを十分に高速にすることができる。

一例では、プログラム可能な照明器および共焦点フィルタのセットは、共焦点発光画像を正しく構成するために、ＡＷＧを画像センサと同期させる手段を備えることができる。

第３の態様では、プログラム可能な照明器および共焦点フィルタを備える共焦点顕微鏡を操作する方法は、
光源に特定の直径の第１の光ビームを放出させるステップと、
第１の光ビームを所定の直径を有する第２の光ビームに拡張して、第１のＡＯＤ上に照明ウィンドウを画定するステップと、
第２の光ビームを変調し、それを第３の光ビームに変換するために、第１のホログラムを第１のＡＯＤに注入するステップと、
第２の変調面上で第３の光ビームを画像化するステップと、
第３の光ビームの直径が第２の光ビームの直径であり、第２のＡＯＤ上に照明ウィンドウを画定するように、ゼロ変調で第３の光ビームをコリメートするステップと、
第３の光ビームを変調し、それを第４の光ビームに変換するために、第２のホログラムを第２のＡＯＤに注入するステップと、
顕微鏡対物レンズの入力瞳孔に第４の光ビームを画像化するステップと、
サンプルと交差する再構成平面上に第４の光ビームを集束させるステップと、
サンプルから放出された蛍光を収集し、光を画像センサに集束させるステップと、
を含む。

この方法は、
第１の合成無線周波数信号を第１のデジタルホログラフィアルゴリズムで計算し、第２の合成無線周波数信号を第２のデジタルホログラフィアルゴリズムで計算するステップ（ただし、第１のデジタルホログラフィアルゴリズムと第２のデジタルホログラフィアルゴリズムとは同じアルゴリズムである可能性がある）と、
ＡＷＧを使用して、第１の計算信号から第１のＡＯＤに注入される第１のホログラムと、第２の計算された信号から第２のＡＯＤに注入される第２のホログラムとを合成するステップと、をさらに含み得る。

動作中、ＡＷＧは数学的に設計された合成ＲＦ信号をＡＯＤセルに注入し、その結果、レーザビームはさらに修正される。これにより、従来のＡＯＤの単純な偏向とは対照的に
、所望の任意の複雑な光パターンを生成することができる。例えば、レーザビームをいくつかのサブビームに分割し、それらの空間位置を個別に制御することができる。この原理は、回転ディスクが穴あきニプコー円板によって達成するのと同様に、共焦点顕微鏡の照明を並列化するために使用され得る。

サンプルは、完全に露出されるまで照明スポットのアレイを変えることによって走査され、これには、新しい制御信号をＡＯＤに送信するだけで済む。回転ディスク共焦点顕微鏡とは対照的に、サンプリングパターンは、機械的運動で固体基板上にエッチングされた固定開口に基づいていないため、本明細書では完全にプログラム可能である。

この手法の難しさは、ＡＯＤ自体では実行できない焦点外の光の共焦点フィルタリングである。これを克服する方法は、上記に説明したように（および下記の詳細な説明で）、仮想ピンホールを生成することである。

サンプルが分離不可能な光パターンによって照明される必要があるアプリケーションに関して、いくつかの数学的に分離可能なパターンの合計として一般的な配光を構成するための２つの手順が本明細書に開示されている。考慮すべき重要な態様は、パターンが時分割されることであり、つまり、パターンは、異なる時間に放射照度に敏感な統合装置（カメラやサンプル自体など）によって生成され、それによって合計される。したがって、追加するパターンは正の値のみを有することができ、減算は光学的手段によって実施され得るが、しかし、本明細書では行われないコヒーレントな重ね合わせが必要である。開示されているアルゴリズムは次の通りである。
ａ）行への分解

２次元のＮｘＭ画像を分離可能なパターンに分解する簡単な方法は、画像を線（つまり、Ｎ行またはＭ列）に分割することである。わかりやすくするために、画像をＮ行に分割すると想定されたい。Ｘ方向に偏向するＡＯＤが線の強度を再構築し、同時にＹ方向に変調するＡＯＤがその線を適切なＹ位置に偏向させる場合（これらの２つのＡＯＤは直交する ）、画像は線ごとに構成され得る。

次に、Ｙ方向ＡＯＤの駆動信号は連続的な正弦波パターンであり、その周波数は段階的に変化し、ラインの再構成位置を画定する。Ｘ方向ＡＯＤは、その時点で再構築されている特定の線の逆フーリエ変換をエンコードするホログラムである。
ｂ）分離可能な２次元サブイメージへの分解：非負の特異値分解（ＮＮＳＶＤ）

特異値分解（ＳＶＤ）は、ＮｘＭ行列Ａを外積の合計に分解するよく知られた因数分解法であり、すなわち、Ａ＝Σ_１ ^ｋω_ｉ ｕ_ｉ ｖ_ｉ ^Ｔであり、ｋはＡのランクである。画像を行列と見なすと、ＳＶＤ操作は自動的に分離可能なパターン（外積のｕベクトルとｖベクトル）への分解を生成する。ただし、これらのパターンには一般に正の値ならびに負の値が含まれているため、ＡＯＤ投影により実施できない。

幸いなことに、非負の特異値分解（ＮＮＳＶＤ）は、Ｗ． Ｌｉｕらの 「Ｎｏｎｎｅｇａｔｉｖｅ Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｆｏｒ Ｍｉｃｒｏａｒｒａｙ Ｄａｔａ Ａｎａｌｙｓｉｓ ｏｆ Ｓｐｅｒｍａｔｏｇｅｎｅｓｉｓ」、Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｂｉｏｍｅｄｉｃｉｎｅ、２２５－２２８（２００８）についての第５国際会議会報に開示されているように、反復アルゴリズムによって定義および計算され得る。

ＮＮＳＶＤアルゴリズムは、画像を分離可能なサブ画像に分解してＡＯＤ照明器によっ
て表示するのに非常に有益であることがわかっており、画像情報を圧縮しながら、特定の場合に再構成速度を上げることが可能になる。アルゴリズムは、Ａ≒Ｘ・Ｗ・Ｙにしたがって、画像Ａの対角化を正の値全体で近似する。

対角行列Ｗは、対角化の固有値で構成される。係数ｗ_ｉｉは、１次元ベクトルｘ_ｉとｙ_ｉの外積に重みを付ける。列ｘｉとｙｉが正規化される場合、ｗ_ｉｉは分解サブイメージの合計パワー（またはエネルギー）を表す。この特性は、サブイメージの重要性を判断する場合に有益である。再構成を加速し、効率を改善するために、無視できる強度を有するサブ画像を破棄することができる。

本開示の非限定的な例は、添付の図面を参照して、以下に説明される。
光学顕微鏡Ｍの配置を示す図である。 ２つの無線周波数信号間の比較を示す図である。 ２Ｄ音響光学偏向器を表す図である。 ２つのホログラム間の比較を示す図である。 光スポットのアレイを示す図である。 共焦点フィルタリングを示す図である。 ３つの画像化結果間の比較を示す図である。 ６つの画像再構成間の比較を示す図である。 ホログラム遷移を示す図である。 異なる位相整列間の比較を示す図である。

図１は、第１のレーザ源１および第２のレーザ源２、レーザ源からのそれぞれのビームを一方向に結合するためのダイクロイック装置４、第１の音響光学偏向器（ＡＯＤ）８、第１のＡＯＤ８の前の倒立望遠鏡５、第２のＡＯＤ９、第１のＡＯＤ８と第２のＡＯＤ９との間の望遠鏡リレー１０、および第２のＡＯＤ９の後の走査レンズ１７を備える照明システムを示す。

図１はまた、光学顕微鏡Ｍの以下の部分、チューブレンズ１９および対物レンズ２１（顕微鏡対物レンズ）への入力瞳孔２０を示している。

図１の照明システムは、任意の波発生器（ＡＷＧ）１３、ＡＷＧ１３から第１のＡＯＤ８までの間の第１の無線周波数（ＲＦ）増幅器１４、 ＡＷＧ１３から第２のＡＯＤ９までの間の第２の無線周波数（ＲＦ）増幅器１５、２次元（２－Ｄ）画像センサ２６、画像センサ２６とＡＷＧ１３との間のシンクロナイザ１６、画像センサ２６の前のリレーシステム２５、リレーシステム２５の前の蛍光フィルタ２４、およびチューブレンズ１９と蛍光フィルタ２４との間のダイクロイックミラー２３（ダイクロイックミラー２３は、走査レンズ１７とチューブレンズ１９との間にも配置される）をさらに備える。

任意のレーザ源１または２は、連続またはパルスのいずれかであり得る。パルスレーザ（フェムト秒）は、いくつかの応用では、蛍光を励起し、または光重合を誘発する目的で、再構成平面で多光子吸収現象を引き起こすために使用され得る。パルスレーザを照明源として使用する場合、プリズム３などの追加の光学素子が、ＡＯＤ内部の大規模な速度分散を回避または補償するために使用され得る。対照的に、連続波（ＣＷ）レーザは、１つの途切れのない光ビームを放出し、サンプルに悪影響を与える可能性があるパルスレーザまたは超高速レーザよりもピークパワー値がはるかに低いため、一般的な蛍光顕微鏡法に好ましく、製造および保守を容易にするシンプルなデザインを提示する。

一般に、いくつかのレーザ源は、多色応用のために選択された波長で同時にまたは順次に照明を提供でき、ダイクロイック装置４によって単一方向に結合され得る。例えば、多色顕微鏡法での励起にはいくつかの光源が必要であり、多色顕微鏡では、少なくとも２つの蛍光分子色素が、異なるサンプル構造を標識化するために使用される。レーザを照射すると、これらの構造は異なる波長範囲の光を放出し、その結果、それらは個別に視覚化され得る。さらに、ＳＴＥＤ（誘導発光抑制）またはＲＥＳＯＬＦＴ（可逆的可飽和光学蛍光遷移）顕微鏡法などの超解像技術における励起および枯渇段階には、異なる波長を有する２つのレーザが必要になる可能性がある。さらに、同じ生物学的構造内で、異なる励起波長に応答する色素を標識化することによって可視化される２つ以上の分子種の共局在を研究するために、複数のレーザが使用され得る。

動作中、単一または結合されたレーザビームは、倒立望遠鏡５によって、最初のレーザ直径Ｄ_１から第１のＡＯＤ８上の直径Ｄ_２の照明ウィンドウまで拡大される。照明ウィンドウのサイズＤ_２、したがってビーム拡大器５の倍率は、これが視野対照明システムのフレームレートのトレードオフを制御するので、注意深く選択される。

２つのＡＯＤ８および９は、２つの直交する方向（ＸおよびＹ）での光ビームの変調を提供し、すなわち、それらは空間光変調器を構成する。これらのＡＯＤは、高解像度、高偏向角の装置（５００ｘ５００を超える解像度のスポットを提供することが望ましい）であり、好適には８ｘ８ ｍｍを超える大きな正方形の入力ウィンドウを備え、可能な限り類似する音響光学特性を有する。いくつかのレーザで照射されると、ＡＯＤは、関係する波長のセット全体に対して同時にブラッグ形態で機能するように構成される。

さらに、ＡＯＤ装置の帯域幅内の特定のＲＦ信号のセットによってアドレス指定される場合、２つのＡＯＤは、波長のセット全体に対してオーバーラップする偏向範囲を提供しなければならない。ＡＯＤは、全帯域幅および関連する任意の波長に対して良好な回折効率を達成するために、入射レーザビームに対して適切な角度に向けられるように、先端傾斜型オプトメカニカルマウント（図示せず）上に取り付けられる。

２つの直交するＡＯＤは、望遠鏡リレー１０によって光学的に共役され、それらは、第１のＡＯＤ８の変調面８１（すなわち、ビーム偏向のピボット面）を、単位倍率の第２のＡＯＤ９の変調面９１に撮像するために４ｆ構成の２つの同一のレンズを備える。さらに、リレー１０は、同時に第２のＡＯＤ９上の照明ウィンドウにおいて、直径Ｄ_２でレーザビームを（ゼロ変調で）コリメートされた状態に保つ。次いで、２つの光学的に共役されたＡＯＤは、第１のＡＯＤ８から第２のＡＯＤ９に伝搬する光によって引き起こされる歪みなしに、以下、ｈ（ｘ、ｙ）＝ｆ（ｘ）・ｇ（ｙ）（図３を参照）のように変調関数の光学的乗算を達成する 。

ＡＯＤ装置は、無線周波数（ＲＦ）増幅器１４および１５を介して、デュアルチャンネル任意波形発生器（ＡＷＧ）１３に接続されている。ＡＷＧは、デジタルホログラフィの手法で計算された２つの、通常は離散的なＲＦ信号をデジタル合成する。これらの合成ピクセル化無線信号（図３Ａを参照）は、音響光学効果によってＡＯＤセル内の屈折率の複雑な空間変動を誘発し、次いで音響光学効果は、フーリエ空間光変調器と同様の方法で光ビームを変調する。その結果、複雑な屈折率変調は音響的に誘発されたホログラムになる。

ＡＷＧ １３は、ＡＯＤ装置（８、９）の帯域幅と一致する帯域幅の信号を生成でき、複雑な光パターンを共同で表すのに十分な事前計算された駆動信号を格納できるメモリバンクを組み込む。事実上、真の２次元空間光変調器とは対照的に、本明細書に記載のＡＯＤ装置は、カスケードで２つの１次元光変調装置を備え、数学的に分離可能な２次元光パ
ターンのみを生成することができる（すなわち、 Ｘの関数とＹの関数の積、ｈ（ｘ、ｙ）＝ｆ（ｘ）・ｇ（ｙ）、図３を参照）。これは通常、サンプルを並行して走査できる光スポットアレイで構成される励起パターンを実施するのに十分である（上記で説明したように、サンプルは顕微鏡Ｍの対物レンズ２１の下に配置される）。

より複雑な光パターンを投影するために照明器が必要な場合（例えば、光刺激や光退色のために、任意の関心領域を励起するため）、これらは、適切な数学的アルゴリズム（図１の参照符号１１で表される）、すなわち、Ｈ（ｘ、ｙ）＝Σ_ｉ ｈ_ｉ（ｘ、ｙ）＝Σ_ｉ
ｆ_ｉ（ｘ）・ｇ_ｉ（ｙ）による可分関数への級数分解によって取得され得る。

サンプル自体は、累積効果により、級数項（または他の応用における最終検出器、通常はＡＷＧ １３との同期（参照符号１６）によって）を合計する。

いずれの場合も、所望の光パターンを正しく形成するために、ＡＯＤ装置内の光変調は、音響光学結晶の一端の圧電変換器から他方の端部の消音器に伝搬し、ＡＯＤの照射された光学ウィンドウを横切る場合に、有限の時間間隔内でレーザビームと相互作用する音波の進行によって生成されることを考慮しなければならない。これは必然的に、２つのＡＯＤ ８および９の共役された変調面（８１と９１）に対してフーリエ面で再構成を実行する必要があり、その結果、フーリエ変換のシフト特性のためにホログラムのセンタリングは重要ではない。これを実施するために、変調面は、ここではフーリエ変換レンズとして機能する顕微鏡対物レンズ２１の入力瞳孔２０と共役される必要がある。

第一に、走査レンズ１７は、所望の励起パターンの再構成を中間像面１８に投影する。この走査レンズ１７は、顕微鏡Ｍのチューブレンズ１９と共に、変調面８１および９１（次に、望遠鏡リレー１０によって相互に共役される）を、顕微鏡対物レンズ２１の入力瞳孔２０と光学的に共役する４－ｆシステムを形成し、顕微鏡対物レンズ２１は、サンプル（図示せず）と交差する最終的な再構成平面２２上にレーザビームを集束させ、それによってサンプルの蛍光（すなわち、その中のフルオロフォア）を励起する。

顕微鏡対物レンズ２１（フーリエ変換レンズである）の視野は、表示されたホログラムに含まれる最高空間周波数フーリエ成分の傾斜よりも大きくなければならない。顕微鏡対物レンズ２１内のフーリエ成分の口径食を回避するために、瞳孔の一致が必要な可能性がある。顕微鏡対物レンズ２１は、一般に、いくつかの光学面から構成される高度に補正された光学システムでなければならないので、その入力瞳孔２０は、システムの内部にあり、直接アクセスできない可能性がある。変調面８１および９１もそれぞれＡＯＤ装置８および９の内部にあるので、走査レンズ１７およびチューブレンズ１９によって形成されるリレーシステムが、変調面を顕微鏡対物レンズ２１の入力瞳孔２０に結合するために使用される。

加えて、走査レンズ１７とチューブレンズ１９は、顕微鏡対物レンズ２１の全開口数を使用し、それによってセクショニング能力および解像度を最適化するために、入力瞳孔サイズＤ_３をＡＯＤの光学ウィンドウサイズＤ_２と一致させる。次に、比Ｄ_３／Ｄ_２は、走査レンズ１７およびチューブレンズ１９によって形成される望遠鏡システムの倍率を決定し、したがって、ＡＯＤによって回折された波面のフーリエ成分の偏向角、したがって、サンプル平面上の照明器の視野を決定する。音波が照明されたウィンドウを横切る必要がある時間τはτ＝Ｄ_２／ｖであり、ｖは結晶内の音速であるので、Ｄ_２はホログラムを更新できる最大繰り返し率（すなわち、照明器の最大フレームレート）にも関係し、その結果、慎重に選択する必要がある。

励起レーザと反対方向に進むサンプルによって放出された蛍光は、顕微鏡対物レンズ２
１によって収集され、中間像面１８に集束される。この後、ダイクロイックミラー２３および蛍光フィルタ２４が発光波長を選択し、リレーシステム２５は、発光光を２Ｄ画像センサ２６に集束させる。マルチスポット照明アレイを整然とシフトすることによって得られるいくつかの個々のフレームの電子後処理（図５を参照）は、図６および７に示されるように、最終的な共焦点画像を生成することができる。最終画像を正しく構成するには、センサ２６とＡＷＧ１３との間の正確な同期（１６）が必要である。

画像センサは、高速で任意の読み取り領域を可能にするＣＭＯＳマルチピクセル検出器であってよく、各発光焦点の周りにデジタルマスク（デジタルピンホール）の実時間実施を可能にする。光子の再割り当てなど、横方向および軸方向の両方の解像度を向上させる様々なアルゴリズムもまた実装され得る。

図３Ａおよび図３Ｂは、直交するＡＯＤセルに注入された２つの１次元変調信号からの２次元変調パターンの形成を示している。２つのＡＯＤ装置がリレー１０を介して共役されると、第１のＸ変化する変調面が第２のＹ変化する変調面に投影される。その結果は、２つの平面でエンコードされた離散信号の外部ベクトル乗算である。

図４は、ＡＯＤセルに注入されるホログラフィックの無線周波数信号の合成プロセスの最後のステップを示している。最初に（そして図４には示されていない）、照明パターンはデジタルデータアレイで記述される。各アレイ要素のインデックスは、サンプル平面内の物理的な照明スポットの位置を表し、各アレイ要素の値は、それに応じてその強度を表す。照明パターンＩ（ｘ、ｙ）が分離可能である場合、それは２つの離散関数の乗算、Ｉ（ｘ、ｙ）＝Ｉ_１（ｘ）・Ｉ_２（ｙ）によって記述され得る。そうでない場合は、上記に開示される手順に従って分解が実施され得る。

レーザビームの波面はＡＯＤによって変調され、次いで光学フーリエ変換によって所望の照明パターンに変換されるため、必要な波面変調の計算は、照明パターンの逆フーリエ変換を介して実行され得る。照明パターンはデジタルで記述されるため、必要な振幅および位相変調は、離散フーリエ変換（ＤＦＴ）によって計算され得る。照明パターン要素（スポット）の位置は、ＤＦＴが評価される周波数によって制御される。

ＡＯＤによって必要な空間振幅および位相変調を取得するためには、ＡＯＤ結晶の対応する音響光学変調を引き起こす電子駆動信号が必要である。最後に、駆動ＲＦ信号と、結果として生じる空間振幅および位相変調との関係は単純であり、すなわち、キャリア周波数ｆ_ｃを有する区分的に定義された正弦波駆動信号と、計算された振幅および位相に対応する区分的に変化する振幅および位相とが所望の波面変調（正確な近似）をもたらす（図４の参照符号Ａ）。

さらに、光学効率を最大化するために、反復ゲルヒベルク－サクストンアルゴリズム（図４の参照符号Ｂ）が、完全複合ホログラム（図４の左側のグラフ）をキノフォーム（または位相がほとんどの場合ホログラムである、図４の右側のグラフ）に変換するために使用されることが好ましい。この手順によって合成されたＲＦ周波数の典型的な結果は、ＡＯＤ ８または９の１つに注入される（図４の参照符号Ｃ）高効率ホログラムを表す図４の右側のグラフに示されている（図４の左側のグラフは比較的低効率のホログラムを表す）。

図２Ａは、周波数＝７５ ＭＨｚの純粋な正弦波ＲＦ信号のオシロスコープトレースを示しており、これは、ビーム偏向器として使用される場合に通常ＡＯＤを駆動する。対照的に、図２Ｂは、本明細書に開示される任意の配光を生成するように設計された、上記で説明したデジタルホログラフィの技術で計算されたはるかに複雑な信号を示す。

このホログラフィックＲＦ信号によって、再構成平面２２上で任意の配光を得ることができる。本開示の照明器が顕微鏡標本からの蛍光を励起するために使用される場合、便利なパターンは、光スポットの規則的な配列（例えば、３２×３２の光スポットの正方行列）によって形成される。図５に示すように、ＸおよびＹホログラムを変更することにより、サンプルが完全に露光されるまでアレイは段階的にシフトされ得る。サンプル平面全体は、スポット間のギャップが埋められるまで、水平方向および垂直方向に段階的にシフトされる光スポットの規則的な配列から構成される照明パターンによって走査され得る。シフト増分は、レイリー基準に一致する個々の光スポットの半径として選択され得る。

換言すれば、ＸおよびＹ方向の増分は、光学システムの解像度に従って、すなわち、再構成平面２２での点広がり関数の半径に一致するように選択され得る（例えば、１６ｘ１６シフト）。標本は（サンプル中の）、個々の励起スポットアレイに応答して蛍光を放出し、これは、ＡＷＧ１３と同期して（１６）センサ２６によって捕捉される。

図６は、照明光に応答して放出された蛍光画像の１つを示している。拡大された挿入図は、結果として得られる画像もまた光スポットのアレイであることを示しており、その強度は焦点面での蛍光分子の局所密度に関連し、主に焦点外面から来る散乱光の雲によって囲まれている。この散乱光は、除去されない場合、図７に示すように、最終画像のコントラストおよび解像度を大幅に低下させる。共焦点フィルタリングは、単一発光フレームで実行される。対象の平面の上下の平面から来る蛍光光子は、励起焦点の周りに光のハローを生成し、これは、画像をデジタル処理することに取り除くことができ、すなわち、各光点の周りの小さな円内の情報のみが保持され、残りの画像は削除される。

図７は、励起スポットアレイの１つに対する試料の個々の応答を再び示している。ファロイジン＋ＴＲＩＴＣで免疫標識されたニワトリ胚のアクチンネットワークの蛍光画像が示されている。左から右へ、単一発光フレーム（励起パターンは３２ｘ３２レーザスポットの正方形アレイで構成される。図７Ａ）、広視野（非共焦点）画像（図７Ｂ）、ピンホールフィルタリングおよび単一発光フレームのセット全体の追加後に得られた共焦点画像（図７Ｃ）である。

最終的な画像が、焦点外の光をフィルタリングすることなく、これらの個々の応答の追加として構成される場合、図７Ｂの画像が得られる。対照的に、個々の蛍光フレームがデジタルでピンホールされている場合、最終的な構成の前に励起焦点の周りの小さな円内の光のみを保持することにより（図６の右端の画像を参照）、図７Ｃの結果が得られ、改善された解像度およびコントラストが明確に示されている。スポットアレイ照明は、この操作の実行を可能にし、その使用を正当化する。

図８は、蛍光を交互に捕捉し、焦点外の光をフィルタリングし、図５のレイアウトに従って照明パターンを新しい位置にシフトするスキームに従った蛍光画像の再構成を示す。最終的に再構成された画像の品質は、物理的なピンホールに基づいた従来の共焦点顕微鏡によって生成されたものに匹敵する。デジタルでピンホールされた発光フレームの合計としての最終画像の再構成。励起スポットアレイは、サンプルを完全に走査する１６ｘ１６＝２５６の場所にシフトされる。

図９は、いくつかのホログラムを連続して（例えば、分離可能な分解で）表示する必要がある場合に生じる問題を示している。第一に、ホログラムは、光ビームを効率的に変調するために、一連の次のホログラムに切り替える前に、ＡＷＧ１３によって連続して数サイクル繰り返される必要がある。事実上、移動するホログラムが１回だけ表示される場合、ホログラムが光学ウィンドウを完全に通過する時、１つの時点でのみ正しく再構築され
るに過ぎない。その時点より前は、露光されたレーザ領域をまだ通過している最中なので、部分的にしか表示されない。その時点の後、最初のホログラムが照明された領域を離れ始め、次のホログラムが表示され始め（図９）、一時的にＡＯＤウィンドウを部分的に共有し、それがクロストークを引き起こす。連続するホログラム間の遷移中に生成される回折パターンは、再構成の品質を低下させる。

逆に、ホログラムの移動性によって生成される循環シフト（繰り返しにより、照らされたウィンドウの一端から消えるホログラムの一部が、他方の端部を介して明らかに再び現れる）が、フーリエ変換特性のために再構成に影響を与えないので、１つのホログラムの信号が連続的に繰り返されている間、再構成は最適である。

この問題を解決するために、妥当な再構成時間を確保する有限数のインスタンスで各ホログラム信号を繰り返すことができる。単一のホログラムが表示される合計時間と、２つのホログラム間の遷移時間との比率によって、再構成の品質が決定する。追加の手段として、一時的な混合を完全に抑制するために、ホログラムの繰り返しの各ペアを分離するブランク信号期間を導入することができる。ただし、より多くの繰り返しおよびブランキング期間が使用される場合、再構成時間が長くなり、その結果、アプリケーションの必要性に応じてフレームレートと品質とのトレードオフが実施されなければならない。

ホログラムシーケンスに関する追加の問題は、ＸホログラムとＹホログラムの誤った乗算に関連する。ＸウィンドウおよびＹウィンドウの両方が、ホログラム遷移中に２つの連続したホログラム（ＡＯＤｘ ８のＸホログラム１とＸホログラム２、およびＡＯＤｙ ９のＹホログラム１とＹホログラム２）を表示し、誤った生成物（Ｘ－ホログラム１とＹ－ホログラム２との間、およびＸ－ホログラム２とＹ－ホログラム１との間）が形成されることに留意されたい。 ＸシーケンスとＹシーケンスが同期している場合、この影響は最小限に抑えられる。

ただし、２つのＡＯ結晶の音速差、または２つのＡＯＤ装置の照明領域の空間的センタリングなど、いくつかの要因に応じて、ＲＦ信号（２つの装置に同時に注入される）は、２つの異なる時間にレーザビームに到達する、移動するホログラムを生成する。

これは、Ｘ軸のホログラムがＹ軸の間違ったホログラムを乗算する（例えば、シーケンスの第１のＸホログラムがシーケンスの第２のＹホログラムを乗算する）過渡期間を一時的に延長する効果がある。したがって、ホログラムの位置合わせに失敗すると、最終的に再構成された画像にアーチファクトを誘導する。

したがって、ＡＷＧ１３の重要な特徴は、ＡＯＤセルにおけるこれらの音響経路の違いを補償するために、他方のチャンネルに対して一方のチャンネルにおけるホログラムシーケンスを前進または遅延させる手段（相対位相遅延制御）を組み込むことであり得るが、その結果、図１０に示されるように、ＡＯＤｘ ８の信号をＡＯＤｙ ９の信号に正確に整列させることができる。

三角形のスポットパターンは分離できない。しかしながら、無期限に繰り返される場合、図１０ｂおよび図１０ｃのスポットパターンを生成する分離可能なホログラムを計算することができる。

上記に考察するように繰り返しおよびブランキング期間を考慮し、２つのＡＷＧチャンネル間の適切な位相遅延によって、これら２つの同じホログラムがカメラの積分時間中に連続して表示される場合、図１０ａは正確に形成された、分離不可能な三角スポットアレイを正しく示している。対照的に、図１０ｄおよび図１０ｅは、セットアップにおける実
際の音響経路の差を事前に補償しない位相遅延のための設定によって、三角形のスポットアレイの不正確な再構成を示している。

いくつかの例のみが本明細書に開示されているが、他の代替形態、修正形態、使用、および／またはそれらの均等物が可能である。さらに、説明されている例のすべての可能な組み合わせもまた包含される。したがって、本開示の範囲は、特定の例によって限定されるべきではなく、以下の特許請求の範囲の公正な読み取りによってのみ決定されるべきである。図面に関連する参照符号がクレームの括弧内に配置されている場合、それらはクレームの了解度を高めることのみを目的としており、クレームの範囲を制限すると解釈されるべきではない。

米国特許第９３９５３４０号明細書

Claims (15)

1. 光源（１、２）と、該光源からの光ビームを変調する空間光変調器とを備え、該変調された光ビームは、前記顕微鏡の対物レンズ（２１）の下に配置されたサンプルを横切って走査することを意図し、該サンプルはフルオロフォアを備える、光学顕微鏡用のプログラム可能な多点照明器であって、
   前記空間光変調器が第１の音響光学偏向器（８）および第２の音響光学偏向器（９）を備え、該第１の音響光学偏向器が第１の変調面（８１）を有し、該第２の音響光学偏向器が第２の変調面（９１）を有し、前記２つの音響光学偏向器は、異なる方向にそれぞれの偏向を提供するためにカスケードに配置されることを特徴とし、前記空間光変調器は、前記サンプルを横切って２つの次元に走査することができ、前記空間光変調器が、前記第１の変調面を前記第２の変調面と共役させるための望遠鏡リレー（１０）をさらに備え、前記照明器が、ホログラムを合成するように構成されており、かつ前記空間光変調器が前記ホログラムに応答して光ビームを変調するために、同時にそのような第１のホログラムを前記第１の音響光学偏向器内に注入し、そのような第２のホログラムを前記第２の音響光学偏向器内に注入するように配置されている任意波形発生器（１３）をさらに備える、照明器。
2. 前記任意波形発生器（１３）が多チャンネル発生器であり、少なくとも１つのチャンネルが前記第１の音響光学偏向器（８）にホログラムを注入し、少なくとも別のチャンネルがホログラムを前記第２の音響光学偏向器（９）に注入するように配置され、前記任意波形発生器（１３）は、音響光学セルの音響経路の相違について補償し、前記第１の音響光学偏向器に対する前記ホログラムを前記第２の音響光学偏向器に対する前記ホログラムと位置合わせするために、一方のチャンネルのホログラムシーケンスを他方のチャンネルのホログラムシーケンスに対して前進または遅延させる手段を備える、請求項１に記載の照明器。
3. 前記任意波形発生器（１３）が任意の複雑さのホログラムを合成するように構成されている、請求項１または２に記載の照明器。
4. 各音響光学偏向器（８、９）用の先端傾斜型オプトメカニカルマウントをさらに備える、請求項１から３のいずれか一項に記載の照明器。
5. 前記光源がパルスレーザ（１、２）を備え、前記照明器は、音響光学偏向器（８、９）内部の大規模な速度分散を回避または低減するための分散補償器（３）をさらに備える、請求項１から４のいずれか一項に記載の照明器。
6. 所望の照明パターンの再構成を中間像面（１８）に投影するために、空間光変調器の後に配置された走査レンズ（１７）をさらに備え、該走査レンズが、前記顕微鏡のチューブレンズ（１９）と一緒に、音響光学偏向器（８、９）の変調面（８１、９１）を顕微鏡対物レンズ（２１）の入力瞳孔（２０）と共役させる４ｆ光学システムを形成する、請求項１から５のいずれか一項に記載の照明器。
7. 前記サンプル内の任意の励起された蛍光位置の画像の周りに１つのデジタルピンホールの実時間実施を可能にするように構成された電子マルチピクセル検出器を備える画像センサ（２６）を備え、前記サンプルによって放出された前記蛍光を前記画像センサ上に集束させるためのリレーシステム（２５）をさらに備える、請求項１から６のいずれか一項に記載の照明器を有する光学顕微鏡用の共焦点フィルタ。
8. 請求項１から６のいずれか一項に記載の照明器と、共焦点発光画像を正しく構成するた
   めに、前記任意波形発生器（１３）を前記画像センサ（２６）と同期させる手段（１６）を備える、請求項７に記載の共焦点フィルタと、を備える、共焦点顕微鏡。
9. 請求項８に記載の共焦点顕微鏡を操作する方法であって、
   前記光源（１、２）に特定の直径（Ｄ_１）の第１の光ビームを放出させるステップと、
   該第１の光ビームを所定の直径（Ｄ_２）を有する第２の光ビームに拡張して、前記第１の音響光学偏向器（８）上に照明ウィンドウを画定するステップと、
   前記第２の光ビームを変調し、それを第３の光ビームに変換するために、第１のホログラムを前記第１の音響光学偏向器に注入するステップと、
   前記第２の変調面（９１）上で該第３の光ビームを画像化するステップと、
   前記第３の光ビームの前記直径（Ｄ_２）が第２の光ビームの直径であり、前記第２の音響光学偏向器（９）上に照明ウィンドウを画定するように、ゼロ変調で前記第３の光ビームをコリメートするステップと、
   前記第３の光ビームを変調し、それを第４の光ビームに変換するために、第２のホログラムを前記第２の音響光学偏向器に注入するステップと、
   前記顕微鏡対物レンズ（２１）の前記入力瞳孔（２０）に該第４の光ビームを画像化するステップと、
   前記サンプルと交差する再構成平面（２２）上に前記第４の光ビームを集束させるステップと、
   前記サンプルから放出された蛍光を収集し、前記光を前記画像センサ（２６）上に集束させるステップと、
   を含む方法。
10. 前記第１の合成無線周波数信号を第１のデジタルホログラフィアルゴリズムで計算し、前記第２の合成無線周波数信号を第２のデジタルホログラフィアルゴリズムで計算するステップと、
    前記任意波形発生器（１３）を使用して、前記第１の計算された信号から前記第１の音響光学偏向器（８）内に注入される前記第１のホログラムと、前記第２の計算された信号から前記第２の音響光学偏向器（９）内に注入される前記第２のホログラムとを合成するステップと、をさらに含む、請求項９に記載の方法。
11. 前記第１または前記第２のホログラムを合成する前記任意波形発生器（１３）のチャンネル内のホログラムシーケンスを、前記他方のホログラムを合成する前記任意波形発生器の別のチャンネル内のホログラムシーケンスに関して、前進または遅延させるステップをさらに含む、請求項１０に記載の方法。
12. 各ホログラムを連続して数サイクル繰り返すステップと、別のホログラムに切り替える前に空白期間を導入するステップとをさらに含む、請求項１０または１１に記載の方法。
13. 前記ホログラムを分離可能な構成要素に分解するステップをさらに含む、請求項１０から１２のいずれか一項に記載の方法。
14. 共焦点画像を正しく構成するために、前記任意波形発生器（１３）を前記画像センサ（２６）と同期させるステップをさらに含む、請求項９から１３のいずれか一項に記載の方法。
15. 数学的に分離可能な照明パターンによって励起されたいくつかの処理された発光画像の合計として共焦点画像を構成するステップをさらに含む、請求項１３または１４に記載の方法。