JP6140737B2 - 多焦点構造化照射顕微鏡検査システムおよび方法 - Google Patents

Description

（関連出願への相互参照）
本出願は、２０１２年２月２３日に出願された米国仮特許出願第６１／６０２，１３９号に対して優先権を主張するＰＣＴ特許出願である。上記文献は、その全体として参照することによって本明細書において援用される。

（分野）
本明細書は、多焦点構造化照射顕微鏡検査に関し、特に、試料の多焦点パターンから生じる複数の多焦点蛍光発光を生成するための多焦点構造化照射顕微鏡検査システムおよび方法に関する。

（背景）
従来の蛍光顕微鏡検査は、「回折限界」と称される光の波長によって、分解能が限定され、これは、試料が顕微鏡によって検出される蛍光を放出するときの典型的励起および放出波長において、横方向分解能を約２００ｎｍに、軸方向分解能を約５００ｎｍに制限する。共焦点顕微鏡検査は、点照射および空間ピンホール配列を使用して、焦点面より厚い標本からの焦点外放出光を排除し、それによって、ピンホールを緊密に閉鎖することを要求する方法による回折限界より１．４１倍の分解能を伴う画像を送達することによって、回折限界を超えて、光学分解能を増加させるために使用される、光学撮像技法である。残念ながら、ピンホールの閉鎖は、超分解能の本特定の方法を非実践的にするほど、試料から放出される光の信号レベルを低下させる。加えて、共焦点顕微鏡検は、不整合ピンホールが、検出された光信号の低減かつ脆弱をもたらすだけではなく、試料自体の軸方向光学切片化の低減をもたらすため、顕微鏡の照射ビームからの励起をピンホール／検出器と完璧に整合させなければならない。したがって、共焦点顕微鏡の不整合は、光信号の低減を生じさせ得る。

共焦点顕微鏡検査の分解能向上のための方法が、見出されているが、それは、カメラ画像内の画素等、検出器のアレイを使用し、アレイ内の検出器がそれぞれ、別個の共焦点画像を生成するものである。検出器のアレイが、十分に小さい場合、形成された共焦点画像はそれぞれ、共焦点画像が適切に整合されるとき、回折限界顕微鏡の１．４１倍の分解能が達成されるほど、緊密に閉鎖されたピンホールを伴う共焦点顕微鏡によって形成される類似共焦点画像に匹敵し得る。加えて、デコンボリューションは、画像分解能にさらなる増加を提供する。しかしながら、本検出器アレイ配列は、単一励起点のみ試料の２次元平面全体を通して走査されるため、限定され、これは、試料が走査され得る速度および試料の蛍光発光の後続検出を限定する。

構造化照射顕微鏡検査（ＳＩＭ）と称される、別のタイプの顕微鏡検査は、試料に対して異なる位置に平行移動および回転される、空間的に変調された励起強度で試料を照射し、広視野画像が、各平行移動および回転において撮影される。未加工画像を適切に処理することによって、従来の広視野顕微鏡検査の２倍の横方向分解能を有する、最終画像がもたらされる。そのようなＳＩＭシステムは、従来の顕微鏡の２倍の空間分解能を伴う画像を発生させるが、複数の未加工画像のそれぞれを取得するために時間がかかるため、最終画像を生成するとき、依然として、時間的分解能を犠牲にする。ＳＩＭはまた、「光学切片化」として知られる焦点外ぼけを排除するために使用され得る。しかしながら、そのような光学切片化は、計算上で行なわれ、したがって、ショット（Ｐｏｉｓｓｏｎ）雑音を被る。ＳＩＭは、したがって、背景蛍光が、焦点内信号を圧倒するほどのこのようなショット雑音寄与を生じさせ得るとき、厚いまたは著しく染色された試料には不適切である。

したがって、当技術分野において、走査速度を犠牲にせず、各高分解能画像のための試料の多焦点励起パターンを生成し、ＳＩＭ画像を破壊し得る、ショット雑音を抑制する、構造化照射顕微鏡検査システムの必要性が、存在する。

（要約）
ある実施形態では、顕微鏡検査システムは、単一光ビームを伝送するための光源と、単一光ビームを複数の光ビームに分割し、多焦点パターンを形成するためのビームスプリッタとを含んでもよい。スキャナは、試料が各多焦点パターンから生じる複数の蛍光発光を発生させるように、多焦点パターンを試料上に形成する、複数の光ビームを走査する。焦点化構成要素は、次いで、各多焦点パターンから生じる複数の蛍光発光の焦点外蛍光発光を物理的に遮断するように構成された開口を画定し、焦点内蛍光発光を、開口を通して通過させる。加えて、スケーリング構成要素は、複数の焦点内蛍光発光のそれぞれが、所定の係数によってスケールダウンされ、各多焦点パターンから生じる複数のスケーリングされた焦点内蛍光発光を生成するように、各多焦点パターンから生じる複数の焦点内蛍光発光をスケールダウンする。加算構成要素は、複数のスケーリングされた焦点内蛍光発光のそれぞれを加算し、複数の加算されたスケーリングされた焦点内蛍光発光の複合画像を形成する複数の加算されたスケーリングされた焦点内蛍光発光を生成する。

別の実施形態では、顕微鏡検査システムは、単一光ビームを伝送するための光源と、単一光ビームを複数の光ビームに分割し、複数の多焦点パターンを形成するためのビームスプリッタであって、複数の多焦点パターンのそれぞれは、複数の焦点を画定する、ビームスプリッタと、試料が、多焦点パターンのそれぞれから生じる複数の蛍光発光を発生させるように、複数の多焦点パターンのそれぞれを形成する複数の光ビームを試料上に走査するためのスキャナであって、複数の多焦点パターンのそれぞれは、複数の蛍光焦点を画定する、スキャナと、多焦点パターンのそれぞれから生じる複数の蛍光発光を収集するための検出器と、検出器から収集された多焦点蛍光発光を処理するための処理システムとを含み得、処理システムは、複数の収集された多焦点蛍光発光を記憶するために、データベースと動作通信するプロセッサを備え、プロセッサは、複数の多焦点パターンのそれぞれから生じる焦点外蛍光発光を除去し、複数の多焦点パターンのそれぞれから生じる焦点内蛍光発光のみを残し、次いで、プロセッサは、局所縮小動作において、複数の多焦点パターンのそれぞれから生じる焦点内蛍光発光をスケーリングし、多焦点パターンのそれぞれから生じる複数の蛍光放出のそれぞれは、複数の蛍光発光が縮小し、スケーリングされた焦点内蛍光発光を生成するにつれて、多焦点パターンから生じる別の複数の蛍光発光から同一の割合の距離を維持し、プロセッサは、複数の多焦点焦点内蛍光発光を加算し、複合画像を生成する。

さらに別の実施形態では、多焦点構造化照射顕微鏡検査のための方法は、
単一光ビームを発生させることと、
単一光ビームを複数の光ビームに分割することであって、複数の光ビームのそれぞれの焦点は、複数の多焦点パターンを形成する、ことと、
複数の多焦点パターンのそれぞれを形成する複数の光ビームで試料を照射することであって、照射された試料は、複数の多焦点パターンのそれぞれから生じる複数の蛍光発光を生成する、ことと、
ピンホール動作を行なうことであって、複数の蛍光発光からの焦点外蛍光発光が遮断され、複数の蛍光発光からの焦点内蛍光発光のみが、ピンホール動作の間、通過される、ことと、
所定の係数によって、複数の多焦点パターンから生じる複数の焦点内蛍光発光の各焦点をスケーリングし、複数の多焦点パターンから生じる複数のスケーリングされた焦点内蛍光発光を生成することと、
複数のスケーリングされた焦点内蛍光放出のそれぞれを加算し、複合画像を形成することと
を含んでもよい。
例えば、本願発明は以下の項目を提供する。
（項目１）
顕微鏡検査システムであって、
単一光ビームを伝送するための光源と、
前記単一光ビームを複数の光ビームに分割し、多焦点パターンを形成するためのビームスプリッタと、
試料が、各多焦点パターンを伴う複数の蛍光発光を発生させるように、前記多焦点パターンを前記試料上に形成する、前記複数の光ビームを走査するためのスキャナと、
各多焦点パターンのための前記複数の蛍光発光の焦点外蛍光発光を遮断するように構成された開口を画定し、焦点内蛍光発光を、前記開口を通して通過させる、焦点化構成要素と、
前記複数の焦点内蛍光発光のそれぞれが、スケールダウンされ、各多焦点パターンのための複数のスケーリングされた焦点内蛍光発光を生成するように、各多焦点パターンのための前記複数の焦点内蛍光発光をスケールダウンするためのスケーリング構成要素と、
前記複数のスケーリングされた焦点内蛍光発光のそれぞれを加算し、複数の加算されたスケーリングされた焦点内蛍光発光の複合画像を形成する前記複数の加算されたスケーリングされた焦点内蛍光発光を生成するための加算構成要素と
を備える、システム。
（項目２）
前記ビームスプリッタは、マクロレンズアレイである、項目１に記載の顕微鏡検査システム。
（項目３）
前記焦点化構成要素は、ピンホールアレイである、項目１に記載の顕微鏡検査システム。
（項目４）
前記スケーリング構成要素は、複数のマクロレンズアレイである、項目１に記載の顕微鏡検査システム。
（項目５）
各多焦点パターンは、前記複数の焦点内蛍光発光のそれぞれのための複数の個別の焦点を画定し、前記スケーリング構成要素は、局所縮小において、前記複数の焦点をスケーリングし、前記多焦点パターン内の前記複数の焦点のそれぞれは、前記複数の蛍光発光が、所定の係数によって、縮小するにつれて前記多焦点パターン内の他の複数の焦点から同一の割合の距離を維持する、項目１に記載の顕微鏡検査システム。
（項目６）
前記複合画像をデコンボリューションするための処理サブシステムをさらに備える、項目１に記載の顕微鏡検査システム。
（項目７）
前記スキャナは、前記試料によって放出される前記複数の蛍光発光を前記焦点化構成要素に逆走査する、項目１に記載の顕微鏡検査システム。
（項目８）
前記複数の光ビームを一方向に通過させ、反対方向からの前記複数の蛍光発光を再指向させるためのダイクロイックミラーをさらに備える、項目１に記載の顕微鏡検査システム。
（項目９）
チューブレンズおよび対物レンズを通して前記試料を照射する前記複数の光ビームを結像するための第１のレンズをさらに備える、項目１に記載の顕微鏡検査システム。
（項目１０）
前記複数の光ビームは、３５０ｎｍ〜１２００ｎｍの波長を有する、項目１に記載の顕微鏡検査システム。
（項目１１）
前記複数の蛍光発光は、３５０ｎｍ〜１２００ｎｍの波長を有する、項目１に記載の顕微鏡検査システム。
（項目１２）
約３５０ｎｍ〜１２００ｎｍのスケーリングされた焦点内蛍光発光を検出器に通過させるための発光フィルタをさらに備える、項目１１に記載の顕微鏡検査システム。
（項目１３）
前記複数のスケーリングされた焦点内蛍光放出を検出するための検出器をさらに備える、項目１に記載の顕微鏡検査システム。
（項目１４）
前記スキャナは、前記スケーリングされた焦点内蛍光発光を前記検出器に再走査する、項目１２に記載の顕微鏡検査システム。
（項目１５）
顕微鏡検査システムであって、
単一光ビームを伝送するための光源と、
前記単一光ビームを複数の光ビームに分割し、複数の多焦点パターンを形成するためのビームスプリッタであって、前記多焦点パターンのそれぞれは、複数の焦点を画定する、ビームスプリッタと、
試料が、複数の蛍光焦点を画定する前記多焦点パターンのそれぞれ内に複数の多焦点蛍光発光を発生させるように、前記試料上に前記多焦点パターンのそれぞれを形成する、前記複数の光ビームを走査するためのスキャナと、
前記多焦点パターンのそれぞれから生じる前記複数の多焦点蛍光発光を収集するための検出器と、
前記検出器から収集された前記多焦点パターンのそれぞれから生じる前記複数の多焦点蛍光発光を処理するための処理システムと
を備え、
前記処理システムは、前記多焦点パターンから生じる前記複数の収集された多焦点蛍光発光を記憶するためのデータベースと動作通信するプロセッサを備え、前記プロセッサは、前記複数の蛍光発光のそれぞれのための焦点外蛍光発光を除去し、前記複数の多焦点パターンのそれぞれから生じる焦点内蛍光発光のみを残し、次いで、前記プロセッサは、局所縮小動作において、前記複数の多焦点パターンのそれぞれから生じる前記焦点内蛍光発光をスケーリングし、前記多焦点パターンのそれぞれから生じる前記複数の蛍光焦点のそれぞれは、前記複数の蛍光焦点が、縮小し、スケーリングされた焦点内蛍光発光を生成するにつれて、前記多焦点パターンから生じる別の複数の蛍光焦点から同一の距離を維持し、前記プロセッサは、各スケーリングされた焦点内蛍光発光を加算し、複合画像を生成する、システム。
（項目１６）
前記プロセッサが、前記スケーリングされた焦点内蛍光発光を伴う前記複数の多焦点パターンを処理するためのデコンボリューション動作を実行することをさらに含む、項目１５に記載の顕微鏡検査システム。
（項目１７）
前記ビームスプリッタは、デジタルマイクロミラーデバイスまたは掃引場共焦点ユニット、または回転盤、またはＮｉｐｋｏｗ共焦点走査ヘッドである、項目１５に記載の顕微鏡検査システム。
（項目１８）
前記処理システムは、前記複数の多焦点パターンのそれぞれの自動格子検出を実行し、１つ以上の照射スポットの位置を判定する、項目１５に記載の顕微鏡検査システム。
（項目１９）
前記自動格子検出は、複数のベクトルを判定し、前記１つ以上の照射スポットのそれぞれの位置を特定する、項目１８に記載の顕微鏡検査システム。
（項目２０）
前記複数のベクトルは、格子ベクトル、シフトベクトル、および／またはオフセットベクトルを含む、項目１９に記載の顕微鏡検査システム。
（項目２１）
前記格子ベクトルのうちの２つは、任意の２つの近隣照射スポット間の２次元変位を規定する、項目２０に記載の顕微鏡検査システム。
（項目２２）
多焦点構造化照射顕微鏡のための方法であって、
単一光ビームを発生させることと、
前記単一光ビームを複数の光ビームに分割することであって、各前記複数の光ビームの焦点は、複数の多焦点照射パターンを形成する、ことと、
試料を前記複数の多焦点照射パターンのそれぞれを形成する前記複数の光ビームで照射することであって、前記照射された試料は、前記複数の多焦点パターンにおいて、複数の蛍光発光を生成する、ことと、
ピンホール動作を行なうことであって、前記複数の蛍光発光からの焦点外蛍光放出が遮断され、前記複数の蛍光発光からの焦点内蛍光放出のみが、前記ピンホール動作の間、通過される、ことと、
所定の係数によって、前記複数の多焦点パターンから生じる前記複数の焦点内蛍光発光の各焦点をスケーリングし、前記複数の多焦点パターンから生じる複数のスケーリングされた焦点内蛍光発光を生成することと、
前記複数のスケーリングされた焦点内蛍光発光のそれぞれを加算し、複合画像を形成する複数の加算されたスケーリングされた焦点内蛍光発光を生成することと
を含む、方法。
（項目２３）
前記複数の多焦点パターンのそれぞれから生じる前記複数のスケーリングされた焦点内蛍光発光は、局所縮小を受け、多焦点パターン内の焦点のそれぞれ間の相対的距離は、割合が同一を維持する、項目２２に記載の方法。
（項目２４）
前記試料上に前記複数の多焦点パターン内の前記複数の光ビームを走査することをさらに含む、項目２２に記載の方法。
（項目２５）
前記試料上に前記複数の多焦点パターンを走査することは、検流計によって行なわれる、項目２４に記載の方法。
（項目２６）
加算されたスケーリングされた焦点内蛍光発光から成る前記複合画像上でデコンボリューション動作を行なうことをさらに含む、項目２２に記載の方法。
（項目２７）
多焦点構造化照射顕微鏡のための方法であって、
単一光ビームを発生させることと、
前記単一光ビームを複数の光ビームに分割することであって、各前記複数の光ビームの焦点は、複数の多焦点パターンを形成する、ことと、
前記複数の多焦点パターンのそれぞれを形成する前記複数の光ビームで試料を照射することであって、前記照射された試料は、各前記複数の多焦点パターンから生じる複数の蛍光発光を生成する、ことと、
ピンホール動作を行なうことであって、前記複数の蛍光発光からの焦点外蛍光発光が遮断され、前記複数の蛍光発光からの焦点内蛍光発光のみが、前記ピンホール動作の間、通過される、ことと、
所定の係数によって、前記複数の多焦点パターンから生じる前記複数の焦点内蛍光発光の各焦点をスケーリングし、前記複数の多焦点パターンから生じる複数のスケーリングされた焦点内蛍光発光を生成することと、
前記複数のスケーリングされた焦点内蛍光放出のそれぞれを加算し、複合画像を形成することと
を含み得る、方法。
（項目２８）
前記加算されたスケーリングされた焦点内蛍光発光から生じる前記複合画像上でデコンボリューション動作を行なうことをさらに含む、項目２７に記載の方法。

付加的目的、利点、および新規特徴は、以下の説明に記載され、以下の図面および発明を実施するための形態の検討に応じて、当業者に明白となるであろう。

図１は、多焦点構造化照射顕微鏡検査（ＳＩＭ）システムにおいて、多焦点パターンを発生させるための一方法を図示する、簡略化されたブロック図である。 図２は、多焦点ＳＩＭシステムの別の実施形態において、多焦点パターンを発生させるための別の方法を図示する、簡略化されたブロック図である。 図３は、図１の多焦点ＳＩＭシステムの一実施形態のための種々の構成要素を示す、簡略化された例証図である。 図４は、図２の多焦点ＳＩＭシステムの一実施形態のための種々の構成要素を示す、簡略化された例証図である。 図５は、複数の焦点を伴う多焦点パターンを示す、簡略化された例証図である。 図６は、試料によって放出される多焦点パターンから生じる、焦点内蛍光発光をスケーリングする、スケーリング動作を示す、簡略化された例証図である。 図７は、図４の多焦点ＳＩＭシステム内の処理システムによって、スケーリング、および加算動作を行なうための一方法を図示する、流れ図である。 図８は、処理システムの焦点外蛍光排除、スケーリング、および加算動作を実行するときの格子ベクトルを取得するための一方法を図示する、流れ図である。 図９は、処理システムの焦点外蛍光排除、スケーリング、および加算動作を実行するときのオフセットベクトルを取得するための一方法を図示する、流れ図である。 図１０は、処理システムの焦点外蛍光排除、スケーリング、および加算動作を実行するときのシフトベクトルを取得するための一方法を図示する、流れ図である。 図１１は、処理システムの焦点外蛍光排除、スケーリング、および加算動作を実行するときのピンホールマスキングの一方法を図示する、流れ図である。 図１２は、処理システムの焦点外蛍光排除、スケーリング、および加算動作を実行するときのスケーリングおよび局所縮小のための一方法を図示する、流れ図である。 図１３は、処理システムの焦点外蛍光排除、スケーリング、および加算動作を実行するときの加算のための一方法を図示する、流れ図である。 図１４は、多焦点ＳＩＭシステムの一実施形態の試験の間に使用される照射システムを示す、簡略化された例証図である。 図１５は、フルオロマウント内に埋め込まれた試料の種々の画像を図示する。 図１６は、フルオロマウント内に埋め込まれた二重標識された３次元試料の種々の画像を図示する。 図１７は、ピンホール焦点化、スケーリング、および３次元デコンボリューション後の多焦点照射システムを使用した試料の種々の画像を図示する。

対応する参照文字は、図面の表示間で対応する要素を示す。図中で使用される見出しは、請求項の範囲を限定するものと解釈されるものではない。

（詳細な説明）
現在の顕微鏡検査では、構造化照射顕微鏡検査（ＳＩＭ）は、後に検出される試料蛍光を励起させるための空間的にパターン化された光と、従来の広視野顕微鏡検査画像の２倍の分解能を伴う超分解能画像を生成するように処理された１つ以上の画像とを使用して、単一細胞を検査するために使用され得る。しかしながら、ＳＩＭ顕微鏡は、分解能が高いほど速度を犠牲にする（超分解能画像毎に複数の未加工画像を撮影する）。さらに、ＳＩＭシステムにおける光学切片化は、計算上で行なわれ、したがって、蛍光背景に固有のショット雑音を受けやすい。これは、検査され得る試料の厚さを限定し、それによって、より厚い試料を検査するとき、他の顕微鏡検査技法が使用されることを要求する。例えば、共焦点顕微鏡検査システムは、ピンホール配列を使用して、焦点外光を物理的に排除し、試料によって放出される放出光からの特定の焦点のみからの光をシステムによって検出させ、それによって、ＳＩＭ顕微鏡によって達成可能であるものより比較的に厚い試料の高コントラストの光学的に切片化された画像を生成する。共焦点顕微鏡はまた、従来の広視野顕微鏡検査と比較して、向上した分解能を提供可能である。しかしながら、共焦点顕微鏡によって向上した本画像分解能は、ピンホール配列を絞ることによって達成され、これは、対応して、試料から検出される蛍光発光信号の著しい損失をもたらす。修正された共焦点顕微鏡は、放出信号強度を犠牲にせずに、ＳＩＭ顕微鏡の分解能レベルまで画像分解能を改善することが示されている。しかしながら、本顕微鏡によって達成される走査速度の遅さは、研究目的には非実践的である。

したがって、本明細書に記載される多焦点ＳＩＭシステムの実施形態は、従来の顕微鏡検査撮像システムによって要求される走査速度および信号強度を犠牲にせずに、高画像分解能を達成することに関連する問題を解決し、現在市販のＳＩＭシステムより厚い試料において優れた性能を提供する、特定の構成要素、特性、および特徴を含む。本明細書に説明される多焦点ＳＩＭシステムは、試料の撮影される画像毎に多焦点励起パターンを発生させ、従来の共焦点顕微鏡検査およびＳＩＭシステムと比較して、有意な信号損失を伴わずに、高走査率で高分解能画像を生成する、特定の構成要素を含む。多焦点ＳＩＭシステムおよび方法のさらなる詳細は、以下により詳細に論じられる。

図面を参照すると、多焦点ＳＩＭシステムの種々の実施形態が、図示され、図１−４では、概して、１００および２００として示される。図１に図示されるように、１００として指定される、多焦点ＳＩＭシステムの一般的実施形態の１つが、示される。多焦点ＳＩＭシステム１００は、照射パターン発生動作１０２を行い、１つ以上の多焦点パターンを発生させるために、単一光ビームを複数の光ビームに分割し、各多焦点パターンは、複数の光ビームのそれぞれのための焦点の配列を画定する。例えば、多焦点パターン１７０の一実施例の簡略化された例証図は、図５に示される。一実施形態では、多焦点パターン１７０は、複数の光ビームによって画定される特定の多焦点パターン１７０に配列される、複数の焦点１７２を含んでもよく、各多焦点パターン１７０は、多焦点パターン１７０が、焦点１７２の所与の密度に対して、任意の２つの最近傍焦点１７２間の距離を最小限にし、それによって、クロストークを最小限にするように、複数の光ビームのための焦点の異なる配列を画定する。本明細書で使用されるように、クロストークという用語は、他の焦点からの励起および蛍光が、当該焦点から生じるかのように表出させる、近傍光ビームの能力を指す。走査動作１０４では、各多焦点照射パターン内の複数の光ビームは、試料１０６が複数の蛍光発光を放出するように照射されている試料１０６上にラスタされる。試料１０６によって放出される蛍光発光は、焦点化動作１１０における焦点外蛍光発光の除去のために複数の蛍光発光を再指向される、逆走査動作１０８においてラスタされる。焦点化動作１１０では、焦点外蛍光発光は、遮断され、焦点内蛍光発光のみ、処理のために通過される。

各多焦点パターンによって生じる焦点内蛍光発光は、次いで、所定の係数によって、蛍光発光のそれぞれを局所的に縮小させるスケーリング動作１１２を使用して、スケーリングされる。図６に図示されるスケーリング動作１１２の一実施形態では、単一多焦点パターン１７０内に生じた蛍光焦点１７２の局所縮小が、生じる。例えば、多焦点パターン１７０内における、それぞれ、スケーリングされた蛍光焦点１７２Ａ’および１７２Ｂ’への蛍光焦点１７２Ａおよび１７２Ｂの局所縮小は、蛍光焦点１７２Ａおよび１７２Ｂの幾何学的中心１７５間の距離３００ならびに蛍光焦点１７２Ａおよび１７２Ｂの距離３０２が、多焦点パターン１７０の蛍光焦点１７２に適用されたスケーリングの程度のかかわらず、同一のままであるように行なわれる。言い換えると、スケーリング動作１１２は、蛍光焦点のそれぞれ間の相対的距離を同一に維持しながら、蛍光焦点１７２を局所的に縮小させる。スケーリング動作１１２後、各多焦点照射パターンのためのスケーリングされた焦点内蛍光発光は、次いで、収集および加算動作１１６において、各多焦点パターンによって生じた縮小された焦点内蛍光発光を検出器によって収集および加算させ、複合高分解能画像を生成させる、再走査動作１１４において、ラスタされる。

いくつかの実施形態では、収集および加算動作１１６後、複合画像は、複合画像の分解能をさらに向上させる一定レベルのぼけ除去を行なう、デコンボリューション動作１１８を受けてもよい。デコンボリューション動作１１８は、市販のＰｉｏｔｙｒ Ｗｅｎｄｙｋｉｅｒ’ｓ Ｐａｒａｌｌｅｌ Ｉｔｅｒａｔｉｖｅ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ Ｐｌｕｇｉｎ等の任意の従来のデコンボリューション動作１１８であってもよい。

図２を参照すると、２００として指定される、多焦点ＳＩＭシステムの別の実施形態による、多焦点パターンを発生させるための別の方法が、図示される。多焦点ＳＩＭシステム２００は、照射パターン発生動作２０２を行い、単一光ビームが、複数の光ビームの１つ以上の多焦点パターンを発生させるために、複数の光ビームに分割される。走査動作２０４では、各多焦点パターンのための複数の光ビームが、試料２０６上にラスタされる。試料２０６は、収集動作２０８において検出された多焦点パターンに応答して、蛍光発光を生成する。収集動作２０８では、検出器は、焦点内蛍光発光を収集し、収集されたデータを処理動作２１０を行なう処理システムに伝送する。処理動作２１０は、各多焦点パターン内の焦点外蛍光発光を除去し、残りの焦点内蛍光発光をスケーリングし、次いで、スケーリングされた焦点内蛍光発光を加算し、多焦点パターンによって作成された複数の蛍光発光から構成される複合画像を発生させる。いくつかの実施形態では、収集されたデータは、次いで、画像分解能をさらに向上させる複合画像のぼけ除去を行なう、デコンボリューション動作１２０に類似するデコンボリューション動作２１２を受けてもよい。

図３を参照すると、多焦点ＳＩＭシステム１００の一実施形態は、マクロレンズアレイ等のビームスプリッタ１２４を通して伝送される、単一光ビーム１２２を発生させるための照射源１２０、例えば、レーザを含んでもよい。ビームスプリッタ１２４は、単一光ビーム１２２を、集合的に多焦点パターン１２８を形成する異なる焦点を有する複数の光ビーム１２６のそれぞれを伴う、複数の光ビーム１２６に分割する。いくつかの実施形態では、第１のレンズ１３０は、各多焦点パターン１２８を、画像ダイクロイックミラー１３２を通して、方向Ａに、そして、検流計等の走査装置１３４上へと結像し、走査動作１０４を行なう。

走査動作１０４の間、走査装置１３４は、複数の光ビーム１２６の各多焦点パターン１２８を、試料１４４上へ、第２のレンズ１３６、チューブレンズ１３８、および対物レンズ１４０の配列を通して、そして、試料１４４上へとラスタする。

試料１４４が複数の光ビーム１２６の多焦点パターン１２８によって照射されることに応答して、試料１４４は、光ビーム１２６から成る多焦点パターン１２８によって生じる蛍光発光１４２を放出させる。照射された試料１４４によって放出される各多焦点パターン１２８のための複数の蛍光発光１４２は、次いで、対物レンズ１４０を通して捕捉され、チューブレンズ１３８および第２のレンズ１３６を通して、複数の光ビーム１２６が、直接、ダイクロイックミラー１３２に通過する、方向Ａと反対の方向Ｂに、第２のレンズ１３６からの蛍光発光１４２をダイクロイックミラー１３２上にラスタすることによって、複数の蛍光発光１４２のそれぞれを逆走査する、走査装置１３４上に通過される。方向Ｂでは、複数の蛍光発光１４２は、ダイクロイックミラー１３２によって再指向され、第３のレンズ１４６に通過され、そこで、複数の蛍光発光１４２は、次いで、ピンホールアレイ１４８上に焦点化され、ピンホール動作１１０を行なう。

ピンホール動作１１０の間、ピンホールアレイ１４８は、焦点外蛍光発光１４２を物理的に遮断および排除し、焦点内蛍光発光１４２Ａのみ、ピンホールアレイ１４８に通過させる。一実施形態では、ピンホールアレイ１４８は、焦点内蛍光発光１４２Ａのみをピンホールアレイ１４８に通過させる一方、開口のうちのを１つも通過しない、いかなる蛍光発光１４２も遮断するように構成される、複数の開口を含んでもよい。

ピンホールアレイ１４８を通過後、複数の焦点内蛍光発光１４２Ａは、第２のマクロレンズアレイ１５２と直列に配列された第１のマクロレンズアレイ１５０を使用して、所定の係数、例えば、係数２によって、個別の多焦点パターン１２８のための焦点のそれぞれを局所的に縮小する、前述のスケーリング動作１１２を使用してスケーリングされる。一実施形態では、第１のマクロレンズアレイ１５０は、焦点内蛍光発光１４２Ａの多焦点パターン１２８をコリメートする一方、第２のマクロレンズアレイ１５２は、コリメートされた焦点内蛍光発光１４２Ａを受光し、各焦点が所定の係数によってスケールダウンされ、多焦点パターン１２８の局所縮小を達成するように、コリメートされた焦点内蛍光発光１４２Ａのための焦点距離を修正する。いくつかの実施形態では、各多焦点パターン１２８によって生じたスケーリングされた焦点内蛍光発光１４２Ｂは、次いで、第１のミラー１５４によって再指向され、スケーリングされた焦点内蛍光発光１４２Ｂを第２のミラー１５６上に焦点化するために、第４のレンズ１５８を通過する。第２のミラー１５６は、スケーリングされた焦点内蛍光発光１４２Ｂを再指向し、特定の波長、例えば、５１５ｎｍを伴うスケーリングされた焦点内蛍光発光１４２Ｂのみ、発光フィルタ１６０を通過させる、発光フィルタ１６０を通過する。スケーリングされた焦点内蛍光発光１４２Ｂが、フィルタ処理されると、走査装置１３４は、各多焦点パターン１２８のためのスケーリングされた焦点内蛍光発光１４２Ｂが、収集され、焦点内蛍光発光１４２Ｂが、検出器１６４によって加算され、複合画像１４３を生成するように、第５のレンズ１６２を通して、検出器１６４上に蛍光発光１４２Ｂをラスタする。多焦点パターン１２８によって生じた蛍光発光１４２Ｂを収集するプロセスは、視野全体が照射され、全ての結果として生じる蛍光発光１４２Ｂが検出器１６４によって収集されるまで、繰り返される。

いくつかの実施形態では、検出器１６４は、視野全体が照射され、全ての収集されたデータが受信されるまで、収集のために、スケーリングされた焦点内蛍光発光１４２Ｂが、検出器１６４上にラスタされるにつれて露出させるために、シャッタが開放されたままのカメラであってもよい。

いくつかの実施形態では、複合画像１４３は、ぼけ除去機能を行い、各複合画像１４３の分解能を向上させる、デコンボリューション動作１１８を行なう、処理システム１６６に伝送される。

図４を参照すると、多焦点パターン２２３を発生させるための多焦点ＳＩＭシステム２００の一実施形態は、拡大された光ビーム２０３を、ビームスプリッタ２０９、例えば、市販のデジタルマイクロミラーデバイス（ＤＭＤ）または掃引場共焦点ユニット上に走査する、走査動作２０４を行なうためのビーム操向ミラー２０７に反射する、拡大された単一光ビーム２０３を生成する、ビーム拡大器２０５を通して伝送される、単一光ビーム２０３を発生させる、照射源２０１を含んでもよい。いくつかの実施形態では、ＤＭＤは、多焦点パターン２２３を発生および切り替え、各焦点は、多焦点パターン２２３上の照射されたスポットである。各照射スポットは、拡大された光ビーム２０３の一部が、単一ＤＭＤミラー画素に反射するように、ＯＮ位置にある単一ＤＭＤミラー画素によって作成される。ビームスプリッタ２０９は、走査されている拡大された光ビーム２０３を、集合的に一連の多焦点パターン２２３を形成する複数の拡大された光ビーム２０３Ａに分割する、照射パターン発生動作２０２を行なう。各多焦点パターン２２３のための複数の拡大された光ビーム２０３Ａは、第１のチューブレンズ２１１を通して通過され、方向Ａに沿って、直接、ダイクロイックミラー２１３を通して通過する。

直接、ダイクロイックミラー２１３を通して通過後、拡大された光ビーム２０３Ａは、試料２１７の試料照射２０６を行なうために、対物レンズ２１５によって、試料平面上に焦点化され、試料２１７によって放出される複数の蛍光発光２０５を発生させる。収集動作２０８では、蛍光発光２２２は、各多焦点パターン２２３のための蛍光発光２２２が再指向され、第２のチューブレンズ２１９を通して通過するような方向Ｃと反対の方向Ｄに沿って、対物レンズ２１５を通して、ダイクロイックミラー２１３上に逆焦点化される。第２のチューブレンズ２１９は、蛍光発光２２２を検出器２２１上に焦点化し、したがって、焦点外光を排除し、スケーリング、および加算動作２１０を行なう処理システム２２５に伝送するために、収集されたデータ２２７の形態において、各多焦点パターン２２３を収集する。各多焦点パターンによって生じた蛍光発光２２２を収集するプロセスは、視野全体が照射されるまで繰り返される。いくつかの実施形態では、処理システム２２５は、以下により詳細に論じられるように、命令を実行することによって、コンピュータ可読媒体等のデータベース２３２内に記憶された収集されたデータ２２７を処理するために、検出器２２１と動作通信するプロセッサ２３０を含んでもよい。

一実施形態では、処理システム２２５は、焦点外蛍光発光２２２を排除し、収集されたデータ２２７を処理するために、コンピュータ化された手順を使用して、各多焦点パターン２２３のための収集されたデータ２２７において、スケーリング、および加算動作２１０を行なう。図７を参照すると、流れ図は、処理システム２２５を使用して、焦点外蛍光排除、スケーリング、および加算動作２１０を行なうための一方法を図示する。ブロック１０００では、処理システム２２５は、多焦点照射パターン２２３の自動格子検出を行なう。具体的には、自動格子検出は、種々の蛍光焦点のピンホールマスキングおよび局所縮小を行なうために、特定の多焦点パターン２２３のための各照射焦点の位置を判定する。例えば、自動格子検出は、５つのベクトルを判定し、画像取得系列において、特定の多焦点パターン２２３内の各蛍光発光２２２のための全焦点の場所を完全に規定する。いくつかの実施形態では、５つのベクトルは、格子ベクトル、シフトベクトル、およびオフセットベクトルであってもよい。２つの格子ベクトルは、任意の２つの近隣照射スポット（例えば、焦点）間の２次元変位を規定する。したがって、格子ベクトルによって変位された任意の格子点は、別の格子点上に来るであろう。熱シフトのため、各照射スポットの正確な場所は、時間に伴って変動し得、したがって、収集されたデータ２２７からの各測定されたデータセットに対して全ベクトルを正確に抽出することは、以下の方法論を使用して、最良の結果を提供する。

図８を参照すると、処理システム２２５が、焦点外排除、スケーリング、および加算動作２１０を行なうときに収集されたデータ２２７の各測定されたデータセットに対する全ベクトルを正確に抽出するための方法が、示される。オフセットベクトルは、処理システム２２５によって処理されている任意の１つの画像取得系列において、多焦点パターンの中心に最も近い照射スポットの絶対位置を規定する。シフトベクトルは、連続画像間で移動した特定の多焦点パターン２２３のための各照射スポットの距離を規定する。多焦点パターン２２３は、２次元平面でラスタされるため、「高速」シフトベクトルが、動作２１０の全ステップに適用され、「低速」シフトベクトルは、「高速」シフトベクトルが、１行の照射を完了すると適用される。本明細書で使用されるように、用語「高速」シフトベクトルは、単一行内のそれらの格子点を規定し、用語「低速」シフトベクトルは、連続行を規定する。ブロック２０００では、特定の多焦点パターン２２３から捕捉された蛍光１４２Ｂを表す各未加工画像は、Ｈａｎｎウィンドウ（フーリエ領域内のリンギングを防止する）によって操作され、フーリエ変換される。ブロック２００２では、結果として生じるフーリエの大きさが、平均化され、フーリエ空間内のピーク場所の高信号対雑音測定値が求められる。ブロック２００４では、平均化された結果として生じるフーリエの大きさは、帯域通過フィルタを通してフィルタ処理される。ブロック２００６では、フーリエ領域内のスパイクまたはピークの検索が、達成される。加算されたフーリエの大きさに対する未加工画像は、ピークの周期格子であると予測されるため、格子要素または雑音のいずれかである、フーリエ極大値を判定することによって、各周期格子の次元化が行なわれる。ブロック２００８では、３つの最低空間周波数ピークの高調波が、予測される周波数倍数またはその近傍におけるピーク強度を計算上検索することによって判定される。ブロック２０１０では、高調波を伴う３つの最低空間周波数ピークの場所を前提として、格子ベクトルを構成する、そのベクトル和および差におけるピークの検索が行なわれる。本方法では、周期格子内のピークは、各格子点が、フーリエ格子ベクトルの整数のベクトル和に位置する、同一の格子内の他のピークの場所を予測する。ブロック２０１２では、処理システム２２５は、最小二乗法によって、結果として生じる連立方程式を解法し、３つの格子ベクトルを求める。フーリエ領域内のいかなる単一ピークも、雑音または画素化によるある程度の位置誤差を有するであろう。最小二乗法を利用することによって、各ピークによって提供される情報は、格子次元のより正確な測定を生成する。ブロック２０１４では、処理システム２２５は、格子ベクトルを加算し、誤差ベクトルを判定し、次いで、各フーリエ格子ベクトルから、誤差ベクトルの３分の１を減算する。ブロック２０１６では、２つのフーリエ格子ベクトルのうちの任意の２つが、選択および変換され、実空間格子ベクトルが求められる。多焦点照射パターンのための２つの格子ベクトルを求めることは、実質的に、オフセットベクトルおよびシフトベクトルを測定することをより容易にすることが分かっている。

図９を参照すると、処理システム２２５が、焦点外ぼけの排除、スケーリング、および加算動作２１０を行なうときのオフセットベクトルを判定するための方法が、示される。ブロック３０００では、第１の未加工画像は、メディアンフィルタ処理される。ブロック３００２では、測定された格子ベクトルからの点の格子が、ゼロのオフセットベクトルとともに構築される。ブロック３００４では、各格子点にセンタリングされた一式のより小さい画像が、サブ画素センタリングのための補間を使用して、メディアンフィルタ処理された未加工画像から抽出される。ブロック３００６では、より小さい画像が、平均化され、「格子平均」画像を形成する。ブロック３００８では、格子平均画像内の最も明るい画素が、判定される。ブロック３０１０では、格子平均画像内の各強度ピークのサブ画素位置が、補間技法を使用して推定される。

図１０を参照すると、処理システム２２５が、焦点外ぼけの排除、スケーリング、および加算動作２１０を行なうときのシフトベクトルを判定するための方法が、示される。ブロック４０００では、一式の予測されるフーリエピーク場所が、測定されたフーリエ格子ベクトルから構築される。ブロック４００２では、抽出位相は、変換され、収集されたデータ２２７に対する画像番号毎に抽出される。ブロック４００４では、処理システム５２５は、多焦点パターン２２３の各系列を位相アンラップし、２π跳躍を除去する。各未加工画像のフーリエ変換の大きさは、未加工画像のシストから独立することに留置されたい。シフトに関する情報は、フーリエ変換の位相においてエンコードされる。ブロック４００６では、処理システム５２５は、２次元系列内の各位相系列を走査パターンと同一の次元を伴う２次元アレイ（例えば、１６画素×１４画素）に再成形する。各位相系列の再成形後、ブロック４００８では、線は、「高速」および「低速」方向の両方において、各位相系列の平均傾きに適合される。検出された各連続未加工画像では、照射は、Ｘ_ＦＡＳＴずつシフトする。各行の終了時、照射はまた、Ｘ_ＳＬＯＷずつシフトする。未加工画像が、Ｘずつシフトする場合、ｋに位置するフーリエ空間内のピークの位相は、ｋ＊Ｘずつシフトする。ブロック４０１０では、処理システム５２５は、Ｘ_ＦＡＳＴおよびＸ_ＳＬＯＷに対して結果として生じる連立方程式を解法する。ブロック４０１２では、オフセットベクトルが、多焦点パターン２２３の系列の最初および最後のフレームに対して構築される。最初のフレームのオフセットベクトルを計算した同一のプロセスを使用する、最後のフレームに対するオフセットベクトルの計算は、推定の精度を大幅に増加させる、有力な制約を提供する。ブロック４０１４では、予測されたオフセットベクトルが、Ｘ_ＦＡＳＴおよびＸ_ＳＬＯＷに対する現在の推定に基づいて構築される。予測されたオフセットベクトルが構築されると、２つのベクトル間の差異は、誤差ベクトルであると判定され、走査内の未加工画像の数によって除算され、その結果をＸ_ＳＬＯＷから減算する。

図１１を参照すると、処理システム２２５が、焦点外ぼけ、スケーリング、および加算動作２１０を行なうとき、焦点外ぼけを排除するためのピンホールマスキングのための方法が、示される。ブロック５０００では、前述で判定されたベクトルに基づく一式の予測される照射場所が、収集動作２０８の間に収集された各未加工画像に対して構築される。ブロック５００２では、各照射場所にセンタリングされたより小さいサブ画像が、補間技法を使用して抽出され、次いで、ブロック５００４では、各センタリングされたサブ画像は、２次元Ｇａｕｓｓｉａｎマスクによって、処理システム５２５により乗算される。これらのプロセスステップは、物理的ピンホールの効果をシミュレートする。ブロック５００６では、背景は、随意に、各サブ画像から減算され、センタリングされたサブ画像は、較正データによって与えられた補正係数によって乗算されてもよい。ブロック５００８では、個々のホット画素は、随意に、処理システム５２５によってメディアンフィルタ処理されてもよい。

図１２を参照すると、処理システム５２５が、焦点外ぼけの排除、スケーリング、および加算動作２１０を行なうときのスケーリングおよび局所縮小を行なうための方法が、示される。ブロック６０００では、各マスクされたサブ画像は、約２分の１にマスクされたサブ画像を縮小するために再サンプリングされる。ブロック６００２では、各スケーリングされたマスクされたサブ画像は、未加工画像を処理することに追加される。

図１３を参照すると、処理システム５２５が、焦点外ぼけの排除、スケーリング、および加算動作２１０を行なうときの加算のための方法が、示される。ブロック７０００では、処理された未加工画像が、加算され、複合画像を形成する。ブロック７００２では、未加工画像は、随意に、加算され、計算された「広視野」画像を生成してもよい。

焦点外ぼけの排除、スケーリング、および加算動作２１０によって生成された結果として生じる複合画像は、従来の広視野顕微鏡検査によって生成される典型的広視野画像より√２優れた分解能を有することが示された。焦点外ぼけの排除、スケーリング、および加算動作２１０はまた、従来の回転盤または掃引場共焦点顕微鏡と同様に、光学切片化を大幅に改善する。

試験
生物学的撮像のための多焦点ＳＩＭシステム２００の潜在性を調査するために、フルオロマウント内に埋め込まれたヒト骨肉腫（Ｕ２ＯＳ）細胞中の抗体標識された微小管が、撮像された。以下は、照射システム（図１４）、顕微鏡検査システム、試料調製、および捕捉された画像のデータ処理の説明である。デコンボリューションと組み合わせた多焦点パターンの使用は、横方向に１４５ｎｍおよび軸方向に４００ｎｍまでの分解能において、撮像率１Ｈｚで種々の試料を調査することを可能にした。従来の構造化照射顕微鏡検査システムと比較して、多焦点ＳＩＭシステム２００は、従来の構造化照射顕微鏡検査システムより５〜８倍厚い試料の３次元画像を提供した。本調査では、微小管は、カバースリップ表面から４５μｍを上回る深度において、生きている遺伝子組み換えゼブラフィッシュの胚子内で撮像された。加えて、生きている線虫の胚子内のＧＦＰ標識されたヒストンの４次元ＳＩＭデータセットも、得られた。

試験のために、本特定のパターンは、点の所与の密度に対する任意の２つの最近傍近隣間の距離を最大化し、それによって、クロストークを最小限化するため、我々の照射点場所に対して、略正三角形の周期格子が使用された。多焦点照射パターンは、１度に、試料平面内のステップサイズ１２０ｎｍに対応する、１つのＤｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ（ＤＭＤ）画素に変換された。より大きなステップは、試料を均等に照射せず、可視的ストライピングアーチファクトをもたらした一方、より小さいステップは、取得時間を増加させ、画質に増加はなかった。

多焦点パターンが、市販の倒立顕微鏡上に搭載された試料上に結像され、科学グレードの相補型金属酸化膜半導体カメラ（ｓＣＭＯＳ）が、各多焦点パターン位置に対して１つの未加工画像を記録するために使用された。照射点間の間隔を変動させることによって、取得速度は、切片化品質と引き換えにされ得る。広く離間された焦点は、クロストークが少ないが、付加的多焦点照射パターンが、試料を均等に照射するために要求されることが分かった。対照的に、密度が高いほど、焦点は、クロストークが多いが、対応して、試料を均等に照射するために要求される多焦点パターンは少ない。走査点間に１６画素の水平分離および１４画素の垂直分離を伴う多焦点パターンが、調査された生物学的試料に良好な結果を提供することが分かった。４８０画素×４８０画素視野に対して２２２Ｈｚで撮影された結果として生じる２２４の未加工露出値は、約１Ｈｚの超分解能画像取得率に対応した。

生物学的撮像のための多焦点ＳＩＭシステム２００の潜在性を調査するために、我々は、図１５に図示される画像に示されるように、フルオロマウント内に埋め込まれたヒト骨肉腫（Ｕ２ＯＳ）細胞内の抗体標識された微小管を撮像した。広視野画像と比較して、ＳＩＭシステム２００によって生成された多焦点照射、ピンホール処理、加算、およびスケーリングされた画像は、画像コントラストを含む、画像分解能を改善させた。加えて、並行反復デコンボリューションはさらに、結果として生じる複合画像を改善し、回折によって以前は隠されていた特徴を露顕させた。多焦点ＳＩＭシステム２００の画像における微小管の見掛け半値全幅（ＦＷＨＭ）強度は、１４５ｎｍであって、これは、広視野撮像と比較して、２倍の改善であった。１１０ｎｍサブ回折ビーズにおける類似実験でも、本結果が確認された（多焦点ＳＩＭシステム２００ＦＷＨＭ１４６＋／−１５ｎｍ対広視野ＦＷＨＭ２８４＋／−３２ｎｍ、Ｎ＝８０ビーズ）。４８μｍｘ４９μｍ視野に対する総取得時間は、約１ｓであって、これは、各顕微鏡検査システムに対して同一の２２２Ｈｚ未加工フレーム率を仮定して、従来の画像走査顕微鏡検査（ＩＳＭ）システムの６５００倍の改善であった。

二重標識された３次元試料のための多焦点ＳＩＭシステム２００の好適性もまた、図１６に図示される試料に示されるように調査された。フルオロマウント内に埋め込まれた固定細胞上の画像のＺスタックが、使用された。Ａｌｅｘａ Ｆｌｕｏｒ４８８で免疫標識された微小管およびＭｉｔｏｔｒａｃｋｅｒ Ｒｅｄで染色されたミトコンドリアが、３．７μｍ厚のある体積として得られ、個々のスライスは、１００ｎｍ分離された。同一の総照射用量で得られた広視野画像と比較して、３次元多焦点ＳＩＭシステム２００の画像は、組み合わせられた物理的（デジタルピンホールを介して）および計算上の（３次元デコンボリューションを介して）焦点外光の除去のため、画像コントラストに著しい増加をもたらした。

多焦点ＳＩＭシステム２００によって生成された結果として生じる複合画像は、広視野撮像より約２倍分解能を改善させた。すなわち、微小管および「虫状」ミトコンドリアをより良好に解像した。例えば、個々のミトコンドリアの端部におけるサブ回折空隙の良好な解像が、２００ｎｍを上回って分離された微小管対を含め、達成された。予想外にも、多焦点ＳＩＭシステム２００はまた、広視野画像より約２倍、軸方向分解能も改善させ、微小管は、約４００ｎｍの見掛け軸方向ＦＷＨＭを有していた。本結果は、１００ｎｍサブ回折ビーズにおいても確認された（多焦点ＳＩＭシステムＦＷＨＭ４０２＋／−４９ｎｍ；広視野８２６＋／−８３ｎｍ、Ｎ＝８０ビーズ）。

多焦点ＳＩＭシステム２００はまた、より厚い生体試料の３次元撮像にも適用され、ピンホール動作によって、そうでなければ、焦点内光信号を圧倒するであろう、焦点外光を物理的に排除した。本能力を実証するために、微小管を標識したＧＦＰ導入遺伝子を発現する、生きている固定されたゼブラフィッシュの胚子が、撮像された。

多焦点ＳＩＭシステム２００による多焦点照射を使用して、２４１個のスライスが、２次元撮像率１Ｈｚにおいて、０．２μｍ離間されて取得された。ピンホール焦点化、スケーリング、および３次元デコンボリューション後、４８．２μｍ厚のある体積が、図１７に図示される試料の画像に示されるように達成された。２つの隣接する中胚子葉節間の境界、中胚子葉節境界に沿った微小管の整合、および発達筋肉細胞の核に対応する微小管を含まない領域等の構造特徴が、スタック内で明白に可視である。本スタック内の連続するより深部の核のｚ−位置の推定は、撮像体積が６〜７細胞層を含有することを示唆する。

ある試験では、多焦点ＳＩＭシステム２００の撮像率は、画像内の有意な被写体ぼけを伴わずに、表皮内の分割細胞を捕捉した。多焦点ＳＩＭシステム２００の分解能向上は、体積全体を通して保持され、細胞分割の部位における微小管対間の分離は、２００ｎｍを上回って解像され、表皮内の微小管は、横方向に１７５＋／−３３ｎｍ（Ｎ＝３０）および軸方向に４９６＋／−６５ｎｍ（Ｎ＝２１）の横方向ＦＷＨＭを有していた。

照射システム
照射システムでは、全光学は、機械的振動を最小限にするために、光学テーブル（Ｋｉｎｅｔｉｃ Ｓｙｓｔｅｍｓ， Ｖｉｂｒａｐｌａｎｅ Ｍｏｄｅｌ ＃５７０４−３６６０−２３ＳＰＬ）上に搭載された。蛍光を励起するために、２つのレーザ、すなわち、１５０ｍＷ、５６１ｎｍレーザ（５６１， Ｃｏｈｅｒｅｎｔ， Ｓａｐｐｈｉｒｅ ５６１−１５０ ＣＷ ＣＤＲＨ）および２００ｍＷ、４８８ｎｍレーザ（４８８， Ｃｏｈｅｒｅｎｔ， Ｓａｐｐｈｉｒｅ ４８８−２００ ＣＤＲＨ）が使用された。各レーザ後に置かれた機械的シャッタ（Ｔｈｏｒｌａｂｓ， ＳＨ０５およびＳＣ１０）は、制御照射を制御するために使用された。ビームは、ダイクロイックミラー（ＤＣ、Ｃｈｒｏｍａ、５２５ｄｃｘｒｕ）と組み合わせられ、２つの色収差補正レンズ（Ｅｄｍｕｎｄ、ｆ＝３０ｍｍ、ＮＴ４９−３５２−ＩＮＫおよびＴｈｏｒｌａｂｓ、ｆ＝２００ｍｍ、ＡＣ２５４−２００−Ａ−ＭＬ０）から構築されたビーム拡大器を用いて、６．７倍拡大された。拡大されたビームは、ＯＮ位置において、マイクロミラーがＤＭＤ面に垂直な出力ビームを傾斜させるように、２４度法線からずれてデジタルマイクロミラーデバイス（ＤＭＤ， Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｉｎｎｏｖａｔｉｏｎｓ， Ｄ４１００ ＤＬＰ０．５５” ＸＧＡ）上に指向された。結果として生じる照射パターンの中心次数は、ＤＭＤ面が顕微鏡（Ｏｌｙｍｐｕｓ、ＩＸ−８１）内部の１８０ｍｍチューブレンズの後焦点面において再結像されるような４ｆ構成に整合される、ビーム縮小器（Ｔｈｏｒｌａｂｓ、ｆ＝７５ｍｍ、ＡＣ２５４−０７５−Ａ−ＭＬおよびｆ＝５０ｍｍ、ＡＣ２５４−０５０−Ａ−ＭＬ０）を用いて、１．５倍縮小された。これらの要素は、図１４に示される。顕微鏡の左側ポートに入射後、ビームは、ＤＭＤと照射されている試料との間の９０倍の総縮小のために、連続して、（ｉ）チューブレンズ、（ｉｉ）ダイクロイックミラー（Ｃｈｒｏｍａ、ｚｔ４０５／４８８／５６１）、（ｉｉｉ）６０倍対物レンズ（単一細胞の場合、Ｏｌｙｍｐｕｓ、ＰｌａｎＡｐｏ、ＮＡ １．４５ＴＩＲＦ、またはゼブラフィッシュおよび虫の胚子の場合、ＵＰＬＳＡＰＯ ６０ＸＳ、ＮＡ１．３）を通過した。試料における照射は、約５０μｍの直径の円形領域を被覆した。

顕微鏡検査システム
構造化照射顕微鏡検査（ＳＩＭ）撮像は、左および右側ポートの両方と、付加的Ｚ圧電ステージ（２００μｍ範囲、Ａｐｐｌｉｅｄ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ， ＰＺ−２０００）を伴う、自動ＸＹステージとを具備する、Ｏｌｙｍｐｕｓ ＩＸ８１倒立顕微鏡上で行なわれた。ＤＭＤによって作成されたパターン化された励起（例えば、多焦点照射パターン）が、左側ポートを介して、顕微鏡にもたらされた。照射された試料によって放出された蛍光は、対物レンズによって収集され、ダイクロイックミラー（Ｃｈｒｏｍａ、ｚｔ４０５／４８８／５６１）を用いて反射され、顕微鏡内部の１８０ｎｍチューブレンズを通して通過され、ポンプ光を排除するように適切にフィルタ処理され（Ｓｅｍｒｏｃｋ、ＬＰ０２−４８８ＲＥ−２５およびＮＦ０３−５６１Ｅ−２５）、右側ポート上に搭載された科学グレード相補型金属酸化膜半導体（ｓＣＭＯＳ）カメラ（Ｃｏｏｋｅ、ｐｃｏ．ｅｄｇｅ）を用いて検出された。光学軸に沿ってｓＣＭＯＳを正しく整合することは、回折限界近傍性能を達成する際に重要であった。カメラを正しく位置付けるのを支援するために、６０倍対物レンズが、典型的には、１０ｘ ａｉｒ ｏｂｊｅｃｔｉｖｅ（Ｏｌｙｍｐｕｓ、ＣＰｌａｎＦｌ１０ｘ、０．３ＮＡ）（光学が、軸方向整合における誤差にはるかに敏感である）を用いて撮像する際に使用された。固定照射パターン（ＳＩＭにおいて使用されるものに類似）蛍光レーキ試料上に結像され、各照射スポットの見掛けサイズが最小限になるまで、光学軸に沿って、カメラを平行移動させた。

試料調製
Ｕ２ＯＳ細胞が、標準的成長媒体（ＤＭＥＭ−ＨＧ（Ｉｎｖｉｔｒｏｇｅｎ、１１９６０）、ピルビン酸ナトリウム（Ｉｎｖｉｔｒｏｇｅｎ、１１３６０）、ＧｌｕｔａＭＡＸ（Ｉｎｖｉｔｒｏｇｅｎ、３５０５０）、および１０％加熱不活性化したウシ胎仔血清（Ｉｎｖｉｔｒｏｇｅｎ、１１０８２））内において、エタノール滅菌清浄された＃１．５の２５ｍｍ直径のカバースリップ（Ｗａｒｎｅｒ Ｉｎｓｔｒｕｍｅｎｔｓ、６４−０７１５）上で培養された。微小管に対して試料を染色するために、細胞は、Ｃｙｔｏｓｋｅｔｅｔａｌ Ｂｕｆｆｅｒ（ＣＢ、１０ｍＭ ＭＯＰＳ、１３８ｍＭ ＫＣｌ、２ｍＭ ＭｇＣｌ_２、２ｍＭ ＥＧＴＡ、０．０１％ＮａＮ_３、および１６０ｍＭ Ｓｕｃｒｏｓｅ、ｐＨ６．１）中、０．５％グルタルアルデヒド、０．３７％ホルムアルデヒド、および０．３％ＴｒｉｔｏｎＸ−１００の混合を用いて固定された。固定後、細胞は、ＣＢで洗浄され、１００ｎｍグリシンで急冷され、ＣＢで洗浄され、抗体希釈緩衝液（ＡｂＤｉｌ、１５０ｍＭ ＮａＣｌ、２０ｎＭＴｒｉｓ、０．１％ＴｒｉｔｏｎＸ−１００、０．１％ＮａＮ_３、および２％ウシ血清アルブミン、ｐＨ７．４）中に固定された。一次モノクローナル抗体（Ｉｎｖｉｔｒｏｇｅｎ、３２−２５００）が、室温で１時間、ＡｂＤｉｌ中で２μｇ／ｍＬまで希釈された細胞とともにインキュベートされた。一次抗体インキュベーション後、細胞は、１時間、ＡｂＤｉｌ中で１：２００の希釈率で二次Ａｌｅｘａ Ｆｌｕｏｒ４８８標識抗体（Ｉｎｖｉｔｒｏｇｅｎ、Ａ−１１００１）とともに細胞をインキュベートする前に、リン緩衝生理食塩水で洗浄された。

２色実験のための試料が、固定に先だって、製造業者の指示に従って、最初に、Ｍｉｔｏｔｒａｃｋｅｒ Ｒｅｄ（Ｉｎｖｉｔｒｏｇｅｎ、Ｍ−７５１２）で染色された。ミトコンドリア標識後、前述で概説された手技を使用して、微小管を染色した。全試料が、フルオロマウントＧ（Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ Ｓｏｌｕｔｉｏｎｉｓ， １７９８４−２５）内において、標準的２５ｍｍ×７５ｍｍガラススライド（ＳＰＩｓｕｐｐｌｉｅｄｓ、＃０１２５１−ＡＢ）に搭載され、マニキュア液を用いて密閉された。

ａ）サブ回折ビーズ
黄緑色または赤色蛍光ビーズ（Ｉｎｖｉｔｒｏｇｅｎ、Ｆ８８０３、１１０ｎｍ直径；Ｉｎｖｉｔｒｏｇｅｎ Ｆ８８０１、１００ｎｍ直径）が、全点広がり関数（ＰＳＦ）測定のために使用された。ビーズは、１：１３００の原液濃度から希釈され（希釈水中で１：２００およびエタノール中で１：１３）、清浄なガラスカバースリップ上に拡散された。エタノールを蒸発させるための５分間の空気乾燥後、カバースリップは、希釈水中で２回洗浄され、未結合ビーズを除去した。再び空気乾燥後、ビーズは、ガラススライド上のフルオロマウントまたはシリコーンオイル内に搭載され、マニキュア液で密閉された。

ｂ）ゼブラフィッシュ試料
ゼブラフィッシュｄｃｌｋ２−ＧＦＰ導入遺伝子を担持するＴｇ（ＸｌＥｅｆ１ａ１：ｄｃｌｋ２−ＧＦＰ）^{ｉｏ００８}胚子が、図１６に示される厚いＭＳＩＭ実験において使用された。これを構築するために、導入遺伝子を含有するプラスミドが、Ｔｏｌ２ ｍＲＮＡとともに、１細胞ゼブラフィッシュ胚子内に注入された。蛍光胚子は、成人期まで育てられ、ＧＦＰ発現の子種をスクリーニングすることによって、生殖細胞系伝達を選択するために交配された。

Ｔｇ（ＸｌＥｄｆ１ａ１：ｄｃｌｋ２−ＧＦＰ）^{ｉｏ０００８}胚子が、自然放卵によって収集され、摂氏２８度に維持された。多焦点ＳＩＭシステム２００による撮像に先立って、２４ｈｐｆにおける胚子が、胚子媒体（リットルｄｄＨ_２Ｏあたり６０ｍｇのＩｎｓｔａｎｔ海塩（Ｐｅｔｓｍａｒｔ））中、最終濃度６００μＭにおけるＴｒｉｃａｉｎｅ（Ｓｉｇｍａ、Ｅ１０５２１０）で麻酔された。麻酔された胚子は、円形カバースリップ上に搭載され、１％低融点アガロース（Ｃａｍｂｒｅｘ、５００８０）中に固定され、円形カバースリップホルダ（ＡＳＩ、Ｉ−３０３３−２５Ｄ）内に置かれ、胚子媒体で被覆され、室温で撮像された。
データ処理

前述の照射および顕微鏡検査システムを使用した未加工画像の取得後、試料の各収集された未加工画像セットは、Ｐｙｔｈｏｎプログラミング言語で書かれたソフトウェアを有する処理システム２２５を使用して、超分解能画像に処理された。処理システム２２５によって採用された処理ステップは、（ｉ）照射スポットの個別の場所を精密に判定するための自動格子検出、（ｉｉ）焦点外光を排除するための各検出された照射スポットの周囲のデジタルピンホールマスキングおよび較正データを使用した光学平坦場、（ｉｉｉ）局所縮小（例えば、スケーリング）を行い、各照射スポットの周囲の面積を再サンプリングし、分解能を√２改善すること、（ｉｖ）処理された未加工画像を加算して、超分解能複合画像を生成すること、および（ｖ）従来のデコンボリューション技法を使用して、完全２倍の分解能向上を復元することであった。これらのプロセスステップは、多焦点ＳＩＭシステム２００の処理システム２２５によって実行される焦点化、スケーリング、および加算動作２１０に関して前述でより詳細に論じられている。

前述から、特定の実施形態が図示および説明されたが、当業者に明白となるであろうように、本発明の精神および範囲から逸脱することなく、種々の修正が、本明細書に行なわれ得ることを理解されたい。そのような変更および修正は、本明細書に添付の請求項に定義される本発明の範囲および教示内である。

Claims (26)

1. 顕微鏡検査システムであって、
   単一の光ビームを伝送するための光源と、
   前記単一の光ビームを複数の光ビームに分割することにより、多焦点パターンを形成するためのビームスプリッタと、
   試料が前記多焦点パターンを伴う複数の蛍光発光を生成するように、前記多焦点パターンを前記試料上に形成する前記複数の光ビームを走査するためのスキャナと、
   前記多焦点パターンのための前記複数の蛍光発光の焦点外蛍光発光を遮断するように構成された開口を画定する焦点化構成要素であって、焦点内蛍光発光が前記開口を通過することを可能にする焦点化構成要素と、
   前記多焦点パターンのための前記複数の焦点内蛍光発光をスケールダウンするためのスケーリング構成要素であって、前記複数の焦点内蛍光発光の各々は、それぞれの幾何学的中心を画定し、前記複数の焦点内蛍光発光をスケールダウンすることは、前記複数の焦点内蛍光発光の各々が互いに対して所定の係数の分だけ局所的に縮小することを引き起こし、その結果、各それぞれの幾何学的中心間の距離は同一を維持する、スケーリング構成要素と、
   前記複数のスケーリングされた焦点内蛍光発光の各々を加算することにより、複数の加算されたスケーリングされた焦点内蛍光発光の複合画像を形成する前記複数の加算されたスケーリングされた焦点内蛍光発光を生成するための加算構成要素と
   を備える、システム。
2. 前記ビームスプリッタは、マイクロレンズアレイである、請求項１に記載の顕微鏡検査システム。
3. 前記焦点化構成要素は、ピンホールアレイである、請求項１に記載の顕微鏡検査システム。
4. 前記スケーリング構成要素は、複数のマイクロレンズアレイである、請求項１に記載の顕微鏡検査システム。
5. 前記複合画像をデコンボリューションするための処理サブシステムをさらに備える、請求項１に記載の顕微鏡検査システム。
6. 前記スキャナは、前記試料によって放出される前記複数の蛍光発光を前記焦点化構成要素に逆走査する、請求項１に記載の顕微鏡検査システム。
7. 前記複数の光ビームを一方向に通過させ、反対方向からの前記複数の蛍光発光を再指向させるためのダイクロイックミラーをさらに備える、請求項１に記載の顕微鏡検査システム。
8. チューブレンズおよび対物レンズを通して前記試料を照射する前記複数の光ビームを結像するための第１のレンズをさらに備える、請求項１に記載の顕微鏡検査システム。
9. 前記複数の光ビームは、３５０ｎｍ〜１２００ｎｍの波長を有する、請求項１に記載の顕微鏡検査システム。
10. 前記複数の蛍光発光は、３５０ｎｍ〜１２００ｎｍの波長を有する、請求項１に記載の顕微鏡検査システム。
11. 約３５０ｎｍ〜１２００ｎｍのスケーリングされた焦点内蛍光発光を検出器に通過させるための発光フィルタをさらに備える、請求項１０に記載の顕微鏡検査システム。
12. 前記複数のスケーリングされた焦点内蛍光放出を検出するための検出器をさらに備える、請求項１に記載の顕微鏡検査システム。
13. 前記スキャナは、前記スケーリングされた焦点内蛍光発光を前記検出器に再走査する、請求項１１に記載の顕微鏡検査システム。
14. 顕微鏡検査システムであって、
    単一の光ビームを伝送するための光源と、
    前記単一の光ビームを複数の光ビームに分割することにより、多焦点パターンを形成するためのビームスプリッタであって、前記多焦点パターンは、複数の焦点を画定する、ビームスプリッタと、
    試料が複数の蛍光焦点を画定する前記多焦点パターン内に複数の多焦点蛍光発光を生成するように、前記試料上に前記多焦点パターンを形成する前記複数の光ビームを走査するためのスキャナと、
    前記多焦点パターンから生じる前記複数の多焦点蛍光発光を収集するための検出器と、
    前記検出器から収集された前記多焦点パターンから生じる前記複数の多焦点蛍光発光を処理するための処理システムと
    を備え、
    前記処理システムは、前記多焦点パターンから生じる前記複数の収集された多焦点蛍光発光を記憶するためのデータベースと動作通信するプロセッサを備え、前記プロセッサは、前記蛍光発光のための焦点外蛍光発光を除去し、前記多焦点パターンから生じる焦点内蛍光発光のみを残し、次いで、前記プロセッサは、前記多焦点パターンから生じる前記焦点内蛍光発光をスケーリングし、前記プロセッサは、前記多焦点パターンから生じる前記複数の焦点内蛍光発光をスケールダウンし、前記複数の焦点内蛍光発光の各々は、それぞれの幾何学的中心を画定し、前記複数の焦点内蛍光発光の各々をスケールダウンすることは、前記複数の焦点内蛍光発光の各々が所定の係数の分だけ局所的に縮小することを引き起こし、その結果、各それぞれの幾何学的中心間の距離は同一を維持し、スケーリングされた焦点内蛍光発光を生成し、
    前記プロセッサは、各スケーリングされた焦点内蛍光発光を加算することにより、複合画像を生成する、システム。
15. 前記プロセッサが、前記スケーリングされた焦点内蛍光発光を伴う前記多焦点パターンを処理するためのデコンボリューション動作を実行することをさらに含む、請求項１４に記載の顕微鏡検査システム。
16. 前記ビームスプリッタは、デジタルマイクロミラーデバイスまたは掃引場共焦点ユニット、または回転盤、またはＮｉｐｋｏｗ共焦点走査ヘッドである、請求項１４に記載の顕微鏡検査システム。
17. 前記処理システムは、前記多焦点パターンの自動格子検出を実行し、１つ以上の照射スポットの位置を判定する、請求項１４に記載の顕微鏡検査システム。
18. 前記自動格子検出は、複数のベクトルを判定し、前記１つ以上の照射スポットの各々の位置を特定する、請求項１７に記載の顕微鏡検査システム。
19. 前記複数のベクトルは、格子ベクトル、シフトベクトル、および／またはオフセットベクトルを含む、請求項１８に記載の顕微鏡検査システム。
20. 前記格子ベクトルのうちの２つは、任意の２つの近隣照射スポット間の２次元変位を規定する、請求項１９に記載の顕微鏡検査システム。
21. 多焦点構造化照射顕微鏡のための方法であって、
    単一の光ビームを生成することと、
    前記単一の光ビームを複数の光ビームに分割することであって、前記複数の光ビームの各々の焦点は、多焦点照射パターンを形成する、ことと、
    試料を前記多焦点照射パターンを形成する前記複数の光ビームで照射することであって、前記照射された試料は、前記多焦点パターンにおいて、複数の蛍光発光を生成する、ことと、
    ピンホール動作を行なうことであって、前記複数の蛍光発光からの焦点外蛍光放出が遮断され、前記複数の蛍光発光からの焦点内蛍光放出のみが、前記ピンホール動作の間、通過可能とされる、ことと、
    前記複数の焦点内蛍光発光の各々をスケールダウンすることであって、前記複数の焦点内蛍光発光の各々は、それぞれの幾何学的中心を画定し、前記複数の焦点内蛍光発光をスケールダウンすることは、前記複数の焦点内蛍光発光が所定の係数の分だけ局所的に縮小することを引き起こし、その結果、各それぞれの幾何学的中心間の距離は同一を維持し、複数のスケーリングされた焦点内蛍光発光を生成する、ことと、
    前記複数のスケーリングされた焦点内蛍光発光の各々を加算することにより、複合画像を形成する複数の加算されたスケーリングされた焦点内蛍光発光を生成することと
    を含む、方法。
22. 前記試料上に前記多焦点パターン内の前記複数の光ビームを走査することをさらに含む、請求項２１に記載の方法。
23. 前記試料上に前記多焦点パターンを走査することは、検流計によって行なわれる、請求項２２に記載の方法。
24. 加算されたスケーリングされた焦点内蛍光発光から成る前記複合画像上でデコンボリューション動作を行なうことをさらに含む、請求項２１に記載の方法。
25. 多焦点構造化照射顕微鏡のための方法であって、
    単一の光ビームを生成することと、
    前記単一の光ビームを複数の光ビームに分割することであって、各前記複数の光ビームの焦点は、多焦点パターンを形成する、ことと、
    前記多焦点パターンを形成する前記複数の光ビームで試料を照射することであって、前記照射された試料は、前記多焦点パターンから生じる複数の蛍光発光を生成する、ことと、
    ピンホール動作を行なうことであって、前記複数の蛍光発光からの焦点外蛍光発光が遮断され、前記複数の蛍光発光からの焦点内蛍光発光のみが、前記ピンホール動作の間、通過可能とされる、ことと、
    前記複数の焦点内蛍光発光の各々をスケールダウンすることであって、前記複数の焦点内蛍光発光の各々は、それぞれの幾何学的中心を画定し、前記複数の焦点内蛍光発光が所定の係数の分だけ局所的に縮小するようにスケールダウンし、その結果、各それぞれの幾何学的中心間の距離は同一を維持し、複数のスケーリングされた焦点内蛍光発光を生成する、ことと、
    前記複数のスケーリングされた焦点内蛍光放出のそれぞれを加算することにより、複合画像を形成することと
    を含み得る、方法。
26. 前記加算されたスケーリングされた焦点内蛍光発光から生じる前記複合画像上でデコンボリューション動作を行なうことをさらに含む、請求項２５に記載の方法。