JP6637653B2 - 顕微鏡およびｓｐｉｍ顕微鏡検査方法 - Google Patents

Description

本発明は、検出器上に試料を結像するための結像対物レンズと、結像対物レンズの焦点面内またはこの焦点面の付近の規定の平面内でシート光により試料を照明するための手段とを含む顕微鏡に関する。照明のための手段は、好ましくはコヒーレント光を放射する照明源を含んでいる。

照明用ビーム経路および検出用ビーム経路が実質的に互いに垂直に配置されており、かつ試料が結像対物レンズの焦点面内で、しかも結像対物レンズの光軸に垂直にシート光により照明される顕微鏡は、選択的平面照明顕微鏡検査（ＳＰＩＭ）の方法に従って試料を調査するために設計されている。３次元の試料を、深度の異なる個々の平面内で１点１点走査し、その際に取得された画像情報を続いて試料の３次元の結像へと組み立てる共焦点レーザ走査型顕微鏡検査（ＬＳＭ）とは異なり、ＳＰＩＭ技術は、広視野顕微鏡検査を基礎としており、試料の個々の平面の光学的断面に基づく試料の画像表示を可能にしている。

ＳＰＩＭ技術の利点は、なかでも、画像情報の捕捉を行う速度が比較的速いこと、生物試料の退色の危険性が比較的小さいこと、および試料への焦点の侵入深度が比較的大きいことに在る。

原理的には、ＳＰＩＭ技術では、試料中に含まれているか、または試料に導入された蛍光体を、いわゆるシート光へと成形したレーザ光により励起する。選択した平面を試料の深度で１つずつシート光により照明し、結像光学系によりこれらの試料面の画像を光学的断面の形態で取得する。静止したシート光によるこのような励起に実質的に同等なのは、結像対物レンズの焦点面内で、薄くて回転対称のレーザビームが高速で往復移動することである。これにより実際の、つまり観察時間全体の時間平均では、同様にＳＰＩＭシート光の形態が生じる。

ＳＰＩＭ技術は、例えば（非特許文献１）、（非特許文献２）、（特許文献１）、および（特許文献２）に記載されている。
記載されている「シート光顕微鏡検査」（Ｌｉｇｈｔ ｓｈｅｅｔ ｍｉｃｒｏｓｃｏｐｙ）は、検出対物レンズの焦点面（ｘｙ平面）を側方向では完全に、薄いシート光によって照明することにより、光学的断面を、位置分解性カメラ（ＣＣＤカメラ）による広視野検出と組み合わせている。シート光照明は、検出軸（ｚ軸）に直角に行われる。

試料は、照明と検出が重なり合う領域内に配置される。照明シート光によって励起された蛍光信号が、検出対物レンズの視野全域でカメラに結像される。薄いシート光で直角に照明することにより、検出光学系の軸方向での広がりのうち小さな部分だけが照明され、したがって光学的断面が生成される。試料の別の領域を観察するには、光学系とは独立して、試料を試料位置決めユニットにより、シート光を貫くように移動させる。検出軸に沿った様々な試料位置での光学的断面の撮影により、３次元画像スタックの撮影が可能である。続いて、この画像スタックを３Ｄ画像へと再構成することができる。

１つの画像スタックには例えば２００枚の画像が含まれている。
図１では、本発明による方法を実施するためのＳＰＩＭ顕微鏡の基本構造が示されている。試料チャンバＰＫ内にあることができる試料Ｐが検出用ビーム経路によって捕捉され、この試料または試料チャンバは、Ｘ、Ｙ、およびＺで調節可能に、かつ図平面に対して垂直なＹ軸の周りを回転可能に配置されている。検出用ビーム経路は、検出軸または光軸がＺ方向に延びる検出対物レンズＯ、ならびに検出方向において検出対物レンズに続いている好ましくは交換可能な光フィルタＦ、結像レンズＴＬ、および平面受光器ＣＣＤからなっている。

検出軸Ｚに実質的に垂直に、ここではＸ方向に延びている照明ビーム経路は、ここでは、ビームスプリッタＢＳによって結合される２つのレーザＬ１、Ｌ２からなっており、このレーザは、波長選択および強度調整のためのＡＯＴＦ、偏向ミラーＳ、およびビーム拡張部ＢＥ、ならびにアナモフィック光学系、例えばここでは平面的な光分布を生成するビーム成形のための円柱レンズＺＬを経て、試料に侵入する。

例えば素子Ｓ、ＢＥ、およびＺＬを複数の方向でアライメントまたは角度調節し得るアライメントユニットＢＬｊｕｓｔが概略的に示されている。
一般的には計算機および表示ユニット（ディスプレイ）によって構成される共通のチェックおよび制御ユニットＣＵは、本発明による方法を実施し得るために、ＡＯＴＦ、（試料または試料チャンバのＸ、Ｙ、およびＺでの調節ならびにＹの周りの回転を可能にする）試料調節部または試料チャンバ調節部、および照明アライメント部ＢＬｊｕｓｔのようなすべての調節機構と接続されている。

独国特許出願公開第１０２５７４２３号明細書 国際公開第２００４／０５３０５５８号 独国特許出願公開第１０２０１２００９２５７号明細書 独国特許出願公開第１０２００７０４７４６１号明細書

シュテルツァー（Ｓｔｅｌｚｅｒ）他、Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ ３１、１４７７（２００６） シュテルツァー（Ｓｔｅｌｚｅｒ）他、Ｓｃｉｅｎｃｅ ３０５、１００７（２００４） ヤン ヒュースケン（Ｊａｎ Ｈｕｉｓｋｅｎ）他、Ｏｐｔｉｃａｌ Ｓｅｃｔｉｏｎｉｎｇ Ｄｅｅｐ Ｉｎｓｉｄｅ Ｌｉｖｅ Ｅｍｂｒｙｏｓ ｂｙ Ｓｅｌｅｃｔｉｖｅ Ｐｌａｎｅ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ、Ｓｃｉｅｎｃｅ、３０５、２００４、１００７−１００９ ハラルド シェーンフェルド（Ｈａｒａｌｄ Ｓｃｈｏｅｎｆｅｌｄ）他、Ｒｅｖｅｒｓｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｓｉｎｇ ３Ｄ Ｓｅｎｓｏｒｓ、Ｐｒｏｃ．ＳＰＩＥ、３３１３、１９９８、１１５−１２５ ポール ジェイ ベスル（Ｐａｕｌ Ｊ． Ｂｅｓｌ）他、Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ３−Ｄ Ｓｈａｐｅｓ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１４、１９９２、２、２３９−２５６

試料は、照明と検出が重なり合う領域内に配置される。蛍光信号が、検出対物レンズの視野全域でカメラに結像される。薄いシート光で直角に照明することにより、検出体積のうち軸方向での小さな部分だけが照明され、したがって光学的断面が生成される。試料の別の領域を観察するには、光学系とは独立して、試料を試料位置決めユニットにより、シート光を貫くように移動させる。検出軸に沿った様々な試料位置での光学的断面の撮影により、３次元画像スタックの生成が可能である。このような画像スタックは、様々な角度から撮影され得る。特定の角度で撮影された画像スタックをビューとも言う。特定の角度で撮影された複数の画像スタックを、すべての画像スタックからの画像情報を内包する１つの３Ｄ画像へと一緒にすることができる。この過程をレジストレーションと言う。

レジストレーションに関し、現在は、基準（例えば人工の配向点としての蛍光性の「ビーズ」）またはグレー値強度により、個々の撮影角度を自動的に１つの画像へと一緒にする方法が使用されている。この場合、基準画像と呼ばれる１つのビューおよび異なる角度からのその他のビューが存在しており、これらその他のビューの基準画像に対する対応点が探索される。対応点が十分に見つかったら、変換マトリクスを計算することができる。続いて、この変換マトリクスを用い、それぞれのビューを基準画像上に変換する。最終的にすべてのビューが１つの結果画像に統合される。

自動的な対応点の発見は計算時間のかかる方法であり、この方法は、試料に応じて、誤った対応点を発見するか、または対応点を発見できない可能性があるので、常に所望の成果をもたらすわけではない。一般的に、より良好なレジストレーションを可能にする（例えばビーズのような）固体基準の使用も、はるかに時間のかかる試料準備を必要とするので、常に保証され得るわけではない。加えてビーズは、画像障害を引き起こすか、または試料への生物学的な影響を有する可能性があるので、ユーザに望まれないことも多い。

これらの問題の解決策は、手動のレジストレーションまたは対応点発見の制御である。画像の３次元形態およびそれから生じる多くの自由度（転換、回転、スケーリング、せん断など）に基づき、簡単かつ高速の手順が必要である。

この問題の解決策は、個々の撮影角度の３次元性の欠点を取り除く、少なくとも部分的に手動のレジストレーション方法である。すべての画像スタック（ビュー）の座標系を、予め画像スタックの撮影角度だけＹ軸を中心に回転させる。これでこれらの画像スタックは、あたかも同じ撮影角度から撮影されたかのようになる。

したがって、これらの画像スタックを重ね合わせることで、手動の位置合わせまたは位置決めを行うことができる。この位置決めは、少なくとも２つのステップで行われ、かつ画像スタックの最大強度投射によって実現される。

第１のステップでは、Ｚ軸に沿って画像スタックの最大強度を投射する。次に、結果として生じた様々な画像スタックの２Ｄ画像を、適切な変換（例えば剛性、アフィン、または弾性）により、基準角度の２Ｄ画像上に位置決めする。その後、この変換を、帰属の画像スタック（したがって３Ｄでの）に適用する。

第２のステップでは、Ｙ軸に沿って画像スタックの最大強度を投射し、そして改めて、結果として生じた様々な画像スタック（ビュー）の２Ｄ画像を適切な変換により基準角度の２Ｄ画像上に位置決めする。再度、この取得された変換を帰属の画像スタックに適用する。

したがって、結果は、様々な撮影角度から手動でレジストレーションされた統合された画像スタックになる。これは、２Ｄでの位置決めにより、手動でも高い効率で可能であり、複雑な自動レジストレーション方法は必要ない。さらに、位置決めは試料構造自体によって行えるので、試料にビーズを導入する必要はない。

手動のレジストレーション方法は、前述の解決策に制限されない。とりわけ下記の改変が可能である。
・ 位置合わせのために、前述のＺ軸およびＹ軸に沿った投射だけでなくＸ軸に沿った投射も使用することができる。

・ 位置合わせに関し、少なくとも２つの好ましくは互いに直交している投射の順番は任意でよい。これは、例えば上面、正面、および側面を任意に取り替えて位置合わせできることを意味する。

・ 個々の投射の位置合わせのために、様々な変換方法を使用することができる。これに属するのは、例えば剛性変換、アフィン変換、弾性変換、または局所的弾性変換である。自由度の制限が可能である。

・ 前述のワークフローを部分的に自動化することができる。例えば投射を自動的に位置合わせすることができる。
・ 最大強度投射の代わりに、投射のほかの形態が可能である。例えばサブボリューム最大強度投射または最小強度投射。

・ ビューが（スペクトル的に異なる）複数のチャネルからなる撮影も手動でレジストレーションすることができる。これに関し、異なるビューの位置合わせには同じチャネルを使用しなければならない。

・ 手動のマルチ・ビュー・レジストレーションは、制限なく、時系列の撮影に適用することができる。これに関しては例えば、第１の時点を手動でレジストレーションし、それから結果として生じる変換マトリクスを、続いてすべてのその後の時点に自動的に適用することが考えられる。

本発明による方法を実施するためのＳＰＩＭ顕微鏡の基本構造を示す図。 本発明による方法の原理的な進行を方法ステップＳ１〜Ｓ１１で示す図。 方法進行をより詳しく説明する図。 方法進行をより詳しく説明する図。 方法進行をより詳しく説明する図。

以下に、本発明を概略図に基づいてさらに説明する。
図２は、本発明による方法の原理的な進行を方法ステップＳ１〜Ｓ１１で示している。
Ｓ１．少なくとも２つの方向から画像スタックを撮影する。
Ｓ２．一方の画像スタックをもう一方の画像スタックの座標上に位置合わせする。
Ｓ３．画像スタックを重ね合わせる。
Ｓ４．３次元空間から２次元表示へと投射する。
Ｓ５．表示に含まれる様々な方向から撮影された試料特徴を相互に位置補正する。
Ｓ６．位置補正から変換マトリクスを確定し、かつＳ３の重ね合わせた画像スタックに適用する。
Ｓ７．ＸおよびＹで補正された重ね合わせた画像スタックの面を変更する。図５では上の面が選択されている。
Ｓ８．３次元空間から２次元表示へと投射する。
Ｓ９．表示に含まれる試料特徴を改めて相互に位置補正する。
Ｓ１０．位置補正から変換マトリクスを確定し、かつＳ７の重ね合わせた画像スタックに適用する。
Ｓ１１．Ｓ１０の画像スタックの面をＳ３の当初の面に変更する（例では前の面）。

上記の方法ステップに基づき、図３〜図５において進行をより詳しく説明する。
図３では、垂直軸の周りを回転可能な試料チャンバＰＫが示されている（図１を参照）。

試料チャンバの回転により、また試料チャンバおよびシート光のうちの少なくとも一方のＺ調節によってシート光が試料を通過することにより、様々な照明角度のシート光で生じる画像スタックの撮影が対物レンズによって行われる。例えば、図示したように互いに垂直な照明軸ｚ、ｚ’で撮影を行うことができる。この場合、少なくとも第１および第２の画像スタックが、異なる蛍光マーカを捕捉するために、少なくとも２つのスペクトル領域内で検出される。

その他の異なる撮影角度も制限なく可能であり、角度を例えば３０度ずらした例えば３つの撮影も可能である。
シート光がＺ方向に通過する際に、それぞれ撮影された画像のスタックが生じ、このスタックは画像メモリに格納される（図１のＣＵ）。

ここでは、０度および９０度の角度で撮影された単一画像からなるスタックＳＴ１およびＳＴ２が概略的に示されている。ＳＴ１およびＳＴ２ではそれぞれ試料の異なる対象物細部が見えていることが概略的に示されている。

ここでは見やすくするために３枚の単一画像を選択しているだけであり、１スタック当たり例えば１０００枚の単一画像であることができる。
本発明による方法を実施するには、スタックごとの単一画像の数は同一でなくてよい。

図３のステップＳ２では、スタックＳＴ２の配向がスタックＳＴ１の配向に適合され、つまりスタックＳＴ２の座標系を、図示したｙ’軸に沿って９０度回転させる。
次のステップＳ３では、同一に配向された画像スタックＳＴ１とＳＴ２の、共同スタックＳＴ１＋ＳＴ２への重ね合わせが行われる。この場合、単一画像の正確な順番は重要ではなく、例えばＳＴ２がＳＴ１の後ろに配置されてもよい。

上で言及した原理的に可能な、ＳＴ１とＳＴ２の単一画像の数が異なることに基づき、撮影の際の単一画像の間のＺ間隔が異なっている可能性もあると推論される。
画像スタックは横方向にずれている可能性もあり、またはＳＴ１とＳＴ２の単一画像の側方向の寸法が異なっている可能性がある。

図４ではステップＳ４で、３次元表示から２次元表示への投射が行われる。
この際、Ｚ方向に重ね合わせた画像から、ピクセルごとに、例えばＳＴ１の画像の画像ピクセルに基づき、Ｚ方向（軸方向）での単一画像の、最大強度を有する画像ピクセルが確定される。最大強度の代わりに特定の強度閾値を選択してもよく、またはＺ方向での最小強度の決定を行ってもよい。ステップＳ４では、まとめられた画像スタック内で、画像の個々のピクセルに関し、それぞれ画像間の強度比較が行われる。また、最大値または最小値または設定された閾値または平均値または中央値を有するピクセルが考慮の対象にされる。

これが、すべての画像ピクセルに対して実施されると、ステップＳ４の後には、概略的に示したようにＳＴ１の画像情報もＳＴ２の画像情報（破線）も含む２次元表示ＳＴ１＋ＳＴ２ ２Ｄが生じる。ユーザに対し、これらの情報を区別可能に示すことができる。

ステップＳ５では、ユーザにより入力手段（図１のＣＵ）を用いて、または自動的に、または最初は大まかに自動的に、その後で精緻にユーザにより、２Ｄ表示での単一画像ＳＴ１およびＳＴ２の、ここではＸ／Ｙ平面内での変位および回転のうちの少なくとも一方が行われ、これにより、ＳＴ１とＳＴ２の相互の画像位置の補正が行われる。これに関し２Ｄ平面内では、ＳＴ１とＳＴ２の両方の画像情報は互いに分離しており、かつ変位可能／回転可能に、包括的に変換可能に配置されている。

実施された変位／回転はＣＵで捕捉され、かつ２次元表示でのＸ／Ｙ座標に関する数学的な座標変換へと転換される。
これは例えば、および制限なく、アフィン変換であり得る。

この変換を、ステップＳ４の前に存在していたような重ね合わせた画像スタックＳＴ１＋ＳＴ２に適用し（ステップＳ６）、これによりＸ／Ｙに関して補正された３次元画像スタックになる。ステップＳ１〜Ｓ６を実施するために、それぞれスペクトル領域が同じまたは類似の第１および第２の画像スタックが考慮の対象にされる。図５では、この画像スタックから出発してステップＳ７で、ＳＴ１＋ＳＴ２ ＶＯへの再配向が行われ、Ｙ軸方向での上面が生成される。このＳＴ１＋ＳＴ２ ＶＯがさらにＳＴ１およびＳＴ２の構造特徴を含んでおり、ステップＳ８ではステップＳ４に倣って、強度分析により、ただし、ここではＹ方向で、３次元表示から２次元表示が生成される。この生じた２次元表示では、Ｘ／Ｚ平面において、ＳＴ１およびＳＴ２からなるここでも区別可能で個々に変位可能／回転可能な試料特徴が存在している。ステップＳ９でもＳ５に倣って、相互の自動的なおよび手動のうちの少なくとも一方の位置合わせおよび覆い隠しが、座標変換を確定しながら行われ、この座標変換がＳ１０でＳ６に倣って３次元表示を生じさせ、この３次元表示はこのときには、Ｘ／Ｚ方向でも、それより前に既にＸ／Ｙ方向でも、試料細部に関して位置合わせされており、かつさらなる表示またはＣＵでの保存および後の調査のために提供されている。

ステップＳ１１ではさらに、当初の撮影条件をより良好に反映するため、Ｚ方向が軸方向のステップＳ３後のような当初の配向に戻すことができる。
上で言及したように、２つより多い画像スタック、例えば３つのそれぞれ３０度で撮影された画像スタックであることもできる。

ただし、これは、上述の方法ステップが増えるのではなく、２つより多い画像スタックを図３に示したような２つの異なる配向に重ね合わせて２つの座標に減らすだけであることが有利である。

ユーザのための手段としてスクリーン上の、Ｘ変位、Ｙ変位、およびＺ変位ならびに回転のための例えば複数のＳｌｉｄｅｒ（スライダー）を備えた、この分野では通常のグラフィカル・ユーザ・インターフェイス（ＧＵＩ）を用いることができる。

Claims (18)

1. 照明光源と、シート光により試料を照明するための照明用ビーム経路とを含む照明機構と、
   対物レンズにより、該試料から放射された光を検出するための検出機構と
   を備えた顕微鏡によるＳＰＩＭ顕微鏡検査方法であって、
   該シート光が、該対物レンズの焦点内または該対物レンズの焦点の付近の規定の平面内では実質的に平らであり、かつ該対物レンズが、該シート光の平面とゼロとは異なる角度で交差する光軸を有しており、
   該試料が、該シート光により様々な試料平面を捕捉するため、該対物レンズの該光軸の方向に変位され、かつ該試料の照明が、少なくとも第１および第２の照明角度で行われ、かつそれぞれの照明角度で複数の試料平面が検出され、かつ少なくとも第１および第２の画像スタックとして保存されるＳＰＩＭ顕微鏡検査方法において、
   １．画像スタックの相互の位置合わせが、すべての画像スタックの配向が該第１の画像スタックの配向に一致するように該すべての画像スタックの座標系を該第１の画像スタックの座標系に位置合わせすることによって行われ、
   ２．該画像スタックが３次元の合成画像スタックへと合成され、
   ３．前記３次元の合成画像スタックの２次元表示への投射が行われ、
   ４．前記２次元表示の異なる照明方向から撮影された試料の特徴の位置が相互に位置合わせされ、
   ５．該位置合わせされた試料の特徴の座標から座標変換が確定され、
   ６．位置合わせのための該座標変換が、該合成画像スタックに適用される
   ことを特徴とするＳＰＩＭ顕微鏡検査方法。
2. 前記合成画像スタックの配向が変更され、かつ３次元で位置合わせされた画像スタックを生成するため、新たに配向された合成画像スタックに工程３〜６が適用される、請求項１に記載の方法。
3. ３次元で配向された画像スタックが、その配向に関して当初の照明方向に調整される、請求項１に記載の方法。
4. 前記座標変換が、剛体変換またはアフィン変換または弾性変換または局所的弾性変換である、請求項１乃至３のいずれか１項に記載の方法。
5. 工程３では、前記合成画像スタック内で、画像の個々のピクセルに関し、それぞれ画像間の強度比較が行われる、請求項１乃至４のいずれか１項に記載の方法。
6. 最大値または最小値または設定された閾値または平均値または中央値を有するピクセルが考慮の対象にされる、請求項５に記載の方法。
7. 工程４による前記位置合わせが、コンピュータでの画像分析、および／またはユーザのための入力手段のうちの少なくとも一方を用いて、行われる、請求項１乃至６のいずれか１項に記載の方法。
8. コンピュータでの大まかな位置合わせおよび入力手段を用いた精緻な位置合わせが規定されている、請求項１乃至７のいずれか１項に記載の方法。
9. 前記少なくとも第１および第２の画像スタックが、異なる蛍光マーカを捕捉するために、少なくとも２つのスペクトル領域内で検出される、請求項１乃至８のいずれか１項に記載の方法。
10. 工程１〜６を実施するために、それぞれスペクトル領域が同じまたは類似の第１および第２の画像スタックが考慮の対象にされる、請求項９に記載の方法。
11. 時系列撮影では、第１の時点で前記工程１〜６が実施され、前記確定された座標変換が、その後の時点で撮影された画像スタックに適用される、請求項１乃至１０のいずれか１項に記載の方法。
12. 時系列撮影では、工程１〜６が、時系列の複数の時点で繰り返される、請求項１乃至１１のいずれか１項に記載の方法。
13. 請求項１乃至１２のいずれか１項に記載の方法を実施するために構成されたコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを有するデータ媒体。
15. 請求項１乃至１２のいずれか１項に記載の方法を実施するためのＳＰＩＭ顕微鏡検査のための顕微鏡。
16. ユーザにより少なくとも工程４が実施されるために、グラフィカル・ユーザ・インターフェイス（ＧＵＩインターフェイス）を有している、請求項１５に記載の顕微鏡。
17. 前記対物レンズが、前記シート光の平面と垂直に交差する、請求項１に記載の方法。
18. 時系列撮影では、第１の時点で請求項２に従っても前記工程３〜６が実施される、請求項１１に記載の方法。