JP6277290B2 - 開口相関を有する共焦点顕微鏡 - Google Patents

Description

本発明は、請求項１の前提部分による開口相関を有する共焦点顕微鏡、及び共焦点顕微鏡の動作のための方法及びソフトウェアに関する。

共焦点顕微鏡の主な利点は、焦点面の外部から到来する光を排除することにより、対象物の層状画像を個々の層におけるコントラストが向上した状態で観察することが可能となる。これにより、対象物の３次元構造を再構成することが可能となる。

従来、共焦点顕微鏡の各種方法が知られている。最も広く用いられているのが、共焦点レーザ走査型顕微鏡である。試料の個々の点の走査（画素単位）捕捉により、全体の画像を生成するために比較的長時間を必要とする。

走査システムは、いくつかの点が並行して検出されるという点で同様に知られている。レーザ光を使用することは、これらのシステムが高価であるということを意味する。更に、レーザ光は狭帯域スペクトルであるため、画像情報のスペクトル評価が制限される。

画像データの生データの復調のためのソフトウェアアルゴリズムは、信号の変調部分のフィルタリングを行い、全体の画像を形成するために異なるマスク位置からのいくつかの画像を演算する必要がある。

共焦点スピニングディスクの使用によって生じる画像化の速度関連の利点は、開口相関において利用される。しかしながら、同時に、共焦点スピニングディスクまたは例えば横方向の走査スリットマスクの使用によって生じる不利益を回避することができる。開口相関において、分断性のクロストーク（露光中よりも検出中に光が別のピンホールを通過するために共焦点性にダメージを与える光）は受け入れられる。開口相関において、非共焦点画像を用いた演算によりクロストークは実質的には除去される。共焦点スピニングディスクにおいて、このクロストークは、最終的に光学アーチファクトを生じさせ、この光学アーチファクトは、後で算定されるトポグラフィにも反映される。

そのような方法は、独国特許出願公開第６９７０４５４号明細書（Ｔ２）（特許文献１）に記載されている。いくつかのセクションの画像（合成画像及び広視野画像）が記録され、減算され、連続的に表示される。合成画像及び広視野画像の連続的な捕捉は、ディスクの回転中に行われ、減算のみがその後に行われ、表示シーケンスは捕捉シーケンスの多くとも半分程度である。このため、ライブ画像の表示はできない。

米国特許第６３４１０３５号（Ｂ１）（特許文献２）には、上記した原理による方法で、ライブ画像の表示が可能な方法が記載されている。この方法において、最新の捕捉した画像及び最新の画像の直前に捕捉した画像が常時演算される。このため、各場合において、最新の画像が合成画像または広視野画像であるかどうかが判定され、減算指示が決定される。いくつかのトリガー信号によって画像捕捉及び画像処理が制御される。ディスクの端部領域にマーカーが設けられ、部分的な画像の特性を判定できるようにしている。本技術文献では、ライブ画像の表示が焦点面のみにおいて行われるため、対象物の空間的特徴の抽出については、記載されていない。

独国特許出願公開第６９７０４５４号明細書（Ｔ２） 米国特許第６３４１０３５号（Ｂ１）

従来技術からの進行状況において、本発明の目的は、トポグラフィの形成またはスタック画像の生成を容易に行うことができるように開口相関を有する共焦点顕微鏡を発展させることにある。

目的は、請求項１に記載された特徴を有する顕微鏡によって、請求項２に記載された特徴を有する方法によって、請求項９に記載された特徴を有するコンピュータ・プログラムによって達成される。

本発明による共焦点顕微鏡は、最初に、既知の技術において、対象物ステージ上に配置される試料を照明する照明装置を備える。照明装置は、例えば、広視野顕微鏡用の既知の種類の通常の照明である。対象物ステージは、好ましくは、水平面において垂直方向に移動可能となるように構成されている。代替的にまたは付加的に、焦点を変化させるための焦点駆動装置を対物レンズに設けてもよい。

同様に既知の技術において動作し、かつ構成されたスピニングディスクユニットが、照明装置と対象物ステージとの間に設けられている。スピニングディスクユニットは、例えば、独国特許出願公開第６９７０４５４号に記載されたような、光学的に開口した第１のセクションと、照明をコード化するための少なくとも１つの構造化された第２のセクションとを有する回転可能な開口マスクを含む。

試料によって反射または放出された放射線は、開口マスクまたは同様に構成されたデコーダマスクを介して対物レンズによってデコードされ、画像捕捉ユニットによって捕捉される。

第１の画像（広視野画像）は、第１のセクションを介して画像捕捉ユニットによって検出され、第２の画像（所謂、合成画像）は、第２のセクションを介してデコードされ、かつ検出される。しかしながら、共焦点部分に加えて、合成画像は、広視野画像の部分をも含んでいる。従って、共焦点画像を得るために、広視野画像は、合成画像から一般に差し引かれる必要がある。

共焦点画像を生成するために、このステップ及び更なる処理ステップは、本発明による方法を用いて画像プロセッサにおいて実行される。
本発明は、プログラムコード化手段を有するデータ処理プログラムであって、本発明による方法の方法ステップが自動的な方法で実行されるようにするために、問題となっているタイプの共焦点顕微鏡の画像プロセッサにおいて実行可能なデータ処理プログラムを備える。

有利には、本発明は、試料のトポグラフィを作成するために、問題となっているタイプの共焦点顕微鏡の画像プロセッサに（例えば、ファームウェアアップデートとして）実装可能なデータ処理プログラムを含む。このために、焦点位置を読み出すか、または制御するために、顕微鏡の制御ユニットに対する通信インターフェイスが設けられる。

試料のトポグラフィを作成するために、いくつかの垂直焦点位置において捕捉されたスタック画像が好適である。いくつかの垂直焦点位置は、対象物ステージの垂直位置の調整及び対物レンズの焦点合わせ（焦点駆動）のうちの少なくとも一方によって設定することができる。このようにして、幾何学的構造、端部、その他を特に拡張焦点深度で表示することができる。このことは、特に技術的な表面の表示に、例えば、粗さ値の判定のために適用される。

本発明によれば、対象物ステージ及び焦点駆動装置のうちの少なくとも一方は、画像捕捉中は垂直方向に連続的に駆動され、その間に第１及び第２の画像が常に交互に捕捉される。各画像に対して、好ましくは位置検出手段により検出されるか、またはプリセットされる対象物ステージ及び焦点駆動装置のうちの少なくとも一方の焦点位置は、捕捉時にメタデータとして記憶される。

この記憶は、個別のスタックまたは共通のスタックにおいて、いくつかの画像タイプに対して行うことができる。
規定された焦点位置における共焦点画像を算定するために、連続する３個の捕捉された画像が常に演算され、２個の第１の画像（広視野画像）または２個の第２の画像（合成画像）は、補間されて中間画像が生成されるとともに、個別の他の画像タイプ（第２の画像または第１の画像）の画像と演算されて共焦点画像が生成され、その共焦点画像は、好ましくはメタデータとしての関連する焦点位置とともに画像スタックにおいて記憶される。もちろん、減算指示（合成画像から広視野画像を差し引くこと）がここで考慮されるべきである。

試料のトポグラフィは、いくつかの焦点位置における共焦点画像から公知の方法で決定することができる。ここでは、トポグラフィは、スタック方向に沿った強度の評価に起因して生じる。この手順は、例えば、アール． リーチ（Ｒ． Ｌｅａｃｈ）、「表面トポグラフィの光学的測定（Ｏｐｔｉｃａｌ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｓｕｒｆａｃｅ Ｔｏｐｏｇｒａｐｈｙ）」に記載されている。

本発明の利点は、特に、この目的のためにその都度、一つの焦点位置において留まることなく、いくつかの焦点位置に対する共焦点画像を迅速にかつ簡単な方法で算定することができ、特にスタック画像において全体の測定時間が大幅に短縮されることとなるという点である。

本発明の好ましい実施形態は、従属請求項において記載されている。
各種変形例は、画像捕捉において採用することができる。
本発明の好ましい実施形態において、第１及び第２の画像は混合スタックにおいて交互に捕捉される。２つの画像タイプの数は一致させる必要はない。

代替的に、第１及び第２の画像は、個別のスタック、即ち、広視野スタック（第１の画像群）及び合成スタック（第２の画像群）において捕捉される。この場合、画像は、スタックにおいて同じ方向または反対の方向に記憶される。

精度を向上させるため、２つ以上の合成スタック、２つ以上の広視野スタック、及び２つ以上の混合スタックのうちの少なくともいずれかを用いることは有利である。
個々の所望の焦点位置に対する中間画像の算定に関して、第２の画像（合成画像）は、広視野画像の位置に補間することができる（逆もまた同様）。また、第１及び第２の画像を共通の新たな位置に補間するか、または上記した可能性のある形態を組み合わせることができる。ここで定義する中間画像は、光学系で知られている中間画像とは何ら関連が無い。中間画像は、単に２つ以上の処理ステップ間の「中間ステーション」としての役割をもつものである。

共焦点画像の算定のために少なくとも３つの画像が用いられ、少なくとも２つの同じタイプの画像と、少なくとも１つの別のタイプの画像とが必要である。
中間画像は、所望のタイプの適切な補間によって生成される。当業者であれば、この目的に適した補間を選択することができる。ここで取り上げられる例としては、多項式補間、さまざまな程度のスプライン補間、最近傍補間（nearest-neighbor interpolation）、シェパード補間（Shepard's interpolation）、アキマ補間（Akimainterpolation）」がある。外挿も同様に可能である。

対象物ステージ及び焦点駆動装置のうちの少なくとも１つの垂直調整は、好ましくは連続的に行われるが、本発明の他の実施形態では、垂直調整は変更することができる。例えば、画像データとともに記憶される複数の固定の所定の焦点位置は、画像捕捉のための制御ループを用いるか、または用いることなく採用することができる。

焦点位置に対する位置データは、全ての考えられる方法、コード化システムによる機械的な方法、光学的距離測定、音響的距離測定、磁気的距離測定、または容量的距離測定による方法により得ることができる。焦点位置を得るために、例えば、クロマティック共焦点顕微鏡の場合に色を用いることができる。

垂直方向の前進速度及び画像間の垂直方向の距離は、合成画像及び広視野画像と同じであるか、または異なっていてもよい。代替的に、カメラのフレームレートを適用することができる。

本発明による方法は、独国特許出願公開第１０２０１２００７０４５号明細書（Ａ１）に記載されたクロマティック開口相関と組み合わせることができる。
更に、改良された実施形態において画像捕捉のための複数のセンサを用いることができる。複数の画像捕捉器は同期させる必要はない。

図面を参照して本発明による方法の好ましい変形例が以下により詳細に説明される。

中間画像としての補間された広視野画像における本発明による方法の第１の変形例の概略図。 補間された合成画像を中間画像として用いる本発明による方法の第２の変形例の概略図。 いくつかのタイプの中間画像を用いる本発明による方法の第３の変形例の概略図。 任意の焦点位置における本発明による方法の第４の変形例の概略図。

本発明による方法の各種変形例のシーケンスが図１〜図４に概略的に示されている。対象物ステージ及び焦点駆動装置のうちの少なくとも一方の垂直方向の移動は、各変形例においてｚ軸０１として示されている。いくつかの焦点位置ｚ１，ｚ２ ．．． ｚ７及びｚａがｚ軸０１上にプロットされている。

本発明では、広視野画像０２及び合成画像０３は、個別の焦点位置ｚ１ ．．． ｚ７において１つまたは複数の画像センサによって交互に捕捉され、画像スタック０４における個別の焦点位置ｚ１ ．．． ｚ７とともに記憶される。もちろん、複数の画像スタックもこの記憶のために用いることができる。焦点位置は、規定された方法で採用するか、または連続的なステージの移動において検出することができる。

図１による第１の変形例において、画像プロセッサにおいて焦点位置ｚ２における共焦点画像０５を生成するために、別のＺ位置ｚ１又はｚ３で検出された２個の広帯域画像０２が既知の画像処理手段を用いて補間されて、位置ｚ２における広視野中間画像０６が形成される。焦点位置ｚ２における共焦点画像０５は、既知の方法で合成画像０３から広視野中間画像０６を差し引くことにより生成される。複数の共焦点画像０５は、関連する焦点位置ｚ２、ｚ４、ｚ６とともに共焦点スタック画像０７に記憶される。

図２による第２の変形例において、画像スタック０４において広視野画像０２が存在している焦点位置ｚ３（またはｚ５）に対する中間画像として、隣接する焦点位置ｚ２及びｚ４（又はｚ４及びｚ６）に存在する２個の合成画像０３が補間されて、焦点位置ｚ３（またはｚ５）における合成中間画像０８が生成される。共焦点画像０５は、合成中間画像０８から焦点位置ｚ３（またはｚ５）における広視野画像を差し引くことによりそれぞれ算定される。この変形例において、混合中間画像スタック０９は一時的に記憶することができる。

図３による第３の変形例は、２つの上記した変形例の組み合わせである。共焦点画像０５の算定のために、それぞれ記憶したものが、両方とも直接的に、及び補間後に使用される。この変形例において、混合中間画像スタック０９が一時的に記憶される。

図４は、関連する広視野画像０２または関連する合成画像０３のいずれも存在していない焦点位置ｚａに対してどのようにして共焦点画像０５を得ることができるかを示す。そのような方法によって本発明の柔軟性を高めることができる。この第４の変形例では、位置ｚ４及びｚ６における個々に次に隣接する合成画像０３が補間されて、合成中間画像０８が生成され、位置ｚ３及びｚ５における隣接する広視野画像が補間されて、広視野中間画像０６が生成される。共焦点画像０６は、両方の中間画像０８，０６からの差し引きにより算定される。

０１…ｚ軸
０２…広視野画像
０３…合成画像
０４…画像スタック
０５…共焦点画像
０６…広視野中間画像
０７…共焦点スタック画像
０８…合成中間画像

Claims (10)

1. 共焦点顕微鏡であって、
   試料を照明するための照明装置と、
   光学的に開口した第１のセクションと、照明をコード化するための構造化された第２のセクションとを有する回転可能な開口マスクを含むスピニングディスクユニットと、
   前記第１のセクションに割当てられた第１の画像（０２）及び前記第２のセクションに割当てられた第２の画像（０３）のうちの少なくとも一方を前記開口マスク、即ちデコーダマスクを介して検出するための画像捕捉ユニットと、
   垂直方向に移動可能な対象物ステージ及び垂直方向に移動可能な焦点駆動装置のうちの少なくとも一方であって、前記対象物ステージ及び前記焦点駆動装置のうちの少なくとも一方の垂直位置（ｚ１ ．．． ｚ７）を検出するための位置検出手段を有する垂直方向に移動可能な対象物ステージ及び垂直方向に移動可能な焦点駆動装置のうちの少なくとも一方と、
   セクションに割当てられた前記第１及び第２の画像（０２、０３）を演算することにより共焦点画像（０５）を生成するための画像プロセッサとを備え、
   前記第１及び第２の画像（０２、０３）は、関連する垂直位置（ｚ１ ．．． ｚ７）とともに前記画像捕捉ユニットにそれぞれ一時的に記憶され、
   前記画像プロセッサにおいて前記対象物ステージ上に配置された試料の共焦点画像（０５）を生成するために、２個の第１の画像（０２）または２個の第２の画像（０３）が、補間されて中間画像（０６または０８）が生成され、該中間画像（０６または０８）は、垂直位置（ｚ１ ．．． ｚ７）を考慮しつつ前記第２の画像（０３）または前記第１の画像（０２）とともに演算されて共焦点画像（０５）が生成される、共焦点顕微鏡。
2. 相関スピニングディスク顕微鏡を用いて試料のトポグラフィを決定するための方法であって、
   対象物ステージ上に配置されたサンプルの第１の画像及び第２の画像の交互検出中に試料ステージ及び焦点駆動装置のうちの少なくとも一方を移動させる工程であって、垂直方向の焦点位置は、各画像に対するメタデータとして記憶される、前記移動させる工程と、
   ２個の第１の画像または２個の第２の画像を補間して中間画像を生成する工程と、
   前記中間画像を前記第２の画像または前記第１の画像とともに演算することにより、規定された垂直位置に対する共焦点画像を生成する工程と
   を含む方法。
3. 試料のトポグラフィは、３個以上の共焦点画像から決定される、請求項２に記載の方法。
4. 前記トポグラフィは、３個以上の共焦点画像のスタックにより形成される、請求項３に記載の方法。
5. 規定された焦点位置における中間画像の補間に対して、規定された焦点位置に隣接する２個の第１の画像または２個の第２の画像が使用される、請求項２に記載の方法。
6. 第１及び第２の画像の検出は、別個のメモリまたは別個のメモリセクションにおいて行われる、請求項２に記載の方法。
7. 予め定義された垂直方向の焦点位置が前記対象物ステージに関して採用される、請求項２に記載の方法。
8. 画像捕捉中に対象物ステージが連続的に移動され、各画像に属する焦点位置が位置検出手段の手段により検出される、請求項２に記載の方法。
9. 共焦点顕微鏡の画像プロセッサにおいて実行するためのデータ処理プログラムであって、請求項２乃至８のうちのいずれか１項に記載の方法を実行するためのコード化されたプログラム命令を備える、データ処理プログラム。
10. 焦点位置を読み出すかまたは焦点位置を制御するための、顕微鏡のコントロールユニットに対する通信インターフェイスを備える、請求項９に記載のデータ処理プログラム。

Images