JP6151824B2 - 差分測定に基づき顕微鏡検査をスキャンするためのオートフォーカス - Google Patents

Description

本発明は、デジタル病理学の分野及び高速マイクロスキャンの他の分野に関する。特に、本発明は、顕微鏡に関するオートフォーカス撮像システム、オートフォーカス撮像システムを有する顕微鏡、顕微鏡のオートフォーカス撮像に関する方法、コンピュータ可読媒体及びプログラム要素に関する。

デジタル病理学において、特にホールスライドスキャンの場合、解析目的だけでなく教示目的のため、標本が、スライスされて撮像される。全体の組織スライドをスキャンするために、ラインセンサが使用されることができる。これらのスライドスキャナは、連続的な機械スキャンを実行することができる。これにより、縫い目問題が低減され、低輝度の照明を収容するため、いわゆる時間遅延積分（ＴＤＩ）ラインセンサの使用が可能にされる。これは、例えば、国際公開第０１／８４２０９Ａ２号において開示される。

実際のスキャンの前に、最適焦点位置が、スライド上の複数の位置で決定されることができる。これは、「焦点マップ」を生じさせる。図１に示されるように、組織層の軸方向位置がスライドにわたり数マイクロメートル変化することができるとき、この手順は使用されることができる（いかなる疑いをも避けるため、本書において軸方向という語は、図２に示される軸７に沿った方向を指す点を留意されたい。）。

組織層の変動は、顕微鏡対物の焦点深度以上のものとなる場合がある。スキャンの間、対象物の焦点位置は、選択された測定位置における測定された最適焦点設定の間を内挿する軌跡上にセットされる。しかしながら、この手順は、エラーを起こしやすく、かつ時間のかかるものであり、これにより、システムスループットが制限される。

既知のオートフォーカス撮像システムにおいて、（焦点の上下における）焦点エラーの符号を決定することはできない。即ち、焦点誤差信号は、有極性ではない。これは、最適焦点設定に関する永続的な更新を必要とする連続的なオートフォーカスシステムにとっては不利な場合がある。

国際公開第２００５／０１０４９５Ａ２号は、顕微鏡スライドのデジタル画像を生成するシステム及び方法を表す。この顕微鏡は、光学軸に対して傾斜されるメインカメラ及び焦点カメラを有する。

スキャン顕微鏡の改良されたオートフォーカス機能を持つことが望ましい。

本発明の第１の側面によれば、顕微鏡システムに関するオートフォーカス撮像システムが与えられ、このシステムは、関心対象物のプライマリ画像データ並びに上記関心対象物の斜め断面の第１及び第２のオートフォーカス画像データを取得する画像センサ構成であって、上記画像センサ構成が、上記第１のオートフォーカス画像データを取得し、後に、上記第２のオートフォーカス画像データを取得するよう構成される傾けられた画像センサを含む、画像センサ構成を有する。このシステムは更に、上記第１のオートフォーカス画像データに関する第１のデータと上記第２のオートフォーカス画像データに関する第２のデータとの比較に基づき、上記顕微鏡システムの焦点位置の有極誤差信号を生成する計算ユニットを有する。

例示的な実施形態によれば、画像センサ構成は、上記関心対象物の上記プライマリ画像データを取得するプライマリ画像センサと、上記関心対象物の斜め断面の上記第１のオートフォーカス画像データを取得し、後に上記第２のオートフォーカス画像データを取得する傾けられたオートフォーカス画像センサとを有する。

言い換えると、オートフォーカス撮像システムは、プライマリ画像センサと、オートフォーカス画像センサの方へ関心対象物から進む放射線をオートフォーカス画像センサ上で焦束させるレンズの光学軸（以下において、「放射線の光学軸」又は「プライマリ画像センサの光学軸」と呼ばれる）に対して垂直に構成されるわけではないが、その光学軸に対して傾けられるオートフォーカス画像センサとを有する。この傾けられたオートフォーカス画像センサは、オートフォーカス画像データのシーケンスを取得する。各オートフォーカス画像データは、別の時間に取得され、及び従って、関心対象物（それは、撮像の間、移動する）の別の位置に関して取得される。

別の実施形態は、プライマリ画像センサ及びオートフォーカス画像センサの機能を１つの物理的なセンサへと実際に組合せることである。この１つのセンサは、上述された光学軸に対して傾けられる。このセンサは、何らかの態様の２Ｄ画像センサでなければならない。この場合、ピクセルの全て又はサブセットが、オートフォーカス画像データを生成するために用いられる。一方、別の可能性として、重複するセットが、プライマリ画像データを生成するために用いられる。ピクセルのこれらの２つのセットは、同時にキャプチャされる異なる物理的なピクセル、又はシーケンシャルにキャプチャされる部分的に同じピクセルとすることができる。又は、両方の組合せとすることができる。撮像及びオートフォーカス機能を組み合わせる斯かるセンサがどのように実現及び用いられることができるかに関する詳細に関して、読者は、欧州特許出願第０９３０６３５０号を参照することができる。これは、本書において参照により含まれる。

その後、第１のオートフォーカス画像データに関する第１のデータ及び第２のオートフォーカス画像データに関する第２のデータの比較が実行される。この第１及び第２のデータは、元々取得された第１及び第２のオートフォーカス画像データ、又はこの画像データの変形、又はこの第１及び第２のオートフォーカス画像データから得られる測定基準とすることができる。

例示的な実施形態によれば、上記比較が、第１のデータにおける第１のコントラスト関数及び第２のデータにおける第２のコントラスト関数の決定を有する。第１及び第２のコントラスト関数は共に、オートフォーカス画像センサにおけるｘ位置の関数である。その後、第１のコントラスト関数は、第２のコントラスト関数と比較される。

別の例示的な実施形態によれば、計算ユニットは、関心対象物の並進のため第２のコントラスト関数を修正し、及び２つのコントラスト関数（又は、２つのコントラスト関数のフィルタリングされた又は変換されたバージョン）を互いから減算するよう構成される。こうして、Ｓ字曲線が生じる。

言い換えると、この実施形態によれば、第１のコントラスト関数と第１のコントラスト関数との比較が、第１のコントラスト関数に関する第１のデータを第２のコントラスト関数に関する第２のデータから減算することを有する。この場合、減算が実行される前に、第１又は第２のコントラスト関数が並進のために修正される。

別の例示的な実施形態によれば、計算ユニットは、有極誤差信号を生成するためＳ字曲線のゼロ交差を決定する。

Ｓ字曲線が、第１及び第２のオートフォーカス画像データより低い周波数の詳細を有するので、Ｓ字曲線のゼロ交差の決定は、高い精度で実行されることができ、こうして、高い精度で有極誤差信号を決定することが可能にされる。

別の例示的な実施形態によれば、このオートフォーカス撮像システムは、最適な焦点位置の決定のため、上記焦点位置のフィードバック又はフィードフォワード制御を実行するよう適合される。

本発明の第２の側面によれば、上記及び後述されるオートフォーカス撮像システムを有する顕微鏡が提供される。

本発明の例示的な実施形態によれば、顕微鏡は、デジタル病理学に関するスライドスキャナとして適合される。

本発明の別の側面によれば、顕微鏡システムのオートフォーカス撮像に関する方法が提供される。そこでは、関心対象物のプライマリ画像データが、プライマリ画像センサ構成により取得される。更に、関心対象物の斜め断面の第１のオートフォーカス画像データ、及び、後に、第２のオートフォーカス画像データが、画像センサ構成の傾けられたオートフォーカス画像センサにより取得される。すると、顕微鏡システムの焦点位置の有極誤差信号が、第１のオートフォーカス画像データに関する第１のデータと第２のオートフォーカス画像データに関する第２のデータとの比較に基づき生成される。

本発明の別の側面によれば、コンピュータ可読媒体が提供される。この媒体に、顕微鏡システムのオートフォーカス撮像に関するコンピュータプログラムが格納される。顕微鏡システムのプロセッサにより実行されるとき、このプログラムは、上記及び／又は後述される方法ステップをプロセッサに実行させる。

更に、本発明の別の側面によれば、顕微鏡システムのオートフォーカス撮像に関するプログラムが提供される。顕微鏡システムのプロセッサにより実行されるとき、このプログラムは、上記及び／又は後述される方法ステップをプロセッサに実行させる。

コンピュータ可読媒体は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ、ＤＶＤ、ＵＳＢ（ユニバーサルシリアルバス）ストレージデバイス、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリメモリ）及びＥＰＲＯＭ（消去可能なプログラマブル・リードオンリメモリ）とすることができる。コンピュータ可読媒体は、プログラムコードをダウンロードすることを可能にする、例えばインターネットといったデータ通信ネットワークとすることもできる。

高速スライドスキャンのための連続的なオートフォーカスに関するシステムが提供され、このシステムが、光学軸に対して傾けられる追加的な画像センサに基づかれることが、本発明の例示的な実施形態の要旨として見られることができる。このオートフォーカス画像センサは、スライドの斜めの断面を撮像する。焦点合わせのため、斜めのオートフォーカス画像センサにより撮られる複数のシーケンシャルな重複する画像の比較が、実行される。組織層の軸方向位置は、この差分測定から生じる有極誤差信号から決定されることができる。

組織スライドアセンブリの断面を示す図である。 組織スライドアセンブリの斜めの断面を示す図である。 オートフォーカス画像センサの深度距離及び傾斜角度の間の関係を示す図である。 オートフォーカスセンサにより生成される２つのシーケンシャルな画像を示す図である。 オートフォーカスセンサにより生成される２つのシーケンシャルな画像を示す図である。 計算ユニットにより生成される対応するコントラスト曲線を示す図である。 計算ユニットにより生成される対応するコントラスト曲線を示す図である。 本発明の例示的な実施形態によるオートフォーカス撮像システムを持つ顕微鏡を示す図である。 本発明の別の例示的な実施形態によるオートフォーカス撮像システムを持つ顕微鏡を示す図である。 本発明の別の例示的な実施形態によるオートフォーカス撮像システムを持つ顕微鏡を示す図である。 本発明の例示的な実施形態による顕微鏡システムを示す図である。 本発明の例示的な実施形態による方法のフローチャートを示す図である。

図における説明は、概略的なものである。異なる図において、類似する又は同一の要素は、同一の参照番号を用いて与えられる。以下において、シンボルに関連付けられるプライム記号（'）は、画像空間が考慮されることを意味する（例えば、センサ参照）。プライム記号なしのシンボルは、対象物空間が考慮されることを意味する（通常はサンプル参照）。例えば、本書において角度ベータプライム（β'）が使用されるとき、画像空間における回転、そして、後でより詳しく述べられるように、物理センサの回転が示されることになる。また、角度ベータ（プライムなしのβ）は、対象物空間における回転を示し、そして、後でより詳しく述べられるように、オートフォーカスセンサにより撮像されるサンプルの斜めの断面の回転を示す。

図１は、通常１ｍｍの厚さの顕微鏡スライド１と、通常０．１７ｍｍの厚さのカバースリップ２と、組織層４を固定及び密封する取付け媒体３とを有する組織スライドアセンブリの概略的な断面を示す。組織層は通常、約５μｍ厚であり、取付け層は、組織層を含み、通常１０〜１５μｍ厚である。カバースリップがスライドに付けられる前に、取付け媒体が、流体形式で組織層を持つスライドに適用されることができる。続いて取付け流体が凝固する。こうして、組織層が機械的に固定され、劣化に対する安定性を提供するため、外側の環境から密封される。組織層の軸方向位置は、スライドにわたり数μｍ内で変化することができる。

スキャンする間、最適な分解能を提供するため、焦点が、継続的に調整されなければならない場合がある。なぜなら、組織層の軸方向位置が変化するからである。

「焦点マップ」法の使用に代わる変形例は、連続的なオートフォーカスシステムの使用である。即ち、最適な焦点位置を継続的に測定し、デジタル画像を取得する実際のスキャンの間、対物レンズの軸方向位置を適合させる追加的なシステムの使用である。オートフォーカスシステムは、得られた画像におけるコントラストを最適化することに基づかれることができる。様々な測定基準が、コントラスト最適化に関して用いられることができる。しかしながら、（焦点の上下の）焦点誤差の符号は、この態様では決定されることができない。即ち、焦点誤差信号は、有極性ではない。これは、最適な焦点設定に関する永久的な更新を必要とする連続的なオートフォーカスシステムにとって不利でありえる。

オートフォーカスシステムは、例えば光学ディスクにおいて、対象物平面にある又はその近くにある参照表面において反射されるラインを用いることができる。しかしながら、この方法が組織スライドに適用されるときの欠点は、（顕微鏡スライド及び組織層の間、並びに組織層及びカバースリップの間の）関連するインタフェースが、低い反射を持つ場合があり、反射信号が、近くの組織層から生じる散乱により歪められ、従って堅牢性を損なう点にある。

良好な代替案は、光学軸に対して傾けられる追加的なセンサの使用である。図２に示されるように、このオートフォーカス画像センサは、対象物の斜め断面の画像を製作する。この断面は、組織層の軸方向位置に基づきいくつかのポイントで、又は対物レンズの焦点面に対して、組織層を切断することができる。こうして、センサ上の組織層の位置が、焦点ぼけ（defocus）の量に関する尺度となる。より詳細には、読者は、欧州特許出願第０９３０６３５０号を参照することができる。これは、本書において参照により含まれる。

図２から分かるように、傾けられたオートフォーカス画像センサは、組織スライドアセンブリの斜めの断面５の画像を製作する。傾斜は、スキャン方向６（即ち方向ｘ）にある。センサは、Ｎ_ｘピクセルを持ち、ピクセル当たりΔｘでスキャン方向において、ピクセル当たりΔｚで軸方向の方向７において、対象物をサンプリングする。

例えば、オートフォーカス撮像システムは、組織層の可視光撮像を損なわないよう、可視スペクトルの外側の波長を用いて作動する。例えば、オートフォーカスシステムは、可視スペクトルの赤外線側にある波長を用いて作動する。なぜなら、紫外線放射は、組織に損傷を与え、赤外線より複雑で及び／又は高価な光学要素を必要とする場合があるからである。

追加的なオートフォーカス画像は、様々な態様で提供されることができる。１つの可能性は、いわゆる暗視野照射を用いることである。これにより、伝搬方向のセットを有するビームを用いて、サンプルが照射される。

オートフォーカスシステムの深度距離Δｚ_ｔｏｔは、他のパラメータの適切な設定のため、十分に大きくなければならない。オートフォーカス画像センサは、スキャン方向においてＮ_ｘピクセルを持ち、ピクセルサイズはｂである。センサは、角度β'を越えて傾けられる。その結果、横方向及び軸方向のサンプリングが、

により与えられる。

対象物（組織スライド）での横方向及び軸方向のサンプリングは、

により与えられる。ここで、Ｍは、拡大率であり、ｎは、対象物の屈折率である。ここで、対象物での軸方向のサンプリングは、

に従う。

Ｎ_ｘ個のピクセルがあるので、総深度距離は

である。

対象物Δｘでの横方向のサンプリングは、焦点ぼけに応じた高周波情報の生成を可能にするため、十分に小さいべきである。最大の焦点ぼけ感度は、カットオフ空間的周波数の半分で見いだされる。従って、Δｘは好ましくは、０．５〜１．０μｍの範囲にあり、即ち、Δｘは、０．７５μｍの近辺にある。ピクセルサイズｂ＝１０μｍを持つ、（Ｎ_ｘ＝６４０、Ｎ_ｙ＝４８０ピクセルの）ＶＧＡセンサを考慮し、屈折率ｎ＝１．５を用いると、深度距離及びセンサ傾斜角度の間の関係は、図３に示されるようになる（曲線３０３を参照）。

図３において、水平軸３０１は、０度から３５度の間のオートフォーカスセンサ傾斜角を示し、垂直軸３０２は、０マイクロメートルから５０マイクロメートルの間のｚ距離を示す。

概略的に、深度距離は、傾斜角度当たり１μｍ増加する。深度距離は好ましくは、約２０μｍとすることができ、従って、約２０度の軽い傾斜角で充分である。その場合、軸方向のサンプリングΔｚは、約４２ｎｍである。これは、数μｍの精度で組織層の軸方向位置を見つけ出すことを可能にするのに十分に小さい。

十分な信号対ノイズ比を持つ焦点ぼけ誤差信号に関して、Ｎ_ｙ行のピクセル全てが必要とされるわけではないように見える。原理上は、Ｎ_ｙ＝１で充分である。しかしながら、複数の行を用いることは、信号の堅牢性を改良する。センサが、ＣＭＯＳセンサである場合、ウィンドウ化（制限された数の行だけが読み出される）が、用いられることができる。これは、計算負担及び／又はオートフォーカスの信号の測定の周波数に関するポジティブ効果を持つことができる。更に、ウィンドウの横方向の位置は、組織の平均的な横方向の位置に適合するよう、スキャンごとに適合されることができる。例えば、スキャン領域が組織領域のエッジを含む場合、ラインセンサの１つの側は、他の側が撮像しない組織を撮像する。組織があるフィールドの側にあるウィンドウを選択することにより、良好な誤差信号がまだ得られることができる。代替的に、１つ又は複数のラインセンサが、組み合わされることができる。こうして、オートフォーカスの信号の１つ又は複数の測定が提供される。

焦点ぼけの量を検出するため、オートフォーカスセンサ上の画像におけるシャープネス詳細の量を定量化する画像解析アルゴリズムが用いられることができる。２段階アルゴリズムが、用いられることができる。第１段階のアルゴリズムは、オートフォーカスセンサにより生成される画像に関して所与の時間でのコントラスト量を検出する。続いて、第２段階のアルゴリズムは、顕微鏡下の対象物が並進される間、オートフォーカスセンサにより撮られる２つのシーケンシャルな画像から、第１段階のアルゴリズムの結果を比較する（必ずしも隣接するフレームではなく、フレームは、数フレーム戻ったフレームと比較されることができる）。

第１段階の低レベルアルゴリズムは、センサにおけるｘ位置の関数として曲線を生み出す。これは、オートフォーカスセンサ上の画像における詳細の量を示す。オートフォーカスセンサがｘ方向に対して、即ち組織スライドアセンブリの前方表面に対して傾けられるので、オートフォーカスセンサ画像が生成される対象物における深度は、同様にセンサ上のｘ位置と共に変化する。従って、第１段階のアルゴリズムにより生成されるコントラスト曲線は、サンプルにおけるｘ位置だけでなくサンプルの深度（ｚ位置）の関数である。これは、図４Ａ〜図４Ｄにおいて示される。斯かる詳細依存曲線を生成するための多くの方法が、用いられることができる。この場合、本書に示されるものは、ソベルエッジ検出に基づかれる。本発明は、第１段階のアルゴリズムにおいて使用される詳細検出の方法に特定されるものではなく、任意の既知の方法に対して機能するべきである。

図４Ａ及び図４Ｂは、スキャンの間（即ち、ｘ方向６に沿ったサンプルの並進の間。図２を参照。）、オートフォーカスセンサにより生成されるシーケンシャルな画像を示す。図４Ａ及び図４Ｂにおける水平軸４０１は、画像におけるｘ位置を示し、垂直軸４０２は、例えばコントラストといった信号値を示す。

曲線４０３、４０４は、低レベルアルゴリズムの結果であり、各画像に関して１つの曲線が対応する。曲線４０４に対応する画像は、曲線４０３に対応する画像に対して、およそ６０ピクセル並進される。曲線４０３、４０４は、低レベルアルゴリズムの結果が、オートフォーカスセンサに対する対象物のｘ位置（高周波数の詳細であり、これは、右画像と比較して左画像において、質的に同じであるが、並進されている）と、オートフォーカスセンサに対する対象物のｚ位置（低周波数エンベロープであり、多かれ少なかれガウス曲線で、４５０の周りにピークがある）との両方に依存することを明確に示す。

サンプルの並進に関する修正後、第２段階の高レベルアルゴリズムは、第１段階のアルゴリズムからの２つのシーケンシャルな結果を互いから減算する（今後、焦点曲線と呼ばれる）。これは、図４Ｃ及び図４Ｄに示される。第１段階のアルゴリズムにより生成され、図４Ｃに示されるように、２つのシーケンシャルな焦点曲線を減算することは、図４Ｄに示されるいわゆるＳ字曲線４０５を与える。Ｓ字曲線のゼロ交差４０６（垂直ラインの位置にある）は、サンプルの焦点内（in-focus）位置である。

明らかに、焦点曲線に存在していた、画像の情報コンテンツの結果であった高周波数の詳細は、Ｓ字曲線においてもはや存在しない。Ｓ字曲線は、顕微鏡において撮像される対象物の（局所）形態に依存しない安定した信号である。Ｓ字曲線は、オートフォーカス画像センサにより生成される各フレームに対して生成されることができ、最近のＳ字曲線のゼロ交差は、比較された２つのフレームの取得の間の正確に時間Ｔでの理想的な焦点位置を示す。

言い換えると、この２段階手法は、焦点曲線上に存在する高周波ノイズを明らかに抑制する。こうして、顕微鏡のスキャンアクションの間の高帯域幅の有極焦点誤差の検出が提供されることができる。

オートフォーカスの信号の最大帯域幅は、センサのフレームレートにより決定される。２００Ｈｚのフレームレートを提供する既製のセンサが、容易に利用可能である。１０ｍｍ／ｓといった典型的な高速スキャン顕微鏡に対して、これは、５０マイクロメートル毎の焦点測定を意味する。

組織が焦点合わせされるｚ位置をリアルタイムに決定することを可能にする実施形態は、ＦＰＧＡプロセッサ又は専用の画像処理ＡＳＩＣと高速の画像センサとの組合せである。

一旦最適な焦点位置ｚ_ｏｐｔが決定されると、フィードバック又はフィードフォワード焦点戦略が実現されることができる。フィードバックの場合、焦点位置ｚ_ｏｐｔの検出は理想的には、撮像がされるのと正確に同じ位置及び時間で行われる。誤差信号（所望の焦点位置ｚ_ｏｐｔから、撮像対物レンズの実際の焦点位置ｚ_ｏｂｊを引いたもの）に基づき、撮像光学の焦点位置ｚ_ｏｂｊが調整される。焦点位置ｚ_ｏｐｔが得られるサンプルレートは、斯かるフィードバックシステムの最終的な帯域幅を決定することになる。通常は、サンプリングレートより係数で１０低い帯域幅が得られることができる。

オートフォーカスセンサ上へ撮像されるスライドの傾けられた断面は、目的の焦点面とラインにおいて交差する。可能であれば、上記実施形態の全てにおいて、このラインは、距離Δｘ分、ポジティブスキャン方向（「上流」）において（ＴＤＩ又は非ＴＤＩ）ラインセンサにより撮像されるラインからオフセットされる。その結果、Δｘ／ｖは、ここで、ｖはスキャン速度であるが、オートフォーカス画像から焦点誤差信号を計算するのに必要な時間より大きい。これは、フィードフォワード・シナリオにおいて有利に用いられる。ここで、焦点位置ｚ_ｏｐｔの検出は理想的には、（時間において）撮像の先に行われる。更に、オートフォーカス画像が対象物の撮像野内で適合するよう、オフセットされたΔｘは、十分に小さいべきである。フィードフォワードシステムは、無限に高速とすることができる。しかしながら、最大スキャン速度はある事実により制限される。その事実は、焦点位置の決定は、サンプルの特定の領域に関する焦点位置測定が実行される時間とその同じ領域が撮像される時間との間で経過する時間量内に実行されなければならないというものである。別の限定要素は、撮像光学の焦点位置が調整されることができる速度である。

非制限的な例として、図５は、顕微鏡システムの一部、特に、光経路における撮像分岐を示す。エピモード暗視野照射に関する実施形態が、図６に示される。

スライド１及びカバースリップ２（並びに組織層４。図示省略）を通る光が、背部開口２１を持つ対物レンズ２０によりキャプチャされる。そこでは、非散乱ビームがブロックされる。カラースプリッタ２２が、画像センサ構成上の管レンズ２３により撮像される白色光をスプリットする。これは、第１、第２及び第３のプライマリ画像センサ２４、３２、３３を有することができる。これらのセンサは、デジタル組織画像を生成するラインセンサの形で適合されることができる。赤外線光は、オートフォーカス画像センサ２６上の第２の管レンズ２５により撮像される。これは、オートフォーカス画像センサ２６に向かって関心対象物から放射線の光学軸３１に対して傾けられる。本書の文脈において、「プライマリ画像センサの光学軸に対して傾けられる」という記載は、オートフォーカス画像センサに衝突する関心対象物からの放射線が、オートフォーカス画像センサに垂直に当たらないことを意味する。しかしながら、プライマリ画像センサに向かって関心対象物から飛来する放射線は、プライマリ画像センサに垂直に当たることができる。しかしながら、これは必要とされるものではない。組織により散乱される光線は、開口２１を通過することができ、オートフォーカス画像センサ２６上で撮像される。

図６は、オートフォーカス撮像システム５００を備える顕微鏡システムのエピモード暗視野照射に関する光学レイアウトを示す。このシステムは、レーザダイオード１４を持つ。この照射は、撮像分岐と一体化される。２つの×印の付いた格子１５は、回折オーダーを生成するレーザダイオード１４の後に構成される。例えば、０次の回折オーダーは、Ｓ'０、＋１次のオーダーは、Ｓ'_＋１、−１次のオーダーは、Ｓ'_−１である。更になお、フィールドストップ１６が、暗視野照射ビームの幅を限定する格子１５の近くに構成される。コリメーターレンズ１７は、レーザダイオード１４からの光をコリメートする。

偏光ビームスプリッタ２８が、コリメーターレンズ１７を進んだあとのビームをスプリットするために提供される。更に、顕微鏡は、四分の一波長板２９を有する。要素２８及び２９は、対物レンズの方へレーザーから生じるビームを向け、オートフォーカス画像センサの方へ組織から生じる散乱光を構築する世話をする。

図７は、顕微鏡５００のマルチスポット照射に関する光学レイアウトを示す。この照射は、撮像分岐と一体化される。レンズ１７は、スポット３０のアレイを生成するスポット生成器に入射するビームを平行化する。全体のアセンブリを傾けることにより、スポットアレイが傾けられる。その結果、結果として生じる入射するスポットアレイ及びスライドが、同様に傾けられる。スポット生成器２９は、低ＮＡビームのアレイを生成する。これは、重要な収差を導入することなしにビームスプリッタ２７を進むことができる。

図７の実施形態において、スポットのアレイは、オートフォーカス画像センサにより撮像される斜め断面５を照射するために用いられる。組織上に焦束されるスポットは、時間依存散乱を経験することができる。なぜなら、スポットが焦束される領域の吸収及び屈折率は、スキャンと共に変化するからである。オートフォーカス画像センサ上で撮像されるスポットの時間依存性を検査することにより、組織層の軸方向位置が位置決めされることができる。即ち、焦点の近くで、高分解能情報が可視であり、焦点から離れると、これがぼやける。結果として、組織層が焦点面と一致するとき、比較的小さな時間スケールにおける信号変動が、最大となる場合がある。

図８は、例えばコンピュータといったユーザインタフェース８０１に接続されるプロセッサ又は処理ユニット８００に接続されるオートフォーカス撮像システム５００を持つ顕微鏡を有する顕微鏡システム８０２を示す。

図９は、例示的な実施形態による方法のフローチャートを示す。ステップ９０１において、関心対象物の９０１のプライマリ画像データが、プライマリ画像センサ構成により取得される。同時に又は前に、ステップ９０２において、第１のオートフォーカス画像データが、傾けられたオートフォーカス画像センサにより取得される。後で、関心対象物の並進後、ステップ９０３において、関心対象物の斜め断面の第２のオートフォーカス画像データが、傾けられたオートフォーカス画像センサにより取得される（このとき、別のプライマリ画像データが、プライマリ画像センサにより取得されることもできる（ステップ９０４））。すると、ステップ９０５において、顕微鏡の焦点位置の有極誤差信号が、第１のオートフォーカス画像データと第２のオートフォーカス画像データとの比較に基づき生成される。

説明されたオートフォーカスシステムは、デジタル病理学及び高速マイクロスキャンの他の分野における用途を見い出す。

これまでのすべての実施形態は、２つの別々の画像センサ、即ちプライマリ画像センサ及びオートフォーカス画像センサを参照してきたが、前述したように、追加的な実施形態において、これらの２つのセンサが、２つの分離したセンサと同じ機能を提供する１つの画像センサにより置換されることができる点に留意されたい。この組み合わされたセンサは、いくつかの態様の２Ｄ画像センサとして適合されることができ、光学軸に対して傾けられなければならない。欧州特許出願番号第０９３０６３５０号から理解されるように、組み合わされたセンサのピクセルの全て又はサブセットが、オートフォーカス画像データを生成するために用いられる。一方、別の可能性として重複するセットが、プライマリ画像データを生成するために用いられる。ピクセルのこれらの２つのセットは、同時にキャプチャされる異なる物理ピクセル、シーケンシャルにキャプチャされる部分的に同じピクセル、又はこれらの組み合わせとすることができる。この実施形態の実現の非限定的な例として、２Ｄ画像センサを用いることができる。ここで、すべてのピクセルは、オートフォーカス画像データを生成するために用いられ、スキャン方向に垂直なピクセルの単一の行が、仮想ラインセンサを形成するために用いられる。これは、プライマリ画像データを生成するために用いられる。

本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付の特許請求の範囲の研究から、開示された実施形態に対する他の変形が、請求項に記載された発明を実施する当業者により理解され及び遂行されることができる。請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「ａ」又は「ａｎ」は複数性を除外するものではない。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (17)

1. 顕微鏡システムに関するオートフォーカス撮像システムであって、
   関心対象物のプライマリ画像データ並びに前記関心対象物の斜め断面の第１及び第２のオートフォーカス画像データを取得する、光学軸に対して傾けられる一つの物理的な画像センサと、
   前記第１のオートフォーカス画像データに関する第１のデータと前記第２のオートフォーカス画像データに関する第２のデータとの比較に基づき、前記顕微鏡システムの焦点位置の有極誤差信号を生成する計算ユニットとを有し、
   前記第１及び第２のオートフォーカス画像データは、前記関心対象物の異なる位置について取得される、オートフォーカス撮像システム。
2. 前記第１及び第２のオートフォーカス画像データが、前記関心対象物の並進の前後に取得される、請求項１に記載のオートフォーカス撮像システム。
3. 前記比較が、
   前記第１のデータにおいて、前記画像センサにおけるｘ位置の関数として、第１のコントラストを決定し、及び、前記第２のデータにおいて、前記画像センサにおけるｘ位置の関数として、第２のコントラストを決定することと、
   前記第１のコントラスト関数と前記第２のコントラスト関数とを比較することとを有する、請求項１に記載のオートフォーカス撮像システム。
4. 前記第１のコントラスト関数と前記第２のコントラスト関数とを比較するため、前記計算ユニットが、前記関心対象物の並進について前記第２のコントラスト関数を修正し、前記第１及び第２のコントラスト関数、又はフィルタリング若しくは変形されたバージョンの前記第１及び第２のコントラスト関数を互いから減算するよう構成され、これにより、Ｓ字曲線が生じる、請求項３に記載のオートフォーカス撮像システム。
5. 前記有極誤差信号を生成するため、前記計算ユニットが、前記Ｓ字曲線のゼロ交差を決定するよう構成される、請求項４に記載のオートフォーカス撮像システム。
6. 最適な焦点位置の決定後、前記焦点位置のフィードバック又はフィードフォワード制御を実行するよう更に構成される、請求項１に記載のオートフォーカス撮像システム。
7. 前記画像センサが、前記関心対象物から放射される放射線を前記画像センサ上に焦束させるレンズの光学軸に対して傾けられる、請求項１に記載のオートフォーカス撮像システム。
8. 前記有極誤差信号が、焦点の上下を示す符号を有する、請求項１に記載のオートフォーカス撮像システム。
9. 請求項１から８のいずれか一項に記載のオートフォーカス撮像システムを有する顕微鏡システム。
10. 顕微鏡システムのオートフォーカス撮像に関する方法において、
    光学軸に対して傾けられる一つの物理的な画像センサで、関心対象物のプライマリ画像データを取得するステップと、
    前記画像センサで前記関心対象物の斜め断面の第１のオートフォーカス画像データと第２のオートフォーカス画像データを取得するステップと、
    前記第１のオートフォーカス画像データに関する第１のデータと前記第２のオートフォーカス画像データに関する第２のデータとの比較に基づき、前記顕微鏡システムの焦点位置の有極誤差信号を生成するステップとを有し、
    前記第１及び第２のオートフォーカス画像データは、前記関心対象物の異なる位置について取得される、方法。
11. 前記第１及び第２のオートフォーカス画像データが、前記関心対象物の並進の前後に取得される、請求項１０に記載の方法。
12. 前記比較が、
    前記第１のデータにおいて、前記オートフォーカス画像センサにおけるｘ位置の関数として、第１のコントラストを決定し、及び、前記第２のデータにおいて、前記オートフォーカス画像センサにおけるｘ位置の関数として、第２のコントラストを決定するステップと、
    前記第１のコントラスト関数と前記第２のコントラスト関数とを比較するステップとを有する、請求項１０に記載の方法。
13. 前記第１のコントラスト関数と前記第２のコントラスト関数とを比較するステップが、
    前記第１及び第２のコントラスト関数、又はフィルタリング若しくは変形されたバージョンの前記第１及び第２のコントラスト関数を互いから減算することにより、Ｓ字曲線を決定するステップと、
    前記Ｓ字曲線のゼロ交差を決定することにより前記有極誤差信号を生成するステップとを有する、請求項１２に記載の方法。
14. 前記有極誤差信号が、焦点の上下を示す符号を有する、請求項１０に記載の方法。
15. 顕微鏡システムのオートフォーカス撮像に関するプログラム要素であって、前記顕微鏡システムのプロセッサにより実行されるとき、前記プロセッサに、
    光学軸に対して傾けられる一つの物理的な画像センサで、関心対象物のプライマリ画像データを取得するステップと、
    前記画像センサで前記関心対象物の斜め断面の第１のオートフォーカス画像データと第２のオートフォーカス画像データを取得するステップと、
    前記第１のオートフォーカス画像データに関する第１のデータと前記第２のオートフォーカス画像データに関する第２のデータとの比較に基づき、前記顕微鏡の焦点位置の有極誤差信号を生成するステップとを実行させ、
    前記第１及び第２のオートフォーカス画像データは、前記関心対象物の異なる位置について取得される、プログラム要素。
16. 前記第１及び第２のオートフォーカス画像データが、前記関心対象物の並進の前後に取得される、請求項１５に記載のプログラム要素。
17. 前記有極誤差信号が、焦点の上下を示す符号を有する、請求項１５に記載のプログラム要素。

Images