JP6158183B2 - 複数の較正曲線を使用した光学機器の連続した非同期的オートフォーカスのためのシステム及び方法 - Google Patents

複数の較正曲線を使用した光学機器の連続した非同期的オートフォーカスのためのシステム及び方法 Download PDF

Info

Publication number
JP6158183B2
JP6158183B2 JP2014528329A JP2014528329A JP6158183B2 JP 6158183 B2 JP6158183 B2 JP 6158183B2 JP 2014528329 A JP2014528329 A JP 2014528329A JP 2014528329 A JP2014528329 A JP 2014528329A JP 6158183 B2 JP6158183 B2 JP 6158183B2
Authority
JP
Japan
Prior art keywords
autofocus
optical
signal
rotor
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014528329A
Other languages
English (en)
Other versions
JP2014529100A5 (ja
JP2014529100A (ja
Inventor
クーパー,ジェレミー・アール
グッドウィン,ポール・シー
グッドソン,スティーブン・ジー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Global Life Sciences Solutions USA LLC
Original Assignee
Amersham Biosciences Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amersham Biosciences Corp filed Critical Amersham Biosciences Corp
Publication of JP2014529100A publication Critical patent/JP2014529100A/ja
Publication of JP2014529100A5 publication Critical patent/JP2014529100A5/ja
Application granted granted Critical
Publication of JP6158183B2 publication Critical patent/JP6158183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は光学機器に関し、特に、対物レンズと撮像対象上、内又は近傍の点又は表面との間の光軸に沿った一定の距離を維持する光学機器内の連続して非同期的に動作するオートフォーカスサブシステムに関する。
光学顕微鏡法及び他の光学ベースの方法は、数百年にわたって、科学研究から戦争行為に至るまで、多くの領域の人間の活動に利用されてきたが、マイクロプロセッサ、現代のコンピュータの使用及び分子生物学の出現によって、新規の光学機器類及び光学撮像技術の開発がますます加速してきている。例えば、現代の蛍光顕微鏡機器類に組み込まれた計算機構と組み合わせて、生細胞においてタンパク質の蛍光標識することにより、生細胞の生物学的要素の微細な詳細が、光学顕微鏡法のいわゆる「回折限界」よりも著しく低い分解能において撮像されることができる。
多くの新規の光学機器、光学機器の用途及び光学撮像技術は、光学z軸に直交するx−y平面内で長期間にわたって及び/又は撮像対象を走査している間、浅い焦点深度で高性能な光学系を精密に合焦することに依存する。例は、相対的に長い期間にわたって生体試料内の微弱放射蛍光色素分子を撮像することによって回折限界よりも低い分解能を達成するさまざまな光学顕微鏡技法及び、一定のz位置を維持しながらこれらの試料を顕微鏡の光路に対してx−y平面内で並進させることによってこれらの試料内の平面を撮像するために生細胞及び他の生体試料を走査するための光学顕微鏡技法を含む。光学機器の焦点は、例えば、熱的及び電気機械的に不安定である結果として経時的に変化する場合があり、非常に精密な電気機械顕微鏡ステージでさえ、長い時間にわたって試料を走査している間又は試料からデータを収集している間にステージがx−y平面内で並進すると、撮像する光学部品に対して上下する場合がある。精密光学機器類の設計者、製造者及び使用者は、高精度光学機器の焦点を、長時間にわたって及び、電気機械ステージを含む高精度光学機器のさまざまなサブコンポーネントが動作している間、安定させるシステム及び方法を模索し続けている。
米国特許第2011/0101203号
本発明の実施形態は、試料上、内又は近傍の特定の点又は表面における精密かつ安定した光学機器の焦点を維持するために、光学機器の焦点を連続的に監視し、光軸に沿った光学機器内の距離を調整する光学機器内のオートフォーカスサブシステムに関する。本発明の特定の実施形態は、それらが組み込まれている光学機器の他の部品及びサブシステムの動作に対して非同期的に動作し、複数の較正曲線を利用する。
蛍光顕微鏡内の光路を示す図である。 蛍光顕微鏡内の光路を示す図である。 蛍光顕微鏡内の光路を示す図である。 所定期間にわたる試料内の、光軸に対する対物レンズの焦点位置又はz位置の望ましくない変動を示す図である。 試料がx及び/又はy並進している間の、試料内の、光軸に対する対物レンズの焦点位置又はz位置の望ましくない変動を示す図である。 従来の顕微鏡のオートフォーカスサブシステムを示す図である。 従来のオートフォーカスモジュールの動作を示す制御フロー図である。 従来のオートフォーカスモジュールの動作を示す制御フロー図である。 連続的なオートフォーカスを示す制御フロー図である。 図1A〜図1C及び図3を参照して上記で説明した蛍光顕微鏡の電気機械ステージから独立したz軸走査を示す図である。 図1A〜図1C及び図3を参照して上記で説明した蛍光顕微鏡の電気機械ステージから独立したz軸走査を示す図である。 図1A〜図1C及び図3を参照して上記で説明した蛍光顕微鏡の電気機械ステージから独立したz軸走査を示す図である。 小開口焦点検出器の動作の原理を示す図である。 ピンホール開口ロータを示す図である。 ピンホール開口ロータを示す図である。 ピンホール開口ロータを示す図である。 異なるタイプのオートフォーカスロータを示す図である。 異なるタイプのオートフォーカスロータを示す図である。 第3のタイプのオートフォーカスロータを示す図である。 蛍光顕微鏡の光路内に組み込まれたオートフォーカスモジュールを示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す図である。 強度値の累積和からの、光学機器の現在のz位置の計算を示す図である。 一般的なリング開口を示す図である。 単一要素のオートフォーカスロータを通じたz位置走査を示す図である。 10要素オートフォーカスロータの10個のオートフォーカスロータ要素に関するオートフォーカス信号強度対z位置曲線を示す図である。 z位置曲線のセットを数値的に特性化するための1つの方法を示す図である。 図18に示すz位置のいくつかに対応するz位置フィンガープリントデータ構造を示す図である。 z位置走査によって収集されたzプリントをいかに較正曲線として使用して、その後光学機器のz位置を求めることができるかを示す図である。 z位置走査によって収集されたzプリントをいかに較正曲線として使用して、その後光学機器のz位置を求めることができるかを示す図である。 z位置走査によって収集されたzプリントをいかに較正曲線として使用して、その後光学機器のz位置を求めることができるかを示す図である。 第2のz位置決定方法のための基礎を示す図である。 z位置走査中に取得されたオートフォーカスロータ要素a1〜a10に関するz位置曲線群を示す図である。 ベクトルベースのオートフォーカスz位置調整方法を示す図である。 図23〜図25を参照して説明したベクトルベースのオートフォーカス方法を使用した、3要素ベクトルに基づくz位置調整Δzの計算を示す図である。 光学機器の実際のオートフォーカスモジュールから得られるオートフォーカスロータ要素に対応する試料z位置曲線を示す図である。 三次元光学機器試料位置空間内のいくつかの選択点に対してz位置走査が行われる、粗調整方法初期化を示す図である。 ベクトルベースのオートフォーカス方法の初期化の制御フロー図である。 較正走査のセットを示す図である。 光学機器のオートフォーカスモジュールに組み込まれる連続オートフォーカス方法の制御フロー図である。 図31の段階3110において呼び出されるオートフォーカスルーチンの制御フロー図である。 図32の段階3214において呼び出されるルーチン「最初の調整(first adjust)」の制御フロー図である。 ルーチン「2ベクトル調整(two vector adjust)」の制御フロー図である。
図1A〜図1Cは、蛍光顕微鏡内の光路を示す。光路及び光路を含む蛍光顕微鏡は、本発明の実施形態を説明するにあたってのコンテキストとしての役割を果たす。しかしながら、下記にも記載するように、説明する実施形態及びシステムは、多くの場合、特定の用途に使用するために説明する方法及びシステムのさまざまなパラメータ及び較正を調整することによって、広範な種々のタイプの光学機器内に組み込まれてもよい。
蛍光顕微鏡の光路は、励起光源102、一般的には可視光又はUV光レーザ、励起光106を1つ以上の対物レンズ108内に反射させる多色ミラー104を含み、当該対物レンズは、励起光が通過する開口116を有する機械ステージプラットフォーム114上に存在するカバースリップ112の遠位面に載った試料内の点110上に励起光を合焦させる。励起光は、試料内の蛍光体からの蛍光放出を促す。一般的に励起光よりも長い波長を有する蛍光体からの放出光は、戻って1つ以上の対物レンズ108及び多色ミラー104を通って1つ以上のチューブレンズ118に至り、当該チューブレンズは、蛍光体が放出した光を、光検出器120、多くの場合は電荷結合素子(「CCD」)検出器上に合焦させる。光検出器が測定した空間強度は、撮像対象の画像を生成するためにコンピューティングサブシステムによって電子的に処理され、画像は、電子メモリ及び大容量記憶デバイスに記憶され、電子表示デバイス上で表示するためにレンダリングされる。
多色ミラー104は、励起光を含む短い波長の光を反射し、また、同様に赤外光のような非常に長い波長の光を反射することもできるが、蛍光体標識試料内の蛍光体が放出する光の波長を含む波長範囲内の可視光に対しては透過性である。同様に、励起光106の最初の経路上のダイクロイックミラー122は、下記により詳細に説明するように、相対的に短い波長の励起光に対しては透過性であるが、長い波長の赤外光を反射する。ステージプラットフォーム114と、ステージ駆動部品124と、x並進機構126、y並進機構128及びz並進機構130とを含む電気機械ステージは、対物レンズ及び機器光路に対してx方向、y方向及びz方向に試料を移動させるために使用される。なお、光軸又はz軸は、図1Aにおいて、試料点110から対物レンズ、多色性ミラー及びチューブレンズを通って検出器120上の対応する画像点132まで垂直に延在する光経路と平行である。
図1Bでは、x並進機構126が、ステージプラットフォーム114を右に小距離+Δx140だけ移動させるために作動されており、その結果として、x方向における、試料内の焦点についての同じ大きさであるが、反対のシフト−Δx142が生じる。言い換えれば、以前の焦点110及び新しい焦点144は、x方向において距離+Δxだけステージが並進した後は大きさ|Δx|の距離142だけ離れている。図1Cは、図1Bと同様の様式で、z方向又は光軸方向に小距離−Δz146だけ機械ステージ114を移動させるためにz並進装置130を作動させていることを示しており、その結果として、逆方向であるが同じ大きさ148の距離+Δzだけ試料内の焦点が並進している。この説明では、図1Aに示す、検出器120とチューブレンズ118との間の距離が、少なくとも、試料から画像収集している間の期間にわたって一定であり、それゆえ、対物レンズの焦点を固定していることが仮定されている。
生細胞撮像を含む多くの蛍光顕微鏡法用途において、高分解能画像の取得は、試料内の蛍光体標識の画像を再構成するための適切な情報を、弱放射蛍光体から収集するのに十分な期間の間、対物レンズに対して固定位置で特定の試料を撮像することに依存する。他の用途では、z方向又は光軸方向において一定の焦点又は対物レンズと試料との間の一定の距離を維持しながら、対物レンズに対してx−y平面内で電気機械ステージを移動させることによって、試料が走査される。両方の場合において、対物レンズと試料内の点又は表面との間の距離を、ある期間にわたって及び/又は機械ステージがx及びy方向に並進する間、精密な固定値に維持する必要がある。
図2A〜図2Bは、試料がx及び/又はy並進している間の、試料内の、光軸に対する対物レンズの焦点位置又はz位置の望ましくない変動を示す。両方の図において、対物レンズと試料との間の所望の距離は、点線202及び204で示される。対物レンズと試料との間の実際の距離は、両方の図において、実線曲線206及び208として示される。対物レンズと試料内の点又は表面との間で固定距離を維持するために最良の努力をしても、z方向又は光軸方向における対物レンズと試料との間の実際の距離は、所定期間にわたって、また、x及び/又はy並進中に変動する。これらの変動には多くの異なる原因がある。顕微鏡環境における熱不安定性の結果として、例えばz軸成分を有する方向に光学機器が膨張及び収縮する可能性がある。光学機器は、温度制御チャンバによって囲まれていることが多いが、光源、モータ及び他のそのような部品を含む光学機器の部品は、直ちに補償されることができない熱を発生し消費する場合がある。空気圧及び他の環境パラメータが変動することによっても、対物レンズと試料との間の距離が変動する場合がある。電気機械ステージのx−y平面が、x−y平面における並進による走査中に、光軸に対してたとえわずかでも非直交方向に向くと、試料もまた、対物レンズに対してz方向に移動する。
図3は、従来の顕微鏡のオートフォーカスサブシステムを示す。オートフォーカスサブシステムは、所定期間にわたって、また、試料がx−y平面内で移動する間に、試料内で光軸に対して焦点位置を安定させるために開発された。図3は、図1A〜図1Cで使用したのと同じ説明図の慣例を使用する。図3に示すオートフォーカスサブシステムは、励起光源102と異なるオートフォーカス光源302を使用する。多くのシステムにおいて、オートフォーカス光源302は、赤外光304を放出し、その一部分は、ビームスプリッタ308によって下306に反射されてダイクロイックミラー122に至り、ダイクロイックミラー122は、赤外光を、励起源102が放出する光がとる経路と同じ光路に沿って、図3の水平方向106に反射し、水平方向から、赤外光は、多色ミラー104によって反射され、対物レンズ108を通って試料110に至る。赤外光は、カバースリップ310の遠位面の面と試料媒質との間の界面で散乱し、後方散乱した赤外光の一部分は、対物レンズ108及び光路要素104、122及び308を通って戻る。後方散乱した赤外光の一部分は、ビームスプリッタ308を通過してオートフォーカスモジュール320に至る。加えて、オートフォーカス光源302及びオートフォーカス検出器モジュール320の位置は、同じ結果でビームスプリッタ308の周りで逆にすることができ、照明源及びオートフォーカス光源の相対位置は、さまざまな代替的な構成において、他の光路部品の特性の変化とともに変更してもよい。なお、「カバースリップ」という語句は、顕微鏡で使用されることが多い従来のカバースリップ並びにさまざまな異なるタイプの試料チャンバ及び試料保持デバイスのいずれかの表面を含むことを意図される。試料に対して固定位置を有するさまざまな界面のいずれかは、1つ以上の対物レンズに対して試料平面のz位置変位を検出し補正するための、後方散乱したオートフォーカス光用の供給源として使用することができる。
オートフォーカスモジュール320は、ステージ駆動部124を定期的に制御して、ある範囲のz位置322にわたって光軸に沿ってステージを並進させ、各z位置において光の強度を記録し、少なくとも概念的に、強度対z位置プロット324を生成する。カバースリップの遠位側が対物レンズの焦点と一致するときに、後方散乱光の最大強度が起こるため、対物レンズの焦点がカバースリップの遠位側と一致したところに対応するz範囲内のz位置は、強度曲線のピーク328の下にあるz位置326によって示される。カバースリップと試料媒質の界面が、そこで光学機器の焦点に一致するステージプラットフォームの現在のz位置を求めるために、定期的なz軸走査を実効するさまざまな異なるタイプのオートフォーカスモジュールが存在する。オートフォーカスモジュールは、その後、焦点を試料内の所望のz軸位置に位置決めし直すために、電気機械ステージを、焦点の求められたz軸位置に対して所望のz軸位置に駆動することができる。
図4及び図5は、従来のオートフォーカスモジュールの動作を示す制御フロー図を提供する。図4は、従来のオートフォーカス動作の高レベルの制御フロー図を提供する。オートフォーカス動作は、段階402及び404を含む連続ループである。段階402において、オートフォーカス動作は、次のオートフォーカス動作を引き起こすオートフォーカスタイマの満了又は光学機器操作者からの手動入力のような、次のオートフォーカスイベントが起こるまで待つ。その後、段階404にて、対物レンズの焦点が、試料媒質を有するカバースリップの遠位界面にそこで一致する現在のz位置を求めるために、図3を参照して上記で説明したように、ある範囲のz位置にわたる走査を実行するためのルーチン「オートフォーカス(autofocus)」が呼び出される。オートフォーカス動作は、連続ループとして図4に示されるが、ルーチン「オートフォーカス」に対する呼び出しによって表される実際のオートフォーカス動作は、時間的に離散した間隔で行われること及び、オートフォーカス動作は破壊的であり、一般的に、撮像又は電気機械ステージの並進を伴う他の動作を中断することが留意されるべきである。
図5は、図4の段階404において呼び出されるルーチン「オートフォーカス」の制御フロー図を提供する。段階502〜505のforループにおいて、オートフォーカスモジュールは、ある範囲のz位置を通して走査するようにステージ駆動部を制御する。範囲内の各z位置について、オートフォーカスモジュールは、段階503において、機械ステージをz位置に駆動し、段階504において、後方散乱したオートフォーカス光の強度を測定する。後方散乱したオートフォーカス光の強度が、z位置の範囲内の各位置について測定されると、段階502〜505のforループにおいて、ルーチン「オートフォーカス」は、段階506にて、後方散乱光の最大強度に対応するz位置を計算し、その後、段階508において、段階506において計算されたz位置に関して計算されたz位置に機械ステージを駆動する。例えば、試料内の10ミクロンの一定z位置に焦点が維持されることが望ましい場合があるため、オートフォーカスは、光学機器が段階508においてカバースリップの遠位側で合焦される、10ミクロンに現在のz位置を加えた値に等しいz位置を計算し、電気機械ステージをその位置に駆動する。
図3〜5を参照して上記で説明した従来の又は慣例のオートフォーカスサブシステムは、多くの問題及び欠点を伴う。1つの重要な問題は、オートフォーカスサブシステムの動作が、上記で述べたように、光学機器によって実行されるいかなる他の動作をも中断することである。例えば、光学機器が、固定z位置において試料のx−y平面走査を行っているとき、各オートフォーカス動作は、走査中のz位置の安定性を監視するために、走査を中断する。オートフォーカシングのために利用されるz軸走査が、画像を取得するために必要とされる時間に対してかなりの時間を付加する場合がある。従来のオートフォーカスサブシステムに関連する第2の欠点は、オートフォーカス動作が、時間的に離散した間隔で実行されるため、機器のz軸位置が、オートフォーカス間隔の間にドリフトする場合があることである。z軸ドリフトを最小限に抑えるにするために、オートフォーカス動作間の間隔を減少させる結果として、データ収集時間がさらに増加することになる。オートフォーカス動作に関連するなお別の問題は、オートフォーカス動作自体が、ある範囲のz位置を通して電気機械ステージを移動させることによって所定期間にわたって実行されるため、機器及び環境の不安定性がオートフォーカス動作中に変化し、機器の焦点位置を求め、z軸ドリフトを補正することができる精度が大幅に減少する場合があることである。
本発明の特定の実施形態は、電気機械ステージの並進及び画像採取動作を含む、他の光学機器部品及びサブシステムの動作に対して非同期的に動作する、連続動作する高速オートフォーカスモジュールに関する。図6は連続的なオートフォーカスを示す制御フロー図を提供する。非同期オートフォーカス動作は、段階602〜604の連続実行ループによって表される。段階602において、カバースリップと試料媒質との間の界面のz軸位置は、一実施形態では、この界面からの後方散乱光がそこでオートフォーカスモジュール光検出器上の最大強度を生成するz軸位置を計算することによって連続して監視される。対物レンズに対する界面のz軸位置が変化すると又は、対物レンズに対する別のz軸位置が変化すると、段階604において、電気機械ステージが小さい補正距離Δzだけ駆動されて、対物レンズと試料内の特定の地点又は表面との間の一定距離が維持される。オートフォーカスモジュールは、光学機器の他の部品の動作を中断することなく連続して動作するため、データ収集時間は影響を受けず、光学機器の焦点は、従来のオートフォーカスモジュールよりも安定してかつより高い精度で維持することができる。各オートフォーカス動作が必要とする時間量は、従来のオートフォーカスモジュールの場合よりずっと少なく、それゆえ、オートフォーカス動作中に起こる可能性のあるドリフトの最大量は、説明されている実施態様においては従来のオートフォーカスモジュールの場合よりも少ないために、オートフォーカスモジュールが、カバースリップの試料媒質との遠位界面のz軸位置を連続かつ高速に再計算するため、カバースリップの界面に対する対物レンズのz軸位置は、従来のオートフォーカスモジュールと比較してより高い精度で連続して求めることができる。
図7A〜図7Cは、図1A〜図1C及び図3を参照して上記で説明した蛍光顕微鏡の電気機械ステージから独立したz軸走査を示す。図7A〜図7Cは、図1A〜1C及び図3に示すシステムと同様の仮想システムを示し、オートフォーカスモジュール内の検出器は、試料が対物レンズに対してz方向に移動すると同時にチューブレンズに対して移動することができる。図7Aでは、カバースリップの内部界面上の点が、1つ以上の対物レンズ706から特定のz軸位置z0704に保たれる。カバースリップの内面からの後方散乱光は、合焦レンズ714に対して、固定されたz軸位置zd712に保たれた検出器710上に合焦される。図7Bでは、機械ステージは、対物レンズに接近しており、カバースリップの内部界面702と対物レンズ706との間の距離は、図7Aに示す初期距離z0704ではなく、現時点ではz0’720である。オートフォーカスモジュール内の検出器710は、内部カバースリップ界面702からの後方散乱光が検出器上に合焦したままになるように、合焦レンズ714から対応距離だけ離れるように移動している。同様に、図7Cに示すように、ステージが、図7Aの場合より対物レンズから遠くに、内部カバースリップ界面と対物レンズとの間の距離z0”724だけ移動すると、検出器710は、合焦レンズ714に向かってより近くに移動する必要があり、その結果、検出器及び合焦レンズは、内部カバースリップ界面からの後方散乱光が検出器710上に合焦したままになるように、より短い距離zd”726だけ分離する。
z軸走査は、ステージプラットフォームを対物レンズに対してz方向に移動させることによって実行することができるだけでなく、オートフォーカスサブシステムの光軸に沿ってオートフォーカスモジュール合焦レンズに対してオートフォーカスモジュール検出器を移動させることによっても実施することができる。検出器が、オートフォーカスモジュール内で合焦レンズに対してある範囲のz位置にわたって移動すると、その範囲内の1つのz位置が、オートフォーカスモジュール内の合焦レンズの焦点に対応することになり、それは、光学機器の光軸内の、対物レンズとカバースリップの界面との間のz方向の現在の距離に対応する。オートフォーカスモジュールが検出し補正しようとする対物レンズとカバースリップ界面との間の距離の変化は、カバースリップ界面からの後方散乱光がオートフォーカス検出器上のそこに合焦する合焦レンズの焦点距離の変化に反映される。そのため、合焦レンズに対して、オートフォーカスモジュール内でz軸方向に物理的又は論理的に移動でき、カバースリップ界面からの後方散乱光が検出器にいつ合焦したかを判定できる検出器は、対物レンズとカバースリップの界面との間の現在の距離zoに対応する、オートフォーカスモジュール内での、合焦レンズに対する検出器の位置zdを求めるのに使用することができる。これは、対物レンズとカバースリップの界面との間の距離z0についての絶対値を、以下の関係によって求めることができる。
比例定数αは、オートフォーカスモジュール及び光学機器が共有する光路の幾何形状並びにオートフォーカスモジュール合焦レンズ及び光学機器の1つ以上の対物レンズの特性から求めることができる。
図8は、小開口焦点検出器の動作の原理を示す。図8では、3つの異なる合焦光ビームに関して不透明材料内の小円形開口を802、804及び806で示している。第1の光ビームは、円形開口812の下の点810に合焦し、その結果として、光ビームの一部分が、不透明材料の裏側に入り、円形断面814を有する光ビームの中心円錐部だけが円形開口を通過する。光ビームが不透明材料によって部分的に遮断されない場合、焦点から円形断面814と同じ距離にある、光ビームの円形断面816は、より大きな径及び面積を有することになる。そのため、開口を通過した後の光の強度の減少は、円形断面814の面積と円形断面816の面積との比に比例する。光ビームが、図8の例804の場合と同様に、開口に一致する点に合焦するとき、入射光のすべてが、開口を通過し、開口を通過した光の強度は、開口を通過する前の光ビームの強度に等しい。入力光の焦点が、図8の第3の例806で示すように開口よりも上にくると、焦点の前の入力光の一部分が、不透明材料の裏側に入り、したがって、事例802の場合と同様に、合焦された光ビームの一部分820だけが、開口を通過する。そのため、小円形開口の後ろに配置された、小円形開口を通過する光ビームの強度を測定する検出器は、入力合焦光ビームの焦点が開口内に入るときを示すために使用することができる。例えば、光検出器が検出する強度対円形開口に対する合焦レンズのz位置のプロットは、プロット824の水平軸上の点としての、光が開口内に合焦レンズによって合焦される、合焦レンズに対するピンホール開口のz=0 826のz位置が、測定強度のピーク828に対応することを示す。
図8に示すように、検出器がピンホール開口の後ろの適切な距離に配置された光検出器を備える、図7A〜図7Cを参照して説明した、合焦レンズに対して検出器を移動させるための機械的駆動部は、カバースリップ界面から後方散乱される光の焦点に対応するピンホール開口と合焦レンズとの間の距離zdを確定するために使用され得る。しかしながら、機械的に移動可能な検出器は、高価であり、光学機器によるz方向における走査に関連する同じ時間遅延を受けることになる。図7A〜図7Cの場合と同様にz方向において走査することができる焦点検出器を使用するのではなく、本発明の実施形態は、固定された光検出器及び高速に並進するピンホール開口又は高速で増分的に拡大する合焦ビームを利用して、本発明の実施形態を表すオートフォーカスモジュール内でのz軸走査を実行する。
図9A〜図9Cはピンホール開口ロータを示す。ピンホール開口ロータ902は、オートフォーカスモジュールの合焦レンズ904と、光検出器に入る光の強度を測定する、オートフォーカスモジュール内の光検出器906との間に挿入される。ピンホール開口ロータ902は、いくつかの垂直円柱シャフトを含み、垂直円柱シャフトが合焦レンズと光検出器との間である位置まで回転し、図9Aの垂直円柱シャフト918のように合焦レンズ及び光検出器と整列すると、垂直円柱シャフトを通して、合焦レンズ904から光検出器906へ光が通る。各垂直円柱シャフトは、垂直円柱シャフト914内に中心ピンホール開口922を有する不透明ディスク920のような、中心ピンホールを有する不透明ディスクを含む。不透明ディスクは、異なる垂直円柱シャフトのそれぞれにおいて、ピンホール開口ロータの上部面から異なる距離に位置する。図9Aに示すように、ロータの上部面とピンホール開口との間の距離は、垂直円柱シャフトの数値ラベルが増大するにつれて直線的に増大し、ピンホール開口ロータ902の垂直円柱シャフト内でピンホール開口のある範囲のz軸位置を形成する。ピンホール開口ロータ902は、合焦レンズ904から光検出器906に光を伝送するために、特定の垂直円柱シャフトがいつ位置決めされるかを決定するために、オートフォーカスモジュール内のインデックス検出器が読み取ることができる少なくとも1つの物理的インデックス926を含む。物理的インデックス926の位置の検出及びピンホール開口ロータの回転速度の知識をともに使用して、ピンホール開口ロータが電気モータによって一定速度で回転するときに、合焦レンズから光検出器に光を通すために、各垂直円柱シャフトが整列する時間を計算することができる。物理的インデックスは、磁気ディスク、発光ダイオード、反射板又は他のタイプの物理的インデックスであってもよく、その位置は、物理的インデックスが特定の位置を通って回転するときに、電磁コイル、光検出器又はレーザ/光検出器のようなインデックス検出器によって迅速に求めることができる。
図9Bは、z軸に平行な方向で見たピンホール開口ロータを示す。第1の垂直円柱シャフト940が、参照位置R942において合焦レンズ及び光検出器と整列すると、残りの垂直円柱シャフトh1〜hn-1は、整列した垂直円柱シャフト940に対して増大する回転角度θ1〜θp+1で位置決めされる。ピンホール開口ロータの回転角度が水平軸960に対して0〜360°の範囲にわたってプロットされる図9Cに提供されるプロットにおいて、黒丸962などの黒丸は、左手垂直z位置軸964に対してプロットされた、光検出器に対する各ピンホール開口のz位置を示し、白丸966などの白丸は、右手垂直強度軸968に対してプロットされた、光検出器が検出した強度を示す。ピンホール開口ロータが0°(図9Cの970)から360°(図9Cの972)まで回転するにつれて、現在のところ整列した垂直円柱シャフト内のピンホール開口と光検出器との間の距離は増大し、一方、光検出器における測定強度は、特定のピンホール開口−光検出器距離zd976に対応する特定の回転角度976においてピーク974を持つ。そのため、回転するピンホール開口ロータ902と固定位置の光検出器906との組合せを使用して、測定強度が最大になるピンホール開口と合焦レンズとの間の距離zdを求めるために、オートフォーカスモジュール内で、高速にかつ反復してz軸位置を通して走査することができる。その距離は、上述したように、光学機器内の対物レンズとカバースリップの界面との間の距離に関連する。
図10A〜図10Bは、異なるタイプのオートフォーカスロータを示す。図10Aに示すように、図9Aの場合と同様に、ピンホール開口ロータの垂直円柱シャフト内で異なる距離にピンホールを配置するのではなく、経路延長ロータ1002は代わりに、経路延長ロータの円柱垂直シャフト内に、さまざまな高さ又は厚さのガラス又は別の透明材料の中実円柱ロッドを含む。代替的に、さまざまな高さを有するのではなく、中実円柱ロッドは、等しい高さを有してもよいが、異なる屈折率を有する異なる材料から構成されてもよい。本質的に、これらは、さまざまな程度の焦点延長又は焦点延長長さを提供するディスク状窓と考えることができる。図10Aでは、焦点延長窓は、経路延長ロータ1002の円柱垂直シャフト1006内の窓1004のような平行線模様部で示される。経路延長ロータは、連続する垂直円柱シャフトが、合焦レンズ1010と、光検出器1014の上に位置決めされたピンホール開口1012との間の光路に整列するように回転する。図10Bに示すように、空気の屈折率n1より大きい屈折率n2を有する材料の透明円柱ロッドは、透明円柱ロッドがないときにビームが有することになる焦点1024から、円柱ロッドの高さ1028に比例する距離1026だけ、合焦ビームの焦点1022の距離を延長するように、入力合焦ビーム1020を屈折させる。そのため、経路延長ロッド1002内に増加する厚さ又は増加する屈折率の窓を含むことによって及び、窓を含む垂直円柱シャフトを通して連続して走査するようにロータを回転させることによって、経路延長ロータは、オートフォーカスモジュール内でz軸走査を実行するために、ちょうど図9Aのピンホール開口ロータ902のように使用することができる。経路延長ロータの回転は、図9Aのピンホール開口ロータ902についてのプロット9Cと同様の、回転角度に関するz軸/強度プロットを生成する。
図11は、第3のタイプのオートフォーカスロータを示す。このロータは、図9Aに示すピンホール開口ロータと同様であるが、一連の垂直円柱シャフトを使用するのではなく、ロータ1104内のほぼ円形のスロット1102が使用され、螺旋スリット開口1106及び周囲の不透明な螺旋状に形成された材料が、最大z位置1108から最小z位置1110までz軸位置が連続して下がる連続スリット開口を形成する点が異なっている。さらなる実施形態では、スリット開口ロータの外側部に対してスリット開口ロータの内側部を保持するために、スポーク状の部材が使用される。
図9A〜図11を参照して上述したさまざまなオートフォーカスロータは、開口のz位置を一様に増減させること又は窓厚さを一様に増減させることを特徴とし、経路延長ロータの場合、回転又は変位角度とともに、図9Aの垂直シャフト917と918との間のピンホール開口のz位置間の不連続性などの単一の不連続性を有する。しかしながら、特に物理的インデックスが各垂直円柱シャフトを識別するために使用されるとき、z位置又は窓厚さは、回転角度とともに任意に変更され、測定される強度は、マッピングテーブル又は関数によってz位置にマッピングすることができる。1つだけ又は少数の物理的インデックスが使用される場合でも、ロータの各変位角度における垂直シャフト内の窓厚さ又は開口のz位置が分かっており、メモリ内で又は大容量記憶装置上で利用可能であることを条件として、窓厚さ又はz位置の任意の配置を、オートフォーカスサブシステムによって計算的に管理することができる。本発明のいくつかの実施態様では、複数の垂直シャフトは、同一の窓又は開口の同一のz位置を含んでもよく、場合によっては、z位置又は窓厚さは、ロータ回転に伴って窓厚さ又はz位置の不連続性が存在しないように正弦波的に変動してもよい。
図12は、蛍光顕微鏡の光路内に組み込まれたオートフォーカスモジュールを示す。図12は、図1A〜図1C、図3及び図9A〜図11で使用したのと同じ説明図の慣例を使用する。オートフォーカスモジュールは、合焦レンズ1202と、電気モータ1206によって回転する軸シャフトに搭載されたオートフォーカスロータ1204と、ロータインデックス検出器1208と、光検出器1210と、合焦レンズ1202からロータ1204を通って光検出器1210上に至る光の測定強度に基づいてz軸位置を連続して計算するオートフォーカス処理部品1212とを含む。本発明のいくつかの実施態様において、ロータは、1000回転/分を超える速度で回転することができ、対物レンズとカバースリップ界面との間の距離の計算を、10回/秒以上のレートで計算することができる。ロータ1204は、図9A〜9Cを参照して上述したピンホール開口ロータ、図10A〜図10Bを参照して上述した経路延長ロータ、図11を参照して上述したスリット開口ロータ又は、単独で若しくはピンホール開口と組み合わせて、合焦レンズ1202と光検出器1210との間の光路上で光検出器に対して固定距離において、オートフォーカス光源302によって生成され、カバースリップ界面310から散乱されるオートフォーカス光のz軸走査を実行する別のタイプのロータであってもよい。オートフォーカス処理部品1212は、対物レンズ108とカバースリップ界面310との間の距離が一定のままであるように機械ステージを連続して位置決めし直すために、連続してΔz補正を計算し、Δz並進指令をステージ駆動部124に発行する。オートフォーカス処理部品は、マイクロプロセッサ、論理回路又はマイクロプロセッサ及び論理回路並びにオートフォーカスサブシステム動作に関連するデータを記憶する電子メモリの組合せを含む。上述したように、記載のオートフォーカスモジュールは、カバースリップ界面から後方散乱する光又は試料に対して固定位置を有する別の界面から後方散乱した光を使用して、対物レンズとカバースリップ界面との間のz方向の距離を計算するが、記載のオートフォーカスモジュールを使用して、光学機器のチューブレンズ及び検出器に対する対物レンズの焦点を、試料内の任意に選択された位置に安定して維持することができる。ここでも、「カバースリップ界面」及び「カバースリップ」という語句は、オートフォーカスシステムが後方散乱オートフォーカス光源として使用することができるさまざまなタイプの界面の一切を幅広くカバーすることを意図される。なお、本発明の一実施形態を示すオートフォーカスモジュールを、さまざまな方法で光学機器に組み込んでもよい。多くの場合、オートフォーカスモジュールは、指定された又は計算された期間、オートフォーカスを実施するように、手動で又は自動で作動することができる。他の場合には、オートフォーカスサブシステムは、特定のタイプの画像取得モードの間にプログラム的に作動されてもよい。すべての場合に、オートフォーカスサブシステムは、光学機器の通常のz並進中又は他のときに、手動で又は自動で係合解除することができる。
図13A〜図13Iは、オートフォーカスモジュールのオートフォーカス処理サブコンポーネントによる、顕微鏡の対物レンズとカバースリップ界面との間の現在を距離を計算するための1つの手法を示す。方法は、シフトレジスタのアレイ1302、さらなるレジスタのアレイ1304、加算演算子のアレイ1306、3つのさらなるレジスタ1308〜1310、光検出器入力1312及びロータインデックス検出器入力1314を利用する。レジスタ及びシフトレジスタのレジスタ部品は、記載のコンピューティングサブシステムにおいて、光検出器が報告する最大の値を持つ強度値の3倍に等しい数値を含むために、適切なビットサイズを有する。一般に、16ビット又は32ビットレジスタが、正確にz位置を計算するために十分なサイズである。
回路及び/又はファームウェア又はソフトウェアにおいて具現化される、図13A〜13Iに示すz位置計算ロジックは、オートフォーカスモジュール内のロータの回転周波数に等しい周波数で、対物レンズに対するカバースリップ界面の相対位置zを計算する。光検出器入力1312は、特定の時点で光検出器が検出した光の強度を表す数値である。インデックス検出器入力1314は、時点と特定のシフトレジスタとの間のマッピングを選択するとともに、並列シフト演算、並列加算演算及び、オートフォーカスモジュール内のロータの回転周波数でz位置をともに計算する他の演算を実行する時点を選択する。
計算は、並列性が高く、非同期態様を含む。図13B〜13Dに示すように、オートフォーカスモジュール内のロータが回転するとき及び、ロータの特定の円柱穴がオートフォーカスモジュールの光学経路と整列する時点を、インデックス検出器が確定するとき、光検出器の強度値は、各4レジスタ式シフトレジスタの最初のレジスタに入力される。図13Bでは、第1のロータシャフトに対応する強度値α1が、レジスタ1320〜1323を備える第1のシフトレジスタの第1のレジスタ1320内に置かれる。図13Dでは、ロータが完全に一周し、その結果、強度値が、シフトレジスタのアレイの第1のレジスタのすべてに置かれることになる。その後、1回転の完了時に、並列シフトレジスタが、図13Eに示すように、値のすべてを1つの場所だけ右にシフトさせる。こうして、シフトレジスタのアレイ内の値の列1324が、並列シフト演算によって、図13Eの列1326にシフトされる。レジスタの最終列1328内の値は破棄される。図13Fに示すように、次の一連の強度値でシフトレジスタのアレイ内の第1の列1324のレジスタを満たすと同時に起こる、図13Eに示す並列シフト演算に続いて、並列加算演算1306が作動して、各4レジスタ式シフトレジスタ内の最後の3つのレジスタの和が計算され、その和が、レジスタの列1304に置かれる。加算プロセスは、シフトレジスタのアレイ内でのレジスタの第1の列1324への新しい光検出器の値の転送と非同期に、並列に実行される。加算が完了すると、レジスタの列1304内の最大検出強度に対応する、ある範囲のz軸位置内のz軸位置を計算するために、マイクロプロセッサ実施ルーチンが呼び出される。なお、このプロセスは、ロータの3つの最新の走査にわたって平均される。計算されたz軸位置は、レジスタ1308内に置かれて、図13Gに示すように、対物レンズとカバースリップ界面との間の、z方向の現在の距離を示す。その後、図13Hに示すように、現在のz位置が、レジスタ1309に記憶される所望のz位置から減算されて、レジスタ1310に記憶されるΔz補正が生成され、Δz補正が、その後、ステージ駆動部に出力される。なお、Δz補正の計算は、光検出器入力から得られる強度値の次のセットが並列シフトレジスタ式レジスタの第1の列1324を満たすのと並列に進む。強度値の次のセットが得られると、図13Iに示すように、並列シフトレジスタが作動して、次のΔz補正の計算を準備するために、強度値の列を1つの場所だけシフトする。
図14は、強度値の累積和からの、光学機器の現在のz位置の計算を示す。図14は、現在のz位置の計算を示し、この現在のz位置は、図13Gを参照して論じた例におけるレジスタ1308内に置かれる。図14において、各円柱シャフト位置における強度値は、黒丸1402のような黒丸で表される。強度値は垂直軸1404に対してプロットされ、円柱シャフト位置は水平軸1406に対してプロットされる。プロットされた黒丸は、図13Gを参照して説明したように、並列加算した後のレジスタの列1304の内容に対応する。強度ピークが、特定の円柱シャフトに対応するロータ位置に常に入ることが好都合であるが、また、測定強度に誤差がないことが好都合であるが、これは、一般に当てはまらない。したがって、オートフォーカスモジュールのオートフォーカス処理部品は、理想化された強度曲線1408をプロットされた点に当てはめるために、多くの異なる曲線当てはめアルゴリズムのうちの1つを利用することができる。このとき、推定z位置を、計算された曲線1408のピーク強度1412に対応するz位置1410として計算することができる。計算されたz位置は、図14に示すように、オートフォーカスモジュールによって光強度が測定される回転角度に対応するz位置間に入ることができる。そのため、ロータ内のシャフトの数は、オートフォーカスモジュールによって走査されるz位置の範囲内で電気機械ステージが駆動され得る位置の数より少なくても、それと同じでも、それより多くてもよい。
図3のグラフ324を参照して上述したように、後方反射したオートフォーカス光の強度を解析することによって、対物レンズからカバースリップ界面までの距離を求めることで、オートフォーカス処理部品(図12の1212)による、オートフォーカス光検出器が収集したデータを解析するための1つの基礎を得られるが、他の手法の可能性がある。1つの代替の手法では、後方散乱光の強度が最大であるz位置を求めるのではなく、オートフォーカスシステムは、光学システムのユーザによって又は、光学システムの自動プログラム制御が選択するz位置において較正動作を行い、較正動作において、z位置走査が、選択されたz位置よりわずかに上及びわずかに下で実行される。走査の目的は、カバースリップ界面からの後方散乱光についてのガウス様強度曲線において、ガウス様曲線の急峻な側に対応するz位置及び対応するオートフォーカスロータ位置を識別することである。後方散乱オートフォーカス光強度の測定される変化が、カバースリップ界面に対する対物レンズのz位置の変化に最も敏感に依存するのは、ガウス曲線のこの位置である。その後、較正に続くデータ収集フェーズ中に、識別されたオートフォーカスロータ位置から測定される強度の変化が連続して監視され、それらの識別されたオートフォーカスロータ位置において較正段階強度を維持するようにz位置が制御される。そのため、オートフォーカス光検出器取得データを解析するこの代替の手法において、光学機器のz位置は、後方散乱オートフォーカス光が最も強いz位置に対する相対オフセットとして制御されるのではなく、代わりに、z位置の変化に最も敏感なオートフォーカスロータ位置で測定される後方散乱光について較正段階確定強度を維持するように制御される。本発明のさらなる実施態様では、より複雑な曲線当てはめアルゴリズムを使用して、光学機器のz位置を所望の値に維持するために、測定された後方散乱オートフォーカス光強度を、経験的に確定された又は理論的な後方散乱オートフォーカス光対z位置曲線に精密に当てはめてもよい。
別の実施態様では、平行光線ビームではなく、わずかに収束するか又はわずかに発散するオートフォーカス光ビームを生成するために、さらなる光学部品が、赤外オートフォーカス源302とビームスプリッタ308との間でオートフォーカスシステムに導入されるか又は、光学経路内に既に入っている光学部品が、調節又は修正される。わずかに収束又は発散するビームを光学系に入力することによって、オートフォーカス光は、最終的に試料内のある点に合焦しない。オートフォーカス光が試料内で精密に合焦されると、高強度のオートフォーカス光が、試料及び光学データ収集に有害な影響を及ぼす場合がある。例えば、赤外オートフォーカス光が使用されると、著しく合焦されたオートフォーカス光は、試料内の温度を高くして生細胞に損傷を与え又は試料の化学組成に温度誘発変化を与える場合がある。
別の具現化実施態様では、リング開口が、赤外オートフォーカス源302とビームスプリッタ308との間に配置されて、対物レンズによって急峻な角度で集束されることになる光線だけが、リング開口を通してカバースリップ界面に向かって伝えられる。後方反射光の割合は、このような急峻な角度の光線について最大になり、したがって、リング開口を利用して、後方反射の強度にほとんど寄与しない、急峻でない角度の光線をフィルタリング除外することによって、必要な後方反射オートフォーカス光強度を依然として維持しながら、試料への入射光の総量を低減することが可能である。図15は、一般的なリング開口を示す。リング開口1502は、普通なら不透明又は半透明のディスク1506内に透明又は中空のリング1505を含む。さまざまな実施態様においてさまざまな異なるタイプのリング開口のいずれをも利用することができる。
光学機器ステージのz位置の変化及びドリフトを監視し検出された変化及びドリフトを補正するために、下記「オートフォーカスロータ要素」と称するオートフォーカスロータ内の窓又は開口に関連する、下記「オートフォーカス信号」と称する後方散乱オートフォーカス光強度信号を使用するための多くの異なる可能な方法がある。1つの単純な技法において、上述のように、最大オートフォーカス信号を生成するオートフォーカスロータ要素に対するオートフォーカス検出器のzd距離が、光学機器の対物レンズとカバースリップ界面との間の距離の絶対値を計算するために使用される。しかしながら、上述のオートフォーカスモジュールにとってさらなる情報が利用可能である。以下の説明において、光学機器は、上述したタイプのオートフォーカスロータのうちの1つを使用するオートフォーカスモジュールを含むものと仮定する。単純にするために、オートフォーカスロータは、オートフォーカス光がオートフォーカスロータ要素を通じて後方散乱されると各々がオートフォーカス信号を生成する、離散数のオートフォーカスロータ要素を含む。
図16は、単一要素のオートフォーカスロータを通じたz位置走査を示す。図16にオートフォーカスロータ1602の挿入図によって示すように、走査は、特定のオートフォーカスロータ要素1604から生成されるオートフォーカス信号のみに関する。この走査は、例えば、オートフォーカスロータの回転数/秒単位の回転速度の逆数に等しい間隔で及び、特定のオートフォーカスロータ要素が検出器にオートフォーカス信号を伝送する固定フェーズで定期的にオートフォーカス信号を検出することによって達成することができる。図16内の挿入図1606に示すように、z走査は、ステージ1610をz位置「9」における焦点の上下のz位置の範囲を通して移動させることを含む、オートフォーカスロータ要素の最大信号zdを表す機器z位置「9」1608あたりを中心とし、z位置の単位は任意である。z位置「9」において、機器対物レンズからカバースリップ界面までの距離は、zd及び機器z位置「9」が上述の相互関係によって関連するようなものである。機器焦点はz位置「9」と一致してもよく又はより可能性が高いことには、z位置「9」からずれていてもよい。上述の実施態様において、任意の機器z位置において1つのオートフォーカスロータ要素のオートフォーカス信号が最大になり、z位置をそのオートフォーカスロータ要素のzdから計算することが可能である。
z位置走査において検出されたオートフォーカス信号は、図16の下部に示すプロット1612内に、z位置に対してプロットされている。このプロットにおいて、垂直軸1614はオートフォーカス信号強度を表し、水平軸1616はz位置を表す。プロット1612内のプロット点によって示すように、最大オートフォーカス信号強度1618は光学機器z位置「9」1618に現れ、このピークz位置の両側に対して下がっていく。データ点1622と1624との間の距離1620のような、2つの連続したデータ点間の水平距離は、走査に起因するサンプリング間隔中に発生するz位置の変化を表し、現在の例では、走査中のz位置の変化の割合は一定であり、オートフォーカスロータの回転速度は一定であると仮定している。特定のオートフォーカスロータ要素1604についてオートフォーカス信号が最大である位置にステージがあるとき、対物レンズとカバースリップ界面との間の距離z0は上述のように以下の等式で表される。
式中、zdはオートフォーカスロータ要素又はオートフォーカスロータ要素小弟からオートフォーカス検出器までの実効距離である。しかしながら、図16に示すようなz位置走査中にサンプリングされたz位置の範囲にわたって、オートフォーカスロータ要素1604を通過して検出器に入るオートフォーカス信号の強度はz位置に関連し続ける。そのため、特定のオートフォーカス要素に関するオートフォーカス信号の強度は光学機器のz位置の関数であり、この関数は、図16に示すz位置曲線に対応する。以下の説明において、任意の所与のオートフォーカスロータ要素に対するz位置走査が図16に示す曲線と同様の曲線を生成するものと仮定する。
図17は、10要素オートフォーカスロータの10個のオートフォーカスロータ要素に関するオートフォーカス信号強度対z位置曲線を示す。オートフォーカスロータ要素a1に対する「a1」の符号を付した曲線1702のような、各特定のz位置曲線は、上述の相互関係によって光学機器z位置1706に関連する、z位置曲線1702上のピーク位置
のような、オートフォーカスロータ要素位置において最大強度を有する。各曲線のピークは他の曲線のピークからずれている。所望のz位置ziを中心とするある範囲のz位置にわたってz位置走査を行うことによって、図17に示すもののような、重なり合ったz位置曲線のセットが生成される。特定の光学機器z位置においてオートフォーカスロータの各要素が生成するオートフォーカス信号強度が、z位置の多信号強度フィンガープリントを構成する。1つの方法例において、各曲線が異なるオートフォーカスロータ要素に対応するz位置曲線のセットは、データ収集する前に較正曲線のセットとして収集され、連続オートフォーカスモジュールは、各オートフォーカスロータ要素に対応するオートフォーカス信号強度を定期的にサンプリングして、最初に収集された較正曲線を使用して狭い範囲のz位置に一致することができるz位置フィンガープリントを生成する。
図18は、z位置曲線のセットを数値的に特性化するための1つの方法を示す。図18は図17に示すものと同じz位置曲線のセットを示す。図17におけるような各曲線は、図17の挿入図1701に示すような特定のオートフォーカスロータ要素に関連付けらている、符号a1〜a10の範囲から選択される符号を付してある。z1、z2、…z18の符号を付した18個の等間隔に離間された位置の各々において、垂直破線1802のような垂直破線が、z位置からそのz位置の上に重なるz位置曲線をすべてを通じて上向きに延在している。垂直破線1802が重なっているz位置曲線の各々と交差している点1804〜1808は、垂直破線1802が表すz位置z1において、それぞれオートフォーカスロータ要素a1、a2、a3、a4及びa5が生成したオートフォーカス信号強度を表す。これらの点のセットが、z位置z1のオートフォーカスフィンガープリントを構成する。残りのz位置z2〜z18の各々は、図18に示すような対応するフィンガープリントに関連付けられる。
図18における符号を付したz位置の各々に対応するオートフォーカスフィンガープリントは、符号化してz位置フィンガープリントデータ構造にすることができる。図19は、図18に示すz位置のいくつかに対応するz位置フィンガープリントデータ構造を示す。図19におけるz位置z1に対応するz位置フィンガープリントデータ構造1902のようなz位置フィンガープリントデータ構造の各々は、2つの列及び、オートフォーカスロータ要素の数に等しい数の行を有する行列である。第1の列は、オートフォーカス要素を、オートフォーカス信号が減少していく順序でリストしており、第2の列は、要素の対の間の信号強度の相対的な降下を示している。例えば、z位置フィンガープリントデータ構造1902及び図18の垂直破線1802に沿った点1804〜1808を考える。最高の強度を有する点1804は、オートフォーカスロータ要素a1に対応するオートフォーカスロータ要素曲線と垂直線1802との交差点を表す。z位置フィンガープリントデータ構造1902内の第1の列の上端にある数「1」1904は、z位置z1における最高強度のオートフォーカス信号がオートフォーカスロータ要素a1によって生成されることを意味する。第2の列の上端にある数0.44 1906は、点1804と点1805との間の強度の降下が、点1804とz軸との間の強度の降下の44パーセントであることを示している。図18において次に高い強度を有する点1805は、オートフォーカスロータ要素a2に対応するz位置曲線とz位置z1に対応する垂直線1802のオートフォーカスロータ要素a2との交差点を表す。したがって、z位置フィンガープリントデータ構造1902内の数「2」1908は、オートフォーカスロータ要素a2がz位置z1において2番目に高い強度のオートフォーカス信号を生成することを示している。第2の列の第2の位置にある数「0.31」1910は、点1805と点1806との間の強度の降下が、点1804とz軸との間の強度の降下の31パーセントであることを示している。図18から分かるように、点1804〜1808は、強度が下がる順における、オートフォーカスロータ要素a1、a2、a3、a4及びa5のz位置曲線交差点に対応し、それゆえ、z位置フィンガープリントデータ構造1902内の最初の5つのエントリは「1」、「2」、「3」、「4」及び「5」である。オートフォーカスロータ要素a6〜a10に対応する残りのz位置曲線は図18に示すプロットのセット内のz位置z1には重なっておらず、それゆえ、これらの位置に関連付けられる強度降下数は、z位置フィンガープリントデータ構造1902においては「0」である。
図19においては、図18内のz位置z1〜z14に対する最初の14個のz位置フィンガープリントデータ構造が示されている。図19と図18を比較することによって分かるように、各z位置フィンガープリントデータ構造の第1の列内の第1の要素は、z位置フィンガープリントデータ構造の対応するz位置における最大強度を有するz位置曲線を示している。z位置z3に対応するz位置フィンガープリントデータ構造1920のような、いくつかの場合において、最高強度点は、2つのz位置曲線の交差点を表し、それゆえ、第1の列内の最初の2つの要素は、対応するz位置における2つの等しく最高強度のz位置曲線を示している。以下の説明において、「z位置フィンガープリントデータ構造」を短縮して「zプリント」とする。このように、zプリントは、強度が減少する順における、それを通して特定の機器z位置において測定可能なオートフォーカス信号強度が、連続したオートフォーカスロータ要素間の相対強度降下の指示とともに観察されるオートフォーカスロータ要素のリストである。
図20〜図22は、z位置走査によって収集されたzプリントをいかに較正曲線として使用して、その後光学機器のz位置を求めることができるかを示す。引き続き図17〜図19の例によって、図18及び図19に示すz位置曲線及び対応するzプリントがz位置走査において得られ、電子メモリ内に記憶されたものと仮定する。その後、機械ステージは図20内の垂直線2002に対応する機器z位置に移動しており、この機器z位置は、この垂直線とz軸との交差点にある点2004である。しかしながら、図20に示すz位置は分かっていないが、この点に対応するz位置フィンガープリント又はzプリントをオートフォーカスモジュールによって取得することができるものと仮定する。図20に示すz位置2004に対応するzプリント2102を図21に示す。第1の段階において、このzプリント2102を図19に示すzプリントのセットと比較する。実験によって確定したzプリント2102内の値を図19に示すzプリント内の値と比較することによって、zプリント2102が、z位置z7及びz8に対応するzプリント1922及び1923に最も近く類似していることが容易に判断される。これらの2つのzプリントは図21においてzプリント2102の下に示されており、zプリント2102に対応するz位置を囲んでいる。そのため、図21に示すように、実験によって確定したzプリント2102と図19に示すzプリントのセット内のzプリントとの類似度照合のみに基づいて、光学機器の現在の機器z位置がz位置z7とz8との間にあることが明らかである。類似度照合のみによって、現在の機器位置を、可能性のあるz位置の相対的に狭い範囲内に見つけることができる。
図22に示すように、図21に示すzプリントに基づいて現在の光学機器z位置のさらにより精度の高い決定を行うことができる。1つの手法において、実験によって確定したzプリント2102におけるオートフォーカスロータ要素の順序付けは、プリント1922におけるオートフォーカスロータ要素の順序付けと異なっているが、zプリント1923におけるzロータ要素の順序付けと同じであることが観察される。そのため、z位置がz位置z7から位置z8へと連続的に増大するとき、z位置曲線が交差すると、z位置z7とz8との間の間隔内のz位置の右にあるすべてのz位置がzプリント2102及び1923のオートフォーカスロータ要素順を有することになるような点に達することになる。後述するタイプの線形補間を使用して、そのz位置は垂直線2201に対応する。
図18及び図20に示すように、z位置曲線は直線でない。しかしながら、単純にするために、あるタイプの線形補間を使用して現在の光学機器z位置を求めることができる。図22において、z位置曲線交差点からの絶対分数強度降下がzプリント1922及び1923から計算され、図22内の列2202及び2204にプロットされる。これらの絶対分数強度降下値はともに、機器z位置及びその機器z位置に対応するzプリントの両方に対応する絶対強度降下ベクトルを含む。オートフォーカスロータ要素5に対応するz位置曲線はz位置z7に関するzプリントにおいて最高のオートフォーカス信号強度を呈し、z位置z8に関するzプリントにおいてオートフォーカスロータ要素a6に対応する曲線と最高位置を共有するため、オートフォーカスロータ要素5はそれぞれ2206及び2208の両方の列の上端に位置し、この点からz軸までの絶対強度降下はそれぞれ1.0、2210及び2212である。プロット内の残りの点は、残りのオートフォーカスロータ要素関連z位置曲線からの絶対分数強度降下に対応する。zプリントにおける相対強度降下は低い精度までで計算されるため、わずかな数値の差異があり得る。例えば、点2214からの絶対分数強度降下は0.95 2216として示されており、これは、zプリント1922内の、一番下からオートフォーカスロータ要素a4に対応するエントリまでのすべての相対強度の合計である。しかしながら、点2214からの絶対分数強度は、1.0からzプリントz7の第1の列の第1の要素に示す相対強度降下「0.08」を減算するものとしても計算することができ、そのため0.92となる。図22に示す線形補間法において、そのようなわずかな数値の差異はほとんど又はまったく重要でない。
次に、2つの列の各々における特定のオートフォーカスロータ要素に対応する点が、zプリントz7内のオートフォーカスロータ要素5に対応する点2222とzプリントz8内のオートフォーカスロータ要素5に対応する点2224とを相互接続する直線2220のような、図22内の直線によって接続される。これらの線の傾斜が、実験によって観測されたzプリント2102に基づく現在のz位置の線形補間の基礎を形成する。例えば、図22内の線2226に対応する、オートフォーカスロータ要素3に関する補間を考える。zプリント2102の一番下からオートフォーカスロータ要素3に対応する相対強度降下0.19までの、0.19を含む相対強度のすべてを合計し、オートフォーカスロータ要素3の絶対強度降下0.47を得る。0.64−0.47対0.64−0.37の比が、z7〜z8のz位置範囲にわたる強度の分数降下を表す。この比の値0.63(図22における2228)は、zプリント2102に関連付けられる現在の機器z位置のz位置z7とz8との間の距離の割合にも等しい。図22において、各オートフォーカスロータ要素に関する補間によって得られるこれらの分数距離は、列2202及び2204内の線を接続する線上にある点として示されている。これらの分数z位置を合計及び平均して、平均分数z位置0.587 2230を生成することができる。このように、比較的粗い線形補間法によって、z7+0.587の現在の光学機器z位置が得られる。これは、z7+0.54の実際のz位置(図20内の2004)から0.05未満だけ異なっている。このように、実験によって観測されたzプリントとz位置走査において得た較正zプリントのセットとの類似度比較を、線形補間とともに組み合わせることによって、現在の光学機器z位置を比較的正確に求めることができる。
上述したzプリントベースのz位置決定方法及び、この決定に基づく機器z位置の補正を、以降、「粗調整」と称する。粗調整又は相対強度法は、一例のオートフォーカスモジュールにおいて、z位置にかなり大きいドリフト又は擾乱が観測されるときに光学機器のz位置を調整するために使用される。粗調整方法には多くの可能な変形形態がある。上述のような線形補間を利用するのではなく、精度をより大きくするために、z位置曲線のパラメータ化表現に基づくより複雑なタイプの補間を利用することができる。代替的に、粗調整方法は、データベース内のzプリントとの類似度照合及び、オートフォーカスロータ要素関連z位置曲線の観測された順序付けが観測されたzプリントに一致するz位置範囲の推定のみに基づいてもよい。類似度照合は、zプリント内のオートフォーカスロータ要素の順序付けのみを考慮してもよく又は、付加的に、相対強度降下を考慮してもよい。
図23は、第2のz位置決定方法のための基礎を示す。図23は、特定のオートフォーカスロータ要素に対応するz位置曲線のプロットを示す。曲線には、曲線の急峻な傾斜及びまた曲線のほぼ線形の区画を表す、破線で囲まれた2つの部分2302及び2304がある。光学機器z位置を求めるためにこの曲線を使用するとすれば、その位置は、曲線のこれらの最も急峻なほぼ線形の部分2302及び2304内のデータ点から最も正確に求められ得る。曲線の急峻さは、z位置変化に関する信号応答の大きさに比例する。信号応答が大きくなるほど、z位置変化をより正確に求めることができる。
図23は、特定のオートフォーカスロータ要素に関して観測されるオートフォーカス信号に基づく現在の光学機器z位置の求め方の一例を示す。点z12306、z22307、z32308及びz42309のオートフォーカス信号が、それぞれs12310、s22311、s32312及びs42313として既定されているものと仮定する。観測されるオートフォーカス信号強度s1、s2、s3及びs4は較正段階中に求められ、記録され得る。続いて、オートフォーカス信号強度su2314が観測されるものと仮定する。観測されるオートフォーカス信号強度suは、2つの点2316及び2317においてz位置曲線と交差する。図23において両方ともzuの符号を付したこれらの2つの点2318及び2319のz位置座標は、現在観測されているオートフォーカス信号強度su並びに所定のz位置z1〜z4及び信号強度s1〜s4に基づく2つの可能性のある現在の光学機器z位置に対応する。2つのz位置2318及び2319を計算するのに使用される線形補間計算は、図23内の挿入図2320及び2321として示されている。これは、図22に示す粗調整方法において使用するものと同じ線形補間法である。
上述のように、z位置走査中に各オートフォーカスロータ要素についてz位置曲線を得ることができる。図24は、z位置走査中に取得されたオートフォーカスロータ要素a1〜a10に関するz位置曲線群を示す図である。図24においてこれらの曲線の急峻でほぼ線形の部分が太線になっており、z軸の下の双頭矢印で示されている水平線分に投影されている。例えば、オートフォーカスロータ要素a2に関するz位置曲線の急峻な線形部分2402はz軸の下のz位置範囲2404に投影されている。図24から分かるように、z位置範囲のこれらの投影は一般的に互いに重なり合っており、それによって、z位置曲線群の下にあるほとんどのz位置について、対応するオートフォーカスロータ要素関連オートフォーカス信号強度に基づいて現在の光学機器z位置を推定するのに使用することができる、z位置曲線の複数の急峻な線形部分に対応する複数のz位置範囲がある。
この例において、精細なオートフォーカス調整に使用され、ベクトルフォーカス方法と称される、オートフォーカスモジュールに組み込まれる1つのz位置決定方法において、各々が異なるオートフォーカスロータ要素に対応するオートフォーカス信号強度のベクトルが較正サイクルにおいて計算及び記憶され、続いて、光学機器z位置を所望のz位置ziに置くために光学機器を調整することができる量であるΔzを求めるために、現在の光学機器z位置を比較的高い精度で求めるのに使用される。
図25は、ベクトルベースのオートフォーカスz位置調整方法を示す。基本的に、重なり合っているz位置曲線の急峻なほぼ線形の部分から投影される複数のz位置範囲の各々について、z位置範囲の終端部におけるオートフォーカス信号強度が観測され、記録され、それぞれベクトルS12502及びS22504に記憶される。各オートフォーカスロータ要素に関するオートフォーカス信号強度は、特定の関心点について観測され、記録され、ベクトルSi2506に記憶される。S22508からS1を減算することによってベクトルCが得られる。続いて、任意の所与の光学機器z位置において、各オートフォーカスロータ要素に対応するオートフォーカス信号強度が観測され、ベクトルSs2510として記録される。なお、ベクトルS1、S2、Si及びSsの各々において、オートフォーカス信号強度は対応するオートフォーカスロータ要素の数字インデックスに関して順序付けされる。その後、光学機器のz位置を所望のz位置ziに戻すために光学機器ステージを移動することができる量であるΔzを以下のように計算することができる。
式中、表記〈C,C〉は、ベクトルCのしれ自体とのドット積又は内積を指し、表記〈Si−Ss,C〉は、ベクトルSi−SsのベクトルCとのドット積を指す。
図26は、図23〜図25を参照して説明したベクトルベースのオートフォーカス方法を使用した、3要素ベクトルに基づくz位置調整Δzの計算を示す。図26において、3つのz位置曲線2601、2602及び2603の線形部分がプロットされている。垂直軸2604は信号強度を表し、水平軸2606はz位置を表す。所望のz位置zi2608が垂直破線2610によって表されており、点2611〜2613においてz位置曲線の3つの線形部分と交差している。これらの3つの点、並びに、z位置曲線の線形部分とそれぞれz位置z1、z2を表す垂直線2616及び2618z位置曲線との交差点の座標が、図25を参照して上述した5つのベクトルS1、Si、S2、SC及びSS2620を構築するのに使用される。ここで、光学機器が垂直線2622が表すz位置zSにおいて位置決めされると仮定する。上記のベクトル表現を使用して、光学機器のz位置が再びziになるように光学機器のステージを移動させることができる量であるΔzを計算することができる。最初に、ベクトルSi−SS2624がベクトル減算によって計算される。次に、このベクトルとベクトルCとの、並びに、ベクトルCとそれ自体との内積又はドット積が図26に示すように計算される。最後に、z位置z2及びz1並びに内積の比2630を使用してΔzが計算される。
図23〜図26を参照して上述したベクトルフォーカス方法は、一般的に使用される記憶データがより少なく、対象のz位置ziについてのデータに加えて、z位置曲線の急峻な線形部分に対応する各z位置範囲の終端部におけるオートフォーカス信号強度及び、z位置範囲端点のz位置しか必要としない。さらに、ベクトルフォーカス方法が適用可能であるとき、これは一般的に、前述の粗調整方法よりも正確な位置決めを提供する。これは、z位置曲線の最も敏感な部分しかz位置決定に大きく寄与しないという事実に起因し、線形補間法は曲線のほぼ線形の部分に適用されるときに最良に機能するためである。しかしながら、さらに後述するように、ベクトルフォーカス方法は、それに関して続いてデータ収集フェーズ中にデータが収集される、各関心点ziに対する粗いz位置走査を通じて得られるさまざまなベクトルを記憶することを伴う。対照的に、粗調整方法は、関心点付近にある、それについてz位置が得られる点を粗調整方法に使用することができるため、機器x,y平面における格子状点配列から観測されるデータから計算されるzプリントのセットを利用することができる。粗調整方法は、試料内の反射の変化、照明現強度の変化又は他のそのような変化による影響がはるかに少なく、それゆえ、zプリント較正セットを収集する必要がある頻度は少ないものであり得、さまざまなデータ収集体制により一般的に適用することができる。
内積〈Si−SS,C〉は較正曲線の急峻さに従って自然と項を重み付けするため、ベクトルフォーカス方法は、z位置曲線の急峻な線形部分に対応するオートフォーカス信号強度を選択するだけではなく、関心点ziの周囲のすべての可能なオートフォーカス信号強度に適用することができる。しかしながら、多くの例において、未加工のz走査データは各関心点ziに関する関連するz位置曲線の合理的に急峻な線形区画のみを選択するように処理される。
なお、図17〜図18、図20及び図24に示すz位置曲線のセットは理想化されている。実際には、z位置曲線は均一に離間されておらず、均一な外形を呈するものではない。図27は、光学機器の実際のオートフォーカスモジュールから得られるオートフォーカスロータ要素に対応する試料z位置曲線を示す。しかしながら、上述の方法は、曲線の間隔の均一性又は均一な外形を有する曲線には依存しない。方法は一般的なものであり、図27に示すもののような実際のz位置曲線のセットに完全に適用可能である。
オートフォーカスモジュールは、上述の粗フォーカス方法及びベクトルフォーカス方法のいずれか又は両方を使用するために実装することができる。以下において、制御フロー図を使用して一例のオートフォーカスモジュール実施態様を説明する。このオートフォーカスモジュール実施態様は、オートフォーカス監視データ収集の間に、相対的に大きいz位置調整に取り組むときには粗調整方法を組み込み、より小さい、より漸進的なz位置調整にはベクトルフォーカス方法が使用される。
図28は、三次元光学機器試料位置空間内のいくつかの選択点に対してz位置走査が行われる、粗調整方法初期化を示す。段階2802において、光学機器三次元位置空間内の選択点の較正z位置走査を通して得られるzプリントを後に記憶するために1つ以上の電子メモリが初期化される。次に、段階2804〜2807のforループにおいて、各選択点に対して較正z位置走査が実行される。段階2805において、いくつかの機器z位置の各々における異なるオートフォーカスロータ要素関連z位置曲線に対応するzプリントに関するデータを収集するために、ある範囲のz位置を通して光学機器のステージが駆動される。次に、段階2806において、方法は、z位置走査に基づいてzプリントを計算し、選択点に関連付けられるzプリントをメモリ、データベース又は何らかの他の形態の電子記憶装置内に記憶する。
図29は、ベクトルベースのオートフォーカス方法の初期化の制御フロー図を提供する。段階2902において、以下の較正走査中に関心点のベクトルデータを受信するために電子メモリ及び/又は他のタイプの電子データ記憶装置が初期化される。段階2904〜2909のforループにおいて、後にベクトルフォーカスz位置調整に使用される各関心点のベクトルのセットが、三次元光学機器位置空間内の各関心点(xi,yi,zi)を中心とする粗い3点z位置走査から計算される。段階2906において、光学機器ステージが3つのz位置z1、zi及びz2に対して駆動され、これらの位置において各オートフォーカスロータ要素についてオートフォーカス信号強度が求められる。段階2906及び2907の内部ループは、3つのz位置z1、zi及びz2にわたって反復される。代替的な例では、より正確なz位置決定を促進するためのさらなるデータ収集にz位置のさらなる較正を使用してもよい。z位置のすべてからデータが収集された後、ベクトルS1、S2、Si及びCが計算され、段階2908において関心点(xi,yi,zi)に関連する内積〈C,C〉、z1及びz2とともに記憶される。
上述の粗調整初期化及びベクトルフォーカス初期化は、それゆえ、粗フォーカス初期化の場合は選択点における相対的に精度が高いz位置走査を含み、ベクトルフォーカス初期化の場合は相対的に精度が低いz位置走査を含む。図30は、較正走査のセットを示す。図30において、矩形体積3002は、その中でいくつかの関心点からデータが収集されることになる光学機器三次元位置空間内の体積を表す。粗調整初期化のために、図30において破線矢印3004のような、相対的に長い垂直破線矢印が表す、格子の点におけるいくつかの精度が高く相対的に広範なz位置走査が行われる。上述のように、粗調整較正データは関心点特有のものではなく、代わりに、三次元位置空間のx,y平面内の領域にわたる周期的に離間したパターンの点から収集することができる。粗調整関連較正走査のために選択される近傍点から得られるzプリントを使用して任意の特定の点(xi,yi,zi)に対して粗調整を実行することができる。対照的に、後にデータ収集フェーズ中にそこにデータが収集されることが意図されている関心点を表す、点306のようないくつかの点が、三次元光学機器位置空間の体積内に示されている。これらの点の各々において、ベクトルフォーカス方法を実行するのに必要な、精度が低く狭い3点z位置走査が較正段階において実行される。図30において、これらの相対的に精度が低く狭いz位置走査は、関心点3006に対して垂直方向に中心を置かれている短い矢印3008のような、関心点を中心とする短い矢印によって表されている。データ収集フェーズ中、データは関心点の1つ以上から収集することができる。データ収集中、光学機器z位置を関心点のz位置に維持するための光学機器z位置の相対的に精細な調整に、ベクトルフォーカス方法が利用される。光学機器のz位置がドリフトするか又は大きく動揺し、それによってベクトルフォーカス方法を正確に適用することができない場合において、粗調整初期化中にzプリントセットが収集されている近傍点が、光学機器z位置の粗調整に選択及び使用され、その後、ベクトルフォーカス方法を使用して光学機器をより正確に位置決めすることができる。
図31は、光学機器のオートフォーカスモジュールに組み込まれる連続オートフォーカス方法の制御フロー図を提供する。段階3102において、連続オートフォーカス方法を使用して入力される関心点のセットに対してベクトルフォーカス初期化が実行される。段階3104において、関心点のすべてを包含する光学機器三次元位置空間のx,y領域が決定される。その後、段階3106において、段階3104において決定されたx,y領域全体を通じて周期的に離間されたロケーションにおいてzプリントを準備するために粗調整初期化が実行される。段階3106の完了時に、連続オートフォーカス方法は、後続のデータ収集フェーズ中に関心点からデータ収集する間に光学機器の焦点を維持するのに十分な較正データを収集し終わっている。次に、段階3108〜3111を含むwhileループ内で、段階3110において、データ収集中に焦点を維持するために光学機器のz位置を調整するために、連続オートフォーカス方法はルーチン「オートフォーカス」を連続して呼び出す。周期的なオートフォーカス実施態様を実装するために、whileループに待機段階3109が導入される。言い換えれば、オートフォーカスモジュールは、離散的な時間間隔をおいてz位置を補正する。連続オートフォーカス方法の代替的な例において、オートフォーカスルーチンは待機段階なしに連続して呼び出されてもよい。
図32は、図31の段階3110において呼び出されるオートフォーカスルーチンの制御フロー図を提供する。段階3202において、ローカル変数「セカンドパス(secondPass)」がFALSEにセットされる。段階3204において、データが収集されている対象の現在位置に関するベクトルフォーカスベクトルデータが、その位置のz1、z2及び〈C,C〉値とともにメモリから取り出される。その後、段階3206において、図25及び図26を参照して上述したように、ベクトルフォーカス方法によってΔzが計算される。条件付き段階3208において、ルーチン「オートフォーカス」が、ローカル変数「セカンドパス」が現在TRUEであるか否かを判定する。この段階を最初に実行するとき、ローカル変数「セカンドパス」はFALSEであり、そのため、制御は段階3210へと流れ、ルーチン「オートフォーカス」が、計算されたΔzの大きさが閾値未満であるか否かを判定する。計算されたΔzの大きさが閾値未満であるとき、これは段階3204及び3206において実行されたベクトルフォーカス方法が成功したことを意味するが、制御は段階3212へと流れ、光学機器の焦点を調整するために、オートフォーカスルーチンが計算されただけステージを駆動する。しかしながら、段階3210において判定されるように、Δzの大きさが閾値未満でない場合、段階3214において、ルーチン「粗調整(course adjust)」が呼び出されて粗調整方法が実行され、その後、段階3216においてローカル変数「セカンドパス」がTRUEにセットされ、そのと、制御は段階3204に戻って流れ、別の精細なベクトルフォーカス方法が実行される。最初に計算されたΔzが有効であるか否かを判定するために、上述の閾値テストの代わりに又はそれに加えて、他のタイプのテストが使用されてもよい。
図33は、図32の段階3214において呼び出されるルーチン「粗調整」の制御フロー図を提供する。段階3302において、zプリントが利用可能である現在の関心点に最も近い点についての記憶されているzプリントがメモリからアクセスされ、段階3304において、図32に示すオートフォーカスルーチンの段階3204において得たベクトルSsにおける現在のオートフォーカス信号強度が、対応する現在のzプリント及び絶対強度降下ベクトルZsを生成するために変換される。その後、ステップ3306において、現在のzプリントに最も近いzプリントが、段階3304において得た、取り出されたzプリントの中から選択され、それから絶対強度降下ベクトルZcが準備される。段階3308において判定されるように、理に適った候補最近zプリントが見つかると、制御は段階3312へと流れる。しかしながら、適切な最近zプリントを見つけることができないとき、段階3310においてエラー処理ルーチンが呼び出される。エラー処理ルーチンは、光学機器のマニュアルフォーカスを執行するためにデータ収集を停止することができ又は、光学機器の焦点を、現在説明しているz位置調整方法を利用することができるz位置範囲内にもっていくことが可能である他のタイプのフォーカス技法を利用することができる。現在の実施態様においてエラーハンドラに対する1回のみの呼び出しが示されているが、エラーはオートフォーカスルーチンの他の段階において発生して、現在のデータ収集フェーズの改善又は停止を必要とする場合がある。段階3306において理に適った最も近いzプリントが見つかると、Zs及びZcの内積とZc及びそれ自体の内積との比に等しい値xが段階3312において計算される。段階3314において判定されるように、xが閾値よりも大きい場合、現在の危機位置が最も近いzプリントに対応するz位置であると仮定され、段階3316において、最も近いzプリントのみに基づいてΔzを計算することが可能になる。その後、段階3318において、ルーチン「粗調整」がステージをz方向にΔzだけ移動させる。xが閾値よりも大きくないとき、段階3320において、2つのzプリントに基づいてΔzを計算するためにルーチン「2ベクトル調整」が呼び出される。
図34は、ルーチン「2ベクトル調整」の制御フロー図を提供する。段階3402及び3404において、図21に示す、図21を参照して説明したような、1番近いzプリントとともに現在の機器z位置を囲む2番目の記憶されているzプリントが識別される。2番目に近いプリントから絶対強度降下ベクトルZdが準備され、最も近いzプリントの絶対強度ベクトルがz位置において順序付けされてZ1及びZ2として参照され、Z1はZ2に対応するz位置よりも小さいz位置に対応する。段階3406において、中間結果ベクトルZ”がベクトルZS−Z1をベクトルZ2−Z1で要素ごとに除算することによって計算される。段階3408において、ベクトルZ”の要素が加算され、要素の数で除算されて平均値z’が生成される。最後に、段階3410において、図22を参照して上述したように、z’−ziに加算したZ1に対応するz位置としてΔzが計算される。段階3404、3406、3408及び3410はともに、図22を参照して説明した線形補間法を実行する。
本発明を特定の実施形態に関して説明したが、本発明がこれらの実施形態に限定されることは意図されていない。変更形態が当業者には明らかである。例えば、上述のように、さまざまな異なるタイプの機械ロータのいずれをも、対物レンズのカバースリップに対する現在のz位置を求めるためにカバースリップ界面からの後方散乱オートフォーカス光のピーク強度を見つけるために、光軸方向においてz位置走査を実行するために使用することができる。プラグラミング言語、モジュール構造、制御構造、データ構造及び他のパラメータを含む、多くの設計及び実装パラメータのいずれかを変更することによって、オートフォーカスシステムの光検出器から収集される強度データからz位置を連続的に計算するために、論理回路又はソフトウェア制御式プロセッサから、さまざまな異なるタイプのオートフォーカス処理サブコンポーネントを実装することができる。
上記の記載は、説明を目的として特定の用語を使用した。しかしながら、本発明を実践するためにこれらの特定の詳細は必要ないことが当業者には明らかであろう。特定の実施形態の上記の記載は、例示及び説明の目的で提示されている。それらは排他的であることも、本発明を開示された正確な形態に限定することも意図されてはいない。上記の教示を考慮して多くの改変及び変更が可能である。実施形態は本発明の原理及びその実際の適用を最良に説明するために、それによって、当業者が、本発明及びさまざまな実施形態を、予期される特定の使用に適するようにさまざまな改変を加えて最良に利用することができるように、図示及び説明されている。本発明の範囲は以下の特許請求の範囲及びそれらの均等物によって画定されることが意図されている。
102 励起光源
104 多色ミラー
106 励起光
108 対物レンズ
110 試料点
112 カバースリップ
114 機械ステージプラットフォーム
116 開口
118 チューブレンズ
120 光検出器
122 ダイクロイックミラー
124 ステージ駆動部品
126 x並進機構
128 y並進機構
130 z並進機構
132 画像点
142 距離
144 焦点
202 点線
206 実線曲線
302 赤外オートフォーカス源
304 赤外光
308 ビームスプリッタ
310 カバースリップ界面
320 オートフォーカス検出器モジュール
322 z位置
324 強度対z位置プロット
326 z位置
328 ピーク
702 内部カバースリップ界面
706 対物レンズ
710 検出器
714 合焦レンズ
812 円形開口
814 円形断面
816 円形断面
828 ピーク
902 ピンホール開口ロータ
904 合焦レンズ
906 光検出器
914 垂直円柱シャフト
917 垂直シャフト
918 垂直円柱シャフト
920 不透明ディスク
922 中心ピンホール開口
926 物理的インデックス
940 垂直円柱シャフト
960 水平軸
962 黒丸
964 左手垂直z位置軸
966 白丸
968 右手垂直強度軸
974 ピーク
976 回転角度
1002 経路延長ロータ
1004 窓
1006 円柱垂直シャフト
1010 合焦レンズ
1012 ピンホール開口
1014 光検出器
1020 入力合焦ビーム
1022 焦点
1024 焦点
1026 距離
1028 高さ
1102 スロット
1104 ロータ
1106 螺旋スリット開口
1108 最大z位置
1110 最小z位置
1202 合焦レンズ
1204 オートフォーカスロータ
1206 電気モータ
1208 ロータインデックス検出器
1210 光検出器
1212 オートフォーカス処理部品
1302 アレイ
1304 アレイ
1306 アレイ
1308 レジスタ
1309 レジスタ
1310 レジスタ
1312 光検出器入力
1314 ロータインデックス検出器入力
1320 第1のレジスタ
1324 第1の列
1326 列
1328 最終列
1402 黒丸
1404 垂直軸
1406 水平軸
1408 強度曲線
1410 z位置
1412 ピーク強度
1502 リング開口
1505 リング
1506 ディスク
1602 オートフォーカスロータ
1604 オートフォーカスロータ要素
1606 挿入図
1610 ステージ
1612 プロット
1614 垂直軸
1616 水平軸
1618 最大オートフォーカス信号強度
1620 距離
1622 データ点
1701 挿入図
1702 z位置曲線
1706 光学機器z位置
1802 垂直線
1802 垂直破線
1902 z位置フィンガープリントデータ構造
1920 z位置フィンガープリントデータ構造
1922 zプリント
1923 zプリント
2002 垂直線
2004 z位置
2102 zプリント
2201 垂直線
2202 列
2302 部分
2318 z位置
2320 挿入図
2402 線形部分
2404 z位置範囲
2601 z位置曲線
2604 垂直軸
2606 水平軸
2610 垂直破線
2616 垂直線
2622 垂直線
2630 比
3002 矩形体積
3004 破線矢印
3006 関心点
3008 矢印

Claims (10)

  1. 光学機器に内蔵されるオートフォーカスサブシステムであって、当該オートフォーカスサブシステムが
    (a)オートフォーカス光路であって、そのオートフォーカス光路を通して学機器の光学界面から後方散乱した電磁放射をオートフォーカスサブシステムが受け取るオートフォーカス光路と、
    (b)上のオートフォーカスロータ要素を含むオートフォーカスロータであって、オートフォーカスロータがートフォーカス光路と整列しているときは、方散乱電磁放射が、オートフォーカスロータ要素の各々を通して、対応するオートフォーカス信号を生成するオートフォーカス検出器に伝わる、オートフォーカスロータと、
    (c)電子メモリ及び処理部品を含むオートフォーカス処理部品であって、光学機器光軸に垂直な座標軸x及びy並びに学機器光軸に沿った座標軸zを有する光学機器位置空間における1上の機器部品の位置を制御し、学機器位置に関して特定のオートフォーカスロータ要素に関連付けられるオートフォーカス信号の大きさを各々表す2上の較正曲線を取得してメモリ記憶し、データ収集中に2以上の較正曲線を使用して光軸位置を監視及び調整する、オートフォーカス処理部品と
    を含むオートフォーカスサブシステム。
  2. 前記オートフォーカスサブシステムが、オートフォーカス初期化フェーズにおいてデータ収集前に光学機器較正を実行し、その間、2上のオートフォーカスロータ要素の各々に関するある範囲の光学機器z位置を通した走査中にオートフォーカス信号強度データを収集することによって前記2上の較正曲線が取得され、各オートフォーカスロータ要素は特徴的な光学機器z位置において最も大きいオートフォーカス信号強度を生成する、請求項1記載のオートフォーカスサブシステム。
  3. 前記較正曲線が、ある範囲の光学機器z位置にわたって取得され、正曲線に対応するートフォーカスロータ要素に関する学機器z位置の範囲内の2上の光学機器z位置の各々における相対的なオートフォーカス信号の大きさを求めるために使用され、学機器z位置の範囲内の2以上の光学機器z位置の各々における対的なオートフォーカス信号の大きさが、光学機器z位置に各々関連付けられるオートフォーカス信号フィンガープリントを表す、請求項2記載のオートフォーカスサブシステム。
  4. データ収集中、前記オートフォーカスサブシステムが、上のオートフォーカスロータ要素に関するオートフォーカス信号強度を取得し、得したオートフォーカス信号強度から現在のオートフォーカス信号フィンガープリントを構築し、現在の光学機器z位置を、(i)現在のオートフォーカス信号フィンガープリントに対する最大算出類似度を有する、記憶オートフォーカス信号フィンガープリントに関連付けられる学機器z位置び(ii)現在のオートフォーカス信号フィンガープリントに対する2つの最大算出類似度を有する、2つの記憶オートフォーカス信号フィンガープリントに関連付けられる学機器z位置から補間された値のうちの一方として求められる、請求項3記載のオートフォーカスサブシステム。
  5. 前記オートフォーカスサブシステムが、第1のオートフォーカス信号フィンガープリントと第2のオートフォーカス信号フィンガープリントとの間の似度を、2つのオートフォーカス信号フィンガープリントの間でオートフォーカス信号の大きさ及び関連するオートフォーカスロータ要素の相対順序を比較することによって計算し、同じ相対順序のオートフォーカス信号の大きさ及び関連するオートフォーカスロータ要素を有する2つのオートフォーカス信号フィンガープリントに、異なる相対順序のオートフォーカス信号の大きさ及び関連するオートフォーカスロータ要素を有する2つのオートフォーカス信号フィンガープリントよりも大きい類似度を割り当てられる、請求項4記載のオートフォーカスサブシステム。
  6. 各較正曲線が、対象のz位置を含む3上の光学機器z位置で得られたオートフォーカスロータ要素に関するオートフォーカス信号強度を含み、後にデータが収集される光学機器位置空間内の各関心点について2上の較正曲線が取得される、請求項2記載のオートフォーカスサブシステム。
  7. データ収集中、前記オートフォーカスサブシステムが、現在の光学機器z位置における2上のオートフォーカスロータ要素に関するオートフォーカス信号強度を取得し、該取得したオートフォーカス信号強度及び記憶されている較正曲線から光学機器z位置を補間する、請求項6記載のオートフォーカスサブシステム。
  8. 前記オートフォーカスサブシステムが、光学機器較正に続いて光学機器位置空間内の関心点においてデータ収集を実行し、正曲線及び2上のオートフォーカスロータ要素に関して現在測定されているオートフォーカス信号強度を同時に使用して現在の光学機器位置と心点との間の有向距離を求め、学機器を心点に合焦するために向距離によって学機器位置を調整する、請求項2記載のオートフォーカスサブシステム。
  9. 光学機器内のオートフォーカスサブシステムによって関心点におけるデータ収集中に光学機器の位置を調整するための方法であって、
    データ収集前に、学機器位置に関して特定のオートフォーカスロータ要素を通じて検出されるオートフォーカス信号の大きさを各々す2以上の較正曲線を取得するステップと、
    2以上の較正曲線に関するデータを電子メモリ内に記憶するステップと
    データ収集中、2上のオートフォーカスロータ要素を通して現在のオートフォーカス信号の大きさを求めするステップと
    上のオートフォーカスロータ要素に関連付けられる2以上の求められた現在のオートフォーカス信号の大きさ、及びメモリ内に記憶された2以上の較正曲線に関するータを使用して現在の光学機器位置及び心点からの有向距離を求めるステップと
    められた有向距離によって学機器位置を調整するステップと
    を含む方法。
  10. 前記オートフォーカスサブシステムが、
    (a)オートフォーカス光路であって、そのオートフォーカス光路を通して学機器の光学界面から後方散乱した電磁放射をオートフォーカスサブシステムが受け取るオートフォーカス光路と、
    (b)上のオートフォーカスロータ要素を含むオートフォーカスロータであって、後方散乱電磁放射が、オートフォーカスロータ要素の各々を通して、対応するオートフォーカス信号を生成するオートフォーカス検出器に合焦される、オートフォーカスロータと、
    (c)電子メモリ及び処理部品を含むオートフォーカス処理部品であって、光学機器光軸に垂直な座標軸x及びy並びに学機器光軸に沿った座標軸zを有する光学機器位置空間における1上の機器部品の位置を制御し、データ収集前2以上の較正曲線を取得し、データ収集中に、得られた2以上の較正曲線を使用して光軸位置を監視及び調整する、オートフォーカス処理部品と
    を含む、請求項9記載の方法。
JP2014528329A 2011-08-30 2012-08-29 複数の較正曲線を使用した光学機器の連続した非同期的オートフォーカスのためのシステム及び方法 Active JP6158183B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/221,710 2011-08-30
US13/221,710 US8558154B2 (en) 2009-10-29 2011-08-30 System and method for continuous, asynchronous autofocus of optical instruments using multiple calibration curves
PCT/SE2012/050914 WO2013032393A1 (en) 2011-08-30 2012-08-29 System and method for continuous, asynchronous autofocus of optical instruments using multiple calibration curves

Publications (3)

Publication Number Publication Date
JP2014529100A JP2014529100A (ja) 2014-10-30
JP2014529100A5 JP2014529100A5 (ja) 2015-10-15
JP6158183B2 true JP6158183B2 (ja) 2017-07-05

Family

ID=47756642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014528329A Active JP6158183B2 (ja) 2011-08-30 2012-08-29 複数の較正曲線を使用した光学機器の連続した非同期的オートフォーカスのためのシステム及び方法

Country Status (4)

Country Link
US (1) US8558154B2 (ja)
EP (1) EP2751607A4 (ja)
JP (1) JP6158183B2 (ja)
WO (1) WO2013032393A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2904893C (en) * 2013-03-13 2021-11-16 Optimedica Corporation Free floating patient interface for laser surgery system
JP6338256B2 (ja) 2013-03-13 2018-06-06 オプティメディカ・コーポレイションOptimedica Corporation レーザ手術システム
US9444995B2 (en) * 2013-10-11 2016-09-13 Mitutoyo Corporation System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
US9921399B2 (en) * 2015-03-31 2018-03-20 General Electric Company System and method for continuous, asynchronous autofocus of optical instruments
JP2017003781A (ja) 2015-06-10 2017-01-05 株式会社ミツトヨ 光学素子切替装置の移動速度制御方法
DE102016122528A1 (de) 2016-11-22 2018-05-24 Carl Zeiss Microscopy Gmbh Verfahren zum Steuern oder Regeln einer Mikroskopbeleuchtung
DE102016122529A1 (de) * 2016-11-22 2018-05-24 Carl Zeiss Microscopy Gmbh Mikroskop zur Abbildung eines Objekts
EP3418789A1 (de) * 2017-06-20 2018-12-26 Euroimmun Medizinische Labordiagnostika AG Verfahren und mikroskopiesystem zum aufnehmen eines bildes

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1201256B (it) * 1985-03-19 1989-01-27 Consiglio Nazionale Ricerche Perfezionamento nei dispositivi per la messa a fuoco automatica dei sistemi ottici,in particolare microspopi e strumenti per l'acquisizione elettronica di immagini microscopiche
US5483055A (en) * 1994-01-18 1996-01-09 Thompson; Timothy V. Method and apparatus for performing an automatic focus operation for a microscope
US5587846A (en) * 1994-07-15 1996-12-24 Minolta Co., Ltd. Lens moving apparatus
JPH09197244A (ja) * 1996-01-19 1997-07-31 Koshina:Kk レンズ位置検出装置
JPH09203643A (ja) * 1996-01-27 1997-08-05 Victor Co Of Japan Ltd 光学素子の位置検出方法及び駆動制御装置
CA2310114A1 (en) * 1998-02-02 1999-08-02 Steve Mann Wearable camera system with viewfinder means
JP2000035527A (ja) * 1998-07-21 2000-02-02 Sharp Corp レンズ駆動装置及びレンズ駆動方法
JP2000356733A (ja) * 1999-06-15 2000-12-26 Sony Corp カメラ装置
ATE479922T1 (de) * 2004-03-15 2010-09-15 Cambridge Mechatronics Ltd Autofokus für kamera
US7667186B2 (en) * 2004-05-28 2010-02-23 Nokia Corporation Optoelectronic position determination system
US8362409B2 (en) * 2009-10-29 2013-01-29 Applied Precision, Inc. System and method for continuous, asynchronous autofocus of optical instruments

Also Published As

Publication number Publication date
WO2013032393A1 (en) 2013-03-07
EP2751607A1 (en) 2014-07-09
EP2751607A4 (en) 2015-04-22
US20110309231A1 (en) 2011-12-22
US8558154B2 (en) 2013-10-15
JP2014529100A (ja) 2014-10-30

Similar Documents

Publication Publication Date Title
JP6158183B2 (ja) 複数の較正曲線を使用した光学機器の連続した非同期的オートフォーカスのためのシステム及び方法
JP5771214B2 (ja) 光学機器の連続的で非同期のオートフォーカスのためのシステムおよび方法
EP3213136B1 (en) Image-based laser autofocus system
JP6662529B2 (ja) 光学機器の連続非同期オートフォーカスのためのシステムおよび方法
WO2021184169A1 (zh) 一种用于显微镜的实时自动对焦系统
US5994691A (en) Near-field scanning optical microscope
JP2006153851A (ja) 共焦点光学装置及び球面収差補正方法
JP6534658B2 (ja) スキャニング顕微鏡、およびスキャニング顕微鏡の点像分布関数(psf)を決定する方法
US10598915B2 (en) Method for autofocusing a microscope at a correct autofocus position in a sample
JP2022533001A (ja) 無限遠補正顕微鏡のための自己較正および方向集束のシステムおよび方法
CN109391758B (zh) 对样品保持器中的样品进行成像
WO2005096062A1 (en) Method of compensating spherical aberration and corresponding system
CN211627931U (zh) 一种用于显微镜的实时自动对焦系统
CN109540474B (zh) 后置分光瞳激光差动共焦焦距测量方法与装置
JP2006251209A (ja) 顕微鏡
JP6172290B2 (ja) 全反射顕微鏡
US11415789B2 (en) Microscope and method for determining an aberration in a microscope
KR101882696B1 (ko) 초점가변 검경으로 구성된 자동검사시스템의 객담 도말시료 검사 방법
CN113655610B (zh) 用于光热反射显微热成像的自动对焦方法及控制装置
JP2002039721A (ja) 膜厚測定装置、膜厚測定方法および膜厚測定のためのプログラムを記憶した記録媒体
CN109990982B (zh) 反射式横向相减差动共焦焦距测量方法
JP2023125282A (ja) 解析方法および解析装置
TW202305317A (zh) 測量系統和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170607

R150 Certificate of patent or registration of utility model

Ref document number: 6158183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250