JP5941395B2 - 画像取得装置及び画像取得装置のフォーカス方法 - Google Patents

Description

本発明は、試料等の画像取得に用いられる画像取得装置及びそのフォーカス方法に関する。

画像取得装置として、例えば試料の撮像領域を予め複数の領域に分割し、各分割領域を高倍率で撮像した後、これらを合成するバーチャル顕微鏡装置がある。このようなバーチャル顕微鏡での画像取得では、従来、生体サンプルなどの試料の画像を取得する際の撮像条件として、試料の全領域を対象とする焦点マップが設定され、焦点マップに基づく焦点制御を行いつつ試料の画像取得が行われている。

焦点マップの作成には、まず、マクロ光学系を備える画像取得装置を用い、試料全体をマクロ画像として取得する。次に、取得したマクロ画像を用い、試料の撮像範囲を設定すると共に、撮像範囲を複数の分割領域に分割し、各分割領域に対して焦点取得位置を設定する。焦点取得位置の設定の後、ミクロ光学系を備える画像取得装置に試料を移し、設定された焦点取得位置における焦点位置を取得し、これらの焦点位置から焦点マップを作成する。

しかしながら、このような焦点マップを作成するにあたっては、処理に時間を要するという問題があった。また、取得する焦点の間隔や数を抑えれば処理に要する時間は短縮されるが、その場合にはフォーカス精度が低下するという問題があった。そのため、焦点位置を取得しつつ試料の高倍率画像を取得するダイナミックフォーカスの開発が進められている。この方式は、画像取得用の撮像装置に入射する光像よりも前に焦点が合った光像（前ピン）と、後に焦点が合った光像（後ピン）との光強度差或いはコントラスト差に基づいて現在の対物レンズの高さに対する焦点位置のずれ方向を検出し、ずれをキャンセルする方向に対物レンズを移動させて画像を取得する方式である。

例えば特許文献１に記載の顕微鏡システムでは、第１の撮像手段が撮像する領域よりも手前の領域を撮像する第２の撮像手段と、第２の撮像手段で撮像された画像に基づいて、第１の撮像手段の撮像位置での対物レンズの合焦位置を調整する自動合焦制御手段と、分割領域間の距離と試料の移動速度とに応じて、分割領域が第２の撮像手段の撮像位置から第１の撮像手段の撮像位置まで移動するタイミングと、第２の撮像手段で撮像された分割領域の結像位置を第１の撮像手段の撮像面に位置させるタイミングとを揃えるタイミング制御手段とが設けられている。

特開２０１１−０８１２１１号公報

ここで、各分割領域において、上記のようなダイナミックフォーカスの方式により撮像位置を所定の速度で移動させつつ、焦点位置を調整しながら各分割領域の撮像を行う場合には、各分割領域で撮像対象の試料が最初に出現する走査位置においては、予め合焦位置の近傍に対物レンズを移動させておく処理（プレフォーカス）を行う必要がある。これは、試料が最初に出現する走査位置において対物レンズの位置が合焦位置の近傍から大きくずれていると、ダイナミックフォーカスによる焦点位置の制御が発散してしまうおそれがあるためである。

しかしながら、プレフォーカスの実行に時間を要すると、特に、撮像範囲を多数の分割領域に分割した場合に、各回のプレフォーカスの実行によって撮像に要する処理時間が増大してしまうという問題がある。

本発明は、上記課題の解決のためになされたものであり、プレフォーカスの簡易化により、撮像に要する処理時間の増大を抑制できる画像取得装置及びそのフォーカス方法を提供することを目的とする。

上記課題の解決のため、本発明に係る画像取得装置は、試料が載置されるステージと、試料に向けて光を照射する光源と、試料の光像を画像取得用の第１の光路及び焦点制御用の第２の光路に分岐する光分岐手段を含む導光光学系と、第１の光路に分岐された第１の光像による第１の画像を取得する第１の撮像手段と、第２の光路に分岐された第２の光像による第２の画像を取得する第２の撮像手段と、第１の撮像手段及び第２の撮像手段による試料の撮像位置を予め定められた複数の分割領域に沿って走査する走査制御手段と、第２の画像を解析し、その解析結果に基づいて第１の撮像手段による撮像の焦点位置を制御する焦点制御手段と、を備え、焦点制御手段は、走査制御手段が分割領域を走査する際に焦点位置の制御結果を記憶し、走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、走査制御手段が第ｎ番目（ｎは１以上の整数）以前の分割領域を走査する際に記憶した制御結果に基づいて決定することを特徴としている。

この画像取得装置では、分割領域を走査する際に焦点位置の制御結果を記憶し、第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、第ｎ番目（ｎは１以上の整数）以前の分割領域を走査する際に記憶した制御結果に基づいて決定する。このような手法により、この画像取得装置では、すでに走査を完了した分割領域の制御結果を利用して次に走査する分割領域での初期焦点位置を大まかに求めることが可能となる。これにより、プレフォーカスの簡易化により、撮像に要する処理時間の増大を抑制できる。

また、焦点制御手段は、走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、第（ｎ＋１）番目の分割領域に隣接する分割領域を走査する際に記憶した制御結果に基づいて決定してもよい。通常、隣接する分割領域同士における試料の厚さは連続していると推定される。したがって、隣接する分割領域における焦点位置の制御結果を用いることにより、初期焦点位置をより精度良く決定できる。

また、焦点制御手段は、第ｎ番目以前の複数の分割領域を走査する際に記憶した制御結果に基づいて、走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を決定してもよい。複数の分割領域の焦点位置の制御結果を用いることで、初期焦点位置をより精度良く決定できる。

また、第２の撮像手段の撮像面に、第２の光像の一部画像を取得する第１の撮像領域及び第２の撮像領域を設定する領域制御手段と、第２の光路に配置され、撮像面の面内方向に沿って第２の光像に光路差を生じさせる光路差生成部材と、を更に備え、焦点制御手段は、第１の撮像領域で取得した画像のコントラスト値と、第２の撮像領域で取得した画像のコントラスト値との差分の絶対値が所定値以下となる走査位置で焦点位置の制御結果を記憶することが好ましい。こうすると、合焦位置の近傍にある焦点位置の制御結果を選択して記憶することができ、初期焦点位置をより精度良く決定できる。

また、上記画像取得装置は、試料全体を含むマクロ画像を取得するマクロ画像取得手段を更に備え、焦点制御手段は、マクロ画像に基づいて走査制御手段が試料の存在領域を走査している期間中に焦点位置の制御結果を記憶することが好ましい。こうすると、試料が存在しない領域での焦点位置の制御結果を排除でき、初期焦点位置を一層精度良く決定できる。

また、上記画像取得装置は、試料全体を含むマクロ画像を取得するマクロ画像取得手段を更に備え、走査制御手段は、マクロ画像に基づいて試料が占める領域が最大となる分割領域を第１番目の分割領域として走査してもよい。この場合、第１番目の分割領域の走査時に、他の分割領域と比較してより多くの焦点位置の制御結果を記憶できる。これにより、以降の分割領域を走査する際の初期焦点位置を一層精度良く決定できる。

また、本発明に係る画像取得装置のフォーカス方法は、試料が載置されるステージと、前記試料に向けて光を照射する光源と、前記試料の光像を画像取得用の第１の光路及び焦点制御用の第２の光路に分岐する光分岐手段を含む導光光学系と、前記第１の光路に分岐された第１の光像による第１の画像を取得する第１の撮像手段と、前記第２の光路に分岐された第２の光像による第２の画像を取得する第２の撮像手段と、前記第１の撮像手段及び前記第２の撮像手段による前記試料の撮像位置を予め定められた複数の分割領域に沿って走査する走査制御手段と、前記第２の画像を解析し、その解析結果に基づいて前記第１の撮像手段による撮像の焦点位置を制御する焦点制御手段と、を備えた画像取得装置のフォーカス方法であって、前記走査制御手段が前記分割領域を走査する際の前記焦点位置の制御結果を記憶し、前記走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、前記走査制御手段が第ｎ番目（ｎは１以上の整数）以前の分割領域を走査する際に記憶した前記制御結果に基づいて決定することを特徴としている。

このフォーカス方法では、分割領域を走査する際に焦点位置の制御結果を記憶し、第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、第ｎ番目（ｎは１以上の整数）以前の分割領域を走査する際に記憶した制御結果に基づいて決定する。このような手法により、この画像取得装置では、すでに走査を完了した分割領域の制御結果を利用して次に走査する分割領域での初期焦点位置を大まかに求めることが可能となる。これにより、プレフォーカスの簡易化により、撮像に要する処理時間の増大を抑制できる。

また、走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、第（ｎ＋１）番目の分割領域に隣接する分割領域を走査する際に記憶した制御結果に基づいて決定してもよい。通常、隣接する分割領域同士における試料の厚さは連続していると推定される。したがって、隣接する分割領域における焦点位置の制御結果を用いることにより、初期焦点位置をより精度良く決定できる。

また、第ｎ番目以前の複数の分割領域を走査する際に記憶した制御結果に基づいて、走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を決定してもよい。複数の分割領域の焦点位置の制御結果を用いることで、初期焦点位置をより精度良く決定できる。

また、画像取得装置が、第２の撮像手段の撮像面に、第２の光像の一部画像を取得する第１の撮像領域及び第２の撮像領域を設定する領域制御手段と、第２の光路に配置され、撮像面の面内方向に沿って第２の光像に光路差を生じさせる光路差生成部材と、を更に備え、第１の撮像領域で取得した画像のコントラスト値と、第２の撮像領域で取得した画像のコントラスト値との差分の絶対値が所定値以下となる走査位置で焦点位置の制御結果を記憶することが好ましい。こうすると、合焦位置の近傍にある焦点位置の制御結果を選択して記憶することができ、初期焦点位置をより精度良く決定できる。

また、画像取得装置が、試料全体を含むマクロ画像を取得するマクロ画像取得手段を更に備え、マクロ画像に基づいて走査制御手段が試料の存在領域を走査している期間中に焦点位置の制御結果を記憶することが好ましい。こうすると、試料が存在しない領域での焦点位置の制御結果を排除でき、初期焦点位置を一層精度良く決定できる。

また、画像取得装置、試料全体を含むマクロ画像を取得するマクロ画像取得手段を更に備え、マクロ画像に基づいて試料が占める領域が最大となる分割領域を第１番目の分割領域として走査してもよい。この場合、第１番目の分割領域の走査時に、他の分割領域から走査を開始する場合と比較してより多くの焦点位置の制御結果を記憶できる。これにより、以降の分割領域を走査する際の初期焦点位置を一層精度良く決定できる。

本発明によれば、プレフォーカスの簡易化により、撮像に要する処理時間の増大を抑制できる。

本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。 本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。 第２の撮像装置を示す図である。 光路差生成部材及び第２の撮像装置の組み合わせの一例を示す図である。 画像取得装置の機能的な構成要素を示すブロック図である。 試料の表面までの距離が対物レンズの焦点距離に一致している場合のコントラスト値の解析結果を示す図である。 試料の表面までの距離が対物レンズの焦点距離よりも長い場合のコントラスト値の解析結果を示す図である。 試料の表面までの距離が対物レンズの焦点距離よりも短い場合のコントラスト値の解析結果を示す図である。 ステージの走査時間に対する対物レンズとステージとの距離の関係を示す図である。 ステージ制御部によるステージの走査方向の制御を示す図である。 ステージ制御部によるステージの走査速度の制御を示す図である。 各分割領域における試料開始位置を示す図である。 焦点制御部により記憶される焦点制御結果の例を示す図である。 変形例に係る画像取得装置における分割領域の走査順序を示す図である。 画像取得装置の動作を示すフローチャートである。 ミクロ画像取得装置によるミクロ画像の取得動作を示すフローチャートである。

以下、図面を参照しながら、本発明に係る画像取得装置及び画像取得装置のフォーカス方法の好適な実施形態について詳細に説明する。

図１は、本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。また、図２は、本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。図１及び図２に示すように、画像取得装置Ｍは、試料Ｓのマクロ画像を取得するマクロ画像取得装置Ｍ１と、試料Ｓのミクロ画像を取得するミクロ画像取得装置Ｍ２とによって構成されている。画像取得装置Ｍは、マクロ画像取得装置Ｍ１で取得したマクロ画像に対して例えばライン状の複数の分割領域４０（図１１参照）を設定し、各分割領域４０をミクロ画像取得装置Ｍ２で高倍率に取得して合成することにより、バーチャルマイクロ画像を生成する装置である。

マクロ画像取得装置Ｍ１は、図１に示すように、試料Ｓが載置されるステージ１を備えている。ステージ１は、例えばステッピングモータ（パルスモータ）或いはピエゾアクチュエータなどのモータやアクチュエータによって水平方向に駆動するＸＹステージである。画像取得装置Ｍで観察する試料Ｓは、例えば細胞などの生体サンプルであり、スライドガラスに密封された状態でステージ１に載置される。このステージ１をＸＹ面内で駆動させることにより、試料Ｓに対する撮像位置を移動させることができる。

ステージ１は、マクロ画像取得装置Ｍ１とミクロ画像取得装置Ｍ２との間を往復可能となっており、両装置間で試料Ｓを搬送する機能を有している。なお、マクロ画像取得においては、試料Ｓの全体画像を１度の撮像で取得してもよく、試料Ｓを複数の領域に分割して撮像してもよい。また、ステージ１は、マクロ画像取得装置Ｍ１及びミクロ画像取得装置Ｍ２の双方にそれぞれ設けておいてもよい。

ステージ１の底面側には、試料Ｓに向けて光を照射する光源２と、光源２からの光を試料Ｓに集光する集光レンズ３とが配置されている。光源２は、試料Ｓに向けて斜めに光を照射するように配置されていてもよい。また、ステージ１の上面側には、試料Ｓからの光像を導光する導光光学系４と、試料Ｓの光像を撮像する撮像装置５とが配置されている。導光光学系４は、試料Ｓからの光像を撮像装置５の撮像面に結像させる結像レンズ６を有している。また、撮像装置５は、例えば２次元画像を取得可能なエリアセンサである。撮像装置５は、導光光学系４を経て撮像面に入射した試料Ｓの光像の全体画像を取得し、後述のバーチャルマイクロ画像格納部３９に格納する。

ミクロ画像取得装置Ｍ２は、図２に示すように、ステージ１の底面側にマクロ画像取得装置Ｍ１と同様の光源１２及び集光レンズ１３を有している。また、ステージ１の上面側には、試料Ｓからの光像を導光する導光光学系１４が配置されている。光源１２からの光を試料Ｓに照射させる光学系には、試料Ｓに励起光を照射するための励起光照射光学系や試料Ｓの暗視野画像を取得するための暗視野照明光学系を採用してもよい。

導光光学系４は、試料Ｓと対峙して配置された対物レンズ１５と、対物レンズ１５の後段に配置されたビームスプリッタ（光分岐手段）１６とを有している。対物レンズ１５には、ステージ１の載置面に直交するＺ方向に対物レンズ１５を駆動するステッピングモータ（パルスモータ）或いはピエゾアクチュエータなどのモータやアクチュエータが設けられている。これらの駆動手段によって対物レンズ１５のＺ方向の位置を変えることにより、試料Ｓの画像取得における撮像の焦点位置が調整可能になっている。なお、焦点位置の調整は、ステージ１のＺ方向の位置を変えてもよく、対物レンズ１５及びステージ１の双方のＺ方向の位置を変えてもよい。

ビームスプリッタ１６は、試料Ｓの光像を画像取得用の第１の光路Ｌ１と焦点制御用の第２の光路Ｌ２とに分岐する部分である。このビームスプリッタ１６は、光源１２からの光軸に対しておよそ４５度の角度で配置されており、図２において、ビームスプリッタ１６を通過する光路が第１の光路Ｌ１となっており、ビームスプリッタ１６で反射する光路が第２の光路となっている。

第１の光路Ｌ１には、ビームスプリッタ１６を通過した試料Ｓの光像（第１の光像）を結像させる結像レンズ１７と、結像レンズ１７の結像位置に撮像面を配置した第１の撮像装置（第１の撮像手段）１８とが配置されている。第１の撮像装置１８は、試料Ｓの第１の光像による１次元画像（第１の画像）を取得可能な装置であり、例えばＴＤＩ（Ｔｉｍｅ Ｄｅｌａｙ Ｉｎｔｅｇｒａｔｉｏｎ）駆動が可能な２次元ＣＣＤセンサやラインセンサが用いられる。また、ステージ１を一定の速度で制御しながら、試料Ｓの画像を順次取得する方式であれば、第１の撮像装置１８は、ＣＭＯＳセンサやＣＣＤセンサなどの２次元画像を取得可能な装置であってもよい。第１の撮像装置１８で撮像された第１の画像は、レーンバッファなどの一時保存メモリに順次保存された後、圧縮されて後述の画像生成部３８に出力される。

一方、第２の光路Ｌ２には、ビームスプリッタ１６で反射した試料の光像（第２の光像）を縮小する視野調整レンズ１９と、第２の撮像装置（第２の撮像手段）２０とが配置されている。また、第２の撮像装置２０の前段には、第２の光像に光路差を生じさせる光路差生成部材２１が配置されている。視野調整レンズ１９は、第２の光像が第１の光像と同程度の大きさで第２の撮像装置２０に結像するように構成されていることが好ましい。

第２の撮像装置２０は、試料Ｓの第２の光像による２次元画像（第２の画像）を取得可能な装置であり、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのセンサが用いられる。また、ラインセンサを用いてもよい。

第２の撮像装置２０の撮像面２０ａは、第２の光路Ｌ２に直交するＸＺ面と略一致するように配置されている。この撮像面２０ａには、図３に示すように、第２の光像の一部画像を取得する第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂが設定されている。第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂは、試料Ｓの走査に伴う撮像面２０ａ上での第２の光像の移動方向（走査方向：Ｚ方向）に対して垂直となる向きに設定される。第１の撮像領域２２Ａと第２の撮像領域２２Ｂとは、所定の間隔をもって設定されており、いずれも第２の光像の一部をライン状に取得する。これにより、第１の撮像装置１８で取得される試料Ｓの第１の光像と同じ領域の光像を第２の光像として第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂで取得できる。なお、第１の撮像領域２２Ａと第２の撮像領域２２Ｂとを別々のラインセンサを用いて設定してもよい。この場合、各ラインセンサを別々に制御することで、第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂの設定に要する時間を短縮させることができる。

光路差生成部材２１は、撮像面２０ａの面内方向に沿って第２の光像に光路差を生じさせるガラス部材である。図４に示す例では、光路差生成部材２１Ａは、断面三角形のプリズム状をなしており、撮像面２０ａのＺ方向の中央部分に頂部が略一致するように配置されている。したがって、撮像面２０ａに入射する第２の光像は、撮像面２０ａにおけるＺ方向の中央部分で最も光路が長くなり、撮像面２０ａにおけるＺ方向の両端部分に向かうほど光路が短くなる。また、光路差生成部材２１は、第２の撮像装置２０と対向する面が第２の撮像装置の撮像面（受光面）２０ａと平行となるように配置されることが好ましい。これにより、第２の撮像装置２０と対向する面による光の屈折を低減でき、第２の撮像装置２０で受光する光量を確保することができる。

これにより、第２の撮像装置２０では、第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置に基づいて、第１の撮像装置１８に入射する第１の光像よりも前に焦点が合った光像（前ピン）と、後に焦点が合った光像（後ピン）とを取得できる。本実施形態では、例えば第１の撮像領域２２Ａが前ピンとなり、第２の撮像領域２２Ｂが後ピンとなるように第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置とが設定される。前ピンと後ピンとの間のフォーカス差は、第１の撮像領域２２Ａに入射する第２の光像が通過する光路差生成部材２１Ａの厚さｔ１及び屈折率と、第２の撮像領域２２Ｂに入射する第２の光像が通過する光路差生成部材２１Ａの厚さｔ２及び屈折率との差に依存する。

図５は、画像取得装置の機能的な構成要素を示すブロック図である。同図に示すように、画像取得装置Ｍは、ＣＰＵ、メモリ、通信インタフェイス、ハードディスクといった格納部、キーボードなどの操作部３１、モニタ３２等を備えたコンピュータシステムを備え、制御部３３の機能的な構成要素として、焦点制御部３４と、領域制御部３５と、対物レンズ制御部３６と、ステージ制御部３７（走査制御手段）と、画像生成部３８と、バーチャルマイクロ画像格納部３９とを備えている。

焦点制御部３４は、第２の撮像装置２０で取得した第２の画像を解析し、その解析結果に基づいて第１の撮像装置１８による撮像の焦点位置を制御する部分である。より具体的には、焦点制御部３４は、まず、第２の撮像装置２０において、第１の撮像領域２２Ａで取得した画像のコントラスト値と、第２の撮像領域２２Ｂで取得した画像のコントラスト値との差分を求める。

ここで、図６に示すように、試料Ｓの表面に対して対物レンズ１５の焦点位置が合っている場合、第１の撮像領域２２Ａで取得した前ピンの画像コントラスト値と第２の撮像領域２２Ｂで取得した後ピンの画像コントラスト値とが略一致し、これらの差分値はほぼゼロとなる。

一方、図７に示すように、試料Ｓの表面までの距離が対物レンズ１５の焦点距離よりも長い場合、第１の撮像領域２２Ａで取得した前ピンの画像コントラスト値よりも第２の撮像領域２２Ｂで取得した後ピンの画像コントラスト値の方が大きくなり、これらの差分値はプラスとなる。この場合、焦点制御部３４は、対物レンズ制御部３６に対し、対物レンズ１５を試料Ｓに近づける向きに駆動する旨の指示情報を出力する。

また、図８に示すように、試料Ｓの表面までの距離が対物レンズ１５の焦点距離よりも短い場合、第１の撮像領域２２Ａで取得した前ピンの画像コントラスト値よりも第２の撮像領域２２Ｂで取得した後ピンの画像コントラスト値の方が小さくなり、これらの差分値はマイナスとなる。この場合、焦点制御部３４は、対物レンズ制御部３６に対し、対物レンズ１５を試料Ｓに遠ざける向きに駆動する旨の指示情報を出力する。

領域制御部３５は、第２の撮像装置２０の撮像面２０ａにおける第１の撮像領域２２Ａの位置及び第２の撮像領域２２Ｂの位置を制御する部分である。領域制御部３５は、操作部３１からの操作に基づき、予め設定された位置にまず第１の撮像領域２２Ａを設定し、第１の撮像領域２２Ａでの撮像が行われた後、第１の撮像領域２２Ａの設定を解除する。次に、第１の撮像領域２２ＡからＺ方向（走査方向）に所定の間隔をもって第２の撮像領域２２Ｂを設定し、第２の撮像領域２２Ｂでの撮像が行われた後、第２の撮像領域２２Ｂの設定を解除する。

また、領域制御部３５は、操作部３１からの操作に基づき、第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置の少なくとも一方を撮像面２０ａの面内の走査方向（ここではＺ方向）に沿って変更することができる。この場合、第１の撮像領域２２Ａの位置及び第２の撮像領域２２Ｂの位置のいずれか一方のみを変更してもよく、第１の撮像領域２２Ａの位置及び第２の撮像領域２２Ｂの位置の双方を変更してもよい。また、第１の撮像領域２２Ａと第２の撮像領域２２Ｂとの間の間隔ｄを維持したまま、第１の撮像領域２２Ａの位置及び第２の撮像領域２２Ｂの位置の双方を変更してもよい。

第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置を変更することにより、例えば図４に示したようなプリズム状の光路差生成部材２１Ａを用いる場合には、第１の撮像領域２２Ａに入射する第２の光像が通過する光路差生成部材２１Ａの厚さｔ１と、第２の撮像領域２２Ｂに入射する第２の光像が通過する光路差生成部材２１Ａの厚さｔ２とを変化させることができる。これにより、前ピン及び後ピンの間隔が変わり、コントラスト値の差分を求める際の分解能を調整できる。

対物レンズ制御部３６は、対物レンズ１５の駆動を制御する部分である。対物レンズ制御部３６は、焦点制御部３４から出力される指示情報を受け取ると、指示情報の内容に従って、対物レンズ１５をＺ方向に駆動させる。これにより、試料Ｓに対する対物レンズ１５の焦点位置が調整される。

なお、対物レンズ制御部３６は、焦点制御部３４による焦点位置の解析中は対物レンズ１５の駆動は行わず、また、次の焦点位置の解析が開始されるまで、対物レンズ１５をＺ方向に沿って一方向にのみ駆動させる。図９は、ステージの走査時間に対する対物レンズとステージ１との距離の関係を示す図である。同図に示すように、試料Ｓの走査中は、焦点位置の解析期間Ａと、解析結果に基づく対物レンズ駆動期間Ｂとが交互に生じることとなる。このように、焦点位置の解析中に対物レンズ１５と試料Ｓとの位置関係を変化させないことで、焦点位置の解析精度を担保できる。

ステージ制御部３７は、ステージ１の駆動を制御する部分である。より具体的には、ステージ制御部３７は、操作部３１からの操作に基づき、試料Ｓが載置されたステージ１を所定の速度で走査させる。このステージ１の走査により、第１の撮像装置１８及び第２の撮像装置２０での試料Ｓの撮像視野が相対的に順次移動する。ステージ１の走査方向は、図１０（ａ）に示すように、一つの分割領域４０の走査が終了する度にステージ１の位置を走査開始位置まで戻してから次の分割領域４０を同一方向に走査する一方向走査であってもよく、図１０（ｂ）に示すように、一つの分割領域４０の走査が終了した後、ステージ１を走査方向と直交する方向に移動させて次の分割領域４０を反対方向に走査する双方向走査であってもよい。このように、ステージ制御部３７は、第１の撮像装置１８及び第２の撮像装置による試料Ｓの撮像視野（撮像位置）を分割領域４０に沿って走査する。

また、画像取得の間のステージ１の走査速度は一定であるが、実際には走査の開始直後にステージ１の振動等の影響によって走査速度が不安定な期間が存在する。このため、図１２に示すように、分割領域４０よりも長い走査幅を設定し、ステージ１が加速する加速期間Ｃ、ステージ１の走査速度が安定化するまでの安定化期間Ｄ、及びステージ１が減速する減速期間Ｆのそれぞれが、分割領域４０よりも外側を走査しているときに生じるようにすることが好ましい。これにより、ステージ１の走査速度が一定となる一定速度期間Ｅに合わせて画像取得を行うことが可能となる。なお、安定化期間Ｄ中に撮像を開始し、画像取得後に安定化期間Ｄ中に取得したデータ部分を削除するようにしてもよい。このような手法は、データの空読みが必要な撮像装置を用いる場合に好適である。

画像生成部３８は、取得した画像を合成してバーチャルマイクロ画像を生成する部分である。画像生成部３８は、第１の撮像装置１８から出力される第１の画像、すなわち、各分割領域４０の画像を順次受け取り、これらを合成して試料Ｓの全体の画像を合成する。そして、この合成画像に基づいてこれよりも低い解像度の画像を作成し、高解像度の画像と低解像度の画像とを関連付けてバーチャルマイクロ画像格納部３９に格納する。バーチャルマイクロ画像格納部３９では、マクロ画像取得装置Ｍ１で取得した画像も更に関連付けてもよい。バーチャルマイクロ画像は、１枚の画像として格納してもよく、複数に分割された画像として格納してもよい。

続いて、画像取得装置Ｍが有するプレフォーカス機能について説明する。プレフォーカス機能とは、各分割領域４０で試料Ｓが最初に出現する走査位置（試料開始位置）で、予め合焦位置（試料Ｓの表面に対する対物レンズ１５の焦点が合う位置）の近傍に対物レンズ１５を移動させておく機能である。画像取得装置Ｍでは、焦点制御部３４がプレフォーカス処理を実行する。

焦点制御部３４は、各分割領域４０の試料開始位置でプレフォーカス処理を実行する。図１２に、各分割領域４０の試料開始位置Ｐ（矩形で示される領域）を示す。図１２（ａ）及び図１２（ｂ）はそれぞれ、図１０（ａ）及び図１０（ｂ）に示す走査方向に走査される場合の各分割領域４０の試料開始位置Ｐを示す。

焦点制御部３４は、例えばマクロ画像取得装置Ｍ１が取得したマクロ画像に基づいて試料開始位置Ｐを特定する。具体的には、マクロ画像取得装置Ｍ１により取得されたマクロ画像を所定の閾値を用いて二値化し、所定のプログラムを用いた自動設定、又はモニタ３２に表示されたマクロ画像に対する操作者による手動設定により、マクロ画像から試料Ｓが存在する範囲（存在領域）を抽出する。焦点制御部３４は、マクロ画像から抽出された試料Ｓの存在領域と各分割領域４０とが重なる領域を特定することにより、各分割領域４０の試料開始位置Ｐを特定する。

焦点制御部３４は、ステージ制御部３７が最初に走査する分割領域４０（第１番目の分割領域４０）の試料開始位置Ｐについては、第２番目以降の分割領域４０とは異なる特殊なプレフォーカス処理を実行する。例えば焦点制御部３４は、対物レンズ１５のＺ方向の位置を変化させながら、各位置において第１の撮像装置１８から出力される第１の画像のコントラスト値を計測し、上記コントラスト値が最大となる位置（合焦位置）を特定し、対物レンズ１５を合焦位置に移動させる。

焦点制御部３４は、ステージ制御部３７が分割領域４０を走査する際、上述の焦点位置の制御を行うと共に、第１の撮像装置１８による撮像の焦点位置の制御結果（以下、単に「焦点制御結果」と記す。）として、ステージ１に対する対物レンズ１５の高さを取得し、記憶する。焦点制御部３４は、例えば、対物レンズ１５が備えるモータ等でリアルタイムに計測される対物レンズ１５の高さ（Ｚ方向の位置）を取得することで、焦点制御結果を取得する。また、焦点制御部３４は、取得した焦点制御結果を、例えば画像取得装置Ｍが備えるメモリ及びハードディスク等の記憶装置に記憶する。

図１３は、焦点制御部３４が記憶した焦点制御結果の例を示す図である。図１３（ａ）には、焦点制御部３４が焦点制御結果を記憶した位置（例えば撮像視野の中央位置）を分割領域４０ごとに異なる記号で示している。図１３（ｂ）には、図１３（ａ）の各記憶位置で焦点制御部３４が記憶した焦点制御結果（ステージ１に対する対物レンズ１５の相対高さ）を撮像方向に沿ってプロットした図である図１３（ｂ）に示す通り、分割領域４０ごとに焦点制御結果を複数記憶することで分割領域４０ごとの試料Ｓの表面の形状（厚み）を大まかに把握できる。

焦点制御部３４は、第（ｎ＋１）番目の分割領域４０の試料開始位置Ｐにおける第１の撮像装置１８による撮像の焦点位置（初期焦点位置）を、第ｎ番目（ｎは１以上の整数）以前の分割領域４０を走査する際に記憶した焦点制御結果に基づいて決定する。例えば、焦点制御部３４は、これらの焦点制御結果の平均値、中間値、最小二乗法による計算等により求まる平面に基づいて第（ｎ＋１）番目の分割領域４０の初期焦点位置を決定する。その後、焦点制御部３４は、第（ｎ＋１）番目の分割領域４０の試料開始位置Ｐにおいて、対物レンズ制御部３６に対し、決定した初期焦点位置に対物レンズ１５を駆動する旨の指示情報を出力する。

一例として、最小二乗法により求めた平面により第（ｎ＋１）番目の分割領域４０の初期焦点位置を決定する方法について説明する。例えば、図１３において、撮像方向をＸ方向、ステージ１上でＸ方向と直交する方向をＹ方向とすると、焦点制御部３４は、第ｎ番目以前の分割領域４０を走査する際に記憶した複数の焦点制御結果を用いて最小二乗法による計算を行うことにより、平面上のＸＹＺ座標（ｘ、ｙ、ｚ）を特定する式「ｚ＝ａ＋ｂ×ｘ＋ｃ×ｙ（ａ、ｂ及びｃは所定のパラメータ）」を求めることができる。これにより、第（ｎ＋１）番目の分割領域の試料開始位置ＰのＸＹ座標が（ｘｐ、ｙｐ）で表されるとすると、第（ｎ＋１）番目の分割領域の初期焦点位置（対物レンズ１５のＺ方向の位置）ｚｐは、上記式により「ｚｐ＝ａ＋ｂ×ｘｐ＋ｃ×ｙｐ」として求めることができる。

ここで、焦点制御部３４は、上述のような方法で第（ｎ＋１）番目の分割領域４０の初期焦点位置を決定するにあたって、第ｎ番目以前の分割領域４０の走査時に取得した全ての焦点制御結果を使用してもよいが、以下のように、使用する焦点制御結果を選択してもよい。

例えば、焦点制御部３４は、第（ｎ＋１）番目の分割領域４０の初期焦点位置を、第（ｎ＋１）番目の分割領域４０に隣接する分割領域４０において記憶した焦点制御結果に基づいて決定してもよい。通常、隣接する分割領域４０同士における試料Ｓの厚さは連続していると推定されるため、隣接する分割領域４０における焦点制御結果を用いることにより、初期焦点位置をより精度良く決定できることが期待できる。また、焦点制御部３４は、第（ｎ＋１）番目の分割領域４０の初期焦点位置を、第ｎ番目以前の複数の分割領域４０において記憶した焦点制御結果に基づいて決定してもよい。これにより、複数の分割領域の焦点制御結果を用いることで、初期焦点位置をより精度良く決定できることが期待できる。

ただし、試料Ｓの種類、厚さ、形状等によっては、隣接する分割領域４０の走査時に記憶した焦点制御結果を用いることが有効でない場合（例えば、試料Ｓの表面に連続的に微細な凹凸がある場合等）もあり得る。このような場合には、試料Ｓの種類等に応じて、第（ｎ＋１）番目の分割領域４０に隣接する分割領域４０でなく、第（ｎ＋１）番目の分割領域４０と所定間隔空いた位置にある分割領域４０において記憶した焦点制御結果を使用してもよい。

第（ｎ＋１）番目の分割領域４０の初期焦点位置の決定に使用する焦点制御結果を選択する方法については、例えば、画像取得装置Ｍに試料Ｓの種類に応じた選択方法を予め設定情報として保持しておき、操作者がモニタ３２を介して試料Ｓの種類を選択することにより変更可能とされてもよい。これにより、試料Ｓの種類等に応じて、第（ｎ＋１）番目の分割領域４０の初期焦点位置を適切に選択することが可能となる。

また、焦点制御部３４が焦点制御結果を記憶するタイミングは、予め定められた所定距離間隔又は所定時間間隔であってもよいが、焦点制御部３４は、マクロ画像に基づいてステージ制御部３７が試料Ｓの存在領域を走査している期間中に焦点制御結果を記憶することが好ましい。これにより、試料が存在しない領域での焦点制御結果を排除でき、初期焦点位置をより精度良く決定できる。ここで、マクロ画像から抽出された試料Ｓの存在領域と各分割領域４０とが重なる領域を特定することにより、試料Ｓの存在領域を特定できる。

また、焦点制御部３４は、対物レンズ１５が合焦位置の近傍に位置する際の焦点制御結果を記憶することが好ましい。すなわち、焦点制御部３４は、第１の撮像領域２２Ａで取得した画像（前ピン）のコントラスト値と、第２の撮像領域２２Ｂで取得した画像のコントラスト値との差分の絶対値が所定値以下となる走査位置での焦点制御結果を記憶することが好ましい。これにより、合焦位置の近傍である焦点制御結果を選択して記憶することができ、初期焦点位置をより精度良く決定できる。なお、焦点制御部３４は、第１の撮像装置１８で撮像された第１の画像のコントラスト値を解析した結果に基づいて、コントラスト値が所定値以上となる走査位置での焦点制御結果を記憶しても、同様の効果が得られる。

また、ステージ制御部３７は、図１４に示すように、マクロ画像に基づいて試料Ｓが占める領域が最大となる分割領域４０を第１番目の分割領域として走査してもよい。ここで、各分割領域４０において試料Ｓが占める領域（面積）は、マクロ画像から抽出された試料Ｓの存在領域と各分割領域４０とが重なる領域を特定することにより算出でき、各分割領域４０で算出した面積を比較することで、試料Ｓが占める領域が最大となる分割領域４０を特定することができる。

図１４に示す例では、ステージ制御部３７は、試料Ｓが占める領域が最大となる分割領域４０からステージ１の一方端に向かって各分割領域４０を走査する（第１番目〜第４番目）。その後、ステージ制御部３７は、第１番目に走査した分割領域とステージ１の他方端側に隣接する分割領域４０からステージ１の他方端に向かって各分割領域４０を走査する（第５番目〜第ｎ番目）。このような順に試料Ｓを走査することで、第１番目の分割領域４０の走査時に、他の分割領域４０から走査を開始する場合と比較してより多くの焦点制御結果を記憶できる。これにより、以降の分割領域４０を走査する際の初期焦点位置を一層精度良く決定できる。なお、試料Ｓの形状が図１４に示すような略楕円形であること等により試料開始位置Ｐが撮像方向において最も手前に位置する分割領域４０と試料Ｓが占める面積が最大となる分割領域４０とが一致することが期待できる場合には、ステージ制御部３７は、試料開始位置Ｐが撮像方向において最も手前に位置する分割領域４０を第１番目の分割領域４０として走査してもよい。この場合には、各分割領域４０における試料Ｓが占める面積の算出及び比較を行う必要はない。

続いて、上述した画像取得装置Ｍの動作について説明する。

図１５は、画像取得装置Ｍの動作を示すフローチャートである。同図に示すように、画像取得装置Ｍでは、まず、マクロ画像取得装置Ｍ１による試料Ｓのマクロ画像の取得がなされる（ステップＳ１）。取得したマクロ画像は、例えば所定の閾値を用いて二値化された後、モニタ３２に表示され、所定のプログラムを用いた自動設定又は操作者による手動設定により、マクロ画像の中からミクロ画像を取得する範囲が設定される（ステップＳ２）。

次に、ステージ１の走査を開始し、ミクロ画像取得装置Ｍ２による試料Ｓの分割領域４０ごとのミクロ画像の取得がなされる（ステップＳ３）。
ステップＳ３における、第ｎ番目の分割領域の走査開始から第（ｎ＋１）番目の分割領域の走査までの処理について、図１６を用いて説明する。まず、ステージ１の走査を開始する。第１の撮像装置１８でのミクロ画像の取得の際、第２の撮像装置２０では第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂによって前ピンのコントラスト値と後ピンのコントラスト値の差分に基づいて試料Ｓに対する対物レンズ１５のずれ方向が解析され、対物レンズ１５の位置の調整がリアルタイムで実行される。これと併せて、分割領域４０を走査する際の焦点制御結果が記憶される（ステップＳ３１）。

続いて、第ｎ番目（ｎの初期値は１）以前の分割領域４０を走査する際に記憶された焦点制御結果に基づいて、第（ｎ＋１）番目の分割領域４０を走査する際の初期焦点位置が決定される（ステップＳ３２）。その後、決定された初期焦点位置に対物レンズ１５の位置が移動され（ステップＳ３３）、第（ｎ＋１）番目の分割領域４０について、ステップＳ３１と同様の処理が行われる（ステップＳ３４）。全ての分割領域４０についてミクロ画像の取得が完了した後、取得したミクロ画像が合成され、バーチャルマイクロ画像が生成される（ステップＳ４）。

以上説明したように、画像取得装置Ｍでは、分割領域４０を走査する際に焦点位置の制御結果を記憶し、第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、第ｎ番目（ｎは１以上の整数）以前の分割領域４０を走査する際に記憶した制御結果に基づいて決定する。このような手法により、この画像取得装置Ｍでは、すでに走査を完了した分割領域４０の焦点制御結果を利用して次に走査する分割領域での初期焦点位置を大まかに求めることが可能となる。これにより、プレフォーカスの簡易化により、撮像に要する処理時間の増大を抑制できる。

上述した実施形態では、バーチャルマイクロ画像を生成する装置を例示したが、本発明に係る画像取得装置は、ステージ等によって試料を所定の速度で走査しながら画像を取得する装置であれば、種々の装置に適用することができる。

１…ステージ、１２…光源、１４…導光光学系、１５…対物レンズ、１６…ビームスプリッタ（光分岐手段）、１８…第１の撮像装置（第１の撮像手段）、２０…第２の撮像装置（第２の撮像手段）、２０ａ…撮像面、２１（２１Ａ）…光路差生成部材、２２Ａ…第１の撮像領域、２２Ｂ…第２の撮像領域、３４…焦点制御部（焦点制御手段）、３５…領域制御部（領域制御手段）、３６…対物レンズ制御部、Ｌ１…第１の光路、Ｌ２…第２の光路、Ｍ…画像取得装置、Ｍ１…マクロ画像取得装置、Ｍ２…ミクロ画像取得装置、Ｓ…試料。

Claims (12)

1. 試料が載置されるステージと、
   前記試料に向けて光を照射する光源と、
   前記試料の光像を画像取得用の第１の光路及び焦点制御用の第２の光路に分岐する光分岐手段を含む導光光学系と、
   前記第１の光路に分岐された第１の光像による第１の画像を取得する第１の撮像手段と、
   前記第２の光路に分岐された第２の光像による第２の画像を取得する第２の撮像手段と、
   前記第１の撮像手段及び前記第２の撮像手段による前記試料の撮像位置を予め定められた複数の分割領域に沿って走査する走査制御手段と、
   前記第２の画像を解析し、その解析結果に基づいて前記第１の撮像手段による撮像の焦点位置を制御する焦点制御手段と、を備え、
   前記焦点制御手段は、前記走査制御手段が前記分割領域を走査する際に前記焦点位置の制御結果を記憶し、前記走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、前記走査制御手段が第ｎ番目（ｎは１以上の整数）以前の分割領域を走査する際に記憶した前記制御結果に基づいて決定することを特徴とする画像取得装置。
2. 前記焦点制御手段は、前記走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、第（ｎ＋１）番目の分割領域に隣接する分割領域を走査する際に記憶した前記制御結果に基づいて決定することを特徴とする請求項１記載の画像取得装置。
3. 前記焦点制御手段は、第ｎ番目以前の複数の分割領域を走査する際に記憶した前記制御結果に基づいて、前記走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を決定することを特徴とする請求項１記載の画像取得装置。
4. 前記第２の撮像手段の撮像面に、前記第２の光像の一部画像を取得する第１の撮像領域及び第２の撮像領域を設定する領域制御手段と、
   前記第２の光路に配置され、前記撮像面の面内方向に沿って前記第２の光像に光路差を生じさせる光路差生成部材と、を更に備え、
   前記焦点制御手段は、前記第１の撮像領域で取得した画像のコントラスト値と、前記第２の撮像領域で取得した画像のコントラスト値との差分の絶対値が所定値以下となる走査位置で前記焦点位置の制御結果を記憶することを特徴とする請求項１〜３のいずれか一項記載の画像取得装置。
5. 前記試料全体を含むマクロ画像を取得するマクロ画像取得手段を更に備え、
   前記焦点制御手段は、前記マクロ画像に基づいて前記走査制御手段が前記試料の存在領域を走査している期間中に前記焦点位置の制御結果を記憶することを特徴とする請求項１〜４のいずれか一項記載の画像取得装置。
6. 前記試料全体を含むマクロ画像を取得するマクロ画像取得手段を更に備え、
   前記走査制御手段は、前記マクロ画像に基づいて前記試料が占める領域が最大となる分割領域を第１番目の分割領域として走査することを特徴とする請求項１〜５のいずれか一項記載の画像取得装置。
7. 試料が載置されるステージと、
   前記試料に向けて光を照射する光源と、
   前記試料の光像を画像取得用の第１の光路及び焦点制御用の第２の光路に分岐する光分岐手段を含む導光光学系と、
   前記第１の光路に分岐された第１の光像による第１の画像を取得する第１の撮像手段と、
   前記第２の光路に分岐された第２の光像による第２の画像を取得する第２の撮像手段と、
   前記第１の撮像手段及び前記第２の撮像手段による前記試料の撮像位置を予め定められた複数の分割領域に沿って走査する走査制御手段と、
   前記第２の画像を解析し、その解析結果に基づいて前記第１の撮像手段による撮像の焦点位置を制御する焦点制御手段と、を備えた画像取得装置のフォーカス方法であって、
   前記走査制御手段が前記分割領域を走査する際の前記焦点位置の制御結果を記憶し、
   前記走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、前記走査制御手段が第ｎ番目（ｎは１以上の整数）以前の分割領域を走査する際に記憶した前記制御結果に基づいて決定することを特徴とする画像取得装置のフォーカス方法。
8. 前記走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を、第（ｎ＋１）番目の分割領域に隣接する分割領域を走査する際に記憶した前記制御結果に基づいて決定することを特徴とする請求項７記載の画像取得装置のフォーカス方法。
9. 第ｎ番目以前の複数の分割領域を走査する際に記憶した前記制御結果に基づいて、前記走査制御手段が第（ｎ＋１）番目の分割領域を走査する際の初期焦点位置を決定することを特徴とする請求項７記載の画像取得装置のフォーカス方法。
10. 前記画像取得装置が、前記第２の撮像手段の撮像面に、前記第２の光像の一部画像を取得する第１の撮像領域及び第２の撮像領域を設定する領域制御手段と、
    前記第２の光路に配置され、前記撮像面の面内方向に沿って前記第２の光像に光路差を生じさせる光路差生成部材と、を更に備え、
    前記第１の撮像領域で取得した画像のコントラスト値と、前記第２の撮像領域で取得した画像のコントラスト値との差分の絶対値が所定値以下となる走査位置で前記焦点位置の制御結果を記憶することを特徴とする請求項７〜９のいずれか一項記載の画像取得装置のフォーカス方法。
11. 前記画像取得装置が、前記試料全体を含むマクロ画像を取得するマクロ画像取得手段を更に備え、
    前記マクロ画像に基づいて前記走査制御手段が前記試料の存在領域を走査している期間中に前記焦点位置の制御結果を記憶することを特徴とする請求項７〜１０のいずれか一項記載の画像取得装置のフォーカス方法。
12. 前記画像取得装置が、前記試料全体を含むマクロ画像を取得するマクロ画像取得手段を更に備え、
    前記走査制御手段によって、前記マクロ画像に基づいて前記試料が占める領域が最大となる分割領域を第１番目の分割領域として走査することを特徴とする請求項７〜１１のいずれか一項記載の画像取得装置のフォーカス方法。
    
    

Images