[1]第1の実施の形態
(1)拡大観察装置の構成
(a)測定ヘッド
以下、本発明の第1の実施の形態に係る拡大観察装置について、図を参照しながら説明する。図1は、本発明の第1の実施の形態に係る拡大観察装置の構成を示す模式図である。図1に示すように、拡大観察装置1は、測定ヘッド100および処理装置200を備える。測定ヘッド100は、例えば顕微鏡であり、スタンド部110、ステージ装置120、鏡筒部130、投光部140および制御基板150を含む。
スタンド部110は、縦断面がL字形状を有し、設置部111、保持部112および焦点駆動部113を含む。設置部111および保持部112は、例えば樹脂により形成される。設置部111は、水平な平板形状を有し、設置面に設置される。保持部112は、設置部111の一端部から上方に延びるように設けられる。
ステージ装置120は、ステージ121およびステージ駆動部122を含む。ステージ121は、設置部111の上面に設けられる。ステージ121上には、観察対象物Sが載置される。観察対象物Sが載置されるステージ121上の平面(以下、載置面と呼ぶ。)内で互いに直交する2方向をX方向およびY方向と定義し、それぞれ矢印X,Yで示す。ステージ121の載置面に対して直交する法線の方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
ステージ駆動部122は、ステッピングモータ等の図示しないアクチュエータを含む。ステージ駆動部122は、制御基板150により与えられる駆動パルスに基づいて、ステージ121をX方向、Y方向もしくはZ方向に移動させるか、またはθ方向に回転させる。また、使用者は、手動によりステージ121をX方向、Y方向もしくはZ方向に移動させるか、またはθ方向に回転させることも可能である。
鏡筒部130は、レンズユニット131および撮像部132を含み、ステージ121の上方に配置される。レンズユニット131は、観察対象物Sの種類に応じて他のレンズユニットと交換可能である。レンズユニット131は、対物レンズ131aおよび図示しない複数のレンズにより構成される。対物レンズ131aの光軸A1は、Z方向に平行である。撮像部132は、例えばCMOS(相補性金属酸化膜半導体)カメラを含む。撮像部132は、CCD(電荷結合素子)カメラ等の他のカメラを含んでもよい。
鏡筒部130は、スタンド部110の焦点駆動部113により保持部112に取り付けられる。焦点駆動部113は、ステッピングモータ等の図示しないアクチュエータを含む。焦点駆動部113は、制御基板150により与えられる駆動パルスに基づいて、レンズユニット131を対物レンズ131aの光軸A1の方向(Z方向)に移動させる。これにより、レンズユニット131を通過した光の焦点位置がZ方向に変化する。また、使用者は、手動によりレンズユニット131を対物レンズ131aの光軸A1の方向に移動させることも可能である。
投光部140は、対物レンズ131aの光軸A1を取り囲むようにレンズユニット131に一体的に取り付けられる。これにより、投光部140とレンズユニット131との位置関係を一意的に決定することができる。また、拡大観察装置1に投光部140を保持する部材を追加する必要がないので、拡大観察装置1をコンパクト化することができる。投光部140の光軸A2(後述する図3)は、対物レンズ131aの光軸A1と略同一である。
投光部140からステージ121上の観察対象物Sに複数の出射方向の光が照射される。観察対象物Sによりステージ121の上方に反射された光は、レンズユニット131により集光および結像された後、撮像部132により受光される。撮像部132は、各画素の受光量に対応する画素データに基づいて画像データを生成する。投光部140により複数の出射方向の光が観察対象物Sに照射されたときに撮像部132によりそれぞれ生成される複数の画像データの各々を原画像データと呼ぶ。撮像部132は、生成した複数の原画像データを制御装置400に与える。
制御基板150は、例えばスタンド部110の保持部112内に設けられ、焦点駆動部113、ステージ駆動部122および撮像部132に接続される。制御基板150は、処理装置200による制御に基づいて焦点駆動部113およびステージ駆動部122の動作を制御する。撮像部132には、制御装置400から制御信号が入力される。また、撮像部132により生成された複数の原画像データは、ケーブル203を介して順次処理装置200に与えられる。
(b)処理装置
処理装置200は、筐体210、光生成部300および制御装置400を含む。筐体210は、光生成部300および制御装置400を収容する。光生成部300は、ファイバユニット201により測定ヘッド100の投光部140に光学的に接続される。ファイバユニット201は、図示しない複数の光ファイバを含む。
光生成部300は、光源310および遮光部320を含む。光源310は、例えばLED(発光ダイオード)である。光源310は、ハロゲンランプ等の他の光源であってもよい。遮光部320は、光源310により出射される光を部分的に遮光可能に光源310とファイバユニット201との間に配置される。光源310により出射された光は、遮光部320を通過してファイバユニット201へ入射する。これにより、ファイバユニット201を通して測定ヘッド100の投光部140から光が出射される。
図2は、図1の制御装置400の構成を示すブロック図である。図2に示すように、制御装置400は、制御部410、記憶部420、表示部430、操作部440および通信部450を含む。制御部410は、例えばCPU(中央演算処理装置)を含む。記憶部420は、例えばROM(リードオンリメモリ)、RAM(ランダムアクセスメモリ)またはHDD(ハードディスクドライブ)を含む。本実施の形態においては、制御部410および記憶部420は、パーソナルコンピュータにより実現される。
制御部410は、駆動制御部500および演算処理部600を含む。記憶部420には、システムプログラムが記憶される。また、記憶部420は、種々のデータの処理および制御部410から与えられる種々のデータの保存のために用いられる。駆動制御部500および演算処理部600の機能は、制御部410が記憶部420に記憶されるシステムプログラムを実行することにより実現される。
駆動制御部500は、投光制御部510、撮像制御部520、焦点制御部530およびステージ制御部540を含む。投光制御部510は、ケーブル202を通して図1の光生成部300に接続され、光生成部300の動作を制御する。撮像制御部520、焦点制御部530およびステージ制御部540は、ケーブル203を通して図1の測定ヘッド100の制御基板150に接続される。
撮像制御部520、焦点制御部530およびステージ制御部540は、制御基板150を通して撮像部132、焦点駆動部113およびステージ駆動部122の動作をそれぞれ制御する。また、撮像制御部520は、撮像部132により生成された複数の原画像データを順次演算処理部600に与える。
演算処理部600は、取得した複数の原画像データの少なくとも1つに基づいて、使用者により指定された出射方向の光が観察対象物Sに照射されたと仮定した場合に得られるべき観察対象物Sの画像を示す表示用画像データを生成することができる。演算処理部600の詳細については後述する。演算処理部600により取得された複数の原画像データおよび生成された表示用画像データは、記憶部420に記憶される。
表示部430は、例えばLCD(液晶ディスプレイ)パネルにより構成される。表示部430は、有機EL(エレクトロルミネッセンス)パネル等の他の表示部により構成されてもよい。表示部430は、記憶部420に記憶された画像データまたは演算処理部600により生成された画像データに基づく画像等を表示する。操作部440は、マウス、タッチパネル、トラックボールまたはジョイスティック等のポインティングデバイスおよびキーボードを含み、制御装置400に指示等を与えるために使用者により操作される。また、操作部440はポインティングデバイスおよびキーボードに加えてジョグシャトルを含んでもよいし、鏡筒部130およびステージ121を上下方向に移動させるための回転中心が水平方向を向くダイヤル状の操作手段を含んでもよい。
通信部450は、制御装置400をネットワークに接続するためのインターフェースを含む。図1の例では、表示機能を有する外部装置2がネットワークに接続されている。制御装置400は、通信部450を介して表示機能を有する外部装置2に画像データを送信することが可能である。外部装置2の使用者は、通信部450を介して汎用的な画像ファイル形式で記憶された画像データを制御装置400から取得し、当該画像データに基づく画像を外部装置2に表示させることができる。
(c)投光部
図3(a),(b)は、それぞれ投光部140の構成を示す斜視図および平面図である。図3(a)に示すように、投光部140は、保持部材141および複数の光ファイバ142を含む。保持部材141は、例えば樹脂により形成され、円筒形状を有する。平面視における保持部材141の外径は、図1のステージ121の寸法よりも小さい。保持部材141は、図1の対物レンズ131aの光軸A1を取り囲むように配置される。
保持部材141には、上面から下面に貫通する複数の貫通孔141aが形成される。複数の貫通孔141aは、略等間隔で配置され、対物レンズ131aの光軸A1を中心に回転対称に位置する。複数の光ファイバ142は、複数の貫通孔141a内にそれぞれ挿通される。これにより、複数の光ファイバ142は保持部材141により一体的に保持される。各光ファイバ142における光の入射部および出射部は、保持部材141の上面および下面にそれぞれ位置する。これにより、保持部材141の下面に光出射部140oが形成される。
複数の光ファイバ142は、対物レンズ131aの光軸A1を中心とする1つの円周上に配置される。そのため、対物レンズ131aの光軸A1から複数の光ファイバ142における出射部までの距離は略等しい。各光ファイバ142における出射部とステージ121の中心とを結ぶ線が対物レンズ131aの光軸A1に対して成す角度は鋭角である。本実施の形態においては、保持部材141が複数の光ファイバ142を一体的に保持することにより、上記の複数の光ファイバ142の位置関係が容易に維持される。
図3(b)に示すように、投光部140の円環状の光出射部140oは、複数(本例では4つ)の領域140A,140B,140C,140Dに略等分される。複数の領域140A〜140Dは、対物レンズ131aの光軸A1を中心に回転対称に配置される。複数の領域140A〜140Dは、略同数の光ファイバ142の出射部を含む。
複数の光ファイバ142の入射部は、図1のファイバユニット201により処理装置200の光生成部300に光学的に接続される。これにより、光生成部300から出射された光が、保持部材141の上面から複数の光ファイバ142の入射部に入射し、複数の光ファイバ142の出射部を通して保持部材141の下面の光出射部140oから出射される。すなわち、各領域140A〜140Dに含まれる光ファイバ142が光出射部140oから光を出射することにより、各領域140A〜140Dから光が出射される。
図1の遮光部320は、投光部140の領域140A〜140Dにそれぞれ対応する複数の開口パターンを有するマスクを含む。図1の光源310により出射された光は、遮光部320のいずれかの開口パターンを通過してファイバユニット201へ入射する。図2の投光制御部510は、光を通過させる遮光部320の開口パターンを切り替えることにより、投光部140における光を出射する領域140A〜140Dを切り替える。これにより、投光部140は、領域140A〜140Dの全体から光を出射可能であるとともに、領域140A〜140Dのいずれかから選択的に光を出射可能である。
このように、投光部140は出射方向が互いに異なる光を観察対象物Sに照射することができる。領域140A〜140Dの全体から同時に出射される光をリング照明と呼び、領域140A〜140Dのいずれか1つの領域から出射される光を方向性照明と呼ぶ。本実施の形態においては、投光部140は、リング照明および4つの方向性照明のいずれかを選択的に出射可能である。したがって、図1の撮像部132は、リング照明および4つの方向性照明がそれぞれ観察対象物Sに照射されたときの観察対象物Sを示す5つの原画像データを生成可能である。
4つの方向性照明は、対物レンズ131aの光軸A1を中心にθ方向に約90°異なる4つの位置(領域140A〜140D)からそれぞれ出射される光であり、対物レンズ131aの光軸A1を中心に回転対称となる。したがって、各方向性照明は、対物レンズ131aの光軸A1に対して偏りを有する。4つの方向性照明は、対物レンズ131aの光軸A1に対して傾斜しかつ互いに異なる方向に出射される。4つの方向性照明の光量は互いに略等しい。対物レンズ131aの光軸A1に対する4つの方向性照明の照射の角度は、θ方向により均一ではない。
一方、リング照明は、対物レンズ131aの光軸A1に対して偏らない光であり、その中心は対物レンズ131aの光軸A1に略一致する。したがって、リング照明は、実質的に対物レンズ131aの光軸A1の方向に出射される。リング照明は、対物レンズ131aの光軸A1を中心に略均一な光量分布を有し、リング照明の光量は4つの方向性照明の光量の総和に略等しい。すなわち、リング照明の光量は各方向性照明の光量の約4倍である。対物レンズ131aの光軸A1に対するリング照明の照射の角度は、θ方向により均一である。
このように、本実施の形態においては、複数の領域140A〜140Dが対物レンズ131aの光軸A1を中心に回転対称に配置される。これにより、複数の原画像データに基づいて演算により表示用画像データを生成する場合には、その演算を単純化することができる。
本実施の形態においては、投光部140の各領域140A〜140Dに光出射部材として光ファイバ142が設けられるが、本発明はこれに限定されない。投光部140の各領域140A〜140Dに光出射部材としてLED等の光源が設けられてもよい。この場合、処理装置200に光生成部300が設けられない。この構成においては、各領域140A〜140Dに設けられた1または複数の光源が光を出射することにより、各領域140A〜140Dから光が出射される。
このように、鏡筒部130の対物レンズ131aの光軸A1の周囲に投光部140が投光ユニットとして設けられる。複数の照明の出射部をユニットとして一体的に取り扱うことができるので、出射部ごとに光源を個別に設置する必要がない。これにより、投光部140の設置性および取り付け性が向上する。
図4(a)〜(c)は、投光部140の配置例を示す模式図である。本実施の形態においては、図4(a)に示すように、投光部140はレンズユニット131に取り付けられる。本発明はこれに限定されず、図4(b)に示すように、投光部140はステージ121上に配置されてもよい。あるいは、図4(c)に示すように、投光部140は、ステージ121とレンズユニット131との間に配置され、保持部114によりスタンド部110に保持されてもよい。
さらに、本実施の形態においては、投光部140に4つの光を出射する領域140A〜140Dが設けられるが、本発明はこれに限定されない。投光部140に3つ以下または5つ以上の光を出射する領域が設けられてもよい。
また、本実施の形態においては、複数の光出射部材(光ファイバ142)が対物レンズ131aの光軸A1を中心とする1つの円周上に配置されるが、本発明はこれに限定されない。複数の光出射部材は、対物レンズ131aの光軸A1を中心とする2つ以上の同心円上に配置されてもよい。さらに、本実施の形態においては、各領域140A〜140Dに複数の光出射部材が配置されるが、本発明はこれに限定されない。各領域140A〜140Dに1つの光出射部材が配置されてもよい。
図5(a)〜(d)は、投光部140の変形例を示す模式図である。図5(a)の例においては、隣り合う領域140A〜140Dが互いに接触せずに離間した状態で投光部140がレンズユニット131に取り付けられる。図5(b)の例は、複数の領域140A〜140Dがねじ等の固定部材143によりそれぞれレンズユニット131に取り付けられる点を除き、図5(a)の例と同様である。図5(c)の例は、投光部140がレンズユニット131とは異なる部材に取り付けられる点を除き、図5(a)の例と同様である。この場合、レンズユニット131と各領域140A〜140Dとの間がわずかに離間する。
図5(d)の例においては、複数(本例では8個)の円形の領域140A〜140Hが略角度間隔でレンズユニット131を取り囲むように配置される。各領域140A〜140Hには、1または複数の光ファイバ142が設けられる。各領域140A〜140Hには、1または複数の光出射部材が設けられる。各領域140A〜140Hは、図示しない部分で互いに固定される。このように、投光部140は、複数の光出射領域の位置関係が変化しないようにユニットとして構成される。
このように、図5(a)〜(d)の例では、投光部140を構成する領域が一体的に投光ユニットを構成する。そのため、それぞれの光源を個別に設置することにより配置設計の手間が増加するという問題を克服することができる。また、光源が適切に配置されないことにより所望の画像が得られないという問題を克服することができる。
投光部140は、投光ユニットとして複数の光源の距離関係が変化しないように構成され得る。また、投光部140を投光ユニットとして構成することにより、光源の全点灯、一部点灯またはパターン点灯等の切り替えの制御性を向上させることができる。また、対物レンズ131aの光軸A1と投光部140の光軸A2とは略一致している。
(d)鏡筒部
図6(a),(b)は、それぞれ測定ヘッド100の外観斜視図および鏡筒部130の構成を示す模式図である。図6(a)に示すように、測定ヘッド100は鏡筒部130をステージ121に対して傾斜させるための傾斜機構101を含む。傾斜機構101は、Y方向に直交する平面内で保持部112の下部に対して保持部112の上部を支持する。これにより、傾斜機構101は、傾斜中心130cの周りで鏡筒部130をステージ121に対して傾斜させることができる。図6(b)においては、傾斜後の鏡筒部130が一点鎖線で示される。
ステージ121は、図2のステージ制御部540による制御に基づいて、観察対象物Sの表面が鏡筒部130の傾斜中心130cと略同一の高さに位置するようにZ方向に移動する。そのため、鏡筒部130を傾斜させた場合でも、撮像部132の視野が移動しないユーセントリック関係が維持され、観察対象物Sの所望の観察領域が撮像部132の視野から外れることを防止することができる。
図6(b)に示すように、鏡筒部130は、レンズユニット131、撮像部132および傾斜センサ133を含む。撮像部132は、図2の撮像制御部520による制御に基づいてステージ121の載置面に載置された観察対象物Sからの光をレンズユニット131を介して受光し、原画像データを生成する。
撮像制御部520は、撮像部132の受光時間、ゲインおよびタイミング等を制御する。例えば、撮像制御部520は、リング照明の照射時における受光時間に基づいて各方向性照明の照射時における受光時間を調整する。本例では、上述したように、リング照明の光量は各方向性照明の光量の約4倍であるので、撮像制御部520は各方向性照明の照射時における受光時間がリング照明の照射時における受光時間の4倍になるように調整する。
この制御によれば、撮像部132は、各方向性照明の照射時における受光時間を独立して調整する場合に比べて高速に原画像データを生成することができる。また、リング照明の照射時における画像と各方向性照明の照射時における画像との明るさを容易に略等しくすることができる。なお、本例では、複数の方向性照明の照射時における撮像部132の制御内容は互いに同一である。
また、撮像部132は、撮像制御部520により受光時間が複数変化された状態で複数の原画像データを生成することができる。図2の演算処理部600は、撮像部132の受光時間が複数変化された状態で生成された複数の原画像データを選択的に合成することにより、ダイナミックレンジが調整された画像データを生成することができる(DR(ダイナミックレンジ)調整処理)。
Z方向に対する対物レンズ131aの光軸A1の傾斜角度(以下、鏡筒部130の傾斜角度と呼ぶ。)は、傾斜センサ133により検出され、傾斜角度に対応する角度信号が図1の制御基板150に出力される。制御基板150は、傾斜センサ133により出力された角度信号を図2のケーブル203および撮像制御部520を介して演算処理部600に与える。演算処理部600は、角度信号に基づいて、鏡筒部130の傾斜角度を算出する。演算処理部600により算出された傾斜角度は、図1の表示部430に表示させることができる。
上記の構成によれば、ステージ121の載置面に載置された観察対象物Sの平面観察および傾斜観察を選択的に行うことができる。平面観察時には、対物レンズ131aの光軸A1はZ方向に平行になる。すなわち、鏡筒部130の傾斜角度が0°になる。一方、傾斜観察時には、対物レンズ131aの光軸A1はZ方向に対して傾斜する。また、使用者は、鏡筒部130を図1のスタンド部110から取り外し、手持ちまたは他の固定部材により固定した状態で観察対象物Sの観察を行うことができる。以下の説明においては、観察対象物Sの平面観察が行われる。
(e)焦点駆動部
図2の焦点制御部530は、レンズユニット131を通過した観察対象物Sからの光の焦点位置が観察対象物Sに対して相対的にZ方向に変化するように図1の焦点駆動部113を制御する。これにより、図1の撮像部132は、Z方向に位置が異なる観察対象物Sを示す複数の原画像データを生成することができる。
この処理において、使用者は、焦点駆動部113がZ方向に移動する範囲を指定することができる。移動範囲が指定された場合、焦点制御部530は、指定された移動範囲で光の焦点位置がZ方向に変化するように焦点駆動部113を制御する。これにより、撮像部132は、Z方向に位置が異なる観察対象物Sを示す複数の原画像データを短時間で生成することができる。
また、演算処理部600は、生成されたZ方向に位置が異なる観察対象物Sを示す複数の原画像データの各々について、画素ごとの合焦度を判定することができる。焦点制御部530は、演算処理部600による合焦度の判定結果に基づいて、撮像部132の焦点が観察対象物Sの特定の部分に合うように焦点駆動部113を調整することができる(オートフォーカス処理)。さらに、演算処理部600は、合焦度の判定結果に基づいて複数の原画像データを画素ごとに選択的に合成することにより、観察対象物Sの全部分に合焦した画像データを生成することができる(深度合成処理)。
図7は、焦点駆動部113の構成例を示す図である。本実施の形態においては、投光部140はレンズユニット131に取り付けられる。図7に点線で示すように、レンズユニット131が投光部140と一体的に焦点駆動部113によりZ方向に移動される。また、図7に一点鎖線で示すように、ステージ121が図1のステージ駆動部122によりZ方向に移動される。このように、レンズユニット131および投光部140とステージ121とが相対的にZ方向に移動可能である。
観察対象物Sとレンズユニット131と投光部140とのZ方向の位置関係が変化すると、観察対象物Sへ照明を照射する光源の仰角(後述する図10参照)が変化する。図7の例においては、投光部140は鏡筒部130に一体的に設けられるが、本発明はこれに限定されない。投光部140は、ユニットとして鏡筒部130に着脱可能に取り付けられてもよい。この場合、θ方向における投光部140とレンズユニット131との角度関係を一定に維持するための位置決め機構がレンズユニット131または投光部140に設けられることが好ましい。
図8(a),(b)は位置決め機構の一例を示す模式図である。図8(a)は、投光部140がレンズユニット131から取り外された状態の測定ヘッド100の側面図を示す。図8(a)の例においては、レンズユニット131の下部の外周面に溝部131bが形成される。
図8(b)は、投光部140の平面図を示す。図8(b)の例においては、保持部材141の内周面には、内方に突出する突起部141bが形成される。保持部材141は、突起部141bが溝部131bに嵌合する状態でレンズユニット131に取り付けられる。これにより、θ方向における投光部140とレンズユニット131との角度関係が一定に維持される。そのため、高い再現性で観察対象物Sを撮像することができる。
図8の例では溝部131bおよび突起部141bにより位置決め機構が形成されるが、本発明はこれに限定されない。例えば保持部材141がねじによりレンズユニット131に取り付けられる場合において、ねじおよびねじ孔が位置決め機構を形成してもよい。あるいは、切り欠きまたは目印等の他の構造が位置決め機構を形成してもよい。
また、図8には図示されていないが、図1に示すように、レンズユニット131と撮像部132との間もθ方向に自由度を持たせて取り付け可能である。レンズユニット131と撮像部132とのいずれかのθ方向の位置を基準として投光部140等が位置決めされ、取り付けられてもよい。
(f)演算処理部
図9は、図2の演算処理部600の構成を示すブロック図である。図9に示すように、演算処理部600は、データ生成部610、合焦判定部620、算出部630および条件設定部640を含む。
データ生成部610は、図1の撮像部132により生成される複数の原画像データの少なくとも1つに基づいて表示用画像データを生成する。また、データ生成部610は、使用者の指示に従って画像データにDR調整処理または深度合成処理を行う。
合焦判定部620は、図2の焦点制御部530がオートフォーカス処理を行う際に、焦点駆動部113のZ方向の移動により生成された複数の原画像データの各々について画素ごとの合焦度を判定する。また、合焦判定部620は、データ生成部610が深度合成処理を行う際に、複数の原画像データについて画素ごとの合焦度を判定する。
算出部630は、図6(b)の傾斜センサ133により出力される角度信号に基づいて、図6(b)の鏡筒部130の傾斜角度を算出する。また、算出部630は、使用者の指示に従って、算出した鏡筒部130の傾斜角度を図2の表示部430に表示させる。
条件設定部640は、撮像条件設定部641および照明条件設定部642を含む。撮像条件設定部641は、使用者の指示に従って撮像条件を設定する。また、条件設定部640は、設定した撮像条件を示す撮像情報を図1の記憶部420に記憶させる。撮像条件は、例えば図1の撮像部132の受光時間、DR調整処理の実行の有無、深度合成処理の実行の有無およびZ方向における光の焦点位置の範囲等を含む。図2の駆動制御部500は、撮像条件設定部641により設定された撮像条件に基づいて図1の測定ヘッド100および光生成部300の動作を制御する。
照明条件設定部642は、使用者の指示に従って照明条件を設定する。また、照明条件設定部642は、設定した照明条件に対応する照明情報を記憶部420に記憶させる。照明条件は、観察対象物Sに対する光の仮想的な出射方向を含む。データ生成部610は、照明条件設定部642により設定された照明条件に基づいて表示用画像データを生成し、記憶部420に記憶させる。使用者による照明条件の指示方法については後述する。
(2)拡大観察装置の基本動作
(a)基本動作の内容
ステージ121の載置面において、対物レンズ131aの光軸A1が交差する位置を基準点と呼ぶ。観察対象物Sは観察対象部分が基準点上に位置するようにステージ121に載置される。この状態で、観察対象物Sの少なくとも一部に対物レンズ131aの焦点が合うようにレンズユニット131(図1)のZ方向の位置が調整される。また、観察対象物Sの所望の部分を観察することができるように、ステージ121がX方向およびY方向に調整される。さらに、撮像部132の受光時間およびホワイトバランス等の撮像条件が調整される。
以下の説明では、上記の4つの方向性照明を区別するために、投光部140の領域140A,140B,140C,140Dの各々から出射される光をそれぞれ第1の方向性照明、第2の方向性照明、第3の方向性照明および第4の方向性照明と呼ぶ。また、以下の説明では、リング照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向をリング出射方向と呼ぶ。リング出射方向は、ステージ121の載置面に対して垂直な方向である。また、第1の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第1の出射方向と呼び、第2の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第2の出射方向と呼ぶ。さらに、第3の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第3の出射方向と呼び、第4の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第4の出射方向と呼ぶ。
ここで、基準点上に載置される観察対象物Sに光を照射する際の光の出射方向または出射位置が特定可能となるように、ステージ121の載置面上に基準点を原点とする極座標系を定義する。図10は、ステージ121の載置面上に定義される極座標系を示す図である。図10に示すように、ステージ121の載置面上の基準点が原点Oとして定義される。図10に太い実線で示すように、ステージ121の載置面を上方から見た状態で原点Oを中心として反時計回りの方向に方位角が定義される。本例では、原点Oから拡大観察装置1の一側方に向く方向が方位角の基準角度(0°)として定義される。
また、載置面上または載置面よりも上方の任意の位置に点Qを仮定する。この場合、図10に太い一点鎖線で示すように、点Qと原点Oとを結ぶ直線と、載置面との間の角度が点Qの仰角として定義される。点Qが載置面上にある場合、点Qの仰角は0°である。点Qが載置面の上方でかつ光軸A1上にある場合、点Qの仰角は90°である。図10では、ステージ121の載置面上の方位角が90°ごとに示される。以下の説明では、ステージ121の載置面よりも上方の任意の位置、または観察対象物Sに照射される光の向き等を説明する際に、上記のように定義された「仰角」および「方位角」を適宜用いる。
本例では、投光部140の領域140A,140B,140C,140Dの中央部分が、光軸A1を中心としてそれぞれ45°、135°、225°および315°の方位角で配置される。なお、投光部140の配置は、上記の例に限定されない。例えば、領域140A,140B,140C,140Dの中央部分が、光軸A1を中心としてそれぞれ0°、90°、180°および270°の方位角で配置されてもよい。リング照明および第1〜第4の方向性照明を用いて観察対象物Sを順次撮像することを複数照明撮像と呼ぶ。
拡大観察装置1の各構成要素は、複数照明撮像の指示に応答して以下の基本動作を行う。図11は、複数照明撮像が指示されたときの拡大観察装置1の基本動作を説明するための模式図である。図11(a)〜(e)に、観察対象物Sに照射される照明の変化が時系列で示される。図11(a)〜(e)では、光を出射する投光部140の領域が太い実線で示されるとともに、リング出射方向および第1〜第4の出射方向がそれぞれ太い実線の矢印で示される。図11(f)〜(j)に、図11(a)〜(e)の各照明が観察対象物Sに照射されたときの観察対象物Sの画像SIが示される。以下の説明では、観察対象物Sが表示された画像のうち観察対象物Sの表示部分を対象部分画像spと呼ぶ。
図11(a)に示すように、まず観察対象物Sにリング照明が照射され、観察対象物Sが撮像される。この場合、対物レンズ131aの光軸A1を取り囲む全ての領域140A〜140Dから観察対象物Sの各部分に第1〜第4の方向性照明が同時かつ均一に照射される。それにより、図11(f)に示すように、リング照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spに観察対象物Sの形状による影がほとんど発生しない。したがって、観察対象物Sのうち上方を向く部分の表面状態をほぼ全体に渡って観察することができる。
次に、図11(b)に示すように、観察対象物Sに第1の方向性照明のみが照射され、観察対象物Sが撮像される。図11(g)に示すように、第1の方向性照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spの一部に第1の出射方向および観察対象物Sの形状に応じて45°の方位角の位置から225°の方位角の位置に向かう影SHが発生する。それにより、観察対象物Sにおける凹凸部分が第1の出射方向に強く強調される。
次に、図11(c)に示すように、観察対象物Sに第2の方向性照明のみが照射され、観察対象物Sが撮像される。図11(h)に示すように、第2の方向性照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spの一部に第2の出射方向および観察対象物Sの凹凸に応じて135°の方位角の位置から315°の方位角の位置に向かう影SHが発生する。それにより、観察対象物Sにおける凹凸部分が第2の出射方向に強く強調される。
次に、図11(d)に示すように、観察対象物Sに第3の方向性照明のみが照射され、観察対象物Sが撮像される。図11(i)に示すように、第3の方向性照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spの一部に第3の出射方向および観察対象物Sの凹凸に応じて225°の方位角の位置から45°の方位角の位置に向かう影SHが発生する。それにより、観察対象物Sにおける凹凸部分が第3の出射方向に強く強調される。
次に、図11(e)に示すように、観察対象物Sに第4の方向性照明のみが照射され、観察対象物Sが撮像される。図11(j)に示すように、第4の方向性照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spの一部に第4の出射方向および観察対象物Sの凹凸に応じて315°の方位角の位置から135°の方位角の位置に向かう影SHが発生する。それにより、観察対象物Sにおける凹凸部分が第4の出射方向に強く強調される。
上記の一連の動作は、後述するように図1の制御部410が記憶部420に記憶されたシステムプログラムを実行することにより自動的に行われるが、使用者の操作に基づいて手動で行われてもよい。
複数照明撮像が完了すると、図1の表示部430に観察画面が表示される。図12は、観察画面の一表示例を示す図である。図12に示すように、観察画面430Aの上部に機能表示領域431が設定される。機能表示領域431には、深度合成ボタンb1、DR調整ボタンb2および保存ボタンb7が表示される。
使用者は、図1の操作部440を用いて機能表示領域431に表示される各ボタンを操作することができる。深度合成ボタンb1、DR調整ボタンb2および保存ボタンb7がそれぞれ操作されることにより実行される処理の内容については後述する。
図12に示すように、機能表示領域431の下方に主表示領域432および副表示領域433が左右に並ぶように設定される。主表示領域432は、機能表示領域431および副表示領域433に比べて大きい面積を有する。初期状態では、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像SIのうちの1つが主表示領域432のほぼ全体に渡って表示される。本例では、第1の方向性照明が照射されたときの観察対象物Sの画像SI(図11(b),(g)参照)が主表示領域432に表示される。
副表示領域433には、出射方向指定欄433aおよび出射方向表示欄433bが表示される。出射方向指定欄433aには、載置面上の観察対象物Sの位置を示す対象物位置画像ss0が表示される。また、投光部140よりも上方の位置から観察対象物Sを見たときの観察対象物Sに対する光の出射位置を示す光アイコンss1が対象物位置画像ss0上に重畳表示される。
この場合、対象物位置画像ss0上の観察対象物Sの対象部分画像spと光アイコンss1との相対的な位置関係は、主表示領域432に表示される画像SIを得るために観察対象物Sに照射されるべき光の出射方向(以下、光の仮想的な出射方向と呼ぶ。)に対応する。
使用者は、図1の操作部440を用いて図12の光アイコンss1を対象物位置画像ss0上の観察対象物Sの対象部分画像spに対して相対的に移動させることにより、光の仮想的な出射位置を把握しつつ光の仮想的な出射方向を容易に指定することができる。
使用者により光の仮想的な出射方向が指定されることにより、主表示領域432に表示される観察対象物Sの画像SIは、指定された出射方向の光が観察対象物Sに照射されたと仮定した場合に得られるべき観察対象物Sの画像SIに更新される。画像SIの更新処理は、図9のデータ生成部610により実行される。
出射方向表示欄433bには、載置面上の基準点を示す画像が基準点画像ss2として表示されるとともに、ステージ121上で基準点を覆う仮想的な半球の画像が半球画像ss3として立体的に表示される。半球画像ss3上には、光アイコンss1により指定される光の仮想的な出射方向に対応する光の出射位置を示す画像が出射位置画像ss4として表示される。
さらに、半球画像ss3上の出射位置画像ss4と基準点画像ss2とを結ぶように直線が表示される。この場合、直線上で出射位置画像ss4から基準点画像ss2に向かう方向が、光アイコンss1により指定される光の出射方向を示す。使用者は、出射方向表示欄433bに表示される基準点画像ss2、半球画像ss3および出射位置画像ss4を視認することにより、光アイコンss1により指定される光の仮想的な出射方向を容易かつ正確に認識することができる。
拡大観察装置1は、リング照明および第1〜第4の方向性照明のうちの一部のみを複数照明撮像に用いる照明として選択可能に構成されてもよい。リング照明および第1〜第4の方向性照明のうちの一部のみを用いて複数照明撮像が行われると、光アイコンss1により指定可能な出射方向の範囲が制限される場合がある。
この場合、半球画像ss3においては、出射方向指定欄433aの光アイコンss1により指定可能な出射方向の範囲が指定不可能な出射方向の範囲から識別可能に表示されてもよい。例えば、指定可能な出射方向の範囲が特定の方位角の範囲に制限される場合、指定可能な方位角の範囲に対応する部分と指定不可能な方位角の範囲に対応する部分とで色等の表示態様を異ならせてもよい。それにより、使用者は、光アイコンss1により指定可能な出射方向の範囲を容易に認識することができる。あるいは、半球画像ss3は、上記の例に代えて、光アイコンss1により指定可能な出射方向の範囲のみを表示してもよい。
本例では、出射方向表示欄433bに、基準点を覆う仮想的な半球が半球画像ss3として立体的に表示されるが、本発明はこれに限定されない。出射方向表示欄433bには、基準点を覆う仮想的な半球を上方から見た平面半球画像と仮想的な半球を一側方から見た側面半球画像とが表示されてもよい。この場合、平面半球画像上に基準点画像ss2と出射位置画像ss4とが表示されてもよい。また側面半球画像上に基準点画像ss2と出射位置画像ss4とが表示されてもよい。
図13は、光の仮想的な出射方向の指定に応答して観察対象物Sの画像SIが更新されるときの処理内容を説明するための模式図である。
拡大観察装置1においては、図12の副表示領域433に表示される対象物位置画像ss0について予め定められた平面座標系が定義されている。さらに、図13(a)に示すように、図12の対象物位置画像ss0上には、上記のリング照明ならびに第1、第2、第3および第4の出射方向にそれぞれ対応する光の出射位置を示す点PA,PB,PC,PD,PEが予め設定されている。
点PA〜PEの位置は、例えば投光部140とステージ121との相対的な位置関係に基づいて設定される。本例では、点PAは、対象物位置画像ss0の中心に位置し、点PB,PC,PD,PEは、点PAを中心とする同心円上に等角度間隔で並ぶ。
制御部410は、予め定められた周期で光アイコンss1の対象物位置画像ss0上の位置(座標)を検出し、光アイコンss1の位置に対応する観察対象物Sの画像SIを図12の主表示領域432に表示させる。
例えば、制御部410は、光アイコンss1が図13(a)の点PA上に位置する場合にリング出射方向に対応する図11(f)の画像SIを図12の主表示領域432に表示させる。また、制御部410は、光アイコンss1が図13(a)の点PB上に位置する場合に第1の出射方向に対応する図11(g)の画像SIを図12の主表示領域432に表示させ、光アイコンss1が図13(a)の点PC上に位置する場合に第2の出射方向に対応する図11(h)の画像SIを図12の主表示領域432に表示させる。さらに、制御部410は、光アイコンss1が図13(a)の点PD上に位置する場合に第3の出射方向に対応する図11(i)の画像SIを図12の主表示領域432に表示させ、光アイコンss1が図13(a)の点PE上に位置する場合に第4の出射方向に対応する図11(j)の画像SIを図12の主表示領域432に表示させる。
光アイコンss1が点PA〜PEとは異なる位置にある場合、制御部410は、以下の手順に従って主表示領域432に表示させるべき観察対象物Sの画像SIを生成する。
図13(a)に示すように、制御部410は、光アイコンss1が点PA〜PEとは異なる位置にある場合、各点PA〜PEと光アイコンss1との間の距離を算出する。また、制御部410は、算出された距離の短い順に複数の点PA〜PEから予め定められた数の点(本例では3つの点)を抽出する。図13(a)の例では、光アイコンss1と点PBとの間の距離d1が最も短く、光アイコンss1と点PAとの間の距離d2が2番目に短く、光アイコンss1と点PCとの間の距離d3が3番目に短い。したがって、制御部410は点PA,PB,PCを抽出する。
続いて、制御部410は、距離d1,d2,d3に基づいて、点PAに対応する原画像データと、点PBに対応する原画像データと、点PCに対応する原画像データとの合成割合を決定する。
合成割合は、例えば距離d1,d2,d3の値の逆数の比である。この場合、合成割合は、光アイコンss1からの距離が短い点に対応する原画像データほど高くなり、光アイコンss1からの距離が遠い点に対応する原画像データほど低くなる。図13(b)の例では、点PAに対応する原画像データ、点PBに対応する原画像データおよび点PCに対応する原画像データの合成割合が、それぞれ30%、50%および20%として決定されている。
制御部410は、決定した合成割合に基づいて点PA,PB,PCにそれぞれ対応する3つの原画像データを合成する。具体的には、制御部410は、原画像データごとにその原画像データの全画素データの値(画素値)に合成割合を乗算し、乗算後の3つの原画像データを合成することにより表示用画像データを生成する。その後、制御部410は、生成された表示用画像データに基づく画像SIを図12の主表示領域432に表示させる。
図13(c)に、図13(a)の光アイコンss1の位置に対応して主表示領域432に表示される画像SIの一例が示される。図13(c)の画像SIにおいては、点PA,PB,PCにそれぞれ対応する3つの原画像データが合成されることにより、観察対象物Sにおける凹凸部分が図13(a)の光アイコンss1により指定される光の仮想的な出射方向に強く強調されている。
上記のように、主表示領域432に表示される画像SIの画像データは、複数照明撮像の完了後、生成された複数の原画像データと使用者により指定された光の仮想的な出射方向とに基づいて生成される。そのため、使用者により指定される光の仮想的な出射方向が連続的に変化する場合であっても、指定された出射方向に対応する複数の画像データが、制御部410の処理能力に応じた速度でほぼ連続的に生成される。また、生成された複数の画像データに基づく画像SIが連続的に表示される。したがって、照明の位置を変化させつつ継続して撮像を行った場合に得られる映像(動画)とほぼ同じ映像が主表示領域432上で擬似的に再現される。それにより、使用者は、光の仮想的な出射方向を指定しつつ主表示領域432上の画像SIを視認することにより、指定された出射方向の光が観察対象物Sにリアルタイムに照射されているように感じる。
上記の例では、制御部410は、リング照明および第1〜第4の方向性照明に対応する点PA〜PEのうち3つの点を抽出し、抽出された3つの点に対応する3つの原画像データの合成割合を決定するが、本発明はこれに限定されない。制御部410は、全ての点PA〜PEにそれぞれ対応する5つの原画像データについて合成割合を決定し、決定された合成割合に基づいて5つの原画像データを合成してもよい。
なお、図12の観察画面430A上には、図1の操作部440により複数照明撮像により得られる複数の原画像データについての合成割合を入力可能な合成割合入力欄が表示されてもよい。この場合、制御部410は、使用者により合成割合入力欄に入力された値に基づいて複数の原画像データのうちの一部または全てを合成してもよい。
図12の観察画面430Aにおいては、副表示領域433に表示される対象物位置画像ss0上に光アイコンss1が重畳表示される。本実施の形態においては、対象物位置画像ss0上の光アイコンss1に加えて、主表示領域432に表示される画像SI上にも光アイコンss1が重畳表示されてもよい。図14は、主表示領域432および副表示領域433にそれぞれ光アイコンss1が表示される例を示す図である。
この場合、観察対象物Sの画像SI上にも、上記の点PA〜PEが設定される。使用者は、例えば図1の操作部440を用いて観察対象物Sの画像SI上の光アイコンss1および対象物位置画像ss0上の光アイコンss1のうちいずれか一方を観察画面430A上で移動させることができる。
対象物位置画像ss0上の光アイコンss1が移動された場合、制御部410は、上記の図13を用いて説明した例と同様の手順で表示用画像データを生成し、生成された表示用画像データに基づく画像SIを主表示領域432に表示する。このとき、制御部410は、対象物位置画像ss0上の光アイコンss1の位置に対応する位置へ移動するように、画像SI上の光アイコンss1の位置を調整する。
観察対象物Sの画像SI上の光アイコンss1が移動された場合、制御部410は、画像SI上の光アイコンss1の位置と、画像SIに設定された点PA〜PEとの位置関係に基づいて表示用画像データを生成し、生成された表示用画像データに基づく画像SIを主表示領域432に表示する。このとき、制御部410は、画像SI上の光アイコンss1の位置に対応する位置へ移動するように、対象物位置画像ss0上の光アイコンss1の位置を調整する。
図14の例によれば、使用者は、2つの光アイコンss1のうち所望の光アイコンss1を用いて光の仮想的な出射方向を指定することができる。なお、図14の例においては、2つの光アイコンss1は必ずしも同時に表示されなくてもよい。例えば、観察画面430A上に表示される各種ボタンおよび光アイコンss1等がポインタにより操作される場合には、観察画面430A上のポインタの位置に応じて2つの光アイコンss1のうちの一方の光アイコンss1のみが観察画面430A上に表示されてもよい。具体的には、マウスポインタが主表示領域432上に位置する場合には、観察対象物Sの画像SI上の光アイコンss1のみが表示され、対象物位置画像ss0上の光アイコンss1が表示されなくてもよい。また、マウスポインタが副表示領域433上に位置する場合には、対象物位置画像ss0上の光アイコンss1のみが表示され、観察対象物Sの画像SI上の光アイコンss1が表示されなくてもよい。
なお、対象物位置画像ss0上の光アイコンss1は、マウスポインタの位置に関わらず表示されていてもよい。これにより、使用者は、光の仮想的な出射位置を容易に把握することができる。
表示部430に図12の観察画面430Aが表示された状態で、光アイコンss1により光の仮想的な出射方向が指定される場合の観察画面430Aの変化について具体例を説明する。
図15は、観察画面430Aの他の表示例を示す図である。図15では、以下の説明の理解を容易にするために、出射方向指定欄433aに表示される対象物位置画像ss0上に図13(a)の5つの点PA〜PEを示している。
図15の出射方向指定欄433aに点線で示すように、例えば点PB〜PEが並ぶ点PAの同心円上で点PBの位置から点PB,PEの間の位置にかけて光アイコンss1が移動される。この場合、制御部410は、上記の例と同様に点PA〜PEにそれぞれ対応する複数の原画像データのうちの一部の原画像データを合成することにより、表示用画像データを生成する。また、制御部410は、生成した表示用画像データに基づく観察対象物Sの画像SIを主表示領域432に表示させる。
図15の主表示領域432に表示される画像SIにおいては、観察対象物Sにおける凹凸部分が出射方向指定欄433aの光アイコンss1により指定される光の仮想的な出射方向に強く強調されている。
仮想的な光の出射方向は、方位角および仰角の成分を含む。本例では、点PB〜PEが並ぶ点PAの同心円上で光アイコンss1が移動される。使用者は、対象物位置画像ss0上で光アイコンss1を対象物位置画像ss0の中心に対して回転するように移動させることにより仮想的な光の出射方向の方位角を指定することができる。それにより、光の仮想的な出射方向の方位角が、光アイコンss1により指定された方位角に変更される。このように、使用者は、光アイコンss1を操作することにより、光の仮想的な出射方向の方位角を所望の方向に指定することができる。その結果、主表示領域432に表示される画像SIにおいて、観察対象物Sにおける凹凸部分の強調される方向をθ方向に容易に変更することができる。
図16は、観察画面430Aのさらに他の表示例を示す図である。図16においても、図15の例と同様に、出射方向指定欄433aに表示される対象物位置画像ss0上に、図13(a)の5つの点PA〜PEを示している。図16の出射方向指定欄433aに点線で示すように、光アイコンss1が図15の出射方向指定欄433aに示される位置から点PAに近づくように移動される。この場合、制御部410は、上記の例と同様に点PA〜PEにそれぞれ対応する複数の原画像データのうちの一部の原画像データを合成することにより、表示用画像データを生成する。また、制御部410は、生成した表示用画像データに基づく観察対象物Sの画像SIを主表示領域432に表示させる。
図16の主表示領域432に表示される画像SIにおいては、観察対象物Sにおける凹凸部分が、図15の主表示領域432に表示される画像SIに比べて弱く強調されている。
本例では、点PAを中心として点PB〜PEが並ぶ同心円上から点PAに向かって光アイコンss1が移動される。使用者は、対象物位置画像ss0上で光アイコンss1を対象物位置画像ss0の中心に対して近づけるまたは遠ざけることにより仮想的な光の出射方向の載置面からの仰角を指定することができる。それにより、光の仮想的な出射方向の載置面からの仰角が、光アイコンss1により指定された仰角に変更される。このように、使用者は、光アイコンss1を操作することにより、仮想的な光の出射方向の仰角を所望の角度に指定することができる。その結果、主表示領域432に表示される画像SIにおいて、観察対象物Sにおける凹凸部分の強調される度合いを容易に変更することができる。
上記の例では、表示部430の観察画面430A上に、表示用画像データに基づく画像SIを表示するための主表示領域432と、光アイコンss1を操作するための副表示領域433とが設定される。それにより、観察対象物Sの画像SIと光アイコンss1とが重ならない。したがって、観察対象物Sの画像SIおよび光アイコンss1が視認しやすい。
使用者は、観察対象物Sの画像SIについて光の仮想的な出射方向を所望の方向に指定した状態で、図1の操作部440を用いて図12の保存ボタンb7を操作する。この場合、主表示領域432に表示される画像SIの表示用画像データが、その表示用画像データに関する複数のデータとともに記憶部420に記憶される。複数のデータには、表示用画像データに関連する複数の原画像データ、撮像情報、照明情報およびレンズ情報等が含まれる。
上記の例では、複数照明撮像の完了後の初期状態で観察画面430Aの主表示領域432に、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像SIのうちの1つが表示されるが、本発明はこれに限定されない。拡大観察装置1においては、例えば複数照明撮像が開始される前に、予め初期状態で表示されるべき画像SIに対応する仮想的な光の出射方向が指定可能であってもよい。あるいは、予め初期状態で表示されるべき画像SIに対応する仮想的な光の出射方向は、拡大観察装置1の工場出荷時に予め製造業者により指定されていてもよい。また、使用者の操作を受け付けるまで、複数照明撮像の完了後の初期状態で観察画面430Aの主表示領域432に、画像SIに対応する仮想的な光の出射方向が徐々に変化するように、画像SIに対する出射方向が滑らかに変化する画像(動画)が表示されてもよい。
この場合、制御部410は、複数照明撮像が完了時に、予め指定された仮想的な光の出射方向と、複数照明撮像により生成された複数の原画像データとに基づいて指定された出射方向に対応する表示用画像データを生成する。また、制御部410は、生成された表示用画像データに基づく画像SIを主表示領域432に表示させる。
(b)複数照明撮像処理の一例
図2の記憶部420に記憶されるシステムプログラムは、複数照明撮像プログラムおよび表示用画像生成プログラムを含む。図2の制御部410は、複数照明撮像プログラムおよび表示用画像生成プログラムを実行することにより、複数照明撮像処理および表示用画像生成処理を行う。複数照明撮像処理および表示用画像生成処理により上記の一連の基本動作が実現される。これにより、使用者が熟練していない場合でも、原画像データを容易に生成することができる。
図17は、複数照明撮像処理の一例を示すフローチャートである。複数照明撮像処理は、使用者による複数照明撮像の指示に応答して開始される。複数照明撮像処理が開始されると、制御部410は、予め設定された撮像条件に従ってリング照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS101)。撮像により生成された原画像データは記憶部420に記憶される。
次に、制御部410はiを1に設定する(ステップS102)。ここで、iは複数の方向性照明の番号を示す。続いて、制御部410は、第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS103)。撮像により得られる原画像データは記憶部420に記憶される。
次に、制御部410は、iが4であるか否かを判定する(ステップS104)。iが4でない場合、制御部410は、iをi+1に更新し(ステップS105)、ステップS103の処理に戻る。
ステップS104において、iが4である場合、制御部410は、複数の原画像データにそれぞれ対応する複数のサムネイル画像データを生成する(ステップS106)。生成された複数のサムネイル画像データは記憶部420に記憶される。それにより、複数照明撮像処理が終了する。
上記の説明において、表示部430にサムネイル画像を表示する必要がない場合にステップS106の処理が省略されてもよい。それにより、処理時間が短縮される。
また、上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップS101の処理は、ステップS102〜S105の処理よりも後に実行されてもよい。
(c)表示用画像生成処理の一例
図18および図19は、表示用画像生成処理の一例を示すフローチャートである。本実施の形態においては、制御部410は、複数照明撮像処理の終了後に表示用画像生成処理を開始する。
制御部410は、まず複数照明撮像処理で生成された複数の原画像データのうち任意の原画像データに基づく観察対象物Sの画像SIを表示部430の主表示領域432に表示させる(ステップS201)。また、制御部410は、対象物位置画像ss0および光アイコンss1を表示部430の出射方向指定欄433aに表示させる(ステップS202)。さらに、制御部410は、基準点画像ss2、半球画像ss3および出射位置画像ss4を表示部430の出射方向表示欄433bに表示させる(ステップS203)。
その後、制御部410は、光アイコンss1が操作されたか否かを判定する(ステップS204)。光アイコンss1が操作されない場合、制御部410は、後述するステップS210の処理に進む。
光アイコンss1が操作されると、制御部410は、光アイコンss1の操作に応答して光アイコンss1および出射位置画像ss4の表示を更新する(ステップS205)。また、制御部410は、光アイコンss1の操作により光の仮想的な出射方向が指定されたと認識し(ステップS206)、指定された出射方向がリング出射方向または第1〜第4の出射方向のいずれかであるか否かを判定する(ステップS207)。ステップS207の判定処理は、対象物位置画像ss0上に設定される上記の点PA〜PEと光アイコンss1との位置関係に基づいて実行される。
指定された出射方向がリング出射方向または第1〜第4の出射方向のいずれかである場合、制御部410は、指定された出射方向に対応する原画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Sの画像SIを表示部430の主表示領域432に表示させる(ステップS208)。その後、制御部410は、後述するステップS210の処理に進む。
ステップS207において、指定された出射方向がリング出射方向または第1〜第4の出射方向のいずれでもない場合、制御部410は、指定された出射方向に基づいて複数の原画像データの合成割合を算出する(ステップS209)。ステップS209の算出処理は、ステップS207の処理と同様に、対象物位置画像ss0上に設定される上記の点PA〜PEと光アイコンss1との位置関係に基づいて実行される。
その後、制御部410は、ステップS209で算出された合成割合に基づいて複数の原画像データを合成することにより表示用画像データを生成し、その表示用画像データに基づく観察対象物Sの画像SIを表示部430の主表示領域432に表示させる(ステップS210)。
本実施の形態においては、使用者は、図1の操作部440を操作することにより、観察対象物Sの観察の終了を指示することができる。制御部410は、ステップS209の処理後、観察対象物Sの観察の終了が指示されたか否かを判定する(ステップS211)。観察対象物Sの観察の終了が指示されると、制御部410は、表示用画像生成処理を終了する。一方、観察対象物Sの観察の終了が指示されない場合、制御部410は、ステップS204の処理に戻る。
図18および図19の表示用画像生成処理においては、制御部410は、ステップS209の処理中または処理後に、指定された仮想的な光の出射方向の方位角および仰角のうち少なくとも一方を算出してもよい。この場合、制御部410は、算出された方位角および仰角のうち少なくとも一方を表示部430に表示させてもよい。それにより、使用者は、指定した光の仮想的な出射方向についての情報を容易に認識することができる。
上記の表示用画像生成処理においては、ステップS201の処理で複数照明撮像処理で生成された複数の原画像データのうち任意の原画像データに基づく観察対象物Sの画像SIが表示部430に表示されるが、本発明はこれに限定されない。ステップS201の処理において、制御部410は、任意の原画像データに代えて、予め定められた照明(例えばリング照明)に対応する原画像データに基づく画像SIを表示部430に表示させてもよい。または、制御部410は、ステップS201の処理を省略してもよい。
上記の例では、表示用画像生成処理は、複数照明撮像処理の終了後に実行されるが、本発明はこれに限定されない。複数照明撮像処理が連続的または間欠的に一定周期で実行される場合、表示用画像生成処理は複数照明撮像処理と並行して実行されてもよい。この場合、直前の複数照明撮像処理により記憶部420に記憶される最新の複数の原画像データに基づいて表示用画像生成処理を実行することができる。
本実施の形態に係る拡大観察装置1においては、使用者は、図1の操作部440を用いて記憶部420に記憶された複数の原画像データの一部を指定することができる。この場合、制御部410は、使用者による原画像データの指定に応答し、指定された原画像データを読み込み、読み込んだ原画像データに基づく表示用画像生成処理を行ってもよい。
(3)深度合成処理
(a)処理内容
使用者は、図1の操作部440を用いて図12の深度合成ボタンb1を操作することにより、図1の制御部410に深度合成処理の指示を与えることができる。
深度合成処理では、Z方向における光の焦点位置の範囲および焦点位置の移動ピッチが深度合成処理用の撮像条件として予め設定されることが好ましい。この場合、図1の焦点駆動部113は過度に大きい範囲で光の焦点位置を変化させる必要がないので、複数の原画像データを高速に生成することができる。撮像条件は、例えば使用者による操作部440の操作に基づいて設定される。なお、Z方向における光の焦点位置の範囲および焦点位置の移動ピッチは、撮像に用いられる対物レンズ131aの倍率等に応じて自動的に設定されてもよい。以下の説明では、深度合成処理用の撮像条件は予め設定されているものとする。
図20は、深度合成処理の概念図である。図20(a)に、レンズユニット131と投光部140とステージ121との位置関係が示される。本例では、ステージ121が静止した状態で、レンズユニット131が投光部140と一体的にZ方向に移動される。この場合、予め指定されたZ方向における光の焦点位置の範囲および焦点位置の移動ピッチに基づいて、レンズユニット131(対物レンズ131a)が移動すべきZ方向の位置H1〜Hj(jは自然数)が定まる。
深度合成処理では、レンズユニット131が位置H1〜Hjの各々に位置決めされた状態でリング照明および第1〜第4の方向性照明を用いて観察対象物Sが撮像される。それにより、リング照明および第1〜第4の方向性照明を用いて位置H1〜Hjにそれぞれ対応する複数(j個)の原画像データが生成される。図20(b)に、位置H1〜Hjにそれぞれ対応する観察対象物Sの複数の画像SIが照明ごとに示される。
リング照明を用いた撮像により得られた複数の原画像データの各々について、画素ごとの合焦度が判定される。合焦度の判定結果に基づいて、複数の原画像データが選択的に合成される。それにより、リング照明が照射された観察対象物Sの全部分に合焦した深度合成画像データが生成される。また、各方向性照明に対応する複数の原画像データと後述するマスクイメージデータとに基づいて各方向性照明に対応する深度合成画像データが生成される。深度合成画像データに基づく画像を深度合成画像と呼ぶ。図20(b)に、リング照明および第1〜第4の方向性照明にそれぞれ対応する観察対象物Sの複数の深度合成画像SFが示される。
制御部410は、複数の原画像データに代えて深度合成処理により生成された複数の深度合成画像データに基づいて表示用画像生成処理を実行する。それにより、使用者は、所望の方向から観察対象物Sに光が照射されたと仮定した場合に得られるべき観察対象物Sの深度合成画像SFを表示部430に容易に表示させることができる。
上記の深度合成処理において、照明ごとに位置H1〜Hjにそれぞれ対応する複数の原画像データが生成される。図12の観察画面430Aには、複数の原画像データの生成のみを指示するための操作ボタンが表示されてもよい。複数の原画像データの生成のみが指示された場合、制御部410は、複数の原画像データの生成のみを行った後、焦点のZ方向の位置について使用者による指定を受け付け、指定されたZ方向の位置に対応する複数の原画像データを用いて表示用画像生成処理を実行してもよい。
上記の深度合成処理においては、リング照明対応する深度合成画像データが生成される際にマスクイメージデータが生成され、生成されたマスクイメージデータを用いて第1〜第4の方向性照明にそれぞれ対応する複数の深度合成画像データが生成される。マスクイメージデータについて説明する。
鏡筒部130とステージ121とのZ方向の位置を変化させつつ観察対象物Sを撮像する処理において生成された複数の原画像データの各々には、Z方向における光の焦点位置H1〜Hjに対応する番号が付与される。図9のデータ生成部610は、リング照明に対応する深度合成画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成する。
図21は、マスクイメージデータを視覚的に示す模式図である。図21における小さい各正方形は、リング照明に対応する深度合成画像データの各画素データに相当する。また、各正方形に付与された番号は、当該正方形に対応する画素において、Z方向における光の焦点位置H1〜Hjのうち、どの位置で生成した画素データの画素値が最適であったか、つまり飽和せずに輝度値が最も高くなったのは光のどの焦点位置であるかというデータが抽出された原画像データの番号を示す。すなわち、図21の例においては、最も左上の画素データは光の焦点位置H12の原画像データから抽出され、最も右下の画素データは光の焦点位置H85の原画像データから抽出されたことを示す。
データ生成部610は、生成したマスクイメージデータに基づいて、第1〜第4の方向性照明の各々に対応する深度合成画像データを生成する。この場合、図9の合焦判定部620は、第1〜第4の方向性照明の各々に対応する深度合成画像データを生成する際に、原画像データについて画素ごとの合焦度を判定する必要がない。これにより、深度合成処理を高速化することができる。
上記の説明においては、リング照明および第1〜第4の方向性照明ごとに深度合成画像データが先に生成され、生成された複数の深度合成画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。使用者により指定された光の仮想的な出射方向に基づいて、Z方向の複数の位置H1〜Hjにそれぞれ対応する複数の表示用画像データが生成され、生成された複数の表示用画像データに基づいて表示用の深度合成画像データが生成されてもよい。この場合、マスクイメージデータは不要である。
なお、上記説明においては、リング照明が出射されたときの画像データに基づいてマスクイメージデータが生成されたが、本発明はこれに限定されない。リング照明が出射されたときの画像データおよび方向性照明が出射されたときの画像データの各々に基づいてマスクイメージデータが生成されてもよい。また、方向性照明が出射されたときのマスクイメージデータは、複数の方向性照明ごとに生成されてもよい。この構成は、リング照明と方向性照明とで光量が異なること等により最適なZ方向の位置が異なる場合に有用である。
(b)深度合成処理の一例
図2の記憶部420に記憶されるシステムプログラムは、深度合成プログラムを含む。図2の制御部410は、深度合成プログラムを実行することにより、深度合成処理を行う。
図22、図23および図24は、深度合成処理の一例を示すフローチャートである。制御部410は、レンズユニット131を下限位置に移動させる(ステップS301)。次に、制御部410は、投光部140によりリング照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS302)。また、制御部410は、生成された原画像データにレンズユニット131のZ方向の位置に対応する番号を付与する(ステップS303)。続いて、制御部410は、レンズユニット131が上限位置まで移動したか否かを判定する(ステップS304)。
ステップS304において、レンズユニット131が上限位置まで移動していない場合、制御部410は、レンズユニット131を所定量(予め設定された移動ピッチ)だけ上方に移動させる(ステップS305)。その後、制御部410は、ステップS302の処理に戻る。レンズユニット131が上限位置まで移動するまで、制御部410はステップS302〜S305の処理を繰り返す。
ステップS304において、レンズユニット131が上限位置まで移動した場合、制御部410は、リング照明に対応する各原画像データについて、画素ごとの合焦度を判定する(ステップS306)。次に、制御部410は、合焦度の判定結果に基づいて複数の原画像データの画素データを合成することにより、リング照明に対応する深度合成画像データを生成する(ステップS307)。また、制御部410は、合成された画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成し、記憶部420に記憶させる(ステップS308)。
その後、制御部410は、レンズユニット131を下限位置に移動させる(ステップS309)。次に、制御部410は、iを1に設定する(ステップS310)。ここで、iは複数の方向性照明の番号を示す。続いて、制御部410は、投光部140により第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS311)。また、制御部410は、生成された原画像データにレンズユニット131のZ方向の位置に対応する番号を付与する(ステップS312)。続いて、制御部410は、レンズユニット131が上限位置まで移動したか否かを判定する(ステップS313)。
ステップS313において、レンズユニット131が上限位置まで移動していない場合、制御部410は、レンズユニット131を所定量(予め設定された移動ピッチ)だけ上方に移動させる(ステップS314)。その後、制御部410は、ステップS311の処理に戻る。レンズユニット131が上限位置まで移動するまで、制御部410はステップS311〜S314の処理を繰り返す。
ステップS313において、レンズユニット131が上限位置まで移動した場合、制御部410は、記憶部420に記憶されたマスクイメージデータに基づいて複数の原画像データの画素データを合成することにより、第iの方向性照明に対応する深度合成画像データを生成する(ステップS315)。
次に、制御部410は、iが4であるか否かを判定する(ステップS316)。ステップS316において、iが4でない場合、制御部410はiをi+1に更新する(ステップS317)。その後、制御部410は、レンズユニット131を下限位置に移動させ(ステップS318)、ステップS311の処理に戻る。iが4になるまで、制御部410はステップS311〜S318の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが生成されるとともに、第1〜第4の方向性照明の各々に対応する深度合成画像データが生成される。ステップS316において、iが4である場合、制御部410は処理を終了する。
上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップS306〜S308の処理は、ステップS309〜S314と並列的に実行されてもよい。また、第iの方向性照明に対応するステップS315の処理は、第(i+1)の方向性照明に対応するステップS311〜S314と並列的に実行されてもよい。これらの場合、深度合成処理を高速化することができる。
あるいは、ステップS306〜S308の処理は、ステップS309〜S314の処理よりも後に実行されてもよい。また、第iの方向性照明に対応するステップS315の処理は、第(i+1)の方向性照明に対応するステップS311〜S314の処理よりも後に実行されてもよい。
(c)深度合成処理の他の例
図25、図26および図27は、深度合成処理の他の例を示すフローチャートである。制御部410は、レンズユニット131を下限位置に移動させる(ステップS321)。次に、制御部410は、投光部140によりリング照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS322)。また、制御部410は、生成された原画像データにレンズユニット131のZ方向の位置に対応する番号を付与する(ステップS323)。
続いて、制御部410は、iを1に設定する(ステップS324)。ここで、iは複数の方向性照明の番号を示す。その後、制御部410は、投光部140により第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS325)。また、制御部410は、生成された原画像データにレンズユニット131のZ方向の位置に対応する番号を付与する(ステップS326)。次に、制御部410は、iが4であるか否かを判定する(ステップS327)。
ステップS327において、iが4でない場合、制御部410はiをi+1に更新する(ステップS328)。その後、制御部410はステップS325の処理に戻る。iが4になるまで、制御部410はステップS325〜S328の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが生成される。ステップS327において、iが4である場合、制御部410は、レンズユニット131が上限位置まで移動したか否かを判定する(ステップS329)。
ステップS329において、レンズユニット131が上限位置まで移動していない場合、制御部410は、レンズユニット131を所定量だけ上方に移動させる(ステップS330)。その後、制御部410は、ステップS322の処理に戻る。レンズユニット131が上限位置まで移動するまで、制御部410はステップS322〜S330の処理を繰り返す。
ステップS329において、レンズユニット131が上限位置まで移動した場合、制御部410は、リング照明に対応する各原画像データについて、画素ごとの合焦度を判定する(ステップS331)。次に、制御部410は、合焦度の判定結果に基づいて複数の原画像データの画素データを合成することにより、リング照明に対応する深度合成画像データを生成する(ステップS332)。また、制御部410は、合成された画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成し、記憶部420に記憶させる(ステップS333)。
続いて、制御部410は、再度iを1に設定する(ステップS334)。その後、制御部410は、記憶部420に記憶されたマスクイメージデータに基づいて複数の原画像データの画素データを合成することにより、第iの方向性照明に対応する深度合成画像データを生成する(ステップS335)。
次に、制御部410は、iが4であるか否かを判定する(ステップS336)。ステップS316において、iが4でない場合、制御部410はiをi+1に更新する(ステップS337)。その後、制御部410はステップS335の処理に戻る。iが4になるまで、制御部410はステップS335〜S337の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する深度合成画像データが生成される。ステップS336において、iが4である場合、制御部410は処理を終了する。
上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップS331〜S337の処理の一部は、ステップS321〜S330と並列的に実行されてもよい。この場合、深度合成処理を高速化することができる。また、ステップS322,S323の処理は、ステップS324〜S328の処理よりも後に実行されてもよい。
上記の深度合成処理の一例および他の例においては、レンズユニット131が初期位置として下限位置に移動された後、上限位置まで所定量ずつ上方に移動されるが、本発明はこれに限定されない。深度合成処理においては、レンズユニット131が初期位置として上限位置に移動された後、下限位置まで所定量ずつ下方に移動されてもよい。
なお、上記の説明においては、深度合成処理として位置H1〜Hjにそれぞれ対応する複数の原画像データが合成されるが、本発明はこれに限定されない。位置H1〜Hjにそれぞれ対応する複数の原画像データが、合成されることなく独立に利用されてもよい。
例えば、図9の合焦判定部620による判定結果に基づいて、撮像部132の焦点が観察対象物Sの特定の部分に最も一致する原画像データが位置H1〜Hjにそれぞれ対応する複数の原画像データから抽出されてもよい。この場合、リング照明および第1〜第4の方向性照明にそれぞれ対応して抽出された複数の原画像データに基づいて、全体的に合焦度が大きい画像を示す表示用画像データを高速に生成することができる。
(4)DR調整処理
(a)処理内容
使用者は、図1の操作部440を用いて図12のDR調整ボタンb2を操作することにより、演算処理部600にDR調整処理の指示を与えることができる。
DR調整処理においては、撮像部132の受光時間を予め定められた複数の値に変化させた状態で、リング照明および第1〜第4の方向性照明の各々が照射されたときの観察対象物Sが撮像される。これにより、リング照明および第1〜第4の方向性照明の各々に対応する複数の原画像データが、撮像部132の受光時間ごとに図9のデータ生成部610により生成される。撮像部132の受光時間が短いときに生成された各原画像データの全体的な画素値は比較的小さく撮像部132の受光時間が長いときに生成された各原画像データの全体的な画素値は比較的大きい。
リング照明に対応する複数の原画像データがデータ生成部610により合成される。これにより、リング照明に対応する原画像データのダイナミックレンジを調整することができる。同様に、各方向性照明に対応する複数の原画像データがデータ生成部610により合成される。これにより、各方向性照明に対応する原画像データのダイナミックレンジを調整することができる。
ここで、ダイナミックレンジの調整は、ダイナミックレンジの拡大および縮小を含む。ダイナミックレンジが拡大するように複数の原画像データを合成することにより、画像から黒つぶれおよびハレーション(白とび)を低減することができる。一方、ダイナミックレンジが縮小するように複数の原画像データを合成することにより、画像の濃淡の差が大きくなる。これにより、滑らかな表面を有する観察対象物Sの凹凸を精密に観察することができる。
上記の説明においては、リング照明および第1〜第4の方向性照明ごとにダイナミックレンジが調整されるように原画像データが先に合成され、合成された複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。撮像部132の受光時間ごとに複数の原画像データに基づいて表示用画像データが先に生成され、ダイナミックレンジが調整されるように撮像部132の受光時間ごとに生成された表示用画像データが合成されてもよい。
(b)DR調整処理の一例
図2の記憶部420に記憶されるシステムプログラムは、DR調整プログラムを含む。図2の制御部410は、DR調整プログラムを実行することにより、DR調整処理を行う。
図28および図29は、DR調整処理の一例を示すフローチャートである。制御部410は、撮像部132の受光時間を予め定められた初期値に設定する(ステップS401)。この状態で、制御部410は、投光部140によりリング照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS402)。続いて、制御部410は、リング照明が照射された状態で、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されたか否かを判定する(ステップS403)。
ステップS403において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されていない場合、制御部410は、撮像部132の受光時間を予め定められた次の値に設定する(ステップS404)。その後、制御部410は、ステップS402の処理に戻る。撮像部132の全ての所望の受光時間で観察対象物Sが撮像されるまで、制御部410はステップS402〜S404の処理を繰り返す。
ステップS403において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像された場合、制御部410は、生成されたリング照明に対応する複数の原画像データを合成する(ステップS405)。これにより、リング照明に対応する原画像データのダイナミックレンジが調整される。
その後、制御部410は、iを1に設定する(ステップS406)。ここで、iは複数の方向性照明の番号を示す。次に、制御部410は、撮像部132の受光時間を予め定められた初期値に設定する(ステップS407)。この状態で、制御部410は、投光部140により第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS408)。続いて、制御部410は、第iの方向性照明が照射された状態で、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されたか否かを判定する(ステップS409)。
ステップS409において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されていない場合、制御部410は、撮像部132の受光時間を予め定められた次の値に設定する(ステップS410)。その後、制御部410は、ステップS408の処理に戻る。撮像部132の全ての所望の受光時間で観察対象物Sが撮像されるまで、制御部410はステップS408〜S410の処理を繰り返す。
ステップS409において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像された場合、制御部410は、生成された生成された第iの方向性照明に対応する複数の原画像データを合成する(ステップS411)。これにより、第iの方向性照明に対応する原画像データのダイナミックレンジが調整される。
次に、制御部410は、iが4であるか否かを判定する(ステップS412)。ステップS412において、iが4でない場合、制御部410はiをi+1に更新する(ステップS413)。その後、制御部410はステップS407の処理に戻る。iが4になるまで、制御部410はステップS407〜S413の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが生成され、ダイナミックレンジが調整されるように合成される。ステップS412において、iが4である場合、制御部410は処理を終了する。
上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップS405の処理は、ステップS406〜S413の処理と並列的に実行されてもよい。また、第iの方向性照明に対応するステップS411の処理は、第(i+1)の方向性照明に対応するステップS407〜S410と並列的に実行されてもよい。これらの場合、DR調整処理を高速化することができる。
あるいは、ステップS401〜S405の処理は、ステップS406〜S413の処理よりも後に実行されてもよい。また、第iの方向性照明に対応するステップS411の処理は、第(i+1)の方向性照明に対応するステップS407〜S410の処理よりも後に実行されてもよい。
(c)DR調整処理の他の例
図30および図31は、DR調整処理の他の例を示すフローチャートである。制御部410は、撮像部132の受光時間を予め定められた初期値に設定する(ステップS421)。この状態で、制御部410は、投光部140によりリング照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS422)。
続いて、制御部410は、iを1に設定する(ステップS423)。ここで、iは複数の方向性照明の番号を示す。その後、制御部410は、投光部140により第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS424)。
次に、制御部410は、iが4であるか否かを判定する(ステップS425)。ステップS425において、iが4でない場合、制御部410はiをi+1に更新する(ステップS426)。その後、制御部410はステップS424の処理に戻る。iが4になるまで、制御部410はステップS424〜S426の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが生成される。続いて、制御部410は、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されたか否かを判定する(ステップS427)。
ステップS427において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されていない場合、制御部410は、撮像部132の受光時間を予め定められた次の値に設定する(ステップS428)。その後、制御部410は、ステップS422の処理に戻る。撮像部132の全ての所望の受光時間で観察対象物Sが撮像されるまで、制御部410はステップS422〜S428の処理を繰り返す。
ステップS427において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像された場合、制御部410は、生成されたリング照明に対応する複数の原画像データをダイナミックレンジが調整されるように合成する(ステップS429)。これにより、リング照明に対応する原画像データのダイナミックレンジが調整される。
その後、制御部410は、再度iを1に設定する(ステップS430)。次に、制御部410は、生成された第iの方向性照明に対応する複数の原画像データを合成する(ステップS431)。これにより、第iの方向性照明に対応する原画像データのダイナミックレンジが調整される。続いて、制御部410は、iが4であるか否かを判定する(ステップS432)。
ステップS432において、iが4でない場合、制御部410はiをi+1に更新する(ステップS433)。その後、制御部410はステップS431の処理に戻る。iが4になるまで、制御部410はステップS431〜S433の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが、ダイナミックレンジが調整されるように合成される。ステップS432において、iが4である場合、制御部410は処理を終了する。
上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップS429〜S433の処理の一部は、ステップS421〜S428の処理と並列的に行われてもよい。この場合、DR調整処理を高速化することができる。また、ステップS422の処理は、ステップS423〜S426の処理よりも後に実行されてもよい。さらに、ステップS429の処理は、ステップS430〜S433の処理よりも後に実行されてもよい。
(5)効果
本実施の形態に係る拡大観察装置1においては、投光部140の光出射部140oは対物レンズ131aの光軸A1を取り囲み、投光部140の光軸A2は対物レンズ131aの光軸A1と略同一である。したがって、投光部140は、領域140A〜140Dから均一な出射方向のリング照明を観察対象物Sに照射することが可能である。また、投光部140は、領域140A〜140Dの一部からリング照明の出射方向とは異なる出射方向の方向性照明を観察対象物Sに照射することが可能である。
そのため、使用者は、出射方向を任意に指定することにより、実際に観察対象物Sに照射する光の出射方向を変更することなく、観察対象物Sの形状および材質に応じた適切な出射方向の光が観察対象物Sに照射されたときの画像を示す表示用画像データを生成することができる。これにより、使用者の要求に応じた観察対象物Sの画像を容易に取得することができる。
また、表示用画像データは、既に生成されたリング照明または方向性照明に対応する原画像データを用いて生成可能であるので、観察対象物Sの撮像を再度行う必要がない。したがって、使用者の負担を低減することができる。
[2]第2の実施の形態
本発明の第2の実施の形態に係る拡大観察装置について、第1の実施の形態に係る拡大観察装置1と異なる点を説明する。図32は、本発明の第2の実施の形態に係る拡大観察装置の構成を示す模式図である。図32に示すように、本実施の形態に係る拡大観察装置1においては、測定ヘッド100は投光部160をさらに含む。投光部160は、ハーフミラー161を有する。
レンズユニット131は、内部に投光部160を保持可能に構成される。投光部160は、ハーフミラー161の反射面が斜め下方を向くように対物レンズ131aの光軸A1に対して約45°傾斜する状態で、レンズユニット131内に配置される。投光部160は、ファイバユニット201の図示しない一部の光ファイバにより処理装置200の光生成部300に光学的に接続される。
光生成部300の遮光部320は、図3の投光部140の領域140A〜140Dにそれぞれ対応する複数の開口パターンを有するとともに、投光部160に対応する開口パターンを有する。図2の投光制御部510は、光を通過させる遮光部320の開口パターンを切り替えることにより、第1の実施の形態と同様に投光部140に光を入射可能であるとともに、投光部160に光を入射可能である。投光部140に入射した光の挙動は、第1の実施の形態における投光部140に入射した光の挙動と同様である。
投光部160に入射した光は、ハーフミラー161で反射されることにより対物レンズ131aの光軸A1に沿って下方に出射され、観察対象物Sに照射される。投光部160から出射される光を同軸落射照明と呼ぶ。観察対象物Sに照射された光は上方に反射され、投光部160のハーフミラー161およびレンズユニット131を透過して撮像部132に導かれる。
上記の構成によれば、投光部160は、投光部140よりも対物レンズ131aの光軸A1に近い位置から観察対象物Sに光を照射可能である。したがって、同軸落射照明は対物レンズ131aの光軸A1と平行な方向に出射される明視野照明となり、リング照明は対物レンズ131aの光軸A1に対して傾斜した方向に照射される暗視野照明となる。同軸落射照明を観察対象物Sに照射することにより、観察対象物Sの表面の凹凸および素材の違いをより鮮明に撮像することができる。なお、投光部140,160から同時に光を観察対象物Sに照射することも可能である。
図2の撮像制御部520は、同軸落射照明の照射時における撮像部132の受光時間、ゲインおよびタイミング等を制御する。本実施の形態では、同軸落射照明の照射は、リング照明および第1〜第4の方向性照明の照射よりも後に行われる。撮像制御部520は、先に生成されたリング照明に対応する原画像データの平均輝度値に基づいて自動露出を行うことにより、同軸落射照明の照射時における受光時間を調整する。同軸落射照明の照射時における受光時間は、使用者により所望の値に調整されてもよい。
撮像部132は、同軸落射照明が観察対象物Sに照射されたときの観察対象物Sを示す原画像データをさらに生成する。生成された同軸落射照明に対応する原画像データは、記憶部420に記憶される。また、同軸落射照明の照射の実行の有無および同軸落射照明の照射時における受光時間等の撮像条件をさらに示す撮像情報が記憶部420に記憶される。
図9のデータ生成部610は、記憶部420に記憶されたリング照明および方向性照明にそれぞれ対応する原画像データに加えて、同軸落射照明に対応する原画像データにさらに基づいて表示用画像データを生成する。具体的には、データ生成部610は、リング照明、方向性照明および同軸落射照明にそれぞれ対応する複数の原画像データの一部または全部を、使用者により指定された照明条件により定まる割合で合成する。生成された表示用画像データは、記憶部420に記憶される。
本実施の形態に係る複数照明撮像処理では、リング照明および第1〜第4の方向性照明を用いた観察対象物Sの撮像後に同軸落射照明を用いて観察対象物Sが撮像される。それにより、リング照明、第1〜第4の方向性照明および同軸落射照明にそれぞれ対応する複数(本例では6つ)の原画像データが生成される。
複数照明撮像処理が完了すると、表示部430に観察画面430Aが表示される。図33は、第2の実施の形態に係る複数照明撮像処理後の観察画面430Aの一表示例を示す図である。図33に示すように、機能表示領域431に、上記の複数のボタンb1〜b7に加えて落射ボタンb11が表示される。
使用者は、操作部440を用いて落射ボタンb11を操作する。それにより、使用者は、同軸落射照明に対応する原画像データを用いて表示用画像データを生成すべきことを指示することができる。
同軸落射照明に対応する原画像データを用いることが指示されると、副表示領域433に、同軸落射照明に対応する原画像データの他の原画像データに対する合成割合(以下、落射画像割合と呼ぶ。)を指定するためのバー433cおよびスライダ433dが表示される。
使用者は、スライダ433dを操作することにより、落射画像割合を指定することができる。図33の例では、スライダ433dがバー433cの左端に近づくにつれて落射画像割合が高く指定され、スライダ433dがバー433cの右端に近づくにつれて落射画像割合が低く指定される。
落射画像割合が指定されると、制御部410は、表示用画像生成処理における図19のステップS209の処理で、指定された出射方向に加えて指定された落射画像割合に基づいて複数の原画像データの合成割合を算出する。
例えば、制御部410は、まず指定された出射方向に基づいてリング照明および第1〜第4の方向性照明の各々に対応する原画像データの合成割合を算出する。その後、制御部410は、指定された落射画像割合がt(tは0から100までの数)%である場合に、リング照明および第1〜第4の方向性照明の複数の合成割合の合計が(100−t)%となるように、リング照明および第1〜第4の方向性照明の各々に対応する原画像データの合成割合を修正する。
上記のように算出された複数の合成割合に基づいて複数の原画像データが合成されることにより表示用画像データが生成され、同軸落射照明に対応する原画像データの成分を含む観察対象物Sの画像SIが主表示領域432に表示される。
同軸落射照明に対応する原画像データの画像SIによれば、リング照明および第1〜第4の方向性照明の各々に対応する原画像データの画像SIに比べて、観察対象物Sの表面の凹凸および素材の違いをより正確に観察することができる。
したがって、使用者は、図33の落射ボタンb11およびスライダ433dを操作することにより、観察の目的に応じた観察対象物Sの画像SIを容易に取得することができる。
[3]第3の実施の形態
本発明の第3の実施の形態に係る拡大観察装置について、第1の実施の形態に係る拡大観察装置1と異なる点を説明する。図34は、本発明の第3の実施の形態に係る拡大観察装置の構成を示す模式図である。図34に示すように、本実施の形態に係る拡大観察装置1においては、測定ヘッド100は投光部170をさらに含む。投光部170は、ミラー171を有する。また、拡大観察装置1はファイバユニット204をさらに含む。ファイバユニット204は、図示しない複数の光ファイバを含む。投光部170は、スタンド部110の設置部111に内蔵されていてもよい。
スタンド部110の設置部111は、内部に投光部170を保持可能に構成される。投光部170は、ミラー171の反射面が斜め上方を向くように対物レンズ131aの光軸A1に対して約45°傾斜する状態で、設置部111内に配置される。これにより、投光部170は、観察対象物Sおよびステージ121を挟んで鏡筒部130と対向する。投光部170は、ファイバユニット201の図示しない一部の光ファイバにより処理装置200の光生成部300に光学的に接続される。
光生成部300の遮光部320は、図3の投光部140の領域140A〜140Dにそれぞれ対応する複数の開口パターンを有するとともに、投光部170に対応する開口パターンを有する。図2の投光制御部510は、光を通過させる遮光部320の開口パターンを切り替えることにより、第1の実施の形態と同様に投光部140に光を入射可能であるとともに、投光部170に光を入射可能である。投光部140に入射した光の挙動は、第1の実施の形態における投光部140に入射した光の挙動と同様である。
投光部170に入射した光は、ミラー171で反射されることにより対物レンズ131aの光軸A1に沿って上方に出射され、ステージ121上の観察対象物Sに照射される。投光部170から出射される光を透過照明と呼ぶ。観察対象物Sに照射された光は上方に透過し、レンズユニット131を透過して撮像部132に導かれる。透過照明を観察対象物Sに照射することにより、観察対象物Sの内部の構造を撮像することができる。
撮像部132は、透過照明が観察対象物Sに照射されたときの観察対象物Sを示す原画像データをさらに生成する。生成された透過照明に対応する原画像データは、記憶部420に記憶される。また、透過照明の照射の実行の有無および透過照明の照射時における受光時間等の撮像条件をさらに示す撮像情報が記憶部420に記憶される。
図9のデータ生成部610は、記憶部420に記憶されたリング照明および方向性照明にそれぞれ対応する原画像データに加えて、透過照明に対応する原画像データにさらに基づいて表示用画像データを生成する。具体的には、データ生成部610は、リング照明、方向性照明および透過照明にそれぞれ対応する複数の原画像データの一部または全部を、使用者により指定された照明条件により定まる割合で合成する。生成された表示用画像データは、記憶部420に記憶される。
図34の測定ヘッド100は同軸落射照明を出射する投光部160を含まないが、本発明はこれに限定されない。図34の測定ヘッド100は、図32の投光部160と同様の投光部160を含んでもよい。この場合、リング照明、方向性照明、同軸落射照明および透過照明にそれぞれ対応する原画像データに基づいて表示用画像データが生成される。
本実施の形態に係る複数照明撮像処理では、リング照明および第1〜第4の方向性照明を用いた観察対象物Sの撮像後に透過照明を用いて観察対象物Sが撮像される。それにより、リング照明、第1〜第4の方向性照明および透過照明にそれぞれ対応する複数(本例では6つ)の原画像データが生成される。
複数照明撮像処理が完了すると、表示部430に観察画面430Aが表示される。図35は、第3の実施の形態に係る複数照明撮像処理後の観察画面430Aの一表示例を示す図である。図35に示すように、機能表示領域431に、上記の複数のボタンb1〜b7に加えて透過ボタンb12が表示される。
使用者は、操作部440を用いて透過ボタンb12を操作する。それにより、使用者は、透過照明に対応する原画像データを用いて表示用画像データを生成すべきことを指示することができる。
透過照明に対応する原画像データを用いることが指示されると、副表示領域433に、透過照明に対応する原画像データの他の原画像データに対する合成割合(以下、透過画像割合と呼ぶ。)を指定するためのバー433eおよびスライダ433fが表示される。
使用者は、スライダ433fを操作することにより、透過画像割合を指定することができる。図35の例では、スライダ433fがバー433eの左端に近づくにつれて透過画像割合が高く指定され、スライダ433fがバー433eの右端に近づくにつれて透過画像割合が低く指定される。
透過画像割合が指定されると、制御部410は、表示用画像生成処理における図19のステップS209の処理で、指定された出射方向に加えて指定された透過画像割合に基づいて複数の原画像データの合成割合を算出する。
例えば、制御部410は、まず指定された出射方向に基づいてリング照明および第1〜第4の方向性照明の各々に対応する原画像データの合成割合を算出する。その後、制御部410は、指定された透過画像割合がu(uは0から100までの数)%である場合に、リング照明および第1〜第4の方向性照明の複数の合成割合の合計が(100−u)%となるように、リング照明および第1〜第4の方向性照明の各々に対応する原画像データの合成割合を修正する。
上記のように算出された複数の合成割合に基づいて複数の原画像データが合成されることにより表示用画像データが生成され、透過照明に対応する原画像データの成分を含む観察対象物Sの画像SIが主表示領域432に表示される。観察対象物Sが光を透過する材料で形成されている場合、透過照明に対応する原画像データの画像SIには、観察対象物Sの内部構造が鮮明に表れる。
したがって、使用者は、図35の透過ボタンb12およびスライダ433fを操作することにより、観察の目的に応じた観察対象物Sの画像SIを容易に取得することができる。
上記のように、図34の測定ヘッド100が図32の投光部160を含む場合には、複数照明撮像処理において、リング照明、方向性照明、同軸落射照明および透過照明にそれぞれ対応する複数の原画像データが生成されてもよい。この場合、観察画面430Aにおいて、図33の落射ボタンb11、バー433cおよびスライダ433dと図35の透過ボタンb12、バー433eおよびスライダ433fとが同時に表示されてもよい。それにより、主表示領域432に表示される観察対象物Sの画像SIについて調整の自由度が向上する。
[4]他の実施の形態
(1)上記実施の形態において、複数の照明にそれぞれ対応する複数の原画像データが生成された後、使用者により指定された照明条件に応じて、複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。使用者により照明条件が先に指定されてもよい。この場合、指定された照明条件に基づいて生成すべき表示用画像データを生成するために必要な原画像データが決定する。
そこで、本実施の形態においては、必要な原画像データに対応する照明のみが観察対象物に照射される。これにより、当該必要な原画像データのみが生成される。この構成によれば、他の照明が観察対象物Sに照射されず、不要な原画像データが生成されない。これにより、表示用画像データを高速に生成することができる。
(2)上記実施の形態において、投光部140の領域140A〜140Dが対物レンズ131aの光軸A1を中心に回転対称に配置されることが好ましいが、本発明はこれに限定されない。投光部140の領域140A〜140Dは、対物レンズ131aの光軸A1を中心に回転対称に配置されなくてもよい。
(3)上記実施の形態において、複数の原画像データが合成されることにより表示用画像データが生成される場合には、複数の原画像データの1つがリング照明に対応する原画像データであることが好ましいが、本発明はこれに限定されない。リング照明に対応する原画像データが合成に用いられず、方向性照明、同軸落射照明および透過照明にそれぞれ対応する複数の原画像データの一部または全部が合成されることにより表示用画像データが生成されてもよい。
(4)上記実施の形態において、複数の原画像データが合成されることにより表示用画像データが生成されるが、本発明はこれに限定されない。生成された複数の原画像データのうちの1つが選択されることにより表示用画像データが生成されてもよい。この構成においては、より多数の原画像データが生成されることが好ましい。この場合、より正確な表示用画像データを生成することができる。したがって、より多数の原画像データを生成可能にするため、より多数の光出射領域が設けられてもよいし、より多数の位置から光を出射可能に光出射部材が設けられてもよい。あるいは、単一の光出射部材が複数の出射位置に移動可能に設けられてもよい。
(5)上記実施の形態において、投光部140は円筒形状を有するが、本発明はこれに限定されない。投光部140は円筒形状以外の他の形状を有してもよい。図36は、投光部140の変形例を示す模式図である。図36の例では、投光部140は、例えば半球形状を有し、投光部140の内面の任意の位置から観察対象物に複数の出射方向の光を照射可能に複数の光源142aが設けられる。この場合、複数の原画像データを合成することなく、単一の原画像データにより表示用画像データを生成することが容易になる。この構成においては、各出射方向の光の光量を個別に調整可能であることがより好ましい。
(6)上記実施の形態において、表示用画像生成処理においては、使用者により光の仮想的な出射方向が新たに指定されると、表示部430に表示される観察対象物Sの画像SIが、指定された出射方向の光に対応する画像SIに切り替わるが、本発明はこれに限定されない。
使用者により光の仮想的な出射方向が新たに指定された場合に、更新前の表示用画像データに基づく観察対象物Sの画像SIと、更新後の表示用画像データに基づく観察対象物Sの画像SIとが表示部430に同時に表示されてもよい。この場合、使用者は、出射方向を指定する前の観察対象物Sの画像SIと指定後の観察対象物Sの画像SIとを比較することができる。したがって、光の仮想的な出射方向を指定しつつ観察対象物Sの観察により適切な画像SIを容易に識別することができる。更新前後の画像SIを同時に表示する例は、更新前後の画像SIを並べて表示すること、または更新前後の画像SIを重ねて表示すること等を含む。
[5]請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
上記実施の形態では、観察対象物Sが観察対象物の例であり、ステージ121がステージの例であり、対物レンズ131aが対物レンズの例であり、レンズユニット131がレンズユニットの例である。光軸A1,A2がそれぞれ対物レンズおよび投光ユニットの光軸の例であり、光出射部140oが出射部の例であり、投光部140が投光ユニットの例であり、撮像部132が撮像部の例であり、データ生成部610がデータ生成部の例である。
拡大観察装置1が拡大観察装置の例であり、領域140A〜140Dが光出射領域の例であり、光ファイバ142が光出射部材の例であり、溝部131bおよび突起部141bが位置決め機構の例であり、鏡筒部130が鏡筒部の例である。傾斜センサ133が傾斜検出部の例であり、操作部440が第1および第2の操作部の例であり、駆動制御部500が制御部の例であり、投光部160,170がそれぞれ第1および第2の投光部の例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。