JP6635893B2 - 拡大観察装置 - Google Patents

Description

本発明は、観察対象物を拡大して観察する拡大観察装置に関する。

観察対象物を拡大して観察するために、拡大観察装置が用いられることがある（例えば特許文献１参照）。特許文献１に記載された顕微鏡システムにおいては、明視野照明光および暗視野照明光が対物レンズを通してステージ上の標本に照射される。ここで、明視野照明光は対物レンズの光軸と平行な方向に出射される照明光であり、暗視野照明光は対物レンズの光軸に対して傾斜した方向に出射される照明光である。標本で反射された観察光が結像レンズを通して撮像装置に入射することにより標本が撮像される。

特開２０１３−７２９７１号公報

特許文献１に記載された顕微鏡システムにおいては、明視野照明光に対する露光時間と暗視野照明光に対する露光時間との比に応じて、一方の照明光の照明強度が相対的に小さくされる。これにより、明視野照明光の強度と暗視野照明光の強度とが揃えられる。その結果、特許文献１には、明視野照明光と暗視野照明光とを同時に照射した標本を観察するうえで、最も適した照明強度において標本の観察を行うことが可能となると記載されている。また、使用者は、照明強度が最適化された状態の画像から直感的に明視野照明光と暗視野照明光との照明強度の比率を調整することも可能である。

しかしながら、照明強度等の適切な撮像条件は、観察対象物の形状および材質により異なる。そのため、熟練していない使用者には、適切な撮像条件において撮像された画像を取得することは困難である。また、事後的に撮像条件が適切ではなかったことが判明する場合がある。このような場合、異なる撮像条件において観察対象物の撮像を再度行う必要があり、使用者の負担が増加する。

本発明の目的は、使用者の要求に応じた観察対象物の画像を容易に取得することが可能な拡大観察装置を提供することである。

（１）本発明に係る拡大観察装置は、観察対象物が載置される載置面を有するステージと、ステージに載置された観察対象物に対して互いに異なる複数の出射方向の光を選択的に照射する投光装置と、観察対象物からの光を受光し、複数の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示す複数の画像データをそれぞれ生成する撮像部と、使用者の操作に基づいて仮想的な光の出射方向の載置面からの仰角を指定する仰角指定部と、仰角指定部により指定された仰角と撮像部により生成された複数の画像データとに基づいて指定された仰角を有する仮想的な出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを生成するデータ生成部と、データ生成部により生成された表示用画像データに基づく表示用画像を表示する表示部とを備える。

その拡大観察装置においては、ステージの載置面上に観察対象物が載置され、ステージ上の観察対象物に複数の出射方向の光がそれぞれ選択的に照射される。複数の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示す複数の画像データが撮像部により生成される。

使用者の操作に基づいて仮想的な光の出射方向の載置面からの仰角が指定される。この場合、指定された仰角と撮像部により生成された複数の画像データとに基づいて、指定された仰角を有する仮想的な出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データが生成される。生成された表示用画像データに基づく画像が表示部に表示される。

そのため、使用者は、仮想的な光の出射方向の仰角を任意に指定することにより、実際に観察対象物に照射する光の出射方向を変更することなく、観察対象物の形状および材質に応じた適切な出射方向の光が観察対象物に照射されたときの画像を示す表示用画像データを生成することができる。これにより、使用者の要求に応じた観察対象物の画像を容易に取得することができる。

また、表示用画像データは、既に生成された複数の画像データを用いて生成可能であるので、観察対象物の撮像を再度行う必要がない。したがって、使用者の負担を低減することができる。

（２）データ生成部は、撮像部により生成された複数の画像データのうち少なくとも２以上の画像データを合成することにより表示用画像データを生成してもよい。

この場合、互いに異なる複数の出射方向の光に対応する複数の画像データのうち少なくとも２以上の画像データが合成される。これにより、実際に観察対象物に照射される光とは異なる出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを容易に生成することができる。

（３）データ生成部は、指定された仰角に基づいて少なくとも２以上の画像データの合成の割合を決定してもよい。この場合、複数の画像データに基づいて表示用画像データを容易に生成することができる。

（４）拡大観察装置は、使用者の操作に基づいて仮想的な光の出射方向の載置面上の基準方向からの方位角を指定する方位角指定部をさらに備え、データ生成部は、仰角指定部により指定された仰角と方位角指定部により指定された方位角と撮像部により生成された複数の画像データとに基づいて、指定された仰角および方位角を有する仮想的な出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを生成してもよい。

上記の構成によれば、使用者の操作に基づいて仮想的な光の出射方向の載置面上の基準方向からの方位角が基準面からの仰角とともに指定される。この場合、指定された仰角および方位角と撮像部により生成された複数の画像データとに基づいて、指定された仰角および方位角を有する仮想的な出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データが生成される。生成された表示用画像データに基づく画像が表示部に表示される。

そのため、使用者は、仮想的な光の出射方向の方位角を仰角とともに任意に指定することにより、観察対象物の形状および材質に応じたより適切な出射方向の光が観察対象物に照射されたときの画像を示す表示用画像データを生成することができる。

（５）拡大観察装置は、対物レンズをさらに備え、撮像部は、観察対象物からの光を対物レンズを介して受光することにより複数の画像データを生成し、投光装置は、対物レンズの光軸を中心に回転対象に配置された複数の光出射領域を有するとともに、対物レンズの光軸を取り囲むように設けられる第１の投光部と、複数の出射方向の光が観察対象物に照射されるように複数の光出射領域における光の出射状態を切り替える切替部とを含んでもよい。

この場合、切替部により第１の投光部の複数の光出射領域における光の出射状態が切り替えられる。それにより、簡単な構成かつ簡単な制御で、互いに異なる複数の出射方向の光を観察対象物に選択的に照射することができる。

また、上記の構成によれば、複数の光出射領域における光の出射状態を切り替えることにより、仰角が異なる複数の出射方向の光を観察対象物に照射することができる。したがって、仰角が異なる複数の出射方向の光に対応する画像データに基づいて指定された仰角を有する仮想的な出射方向の光に対応する表示用画像データを容易に生成することができる。

（６）複数の光出射領域は、対物レンズの光軸を挟んで対向するように配置される第１および第２の出射領域を含み、第１の出射領域から観察対象物に照射される光の出射方向の仰角と、第２の出射領域から観察対象物に照射される光の出射方向の仰角とは、互いに等しくてもよい。

この場合、共通の仰角を有しかつ方位角が逆の関係を有する２つの出射方向の光に対応する２つの原画像データを生成することができる。それにより、２つの原画像データを使用者により指定された仰角に応じた任意の合成割合で合成することにより、指定された仰角に対応する表示用画像データを容易に生成することができる。

（７）複数の光出射領域は、第１および第２の出射領域とは異なる位置で、対物レンズの光軸を挟んで対向するように配置される第３および第４の出射領域をさらに含み、第３の出射領域から観察対象物に照射される光の出射方向の仰角と、第４の出射領域から観察対象物に照射される光の出射方向の仰角とは、互いに等しくてもよい。

この場合、共通の仰角を有しかつ方位角が互いに異なる４つの出射方向の光に対応する原画像データを生成することができる。それにより、４つの原画像データを使用者により指定された仰角に応じた任意の合成割合で合成することにより、指定された仰角に対応するとともに複数の方位角にそれぞれ対応する複数の表示用画像データを容易に生成することができる。

（８）投光装置は、第１の投光部よりも対物レンズの光軸に近い位置から観察対象物に第１の光を照射する第２の投光部をさらに含み、切替部は、第２の投光部における第１の光の出射状態をさらに切り替え、撮像部は、第１の光が観察対象物に照射されたときの観察対象物の画像を示す画像データをさらに生成し、データ生成部は、第１の光に対応して生成された画像データにさらに基づいて表示用画像データを生成してもよい。

この場合、第２の投光部により第１の投光部よりも対物レンズの光軸に近い位置から観察対象物に第１の光が照射される。第１の光が照射されたときの観察対象物の画像においては、第１の投光部から光が照射されたときの観察対象物の画像に比べて、観察対象物の表面の凹凸がより鮮明に示される。したがって、第１の光に対応する画像データを用いることにより、観察対象物の表面の凹凸をより鮮明に示す表示用画像データを生成することができる。

（９）投光装置は、観察対象物を挟んで撮像部と対向するように配置され、観察対象物に第２の光を照射する第３の投光部をさらに含み、切替部は、第３の投光部における第２の光の出射状態をさらに切り替え、撮像部は、第２の光が観察対象物に照射されたときの観察対象物の画像を示す画像データをさらに生成し、データ生成部は、第２の光に対応して生成された画像データにさらに基づいて表示用画像データを生成してもよい。

この場合、第３の投光部により観察対象物に第２の光が照射され、観察対象物を透過した光が撮像部により受光される。第２の光が照射されたときの観察対象物の画像においては、観察対象物の内部の構造が示される。したがって、第２の光に対応する画像データを用いることにより、観察対象物の内部の構造を示す表示用画像データを生成することができる。

（１０）拡大観察装置は、第１の投光部を対物レンズの光軸方向に載置面に対して相対的に移動させる照明移動部をさらに備えてもよい。

この場合、第１の投光部が対物レンズの光軸方向に載置面に対して相対的に移動されることにより、第１の投光部から観察対象物に照射される光の出射方向の仰角が変化する。それにより、使用者は、所望の仰角成分を有する出射方向の光が実際に観察対象物に照射されるように、第１の投光部の位置を変更することができる。

本発明によれば、使用者の要求に応じた観察対象物の画像を容易に取得することができる。

本発明の第１の実施の形態に係る拡大観察装置の構成を示す模式図である。 図１の制御装置の構成を示すブロック図である。 投光部の構成を示す斜視図および平面図である。 投光部の配置例を示す模式図である。 測定ヘッドの外観斜視図および鏡筒部の構成を示す模式図である。 焦点駆動部の構成例を示す図である。 制御装置の専用のコンソールを示す平面図である。 図２の演算処理部の構成を示すブロック図である。 ステージの載置面上に定義される極座標系を示す図である。 複数照明撮像が指示されたときの拡大観察装置の基本動作を説明するための模式図である。 観察画面の一表示例を示す図である。 光の仮想的な出射方向の指定に応答して観察対象物の画像が更新されるときの処理内容を説明するための模式図である。 主表示領域および副表示領域にそれぞれ光アイコンが表示される例を示す図である。 観察画面の他の表示例を示す図である。 観察画面のさらに他の表示例を示す図である。 光の仮想的な出射方向を指定するための他の構成例を示す図である。 光の仮想的な出射方向を指定するための他の構成例を示す図である。 光の仮想的な出射方向を指定するための他の構成例を示す図である。 複数照明撮像処理の一例を示すフローチャートである。 表示用画像生成処理の一例を示すフローチャートである。 表示用画像生成処理の一例を示すフローチャートである。 深度合成処理の概念図である。 マスクイメージデータを視覚的に示す図である。 深度合成処理の一例を示すフローチャートである。 深度合成処理の一例を示すフローチャートである。 深度合成処理の一例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 ＤＲ調整処理の一例を示すフローチャートである。 ＤＲ調整処理の一例を示すフローチャートである。 ＤＲ調整処理の他の例を示すフローチャートである。 ＤＲ調整処理の他の例を示すフローチャートである。 本発明の第２の実施の形態に係る拡大観察装置の構成を示す模式図である。 第２の実施の形態に係る複数照明撮像処理後の観察画面の一表示例を示す図である。 本発明の第３の実施の形態に係る拡大観察装置の構成を示す模式図である。 第３の実施の形態に係る複数照明撮像処理後の観察画面の一表示例を示す図である。 投光部の変形例を示す模式図である。

［１］第１の実施の形態
（１）拡大観察装置の構成
（ａ）測定ヘッド
以下、本発明の第１の実施の形態に係る拡大観察装置について、図を参照しながら説明する。図１は、本発明の第１の実施の形態に係る拡大観察装置の構成を示す模式図である。図１に示すように、拡大観察装置１は、測定ヘッド１００および処理装置２００を備える。測定ヘッド１００は、例えば顕微鏡であり、スタンド部１１０、ステージ装置１２０、鏡筒部１３０、投光部１４０および制御基板１５０を含む。

スタンド部１１０は、縦断面がＬ字形状を有し、設置部１１１、保持部１１２および焦点駆動部１１３を含む。設置部１１１および保持部１１２は、例えば樹脂により形成される。設置部１１１は、水平な平板形状を有し、設置面に設置される。保持部１１２は、設置部１１１の一端部から上方に延びるように設けられる。

ステージ装置１２０は、ステージ１２１およびステージ駆動部１２２を含む。ステージ１２１は、設置部１１１の上面に設けられる。ステージ１２１上には、観察対象物Ｓが載置される。観察対象物Ｓが載置されるステージ１２１上の平面（以下、載置面と呼ぶ。）内で互いに直交する２方向をＸ方向およびＹ方向と定義し、それぞれ矢印Ｘ，Ｙで示す。ステージ１２１の載置面に対して直交する法線の方向をＺ方向と定義し、矢印Ｚで示す。Ｚ方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。

ステージ駆動部１２２は、ステッピングモータ等の図示しないアクチュエータを含む。ステージ駆動部１２２は、制御基板１５０により与えられる駆動パルスに基づいて、ステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させる。また、使用者は、手動によりステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させることも可能である。

鏡筒部１３０は、レンズユニット１３１および撮像部１３２を含み、ステージ１２１の上方に配置される。レンズユニット１３１は、観察対象物Ｓの種類に応じて他のレンズユニットと交換可能である。レンズユニット１３１は、対物レンズ１３１ａおよび図示しない複数のレンズにより構成される。対物レンズ１３１ａの光軸Ａ１は、Ｚ方向に平行である。撮像部１３２は、例えばＣＭＯＳ（相補性金属酸化膜半導体）カメラを含む。撮像部１３２は、ＣＣＤ（電荷結合素子）カメラ等の他のカメラを含んでもよい。

鏡筒部１３０は、スタンド部１１０の焦点駆動部１１３により保持部１１２に取り付けられる。焦点駆動部１１３は、ステッピングモータ等の図示しないアクチュエータを含む。焦点駆動部１１３は、制御基板１５０により与えられる駆動パルスに基づいて、レンズユニット１３１を対物レンズ１３１ａの光軸Ａ１の方向（Ｚ方向）に移動させる。これにより、レンズユニット１３１を通過した光の焦点位置がＺ方向に変化する。また、使用者は、手動によりレンズユニット１３１を対物レンズ１３１ａの光軸Ａ１の方向に移動させることも可能である。

投光部１４０は、対物レンズ１３１ａの光軸Ａ１を取り囲むようにレンズユニット１３１に一体的に取り付けられる。これにより、投光部１４０とレンズユニット１３１との位置関係を一意的に決定することができる。また、拡大観察装置１に投光部１４０を保持する部材を追加する必要がないので、拡大観察装置１をコンパクト化することができる。投光部１４０の光軸Ａ２（後述する図３）は、対物レンズ１３１ａの光軸Ａ１と略同一である。

投光部１４０からステージ１２１上の観察対象物Ｓに複数の出射方向の光が照射される。観察対象物Ｓによりステージ１２１の上方に反射された光は、レンズユニット１３１により集光および結像された後、撮像部１３２により受光される。撮像部１３２は、各画素の受光量に対応する画素データに基づいて画像データを生成する。投光部１４０により複数の出射方向の光が観察対象物Ｓに照射されたときに撮像部１３２によりそれぞれ生成される複数の画像データの各々を原画像データと呼ぶ。撮像部１３２は、生成した複数の原画像データを制御装置４００に与える。

制御基板１５０は、例えばスタンド部１１０の保持部１１２内に設けられ、焦点駆動部１１３、ステージ駆動部１２２および撮像部１３２に接続される。制御基板１５０は、処理装置２００による制御に基づいて焦点駆動部１１３およびステージ駆動部１２２の動作を制御する。撮像部１３２には、制御装置４００から制御信号が入力される。また、撮像部１３２により生成された複数の原画像データは、ケーブル２０３を介して順次処理装置２００に与えられる。

（ｂ）処理装置
処理装置２００は、筐体２１０、光生成部３００および制御装置４００を含む。筐体２１０は、光生成部３００および制御装置４００を収容する。光生成部３００は、ファイバユニット２０１により測定ヘッド１００の投光部１４０に光学的に接続される。ファイバユニット２０１は、図示しない複数の光ファイバを含む。

光生成部３００は、光源３１０および遮光部３２０を含む。光源３１０は、例えばＬＥＤ（発光ダイオード）である。光源３１０は、ハロゲンランプ等の他の光源であってもよい。遮光部３２０は、光源３１０により出射される光を部分的に遮光可能に光源３１０とファイバユニット２０１との間に配置される。光源３１０により出射された光は、遮光部３２０を通過してファイバユニット２０１へ入射する。これにより、ファイバユニット２０１を通して測定ヘッド１００の投光部１４０から光が出射される。

図２は、図１の制御装置４００の構成を示すブロック図である。図２に示すように、制御装置４００は、制御部４１０、記憶部４２０、表示部４３０、操作部４４０および通信部４５０を含む。制御部４１０は、例えばＣＰＵ（中央演算処理装置）を含む。記憶部４２０は、例えばＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）またはＨＤＤ（ハードディスクドライブ）を含む。本実施の形態においては、制御部４１０および記憶部４２０は、パーソナルコンピュータにより実現される。

制御部４１０は、駆動制御部５００および演算処理部６００を含む。記憶部４２０には、システムプログラムが記憶される。また、記憶部４２０は、種々のデータの処理および制御部４１０から与えられる種々のデータの保存のために用いられる。駆動制御部５００および演算処理部６００の機能は、制御部４１０が記憶部４２０に記憶されるシステムプログラムを実行することにより実現される。

駆動制御部５００は、投光制御部５１０、撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０を含む。投光制御部５１０は、ケーブル２０２を通して図１の光生成部３００に接続され、光生成部３００の動作を制御する。撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０は、ケーブル２０３を通して図１の測定ヘッド１００の制御基板１５０に接続される。

撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０は、制御基板１５０を通して撮像部１３２、焦点駆動部１１３およびステージ駆動部１２２の動作をそれぞれ制御する。また、撮像制御部５２０は、撮像部１３２により生成された複数の原画像データを順次演算処理部６００に与える。

演算処理部６００は、取得した複数の原画像データの少なくとも１つに基づいて、使用者により指定された出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像を示す表示用画像データを生成することができる。演算処理部６００の詳細については後述する。演算処理部６００により取得された複数の原画像データおよび生成された表示用画像データは、記憶部４２０に記憶される。

表示部４３０は、例えばＬＣＤ（液晶ディスプレイ）パネルにより構成される。表示部４３０は、有機ＥＬ（エレクトロルミネッセンス）パネル等の他の表示部により構成されてもよい。表示部４３０は、記憶部４２０に記憶された画像データまたは演算処理部６００により生成された画像データに基づく画像等を表示する。操作部４４０は、マウス、タッチパネル、トラックボールまたはジョイスティック等のポインティングデバイスおよびキーボードを含み、制御装置４００に指示等を与えるために使用者により操作される。また、操作部４４０はポインティングデバイスおよびキーボードに加えてジョグシャトルを含んでもよいし、鏡筒部１３０およびステージ１２１を上下方向に移動させるための回転中心が水平方向を向くダイヤル状の操作手段を含んでもよい。

通信部４５０は、制御装置４００をネットワークに接続するためのインターフェースを含む。図１の例では、表示機能を有する外部装置２がネットワークに接続されている。制御装置４００は、通信部４５０を介して表示機能を有する外部装置２に画像データを送信することが可能である。外部装置２の使用者は、通信部４５０を介して汎用的な画像ファイル形式で記憶された画像データを制御装置４００から取得し、当該画像データに基づく画像を外部装置２に表示させることができる。

（ｃ）投光部
図３（ａ），（ｂ）は、それぞれ投光部１４０の構成を示す斜視図および平面図である。図３（ａ）に示すように、投光部１４０は、保持部材１４１および複数の光ファイバ１４２を含む。保持部材１４１は、例えば樹脂により形成され、円筒形状を有する。平面視における保持部材１４１の外径は、図１のステージ１２１の寸法よりも小さい。保持部材１４１は、図１の対物レンズ１３１ａの光軸Ａ１を取り囲むように配置される。

保持部材１４１には、上面から下面に貫通する複数の貫通孔１４１ａが形成される。複数の貫通孔１４１ａは、略等間隔で配置され、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に位置する。複数の光ファイバ１４２は、複数の貫通孔１４１ａ内にそれぞれ挿通される。これにより、複数の光ファイバ１４２は保持部材１４１により一体的に保持される。各光ファイバ１４２における光の入射部および出射部は、保持部材１４１の上面および下面にそれぞれ位置する。これにより、保持部材１４１の下面に光出射部１４０ｏが形成される。

複数の光ファイバ１４２は、対物レンズ１３１ａの光軸Ａ１を中心とする１つの円周上に配置される。そのため、対物レンズ１３１ａの光軸Ａ１から複数の光ファイバ１４２における出射部までの距離は略等しい。各光ファイバ１４２における出射部とステージ１２１の中心とを結ぶ線が対物レンズ１３１ａの光軸Ａ１に対して成す角度は鋭角である。本実施の形態においては、保持部材１４１が複数の光ファイバ１４２を一体的に保持することにより、上記の複数の光ファイバ１４２の位置関係が容易に維持される。

図３（ｂ）に示すように、投光部１４０の円環状の光出射部１４０ｏは、複数（本例では４つ）の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄに略等分される。複数の領域１４０Ａ〜１４０Ｄは、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置される。複数の領域１４０Ａ〜１４０Ｄは、略同数の光ファイバ１４２の出射部を含む。

複数の光ファイバ１４２の入射部は、図１のファイバユニット２０１により処理装置２００の光生成部３００に光学的に接続される。これにより、光生成部３００から出射された光が、保持部材１４１の上面から複数の光ファイバ１４２の入射部に入射し、複数の光ファイバ１４２の出射部を通して保持部材１４１の下面の光出射部１４０ｏから出射される。すなわち、各領域１４０Ａ〜１４０Ｄに含まれる光ファイバ１４２が光出射部１４０ｏから光を出射することにより、各領域１４０Ａ〜１４０Ｄから光が出射される。

図１の遮光部３２０は、投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するマスクを含む。図１の光源３１０により出射された光は、遮光部３２０のいずれかの開口パターンを通過してファイバユニット２０１へ入射する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、投光部１４０における光を出射する領域１４０Ａ〜１４０Ｄを切り替える。これにより、投光部１４０は、領域１４０Ａ〜１４０Ｄの全体から光を出射可能であるとともに、領域１４０Ａ〜１４０Ｄのいずれかから選択的に光を出射可能である。

このように、投光部１４０は出射方向が互いに異なる光を観察対象物Ｓに照射することができる。領域１４０Ａ〜１４０Ｄの全体から同時に出射される光をリング照明と呼び、領域１４０Ａ〜１４０Ｄのいずれか１つの領域から出射される光を方向性照明と呼ぶ。本実施の形態においては、投光部１４０は、リング照明および４つの方向性照明のいずれかを選択的に出射可能である。したがって、図１の撮像部１３２は、リング照明および４つの方向性照明がそれぞれ観察対象物Ｓに照射されたときの観察対象物Ｓを示す５つの原画像データを生成可能である。

４つの方向性照明は、対物レンズ１３１ａの光軸Ａ１を中心にθ方向に約９０°異なる４つの位置（領域１４０Ａ〜１４０Ｄ）からそれぞれ出射される光であり、対物レンズ１３１ａの光軸Ａ１を中心に回転対称となる。したがって、各方向性照明は、対物レンズ１３１ａの光軸Ａ１に対して偏りを有する。４つの方向性照明は、対物レンズ１３１ａの光軸Ａ１に対して傾斜しかつ互いに異なる方向に出射される。４つの方向性照明の光量は互いに略等しい。対物レンズ１３１ａの光軸Ａ１に対する４つの方向性照明の照射の角度は、θ方向により均一ではない。

一方、リング照明は、対物レンズ１３１ａの光軸Ａ１に対して偏らない光であり、その中心は対物レンズ１３１ａの光軸Ａ１に略一致する。したがって、リング照明は、実質的に対物レンズ１３１ａの光軸Ａ１の方向に出射される。リング照明は、対物レンズ１３１ａの光軸Ａ１を中心に略均一な光量分布を有し、リング照明の光量は４つの方向性照明の光量の総和に略等しい。すなわち、リング照明の光量は各方向性照明の光量の約４倍である。対物レンズ１３１ａの光軸Ａ１に対するリング照明の照射の角度は、θ方向により均一である。

このように、本実施の形態においては、複数の領域１４０Ａ〜１４０Ｄが対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置される。これにより、複数の原画像データに基づいて演算により表示用画像データを生成する場合には、その演算を単純化することができる。

本実施の形態においては、投光部１４０の各領域１４０Ａ〜１４０Ｄに光出射部材として光ファイバ１４２が設けられるが、本発明はこれに限定されない。投光部１４０の各領域１４０Ａ〜１４０Ｄに光出射部材としてＬＥＤ等の光源が設けられてもよい。この場合、処理装置２００に光生成部３００が設けられない。この構成においては、各領域１４０Ａ〜１４０Ｄに設けられた１または複数の光源が光を出射することにより、各領域１４０Ａ〜１４０Ｄから光が出射される。

図４（ａ）〜（ｃ）は、投光部１４０の配置例を示す模式図である。本実施の形態においては、図４（ａ）に示すように、投光部１４０はレンズユニット１３１に取り付けられる。本発明はこれに限定されず、図４（ｂ）に示すように、投光部１４０はステージ１２１上に配置されてもよい。あるいは、図４（ｃ）に示すように、投光部１４０は、ステージ１２１とレンズユニット１３１との間に配置され、保持部１１４によりスタンド部１１０に保持されてもよい。

さらに、本実施の形態においては、投光部１４０に４つの光を出射する領域１４０Ａ〜１４０Ｄが設けられるが、本発明はこれに限定されない。投光部１４０に３つ以下または５つ以上の光を出射する領域が設けられてもよい。

また、本実施の形態においては、複数の光出射部材（光ファイバ１４２）が対物レンズ１３１ａの光軸Ａ１を中心とする１つの円周上に配置されるが、本発明はこれに限定されない。複数の光出射部材は、対物レンズ１３１ａの光軸Ａ１を中心とする２つ以上の同心円上に配置されてもよい。さらに、本実施の形態においては、各領域１４０Ａ〜１４０Ｄに複数の光出射部材が配置されるが、本発明はこれに限定されない。各領域１４０Ａ〜１４０Ｄに１つの光出射部材が配置されてもよい。

上記実施の形態において、投光部１４０は、複数の光出射領域の位置関係が変化しないようにユニットとして構成されるが、本発明はこれに限定されない。投光部１４０は、複数の光出射領域の位置関係が変化可能に構成されてもよい。

（ｄ）鏡筒部
図５（ａ），（ｂ）は、それぞれ測定ヘッド１００の外観斜視図および鏡筒部１３０の構成を示す模式図である。図５（ａ）に示すように、測定ヘッド１００は鏡筒部１３０をステージ１２１に対して傾斜させるための傾斜機構１０１を含む。傾斜機構１０１は、Ｙ方向に直交する平面内で保持部１１２の下部に対して保持部１１２の上部を支持する。これにより、傾斜機構１０１は、傾斜中心１３０ｃの周りで鏡筒部１３０をステージ１２１に対して傾斜させることができる。図５（ｂ）においては、傾斜後の鏡筒部１３０が一点鎖線で示される。

ステージ１２１は、図２のステージ制御部５４０による制御に基づいて、観察対象物Ｓの表面が鏡筒部１３０の傾斜中心１３０ｃと略同一の高さに位置するようにＺ方向に移動する。そのため、鏡筒部１３０を傾斜させた場合でも、撮像部１３２の視野が移動しないユーセントリック関係が維持され、観察対象物Ｓの所望の観察領域が撮像部１３２の視野から外れることを防止することができる。

図５（ｂ）に示すように、鏡筒部１３０は、レンズユニット１３１、撮像部１３２および傾斜センサ１３３を含む。撮像部１３２は、図２の撮像制御部５２０による制御に基づいてステージ１２１の載置面に載置された観察対象物Ｓからの光をレンズユニット１３１を介して受光し、原画像データを生成する。

撮像制御部５２０は、撮像部１３２の受光時間、ゲインおよびタイミング等を制御する。例えば、撮像制御部５２０は、リング照明の照射時における受光時間に基づいて各方向性照明の照射時における受光時間を調整する。本例では、上述したように、リング照明の光量は各方向性照明の光量の約４倍であるので、撮像制御部５２０は各方向性照明の照射時における受光時間がリング照明の照射時における受光時間の４倍になるように調整する。

この制御によれば、撮像部１３２は、各方向性照明の照射時における受光時間を独立して調整する場合に比べて高速に原画像データを生成することができる。また、リング照明の照射時における画像と各方向性照明の照射時における画像との明るさを容易に略等しくすることができる。なお、本例では、複数の方向性照明の照射時における撮像部１３２の制御内容は互いに同一である。

また、撮像部１３２は、撮像制御部５２０により受光時間が複数変化された状態で複数の原画像データを生成することができる。図２の演算処理部６００は、撮像部１３２の受光時間が複数変化された状態で生成された複数の原画像データを選択的に合成することにより、ダイナミックレンジが調整された画像データを生成することができる（ＤＲ（ダイナミックレンジ）調整処理）。

Ｚ方向に対する対物レンズ１３１ａの光軸Ａ１の傾斜角度（以下、鏡筒部１３０の傾斜角度と呼ぶ。）は、傾斜センサ１３３により検出され、傾斜角度に対応する角度信号が図１の制御基板１５０に出力される。制御基板１５０は、傾斜センサ１３３により出力された角度信号を図２のケーブル２０３および撮像制御部５２０を介して演算処理部６００に与える。演算処理部６００は、角度信号に基づいて、鏡筒部１３０の傾斜角度を算出する。演算処理部６００により算出された傾斜角度は、図１の表示部４３０に表示させることができる。

上記の構成によれば、ステージ１２１の載置面に載置された観察対象物Ｓの平面観察および傾斜観察を選択的に行うことができる。平面観察時には、対物レンズ１３１ａの光軸Ａ１はＺ方向に平行になる。すなわち、鏡筒部１３０の傾斜角度が０°になる。一方、傾斜観察時には、対物レンズ１３１ａの光軸Ａ１はＺ方向に対して傾斜する。また、使用者は、鏡筒部１３０を図１のスタンド部１１０から取り外し、手持ちまたは他の固定部材により固定した状態で観察対象物Ｓの観察を行うことができる。以下の説明においては、観察対象物Ｓの平面観察が行われる。

（ｅ）焦点駆動部
図２の焦点制御部５３０は、レンズユニット１３１を通過した観察対象物Ｓからの光の焦点位置が観察対象物Ｓに対して相対的にＺ方向に変化するように図１の焦点駆動部１１３を制御する。これにより、図１の撮像部１３２は、Ｚ方向に位置が異なる観察対象物Ｓを示す複数の原画像データを生成することができる。

この処理において、使用者は、焦点駆動部１１３がＺ方向に移動する範囲を指定することができる。移動範囲が指定された場合、焦点制御部５３０は、指定された移動範囲で光の焦点位置がＺ方向に変化するように焦点駆動部１１３を制御する。これにより、撮像部１３２は、Ｚ方向に位置が異なる観察対象物Ｓを示す複数の原画像データを短時間で生成することができる。

また、演算処理部６００は、生成されたＺ方向に位置が異なる観察対象物Ｓを示す複数の原画像データの各々について、画素ごとの合焦度を判定することができる。焦点制御部５３０は、演算処理部６００による合焦度の判定結果に基づいて、撮像部１３２の焦点が観察対象物Ｓの特定の部分に合うように焦点駆動部１１３を調整することができる（オートフォーカス処理）。さらに、演算処理部６００は、合焦度の判定結果に基づいて複数の原画像データを画素ごとに選択的に合成することにより、観察対象物Ｓの全部分に合焦した画像データを生成することができる（深度合成処理）。

図６は、焦点駆動部１１３の構成例を示す図である。本実施の形態においては、投光部１４０はレンズユニット１３１に取り付けられる。図６に点線で示すように、レンズユニット１３１が投光部１４０と一体的に焦点駆動部１１３によりＺ方向に移動される。また、図６に一点鎖線で示すように、ステージ１２１が図１のステージ駆動部１２２によりＺ方向に移動される。このように、レンズユニット１３１および投光部１４０とステージ１２１とが相対的にＺ方向に移動可能である。

観察対象物Ｓとレンズユニット１３１と投光部１４０とのＺ方向の位置関係が変化すると、観察対象物Ｓへ照明を照射する光源の仰角（後述する図９参照）が変化する。

図６の例においては、投光部１４０は鏡筒部１３０に一体的に設けられるが、本発明はこれに限定されない。投光部１４０は、ユニットとして鏡筒部１３０に着脱可能に取り付けられてもよい。この場合、θ方向における投光部１４０とレンズユニット１３１との角度関係を一定に維持するための位置決め機構がレンズユニット１３１または投光部１４０に設けられることが好ましい。

（ｆ）操作部
操作部４４０は、汎用のポインティングデバイスおよびキーボードを含むとともに、図２の制御装置４００の専用のコンソールを含む。図７は、制御装置４００の専用のコンソールを示す平面図である。図７に示すように、コンソール４４０Ａは、ジョイスティック４４１、ダイヤル４４２、複数のボタン４４３およびＺ方向制御ダイヤル４４４を含む。使用者は、Ｚ方向制御ダイヤル４４４を回転させることにより、鏡筒部１３０を上下方向に移動させることができる。

使用者は、ジョイスティック４４１、ダイヤル４４２または複数のボタン４４３を操作することにより、制御装置４００に種々の指示を与えることができる。ジョイスティック４４１は、図１のステージ１２１をＸ方向またはＹ方向に移動させる指示を図２のステージ制御部５４０に与えるために用いられる。ダイヤル４４２は、撮像部１３２により取得される画像の明るさを調整するために使用される。

複数のボタン４４３の一部は、図３の投光部１４０からの光の出射のオンおよびオフの切り替え、ならびに光が出射される領域１４０Ａ〜１４０Ｄの切り替えの指示を図２の投光制御部５１０に与えるために用いられる。複数のボタン４４３の他の一部は、上記のオートフォーカス処理または深度合成処理等の種々の処理の指示を演算処理部６００に与えるために使用される。複数のボタン４４３は、生成された原画像データの更新を一時停止させる指示、または生成された原画像データを図２の記憶部４２０に記憶させる指示を制御装置４００に与えるためにも使用される。

また、複数のボタン４４３は、取得された画像の倍率、図５（ｂ）の鏡筒部１３０の傾斜角度またはステージ１２１の位置を図２の表示部４３０に表示させる指示を制御装置４００に与えるためにも使用される。さらに、制御装置４００は、画像の解像度の調整、ホワイトバランスの調整、三次元表示および手ぶれ補正等を実行可能に構成される。複数のボタン４４３は、これらの処理の実行の指示を制御装置４００に与えるためにも使用される。

（ｇ）演算処理部
図８は、図２の演算処理部６００の構成を示すブロック図である。図８に示すように、演算処理部６００は、データ生成部６１０、合焦判定部６２０、算出部６３０および条件設定部６４０を含む。

データ生成部６１０は、図１の撮像部１３２により生成される複数の原画像データの少なくとも１つに基づいて表示用画像データを生成する。また、データ生成部６１０は、使用者の指示に従って画像データにＤＲ調整処理または深度合成処理を行う。

合焦判定部６２０は、図２の焦点制御部５３０がオートフォーカス処理を行う際に、焦点駆動部１１３のＺ方向の移動により生成された複数の原画像データの各々について画素ごとの合焦度を判定する。また、合焦判定部６２０は、データ生成部６１０が深度合成処理を行う際に、複数の原画像データについて画素ごとの合焦度を判定する。

算出部６３０は、図５の傾斜センサ１３３により出力される角度信号に基づいて、図５の鏡筒部１３０の傾斜角度を算出する。また、算出部６３０は、使用者の指示に従って、算出した鏡筒部１３０の傾斜角度を図２の表示部４３０に表示させる。さらに、算出部６３０は、ステージ１２１に設けられる図示しない位置センサから出力される位置信号に基づいて、図１のステージ１２１の位置を算出する。また、算出部６３０は、使用者の指示に従って、算出したステージ１２１の位置を図２の表示部４３０に表示させる。

条件設定部６４０は、撮像条件設定部６４１および照明条件設定部６４２を含む。撮像条件設定部６４１は、使用者の指示に従って撮像条件を設定する。また、条件設定部６４０は、設定した撮像条件を示す撮像情報を図２の記憶部４２０に記憶させる。撮像条件は、例えば図１の撮像部１３２の受光時間、ＤＲ調整処理の実行の有無、深度合成処理の実行の有無およびＺ方向における光の焦点位置の範囲等を含む。図２の駆動制御部５００は、撮像条件設定部６４１により設定された撮像条件に基づいて図１の測定ヘッド１００および光生成部３００の動作を制御する。

照明条件設定部６４２は、使用者の指示に従って照明条件を設定する。また、照明条件設定部６４２は、設定した照明条件に対応する照明情報を記憶部４２０に記憶させる。照明条件は、観察対象物Ｓに対する光の仮想的な出射方向を含む。データ生成部６１０は、照明条件設定部６４２により設定された照明条件に基づいて表示用画像データを生成し、記憶部４２０に記憶させる。使用者による照明条件の指示方法については後述する。

（２）拡大観察装置の基本動作
（ａ）基本動作の内容
ステージ１２１の載置面において、対物レンズ１３１ａの光軸Ａ１が交差する位置を基準点と呼ぶ。観察対象物Ｓは観察対象部分が基準点上に位置するようにステージ１２１に載置される。この状態で、観察対象物Ｓの少なくとも一部に対物レンズ１３１ａの焦点が合うようにレンズユニット１３１（図１）のＺ方向の位置が調整される。また、観察対象物Ｓの所望の部分を観察することができるように、ステージ１２１がＸ方向およびＹ方向に調整される。さらに、撮像部１３２の受光時間およびホワイトバランス等の撮像条件が調整される。

以下の説明では、上記の４つの方向性照明を区別するために、投光部１４０の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの各々から出射される光をそれぞれ第１の方向性照明、第２の方向性照明、第３の方向性照明および第４の方向性照明と呼ぶ。また、以下の説明では、リング照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向をリング出射方向と呼ぶ。リング出射方向は、ステージ１２１の載置面に対して垂直な方向である。また、第１の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第１の出射方向と呼び、第２の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第２の出射方向と呼ぶ。さらに、第３の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第３の出射方向と呼び、第４の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第４の出射方向と呼ぶ。

ここで、基準点上に載置される観察対象物Ｓに光を照射する際の光の出射方向または出射位置が特定可能となるように、ステージ１２１の載置面上に基準点を原点とする極座標系を定義する。図９は、ステージ１２１の載置面上に定義される極座標系を示す図である。図９に示すように、ステージ１２１の載置面上の基準点が原点Ｏとして定義される。図９に太い実線で示すように、ステージ１２１の載置面を上方から見た状態で原点Ｏを中心として反時計回りの方向に方位角が定義される。本例では、原点Ｏから拡大観察装置１の一側方に向く方向が方位角の基準角度（０°）として定義される。

また、載置面上または載置面よりも上方の任意の位置に点Ｑを仮定する。この場合、図９に太い一点鎖線で示すように、点Ｑと原点Ｏとを結ぶ直線と、載置面との間の角度が点Ｑの仰角として定義される。点Ｑが載置面上にある場合、点Ｑの仰角は０°である。点Ｑが載置面の上方でかつ光軸Ａ１上にある場合、点Ｑの仰角は９０°である。図９では、ステージ１２１の載置面上の方位角が９０°ごとに示される。以下の説明では、ステージ１２１の載置面よりも上方の任意の位置、または観察対象物Ｓに照射される光の向き等を説明する際に、上記のように定義された「仰角」および「方位角」を適宜用いる。

本例では、投光部１４０の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの中央部分が、光軸Ａ１を中心としてそれぞれ４５°、１３５°、２２５°および３１５°の方位角で配置される。なお、投光部１４０の配置は、上記の例に限定されない。例えば、領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの中央部分が、光軸Ａ１を中心としてそれぞれ０°、９０°、１８０°および２７０°の方位角で配置されてもよい。リング照明および第１〜第４の方向性照明を用いて観察対象物Ｓを順次撮像することを複数照明撮像と呼ぶ。

拡大観察装置１の各構成要素は、複数照明撮像の指示に応答して以下の基本動作を行う。図１０は、複数照明撮像が指示されたときの拡大観察装置１の基本動作を説明するための模式図である。図１０（ａ）〜（ｅ）に、観察対象物Ｓに照射される照明の変化が時系列で示される。図１０（ａ）〜（ｅ）では、光を出射する投光部１４０の領域が太い実線で示されるとともに、リング出射方向および第１〜第４の出射方向がそれぞれ太い実線の矢印で示される。図１０（ｆ）〜（ｊ）に、図１０（ａ）〜（ｅ）の各照明が観察対象物Ｓに照射されたときの観察対象物Ｓの画像ＳＩが示される。以下の説明では、観察対象物Ｓが表示された画像のうち観察対象物Ｓの表示部分を対象部分画像ｓｐと呼ぶ。

図１０（ａ）に示すように、まず観察対象物Ｓにリング照明が照射され、観察対象物Ｓが撮像される。この場合、対物レンズ１３１ａの光軸Ａ１を取り囲む全ての領域１４０Ａ〜１４０Ｄから観察対象物Ｓの各部分に第１〜第４の方向性照明が同時かつ均一に照射される。それにより、図１０（ｆ）に示すように、リング照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐに観察対象物Ｓの形状による影がほとんど発生しない。したがって、観察対象物Ｓのうち上方を向く部分の表面状態をほぼ全体に渡って観察することができる。

次に、図１０（ｂ）に示すように、観察対象物Ｓに第１の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１０（ｇ）に示すように、第１の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第１の出射方向および観察対象物Ｓの形状に応じて４５°の方位角の位置から２２５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第１の出射方向に強く強調される。

次に、図１０（ｃ）に示すように、観察対象物Ｓに第２の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１０（ｈ）に示すように、第２の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第２の出射方向および観察対象物Ｓの凹凸に応じて１３５°の方位角の位置から３１５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第２の出射方向に強く強調される。

次に、図１０（ｄ）に示すように、観察対象物Ｓに第３の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１０（ｉ）に示すように、第３の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第３の出射方向および観察対象物Ｓの凹凸に応じて２２５°の方位角の位置から４５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第３の出射方向に強く強調される。

次に、図１０（ｅ）に示すように、観察対象物Ｓに第４の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１０（ｊ）に示すように、第４の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第４の出射方向および観察対象物Ｓの凹凸に応じて３１５°の方位角の位置から１３５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第４の出射方向に強く強調される。

複数の原画像データがそれぞれ記憶部４２０に記憶される際には、各原画像データから一部の画素データが間引かれることにより、各原画像データに対応するサムネイル画像データが生成され、生成されたサムネイル画像データが記憶部４２０に記憶される。

上記の一連の動作は、後述するように図１の制御部４１０が記憶部４２０に記憶されたシステムプログラムを実行することにより自動的に行われるが、使用者の操作に基づいて手動で行われてもよい。

複数照明撮像が完了すると、図１の表示部４３０に観察画面が表示される。図１１は、観察画面の一表示例を示す図である。図１１に示すように、観察画面４３０Ａの上部に機能表示領域４３１が設定される。機能表示領域４３１には、深度合成ボタンｂ１、ＤＲ調整ボタンｂ２および保存ボタンｂ７が表示される。

使用者は、図７のコンソール４４０Ａを用いて機能表示領域４３１に表示される各ボタンを操作することができる。深度合成ボタンｂ１、ＤＲ調整ボタンｂ２および保存ボタンｂ７がそれぞれ操作されることにより実行される処理の内容については後述する。

図１１に示すように、機能表示領域４３１の下方に主表示領域４３２および副表示領域４３３が左右に並ぶように設定される。主表示領域４３２は、機能表示領域４３１および副表示領域４３３に比べて大きい面積を有する。初期状態では、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像ＳＩのうちの１つが主表示領域４３２のほぼ全体に渡って表示される。本例では、第１の方向性照明が照射されたときの観察対象物Ｓの画像ＳＩ（図１０（ｂ），（ｇ）参照）が主表示領域４３２に表示される。

副表示領域４３３には、出射方向指定欄４３３ａおよび出射方向表示欄４３３ｂが表示される。出射方向指定欄４３３ａには、載置面上の観察対象物Ｓの位置を示す対象物位置画像ｓｓ０が表示される。また、投光部１４０よりも上方の位置から観察対象物Ｓを見たときの観察対象物Ｓに対する光の出射位置を示す光アイコンｓｓ１が対象物位置画像ｓｓ０上に重畳表示される。

この場合、対象物位置画像ｓｓ０上の観察対象物Ｓの対象部分画像ｓｐと光アイコンｓｓ１との相対的な位置関係は、主表示領域４３２に表示される画像ＳＩを得るために観察対象物Ｓに照射されるべき光の出射方向（以下、光の仮想的な出射方向と呼ぶ。）に対応する。対象物位置画像ｓｓ０として、例えばリング照明に対応するサムネイル画像を用いることができる。

使用者は、図７のコンソール４４０Ａを操作することにより、図１１の光アイコンｓｓ１を対象物位置画像ｓｓ０上の観察対象物Ｓの対象部分画像ｓｐに対して相対的に移動させることにより、光の仮想的な出射位置を把握しつつ光の仮想的な出射方向を容易に指定することができる。

使用者により光の仮想的な出射方向が指定されることにより、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩは、指定された出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像ＳＩに更新される。画像ＳＩの更新処理は、図８のデータ生成部６１０により実行される。

出射方向表示欄４３３ｂには、載置面上の基準点を示す画像が基準点画像ｓｓ２として表示されるとともに、ステージ１２１上で基準点を覆う仮想的な半球の画像が半球画像ｓｓ３として立体的に表示される。半球画像ｓｓ３上には、光アイコンｓｓ１により指定される光の仮想的な出射方向に対応する光の出射位置を示す画像が出射位置画像ｓｓ４として表示される。

さらに、半球画像ｓｓ３上の出射位置画像ｓｓ４と基準点画像ｓｓ２とを結ぶように直線が表示される。この場合、直線上で出射位置画像ｓｓ４から基準点画像ｓｓ２に向かう方向が、光アイコンｓｓ１により指定される光の出射方向を示す。使用者は、出射方向表示欄４３３ｂに表示される基準点画像ｓｓ２、半球画像ｓｓ３および出射位置画像ｓｓ４を視認することにより、光アイコンｓｓ１により指定される光の仮想的な出射方向を容易かつ正確に認識することができる。

拡大観察装置１は、リング照明および第１〜第４の方向性照明のうちの一部のみを複数照明撮像に用いる照明として選択可能に構成されてもよい。リング照明および第１〜第４の方向性照明のうちの一部のみを用いて複数照明撮像が行われると、光アイコンｓｓ１により指定可能な出射方向の範囲が制限される場合がある。

この場合、半球画像ｓｓ３においては、出射方向指定欄４３３ａの光アイコンｓｓ１により指定可能な出射方向の範囲が指定不可能な出射方向の範囲から識別可能に表示されてもよい。例えば、指定可能な出射方向の範囲が特定の方位角の範囲に制限される場合、指定可能な方位角の範囲に対応する部分と指定不可能な方位角の範囲に対応する部分とで色等の表示態様を異ならせてもよい。それにより、使用者は、光アイコンｓｓ１により指定可能な出射方向の範囲を容易に認識することができる。あるいは、半球画像ｓｓ３は、上記の例に代えて、光アイコンｓｓ１により指定可能な出射方向の範囲のみを表示してもよい。

本例では、出射方向表示欄４３３ｂに、基準点を覆う仮想的な半球が半球画像ｓｓ３として立体的に表示されるが、本発明はこれに限定されない。出射方向表示欄４３３ｂには、基準点を覆う仮想的な半球を上方から見た平面半球画像と仮想的な半球を一側方から見た側面半球画像とが表示されてもよい。この場合、平面半球画像上に基準点画像ｓｓ２と出射位置画像ｓｓ４とが表示されてもよい。また側面半球画像上に基準点画像ｓｓ２と出射位置画像ｓｓ４とが表示されてもよい。

図１２は、光の仮想的な出射方向の指定に応答して観察対象物Ｓの画像ＳＩが更新されるときの処理内容を説明するための模式図である。

拡大観察装置１においては、図１１の副表示領域４３３に表示される対象物位置画像ｓｓ０について予め定められた平面座標系が定義されている。さらに、図１２（ａ）に示すように、図１１の対象物位置画像ｓｓ０上には、上記のリング照明ならびに第１、第２、第３および第４の出射方向にそれぞれ対応する光の出射位置を示す点ＰＡ，ＰＢ，ＰＣ，ＰＤ，ＰＥが予め設定されている。

点ＰＡ〜ＰＥの位置は、例えば投光部１４０とステージ１２１との相対的な位置関係に基づいて設定される。本例では、点ＰＡは、対象物位置画像ｓｓ０の中心に位置し、点ＰＢ，ＰＣ，ＰＤ，ＰＥは、点ＰＡを中心とする同心円上に等角度間隔で並ぶ。

制御部４１０は、予め定められた周期で光アイコンｓｓ１の対象物位置画像ｓｓ０上の位置（座標）を検出し、光アイコンｓｓ１の位置に対応する観察対象物Ｓの画像ＳＩを図１１の主表示領域４３２に表示させる。

例えば、制御部４１０は、光アイコンｓｓ１が図１２（ａ）の点ＰＡ上に位置する場合にリング出射方向に対応する図１０（ｆ）の画像ＳＩを図１１の主表示領域４３２に表示させる。また、制御部４１０は、光アイコンｓｓ１が図１２（ａ）の点ＰＢ上に位置する場合に第１の出射方向に対応する図１０（ｇ）の画像ＳＩを図１１の主表示領域４３２に表示させ、光アイコンｓｓ１が図１２（ａ）の点ＰＣ上に位置する場合に第２の出射方向に対応する図１０（ｈ）の画像ＳＩを図１１の主表示領域４３２に表示させる。さらに、制御部４１０は、光アイコンｓｓ１が図１２（ａ）の点ＰＤ上に位置する場合に第３の出射方向に対応する図１０（ｉ）の画像ＳＩを図１１の主表示領域４３２に表示させ、光アイコンｓｓ１が図１２（ａ）の点ＰＥ上に位置する場合に第４の出射方向に対応する図１０（ｊ）の画像ＳＩを図１１の主表示領域４３２に表示させる。

光アイコンｓｓ１が点ＰＡ〜ＰＥとは異なる位置にある場合、制御部４１０は、以下の手順に従って主表示領域４３２に表示させるべき観察対象物Ｓの画像ＳＩを生成する。

図１２（ａ）に示すように、制御部４１０は、光アイコンｓｓ１が点ＰＡ〜ＰＥとは異なる位置にある場合、各点ＰＡ〜ＰＥと光アイコンｓｓ１との間の距離を算出する。また、制御部４１０は、算出された距離の短い順に複数の点ＰＡ〜ＰＥから予め定められた数の点（本例では３つの点）を抽出する。図１２（ａ）の例では、光アイコンｓｓ１と点ＰＢとの間の距離ｄ１が最も短く、光アイコンｓｓ１と点ＰＡとの間の距離ｄ２が２番目に短く、光アイコンｓｓ１と点ＰＣとの間の距離ｄ３が３番目に短い。したがって、制御部４１０は点ＰＡ，ＰＢ，ＰＣを抽出する。

続いて、制御部４１０は、距離ｄ１，ｄ２，ｄ３に基づいて、点ＰＡに対応する原画像データと、点ＰＢに対応する原画像データと、点ＰＣに対応する原画像データとの合成割合を決定する。

合成割合は、例えば距離ｄ１，ｄ２，ｄ３の値の逆数の比である。この場合、合成割合は、光アイコンｓｓ１からの距離が短い点に対応する原画像データほど高くなり、光アイコンｓｓ１からの距離が遠い点に対応する原画像データほど低くなる。図１２（ｂ）の例では、点ＰＡに対応する原画像データ、点ＰＢに対応する原画像データおよび点ＰＣに対応する原画像データの合成割合が、それぞれ３０％、５０％および２０％として決定されている。

制御部４１０は、決定した合成割合に基づいて点ＰＡ，ＰＢ，ＰＣにそれぞれ対応する３つの原画像データを合成する。具体的には、制御部４１０は、原画像データごとにその原画像データの全画素データの値（画素値）に合成割合を乗算し、乗算後の３つの原画像データを合成することにより表示用画像データを生成する。その後、制御部４１０は、生成された表示用画像データに基づく画像ＳＩを図１１の主表示領域４３２に表示させる。

図１２（ｃ）に、図１２（ａ）の光アイコンｓｓ１の位置に対応して主表示領域４３２に表示される画像ＳＩの一例が示される。図１２（ｃ）の画像ＳＩにおいては、点ＰＡ，ＰＢ，ＰＣにそれぞれ対応する３つの原画像データが合成されることにより、観察対象物Ｓにおける凹凸部分が図１２（ａ）の光アイコンｓｓ１により指定される光の仮想的な出射方向に強く強調されている。

上記のように、主表示領域４３２に表示される画像ＳＩの画像データは、複数照明撮像の完了後、生成された複数の原画像データと使用者により指定された光の仮想的な出射方向とに基づいて生成される。そのため、使用者により指定される光の仮想的な出射方向が連続的に変化する場合であっても、指定された出射方向に対応する複数の画像データが、制御部４１０の処理能力に応じた速度でほぼ連続的に生成される。また、生成された複数の画像データに基づく画像ＳＩが連続的に表示される。したがって、照明の位置を変化させつつ継続して撮像を行った場合に得られる映像（動画）とほぼ同じ映像が主表示領域４３２上で擬似的に再現される。それにより、使用者は、光の仮想的な出射方向を指定しつつ主表示領域４３２上の画像ＳＩを視認することにより、指定された出射方向の光が観察対象物Ｓにリアルタイムに照射されているように感じる。

上記の例では、制御部４１０は、リング照明および第１〜第４の方向性照明に対応する点ＰＡ〜ＰＥのうち３つの点を抽出し、抽出された３つの点に対応する３つの原画像データの合成割合を決定するが、本発明はこれに限定されない。制御部４１０は、全ての点ＰＡ〜ＰＥにそれぞれ対応する５つの原画像データについて合成割合を決定し、決定された合成割合に基づいて５つの原画像データを合成してもよい。

なお、図１１の観察画面４３０Ａ上には、図７のコンソール４４０Ａにより複数照明撮像により得られる複数の原画像データについての合成割合を入力可能な合成割合入力欄が表示されてもよい。この場合、制御部４１０は、使用者により合成割合入力欄に入力された値に基づいて複数の原画像データのうちの一部または全てを合成してもよい。

図１１の観察画面４３０Ａにおいては、副表示領域４３３に表示される対象物位置画像ｓｓ０上に光アイコンｓｓ１が重畳表示される。本実施の形態においては、対象物位置画像ｓｓ０上の光アイコンｓｓ１に加えて、主表示領域４３２に表示される画像ＳＩ上にも光アイコンｓｓ１が重畳表示されてもよい。図１３は、主表示領域４３２および副表示領域４３３にそれぞれ光アイコンｓｓ１が表示される例を示す図である。

この場合、観察対象物Ｓの画像ＳＩ上にも、上記の点ＰＡ〜ＰＥが設定される。使用者は、例えば図７のコンソール４４０Ａを用いて観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１および対象物位置画像ｓｓ０上の光アイコンｓｓ１のうちいずれか一方を観察画面４３０Ａ上で移動させることができる。

対象物位置画像ｓｓ０上の光アイコンｓｓ１が移動された場合、制御部４１０は、上記の図１２を用いて説明した例と同様の手順で表示用画像データを生成し、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示する。このとき、制御部４１０は、対象物位置画像ｓｓ０上の光アイコンｓｓ１の位置に対応する位置へ移動するように、画像ＳＩ上の光アイコンｓｓ１の位置を調整する。

観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１が移動された場合、制御部４１０は、画像ＳＩ上の光アイコンｓｓ１の位置と、画像ＳＩに設定された点ＰＡ〜ＰＥとの位置関係に基づいて表示用画像データを生成し、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示する。このとき、制御部４１０は、画像ＳＩ上の光アイコンｓｓ１の位置に対応する位置へ移動するように、対象物位置画像ｓｓ０上の光アイコンｓｓ１の位置を調整する。

図１３の例によれば、使用者は、２つの光アイコンｓｓ１のうち所望の光アイコンｓｓ１を用いて光の仮想的な出射方向を指定することができる。なお、図１３の例においては、２つの光アイコンｓｓ１は必ずしも同時に表示されなくてもよい。例えば、観察画面４３０Ａ上に表示される各種ボタンおよび光アイコンｓｓ１等がポインタにより操作される場合には、観察画面４３０Ａ上のポインタの位置に応じて２つの光アイコンｓｓ１のうちの一方の光アイコンｓｓ１のみが観察画面４３０Ａ上に表示されてもよい。具体的には、マウスポインタが主表示領域４３２上に位置する場合には、観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１のみが表示され、対象物位置画像ｓｓ０上の光アイコンｓｓ１が表示されなくてもよい。また、マウスポインタが副表示領域４３３上に位置する場合には、対象物位置画像ｓｓ０上の光アイコンｓｓ１のみが表示され、観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１が表示されなくてもよい。

なお、対象物位置画像ｓｓ０上の光アイコンｓｓ１は、マウスポインタの位置に関わらず表示されていてもよい。これにより、使用者は、光の仮想的な出射位置を容易に把握することができる。

また、使用者は、マウスポインタを主表示領域４３２内で移動させることにより光アイコンｓｓ１を動かし、光の仮想的な出射位置の指定をすることができる。これにより、使用者は、マウスポインタを主表示領域４３２内で移動させることにより、連続的に光の仮想的な出射位置の指定を変えることができる。なお、主表示領域４３２内で光の仮想的な出射位置の指定を可能とする場合には、出射方向指定欄４３３ａの内部においてマウスポインタを移動させても光の仮想的な出射位置の指定を変えられないこととしてもよい。

また、出射方向表示欄４３３ｂに光アイコンｓｓ１を配置してもよい。この場合、出射方向表示欄４３３ｂに表示される光アイコンｓｓ１は、光の仮想的な出射位置を立体的に使用者に示すためのものである。出射方向表示欄４３３ｂに表示される光アイコンｓｓ１は、マウスポインタにより操作可能としてもよいし、光の仮想的な出射位置を立体的に示すためのものとしてマウスポインタによる操作は不可能としてもよい。光の仮想的な出射位置を仰角と方位角とで数値的に示す数値表示部がさらに設けられてもよい。

さらに、上記のように、観察画面４３０Ａ上の複数の領域で同時に表示される複数の光アイコンｓｓ１は、連動して動いてもよい。マウスポインタにより主表示領域４３２内に表示される光アイコンｓｓ１を操作することにより光の仮想的な出射位置を変える場合、マウスポインタおよび主表示領域４３２内に表示される光アイコンｓｓ１の動作に連動して、出射方向指定欄４３３ａおよび出射方向表示欄４３３ｂ内に表示される光アイコンｓｓ１が連動してもよい。このように、二次元の観察画像が表示される主表示領域４３２において、光の仮想的な出射位置を指定することで仰角および方位角を指定することもできる。主表示領域４３２内で光アイコンｓｓ１を操作することにより出射方向表示欄４３３ｂにおける光の仮想的な出射位置の表示が連動し、仰角を有する位置から光が照射されたと仮想した場合の照明が観察対象物Ｓに照射される。

ここで、出射方向表示欄４３３ｂには、光の仮想的な出射位置と仰角および方位角を理解しやすいように、光の仮想的な出射位置と仰角および方位角を示す半球の模式図が表示されている。

表示部４３０に図１１の観察画面４３０Ａが表示された状態で、光アイコンｓｓ１により光の仮想的な出射方向が指定される場合の観察画面４３０Ａの変化について具体例を説明する。

図１４は、観察画面４３０Ａの他の表示例を示す図である。図１４では、以下の説明の理解を容易にするために、出射方向指定欄４３３ａに表示される対象物位置画像ｓｓ０上に図１２（ａ）の５つの点ＰＡ〜ＰＥを示している。

図１４の出射方向指定欄４３３ａに点線で示すように、例えば点ＰＢ〜ＰＥが並ぶ点ＰＡの同心円上で点ＰＢの位置から点ＰＢ，ＰＥの間の位置にかけて光アイコンｓｓ１が移動される。この場合、制御部４１０は、上記の例と同様に点ＰＡ〜ＰＥにそれぞれ対応する複数の原画像データのうちの一部の原画像データを合成することにより、表示用画像データを生成する。また、制御部４１０は、生成した表示用画像データに基づく観察対象物Ｓの画像ＳＩを主表示領域４３２に表示させる。

図１４の主表示領域４３２に表示される画像ＳＩにおいては、観察対象物Ｓにおける凹凸部分が出射方向指定欄４３３ａの光アイコンｓｓ１により指定される光の仮想的な出射方向に強く強調されている。

仮想的な光の出射方向は、方位角および仰角の成分を含む。本例では、点ＰＢ〜ＰＥが並ぶ点ＰＡの同心円上で光アイコンｓｓ１が移動される。使用者は、対象物位置画像ｓｓ０上で光アイコンｓｓ１を対象物位置画像ｓｓ０の中心に対して回転するように移動させることにより仮想的な光の出射方向の方位角を指定することができる。それにより、光の仮想的な出射方向の方位角が、光アイコンｓｓ１により指定された方位角に変更される。このように、使用者は、光アイコンｓｓ１を操作することにより、光の仮想的な出射方向の方位角を所望の方向に指定することができる。その結果、主表示領域４３２に表示される画像ＳＩにおいて、観察対象物Ｓにおける凹凸部分の強調される方向をθ方向に容易に変更することができる。

図１５は、観察画面４３０Ａのさらに他の表示例を示す図である。図１５においても、図１４の例と同様に、出射方向指定欄４３３ａに表示される対象物位置画像ｓｓ０上に、図１２（ａ）の５つの点ＰＡ〜ＰＥを示している。図１５の出射方向指定欄４３３ａに点線で示すように、光アイコンｓｓ１が図１４の出射方向指定欄４３３ａに示される位置から点ＰＡに近づくように移動される。この場合、制御部４１０は、上記の例と同様に点ＰＡ〜ＰＥにそれぞれ対応する複数の原画像データのうちの一部の原画像データを合成することにより、表示用画像データを生成する。また、制御部４１０は、生成した表示用画像データに基づく観察対象物Ｓの画像ＳＩを主表示領域４３２に表示させる。

図１５の主表示領域４３２に表示される画像ＳＩにおいては、観察対象物Ｓにおける凹凸部分が、図１４の主表示領域４３２に表示される画像ＳＩに比べて弱く強調されている。

本例では、点ＰＡを中心として点ＰＢ〜ＰＥが並ぶ同心円上から点ＰＡに向かって光アイコンｓｓ１が移動される。使用者は、対象物位置画像ｓｓ０上で光アイコンｓｓ１を対象物位置画像ｓｓ０の中心に対して近づけるまたは遠ざけることにより仮想的な光の出射方向の載置面からの仰角を指定することができる。それにより、光の仮想的な出射方向の載置面からの仰角が、光アイコンｓｓ１により指定された仰角に変更される。このように、使用者は、光アイコンｓｓ１を操作することにより、仮想的な光の出射方向の仰角を所望の角度に指定することができる。その結果、主表示領域４３２に表示される画像ＳＩにおいて、観察対象物Ｓにおける凹凸部分の強調される度合いを容易に変更することができる。

上記の例では、表示部４３０の観察画面４３０Ａ上に、表示用画像データに基づく画像ＳＩを表示するための主表示領域４３２と、光アイコンｓｓ１を操作するための副表示領域４３３とが設定される。それにより、観察対象物Ｓの画像ＳＩと光アイコンｓｓ１とが重ならない。したがって、観察対象物Ｓの画像ＳＩおよび光アイコンｓｓ１が視認しやすい。

使用者は、観察対象物Ｓの画像ＳＩについて光の仮想的な出射方向を所望の方向に指定した状態で、図７のコンソール４４０Ａを用いて図１１の保存ボタンｂ７を操作する。この場合、主表示領域４３２に表示される画像ＳＩの表示用画像データが、その表示用画像データに関する複数のデータとともに記憶部４２０に記憶される。複数のデータには、表示用画像データに関連する複数の原画像データ、複数のサムネイル画像データ、撮像情報、照明情報およびレンズ情報等が含まれる。

ここで、光の仮想的な出射方向を指定するための構成は上記の例に限定されない。図１６〜図１８は、光の仮想的な出射方向を指定するための他の構成例を示す図である。

図１６の例では、観察画面４３０Ａに図１１の副表示領域４３３が設定されず、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩ上に、光アイコンｓｓ１が重畳表示される。この場合、観察対象物Ｓの画像ＳＩ上に、上記の点ＰＡ〜ＰＥが設定される。制御部４１０は、画像ＳＩ上の光アイコンｓｓ１と設定された点ＰＡ〜ＰＥとの位置関係に基づいて表示用画像データを生成し、生成された表示用画像データに基づく画像ＳＩで主表示領域４３２の表示を更新する。使用者は、画像ＳＩ上で光アイコンｓｓ１をより直感的に操作することができるので、光の仮想的な出射方向をより容易に指定することができる。

図１６の例に関して、使用者は、画像ＳＩ上で光アイコンｓｓ１を画像ＳＩの中心に対して回転するように移動させることにより仮想的な光の出射方向の方位角を指定することができる。また、使用者は、画像ＳＩ上で光アイコンｓｓ１を画像ＳＩの中心に対して近づけるまたは遠ざけることにより仮想的な光の出射方向の載置面からの仰角を指定することができる。

図１７の例では、観察画面４３０Ａに図１１の副表示領域４３３が設定されず、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩ上に、左右方向に延びる位置調整バー４３２ａと上下方向に延びる位置調整バー４３２ｂとが表示される。また、位置調整バー４３２ａには、その位置調整バー４３２ａ上で左右方向に移動可能に光アイコンｓｓ５が表示される。さらに、位置調整バー４３２ｂには、その位置調整バー４３２ｂ上で上下方向に移動可能に光アイコンｓｓ６が表示される。

光アイコンｓｓ５は画像ＳＩ上の左右方向の位置（座標）を示し、光アイコンｓｓ６は画像ＳＩ上の上下方向の位置（座標）を示す。本例においても、図１６の例と同様に、観察対象物Ｓの画像ＳＩ上に上記の点ＰＡ〜ＰＥが設定される。制御部４１０は、光アイコンｓｓ５，ｓｓ６により特定される画像ＳＩ上の位置と点ＰＡ〜ＰＥとの位置関係に基づいて表示用画像データを生成し、生成された表示用画像データに基づく画像ＳＩで主表示領域４３２の表示を更新する。使用者は、画像ＳＩ上で光アイコンｓｓ５，ｓｓ６を操作することにより、光の仮想的な出射方向を指定することができる。

図１７の例に関して、使用者は、光アイコンｓｓ５，ｓｓ６により特定される画像ＳＩ上の位置を回転するように移動させることにより仮想的な光の出射方向の方位角を指定することができる。また、使用者は、光アイコンｓｓ５，ｓｓ６により特定される画像ＳＩ上の位置を画像ＳＩの中心に対して近づけるまたは遠ざけることにより仮想的な光の出射方向の載置面からの仰角を指定することができる。なお、上記の図１１の例においては、１つの光アイコンｓｓ１に代えて、図１７の位置調整バー４３２ａ，４３２ｂおよび光アイコンｓｓ５，ｓｓ６と同じ機能を有する複数の指標が副表示領域４３３上に表示されてもよい。

図１８の例では、観察画面４３０Ａに図１１の副表示領域４３３が設定されず、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩ上に、５つのスイッチアイコンｓｓ７が表示される。本例においても、図１６の例と同様に、観察対象物Ｓの画像ＳＩ上に上記の点ＰＡ〜ＰＥが設定される。５つのスイッチアイコンｓｓ７は、それぞれ点ＰＡ〜ＰＥ上に位置し、リング照明および第１〜第４の方向性照明にそれぞれ対応する。

各スイッチアイコンｓｓ７は、オン状態およびオフ状態に切替可能に表示される。この場合、制御部４１０は、オン状態にあるスイッチアイコンｓｓ７に対応する１または複数の画像ＳＩに基づいて表示用画像データを生成してもよい。例えば、画像ＳＩの中央に位置するスイッチアイコンｓｓ７および画像ＳＩの右上に位置するスイッチアイコンｓｓ７がオン状態にされ、残りの全てのスイッチアイコンｓｓ７がオフ状態にされた場合を想定する。この場合、制御部４１０は、上記の点ＰＡ，ＰＢに対応する２つの原画像データを合成することにより表示用画像データを生成してもよい。

複数のスイッチアイコンｓｓ７が、リング出射方向および第１〜第４の出射方向に対応する光の出射位置と同様に配置され場合、使用者は画像ＳＩ上で投光部１４０における光の出射位置を容易に把握することができる。

図１８の例に関して、使用者は、例えば画像ＳＩの中心を取り囲む４つのスイッチアイコンｓｓ７のオン状態およびオフ状態を切り替えることにより仮想的な光の出射方向の方位角を指定することができる。また、使用者は、画像ＳＩの中心に位置するスイッチアイコンｓｓ７のオン状態およびオフ状態を切り替えるとともに、４つのスイッチアイコンｓｓ７のオン状態およびオフ状態を切り替えることにより仮想的な光の出射方向の載置面からの仰角を指定することができる。この場合、指定できる仰角のパターンは少ないものの、スイッチをオン／オフするという操作のみで、仰角を指定することができる。

図１１および図１３〜図１８の例の他、光の仮想的な出射方向を指定するための構成として、仮想的な光の出射方向の方位角および仰角をそれぞれ入力可能な方位角入力欄および仰角入力欄が観察画面４３０Ａに表示されてもよい。この場合、使用者は、方位角入力欄および仰角入力欄を用いて方位角および仰角を指定することにより、光の仮想的な出射方向を指定してもよい。

上記の例では、複数照明撮像の完了後の初期状態で観察画面４３０Ａの主表示領域４３２に、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像ＳＩのうちの１つが表示されるが、本発明はこれに限定されない。拡大観察装置１においては、例えば複数照明撮像が開始される前に、予め初期状態で表示されるべき画像ＳＩに対応する仮想的な光の出射方向が指定可能であってもよい。あるいは、予め初期状態で表示されるべき画像ＳＩに対応する仮想的な光の出射方向は、拡大観察装置１の工場出荷時に予め製造業者により指定されていてもよい。また、使用者の操作を受け付けるまで、複数照明撮像の完了後の初期状態で観察画面４３０Ａの主表示領域４３２に、画像ＳＩに対応する仮想的な光の出射方向が徐々に変化するように、画像ＳＩに対する出射方向が滑らかに変化する画像（動画）が表示されてもよい。

この場合、制御部４１０は、複数照明撮像が完了時に、予め指定された仮想的な光の出射方向と、複数照明撮像により生成された複数の原画像データとに基づいて指定された出射方向に対応する表示用画像データを生成する。また、制御部４１０は、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示させる。

（ｂ）複数照明撮像処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、複数照明撮像プログラムおよび表示用画像生成プログラムを含む。図２の制御部４１０は、複数照明撮像プログラムおよび表示用画像生成プログラムを実行することにより、複数照明撮像処理および表示用画像生成処理を行う。複数照明撮像処理および表示用画像生成処理により上記の一連の基本動作が実現される。これにより、使用者が熟練していない場合でも、原画像データを容易に生成することができる。

図１９は、複数照明撮像処理の一例を示すフローチャートである。複数照明撮像処理は、使用者による複数照明撮像の指示に応答して開始される。複数照明撮像処理が開始されると、制御部４１０は、予め設定された撮像条件に従ってリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ１０１）。撮像により生成された原画像データは記憶部４２０に記憶される。

次に、制御部４１０はｉを１に設定する（ステップＳ１０２）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ１０３）。撮像により得られる原画像データは記憶部４２０に記憶される。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ１０４）。ｉが４でない場合、制御部４１０は、ｉをｉ＋１に更新し（ステップＳ１０５）、ステップＳ１０３の処理に戻る。

ステップＳ１０４において、ｉが４である場合、制御部４１０は、複数の原画像データにそれぞれ対応する複数のサムネイル画像データを生成する（ステップＳ１０６）。生成された複数のサムネイル画像データは記憶部４２０に記憶される。それにより、複数照明撮像処理が終了する。

上記の説明において、表示部４３０にサムネイル画像を表示する必要がない場合にステップＳ１０６の処理が省略されてもよい。それにより、処理時間が短縮される。

また、上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ１０１の処理は、ステップＳ１０２〜Ｓ１０５の処理よりも後に実行されてもよい。

（ｃ）表示用画像生成処理の一例
図２０および図２１は、表示用画像生成処理の一例を示すフローチャートである。本実施の形態においては、制御部４１０は、複数照明撮像処理の終了後に表示用画像生成処理を開始する。

制御部４１０は、まず複数照明撮像処理で生成された複数の原画像データのうち任意の原画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２０１）。また、制御部４１０は、対象物位置画像ｓｓ０および光アイコンｓｓ１を表示部４３０の出射方向指定欄４３３ａに表示させる（ステップＳ２０２）。さらに、制御部４１０は、基準点画像ｓｓ２、半球画像ｓｓ３および出射位置画像ｓｓ４を表示部４３０の出射方向表示欄４３３ｂに表示させる（ステップＳ２０３）。

その後、制御部４１０は、光アイコンｓｓ１が操作されたか否かを判定する（ステップＳ２０４）。光アイコンｓｓ１が操作されない場合、制御部４１０は、後述するステップＳ２１０の処理に進む。

光アイコンｓｓ１が操作されると、制御部４１０は、光アイコンｓｓ１の操作に応答して光アイコンｓｓ１および出射位置画像ｓｓ４の表示を更新する（ステップＳ２０５）。また、制御部４１０は、光アイコンｓｓ１の操作により光の仮想的な出射方向が指定されたと認識し（ステップＳ２０６）、指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれかであるか否かを判定する（ステップＳ２０７）。ステップＳ２０７の判定処理は、対象物位置画像ｓｓ０上に設定される上記の点ＰＡ〜ＰＥと光アイコンｓｓ１との位置関係に基づいて実行される。

指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれかである場合、制御部４１０は、指定された出射方向に対応する原画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２０８）。その後、制御部４１０は、後述するステップＳ２１０の処理に進む。

ステップＳ２０７において、指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれでもない場合、制御部４１０は、指定された出射方向に基づいて複数の原画像データの合成割合を算出する（ステップＳ２０９）。ステップＳ２０９の算出処理は、ステップＳ２０７の処理と同様に、対象物位置画像ｓｓ０上に設定される上記の点ＰＡ〜ＰＥと光アイコンｓｓ１との位置関係に基づいて実行される。

その後、制御部４１０は、ステップＳ２０９で算出された合成割合に基づいて複数の原画像データを合成することにより表示用画像データを生成し、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２１０）。

本実施の形態においては、使用者は、図７のコンソール４４０Ａを操作することにより、観察対象物Ｓの観察の終了を指示することができる。制御部４１０は、ステップＳ２０９の処理後、観察対象物Ｓの観察の終了が指示されたか否かを判定する（ステップＳ２１１）。観察対象物Ｓの観察の終了が指示されると、制御部４１０は、表示用画像生成処理を終了する。一方、観察対象物Ｓの観察の終了が指示されない場合、制御部４１０は、ステップＳ２０４の処理に戻る。

図２０および図２１の表示用画像生成処理においては、制御部４１０は、ステップＳ２０９の処理中または処理後に、指定された仮想的な光の出射方向の方位角および仰角のうち少なくとも一方を算出してもよい。この場合、制御部４１０は、算出された方位角および仰角のうち少なくとも一方を表示部４３０に表示させてもよい。それにより、使用者は、指定した光の仮想的な出射方向についての情報を容易に認識することができる。

上記の表示用画像生成処理においては、ステップＳ２０１の処理で複数照明撮像処理で生成された複数の原画像データのうち任意の原画像データに基づく観察対象物Ｓの画像ＳＩが表示部４３０に表示されるが、本発明はこれに限定されない。ステップＳ２０１の処理において、制御部４１０は、任意の原画像データに代えて、予め定められた照明（例えばリング照明）に対応する原画像データに基づく画像ＳＩを表示部４３０に表示させてもよい。または、制御部４１０は、ステップＳ２０１の処理を省略してもよい。

上記の例では、表示用画像生成処理は、複数照明撮像処理の終了後に実行されるが、本発明はこれに限定されない。複数照明撮像処理が連続的または間欠的に一定周期で実行される場合、表示用画像生成処理は複数照明撮像処理と並行して実行されてもよい。この場合、直前の複数照明撮像処理により記憶部４２０に記憶される最新の複数の原画像データに基づいて表示用画像生成処理を実行することができる。

本実施の形態に係る拡大観察装置１においては、使用者は、図７のコンソール４４０Ａを用いて記憶部４２０に記憶された複数の原画像データの一部を指定することができる。この場合、制御部４１０は、使用者による原画像データの指定に応答し、指定された原画像データを読み込み、読み込んだ原画像データに基づく表示用画像生成処理を行ってもよい。

（３）深度合成処理
（ａ）処理内容
使用者は、図７のコンソール４４０Ａの複数のボタン４４３のいずれかを操作することにより、またはコンソール４４０Ａを用いて図１１の深度合成ボタンｂ１を操作することにより、図１の制御部４１０に深度合成処理の指示を与えることができる。

深度合成処理では、Ｚ方向における光の焦点位置の範囲および焦点位置の移動ピッチが深度合成処理用の撮像条件として予め設定されることが好ましい。この場合、図１の焦点駆動部１１３は過度に大きい範囲で光の焦点位置を変化させる必要がないので、複数の原画像データを高速に生成することができる。撮像条件は、例えば使用者によるコンソール４４０Ａの操作に基づいて設定される。なお、Ｚ方向における光の焦点位置の範囲および焦点位置の移動ピッチは、撮像に用いられる対物レンズ１３１ａの倍率等に応じて自動的に設定されてもよい。以下の説明では、深度合成処理用の撮像条件は予め設定されているものとする。

図２２は、深度合成処理の概念図である。図２２（ａ）に、レンズユニット１３１と投光部１４０とステージ１２１との位置関係が示される。本例では、ステージ１２１が静止した状態で、レンズユニット１３１が投光部１４０と一体的にＺ方向に移動される。この場合、予め指定されたＺ方向における光の焦点位置の範囲および焦点位置の移動ピッチに基づいて、レンズユニット１３１（対物レンズ１３１ａ）が移動すべきＺ方向の位置Ｈ１〜Ｈｊ（ｊは自然数）が定まる。

深度合成処理では、レンズユニット１３１が位置Ｈ１〜Ｈｊの各々に位置決めされた状態でリング照明および第１〜第４の方向性照明を用いて観察対象物Ｓが撮像される。それにより、リング照明および第１〜第４の方向性照明を用いて位置Ｈ１〜Ｈｊにそれぞれ対応する複数（ｊ個）の原画像データが生成される。図２２（ｂ）に、位置Ｈ１〜Ｈｊにそれぞれ対応する観察対象物Ｓの複数の画像ＳＩが照明ごとに示される。

リング照明を用いた撮像により得られた複数の原画像データの各々について、画素ごとの合焦度が判定される。合焦度の判定結果に基づいて、複数の原画像データが選択的に合成される。それにより、リング照明が照射された観察対象物Ｓの全部分に合焦した深度合成画像データが生成される。また、各方向性照明に対応する複数の原画像データと後述するマスクイメージデータとに基づいて各方向性照明に対応する深度合成画像データが生成される。深度合成画像データに基づく画像を深度合成画像と呼ぶ。図２２（ｂ）に、リング照明および第１〜第４の方向性照明にそれぞれ対応する観察対象物Ｓの複数の深度合成画像ＳＦが示される。

制御部４１０は、複数の原画像データに代えて深度合成処理により生成された複数の深度合成画像データに基づいて表示用画像生成処理を実行する。それにより、使用者は、所望の方向から観察対象物Ｓに光が照射されたと仮定した場合に得られるべき観察対象物Ｓの深度合成画像ＳＦを表示部４３０に容易に表示させることができる。

上記の深度合成処理において、照明ごとに位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが生成される。図１１の観察画面４３０Ａには、複数の原画像データの生成のみを指示するための操作ボタンが表示されてもよい。複数の原画像データの生成のみが指示された場合、制御部４１０は、複数の原画像データの生成のみを行った後、焦点のＺ方向の位置について使用者による指定を受け付け、指定されたＺ方向の位置に対応する複数の原画像データを用いて表示用画像生成処理を実行してもよい。

上記の深度合成処理においては、リング照明対応する深度合成画像データが生成される際にマスクイメージデータが生成され、生成されたマスクイメージデータを用いて第１〜第４の方向性照明にそれぞれ対応する複数の深度合成画像データが生成される。マスクイメージデータについて説明する。

鏡筒部１３０とステージ１２１とのＺ方向の位置を変化させつつ観察対象物Ｓを撮像する処理において生成された複数の原画像データの各々には、Ｚ方向における光の焦点位置Ｈ１〜Ｈｊに対応する番号が付与される。図８のデータ生成部６１０は、リング照明に対応する深度合成画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成する。

図２３は、マスクイメージデータを視覚的に示す模式図である。図２３における小さい各正方形は、リング照明に対応する深度合成画像データの各画素データに相当する。また、各正方形に付与された番号は、当該正方形に対応する画素において、Ｚ方向における光の焦点位置Ｈ１〜Ｈｊのうち、どの位置で生成した画素データの画素値が最適であったか、つまり飽和せずに輝度値が最も高くなったのは光のどの焦点位置であるかというデータが抽出された原画像データの番号を示す。すなわち、図２３の例においては、最も左上の画素データは光の焦点位置Ｈ１２の原画像データから抽出され、最も右下の画素データは光の焦点位置Ｈ８５の原画像データから抽出されたことを示す。

データ生成部６１０は、生成したマスクイメージデータに基づいて、第１〜第４の方向性照明の各々に対応する深度合成画像データを生成する。この場合、図８の合焦判定部６２０は、第１〜第４の方向性照明の各々に対応する深度合成画像データを生成する際に、原画像データについて画素ごとの合焦度を判定する必要がない。これにより、深度合成処理を高速化することができる。

上記の説明においては、リング照明および第１〜第４の方向性照明ごとに深度合成画像データが先に生成され、生成された複数の深度合成画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。使用者により指定された光の仮想的な出射方向に基づいて、Ｚ方向の複数の位置Ｈ１〜Ｈｊにそれぞれ対応する複数の表示用画像データが生成され、生成された複数の表示用画像データに基づいて表示用の深度合成画像データが生成されてもよい。この場合、マスクイメージデータは不要である。

なお、上記説明においては、リング照明が出射されたときの画像データに基づいてマスクイメージデータが生成されたが、本発明はこれに限定されない。リング照明が出射されたときの画像データおよび方向性照明が出射されたときの画像データの各々に基づいてマスクイメージデータが生成されてもよい。また、方向性照明が出射されたときのマスクイメージデータは、複数の方向性照明ごとに生成されてもよい。この構成は、リング照明と方向性照明とで光量が異なること等により最適なＺ方向の位置が異なる場合に有用である。

（ｂ）深度合成処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、深度合成プログラムを含む。図２の制御部４１０は、深度合成プログラムを実行することにより、深度合成処理を行う。

図２４、図２５および図２６は、深度合成処理の一例を示すフローチャートである。制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３０１）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３０２）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３０３）。続いて、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３０４）。

ステップＳ３０４において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量（予め設定された移動ピッチ）だけ上方に移動させる（ステップＳ３０５）。その後、制御部４１０は、ステップＳ３０２の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３０２〜Ｓ３０５の処理を繰り返す。

ステップＳ３０４において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、リング照明に対応する各原画像データについて、画素ごとの合焦度を判定する（ステップＳ３０６）。次に、制御部４１０は、合焦度の判定結果に基づいて複数の原画像データの画素データを合成することにより、リング照明に対応する深度合成画像データを生成する（ステップＳ３０７）。また、制御部４１０は、合成された画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成し、記憶部４２０に記憶させる（ステップＳ３０８）。

その後、制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３０９）。次に、制御部４１０は、ｉを１に設定する（ステップＳ３１０）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３１１）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３１２）。続いて、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３１３）。

ステップＳ３１３において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量（予め設定された移動ピッチ）だけ上方に移動させる（ステップＳ３１４）。その後、制御部４１０は、ステップＳ３１１の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３１１〜Ｓ３１４の処理を繰り返す。

ステップＳ３１３において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、記憶部４２０に記憶されたマスクイメージデータに基づいて複数の原画像データの画素データを合成することにより、第ｉの方向性照明に対応する深度合成画像データを生成する（ステップＳ３１５）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３１６）。ステップＳ３１６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３１７）。また、制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３１８）。その後、制御部４１０はステップＳ３１１の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３１１〜Ｓ３１８の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成されるとともに、第１〜第４の方向性照明の各々に対応する深度合成画像データが生成される。ステップＳ３１６において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ３０６〜Ｓ３０８の処理は、ステップＳ３０９〜Ｓ３１４と並列的に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ３１５の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ３１１〜Ｓ３１４と並列的に実行されてもよい。これらの場合、深度合成処理を高速化することができる。

あるいは、ステップＳ３０６〜Ｓ３０８の処理は、ステップＳ３０９〜Ｓ３１４の処理よりも後に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ３１５の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ３１１〜Ｓ３１４の処理よりも後に実行されてもよい。

（ｃ）深度合成処理の他の例
図２７、図２８および図２９は、深度合成処理の他の例を示すフローチャートである。制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３２１）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３２２）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３２３）。

続いて、制御部４１０は、ｉを１に設定する（ステップＳ３２４）。ここで、ｉは複数の方向性照明の番号を示す。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３２５）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３２６）。次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３２７）。

ステップＳ３２７において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３２８）。その後、制御部４１０はステップＳ３２５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３２５〜Ｓ３２８の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。ステップＳ３２７において、ｉが４である場合、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３２９）。

ステップＳ３２９において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量だけ上方に移動させる（ステップＳ３３０）。その後、制御部４１０は、ステップＳ３２２の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３２２〜Ｓ３３０の処理を繰り返す。

ステップＳ３２９において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、リング照明に対応する各原画像データについて、画素ごとの合焦度を判定する（ステップＳ３３１）。次に、制御部４１０は、合焦度の判定結果に基づいて複数の原画像データの画素データを合成することにより、リング照明に対応する深度合成画像データを生成する（ステップＳ３３２）。また、制御部４１０は、合成された画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成し、記憶部４２０に記憶させる（ステップＳ３３３）。

続いて、制御部４１０は、再度ｉを１に設定する（ステップＳ３３４）。その後、制御部４１０は、記憶部４２０に記憶されたマスクイメージデータに基づいて複数の原画像データの画素データを合成することにより、第ｉの方向性照明に対応する深度合成画像データを生成する（ステップＳ３３５）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３３６）。ステップＳ３１６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３３７）。その後、制御部４１０はステップＳ３３５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３３５〜Ｓ３３７の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する深度合成画像データが生成される。ステップＳ３３６において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ３３１〜Ｓ３３７の処理の一部は、ステップＳ３２１〜Ｓ３３０と並列的に実行されてもよい。この場合、深度合成処理を高速化することができる。また、ステップＳ３２２，Ｓ３２３の処理は、ステップＳ３２４〜Ｓ３２８の処理よりも後に実行されてもよい。

上記の深度合成処理の一例および他の例においては、レンズユニット１３１が初期位置として下限位置に移動された後、上限位置まで所定量ずつ上方に移動されるが、本発明はこれに限定されない。深度合成処理においては、レンズユニット１３１が初期位置として上限位置に移動された後、下限位置まで所定量ずつ下方に移動されてもよい。

なお、上記の説明においては、深度合成処理として位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが合成されるが、本発明はこれに限定されない。位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが、合成されることなく独立に利用されてもよい。

例えば、図８の合焦判定部６２０による判定結果に基づいて、撮像部１３２の焦点が観察対象物Ｓの特定の部分に最も一致する原画像データが位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データから抽出されてもよい。この場合、リング照明および第１〜第４の方向性照明にそれぞれ対応して抽出された複数の原画像データに基づいて、全体的に合焦度が大きい画像を示す表示用画像データを高速に生成することができる。

（４）ＤＲ調整処理
（ａ）処理内容
使用者は、図７のコンソール４４０Ａを用いて図１１のＤＲ調整ボタンｂ２を操作することにより、演算処理部６００にＤＲ調整処理の指示を与えることができる。

ＤＲ調整処理においては、撮像部１３２の受光時間を予め定められた複数の値に変化させた状態で、リング照明および第１〜第４の方向性照明の各々が照射されたときの観察対象物Ｓが撮像される。これにより、リング照明および第１〜第４の方向性照明の各々に対応する複数の原画像データが、撮像部１３２の受光時間ごとに図８のデータ生成部６１０により生成される。撮像部１３２の受光時間が短いときに生成された各原画像データの全体的な画素値は比較的小さく撮像部１３２の受光時間が長いときに生成された各原画像データの全体的な画素値は比較的大きい。

リング照明に対応する複数の原画像データがデータ生成部６１０により合成される。これにより、リング照明に対応する原画像データのダイナミックレンジを調整することができる。同様に、各方向性照明に対応する複数の原画像データがデータ生成部６１０により合成される。これにより、各方向性照明に対応する原画像データのダイナミックレンジを調整することができる。

ここで、ダイナミックレンジの調整は、ダイナミックレンジの拡大および縮小を含む。ダイナミックレンジが拡大するように複数の原画像データを合成することにより、画像から黒つぶれおよびハレーション（白とび）を低減することができる。一方、ダイナミックレンジが縮小するように複数の原画像データを合成することにより、画像の濃淡の差が大きくなる。これにより、滑らかな表面を有する観察対象物Ｓの凹凸を精密に観察することができる。

上記の説明においては、リング照明および第１〜第４の方向性照明ごとにダイナミックレンジが調整されるように原画像データが先に合成され、合成された複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。撮像部１３２の受光時間ごとに複数の原画像データに基づいて表示用画像データが先に生成され、ダイナミックレンジが調整されるように撮像部１３２の受光時間ごとに生成された表示用画像データが合成されてもよい。

（ｂ）ＤＲ調整処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、ＤＲ調整プログラムを含む。図２の制御部４１０は、ＤＲ調整プログラムを実行することにより、ＤＲ調整処理を行う。

図３０および図３１は、ＤＲ調整処理の一例を示すフローチャートである。制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４０１）。この状態で、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４０２）。続いて、制御部４１０は、リング照明が照射された状態で、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４０３）。

ステップＳ４０３において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４０４）。その後、制御部４１０は、ステップＳ４０２の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４０２〜Ｓ４０４の処理を繰り返す。

ステップＳ４０３において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成されたリング照明に対応する複数の原画像データを合成する（ステップＳ４０５）。これにより、リング照明に対応する原画像データのダイナミックレンジが調整される。

その後、制御部４１０は、ｉを１に設定する（ステップＳ４０６）。ここで、ｉは複数の方向性照明の番号を示す。次に、制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４０７）。この状態で、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４０８）。続いて、制御部４１０は、第ｉの方向性照明が照射された状態で、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４０９）。

ステップＳ４０９において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４１０）。その後、制御部４１０は、ステップＳ４０８の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４０８〜Ｓ４１０の処理を繰り返す。

ステップＳ４０９において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成された生成された第ｉの方向性照明に対応する複数の原画像データを合成する（ステップＳ４１１）。これにより、第ｉの方向性照明に対応する原画像データのダイナミックレンジが調整される。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４１２）。ステップＳ４１２において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４１３）。その後、制御部４１０はステップＳ４０７の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４０７〜Ｓ４１３の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成され、ダイナミックレンジが調整されるように合成される。ステップＳ４１２において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ４０５の処理は、ステップＳ４０６〜Ｓ４１３の処理と並列的に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ４１１の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ４０７〜Ｓ４１０と並列的に実行されてもよい。これらの場合、ＤＲ調整処理を高速化することができる。

あるいは、ステップＳ４０１〜Ｓ４０５の処理は、ステップＳ４０６〜Ｓ４１３の処理よりも後に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ４１１の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ４０７〜Ｓ４１０の処理よりも後に実行されてもよい。

（ｃ）ＤＲ調整処理の他の例
図３２および図３３は、ＤＲ調整処理の他の例を示すフローチャートである。制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４２１）。この状態で、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４２２）。

続いて、制御部４１０は、ｉを１に設定する（ステップＳ４２３）。ここで、ｉは複数の方向性照明の番号を示す。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４２４）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４２５）。ステップＳ４２５において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４２６）。その後、制御部４１０はステップＳ４２４の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４２４〜Ｓ４２６の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。続いて、制御部４１０は、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４２７）。

ステップＳ４２７において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４２８）。その後、制御部４１０は、ステップＳ４２２の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４２２〜Ｓ４２８の処理を繰り返す。

ステップＳ４２７において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成されたリング照明に対応する複数の原画像データをダイナミックレンジが調整されるように合成する（ステップＳ４２９）。これにより、リング照明に対応する原画像データのダイナミックレンジが調整される。

その後、制御部４１０は、再度ｉを１に設定する（ステップＳ４３０）。次に、制御部４１０は、生成された第ｉの方向性照明に対応する複数の原画像データを合成する（ステップＳ４３１）。これにより、第ｉの方向性照明に対応する原画像データのダイナミックレンジが調整される。続いて、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４３２）。

ステップＳ４３２において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４３３）。その後、制御部４１０はステップＳ４３１の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４３１〜Ｓ４３３の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが、ダイナミックレンジが調整されるように合成される。ステップＳ４３２において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ４２９〜Ｓ４３３の処理の一部は、ステップＳ４２１〜Ｓ４２８の処理と並列的に行われてもよい。この場合、ＤＲ調整処理を高速化することができる。また、ステップＳ４２２の処理は、ステップＳ４２３〜Ｓ４２６の処理よりも後に実行されてもよい。さらに、ステップＳ４２９の処理は、ステップＳ４３０〜Ｓ４３３の処理よりも後に実行されてもよい。

（５）効果
本実施の形態に係る拡大観察装置１においては、複数照明撮像処理によりリング照明および第１〜第４の方向性照明にそれぞれ対応する複数の原画像データが生成される。表示用画像生成処理において、使用者による操作部４４０の操作に基づいて、光の仮想的な出射方向が表示部４３０上の光アイコンｓｓ１により指定される。仮想的な光の出射方向は、方位角および仰角の成分を含む。

使用者は光アイコンｓｓ１により仮想的な光の出射方向の載置面からの仰角を指定することができる。この場合、指定された仰角と複数の原画像データとに基づいて、指定された仰角を有する仮想的な出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像ＳＩを示す表示用画像データが生成される。生成された表示用画像データに基づく画像ＳＩが表示部４３０に表示される。

また、使用者は光アイコンｓｓ１により仮想的な光の出射方向の載置面上の基準方向からの方位角を指定することができる。この場合、指定された方位角と複数の原画像データとに基づいて、指定された方位角を有する仮想的な出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像ＳＩを示す表示用画像データが生成される。生成された表示用画像データに基づく画像ＳＩが表示部４３０に表示される。

そのため、使用者は、仮想的な光の出射方向の仰角および方位角を任意に指定することにより、実際に観察対象物Ｓに照射する光の出射方向を変更することなく、観察対象物Ｓの形状および材質に応じた適切な出射方向の光が観察対象物Ｓに照射されたときの画像ＳＩを示す表示用画像データを生成することができる。これにより、使用者の要求に応じた観察対象物Ｓの画像ＳＩを容易に取得することができる。

また、表示用画像データは、既に生成された複数の画像データを用いて生成可能であるので、観察対象物Ｓの撮像を再度行う必要がない。したがって、使用者の負担を低減することができる。

上記の表示用画像生成処理においては、指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれでもない場合に、複数の原画像データについて合成割合が算出され、合成割合に基づいて複数の原画像データが合成される。それにより、指定された出射方向に対応する表示用画像データを容易に生成することができる。

本実施の形態に係る拡大観察装置１においては、投光部１４０の複数の領域１４０Ａ〜１４０Ｄにおける光の出射状態を切り替えることにより、仰角が異なる複数の出射方向の光を観察対象物Ｓに照射することができる。具体的には、リング出射方向の光と第１〜第４の出射方向の光とを観察対象物Ｓに照射することができる。したがって、リング照明に対応する原画像データと第１〜第４の方向性照明のいずれかに対応する原画像データとに基づいて、指定された仰角を有する仮想的な出射方向の光に対応する表示用画像データを容易に生成することができる。

上記の拡大観察装置１においては、投光部１４０が載置面に対して相対的にＺ方向に移動される。それにより、投光部１４０から観察対象物Ｓに照射される光の出射方向の仰角が変化する。それにより、使用者は、所望の仰角成分を有する出射方向の光が実際に観察対象物Ｓに照射されるように、投光部１４０の位置を変更することができる。

［２］第２の実施の形態
本発明の第２の実施の形態に係る拡大観察装置について、第１の実施の形態に係る拡大観察装置１と異なる点を説明する。図３４は、本発明の第２の実施の形態に係る拡大観察装置の構成を示す模式図である。図３４に示すように、本実施の形態に係る拡大観察装置１においては、測定ヘッド１００は投光部１６０をさらに含む。投光部１６０は、ハーフミラー１６１を有する。

レンズユニット１３１は、内部に投光部１６０を保持可能に構成される。投光部１６０は、ハーフミラー１６１の反射面が斜め下方を向くように対物レンズ１３１ａの光軸Ａ１に対して約４５°傾斜する状態で、レンズユニット１３１内に配置される。投光部１６０は、ファイバユニット２０１の図示しない一部の光ファイバにより処理装置２００の光生成部３００に光学的に接続される。

光生成部３００の遮光部３２０は、図３の投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するとともに、投光部１６０に対応する開口パターンを有する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、第１の実施の形態と同様に投光部１４０に光を入射可能であるとともに、投光部１６０に光を入射可能である。投光部１４０に入射した光の挙動は、第１の実施の形態における投光部１４０に入射した光の挙動と同様である。

投光部１６０に入射した光は、ハーフミラー１６１で反射されることにより対物レンズ１３１ａの光軸Ａ１に沿って下方に出射され、観察対象物Ｓに照射される。投光部１６０から出射される光を同軸落射照明と呼ぶ。観察対象物Ｓに照射された光は上方に反射され、投光部１６０のハーフミラー１６１およびレンズユニット１３１を透過して撮像部１３２に導かれる。

上記の構成によれば、投光部１６０は、投光部１４０よりも対物レンズ１３１ａの光軸Ａ１に近い位置から観察対象物Ｓに光を照射可能である。したがって、同軸落射照明は対物レンズ１３１ａの光軸Ａ１と平行な方向に出射される明視野照明となり、リング照明は対物レンズ１３１ａの光軸Ａ１に対して傾斜した方向に照射される暗視野照明となる。同軸落射照明を観察対象物Ｓに照射することにより、観察対象物Ｓの表面の凹凸および素材の違いをより鮮明に撮像することができる。なお、投光部１４０，１６０から同時に光を観察対象物Ｓに照射することも可能である。

図２の撮像制御部５２０は、同軸落射照明の照射時における撮像部１３２の受光時間、ゲインおよびタイミング等を制御する。本実施の形態では、同軸落射照明の照射は、リング照明および第１〜第４の方向性照明の照射よりも後に行われる。撮像制御部５２０は、先に生成されたリング照明に対応する原画像データの平均輝度値に基づいて自動露出を行うことにより、同軸落射照明の照射時における受光時間を調整する。同軸落射照明の照射時における受光時間は、使用者により所望の値に調整されてもよい。

撮像部１３２は、同軸落射照明が観察対象物Ｓに照射されたときの観察対象物Ｓを示す原画像データをさらに生成する。生成された同軸落射照明に対応する原画像データは、記憶部４２０に記憶される。また、同軸落射照明の照射の実行の有無および同軸落射照明の照射時における受光時間等の撮像条件をさらに示す撮像情報が記憶部４２０に記憶される。

図８のデータ生成部６１０は、記憶部４２０に記憶されたリング照明および方向性照明にそれぞれ対応する原画像データに加えて、同軸落射照明に対応する原画像データにさらに基づいて表示用画像データを生成する。具体的には、データ生成部６１０は、リング照明、方向性照明および同軸落射照明にそれぞれ対応する複数の原画像データの一部または全部を、使用者により指定された照明条件により定まる割合で合成する。生成された表示用画像データは、記憶部４２０に記憶される。

本実施の形態に係る複数照明撮像処理では、リング照明および第１〜第４の方向性照明を用いた観察対象物Ｓの撮像後に同軸落射照明を用いて観察対象物Ｓが撮像される。それにより、リング照明、第１〜第４の方向性照明および同軸落射照明にそれぞれ対応する複数（本例では６つ）の原画像データが生成される。

複数照明撮像処理が完了すると、表示部４３０に観察画面４３０Ａが表示される。図３５は、第２の実施の形態に係る複数照明撮像処理後の観察画面４３０Ａの一表示例を示す図である。図３５に示すように、機能表示領域４３１に、上記の複数のボタンｂ１，ｂ２，ｂ７に加えて落射ボタンｂ１１が表示される。

使用者は、図７のコンソール４４０Ａを用いて落射ボタンｂ１１を操作する。それにより、使用者は、同軸落射照明に対応する原画像データを用いて表示用画像データを生成すべきことを指示することができる。

同軸落射照明に対応する原画像データを用いることが指示されると、副表示領域４３３に、同軸落射照明に対応する原画像データの他の原画像データに対する合成割合（以下、落射画像割合と呼ぶ。）を指定するためのバー４３３ｃおよびスライダ４３３ｄが表示される。

使用者は、スライダ４３３ｄを操作することにより、落射画像割合を指定することができる。図３５の例では、スライダ４３３ｄがバー４３３ｃの左端に近づくにつれて落射画像割合が高く指定され、スライダ４３３ｄがバー４３３ｃの右端に近づくにつれて落射画像割合が低く指定される。

落射画像割合が指定されると、制御部４１０は、表示用画像生成処理における図２１のステップＳ２０９の処理で、指定された出射方向に加えて指定された落射画像割合に基づいて複数の原画像データの合成割合を算出する。

例えば、制御部４１０は、まず指定された出射方向に基づいてリング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を算出する。その後、制御部４１０は、指定された落射画像割合がｔ（ｔは０から１００までの数）％である場合に、リング照明および第１〜第４の方向性照明の複数の合成割合の合計が（１００−ｔ）％となるように、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を修正する。

上記のように算出された複数の合成割合に基づいて複数の原画像データが合成されることにより表示用画像データが生成され、同軸落射照明に対応する原画像データの成分を含む観察対象物Ｓの画像ＳＩが主表示領域４３２に表示される。

同軸落射照明に対応する原画像データの画像ＳＩによれば、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの画像ＳＩに比べて、観察対象物Ｓの表面の凹凸および素材の違いをより正確に観察することができる。

したがって、使用者は、図３５の落射ボタンｂ１１およびスライダ４３３ｄを操作することにより、観察の目的に応じた観察対象物Ｓの画像ＳＩを容易に取得することができる。

［３］第３の実施の形態
本発明の第３の実施の形態に係る拡大観察装置について、第１の実施の形態に係る拡大観察装置１と異なる点を説明する。図３６は、本発明の第３の実施の形態に係る拡大観察装置の構成を示す模式図である。図３６に示すように、本実施の形態に係る拡大観察装置１においては、測定ヘッド１００は投光部１７０をさらに含む。投光部１７０は、ミラー１７１を有する。また、拡大観察装置１はファイバユニット２０４をさらに含む。ファイバユニット２０４は、図示しない複数の光ファイバを含む。投光部１７０は、スタンド部１１０の設置部１１１に内蔵されていてもよい。

スタンド部１１０の設置部１１１は、内部に投光部１７０を保持可能に構成される。投光部１７０は、ミラー１７１の反射面が斜め上方を向くように対物レンズ１３１ａの光軸Ａ１に対して約４５°傾斜する状態で、設置部１１１内に配置される。これにより、投光部１７０は、観察対象物Ｓおよびステージ１２１を挟んで鏡筒部１３０と対向する。投光部１７０は、ファイバユニット２０１の図示しない一部の光ファイバにより処理装置２００の光生成部３００に光学的に接続される。

光生成部３００の遮光部３２０は、図３の投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するとともに、投光部１７０に対応する開口パターンを有する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、第１の実施の形態と同様に投光部１４０に光を入射可能であるとともに、投光部１７０に光を入射可能である。投光部１４０に入射した光の挙動は、第１の実施の形態における投光部１４０に入射した光の挙動と同様である。

投光部１７０に入射した光は、ミラー１７１で反射されることにより対物レンズ１３１ａの光軸Ａ１に沿って上方に出射され、ステージ１２１上の観察対象物Ｓに照射される。投光部１７０から出射される光を透過照明と呼ぶ。観察対象物Ｓに照射された光は上方に透過し、レンズユニット１３１を透過して撮像部１３２に導かれる。透過照明を観察対象物Ｓに照射することにより、観察対象物Ｓの内部の構造を撮像することができる。

撮像部１３２は、透過照明が観察対象物Ｓに照射されたときの観察対象物Ｓを示す原画像データをさらに生成する。生成された透過照明に対応する原画像データは、記憶部４２０に記憶される。また、透過照明の照射の実行の有無および透過照明の照射時における受光時間等の撮像条件をさらに示す撮像情報が記憶部４２０に記憶される。

図８のデータ生成部６１０は、記憶部４２０に記憶されたリング照明および方向性照明にそれぞれ対応する原画像データに加えて、透過照明に対応する原画像データにさらに基づいて表示用画像データを生成する。具体的には、データ生成部６１０は、リング照明、方向性照明および透過照明にそれぞれ対応する複数の原画像データの一部または全部を、使用者により指定された照明条件により定まる割合で合成する。生成された表示用画像データは、記憶部４２０に記憶される。

図３６の測定ヘッド１００は同軸落射照明を出射する投光部１６０を含まないが、本発明はこれに限定されない。図３６の測定ヘッド１００は、図３４の投光部１６０と同様の投光部１６０を含んでもよい。この場合、リング照明、方向性照明、同軸落射照明および透過照明にそれぞれ対応する原画像データに基づいて表示用画像データが生成される。

本実施の形態に係る複数照明撮像処理では、リング照明および第１〜第４の方向性照明を用いた観察対象物Ｓの撮像後に透過照明を用いて観察対象物Ｓが撮像される。それにより、リング照明、第１〜第４の方向性照明および透過照明にそれぞれ対応する複数（本例では６つ）の原画像データが生成される。

複数照明撮像処理が完了すると、表示部４３０に観察画面４３０Ａが表示される。図３７は、第３の実施の形態に係る複数照明撮像処理後の観察画面４３０Ａの一表示例を示す図である。図３７に示すように、機能表示領域４３１に、上記の複数のボタンｂ１，ｂ２，ｂ７に加えて透過ボタンｂ１２が表示される。

使用者は、図７のコンソール４４０Ａを用いて透過ボタンｂ１２を操作する。それにより、使用者は、透過照明に対応する原画像データを用いて表示用画像データを生成すべきことを指示することができる。

透過照明に対応する原画像データを用いることが指示されると、副表示領域４３３に、透過照明に対応する原画像データの他の原画像データに対する合成割合（以下、透過画像割合と呼ぶ。）を指定するためのバー４３３ｅおよびスライダ４３３ｆが表示される。

使用者は、スライダ４３３ｆを操作することにより、透過画像割合を指定することができる。図３７の例では、スライダ４３３ｆがバー４３３ｅの左端に近づくにつれて透過画像割合が高く指定され、スライダ４３３ｆがバー４３３ｅの右端に近づくにつれて透過画像割合が低く指定される。

透過画像割合が指定されると、制御部４１０は、表示用画像生成処理における図２１のステップＳ２０９の処理で、指定された出射方向に加えて指定された透過画像割合に基づいて複数の原画像データの合成割合を算出する。

例えば、制御部４１０は、まず指定された出射方向に基づいてリング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を算出する。その後、制御部４１０は、指定された透過画像割合がｕ（ｕは０から１００までの数）％である場合に、リング照明および第１〜第４の方向性照明の複数の合成割合の合計が（１００−ｕ）％となるように、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を修正する。

上記のように算出された複数の合成割合に基づいて複数の原画像データが合成されることにより表示用画像データが生成され、透過照明に対応する原画像データの成分を含む観察対象物Ｓの画像ＳＩが主表示領域４３２に表示される。観察対象物Ｓが光を透過する材料で形成されている場合、透過照明に対応する原画像データの画像ＳＩには、観察対象物Ｓの内部構造が鮮明に表れる。

したがって、使用者は、図３７の透過ボタンｂ１２およびスライダ４３３ｆを操作することにより、観察の目的に応じた観察対象物Ｓの画像ＳＩを容易に取得することができる。

上記のように、図３６の測定ヘッド１００が図３４の投光部１６０を含む場合には、複数照明撮像処理において、リング照明、方向性照明、同軸落射照明および透過照明にそれぞれ対応する複数の原画像データが生成されてもよい。この場合、観察画面４３０Ａにおいて、図３５の落射ボタンｂ１１、バー４３３ｃおよびスライダ４３３ｄと図３７の透過ボタンｂ１２、バー４３３ｅおよびスライダ４３３ｆとが同時に表示されてもよい。それにより、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩについて調整の自由度が向上する。

［４］他の実施の形態
（１）上記実施の形態において、複数の照明にそれぞれ対応する複数の原画像データが生成された後、使用者により指定された照明条件に応じて、複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。使用者により照明条件が先に指定されてもよい。この場合、指定された照明条件に基づいて生成すべき表示用画像データを生成するために必要な原画像データが決定する。

そこで、本実施の形態においては、必要な原画像データに対応する照明のみが観察対象物に照射される。これにより、当該必要な原画像データのみが生成される。この構成によれば、他の照明が観察対象物Ｓに照射されず、不要な原画像データが生成されない。これにより、表示用画像データを高速に生成することができる。

（２）上記実施の形態において、投光部１４０の領域１４０Ａ〜１４０Ｄが対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置されることが好ましいが、本発明はこれに限定されない。投光部１４０の領域１４０Ａ〜１４０Ｄは、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置されなくてもよい。

（３）上記実施の形態において、複数の原画像データが合成されることにより表示用画像データが生成される場合には、複数の原画像データの１つがリング照明に対応する原画像データであることが好ましいが、本発明はこれに限定されない。リング照明に対応する原画像データが合成に用いられず、方向性照明、同軸落射照明および透過照明にそれぞれ対応する複数の原画像データの一部または全部が合成されることにより表示用画像データが生成されてもよい。

（４）上記実施の形態において、複数の原画像データが合成されることにより表示用画像データが生成されるが、本発明はこれに限定されない。生成された複数の原画像データのうちの１つが選択されることにより表示用画像データが生成されてもよい。この構成においては、より多数の原画像データが生成されることが好ましい。この場合、より正確な表示用画像データを生成することができる。したがって、より多数の原画像データを生成可能にするため、より多数の光出射領域が設けられてもよいし、より多数の位置から光を出射可能に光出射部材が設けられてもよい。あるいは、単一の光出射部材が複数の出射位置に移動可能に設けられてもよい。

（５）上記実施の形態において、投光部１４０は円筒形状を有するが、本発明はこれに限定されない。投光部１４０は円筒形状以外の他の形状を有してもよい。図３８は、投光部１４０の変形例を示す模式図である。図３８の例では、投光部１４０は、例えば半球形状を有し、投光部１４０の内面の任意の位置から観察対象物に複数の出射方向の光を照射可能に複数の光源１４２ａが設けられる。この場合、複数の原画像データを合成することなく、単一の原画像データにより表示用画像データを生成することが容易になる。この構成においては、各出射方向の光の光量を個別に調整可能であることがより好ましい。

（６）上記実施の形態において、表示用画像生成処理においては、使用者により光の仮想的な出射方向が新たに指定されると、表示部４３０に表示される観察対象物Ｓの画像ＳＩが、指定された出射方向の光に対応する画像ＳＩに切り替わるが、本発明はこれに限定されない。

使用者により光の仮想的な出射方向が新たに指定された場合に、更新前の表示用画像データに基づく観察対象物Ｓの画像ＳＩと、更新後の表示用画像データに基づく観察対象物Ｓの画像ＳＩとが表示部４３０に同時に表示されてもよい。この場合、使用者は、出射方向を指定する前の観察対象物Ｓの画像ＳＩと指定後の観察対象物Ｓの画像ＳＩとを比較することができる。したがって、光の仮想的な出射方向を指定しつつ観察対象物Ｓの観察により適切な画像ＳＩを容易に識別することができる。更新前後の画像ＳＩを同時に表示する例は、更新前後の画像ＳＩを並べて表示すること、または更新前後の画像ＳＩを重ねて表示すること等を含む。

（７）上記実施の形態においては、表示用画像生成処理時に光アイコンｓｓ１により仮想的な光の出射方向の方位角および仰角が指定可能であるが、本発明はこれに限定されない。仮想的な光の出射方向の方位角が予め定められている場合には、光アイコンｓｓ１により仮想的な光の出射方向の仰角のみが指定可能であってもよい。また、この場合、予め定められている方位角は１つであってもよいし、複数であってもよい。例えば、予め定められている方位角が４５°のみである場合、使用者により指定された仰角を有しかつ４５°の方位角を有する１つの出射方向の光に対応する１つの画像ＳＩが表示部４３０に表示されてもよい。一方、予め定められている方位角が４５°、１３５°、２２５°および３１５°である場合、使用者により指定された仰角を有しかつ４５°、１３５°、２２５°および３１５°の方位角を有する４つの出射方向の光にそれぞれ対応する４つの画像ＳＩが表示部４３０に表示されてもよい。

（８）上記実施の形態において、拡大観察装置１の制御部４１０は、複数照明撮像処理、表示用画像生成処理、深度合成処理およびＤＲ調整処理を実行するが、本発明はこれに限定されない。制御部４１０は、上記の複数の処理のうち複数照明撮像処理および表示用画像生成処理を実行すればよく、深度合成処理およびＤＲ調整処理の一部または全てを実行しなくてもよい。

［５］請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。

上記実施の形態では、観察対象物Ｓが観察対象物の例であり、ステージ１２１がステージの例であり、リング照明および第１〜第４の方向性照明が複数の出射方向の光の例であり、投光部１４０，１６０，１７０およびファイバユニット２０１，２０４および光生成部３００が投光装置の例であり、撮像部１３２が撮像部の例であり、表示部４３０および操作部４４０が仰角指定部および方位角指定部の例であり、データ生成部６１０がデータ生成部の例であり、表示部４３０が表示部の例であり、拡大観察装置１が拡大観察装置の例である。

また、対物レンズ１３１ａが対物レンズの例であり、投光部１４０の領域１４０Ａ〜１４０Ｄが複数の光出射領域の例であり、投光部１４０が第１の投光部の例であり、遮光部３２０が切替部の例である。

さらに、投光部１４０の領域１４０Ａ，１４０Ｃがそれぞれ第１および第２の出射領域の例であり、投光部１４０の領域１４０Ｂ，１４０Ｄがそれぞれ第３および第４の出射領域の例であり、同軸落射照明が第１の光の例であり、投光部１６０が第２の投光部の例であり、透過照明が第２の光の例であり、投光部１７０が第３の投光部の例であり、焦点駆動部１１３が照明移動部の例である。

請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。

本発明は、種々の拡大観察装置に有効に利用することができる。

１ 拡大観察装置
２ 外部装置
１００ 測定ヘッド
１０１ 傾斜機構
１１０ スタンド部
１１１ 設置部
１１２，１１４ 保持部
１１３ 焦点駆動部
１２０ ステージ装置
１２１ ステージ
１２２ ステージ駆動部
１３０ 鏡筒部
１３０ｃ 傾斜中心
１３１ レンズユニット
１３１ａ 対物レンズ
１３２ 撮像部
１３３ 傾斜センサ
１４０，１６０，１７０ 投光部
１４０Ａ〜１４０Ｄ 領域
１４０ｏ 光出射部
１４１ 保持部材
１４１ａ 貫通孔
１４１ｂ 突起部
１４２ 光ファイバ
１４２ａ 光源
１５０ 制御基板
１６１ ハーフミラー
１７１ ミラー
２００ 処理装置
２０１，２０４ ファイバユニット
２０２，２０３ ケーブル
２１０ 筐体
３００ 光生成部
３１０ 光源
３２０ 遮光部
４００ 制御装置
４１０ 制御部
４２０ 記憶部
４３０ 表示部
４３０Ａ 観察画面
４３１ 機能表示領域
４３２ 主表示領域
４３２ａ，４３２ｂ 位置調整バー
４３３ 副表示領域
４３３ａ 出射方向指定欄
４３３ｂ 出射方向表示欄
４３３ｃ，４３３ｅ バー
４３３ｄ，４３３ｆ スライダ
４４０ 操作部
４４０Ａ コンソール
５００ 駆動制御部
５１０ 投光制御部
５２０ 撮像制御部
５３０ 焦点制御部
５４０ ステージ制御部
６００ 演算処理部
６１０ データ生成部
６２０ 合焦判定部
６３０ 算出部
６４０ 条件設定部
６４１ 撮像条件設定部
６４２ 照明条件設定部
Ａ１，Ａ２ 光軸
ｂ１ 深度合成ボタン
ｂ２ ＤＲ調整ボタン
ｂ７ 保存ボタン
ｂ１１ 落射ボタン
ｂ１２ 透過ボタン
ｄ１〜ｄ３ 距離
Ｈ１〜Ｈｊ 位置
Ｏ 原点
ＰＡ〜ＰＥ，Ｑ 点
Ｓ 観察対象物
ＳＦ 深度合成画像
ＳＨ 影
ＳＩ 画像
ｓｐ 対象部分画像
ｓｓ０ 対象物位置画像
ｓｓ１，ｓｓ５，ｓｓ６ 光アイコン
ｓｓ２ 基準点画像
ｓｓ３ 半球画像
ｓｓ４ 出射位置画像
ｓｓ７ スイッチアイコン

Claims (10)

1. 観察対象物が載置される載置面を有するステージと、
   前記ステージに載置された観察対象物に対して互いに異なる複数の出射方向の光を選択的に照射する投光装置と、
   観察対象物からの光を受光し、前記複数の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示す複数の画像データをそれぞれ生成する撮像部と、
   使用者の操作に基づいて仮想的な光の出射方向の前記載置面からの仰角を指定する仰角指定部と、
   前記仰角指定部により指定された仰角と前記撮像部により生成された複数の画像データとに基づいて前記指定された仰角を有する前記仮想的な出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを生成するデータ生成部と、
   前記データ生成部により生成された表示用画像データに基づく表示用画像を表示する表示部とを備える、拡大観察装置。
2. 前記データ生成部は、前記撮像部により生成された複数の画像データのうち少なくとも２以上の画像データを合成することにより前記表示用画像データを生成する、請求項１記載の拡大観察装置。
3. 前記データ生成部は、前記指定された仰角に基づいて前記少なくとも２以上の画像データの合成の割合を決定する、請求項２記載の拡大観察装置。
4. 使用者の操作に基づいて前記仮想的な光の出射方向の前記載置面上の基準方向からの方位角を指定する方位角指定部をさらに備え、
   前記データ生成部は、前記仰角指定部により指定された仰角と前記方位角指定部により指定された方位角と前記撮像部により生成された複数の画像データとに基づいて、前記指定された仰角および方位角を有する前記仮想的な出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを生成する、請求項２または３記載の拡大観察装置。
5. 対物レンズをさらに備え、
   前記撮像部は、観察対象物からの光を前記対物レンズを介して受光することにより前記複数の画像データを生成し、
   前記投光装置は、
   前記対物レンズの光軸を中心に回転対象に配置された複数の光出射領域を有するとともに、前記対物レンズの光軸を取り囲むように設けられる第１の投光部と、
   前記複数の出射方向の光が観察対象物に照射されるように前記複数の光出射領域における光の出射状態を切り替える切替部とを含む、請求項４記載の拡大観察装置。
6. 前記複数の光出射領域は、前記対物レンズの光軸を挟んで対向するように配置される第１および第２の出射領域を含み、
   前記第１の出射領域から観察対象物に照射される光の出射方向の仰角と、前記第２の出射領域から観察対象物に照射される光の出射方向の仰角とは、互いに等しい、請求項５記載の拡大観察装置。
7. 前記複数の光出射領域は、前記第１および第２の出射領域とは異なる位置で、前記対物レンズの光軸を挟んで対向するように配置される第３および第４の出射領域をさらに含み、
   前記第３の出射領域から観察対象物に照射される光の出射方向の仰角と、前記第４の出射領域から観察対象物に照射される光の出射方向の仰角とは、互いに等しい、請求項６記載の拡大観察装置。
8. 前記投光装置は、前記第１の投光部よりも前記対物レンズの光軸に近い位置から観察対象物に第１の光を照射する第２の投光部をさらに含み、
   前記切替部は、前記第２の投光部における前記第１の光の出射状態をさらに切り替え、
   前記撮像部は、前記第１の光が観察対象物に照射されたときの観察対象物の画像を示す画像データをさらに生成し、
   前記データ生成部は、前記第１の光に対応して生成された画像データにさらに基づいて前記表示用画像データを生成する、請求項５〜７のいずれか一項に記載の拡大観察装置。
9. 前記投光装置は、観察対象物を挟んで前記撮像部と対向するように配置され、観察対象物に第２の光を照射する第３の投光部をさらに含み、
   前記切替部は、前記第３の投光部における前記第２の光の出射状態をさらに切り替え、
   前記撮像部は、前記第２の光が観察対象物に照射されたときの観察対象物の画像を示す画像データをさらに生成し、
   前記データ生成部は、前記第２の光に対応して生成された画像データにさらに基づいて前記表示用画像データを生成する、請求項５〜８のいずれか一項に記載の拡大観察装置。
10. 前記第１の投光部を前記対物レンズの光軸方向に前記載置面に対して相対的に移動させる照明移動部をさらに備える、請求項５〜９のいずれか一項に記載の拡大観察装置。

Images