JP6667393B2 - 拡大観察装置 - Google Patents

Description

本発明は、観察対象物を拡大して観察する拡大観察装置に関する。

観察対象物を拡大して観察するために、拡大観察装置が用いられることがある（例えば特許文献１参照）。特許文献１に記載された顕微鏡システムにおいては、明視野照明光および暗視野照明光が対物レンズを通してステージ上の標本に照射される。ここで、明視野照明光は対物レンズの光軸と平行な方向に出射される照明光であり、暗視野照明光は対物レンズの光軸に対して傾斜した方向に出射される照明光である。標本で反射された観察光が結像レンズを通して撮像装置に入射することにより標本が撮像される。

特開２０１３−７２９７１号公報

特許文献１に記載された顕微鏡システムにおいては、明視野照明光に対する露光時間と暗視野照明光に対する露光時間との比に応じて、一方の照明光の照明強度が相対的に小さくされる。これにより、明視野照明光の強度と暗視野照明光の強度とが揃えられる。その結果、特許文献１には、明視野照明光と暗視野照明光とを同時に照射した標本を観察するうえで、最も適した照明強度において標本の観察を行うことが可能となると記載されている。また、使用者は、照明強度が最適化された状態の画像から直感的に明視野照明光と暗視野照明光との照明強度の比率を調整することも可能である。

しかしながら、照明強度等の適切な撮像条件は、観察対象物の形状および材質により異なる。そのため、熟練していない使用者には、適切な撮像条件において撮像された画像を取得することは困難である。また、事後的に撮像条件が適切ではなかったことが判明する場合がある。このような場合、異なる撮像条件において観察対象物の撮像を再度行う必要があり、使用者の負担が増加する。

本発明の目的は、使用者の要求に応じた観察対象物の画像を容易に取得することが可能な拡大観察装置を提供することである。

（１）本発明に係る拡大観察装置は、対物レンズと、観察対象物に互いに異なる第１および第２の出射方向の光を選択的に照射する投光部と、観察対象物からの光を対物レンズを介して受光し、観察対象物の画像を示す第１または第２の原画像データを生成する撮像部と、対物レンズを通過した光の焦点位置を観察対象物に対して相対的に対物レンズの光軸方向に変化させる焦点位置変化部と、使用者により入力される特定の出射方向に応じて、特定の出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを生成するデータ生成部とを備え、第１の光照射時に、第１の出射方向の光を投光部が観察対象物に照射するとともに撮像部が焦点位置変化部による異なる複数の焦点位置で複数の第１の原画像データを生成し、第２の光照射時に、第２の出射方向の光を投光部が観察対象物に照射するとともに撮像部が焦点位置変化部による異なる複数の焦点位置で複数の第２の原画像データを生成し、データ生成部は、複数の第１の原画像データに基づいて第１の合焦画像データを取得するとともに、複数の第２の原画像データに基づいて第２の合焦画像データを取得し、特定の出射方向に基づいて第１および第２の合焦画像データの合成の割合を決定し、決定された割合で第１の合焦画像データおよび第２の合焦画像データを合成することにより表示用画像データを生成する。

この拡大観察装置においては、投光部から観察対象物に第１の出射方向の光が照射される。この状態で、焦点位置変化部により対物レンズを通過した光の焦点位置が観察対象物に対して相対的に対物レンズの光軸方向に変化されつつ観察対象物からの光が対物レンズを介して撮像部に受光される。これにより、複数の焦点位置で観察対象物の画像をそれぞれ示す複数の第１の原画像データが生成される。

また、投光部から観察対象物に第１の出射方向とは異なる第２の出射方向の光が照射される。この状態で、焦点位置変化部により対物レンズを通過した光の焦点位置が観察対象物に対して相対的に対物レンズの光軸方向に変化されつつ観察対象物からの光が対物レンズを介して撮像部に受光される。これにより、複数の焦点位置で観察対象物の画像をそれぞれ示す複数の第２の原画像データが生成される。

さらに、複数の第１の原画像データに基づいて第１の合焦画像データが取得され、複数の第２の原画像データに基づいて第２の合焦画像データが取得される。また、使用者により入力される特定の出射方向の指定に応じて、特定の出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データが、第１および第２の合焦画像データに基づいてデータ生成部により生成される。

この構成によれば、投光部から互いに異なる第１および第２の出射方向の光が観察対象物に照射される。そのため、使用者は、出射方向を任意に指定することにより、観察対象物の形状および材質に応じた適切な出射方向の光が観察対象物に照射されたときの画像を示す表示用画像データを生成することができる。また、表示用画像データは第１および第２の合焦画像データに基づいて生成されるので、全体的に合焦度が大きい画像を示す表示用画像データを生成することができる。これにより、使用者の要求に応じた観察対象物の画像を容易に取得することができる。

また、データ生成部は、特定の出射方向に基づいて第１および第２の合焦画像データの合成の割合を決定し、決定された割合で第１および第２の合焦画像データを合成することにより表示用画像データを生成する。これにより、任意の出射方向の光が観察対象物に照射されるときの観察対象物の画像を示す表示用画像データを容易に生成することができる。

（２）拡大観察装置は、撮像部により生成される第１または第２の原画像データの部分ごとの合焦度を判定する合焦判定部をさらに備え、データ生成部は、合焦判定部による合焦度の判定に基づいて複数の第１の原画像データの部分を選択的に合成することにより観察対象物の各部分に焦点が合った画像を示す第１の合焦画像データを生成し、合焦判定部による合焦度の判定に基づいて複数の第２の原画像データの部分を選択的に合成することにより観察対象物の各部分に焦点が合った画像を示す第２の合焦画像データを生成してもよい。この場合、使用者は、観察対象物の各部分に焦点が合った画像を観察することができる。

（３）データ生成部は、第１の合焦画像データの部分と複数の第１の原画像データの部分との対応関係を示す対応関係データを生成し、生成された対応関係データに基づいて複数の第２の原画像データから第２の合焦画像データを生成してもよい。

この場合、合焦判定部は、第２の合焦画像データを生成する際に、複数の第２の原画像データについて画素ごとの合焦度を判定する必要がない。これにより、第２の合焦画像データを高速に生成することができる。

（４）撮像部による複数の第１または第２の原画像データの生成とデータ生成部による第１または第２の合焦画像データの生成とは並列して行われてもよい。この場合、表示用画像データを高速に生成することができる。

（５）拡大観察装置は、撮像部により生成される第１または第２の原画像データの合焦度を判定する合焦判定部をさらに備え、データ生成部は、合焦判定部による合焦度の判定に基づいて複数の第１の原画像データのいずれかを第１の合焦画像データとして抽出し、合焦判定部による合焦度の判定に基づいて複数の第２の原画像データのいずれかを第２の合焦画像データとして抽出してもよい。この場合、予め定められた合焦度を有する第１および第２の合焦画像データを高速に生成することができる。

（６）拡大観察装置は、対物レンズの光軸方向における光の焦点位置の範囲を指定するために使用者により操作される第１の操作部をさらに備え、焦点位置変化部は、第１の操作部により指定された範囲において光の焦点位置を対物レンズの光軸方向に変化させてもよい。

この場合、使用者は、第１の操作部を操作して対物レンズの光軸方向における光の焦点位置の範囲を指定することができる。そのため、焦点位置変化部は過度に大きい範囲で光の焦点位置を変化させる必要がない。これにより、複数の第１および第２の原画像データを高速に生成することができる。

（７）拡大観察装置は、使用者による観察の開始の指示を受け付ける第２の操作部と、第２の操作部により受け付けた指示に応答して、光の焦点位置が第１の位置になるように焦点位置変化部を制御しつつ第１および第２の光照射時にそれぞれ第１および第２の出射方向の光を順次出射するように投光部を制御した後、光の焦点位置が対物レンズの光軸方向において第１の位置とは異なる第２の位置になるように焦点位置変化部を制御しつつ第１および第２の光照射時にそれぞれ第１および第２の出射方向の光を順次出射するように投光部を制御する制御部とをさらに備えてもよい。

この場合、第２の操作部が使用者から観察の開始の指示を受け付けることにより、光の焦点位置が第１の位置に自動的に移動され、投光部から観察対象物に第１および第２の出射方向の光が自動的に順次照射される。その後、光の焦点位置が第２の位置に自動的に移動され、観察対象物に第１および第２の出射方向の光が自動的に順次照射される。そのため、使用者が熟練していない場合でも、複数の第１および第２の原画像データを容易に生成することができる。

（８）拡大観察装置は、使用者による観察の開始の指示を受け付ける第２の操作部と、第２の操作部により受け付けた指示に応答して、第１の光照射時に光の焦点位置が対物レンズの光軸方向において異なる第１および第２の位置に順次変化するように焦点位置変化部を制御しつつ第１の出射方向の光を出射するように投光部を制御した後、第２の光照射時に光の焦点位置が第１および第２の位置に順次変化するように焦点位置変化部を制御しつつ第２の出射方向の光を出射するように投光部を制御する制御部とをさらに備えてもよい。

この場合、第２の操作部が使用者から観察の開始の指示を受け付けることにより、投光部から観察対象物に第１の出射方向の光が自動的に照射されつつ、光の焦点位置が第１および第２の位置に自動的に順次移動される。その後、投光部から観察対象物に第２の出射方向の光が自動的に照射されつつ、光の焦点位置が第１および第２の位置に自動的に順次移動される。そのため、使用者が熟練していない場合でも、複数の第１および第２の原画像データを容易に生成することができる。

（９）撮像部は、受光時間が複数変化された状態で第１および第２の原画像データを生成し、データ生成部は、各焦点位置について受光時間が複数変化された状態で撮像部により生成される複数の第１の原画像データおよび各焦点位置について受光時間が複数変化された状態で撮像部により生成される複数の第２の原画像データのうち少なくとも一部に基づいてダイナミックレンジが調整された表示用画像データを生成してもよい。

表示用画像データのダイナミックレンジが拡大されるように調整された場合には、使用者は、黒つぶれおよびハレーション（白とび）が低減された画像を観察することができる。表示用画像データのダイナミックレンジが縮小されるように調整された場合には、使用者は、分解能が向上された画像を観察することができる。

（１０）投光部は、対物レンズの光軸を中心に回転対称に配置された複数の光出射領域を有し、第１の光照射時に複数の光出射領域から同時に光を出射することにより第１の出射方向の光を観察対象物に照射し、第２の光照射時に複数の光出射領域の一部から光を出射することにより第２の出射方向の光を観察対象物に照射してもよい。

この場合、投光部は、複数の光出射領域から均一な出射方向の光を第１の出射方向の光として容易に出射することができる。また、投光部は、複数の光出射領域の一部から第１の出射方向とは異なる第２の出射方向の光を容易に出射することができる。さらに、複数の光出射領域は対物レンズの光軸を中心に回転対称に配置されるので、第１および第２の原画像データに基づいて演算により表示用画像データを生成する場合には、その演算を単純化することができる。

（１１）複数の光出射領域の各々には、１以上の光出射部材が設けられてもよい。この場合、投光部は、複数の光出射領域の各々から容易に光を出射することができる。

（１２）拡大観察装置は、特定の出射方向を指定するために使用者により操作される第３の操作部をさらに備え、データ生成部は、第３の操作部により指定された特定の出射方向に対応して生成する表示用画像データを更新してもよい。この場合、使用者は、第３の操作部を操作して観察対象物の形状および材質に応じた適切な出射方向を指定することにより、使用者の要求に応じた観察対象物の画像を示す表示用画像データを容易に取得することができる。

（１３）拡大観察装置は、特定の出射方向を指定するために使用者により操作される操作部をさらに備え、操作部により指定された特定の出射方向に基づいて第１および第２の出射方向を含む複数の出射方向の光を投光部が観察対象物に照射するとともに撮像部が焦点位置変化部による異なる複数の焦点位置で第１および第２の原画像データを含む複数の原画像データを生成し、データ生成部は、複数の原画像データに基づいて第１および第２の合焦画像データを含む複数の合焦画像データを取得し、複数の出射方向および特定の出射方向に基づいて、複数の合焦画像データの合成の割合を決定し、決定された割合で複数の合焦画像データを合成することにより表示用画像データを生成してもよい。

この場合、操作部が使用者により操作されることにより、特定の出射方向が指定される。操作部により指定された特定の出射方向に基づいて、第１および第２の出射方向を含む複数の出射方向の光が投光部から観察対象物に照射される。この状態で、焦点位置変化部により対物レンズを通過した光の焦点位置が観察対象物に対して相対的に対物レンズの光軸方向に変化されつつ観察対象物からの光が対物レンズを介して撮像部に受光される。これにより、複数の焦点位置で第１および第２の原画像データを含む複数の原画像データが生成される。複数の原画像データに基づいて第１および第２の合焦画像データを含む複数の合焦画像データが取得される。操作部により指定された特定の出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データが、複数の合焦画像データに基づいてデータ生成部により生成される。

この構成によれば、投光部から互いに異なる複数の出射方向の光を観察対象物に照射可能である。そのため、使用者は、観察対象物の形状および材質に応じて適切に指定された出射方向の光が観察対象物に照射されたときの画像を示す表示用画像データを生成することができる。また、表示用画像データは複数の合焦画像データに基づいて生成されるので、全体的に合焦度が大きい画像を示す表示用画像データを生成することができる。これにより、使用者の要求に応じた観察対象物の画像を容易に取得することができる。

さらに、複数の原画像データが生成される前に光の仮想的な出射方向が操作部により受け付けられるので、表示用画像データを生成するために観察対象物に照射すべき出射方向の光が既知である。したがって、不要な出射方向の光を観察対象物に照射することおよび不要な原画像データを生成することが回避される。これにより、表示用画像データを高速に生成することができる。

本発明によれば、使用者の要求に応じた観察対象物の画像を容易に取得することができる。

本発明の第１の実施の形態に係る拡大観察装置の構成を示す模式図である。 図１の制御装置の構成を示すブロック図である。 投光部の構成を示す斜視図および平面図である。 投光部の配置例を示す模式図である。 測定ヘッドの外観斜視図および鏡筒部の構成を示す模式図である。 焦点駆動部の構成例を示す模式図である。 ステージ装置の構成を示す模式図である。 画像データの連結時における仮想的な投光部の位置を説明するための図である。 図２の演算処理部の構成を示すブロック図である。 ステージの載置面上に定義される極座標系を示す図である。 複数照明撮像が指示されたときの拡大観察装置の基本動作を説明するための模式図である。 観察画面の一表示例を示す図である。 光の仮想的な出射方向の指定に応答して観察対象物の画像が更新されるときの処理内容を説明するための模式図である。 主表示領域および副表示領域にそれぞれ光アイコンが表示される例を示す図である。 観察画面の他の表示例を示す図である。 観察画面のさらに他の表示例を示す図である。 複数照明撮像処理の一例を示すフローチャートである。 表示用画像生成処理の一例を示すフローチャートである。 表示用画像生成処理の一例を示すフローチャートである。 深度合成処理の概念図である。 マスクイメージデータを視覚的に示す図である。 深度合成処理の一例を示すフローチャートである。 深度合成処理の一例を示すフローチャートである。 深度合成処理の一例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 ＤＲ調整処理の一例を示すフローチャートである。 ＤＲ調整処理の一例を示すフローチャートである。 ＤＲ調整処理の他の例を示すフローチャートである。 ＤＲ調整処理の他の例を示すフローチャートである。 連結画像データを視覚的に示す図である。 連結処理を説明するための図である。 連結処理の一例を示すフローチャートである。 連結処理の一例を示すフローチャートである。 連結処理の他の例を示すフローチャートである。 連結処理の他の例を示すフローチャートである。 複数照明撮像により取得される観察対象物の複数の画像の一部にハレーションが発生している例を示す図である。 ハレーション低減処理が指示されたときの観察画面の表示状態の一例を示す図である。 ハレーション低減処理後の観察画面の表示状態の一例を示す図である。 複数の方向性照明による撮像を繰り返し実行しつつ原画像データが生成されるごとに飽和低減画像データを生成するハレーション低減処理の概念図である。 ハレーション低減処理の一例を示すフローチャートである。 ハレーション低減処理と深度合成処理とを組み合わせて使用する場合の使用例を示す図である。 ハレーション低減処理とＤＲ調整処理とを組み合わせて使用する場合の使用例を示す図である。 本発明の第２の実施の形態に係る拡大観察装置の構成を示す模式図である。 第２の実施の形態に係る複数照明撮像処理後の観察画面の一表示例を示す図である。 本発明の第３の実施の形態に係る拡大観察装置の構成を示す模式図である。 第３の実施の形態に係る複数照明撮像処理後の観察画面の一表示例を示す図である。 投光部の変形例を示す模式図である。

［１］第１の実施の形態
（１）拡大観察装置の構成
（ａ）測定ヘッド
以下、本発明の第１の実施の形態に係る拡大観察装置について、図を参照しながら説明する。図１は、本発明の第１の実施の形態に係る拡大観察装置の構成を示す模式図である。図１に示すように、拡大観察装置１は、測定ヘッド１００および処理装置２００を備える。測定ヘッド１００は、例えば顕微鏡であり、スタンド部１１０、ステージ装置１２０、鏡筒部１３０、投光部１４０および制御基板１５０を含む。

スタンド部１１０は、縦断面がＬ字形状を有し、設置部１１１、保持部１１２および焦点駆動部１１３を含む。設置部１１１および保持部１１２は、例えば樹脂により形成される。設置部１１１は、水平な平板形状を有し、設置面に設置される。保持部１１２は、設置部１１１の一端部から上方に延びるように設けられる。

ステージ装置１２０は、ステージ１２１およびステージ駆動部１２２を含む。ステージ１２１は、設置部１１１の上面に設けられる。ステージ１２１上には、観察対象物Ｓが載置される。観察対象物Ｓが載置されるステージ１２１上の平面（以下、載置面と呼ぶ。）内で互いに直交する２方向をＸ方向およびＹ方向と定義し、それぞれ矢印Ｘ，Ｙで示す。ステージ１２１の載置面に対して直交する法線の方向をＺ方向と定義し、矢印Ｚで示す。Ｚ方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。

ステージ駆動部１２２は、ステッピングモータ等の図示しないアクチュエータを含む。ステージ駆動部１２２は、制御基板１５０により与えられる駆動パルスに基づいて、ステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させる。また、使用者は、手動によりステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させることも可能である。

鏡筒部１３０は、レンズユニット１３１および撮像部１３２を含み、ステージ１２１の上方に配置される。レンズユニット１３１は、観察対象物Ｓの種類に応じて他のレンズユニットと交換可能である。レンズユニット１３１は、対物レンズ１３１ａおよび図示しない複数のレンズにより構成される。対物レンズ１３１ａの光軸Ａ１は、Ｚ方向に平行である。撮像部１３２は、例えばＣＭＯＳ（相補性金属酸化膜半導体）カメラを含む。撮像部１３２は、ＣＣＤ（電荷結合素子）カメラ等の他のカメラを含んでもよい。

鏡筒部１３０は、スタンド部１１０の焦点駆動部１１３により保持部１１２に取り付けられる。焦点駆動部１１３は、ステッピングモータ等の図示しないアクチュエータを含む。焦点駆動部１１３は、制御基板１５０により与えられる駆動パルスに基づいて、レンズユニット１３１を対物レンズ１３１ａの光軸Ａ１の方向（Ｚ方向）に移動させる。これにより、レンズユニット１３１を通過した光の焦点位置がＺ方向に変化する。また、使用者は、手動によりレンズユニット１３１を対物レンズ１３１ａの光軸Ａ１の方向に移動させることも可能である。

投光部１４０は、対物レンズ１３１ａの光軸Ａ１を取り囲むようにレンズユニット１３１に一体的に取り付けられる。これにより、投光部１４０とレンズユニット１３１との位置関係を一意的に決定することができる。また、拡大観察装置１に投光部１４０を保持する部材を追加する必要がないので、拡大観察装置１をコンパクト化することができる。投光部１４０の光軸Ａ２（後述する図３）は、対物レンズ１３１ａの光軸Ａ１と略同一である。

投光部１４０からステージ１２１上の観察対象物Ｓに複数の出射方向の光が照射される。観察対象物Ｓによりステージ１２１の上方に反射された光は、レンズユニット１３１により集光および結像された後、撮像部１３２により受光される。撮像部１３２は、各画素の受光量に対応する画素データに基づいて画像データを生成する。投光部１４０により複数の出射方向の光が観察対象物Ｓに照射されたときに撮像部１３２によりそれぞれ生成される複数の画像データの各々を原画像データと呼ぶ。撮像部１３２は、生成した複数の原画像データを制御装置４００に与える。

制御基板１５０は、例えばスタンド部１１０の保持部１１２内に設けられ、焦点駆動部１１３、ステージ駆動部１２２および撮像部１３２に接続される。制御基板１５０は、処理装置２００による制御に基づいて焦点駆動部１１３およびステージ駆動部１２２の動作を制御する。撮像部１３２には、制御装置４００から制御信号が入力される。また、撮像部１３２により生成された複数の原画像データは、ケーブル２０３を介して順次処理装置２００に与えられる。

（ｂ）処理装置
処理装置２００は、筐体２１０、光生成部３００および制御装置４００を含む。筐体２１０は、光生成部３００および制御装置４００を収容する。光生成部３００は、ファイバユニット２０１により測定ヘッド１００の投光部１４０に光学的に接続される。ファイバユニット２０１は、図示しない複数の光ファイバを含む。

光生成部３００は、光源３１０および遮光部３２０を含む。光源３１０は、例えばＬＥＤ（発光ダイオード）である。光源３１０は、ハロゲンランプ等の他の光源であってもよい。遮光部３２０は、光源３１０により出射される光を部分的に遮光可能に光源３１０とファイバユニット２０１との間に配置される。光源３１０により出射された光は、遮光部３２０を通過してファイバユニット２０１へ入射する。これにより、ファイバユニット２０１を通して測定ヘッド１００の投光部１４０から光が出射される。

図２は、図１の制御装置４００の構成を示すブロック図である。図２に示すように、制御装置４００は、制御部４１０、記憶部４２０、表示部４３０、操作部４４０および通信部４５０を含む。制御部４１０は、例えばＣＰＵ（中央演算処理装置）を含む。記憶部４２０は、例えばＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）またはＨＤＤ（ハードディスクドライブ）を含む。本実施の形態においては、制御部４１０および記憶部４２０は、パーソナルコンピュータにより実現される。

制御部４１０は、駆動制御部５００および演算処理部６００を含む。記憶部４２０には、システムプログラムが記憶される。また、記憶部４２０は、種々のデータの処理および制御部４１０から与えられる種々のデータの保存のために用いられる。駆動制御部５００および演算処理部６００の機能は、制御部４１０が記憶部４２０に記憶されるシステムプログラムを実行することにより実現される。

駆動制御部５００は、投光制御部５１０、撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０を含む。投光制御部５１０は、ケーブル２０２を通して図１の光生成部３００に接続され、光生成部３００の動作を制御する。撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０は、ケーブル２０３を通して図１の測定ヘッド１００の制御基板１５０に接続される。

撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０は、制御基板１５０を通して撮像部１３２、焦点駆動部１１３およびステージ駆動部１２２の動作をそれぞれ制御する。また、撮像制御部５２０は、撮像部１３２により生成された複数の原画像データを順次演算処理部６００に与える。

演算処理部６００は、取得した複数の原画像データの少なくとも１つに基づいて、使用者により指定された出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像を示す表示用画像データを生成することができる。演算処理部６００の詳細については後述する。演算処理部６００により取得された複数の原画像データおよび生成された表示用画像データは、記憶部４２０に記憶される。

表示部４３０は、例えばＬＣＤ（液晶ディスプレイ）パネルにより構成される。表示部４３０は、有機ＥＬ（エレクトロルミネッセンス）パネル等の他の表示部により構成されてもよい。表示部４３０は、記憶部４２０に記憶された画像データまたは演算処理部６００により生成された画像データに基づく画像等を表示する。操作部４４０は、マウス、タッチパネル、トラックボールまたはジョイスティック等のポインティングデバイスおよびキーボードを含み、制御装置４００に指示等を与えるために使用者により操作される。また、操作部４４０はポインティングデバイスおよびキーボードに加えてジョグシャトルを含んでもよいし、鏡筒部１３０およびステージ１２１を上下方向に移動させるための回転中心が水平方向を向くダイヤル状の操作手段を含んでもよい。

通信部４５０は、制御装置４００をネットワークに接続するためのインターフェースを含む。図１の例では、表示機能を有する外部装置２がネットワークに接続されている。制御装置４００は、通信部４５０を介して表示機能を有する外部装置２に画像データを送信することが可能である。外部装置２の使用者は、通信部４５０を介して汎用的な画像ファイル形式で記憶された画像データを制御装置４００から取得し、当該画像データに基づく画像を外部装置２に表示させることができる。

（ｃ）投光部
図３（ａ），（ｂ）は、それぞれ投光部１４０の構成を示す斜視図および平面図である。図３（ａ）に示すように、投光部１４０は、保持部材１４１および複数の光ファイバ１４２を含む。保持部材１４１は、例えば樹脂により形成され、円筒形状を有する。平面視における保持部材１４１の外径は、図１のステージ１２１の寸法よりも小さい。保持部材１４１は、図１の対物レンズ１３１ａの光軸Ａ１を取り囲むように配置される。

保持部材１４１には、上面から下面に貫通する複数の貫通孔１４１ａが形成される。複数の貫通孔１４１ａは、略等間隔で配置され、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に位置する。複数の光ファイバ１４２は、複数の貫通孔１４１ａ内にそれぞれ挿通される。これにより、複数の光ファイバ１４２は保持部材１４１により一体的に保持される。各光ファイバ１４２における光の入射部および出射部は、保持部材１４１の上面および下面にそれぞれ位置する。これにより、保持部材１４１の下面に光出射部１４０ｏが形成される。

複数の光ファイバ１４２は、対物レンズ１３１ａの光軸Ａ１を中心とする１つの円周上に配置される。そのため、対物レンズ１３１ａの光軸Ａ１から複数の光ファイバ１４２における出射部までの距離は略等しい。各光ファイバ１４２における出射部とステージ１２１の中心とを結ぶ線が対物レンズ１３１ａの光軸Ａ１に対して成す角度は鋭角である。本実施の形態においては、保持部材１４１が複数の光ファイバ１４２を一体的に保持することにより、上記の複数の光ファイバ１４２の位置関係が容易に維持される。

図３（ｂ）に示すように、投光部１４０の円環状の光出射部１４０ｏは、複数（本例では４つ）の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄに略等分される。複数の領域１４０Ａ〜１４０Ｄは、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置される。複数の領域１４０Ａ〜１４０Ｄは、略同数の光ファイバ１４２の出射部を含む。

複数の光ファイバ１４２の入射部は、図１のファイバユニット２０１により処理装置２００の光生成部３００に光学的に接続される。これにより、光生成部３００から出射された光が、保持部材１４１の上面から複数の光ファイバ１４２の入射部に入射し、複数の光ファイバ１４２の出射部を通して保持部材１４１の下面の光出射部１４０ｏから出射される。すなわち、各領域１４０Ａ〜１４０Ｄに含まれる光ファイバ１４２が光出射部１４０ｏから光を出射することにより、各領域１４０Ａ〜１４０Ｄから光が出射される。

図１の遮光部３２０は、投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するマスクを含む。図１の光源３１０により出射された光は、遮光部３２０のいずれかの開口パターンを通過してファイバユニット２０１へ入射する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、投光部１４０における光を出射する領域１４０Ａ〜１４０Ｄを切り替える。これにより、投光部１４０は、領域１４０Ａ〜１４０Ｄの全体から光を出射可能であるとともに、領域１４０Ａ〜１４０Ｄのいずれかから選択的に光を出射可能である。

このように、投光部１４０は出射方向が互いに異なる光を観察対象物Ｓに照射することができる。領域１４０Ａ〜１４０Ｄの全体から同時に出射される光をリング照明と呼び、領域１４０Ａ〜１４０Ｄのいずれか１つの領域から出射される光を方向性照明と呼ぶ。本実施の形態においては、投光部１４０は、リング照明および４つの方向性照明のいずれかを選択的に出射可能である。したがって、図１の撮像部１３２は、リング照明および４つの方向性照明がそれぞれ観察対象物Ｓに照射されたときの観察対象物Ｓを示す５つの原画像データを生成可能である。

また、演算処理部６００は、５つの原画像データに基づいてハレーション成分が低減された観察対象物Ｓの画像を示す飽和低減画像データを生成し、生成された飽和低減画像データに基づく観察対象物Ｓの画像を表示部４３０に表示させることができる（ハレーション低減処理）。

４つの方向性照明は、対物レンズ１３１ａの光軸Ａ１を中心にθ方向に約９０°異なる４つの位置（領域１４０Ａ〜１４０Ｄ）からそれぞれ出射される光であり、対物レンズ１３１ａの光軸Ａ１を中心に回転対称となる。したがって、各方向性照明は、対物レンズ１３１ａの光軸Ａ１に対して偏りを有する。４つの方向性照明は、対物レンズ１３１ａの光軸Ａ１に対して傾斜しかつ互いに異なる方向に出射される。４つの方向性照明の光量は互いに略等しい。対物レンズ１３１ａの光軸Ａ１に対する４つの方向性照明の照射の角度は、θ方向により均一ではない。

一方、リング照明は、対物レンズ１３１ａの光軸Ａ１に対して偏らない光であり、その中心は対物レンズ１３１ａの光軸Ａ１に略一致する。したがって、リング照明は、実質的に対物レンズ１３１ａの光軸Ａ１の方向に出射される。リング照明は、対物レンズ１３１ａの光軸Ａ１を中心に略均一な光量分布を有し、リング照明の光量は４つの方向性照明の光量の総和に略等しい。すなわち、リング照明の光量は各方向性照明の光量の約４倍である。対物レンズ１３１ａの光軸Ａ１に対するリング照明の照射の角度は、θ方向により均一である。

このように、本実施の形態においては、複数の領域１４０Ａ〜１４０Ｄが対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置される。これにより、複数の原画像データに基づいて演算により表示用画像データを生成する場合には、その演算を単純化することができる。

本実施の形態においては、投光部１４０の各領域１４０Ａ〜１４０Ｄに光出射部材として光ファイバ１４２が設けられるが、本発明はこれに限定されない。投光部１４０の各領域１４０Ａ〜１４０Ｄに光出射部材としてＬＥＤ等の光源が設けられてもよい。この場合、処理装置２００に光生成部３００が設けられない。この構成においては、各領域１４０Ａ〜１４０Ｄに設けられた１または複数の光源が光を出射することにより、各領域１４０Ａ〜１４０Ｄから光が出射される。

図４（ａ）〜（ｃ）は、投光部１４０の配置例を示す模式図である。本実施の形態においては、図４（ａ）に示すように、投光部１４０はレンズユニット１３１に取り付けられる。本発明はこれに限定されず、図４（ｂ）に示すように、投光部１４０はステージ１２１上に配置されてもよい。あるいは、図４（ｃ）に示すように、投光部１４０は、ステージ１２１とレンズユニット１３１との間に配置され、保持部１１４によりスタンド部１１０に保持されてもよい。

さらに、本実施の形態においては、投光部１４０に４つの光を出射する領域１４０Ａ〜１４０Ｄが設けられるが、本発明はこれに限定されない。投光部１４０に３つ以下または５つ以上の光を出射する領域が設けられてもよい。

また、本実施の形態においては、複数の光出射部材（光ファイバ１４２）が対物レンズ１３１ａの光軸Ａ１を中心とする１つの円周上に配置されるが、本発明はこれに限定されない。複数の光出射部材は、対物レンズ１３１ａの光軸Ａ１を中心とする２つ以上の同心円上に配置されてもよい。さらに、本実施の形態においては、各領域１４０Ａ〜１４０Ｄに複数の光出射部材が配置されるが、本発明はこれに限定されない。各領域１４０Ａ〜１４０Ｄに１つの光出射部材が配置されてもよい。

上記実施の形態において、投光部１４０は、複数の光出射領域の位置関係が変化しないようにユニットとして構成されるが、本発明はこれに限定されない。投光部１４０は、複数の光出射領域の位置関係が変化可能に構成されてもよい。

（ｄ）鏡筒部
図５（ａ），（ｂ）は、それぞれ測定ヘッド１００の外観斜視図および鏡筒部１３０の構成を示す模式図である。図５（ａ）に示すように、測定ヘッド１００は鏡筒部１３０をステージ１２１に対して傾斜させるための傾斜機構１０１を含む。傾斜機構１０１は、Ｙ方向に直交する平面内で保持部１１２の下部に対して保持部１１２の上部を支持する。これにより、傾斜機構１０１は、傾斜中心１３０ｃの周りで鏡筒部１３０をステージ１２１に対して傾斜させることができる。図５（ｂ）においては、傾斜後の鏡筒部１３０が一点鎖線で示される。

ステージ１２１は、図２のステージ制御部５４０による制御に基づいて、観察対象物Ｓの表面が鏡筒部１３０の傾斜中心１３０ｃと略同一の高さに位置するようにＺ方向に移動する。そのため、鏡筒部１３０を傾斜させた場合でも、撮像部１３２の視野が移動しないユーセントリック関係が維持され、観察対象物Ｓの所望の観察領域が撮像部１３２の視野から外れることを防止することができる。

図５（ｂ）に示すように、鏡筒部１３０は、レンズユニット１３１、撮像部１３２および傾斜センサ１３３を含む。撮像部１３２は、図２の撮像制御部５２０による制御に基づいてステージ１２１の載置面に載置された観察対象物Ｓからの光をレンズユニット１３１を介して受光し、原画像データを生成する。

撮像制御部５２０は、撮像部１３２の受光時間、ゲインおよびタイミング等を制御する。例えば、撮像制御部５２０は、リング照明の照射時における受光時間に基づいて各方向性照明の照射時における受光時間を調整する。本例では、上述したように、リング照明の光量は各方向性照明の光量の約４倍であるので、撮像制御部５２０は各方向性照明の照射時における受光時間がリング照明の照射時における受光時間の４倍になるように調整する。

この制御によれば、撮像部１３２は、各方向性照明の照射時における受光時間を独立して調整する場合に比べて高速に原画像データを生成することができる。また、リング照明の照射時における画像と各方向性照明の照射時における画像との明るさを容易に略等しくすることができる。なお、本例では、複数の方向性照明の照射時における撮像部１３２の制御内容は互いに同一である。

また、撮像部１３２は、撮像制御部５２０により受光時間が複数変化された状態で複数の原画像データを生成することができる。図２の演算処理部６００は、撮像部１３２の受光時間が複数変化された状態で生成された複数の原画像データを選択的に合成することにより、ダイナミックレンジが調整された画像データを生成することができる（ＤＲ（ダイナミックレンジ）調整処理）。

Ｚ方向に対する対物レンズ１３１ａの光軸Ａ１の傾斜角度（以下、鏡筒部１３０の傾斜角度と呼ぶ。）は、傾斜センサ１３３により検出され、傾斜角度に対応する角度信号が図１の制御基板１５０に出力される。制御基板１５０は、傾斜センサ１３３により出力された角度信号を図２のケーブル２０３および撮像制御部５２０を介して演算処理部６００に与える。演算処理部６００は、角度信号に基づいて、鏡筒部１３０の傾斜角度を算出する。演算処理部６００により算出された傾斜角度は、図１の表示部４３０に表示させることができる。

上記の構成によれば、ステージ１２１の載置面に載置された観察対象物Ｓの平面観察および傾斜観察を選択的に行うことができる。平面観察時には、対物レンズ１３１ａの光軸Ａ１はＺ方向に平行になる。すなわち、鏡筒部１３０の傾斜角度が０°になる。一方、傾斜観察時には、対物レンズ１３１ａの光軸Ａ１はＺ方向に対して傾斜する。また、使用者は、鏡筒部１３０を図１のスタンド部１１０から取り外し、手持ちまたは他の固定部材により固定した状態で観察対象物Ｓの観察を行うことができる。以下の説明においては、観察対象物Ｓの平面観察が行われる。

（ｅ）焦点駆動部
図２の焦点制御部５３０は、レンズユニット１３１を通過した観察対象物Ｓからの光の焦点位置が観察対象物Ｓに対して相対的にＺ方向に変化するように図１の焦点駆動部１１３を制御する。これにより、図１の撮像部１３２は、Ｚ方向に位置が異なる観察対象物Ｓを示す複数の原画像データを生成することができる。

この処理において、使用者は、焦点駆動部１１３がＺ方向に移動する範囲を指定することができる。移動範囲が指定された場合、焦点制御部５３０は、指定された移動範囲で光の焦点位置がＺ方向に変化するように焦点駆動部１１３を制御する。これにより、撮像部１３２は、Ｚ方向に位置が異なる観察対象物Ｓを示す複数の原画像データを短時間で生成することができる。

また、演算処理部６００は、生成されたＺ方向に位置が異なる観察対象物Ｓを示す複数の原画像データの各々について、画素ごとの合焦度を判定することができる。焦点制御部５３０は、演算処理部６００による合焦度の判定結果に基づいて、撮像部１３２の焦点が観察対象物Ｓの特定の部分に合うように焦点駆動部１１３を調整することができる（オートフォーカス処理）。さらに、演算処理部６００は、合焦度の判定結果に基づいて複数の原画像データを画素ごとに選択的に合成することにより、観察対象物Ｓの全部分に合焦した画像データを生成することができる（深度合成処理）。

図６は、焦点駆動部１１３の構成例を示す図である。本実施の形態においては、投光部１４０はレンズユニット１３１に取り付けられる。図６に点線で示すように、レンズユニット１３１が投光部１４０と一体的に焦点駆動部１１３によりＺ方向に移動される。また、図６に一点鎖線で示すように、ステージ１２１が図１のステージ駆動部１２２によりＺ方向に移動される。このように、レンズユニット１３１および投光部１４０とステージ１２１とが相対的にＺ方向に移動可能である。

観察対象物Ｓとレンズユニット１３１と投光部１４０とのＺ方向の位置関係が変化すると、観察対象物Ｓへ照明を照射する光源の仰角（後述する図１０参照）が変化する。

図６の例においては、投光部１４０は鏡筒部１３０に一体的に設けられるが、本発明はこれに限定されない。投光部１４０は、ユニットとして鏡筒部１３０に着脱可能に取り付けられてもよい。この場合、θ方向における投光部１４０とレンズユニット１３１との角度関係を一定に維持するための位置決め機構がレンズユニット１３１または投光部１４０に設けられることが好ましい。

（ｆ）ステージ装置
図７（ａ）〜（ｃ）は、ステージ装置１２０の構成を示す図である。図７（ａ）〜（ｃ）に示すように、ステージ装置１２０は、ステージ１２１、ステージ駆動部１２２および位置センサ１２３を含む。図２のステージ制御部５４０は、ステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させるようにステージ駆動部１２２を制御する。図７（ａ）〜（ｃ）の例では、白抜きの矢印で示すように、ステージ１２１がＸ方向に移動される。以下、ステージ１２１のＸ方向、Ｙ方向およびＺ方向の位置ならびにθ方向の角度を単にステージ１２１の位置と呼ぶ。

位置センサ１２３は、例えばリニアエンコーダまたはロータリエンコーダを含み、ステージ１２１に取り付けられる。ステージ１２１の位置は、位置センサ１２３により検出され、位置を示す位置信号が図１の制御基板１５０に出力される。制御基板１５０は、位置センサ１２３により出力された位置信号を図２のケーブル２０３およびステージ制御部５４０を介して演算処理部６００に与える。演算処理部６００は、位置信号に基づいて、ステージ１２１の位置を算出する。演算処理部６００により算出された位置は、図１の表示部４３０に表示させることができる。

このように、ステージ１２１に位置センサ１２３が取り付けられるが、本発明はこれに限定されない。ステージ１２１に位置センサ１２３が取り付けられなくてもよい。この場合、ステージ１２１の位置を示す目盛りがステージ１２１に付されていてもよい。また、演算処理部６００が図１の制御基板１５０からステージ駆動部１２２への駆動パルスの数に基づいてステージ１２１の位置を算出する場合には、ステージ１２１に位置センサ１２３を取り付ける必要がない。

演算処理部６００は、Ｘ方向またはＹ方向にステージ１２１が移動されつつ生成された複数の画像データを連結することにより、撮像部１３２の視野（後述する単位領域）よりも大きい観察対象物Ｓの領域を示す画像データを生成することができる（連結処理）。また、演算処理部６００は、複数の画像データの連結処理を行うことにより、光がより均一に観察対象物Ｓに照射されたときの画像データを生成することができる。

図８（ａ），（ｂ）は、画像データの連結時における仮想的な投光部１４０の位置を説明するための図である。図８（ａ）は画像データの連結が行われない例を示し、図８（ａ）は画像データの連結が行われる例を示す。図８（ａ），（ｂ）の例では、投光部１４０の一部の領域（例えば図３（ｂ）の領域１４０Ａ）から観察対象物Ｓに光が照射される。

図８（ａ）のレンズユニット１３１の倍率は図８（ｂ）のレンズユニット１３１の倍率よりも低い。この場合、撮像部１３２の視野が大きいので、撮像部１３２は観察対象物Ｓの全体を示す原画像データを生成することができる。しかしながら、領域１４０Ａに近い観察対象物Ｓの部分と領域１４０Ａから遠い観察対象物Ｓの部分とでは、照射される光の光量の差が大きい。そのため、光が均一に観察対象物Ｓに照射されたときの画像データを生成することは困難である。

一方、図８（ｂ）の例では、撮像部１３２の視野は小さいが、ステージ１２１が移動されつつ複数の原画像データが生成される。そのため、複数の原画像データを連結することにより観察対象物Ｓの全体を示す画像データを生成することができる。また、図８（ｂ）の例では、各原画像データの生成時における観察対象物Ｓの各部分と領域１４０Ａとの位置関係が略一定である。すなわち、仮想的に無限遠に存在する領域１４０Ａから平行な光が観察対象物Ｓの全体に照射されていると考えることができる。これにより、光が均一に観察対象物Ｓに照射されたときの画像データを生成することができる。

（ｇ）演算処理部
図９は、図２の演算処理部６００の構成を示すブロック図である。図９に示すように、演算処理部６００は、データ生成部６１０、合焦判定部６２０、算出部６３０および条件設定部６４０を含む。

データ生成部６１０は、図１の撮像部１３２により生成される複数の原画像データの少なくとも１つに基づいて表示用画像データを生成する。また、データ生成部６１０は、使用者の指示に従って画像データにＤＲ調整処理、深度合成処理、連結処理またはハレーション低減処理を行う。

合焦判定部６２０は、図２の焦点制御部５３０がオートフォーカス処理を行う際に、焦点駆動部１１３のＺ方向の移動により生成された複数の原画像データの各々について画素ごとの合焦度を判定する。また、合焦判定部６２０は、データ生成部６１０が深度合成処理を行う際に、複数の原画像データについて画素ごとの合焦度を判定する。

算出部６３０は、角度算出部６３１および位置算出部６３２を含む。角度算出部６３１は、図５（ｂ）の傾斜センサ１３３により出力される角度信号に基づいて、図５（ｂ）の鏡筒部１３０の傾斜角度を算出する。また、角度算出部６３１は、使用者の指示に従って、算出した鏡筒部１３０の傾斜角度を図２の表示部４３０に表示させる。

位置算出部６３２は、図７の位置センサ１２３により出力される位置信号に基づいて、図７のステージ１２１の位置を算出する。位置算出部６３２は、図１の制御基板１５０からステージ駆動部１２２への駆動パルスの数に基づいてステージ１２１の位置を算出してもよい。また、位置算出部６３２は、使用者の指示に従って、算出したステージ１２１の位置を図２の表示部４３０に表示させる。さらに、位置算出部６３２は、図１の撮像部１３２により原画像データが生成されたときのステージ１２１の位置を示す位置情報を図２の記憶部４２０に記憶させる。

条件設定部６４０は、撮像条件設定部６４１および照明条件設定部６４２を含む。撮像条件設定部６４１は、使用者の指示に従って撮像条件を設定する。また、条件設定部６４０は、設定した撮像条件を示す撮像情報を図１の記憶部４２０に記憶させる。撮像条件は、例えば図１の撮像部１３２の受光時間、ＤＲ調整処理の実行の有無、深度合成処理の実行の有無、連結処理の実行の有無およびＺ方向における光の焦点位置の範囲等を含む。図２の駆動制御部５００は、撮像条件設定部６４１により設定された撮像条件に基づいて図１の測定ヘッド１００および光生成部３００の動作を制御する。

照明条件設定部６４２は、使用者の指示に従って照明条件を設定する。また、照明条件設定部６４２は、設定した照明条件に対応する照明情報を記憶部４２０に記憶させる。照明条件は、観察対象物Ｓに対する光の仮想的な出射方向を含む。データ生成部６１０は、照明条件設定部６４２により設定された照明条件に基づいて表示用画像データを生成し、記憶部４２０に記憶させる。使用者による照明条件の指示方法については後述する。

（２）拡大観察装置の基本動作
（ａ）基本動作の内容
ステージ１２１の載置面において、対物レンズ１３１ａの光軸Ａ１が交差する位置を基準点と呼ぶ。観察対象物Ｓは観察対象部分が基準点上に位置するようにステージ１２１に載置される。この状態で、観察対象物Ｓの少なくとも一部に対物レンズ１３１ａの焦点が合うようにレンズユニット１３１（図１）のＺ方向の位置が調整される。また、観察対象物Ｓの所望の部分を観察することができるように、ステージ１２１がＸ方向およびＹ方向に調整される。さらに、撮像部１３２の受光時間およびホワイトバランス等の撮像条件が調整される。

以下の説明では、上記の４つの方向性照明を区別するために、投光部１４０の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの各々から出射される光をそれぞれ第１の方向性照明、第２の方向性照明、第３の方向性照明および第４の方向性照明と呼ぶ。また、以下の説明では、リング照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向をリング出射方向と呼ぶ。リング出射方向は、ステージ１２１の載置面に対して垂直な方向である。また、第１の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第１の出射方向と呼び、第２の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第２の出射方向と呼ぶ。さらに、第３の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第３の出射方向と呼び、第４の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第４の出射方向と呼ぶ。

ここで、基準点上に載置される観察対象物Ｓに光を照射する際の光の出射方向または出射位置が特定可能となるように、ステージ１２１の載置面上に基準点を原点とする極座標系を定義する。図１０は、ステージ１２１の載置面上に定義される極座標系を示す図である。図１０に示すように、ステージ１２１の載置面上の基準点が原点Ｏとして定義される。図１０に太い実線で示すように、ステージ１２１の載置面を上方から見た状態で原点Ｏを中心として反時計回りの方向に方位角が定義される。本例では、原点Ｏから拡大観察装置１の一側方に向く方向が方位角の基準角度（０°）として定義される。

また、載置面上または載置面よりも上方の任意の位置に点Ｑを仮定する。この場合、図１０に太い一点鎖線で示すように、点Ｑと原点Ｏとを結ぶ直線と、載置面との間の角度が点Ｑの仰角として定義される。点Ｑが載置面上にある場合、点Ｑの仰角は０°である。点Ｑが載置面の上方でかつ光軸Ａ１上にある場合、点Ｑの仰角は９０°である。図１０では、ステージ１２１の載置面上の方位角が９０°ごとに示される。以下の説明では、ステージ１２１の載置面よりも上方の任意の位置、または観察対象物Ｓに照射される光の向き等を説明する際に、上記のように定義された「仰角」および「方位角」を適宜用いる。

本例では、投光部１４０の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの中央部分が、光軸Ａ１を中心としてそれぞれ４５°、１３５°、２２５°および３１５°の方位角で配置される。なお、投光部１４０の配置は、上記の例に限定されない。例えば、領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの中央部分が、光軸Ａ１を中心としてそれぞれ０°、９０°、１８０°および２７０°の方位角で配置されてもよい。リング照明および第１〜第４の方向性照明を用いて観察対象物Ｓを順次撮像することを複数照明撮像と呼ぶ。

拡大観察装置１の各構成要素は、複数照明撮像の指示に応答して以下の基本動作を行う。図１１は、複数照明撮像が指示されたときの拡大観察装置１の基本動作を説明するための模式図である。図１１（ａ）〜（ｅ）に、観察対象物Ｓに照射される照明の変化が時系列で示される。図１１（ａ）〜（ｅ）では、光を出射する投光部１４０の領域が太い実線で示されるとともに、リング出射方向および第１〜第４の出射方向がそれぞれ太い実線の矢印で示される。図１１（ｆ）〜（ｊ）に、図１１（ａ）〜（ｅ）の各照明が観察対象物Ｓに照射されたときの観察対象物Ｓの画像ＳＩが示される。以下の説明では、観察対象物Ｓが表示された画像のうち観察対象物Ｓの表示部分を対象部分画像ｓｐと呼ぶ。

図１１（ａ）に示すように、まず観察対象物Ｓにリング照明が照射され、観察対象物Ｓが撮像される。この場合、対物レンズ１３１ａの光軸Ａ１を取り囲む全ての領域１４０Ａ〜１４０Ｄから観察対象物Ｓの各部分に第１〜第４の方向性照明が同時かつ均一に照射される。それにより、図１１（ｆ）に示すように、リング照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐに観察対象物Ｓの形状による影がほとんど発生しない。したがって、観察対象物Ｓのうち上方を向く部分の表面状態をほぼ全体に渡って観察することができる。

次に、図１１（ｂ）に示すように、観察対象物Ｓに第１の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１１（ｇ）に示すように、第１の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第１の出射方向および観察対象物Ｓの形状に応じて４５°の方位角の位置から２２５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第１の出射方向に強く強調される。

次に、図１１（ｃ）に示すように、観察対象物Ｓに第２の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１１（ｈ）に示すように、第２の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第２の出射方向および観察対象物Ｓの凹凸に応じて１３５°の方位角の位置から３１５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第２の出射方向に強く強調される。

次に、図１１（ｄ）に示すように、観察対象物Ｓに第３の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１１（ｉ）に示すように、第３の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第３の出射方向および観察対象物Ｓの凹凸に応じて２２５°の方位角の位置から４５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第３の出射方向に強く強調される。

次に、図１１（ｅ）に示すように、観察対象物Ｓに第４の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１１（ｊ）に示すように、第４の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第４の出射方向および観察対象物Ｓの凹凸に応じて３１５°の方位角の位置から１３５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第４の出射方向に強く強調される。

上記の一連の動作は、後述するように図１の制御部４１０が記憶部４２０に記憶されたシステムプログラムを実行することにより自動的に行われるが、使用者の操作に基づいて手動で行われてもよい。

複数照明撮像が完了すると、図１の表示部４３０に観察画面が表示される。図１２は、観察画面の一表示例を示す図である。図１２に示すように、観察画面４３０Ａの上部に機能表示領域４３１が設定される。機能表示領域４３１には、深度合成ボタンｂ１、ＤＲ調整ボタンｂ２、連結ボタンｂ３、ハレーションボタンｂ４および保存ボタンｂ７が表示される。

使用者は、図１の操作部４４０を用いて機能表示領域４３１に表示される各ボタンを操作することができる。深度合成ボタンｂ１、ＤＲ調整ボタンｂ２、連結ボタンｂ３、ハレーションボタンｂ４および保存ボタンｂ７がそれぞれ操作されることにより実行される処理の内容については後述する。

図１２に示すように、機能表示領域４３１の下方に主表示領域４３２および副表示領域４３３が左右に並ぶように設定される。主表示領域４３２は、機能表示領域４３１および副表示領域４３３に比べて大きい面積を有する。初期状態では、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像ＳＩのうちの１つが主表示領域４３２のほぼ全体に渡って表示される。本例では、第１の方向性照明が照射されたときの観察対象物Ｓの画像ＳＩ（図１１（ｂ），（ｇ）参照）が主表示領域４３２に表示される。

副表示領域４３３には、出射方向指定欄４３３ａおよび出射方向表示欄４３３ｂが表示される。出射方向指定欄４３３ａには、載置面上の観察対象物Ｓの位置を示す対象物位置画像ｓｓ０が表示される。また、投光部１４０よりも上方の位置から観察対象物Ｓを見たときの観察対象物Ｓに対する光の出射位置を示す光アイコンｓｓ１が対象物位置画像ｓｓ０上に重畳表示される。

この場合、対象物位置画像ｓｓ０上の観察対象物Ｓの対象部分画像ｓｐと光アイコンｓｓ１との相対的な位置関係は、主表示領域４３２に表示される画像ＳＩを得るために観察対象物Ｓに照射されるべき光の出射方向（以下、光の仮想的な出射方向と呼ぶ。）に対応する。

使用者は、図１の操作部４４０を用いて図１２の光アイコンｓｓ１を対象物位置画像ｓｓ０上の観察対象物Ｓの対象部分画像ｓｐに対して相対的に移動させることにより、光の仮想的な出射位置を把握しつつ光の仮想的な出射方向を容易に指定することができる。

使用者により光の仮想的な出射方向が指定されることにより、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩは、指定された出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像ＳＩに更新される。画像ＳＩの更新処理は、図９のデータ生成部６１０により実行される。

出射方向表示欄４３３ｂには、載置面上の基準点を示す画像が基準点画像ｓｓ２として表示されるとともに、ステージ１２１上で基準点を覆う仮想的な半球の画像が半球画像ｓｓ３として立体的に表示される。半球画像ｓｓ３上には、光アイコンｓｓ１により指定される光の仮想的な出射方向に対応する光の出射位置を示す画像が出射位置画像ｓｓ４として表示される。

さらに、半球画像ｓｓ３上の出射位置画像ｓｓ４と基準点画像ｓｓ２とを結ぶように直線が表示される。この場合、直線上で出射位置画像ｓｓ４から基準点画像ｓｓ２に向かう方向が、光アイコンｓｓ１により指定される光の出射方向を示す。使用者は、出射方向表示欄４３３ｂに表示される基準点画像ｓｓ２、半球画像ｓｓ３および出射位置画像ｓｓ４を視認することにより、光アイコンｓｓ１により指定される光の仮想的な出射方向を容易かつ正確に認識することができる。

拡大観察装置１は、リング照明および第１〜第４の方向性照明のうちの一部のみを複数照明撮像に用いる照明として選択可能に構成されてもよい。リング照明および第１〜第４の方向性照明のうちの一部のみを用いて複数照明撮像が行われると、光アイコンｓｓ１により指定可能な出射方向の範囲が制限される場合がある。

この場合、半球画像ｓｓ３においては、出射方向指定欄４３３ａの光アイコンｓｓ１により指定可能な出射方向の範囲が指定不可能な出射方向の範囲から識別可能に表示されてもよい。例えば、指定可能な出射方向の範囲が特定の方位角の範囲に制限される場合、指定可能な方位角の範囲に対応する部分と指定不可能な方位角の範囲に対応する部分とで色等の表示態様を異ならせてもよい。それにより、使用者は、光アイコンｓｓ１により指定可能な出射方向の範囲を容易に認識することができる。あるいは、半球画像ｓｓ３は、上記の例に代えて、光アイコンｓｓ１により指定可能な出射方向の範囲のみを表示してもよい。

本例では、出射方向表示欄４３３ｂに、基準点を覆う仮想的な半球が半球画像ｓｓ３として立体的に表示されるが、本発明はこれに限定されない。出射方向表示欄４３３ｂには、基準点を覆う仮想的な半球を上方から見た平面半球画像と仮想的な半球を一側方から見た側面半球画像とが表示されてもよい。この場合、平面半球画像上に基準点画像ｓｓ２と出射位置画像ｓｓ４とが表示されてもよい。また側面半球画像上に基準点画像ｓｓ２と出射位置画像ｓｓ４とが表示されてもよい。

図１３は、光の仮想的な出射方向の指定に応答して観察対象物Ｓの画像ＳＩが更新されるときの処理内容を説明するための模式図である。

拡大観察装置１においては、図１２の副表示領域４３３に表示される対象物位置画像ｓｓ０について予め定められた平面座標系が定義されている。さらに、図１３（ａ）に示すように、図１２の対象物位置画像ｓｓ０上には、上記のリング照明ならびに第１、第２、第３および第４の出射方向にそれぞれ対応する光の出射位置を示す点ＰＡ，ＰＢ，ＰＣ，ＰＤ，ＰＥが予め設定されている。

点ＰＡ〜ＰＥの位置は、例えば投光部１４０とステージ１２１との相対的な位置関係に基づいて設定される。本例では、点ＰＡは、対象物位置画像ｓｓ０の中心に位置し、点ＰＢ，ＰＣ，ＰＤ，ＰＥは、点ＰＡを中心とする同心円上に等角度間隔で並ぶ。

制御部４１０は、予め定められた周期で光アイコンｓｓ１の対象物位置画像ｓｓ０上の位置（座標）を検出し、光アイコンｓｓ１の位置に対応する観察対象物Ｓの画像ＳＩを図１２の主表示領域４３２に表示させる。

例えば、制御部４１０は、光アイコンｓｓ１が図１３（ａ）の点ＰＡ上に位置する場合にリング出射方向に対応する図１１（ｆ）の画像ＳＩを図１２の主表示領域４３２に表示させる。また、制御部４１０は、光アイコンｓｓ１が図１３（ａ）の点ＰＢ上に位置する場合に第１の出射方向に対応する図１１（ｇ）の画像ＳＩを図１２の主表示領域４３２に表示させ、光アイコンｓｓ１が図１３（ａ）の点ＰＣ上に位置する場合に第２の出射方向に対応する図１１（ｈ）の画像ＳＩを図１２の主表示領域４３２に表示させる。さらに、制御部４１０は、光アイコンｓｓ１が図１３（ａ）の点ＰＤ上に位置する場合に第３の出射方向に対応する図１１（ｉ）の画像ＳＩを図１２の主表示領域４３２に表示させ、光アイコンｓｓ１が図１３（ａ）の点ＰＥ上に位置する場合に第４の出射方向に対応する図１１（ｊ）の画像ＳＩを図１２の主表示領域４３２に表示させる。

光アイコンｓｓ１が点ＰＡ〜ＰＥとは異なる位置にある場合、制御部４１０は、以下の手順に従って主表示領域４３２に表示させるべき観察対象物Ｓの画像ＳＩを生成する。

図１３（ａ）に示すように、制御部４１０は、光アイコンｓｓ１が点ＰＡ〜ＰＥとは異なる位置にある場合、各点ＰＡ〜ＰＥと光アイコンｓｓ１との間の距離を算出する。また、制御部４１０は、算出された距離の短い順に複数の点ＰＡ〜ＰＥから予め定められた数の点（本例では３つの点）を抽出する。図１３（ａ）の例では、光アイコンｓｓ１と点ＰＢとの間の距離ｄ１が最も短く、光アイコンｓｓ１と点ＰＡとの間の距離ｄ２が２番目に短く、光アイコンｓｓ１と点ＰＣとの間の距離ｄ３が３番目に短い。したがって、制御部４１０は点ＰＡ，ＰＢ，ＰＣを抽出する。

続いて、制御部４１０は、距離ｄ１，ｄ２，ｄ３に基づいて、点ＰＡに対応する原画像データと、点ＰＢに対応する原画像データと、点ＰＣに対応する原画像データとの合成割合を決定する。

合成割合は、例えば距離ｄ１，ｄ２，ｄ３の値の逆数の比である。この場合、合成割合は、光アイコンｓｓ１からの距離が短い点に対応する原画像データほど高くなり、光アイコンｓｓ１からの距離が遠い点に対応する原画像データほど低くなる。図１３（ｂ）の例では、点ＰＡに対応する原画像データ、点ＰＢに対応する原画像データおよび点ＰＣに対応する原画像データの合成割合が、それぞれ３０％、５０％および２０％として決定されている。

制御部４１０は、決定した合成割合に基づいて点ＰＡ，ＰＢ，ＰＣにそれぞれ対応する３つの原画像データを合成する。具体的には、制御部４１０は、原画像データごとにその原画像データの全画素データの値（画素値）に合成割合を乗算し、乗算後の３つの原画像データを合成することにより表示用画像データを生成する。その後、制御部４１０は、生成された表示用画像データに基づく画像ＳＩを図１２の主表示領域４３２に表示させる。

図１３（ｃ）に、図１３（ａ）の光アイコンｓｓ１の位置に対応して主表示領域４３２に表示される画像ＳＩの一例が示される。図１３（ｃ）の画像ＳＩにおいては、点ＰＡ，ＰＢ，ＰＣにそれぞれ対応する３つの原画像データが合成されることにより、観察対象物Ｓにおける凹凸部分が図１３（ａ）の光アイコンｓｓ１により指定される光の仮想的な出射方向に強く強調されている。

上記のように、主表示領域４３２に表示される画像ＳＩの画像データは、複数照明撮像の完了後、生成された複数の原画像データと使用者により指定された光の仮想的な出射方向とに基づいて生成される。そのため、使用者により指定される光の仮想的な出射方向が連続的に変化する場合であっても、指定された出射方向に対応する複数の画像データが、制御部４１０の処理能力に応じた速度でほぼ連続的に生成される。また、生成された複数の画像データに基づく画像ＳＩが連続的に表示される。したがって、照明の位置を変化させつつ継続して撮像を行った場合に得られる映像（動画）とほぼ同じ映像が主表示領域４３２上で擬似的に再現される。それにより、使用者は、光の仮想的な出射方向を指定しつつ主表示領域４３２上の画像ＳＩを視認することにより、指定された出射方向の光が観察対象物Ｓにリアルタイムに照射されているように感じる。

上記の例では、制御部４１０は、リング照明および第１〜第４の方向性照明に対応する点ＰＡ〜ＰＥのうち３つの点を抽出し、抽出された３つの点に対応する３つの原画像データの合成割合を決定するが、本発明はこれに限定されない。制御部４１０は、全ての点ＰＡ〜ＰＥにそれぞれ対応する５つの原画像データについて合成割合を決定し、決定された合成割合に基づいて５つの原画像データを合成してもよい。

なお、図１２の観察画面４３０Ａ上には、図１の操作部４４０により複数照明撮像により得られる複数の原画像データについての合成割合を入力可能な合成割合入力欄が表示されてもよい。この場合、制御部４１０は、使用者により合成割合入力欄に入力された値に基づいて複数の原画像データのうちの一部または全てを合成してもよい。

図１２の観察画面４３０Ａにおいては、副表示領域４３３に表示される対象物位置画像ｓｓ０上に光アイコンｓｓ１が重畳表示される。本実施の形態においては、対象物位置画像ｓｓ０上の光アイコンｓｓ１に加えて、主表示領域４３２に表示される画像ＳＩ上にも光アイコンｓｓ１が重畳表示されてもよい。図１４は、主表示領域４３２および副表示領域４３３にそれぞれ光アイコンｓｓ１が表示される例を示す図である。

この場合、観察対象物Ｓの画像ＳＩ上にも、上記の点ＰＡ〜ＰＥが設定される。使用者は、例えば図１の操作部４４０を用いて観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１および対象物位置画像ｓｓ０上の光アイコンｓｓ１のうちいずれか一方を観察画面４３０Ａ上で移動させることができる。

対象物位置画像ｓｓ０上の光アイコンｓｓ１が移動された場合、制御部４１０は、上記の図１３を用いて説明した例と同様の手順で表示用画像データを生成し、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示する。このとき、制御部４１０は、対象物位置画像ｓｓ０上の光アイコンｓｓ１の位置に対応する位置へ移動するように、画像ＳＩ上の光アイコンｓｓ１の位置を調整する。

観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１が移動された場合、制御部４１０は、画像ＳＩ上の光アイコンｓｓ１の位置と、画像ＳＩに設定された点ＰＡ〜ＰＥとの位置関係に基づいて表示用画像データを生成し、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示する。このとき、制御部４１０は、画像ＳＩ上の光アイコンｓｓ１の位置に対応する位置へ移動するように、対象物位置画像ｓｓ０上の光アイコンｓｓ１の位置を調整する。

図１４の例によれば、使用者は、２つの光アイコンｓｓ１のうち所望の光アイコンｓｓ１を用いて光の仮想的な出射方向を指定することができる。なお、図１４の例においては、２つの光アイコンｓｓ１は必ずしも同時に表示されなくてもよい。例えば、観察画面４３０Ａ上に表示される各種ボタンおよび光アイコンｓｓ１等がポインタにより操作される場合には、観察画面４３０Ａ上のポインタの位置に応じて２つの光アイコンｓｓ１のうちの一方の光アイコンｓｓ１のみが観察画面４３０Ａ上に表示されてもよい。具体的には、マウスポインタが主表示領域４３２上に位置する場合には、観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１のみが表示され、対象物位置画像ｓｓ０上の光アイコンｓｓ１が表示されなくてもよい。また、マウスポインタが副表示領域４３３上に位置する場合には、対象物位置画像ｓｓ０上の光アイコンｓｓ１のみが表示され、観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１が表示されなくてもよい。

なお、対象物位置画像ｓｓ０上の光アイコンｓｓ１は、マウスポインタの位置に関わらず表示されていてもよい。これにより、使用者は、光の仮想的な出射位置を容易に把握することができる。

表示部４３０に図１２の観察画面４３０Ａが表示された状態で、光アイコンｓｓ１により光の仮想的な出射方向が指定される場合の観察画面４３０Ａの変化について具体例を説明する。

図１５は、観察画面４３０Ａの他の表示例を示す図である。図１５では、以下の説明の理解を容易にするために、出射方向指定欄４３３ａに表示される対象物位置画像ｓｓ０上に図１３（ａ）の５つの点ＰＡ〜ＰＥを示している。

図１５の出射方向指定欄４３３ａに点線で示すように、例えば点ＰＢ〜ＰＥが並ぶ点ＰＡの同心円上で点ＰＢの位置から点ＰＢ，ＰＥの間の位置にかけて光アイコンｓｓ１が移動される。この場合、制御部４１０は、上記の例と同様に点ＰＡ〜ＰＥにそれぞれ対応する複数の原画像データのうちの一部の原画像データを合成することにより、表示用画像データを生成する。また、制御部４１０は、生成した表示用画像データに基づく観察対象物Ｓの画像ＳＩを主表示領域４３２に表示させる。

図１５の主表示領域４３２に表示される画像ＳＩにおいては、観察対象物Ｓにおける凹凸部分が出射方向指定欄４３３ａの光アイコンｓｓ１により指定される光の仮想的な出射方向に強く強調されている。

仮想的な光の出射方向は、方位角および仰角の成分を含む。本例では、点ＰＢ〜ＰＥが並ぶ点ＰＡの同心円上で光アイコンｓｓ１が移動される。使用者は、対象物位置画像ｓｓ０上で光アイコンｓｓ１を対象物位置画像ｓｓ０の中心に対して回転するように移動させることにより仮想的な光の出射方向の方位角を指定することができる。それにより、光の仮想的な出射方向の方位角が、光アイコンｓｓ１により指定された方位角に変更される。このように、使用者は、光アイコンｓｓ１を操作することにより、光の仮想的な出射方向の方位角を所望の方向に指定することができる。その結果、主表示領域４３２に表示される画像ＳＩにおいて、観察対象物Ｓにおける凹凸部分の強調される方向をθ方向に容易に変更することができる。

図１６は、観察画面４３０Ａのさらに他の表示例を示す図である。図１６においても、図１５の例と同様に、出射方向指定欄４３３ａに表示される対象物位置画像ｓｓ０上に、図１３（ａ）の５つの点ＰＡ〜ＰＥを示している。図１６の出射方向指定欄４３３ａに点線で示すように、光アイコンｓｓ１が図１５の出射方向指定欄４３３ａに示される位置から点ＰＡに近づくように移動される。この場合、制御部４１０は、上記の例と同様に点ＰＡ〜ＰＥにそれぞれ対応する複数の原画像データのうちの一部の原画像データを合成することにより、表示用画像データを生成する。また、制御部４１０は、生成した表示用画像データに基づく観察対象物Ｓの画像ＳＩを主表示領域４３２に表示させる。

図１６の主表示領域４３２に表示される画像ＳＩにおいては、観察対象物Ｓにおける凹凸部分が、図１５の主表示領域４３２に表示される画像ＳＩに比べて弱く強調されている。

本例では、点ＰＡを中心として点ＰＢ〜ＰＥが並ぶ同心円上から点ＰＡに向かって光アイコンｓｓ１が移動される。使用者は、対象物位置画像ｓｓ０上で光アイコンｓｓ１を対象物位置画像ｓｓ０の中心に対して近づけるまたは遠ざけることにより仮想的な光の出射方向の載置面からの仰角を指定することができる。それにより、光の仮想的な出射方向の載置面からの仰角が、光アイコンｓｓ１により指定された仰角に変更される。このように、使用者は、光アイコンｓｓ１を操作することにより、仮想的な光の出射方向の仰角を所望の角度に指定することができる。その結果、主表示領域４３２に表示される画像ＳＩにおいて、観察対象物Ｓにおける凹凸部分の強調される度合いを容易に変更することができる。

上記の例では、表示部４３０の観察画面４３０Ａ上に、表示用画像データに基づく画像ＳＩを表示するための主表示領域４３２と、光アイコンｓｓ１を操作するための副表示領域４３３とが設定される。それにより、観察対象物Ｓの画像ＳＩと光アイコンｓｓ１とが重ならない。したがって、観察対象物Ｓの画像ＳＩおよび光アイコンｓｓ１が視認しやすい。

使用者は、観察対象物Ｓの画像ＳＩについて光の仮想的な出射方向を所望の方向に指定した状態で、図１の操作部４４０を用いて図１２の保存ボタンｂ７を操作する。この場合、主表示領域４３２に表示される画像ＳＩの表示用画像データが、その表示用画像データに関する複数のデータとともに記憶部４２０に記憶される。複数のデータには、表示用画像データに関連する複数の原画像データ、撮像情報、照明情報およびレンズ情報等が含まれる。

上記の例では、複数照明撮像の完了後の初期状態で観察画面４３０Ａの主表示領域４３２に、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像ＳＩのうちの１つが表示されるが、本発明はこれに限定されない。拡大観察装置１においては、例えば複数照明撮像が開始される前に、予め初期状態で表示されるべき画像ＳＩに対応する仮想的な光の出射方向が指定可能であってもよい。あるいは、予め初期状態で表示されるべき画像ＳＩに対応する仮想的な光の出射方向は、拡大観察装置１の工場出荷時に予め製造業者により指定されていてもよい。また、使用者の操作を受け付けるまで、複数照明撮像の完了後の初期状態で観察画面４３０Ａの主表示領域４３２に、画像ＳＩに対応する仮想的な光の出射方向が徐々に変化するように、画像ＳＩに対する出射方向が滑らかに変化する画像（動画）が表示されてもよい。

この場合、制御部４１０は、複数照明撮像が完了時に、予め指定された仮想的な光の出射方向と、複数照明撮像により生成された複数の原画像データとに基づいて指定された出射方向に対応する表示用画像データを生成する。また、制御部４１０は、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示させる。

（ｂ）複数照明撮像処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、複数照明撮像プログラムおよび表示用画像生成プログラムを含む。図２の制御部４１０は、複数照明撮像プログラムおよび表示用画像生成プログラムを実行することにより、複数照明撮像処理および表示用画像生成処理を行う。複数照明撮像処理および表示用画像生成処理により上記の一連の基本動作が実現される。これにより、使用者が熟練していない場合でも、原画像データを容易に生成することができる。

図１７は、複数照明撮像処理の一例を示すフローチャートである。複数照明撮像処理は、使用者による複数照明撮像の指示に応答して開始される。複数照明撮像処理が開始されると、制御部４１０は、予め設定された撮像条件に従ってリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ１０１）。撮像により生成された原画像データは記憶部４２０に記憶される。

次に、制御部４１０はｉを１に設定する（ステップＳ１０２）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ１０３）。撮像により得られる原画像データは記憶部４２０に記憶される。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ１０４）。ｉが４でない場合、制御部４１０は、ｉをｉ＋１に更新し（ステップＳ１０５）、ステップＳ１０３の処理に戻る。

ステップＳ１０４において、ｉが４である場合、制御部４１０は、複数の原画像データにそれぞれ対応する複数のサムネイル画像データを生成する（ステップＳ１０６）。生成された複数のサムネイル画像データは記憶部４２０に記憶される。それにより、複数照明撮像処理が終了する。

上記の説明において、表示部４３０にサムネイル画像を表示する必要がない場合にステップＳ１０６の処理が省略されてもよい。それにより、処理時間が短縮される。

また、上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ１０１の処理は、ステップＳ１０２〜Ｓ１０５の処理よりも後に実行されてもよい。

（ｃ）表示用画像生成処理の一例
図１８および図１９は、表示用画像生成処理の一例を示すフローチャートである。本実施の形態においては、制御部４１０は、複数照明撮像処理の終了後に表示用画像生成処理を開始する。

制御部４１０は、まず複数照明撮像処理で生成された複数の原画像データのうち任意の原画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２０１）。また、制御部４１０は、対象物位置画像ｓｓ０および光アイコンｓｓ１を表示部４３０の出射方向指定欄４３３ａに表示させる（ステップＳ２０２）。さらに、制御部４１０は、基準点画像ｓｓ２、半球画像ｓｓ３および出射位置画像ｓｓ４を表示部４３０の出射方向表示欄４３３ｂに表示させる（ステップＳ２０３）。

その後、制御部４１０は、光アイコンｓｓ１が操作されたか否かを判定する（ステップＳ２０４）。光アイコンｓｓ１が操作されない場合、制御部４１０は、後述するステップＳ２１０の処理に進む。

光アイコンｓｓ１が操作されると、制御部４１０は、光アイコンｓｓ１の操作に応答して光アイコンｓｓ１および出射位置画像ｓｓ４の表示を更新する（ステップＳ２０５）。また、制御部４１０は、光アイコンｓｓ１の操作により光の仮想的な出射方向が指定されたと認識し（ステップＳ２０６）、指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれかであるか否かを判定する（ステップＳ２０７）。ステップＳ２０７の判定処理は、対象物位置画像ｓｓ０上に設定される上記の点ＰＡ〜ＰＥと光アイコンｓｓ１との位置関係に基づいて実行される。

指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれかである場合、制御部４１０は、指定された出射方向に対応する原画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２０８）。その後、制御部４１０は、後述するステップＳ２１０の処理に進む。

ステップＳ２０７において、指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれでもない場合、制御部４１０は、指定された出射方向に基づいて複数の原画像データの合成割合を算出する（ステップＳ２０９）。ステップＳ２０９の算出処理は、ステップＳ２０７の処理と同様に、対象物位置画像ｓｓ０上に設定される上記の点ＰＡ〜ＰＥと光アイコンｓｓ１との位置関係に基づいて実行される。

その後、制御部４１０は、ステップＳ２０９で算出された合成割合に基づいて複数の原画像データを合成することにより表示用画像データを生成し、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２１０）。

本実施の形態においては、使用者は、図１の操作部４４０を操作することにより、観察対象物Ｓの観察の終了を指示することができる。制御部４１０は、ステップＳ２０９の処理後、観察対象物Ｓの観察の終了が指示されたか否かを判定する（ステップＳ２１１）。観察対象物Ｓの観察の終了が指示されると、制御部４１０は、表示用画像生成処理を終了する。一方、観察対象物Ｓの観察の終了が指示されない場合、制御部４１０は、ステップＳ２０４の処理に戻る。

図１８および図１９の表示用画像生成処理においては、制御部４１０は、ステップＳ２０９の処理中または処理後に、指定された仮想的な光の出射方向の方位角および仰角のうち少なくとも一方を算出してもよい。この場合、制御部４１０は、算出された方位角および仰角のうち少なくとも一方を表示部４３０に表示させてもよい。それにより、使用者は、指定した光の仮想的な出射方向についての情報を容易に認識することができる。

上記の表示用画像生成処理においては、ステップＳ２０１の処理で複数照明撮像処理で生成された複数の原画像データのうち任意の原画像データに基づく観察対象物Ｓの画像ＳＩが表示部４３０に表示されるが、本発明はこれに限定されない。ステップＳ２０１の処理において、制御部４１０は、任意の原画像データに代えて、予め定められた照明（例えばリング照明）に対応する原画像データに基づく画像ＳＩを表示部４３０に表示させてもよい。または、制御部４１０は、ステップＳ２０１の処理を省略してもよい。

上記の例では、表示用画像生成処理は、複数照明撮像処理の終了後に実行されるが、本発明はこれに限定されない。複数照明撮像処理が連続的または間欠的に一定周期で実行される場合、表示用画像生成処理は複数照明撮像処理と並行して実行されてもよい。この場合、直前の複数照明撮像処理により記憶部４２０に記憶される最新の複数の原画像データに基づいて表示用画像生成処理を実行することができる。

本実施の形態に係る拡大観察装置１においては、使用者は、図１の操作部４４０を用いて記憶部４２０に記憶された複数の原画像データの一部を指定することができる。この場合、制御部４１０は、使用者による原画像データの指定に応答し、指定された原画像データを読み込み、読み込んだ原画像データに基づく表示用画像生成処理を行ってもよい。

（３）深度合成処理
（ａ）処理内容
使用者は、図１の操作部４４０を用いて図１２の深度合成ボタンｂ１を操作することにより、図１の制御部４１０に深度合成処理の指示を与えることができる。

深度合成処理では、Ｚ方向における光の焦点位置の範囲および焦点位置の移動ピッチが深度合成処理用の撮像条件として予め設定されることが好ましい。この場合、図１の焦点駆動部１１３は過度に大きい範囲で光の焦点位置を変化させる必要がないので、複数の原画像データを高速に生成することができる。撮像条件は、例えば使用者による操作部４４０の操作に基づいて設定される。なお、Ｚ方向における光の焦点位置の範囲および焦点位置の移動ピッチは、撮像に用いられる対物レンズ１３１ａの倍率等に応じて自動的に設定されてもよい。以下の説明では、深度合成処理用の撮像条件は予め設定されているものとする。

図２０は、深度合成処理の概念図である。図２０（ａ）に、レンズユニット１３１と投光部１４０とステージ１２１との位置関係が示される。本例では、ステージ１２１が静止した状態で、レンズユニット１３１が投光部１４０と一体的にＺ方向に移動される。この場合、予め指定されたＺ方向における光の焦点位置の範囲および焦点位置の移動ピッチに基づいて、レンズユニット１３１（対物レンズ１３１ａ）が移動すべきＺ方向の位置Ｈ１〜Ｈｊ（ｊは自然数）が定まる。

深度合成処理では、レンズユニット１３１が位置Ｈ１〜Ｈｊの各々に位置決めされた状態でリング照明および第１〜第４の方向性照明を用いて観察対象物Ｓが撮像される。それにより、リング照明および第１〜第４の方向性照明を用いて位置Ｈ１〜Ｈｊにそれぞれ対応する複数（ｊ個）の原画像データが生成される。図２０（ｂ）に、位置Ｈ１〜Ｈｊにそれぞれ対応する観察対象物Ｓの複数の画像ＳＩが照明ごとに示される。

リング照明を用いた撮像により得られた複数の原画像データの各々について、画素ごとの合焦度が判定される。合焦度の判定結果に基づいて、複数の原画像データが選択的に合成される。それにより、リング照明が照射された観察対象物Ｓの全部分に合焦した深度合成画像データが生成される。また、各方向性照明に対応する複数の原画像データと後述するマスクイメージデータとに基づいて各方向性照明に対応する深度合成画像データが生成される。深度合成画像データに基づく画像を深度合成画像と呼ぶ。図２０（ｂ）に、リング照明および第１〜第４の方向性照明にそれぞれ対応する観察対象物Ｓの複数の深度合成画像ＳＦが示される。

制御部４１０は、複数の原画像データに代えて深度合成処理により生成された複数の深度合成画像データに基づいて表示用画像生成処理を実行する。それにより、使用者は、所望の方向から観察対象物Ｓに光が照射されたと仮定した場合に得られるべき観察対象物Ｓの深度合成画像ＳＦを表示部４３０に容易に表示させることができる。

上記の深度合成処理において、照明ごとに位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが生成される。図１２の観察画面４３０Ａには、複数の原画像データの生成のみを指示するための操作ボタンが表示されてもよい。複数の原画像データの生成のみが指示された場合、制御部４１０は、複数の原画像データの生成のみを行った後、焦点のＺ方向の位置について使用者による指定を受け付け、指定されたＺ方向の位置に対応する複数の原画像データを用いて表示用画像生成処理を実行してもよい。

上記の深度合成処理においては、リング照明に対応する深度合成画像データが生成される際にマスクイメージデータが生成され、生成されたマスクイメージデータを用いて第１〜第４の方向性照明にそれぞれ対応する複数の深度合成画像データが生成される。マスクイメージデータについて説明する。

鏡筒部１３０とステージ１２１とのＺ方向の位置を変化させつつ観察対象物Ｓを撮像する処理において生成された複数の原画像データの各々には、Ｚ方向における光の焦点位置Ｈ１〜Ｈｊに対応する番号が付与される。図９のデータ生成部６１０は、リング照明に対応する深度合成画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成する。

図２１は、マスクイメージデータを視覚的に示す模式図である。図２１における小さい各正方形は、リング照明に対応する深度合成画像データの各画素データに相当する。また、各正方形に付与された番号は、当該正方形に対応する画素において、Ｚ方向における光の焦点位置Ｈ１〜Ｈｊのうち、どの位置で生成した画素データの画素値が最適であったか、つまり飽和せずに輝度値が最も高くなったのは光のどの焦点位置であるかというデータが抽出された原画像データの番号を示す。すなわち、図２１の例においては、最も左上の画素データは光の焦点位置Ｈ１２の原画像データから抽出され、最も右下の画素データは光の焦点位置Ｈ８５の原画像データから抽出されたことを示す。

データ生成部６１０は、生成したマスクイメージデータに基づいて、第１〜第４の方向性照明の各々に対応する深度合成画像データを生成する。この場合、図９の合焦判定部６２０は、第１〜第４の方向性照明の各々に対応する深度合成画像データを生成する際に、原画像データについて画素ごとの合焦度を判定する必要がない。これにより、深度合成処理を高速化することができる。

上記の説明においては、リング照明および第１〜第４の方向性照明ごとに深度合成画像データが先に生成され、生成された複数の深度合成画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。使用者により指定された光の仮想的な出射方向に基づいて、Ｚ方向の複数の位置Ｈ１〜Ｈｊにそれぞれ対応する複数の表示用画像データが生成され、生成された複数の表示用画像データに基づいて表示用の深度合成画像データが生成されてもよい。この場合、マスクイメージデータは不要である。

なお、上記説明においては、リング照明が出射されたときの画像データに基づいてマスクイメージデータが生成されたが、本発明はこれに限定されない。リング照明が出射されたときの画像データおよび方向性照明が出射されたときの画像データの各々に基づいてマスクイメージデータが生成されてもよい。また、方向性照明が出射されたときのマスクイメージデータは、複数の方向性照明ごとに生成されてもよい。この構成は、リング照明と方向性照明とで光量が異なること等により最適なＺ方向の位置が異なる場合に有用である。

（ｂ）深度合成処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、深度合成プログラムを含む。図２の制御部４１０は、深度合成プログラムを実行することにより、深度合成処理を行う。

図２２、図２３および図２４は、深度合成処理の一例を示すフローチャートである。制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３０１）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３０２）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３０３）。続いて、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３０４）。

ステップＳ３０４において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量（予め設定された移動ピッチ）だけ上方に移動させる（ステップＳ３０５）。その後、制御部４１０は、ステップＳ３０２の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３０２〜Ｓ３０５の処理を繰り返す。

ステップＳ３０４において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、リング照明に対応する各原画像データについて、画素ごとの合焦度を判定する（ステップＳ３０６）。次に、制御部４１０は、合焦度の判定結果に基づいて複数の原画像データの画素データを合成することにより、リング照明に対応する深度合成画像データを生成する（ステップＳ３０７）。また、制御部４１０は、合成された画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成し、記憶部４２０に記憶させる（ステップＳ３０８）。

その後、制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３０９）。次に、制御部４１０は、ｉを１に設定する（ステップＳ３１０）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３１１）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３１２）。続いて、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３１３）。

ステップＳ３１３において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量（予め設定された移動ピッチ）だけ上方に移動させる（ステップＳ３１４）。その後、制御部４１０は、ステップＳ３１１の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３１１〜Ｓ３１４の処理を繰り返す。

ステップＳ３１３において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、記憶部４２０に記憶されたマスクイメージデータに基づいて複数の原画像データの画素データを合成することにより、第ｉの方向性照明に対応する深度合成画像データを生成する（ステップＳ３１５）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３１６）。ステップＳ３１６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３１７）。その後、制御部４１０は、レンズユニット１３１を下限位置に移動させ（ステップＳ３１８）、ステップＳ３１１の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３１１〜Ｓ３１８の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成されるとともに、第１〜第４の方向性照明の各々に対応する深度合成画像データが生成される。ステップＳ３１６において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ３０６〜Ｓ３０８の処理は、ステップＳ３０９〜Ｓ３１４と並列的に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ３１５の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ３１１〜Ｓ３１４と並列的に実行されてもよい。これらの場合、深度合成処理を高速化することができる。

あるいは、ステップＳ３０６〜Ｓ３０８の処理は、ステップＳ３０９〜Ｓ３１４の処理よりも後に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ３１５の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ３１１〜Ｓ３１４の処理よりも後に実行されてもよい。

（ｃ）深度合成処理の他の例
図２５、図２６および図２７は、深度合成処理の他の例を示すフローチャートである。制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３２１）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３２２）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３２３）。

続いて、制御部４１０は、ｉを１に設定する（ステップＳ３２４）。ここで、ｉは複数の方向性照明の番号を示す。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３２５）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３２６）。次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３２７）。

ステップＳ３２７において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３２８）。その後、制御部４１０はステップＳ３２５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３２５〜Ｓ３２８の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。ステップＳ３２７において、ｉが４である場合、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３２９）。

ステップＳ３２９において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量だけ上方に移動させる（ステップＳ３３０）。その後、制御部４１０は、ステップＳ３２２の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３２２〜Ｓ３３０の処理を繰り返す。

ステップＳ３２９において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、リング照明に対応する各原画像データについて、画素ごとの合焦度を判定する（ステップＳ３３１）。次に、制御部４１０は、合焦度の判定結果に基づいて複数の原画像データの画素データを合成することにより、リング照明に対応する深度合成画像データを生成する（ステップＳ３３２）。また、制御部４１０は、合成された画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成し、記憶部４２０に記憶させる（ステップＳ３３３）。

続いて、制御部４１０は、再度ｉを１に設定する（ステップＳ３３４）。その後、制御部４１０は、記憶部４２０に記憶されたマスクイメージデータに基づいて複数の原画像データの画素データを合成することにより、第ｉの方向性照明に対応する深度合成画像データを生成する（ステップＳ３３５）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３３６）。ステップＳ３１６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３３７）。その後、制御部４１０はステップＳ３３５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３３５〜Ｓ３３７の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する深度合成画像データが生成される。ステップＳ３３６において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ３３１〜Ｓ３３７の処理の一部は、ステップＳ３２１〜Ｓ３３０と並列的に実行されてもよい。この場合、深度合成処理を高速化することができる。また、ステップＳ３２２，Ｓ３２３の処理は、ステップＳ３２４〜Ｓ３２８の処理よりも後に実行されてもよい。

上記の深度合成処理の一例および他の例においては、レンズユニット１３１が初期位置として下限位置に移動された後、上限位置まで所定量ずつ上方に移動されるが、本発明はこれに限定されない。深度合成処理においては、レンズユニット１３１が初期位置として上限位置に移動された後、下限位置まで所定量ずつ下方に移動されてもよい。

なお、上記の説明においては、深度合成処理として位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが合成されるが、本発明はこれに限定されない。位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが、合成されることなく独立に利用されてもよい。

例えば、図９の合焦判定部６２０による判定結果に基づいて、撮像部１３２の焦点が観察対象物Ｓの特定の部分に最も一致する原画像データが位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データから抽出されてもよい。この場合、リング照明および第１〜第４の方向性照明にそれぞれ対応して抽出された複数の原画像データに基づいて、全体的に合焦度が大きい画像を示す表示用画像データを高速に生成することができる。

（４）ＤＲ調整処理
（ａ）処理内容
使用者は、図１の操作部４４０を用いて図１２のＤＲ調整ボタンｂ２を操作することにより、演算処理部６００にＤＲ調整処理の指示を与えることができる。

ＤＲ調整処理においては、撮像部１３２の受光時間を予め定められた複数の値に変化させた状態で、リング照明および第１〜第４の方向性照明の各々が照射されたときの観察対象物Ｓが撮像される。これにより、リング照明および第１〜第４の方向性照明の各々に対応する複数の原画像データが、撮像部１３２の受光時間ごとに図９のデータ生成部６１０により生成される。撮像部１３２の受光時間が短いときに生成された各原画像データの全体的な画素値は比較的小さく撮像部１３２の受光時間が長いときに生成された各原画像データの全体的な画素値は比較的大きい。

リング照明に対応する複数の原画像データがデータ生成部６１０により合成される。これにより、リング照明に対応する原画像データのダイナミックレンジを調整することができる。同様に、各方向性照明に対応する複数の原画像データがデータ生成部６１０により合成される。これにより、各方向性照明に対応する原画像データのダイナミックレンジを調整することができる。

ここで、ダイナミックレンジの調整は、ダイナミックレンジの拡大および縮小を含む。ダイナミックレンジが拡大するように複数の原画像データを合成することにより、画像から黒つぶれおよびハレーション（白とび）を低減することができる。一方、ダイナミックレンジが縮小するように複数の原画像データを合成することにより、画像の濃淡の差が大きくなる。これにより、滑らかな表面を有する観察対象物Ｓの凹凸を精密に観察することができる。

上記の説明においては、リング照明および第１〜第４の方向性照明ごとにダイナミックレンジが調整されるように原画像データが先に合成され、合成された複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。撮像部１３２の受光時間ごとに複数の原画像データに基づいて表示用画像データが先に生成され、ダイナミックレンジが調整されるように撮像部１３２の受光時間ごとに生成された表示用画像データが合成されてもよい。

（ｂ）ＤＲ調整処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、ＤＲ調整プログラムを含む。図２の制御部４１０は、ＤＲ調整プログラムを実行することにより、ＤＲ調整処理を行う。

図２８および図２９は、ＤＲ調整処理の一例を示すフローチャートである。制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４０１）。この状態で、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４０２）。続いて、制御部４１０は、リング照明が照射された状態で、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４０３）。

ステップＳ４０３において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４０４）。その後、制御部４１０は、ステップＳ４０２の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４０２〜Ｓ４０４の処理を繰り返す。

ステップＳ４０３において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成されたリング照明に対応する複数の原画像データを合成する（ステップＳ４０５）。これにより、リング照明に対応する原画像データのダイナミックレンジが調整される。

その後、制御部４１０は、ｉを１に設定する（ステップＳ４０６）。ここで、ｉは複数の方向性照明の番号を示す。次に、制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４０７）。この状態で、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４０８）。続いて、制御部４１０は、第ｉの方向性照明が照射された状態で、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４０９）。

ステップＳ４０９において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４１０）。その後、制御部４１０は、ステップＳ４０８の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４０８〜Ｓ４１０の処理を繰り返す。

ステップＳ４０９において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成された生成された第ｉの方向性照明に対応する複数の原画像データを合成する（ステップＳ４１１）。これにより、第ｉの方向性照明に対応する原画像データのダイナミックレンジが調整される。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４１２）。ステップＳ４１２において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４１３）。その後、制御部４１０はステップＳ４０７の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４０７〜Ｓ４１３の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成され、ダイナミックレンジが調整されるように合成される。ステップＳ４１２において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ４０５の処理は、ステップＳ４０６〜Ｓ４１３の処理と並列的に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ４１１の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ４０７〜Ｓ４１０と並列的に実行されてもよい。これらの場合、ＤＲ調整処理を高速化することができる。

あるいは、ステップＳ４０１〜Ｓ４０５の処理は、ステップＳ４０６〜Ｓ４１３の処理よりも後に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ４１１の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ４０７〜Ｓ４１０の処理よりも後に実行されてもよい。

（ｃ）ＤＲ調整処理の他の例
図３０および図３１は、ＤＲ調整処理の他の例を示すフローチャートである。制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４２１）。この状態で、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４２２）。

続いて、制御部４１０は、ｉを１に設定する（ステップＳ４２３）。ここで、ｉは複数の方向性照明の番号を示す。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４２４）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４２５）。ステップＳ４２５において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４２６）。その後、制御部４１０はステップＳ４２４の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４２４〜Ｓ４２６の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。続いて、制御部４１０は、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４２７）。

ステップＳ４２７において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４２８）。その後、制御部４１０は、ステップＳ４２２の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４２２〜Ｓ４２８の処理を繰り返す。

ステップＳ４２７において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成されたリング照明に対応する複数の原画像データをダイナミックレンジが調整されるように合成する（ステップＳ４２９）。これにより、リング照明に対応する原画像データのダイナミックレンジが調整される。

その後、制御部４１０は、再度ｉを１に設定する（ステップＳ４３０）。次に、制御部４１０は、生成された第ｉの方向性照明に対応する複数の原画像データを合成する（ステップＳ４３１）。これにより、第ｉの方向性照明に対応する原画像データのダイナミックレンジが調整される。続いて、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４３２）。

ステップＳ４３２において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４３３）。その後、制御部４１０はステップＳ４３１の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４３１〜Ｓ４３３の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが、ダイナミックレンジが調整されるように合成される。ステップＳ４３２において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ４２９〜Ｓ４３３の処理の一部は、ステップＳ４２１〜Ｓ４２８の処理と並列的に行われてもよい。この場合、ＤＲ調整処理を高速化することができる。また、ステップＳ４２２の処理は、ステップＳ４２３〜Ｓ４２６の処理よりも後に実行されてもよい。さらに、ステップＳ４２９の処理は、ステップＳ４３０〜Ｓ４３３の処理よりも後に実行されてもよい。

（５）連結処理
（ａ）処理内容
図１の撮像部１３２の１回の撮像により原画像データが生成される観察対象物Ｓの表面を単位領域と呼ぶ。図１のステージ１２１がＸ方向またはＹ方向に移動されつつ観察対象物Ｓが撮像されることにより、Ｘ方向またはＹ方向に隣り合う複数の原画像データが撮像部１３２により生成される。図９のデータ生成部６１０は、隣り合う複数の原画像データを連結することにより、単位領域よりも大きい観察対象物Ｓの領域を示す連結画像データを生成することができる。

図３２（ａ）〜（ｃ）は、連結画像データを視覚的に示す図である。リング照明および複数の方向性照明の各々に対応して連結画像データが生成される。図３２（ａ），（ｂ）は、リング照明および複数の方向性照明のうちのいずれか２つの照明にそれぞれ対応する連結画像データＣＧ１，ＣＧ２を示す。各連結画像データＣＧ１，ＣＧ２は、隣り合う複数の原画像データＯＧが連結されることにより生成される。隣り合う原画像データＯＧには、のりしろとなる重複部分が設けられる。図３２（ａ），（ｂ）においては、当該重複部分が点線で示される。

連結画像データＣＧ１，ＣＧ２を含む複数の連結画像データを合成することにより、表示用画像データを生成することができる。ここで、連結画像データごとに照明の照射位置および重複部分が異なることがある。この場合、図３２（ｃ）に示すように、複数の連結画像データのサイズが互いに一致しない。図３２（ｃ）においては、連結画像データＣＧ１，ＣＧ２がそれぞれ実線および一点鎖線で示される。このような場合、表示用画像データを正確に生成することが困難である。これを防止するため、本実施の形態においては、以下の連結処理が実行される。

使用者は、図１の操作部４４０を用いて図１２の連結ボタンｂ３を操作することにより、演算処理部６００に連結処理の指示を与えることができる。

図３３（ａ）〜（ｅ）は、連結処理を説明するための図である。図３３（ａ）〜（ｄ）に示すように、観察対象物Ｓにリング照明が照射されつつステージ１２１がＸ方向に順次移動される。ステージ１２１の移動は、観察対象物Ｓの所望の領域の全てが撮像されるまで繰り返される。この状態で、原画像データＯＧ１，ＯＧ２，ＯＧ３，ＯＧ４が撮像部１３２により順次生成される。図３３の例では、原画像データＯＧ１，ＯＧ２，ＯＧ３，ＯＧ４は、それぞれ実線、一点鎖線、点線および二点鎖線により図示される。

ステージ１２１は、隣り合う原画像データＯＧ１〜ＯＧ４の一部が互いに重複するように移動される。図３３の例では、原画像データＯＧ１，ＯＧ２間、原画像データＯＧ２，ＯＧ３間および原画像データＯＧ３，ＯＧ４間に重複部分ＯＬ１，ＯＬ２，ＯＬ３がそれぞれ形成される。重複部分ＯＬ１〜ＯＬ３は、隣り合う原画像データＯＧ１〜ＯＧ４を連結する際ののりしろとなる。

各原画像データＯＧ１〜ＯＧ４が生成されたときのステージ１２１の位置は、図９の位置算出部６３２により算出され、当該位置を示す位置情報が図２の記憶部４２０に記憶される。また、原画像データＯＧ１〜ＯＧ４間の重複部分ＯＬ１〜ＯＬ３を示す重複領域情報が記憶部４２０に記憶される。図９のデータ生成部６１０は、重複部分ＯＬ１〜ＯＬ３についてパターンマッチングを行うことにより隣り合う原画像データＯＧ１〜ＯＧ４を連結する。これにより、原画像データＯＧ１〜ＯＧ４が高い精度で連結される。

同様にして、観察対象物Ｓに各方向性照明が照射されつつステージ１２１がＸ方向に順次移動される。この状態で、Ｘ方向に隣り合う複数の原画像データが撮像部１３２により順次生成される。データ生成部６１０は、生成された各原画像データの位置を記憶部４２０に記憶された位置情報および重複領域情報に基づいて補正し、補正後の隣り合う原画像データを連結する。

この連結処理の手順によれば、各方向性照明に対応する隣り合う原画像データについて、パターンマッチングを行うことなく高い精度で連結することができる。また、パターンマッチングを行う必要がないので、連結処理を高速化することができる。さらに、各方向性照明に対応する連結後の画像データのサイズがリング照明に対応する連結後の画像データのサイズに一致する。これにより、複数の連結後の画像データを用いて単位領域よりも大きい観察対象物Ｓの領域を示す表示用画像データを容易に生成することができる。

上記の連結処理においては、複数の連結後の画像データが先に生成され、生成された複数の連結後の画像データを用いて単位領域よりも大きい観察対象物Ｓの領域を示す表示用画像データが生成されるが、本発明はこれに限定されない。ステージ１２１の複数の位置における表示用画像データが先に生成され、生成された複数の表示用画像データが連結されることにより単位領域よりも大きい観察対象物Ｓの領域を示す表示用画像データが生成されてもよい。この場合、複数の表示用画像データはパターンマッチングを用いて連結されることが好ましい。また、複数の表示用画像データは、リング照明が出射されたときの重複領域情報を用いて連結されることが好ましい。

（ｂ）連結処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、連結プログラムを含む。図２の制御部４１０は、連結プログラムを実行することにより、連結処理を行う。

図３４および図３５は、連結処理の一例を示すフローチャートである。制御部４１０は、ステージ１２１を初期位置に移動させる（ステップＳ５０１）。また、制御部４１０は、移動後のステージ１２１の位置を算出し、当該位置を示す位置情報を記憶部４２０に記憶させる（ステップＳ５０２）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ５０３）。続いて、制御部４１０は、リング照明が照射された状態で観察対象物Ｓの所望の領域の全てが撮像されたか否かを判定する（ステップＳ５０４）。

ステップＳ５０４において、観察対象物Ｓの所望の領域の全てが撮像されていない場合、制御部４１０は、ステージ１２１を所定量だけ移動させる（ステップＳ５０５）。その後、制御部４１０は、ステップＳ５０２の処理に戻る。観察対象物Ｓの所望の領域の全てが撮像されるまで、制御部４１０はステップＳ５０２〜Ｓ５０５の処理を繰り返す。

ステップＳ５０４において、観察対象物Ｓの所望の領域の全てが撮像された場合、制御部４１０は生成されたリング照明に対応する複数の原画像データを連結する（ステップＳ５０６）。また、制御部４１０は、隣り合う原画像データを連結した際の重複領域を示す重複領域情報を記憶部４２０に記憶させる（ステップＳ５０７）。

その後、制御部４１０は、ステージ１２１を初期位置に移動させる（ステップＳ５０８）。次に、制御部４１０は、ｉを１に設定する（ステップＳ５０９）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ５１０）。続いて、制御部４１０は、第ｉの方向性照明が照射された状態で観察対象物Ｓの所望の領域の全てが撮像されたか否かを判定する（ステップＳ５１１）。

ステップＳ５１１において、観察対象物Ｓの所望の領域の全てが撮像されていない場合、制御部４１０は、ステージ１２１を所定量だけ移動させる（ステップＳ５１２）。その後、制御部４１０は、ステップＳ５１０の処理に戻る。観察対象物Ｓの所望の領域の全てが撮像されるまで、制御部４１０はステップＳ５１０〜Ｓ５１２の処理を繰り返す。

ステップＳ５１１において、観察対象物Ｓの所望の領域の全てが撮像された場合、制御部４１０は、記憶部４２０に記憶された位置情報および重複領域情報に基づいて、生成された第ｉの方向性照明に対応する複数の原画像データの位置を補正する（ステップＳ５１３）。また、制御部４１０は、補正された複数の原画像データを連結する（ステップＳ５１４）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ５１５）。ステップＳ５１５において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ５１６）。その後、制御部４１０はステップＳ５１０の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ５１０〜Ｓ５１６の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成され、記憶部４２０に記憶された位置情報および重複領域情報に基づいて連結される。ステップＳ５１５において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ５０６，Ｓ５０７の処理は、ステップＳ５０８〜Ｓ５１２と並列的に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ５１３，Ｓ５１４の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ５１０〜Ｓ５１２と並列的に実行されてもよい。これらの場合、連結処理を高速化することができる。

あるいは、ステップＳ５０６，Ｓ５０７の処理は、ステップＳ５０８〜Ｓ５１２の処理よりも後に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ５１３，Ｓ５１４の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ５１０〜Ｓ５１２の処理よりも後に実行されてもよい。

（ｃ）連結処理の他の例
図３６および図３７は、連結処理の他の例を示すフローチャートである。制御部４１０は、ステージ１２１を初期位置に移動させる（ステップＳ５２１）。また、制御部４１０は、移動後のステージ１２１の位置を算出し、当該位置を示す位置情報を記憶部４２０に記憶させる（ステップＳ５２２）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ５２３）。

続いて、制御部４１０は、ｉを１に設定する（ステップＳ５２４）。ここで、ｉは複数の方向性照明の番号を示す。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ５２５）。次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ５２６）。

ステップＳ５２６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ５２７）。その後、制御部４１０はステップＳ５２５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ５２５〜Ｓ５２７の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。ステップＳ５２６において、ｉが４である場合、制御部４１０は、観察対象物Ｓの所望の領域の全てが撮像されたか否かを判定する（ステップＳ５２８）。

ステップＳ５２８において、観察対象物Ｓの所望の領域の全てが撮像されていない場合、制御部４１０は、ステージ１２１を所定量だけ移動させる（ステップＳ５２９）。その後、制御部４１０は、ステップＳ５２２の処理に戻る。観察対象物Ｓの所望の領域の全てが撮像されるまで、制御部４１０はステップＳ５２２〜Ｓ５２８の処理を繰り返す。

ステップＳ５２８において、観察対象物Ｓの所望の領域の全てが撮像された場合、制御部４１０は、制御部４１０は生成されたリング照明に対応する複数の原画像データを連結する（ステップＳ５３０）。また、制御部４１０は、隣り合う原画像データを連結した際の重複領域を示す重複領域情報を記憶部４２０に記憶させる（ステップＳ５３１）。

続いて、制御部４１０は、再度ｉを１に設定する（ステップＳ５３２）。その後、制御部４１０は、記憶部４２０に記憶された位置情報および重複領域情報に基づいて、生成された第ｉの方向性照明に対応する複数の原画像データの位置を補正する（ステップＳ５３３）。また、制御部４１０は、補正された複数の原画像データを連結する（ステップＳ５３４）。次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ５３５）。

ステップＳ５３５において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ５３６）。その後、制御部４１０はステップＳ５３３の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ５３３〜Ｓ５３６の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが、記憶部４２０に記憶された位置情報および重複領域情報に基づいて連結される。ステップＳ５３５において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ５３０〜Ｓ５３６の処理の一部は、ステップＳ５２１〜Ｓ５２９の処理と並列的に実行されてもよい。この場合、連結処理を高速化することができる。また、ステップＳ５２３の処理は、ステップＳ５２４〜Ｓ５２７の処理よりも後に実行されてもよい。

（６）ハレーション低減処理
（ａ）ハレーション低減処理の具体的な内容
以上で説明したように、本発明においては、複数の原画像データが生成される。これにより、表示用画像データを生成することが可能になる。一方で、生成された複数の原画像データは、表示用画像データの生成以外の他の用途に用いることもできる。複数の原画像データの用途の一例として、ハレーションが低減された画像データの生成がある。以下、ハレーション低減処理について説明する。

撮像部１３２において生成される複数の画素データの値（画素値）は、複数の画素に入射する光の強度分布に応じて変化する。撮像部１３２に強度の高い光が入射すると、強度の高い光を受光した画素から出力される画素値が検出可能な値の上限値に達する（飽和する）場合がある。それにより、観察対象物Ｓの画像ＳＩにハレーション（白とび）が発生する。

図３８は、複数照明撮像により取得される観察対象物Ｓの複数の画像ＳＩの一部にハレーションが発生している例を示す図である。図３８（ａ）〜（ｅ）には、リング照明および第１〜第４の方向性照明にそれぞれ対応する観察対象物Ｓの複数の画像ＳＩがそれぞれ示される。また、各画像ＳＩ内に発生するハレーションＨＬがドットパターンで示される。

図３８（ａ）〜（ｅ）に示すように、ハレーションＨＬの発生位置および影ＳＨの発生位置は、観察対象物Ｓに照射される光の出射方向に大きく依存する。観察対象物Ｓの形状等によっては、光の仮想的な出射方向を変更しても、主表示領域４３２に表示される画像ＳＩからハレーションを低減することが難しい場合がある。

使用者は、図１の操作部４４０を用いて図１２のハレーションボタンｂ４を操作する。それにより、使用者は、制御部４１０にハレーション低減処理の指示を与えることができる。

ハレーション低減処理では、複数照明撮像により生成される複数の原画像データに基づいて、各原画像データに比べてハレーション成分の低減された飽和低減画像データが表示用画像データとして生成される。ハレーション低減処理の詳細について説明する。

以下の説明においては、画素値の上限値は“２５５”であり、下限値は“０”であるものとする。この場合、画素値“２５５”を示す画素の位置がハレーションＨＬの発生位置に対応し、画素値“０”を示す画素の位置が影ＳＨの発生位置に対応する。

ハレーション低減処理では、複数の原画像データの互いに対応する複数の画素ごとに画素値の大きさが比較され、画素値の大きさに基づいて複数の画素に順位が付与される。例えば、図３８（ａ）〜（ｅ）に示すように、複数の画像ＳＩの互いに対応する複数の画素ＰＸ１，ＰＸ２，ＰＸ３，ＰＸ４，ＰＸ５の画素値が、それぞれ“２５５”、“２５５”、“１００”、“９５”および“９０”である場合を想定する。

この場合、最も高い画素値“２５５”を示す画素ＰＸ１，ＰＸ２にそれぞれ１番目および２番目の順位が付与され、次に高い画素値“１００”を示す画素ＰＸ３に３番目の順位が付与され、画素値“９５”を示す画素ＰＸ４に４番目の順位が付与され、最も低い画素値“９０”を示す画素ＰＸ５に５番目の順位が付与される。

本実施の形態においては、ハレーション低減処理の開始時に、使用者による図１の操作部４４０の操作に基づいて選択順位が指定される。選択順位として指定可能な数は、複数照明撮像により観察対象物Ｓに照射される照明の総数以下の自然数である。複数の画素ＰＸ１〜ＰＸ５について順位が付与された後、選択順位に基づいて、複数の画素ＰＸ１〜ＰＸ５のうちの１つの画素が選択される。例えば、使用者により選択順位が「３」と指定されている場合には、複数の画素ＰＸ１〜ＰＸ５のうちの３番目の画素ＰＸ３が選択される。

このようにして、複数の画像ＳＩの全ての画素について、画素値の大きさに基づく画素の選択が行われる。その後、選択された複数の画素が合成されることにより、飽和低減画像データが生成される。

飽和低減画像データに基づく観察対象物Ｓの画像ＳＩにおいては、選択順位の値に応じてハレーション成分の低減度合いが変化する。例えば、選択順位が「１」に指定されると、互いに対応する複数の画素のうち最も高い画素値を有する画素が選択される。この場合、飽和した画素値“２５５”を示す全ての画素が選択される。そのため、ハレーション成分が低減されない。

選択順位が「３」に指定されると、互いに対応する複数の画素のうち中程度の画素値を示す画素が選択される。この場合、画素値“２５５”を示す画素が選択される可能性が低くなる。そのため、各原画像データに比べてハレーション成分が中程度に低減された飽和低減画像データが生成される。

選択順位が「５」に指定されると、互いに対応する複数の画素のうち最も低い画素値を示す画素が選択される。この場合、画素値“２５５”を示す画素が選択される可能性が極めて低くなる。そのため、各原画像データに比べてハレーション成分がより大きく低減された飽和低減画像データが生成される。なお、選択順位が「５」に指定された場合には、互いに対応する複数の画素のうち最も低い画素値を有する画素が選択される。この場合、画素値“０”を示す全ての画素が選択される。そのため、影ＳＨおよび黒つぶれが発生しやすく、画像ＳＩが全体的に暗くなる。

上記のように、ハレーション低減処理におけるハレーション成分の低減度合いは、選択順位の値が小さくなるにつれて弱くなり、選択順位の値が大きくなるにつれて強くなる。したがって、使用者は、選択順位を指定することにより、ハレーション成分の低減度合いおよび画像ＳＩの全体的な明るさを調整することができる。

図３９は、ハレーション低減処理が指示されたときの観察画面４３０Ａの表示状態の一例を示す図である。ハレーション低減処理が指示されると、主表示領域４３２に観察対象物Ｓの画像ＳＩとともに順位指定欄ｂ４１および実行ボタンｂ４２が表示される。

使用者は、図１の操作部４４０を用いて順位指定欄ｂ４１に所望の選択順位を入力することができる。また、使用者は、図１の操作部４４０を用いて実行ボタンｂ４２を操作することにより、順位指定欄ｂ４１に入力された選択順位を指定することができる。

図３９の実行ボタンｂ４２が操作されることにより飽和低減画像データが生成される。図４０は、ハレーション低減処理後の観察画面４３０Ａの表示状態の一例を示す図である。図４０に示すように、飽和低減画像データに基づく観察対象物Ｓの画像ＳＩが主表示領域４３２に表示される。

ハレーション低減処理によれば、複数照明撮像により取得された複数の原画像データに基づいて、ハレーション成分が低減された飽和低減画像データが生成される。したがって、ハレーション成分が低減された観察対象物Ｓの画像ＳＩを短時間で取得することができる。

上記のハレーション低減処理は複数照明撮像処理により生成された５つの原画像データに基づいて実行されるが、本発明はこれに限定されない。ハレーション低減処理は、互いに異なる２つの出射方向の照明で撮像された２つの原画像データに基づいて実行されてもよいし、互いに異なる３つの出射方向の照明で撮像された３つの原画像データに基づいて実行されてもよいし、互いに異なる４つの出射方向の照明で撮像された４つの原画像データに基づいて実行されてもよい。さらに、光の出射方向が互いに異なる５以上の照明で撮像された５以上の原画像データに基づいて実行されてもよい。これらの場合、選択順位として指定可能な数は、ハレーション低減処理に使用される原画像データの数以下の自然数となる。

上記のハレーション低減処理では、複数の原画像データの互いに対応する複数の画素について画素値が高い順に順位が付与されるが、本発明はこれに限定されない。複数の原画像データの互いに対応する複数の画素について画素値が低い順に順位が付与されてもよい。

ハレーション低減処理に用いる複数の原画像データに対応する複数の方向性照明のうち２つの方向性照明に対応する光の出射位置は、対物レンズ１３１ａの光軸Ａ１を挟んで対向するように配置されていることが好ましい。それにより、観察対象物Ｓに照射される２つの照明の光の出射方向が大きく異なるので、２つの方向性照明に対応する２つの原画像データに共通のハレーション成分が生じる可能性が低くなる。したがって、ハレーション成分がより低減された飽和低減画像データを生成することが可能になる。

上記の例では、ハレーション低減処理は複数照明撮像処理により生成された５つの原画像データに基づいて実行されるが、本発明はこれに限定されない。複数方向性照明による撮像が連続的に繰り返し実行されるとともに、原画像データが生成されるごとに飽和低減画像データが生成されてもよい。また、飽和低減画像データが生成されるごとに、生成された飽和低減画像データに基づく観察対象物Ｓの画像ＳＩが表示部４３０上で更新されてもよい。

図４１は、複数の方向性照明による撮像を繰り返し実行しつつ原画像データが生成されるごとに飽和低減画像データを生成するハレーション低減処理の概念図である。図４１の最上段に示すように、本例では、時間の経過とともに第１〜第４の方向性照明にそれぞれ対応する原画像データが順次繰り返して生成される。

制御部４１０は、初期状態から４番目の原画像データが生成された時点で１番目〜４番目までの４つの原画像データと予め指定された選択順位とに基づいてハレーション低減処理を実行する。それにより、ハレーション成分が低減された飽和低減画像データに基づく画像ＳＩを表示部４３０に表示させる。

その後、制御部４１０は、新たなｎ（ｎは５以上の自然数）番目の原画像データが生成されるごとに、（ｎ−３）番目からｎ番目までの４つの原画像データに基づいてハレーション低減処理を実行する。それにより、新たな飽和低減画像データに基づいて表示部４３０に表示される画像ＳＩが更新される。

この場合、表示部４３０にハレーション成分が低減された観察対象物Ｓの画像ＳＩがリアルタイムに表示される。したがって、使用者は、観察対象物Ｓの画像ＳＩを視認しつつ、撮像部１３２の受光時間の調整等を容易に行うことができる。

ここで、上記のようにハレーション成分が低減された画像ＳＩがリアルタイムに表示される場合、観察対象物Ｓの画像ＳＩの更新動作は、特定の期間で停止されてもよい。

例えば、同じ方向性照明により一定周期で生成される複数の原画像データに変化がない場合には、撮像情報および照明条件の調整が停止されている可能性が高い。そこで、同じ方向性照明により一定周期で生成される所定数の原画像データの間で画像の変化が認められないときに、画像ＳＩの更新動作が停止されてもよい。また、観察対象物Ｓの画像ＳＩの更新動作が停止された後、同じ方向性照明により生成される２つの原画像データの間で画像の変化が認められたときに、更新動作が再開されてもよい。この場合、更新動作が停止された状態で、表示部４３０に表示される観察対象物Ｓの画像ＳＩのちらつきが防止される。

上記の例では、使用者が選択順位を指定するために観察画面４３０Ａに順位指定欄ｂ４１が表示されるが、本発明はこれに限定されない。順位指定欄ｂ４１が表示される代わりに、選択順位を画像の明るさとして示すバーとそのバー上で選択順位を指定するためのスライダとが、観察画面４３０Ａに表示されてもよい。この場合、使用者は、スライダを操作することにより、選択順位を指定することができる。

上記の例では、選択順位は使用者の指定に基づいて設定されるが、本発明はこれに限定されない。選択順位は、使用者により設定される代わりに予め拡大観察装置１の工場出荷時に拡大観察装置１の製造者により設定されてもよい。

複数の原画像データの少なくとも一部がハレーション成分を含む場合、複数の原画像データの互いに対応する複数の画素がそれぞれ示す複数の画素値のうち最も高い値は飽和している可能性がある。そこで、選択順位が予め設定される場合、選択順位は、最も高い値を除く画素値を示す画素が選択されるように設定されることが好ましい。この場合、複数の原画像データの互いに対応する複数の画素から、最も高い画素値を除く画素値を示す画素が選択される。そのため、飽和した画素値を示す画素が選択されにくくなる。したがって、ハレーション成分が低減された表示用画像データが生成される。

また、ハレーション低減処理においては、制御部４１０は、選択順位に基づいて互いに対応する複数の画素から１つの画素を選択する代わりに、選択順位を用いることなく複数の画素の画素値に基づいて１つの画素を選択してもよい。具体的には、制御部４１０は、互いに対応する複数の画素の複数の画素値の全てが飽和している場合に複数の画素のうちの任意の画素を選択してもよい。また、制御部４１０は、複数の画素値の一部が飽和しかつ残りの画素値が飽和していない場合に飽和していない画素値を示す画素のうち任意の画素を選択してもよい。さらに、制御部４１０は、複数の画素値の全てが飽和していない場合に飽和していない画素値を示す画素のうち任意の画素を選択してもよい。

本実施の形態に係るハレーション低減処理は、複数照明撮像処理後に、使用者がハレーション低減処理を指示することにより実行されるが、本発明はこれに限定されない。例えば、拡大観察装置１の制御部４１０は、使用者による動作モードの選択に応答して、通常モードおよびハレーション低減モードのうち一方のモードで動作可能に構成されてもよい。この場合、制御部４１０は、通常モードにおいて、使用者によるハレーション低減処理の指示に応答してハレーション低減処理を実行してもよい。一方、制御部４１０は、ハレーション低減モードにおいて、撮像により生成される画像データにハレーション成分が存在するか否かを判定し、ハレーション成分が存在する場合にハレーション低減処理を実行してもよい。

（ｂ）ハレーション低減処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、ハレーション低減プログラムを含む。図２の制御部４１０は、ハレーション低減プログラムを実行することにより、ハレーション低減処理を行う。

図４２は、ハレーション低減処理の一例を示すフローチャートである。ハレーション低減処理は、使用者によるハレーション低減処理の指示に応答して開始される。ハレーション低減処理が開始されると、制御部４１０は、選択順位が指定されたか否かを判定する（ステップＳ６０１）。なお、選択順位が予め設定されている場合、制御部４１０はステップＳ６０１の処理を省略することができる。

選択順位が指定されない場合、制御部４１０は、選択順位が指定されるまでステップＳ６０１の処理を繰り返す。選択順位が指定されると、制御部４１０は、指定された選択順位を記憶部４２０に記憶させ（ステップＳ６０２）、ｋを１に設定する（ステップＳ６０３）。

続いて、制御部４１０は、複数の原画像データの互いに対応するｋ番目の複数の画素データを読み出す（ステップＳ６０４）。制御部４１０は、読み出した複数の画素データの画素値に基づいてそれらの画素値を示す複数の画素にそれぞれ順位を付与する（ステップＳ６０５）。そこで、制御部４１０は、複数の画素から指定された選択順位の画素を選択する（ステップＳ６０６）。

次に、制御部４１０は、ｋが撮像部１３２の全画素数を表す値Ｎであるか否かを判定する（ステップＳ６０７）。ｋが値Ｎではない場合、制御部４１０は、ｋをｋ＋１に更新し（ステップＳ６０８）、ステップＳ６０４の処理に戻る。一方、ｋが値Ｎである場合、制御部４１０は、ステップＳ６０４〜Ｓ６０８の処理が繰り返されることにより選択された全ての画素を合成して飽和低減画像データを生成する（ステップＳ６０９）。

最後に、制御部４１０は、飽和低減画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ６１０）。

（ｃ）ハレーション低減処理と深度合成処理との組み合わせ
使用者は、ハレーション低減処理と深度合成処理とを組み合わせて使用してもよい。図４３は、ハレーション低減処理と深度合成処理とを組み合わせて使用する場合の使用例を示す図である。図４３（ａ）に、リング照明で撮像された原画像データに基づく観察対象物Ｓの画像ＳＩの一例が示される。本例の観察対象物Ｓにおいては、上面の一部に、「ｓｓｓ」および「ｆｆｆ」の文字列が付されている。

図４３（ａ）の画像ＳＩにおいては、対象部分画像ｓｐ上にハレーションＨＬが発生している。また、図４３（ａ）の画像ＳＩにおいては、観察対象物Ｓの一部に光の焦点が合っていない。そのため、観察対象物Ｓの形状の一部を詳細に観察することができない。そこで、使用者は、深度合成処理を指示する。この場合、制御部４１０は、深度合成処理を実行し、リング照明および第１〜第４の方向性照明にそれぞれ対応する複数の深度合成画像データを生成する。

図４３（ｂ）に、リング照明に対応する深度合成画像ＳＦの一例が示される。図４３（ｂ）の深度合成画像ＳＦにおいては、観察対象物Ｓの全体に渡って光の焦点が合っているが、対象部分画像ｓｐ上にハレーションＨＬが存在する。そこで、使用者は、ハレーション低減処理を指示する。この場合、制御部４１０は、深度合成処理で生成された複数の深度合成画像データのうち少なくとも２以上の深度合成画像データを用いてハレーション低減処理を実行し、飽和低減画像データを生成する。

図４３（ｃ）に、ハレーション成分が低減された深度合成画像ＳＦの一例が示される。図４３（ｃ）の画像ＳＩにおいては、観察対象物Ｓの全体に渡って光の焦点が合っているとともに、対象部分画像ｓｐ上にハレーションＨＬが存在しない。

このように、ハレーション低減処理と深度合成処理とを組み合わせて使用することにより、観察対象物Ｓの各部分に焦点が合いかつハレーション成分が低減された観察対象物Ｓの画像を観察することができる。

ハレーション低減処理と深度合成処理とを組み合わせて使用する場合、処理の順序は上記の例に限定されない。例えば、レンズユニット１３１のＺ方向の複数の位置にそれぞれ対応する複数の原画像データが生成された後、Ｚ方向の複数の位置にそれぞれ対応する複数の飽和低減画像データが生成され、生成された複数の飽和低減画像データに基づいて１つの深度合成画像データが生成されてもよい。

なお、ハレーション低減処理と深度合成処理とを組み合わせた処理は、使用者による各処理の指示により手動で実行されてもよいし、予め定められた処理順序に従って自動で実行されてもよい。

（ｄ）ハレーション低減処理とＤＲ調整処理との組み合わせ
ハレーション低減処理では、ハレーション低減処理に用いられる複数の原画像データの互いに対応する部分の画素値が全て飽和していると、その部分に対応するハレーションを除去することができない。一方、ＤＲ調整処理では、撮像部１３２の複数の画素の一部に過剰に強度の高い光が入射すると、ダイナミックレンジを調整してもその部分の画素値を上限値よりも低くすることができない場合がある。この場合、その部分に対応するハレーションを除去することができない。そこで、使用者は、ハレーション低減処理とＤＲ調整処理とを組み合わせて使用してもよい。

図４４は、ハレーション低減処理とＤＲ調整処理とを組み合わせて使用する場合の使用例を示す図である。図４４（ａ）に、リング照明で撮像された原画像データに基づく観察対象物Ｓの画像ＳＩの一例が示される。図４４（ａ）の画像ＳＩにおいては、対象部分画像ｓｐ上の広い範囲に渡ってハレーションＨＬが発生している。そこで、使用者は、ＤＲ調整処理を指示する。この場合、制御部４１０は、ＤＲ調整処理を実行し、複数の原画像データのダイナミックレンジを調整する。

図４４（ｂ）に、ダイナミックレンジが調整されたリング照明に対応する画像ＳＩの一例が示される。図４４（ｂ）の画像ＳＩにおいては、図４４（ａ）のハレーションＨＬが完全に除去されておらず、対象部分画像ｓｐ上にハレーションＨＬがわずかに存在する。そこで、使用者は、ハレーション低減処理を指示する。この場合、制御部４１０は、ダイナミックレンジが調整された複数の原画像データのうち少なくとも２以上の原画像データを用いてハレーション低減処理を実行し、飽和低減画像データを生成する。

図４４（ｃ）に、ハレーション低減処理後の画像ＳＩの一例が示される。図４４（ｃ）の画像ＳＩにおいては、図４４（ｂ）のハレーションＨＬが除去されている。

このように、ハレーション低減処理をＤＲ調整処理と組み合わせて使用することにより、ハレーション成分がより低減された観察対象物Ｓの画像を観察することができる。

ハレーション低減処理とＤＲ調整処理とを組み合わせて使用する場合、処理の順序は上記の例に限定されない。例えば、ハレーション低減処理とＤＲ調整処理とを組み合わせた処理は、以下のように実行されてもよい。

まず、複数照明撮像処理により複数の原画像データが生成される。生成された複数の原画像データに基づいてハレーション低減処理が実行されることにより１番目の飽和低減画像データが生成される。その後、受光時間を変更して複数照明撮像処理が実行されることにより再度複数の原画像データが生成される。新たに生成された複数の原画像データに基づいてハレーション低減処理が実行されることにより２番目の飽和低減画像データが生成される。最後に、１番目および２番目の飽和低減画像データが合成される。それにより、ダイナミックレンジが調整された飽和低減画像データが生成される。

なお、ハレーション低減処理とＤＲ調整処理とを組み合わせた処理は、使用者による各処理の指示により手動で実行されてもよいし、予め定められた処理順序に従って自動で実行されてもよい。

（ｅ）ハレーション低減処理と連結処理との組み合わせ
連結処理により生成された表示用画像データにハレーションが存在する場合がある。そこで、使用者は、ハレーション低減処理と連結処理とを組み合わせて使用してもよい。例えば、使用者は、連結処理後に表示部４３０に表示される画像にハレーションが存在する場合に、ハレーション低減処理を指示する。

この場合、制御部４１０は、連結処理において各単位領域について生成された複数の原画像データに基づいてその単位領域に対応する飽和低減画像データを生成する。続いて、制御部４１０は、連結処理時に記憶部４２０に記憶された位置情報および重複領域情報に基づいて複数の飽和低減画像データを連結する。

このように、ハレーション低減処理と連結処理とを組み合わせて使用することにより、単位領域よりも大きい観察対象物Ｓの領域を示しかつハレーション成分が低減された観察対象物Ｓの画像を取得することができる。

（７）効果
本実施の形態に係る拡大観察装置１においては、投光部１４０からリング照明および複数の方向性照明が観察対象物Ｓに照射される。リング照明および複数の方向性照明の出射方向は互いに異なる。そのため、使用者は、出射方向を任意に指定することにより、実際に観察対象物Ｓに照射する光の出射方向を変更することなく、観察対象物Ｓの形状および材質に応じた適切な出射方向の光が観察対象物Ｓに照射されたときの画像を示す表示用画像データを生成することができる。

また、表示用画像データは、リング照明および複数の方向性照明にそれぞれ対応する複数の深度合成画像データの少なくとも１つに基づいて生成されるので、観察対象物の各部分に焦点が合った画像を示す表示用画像データが生成される。これにより、使用者の要求に応じた観察対象物Ｓの画像を容易に取得することができる。

さらに、表示用画像データは、既に生成されたリング照明または方向性照明に対応する原画像データを用いて生成可能であるので、観察対象物Ｓの撮像を再度行う必要がない。したがって、使用者の負担を低減することができる。

［２］第２の実施の形態
本発明の第２の実施の形態に係る拡大観察装置について、第１の実施の形態に係る拡大観察装置１と異なる点を説明する。図４５は、本発明の第２の実施の形態に係る拡大観察装置の構成を示す模式図である。図４５に示すように、本実施の形態に係る拡大観察装置１においては、測定ヘッド１００は投光部１６０をさらに含む。投光部１６０は、ハーフミラー１６１を有する。

レンズユニット１３１は、内部に投光部１６０を保持可能に構成される。投光部１６０は、ハーフミラー１６１の反射面が斜め下方を向くように対物レンズ１３１ａの光軸Ａ１に対して約４５°傾斜する状態で、レンズユニット１３１内に配置される。投光部１６０は、ファイバユニット２０１の図示しない一部の光ファイバにより処理装置２００の光生成部３００に光学的に接続される。

光生成部３００の遮光部３２０は、図３の投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するとともに、投光部１６０に対応する開口パターンを有する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、第１の実施の形態と同様に投光部１４０に光を入射可能であるとともに、投光部１６０に光を入射可能である。投光部１４０に入射した光の挙動は、第１の実施の形態における投光部１４０に入射した光の挙動と同様である。

投光部１６０に入射した光は、ハーフミラー１６１で反射されることにより対物レンズ１３１ａの光軸Ａ１に沿って下方に出射され、観察対象物Ｓに照射される。投光部１６０から出射される光を同軸落射照明と呼ぶ。観察対象物Ｓに照射された光は上方に反射され、投光部１６０のハーフミラー１６１およびレンズユニット１３１を透過して撮像部１３２に導かれる。

上記の構成によれば、投光部１６０は、投光部１４０よりも対物レンズ１３１ａの光軸Ａ１に近い位置から観察対象物Ｓに光を照射可能である。したがって、同軸落射照明は対物レンズ１３１ａの光軸Ａ１と平行な方向に出射される明視野照明となり、リング照明は対物レンズ１３１ａの光軸Ａ１に対して傾斜した方向に照射される暗視野照明となる。同軸落射照明を観察対象物Ｓに照射することにより、観察対象物Ｓの表面の凹凸および素材の違いをより鮮明に撮像することができる。なお、投光部１４０，１６０から同時に光を観察対象物Ｓに照射することも可能である。

図２の撮像制御部５２０は、同軸落射照明の照射時における撮像部１３２の受光時間、ゲインおよびタイミング等を制御する。本実施の形態では、同軸落射照明の照射は、リング照明および第１〜第４の方向性照明の照射よりも後に行われる。撮像制御部５２０は、先に生成されたリング照明に対応する原画像データの平均輝度値に基づいて自動露出を行うことにより、同軸落射照明の照射時における受光時間を調整する。同軸落射照明の照射時における受光時間は、使用者により所望の値に調整されてもよい。

撮像部１３２は、同軸落射照明が観察対象物Ｓに照射されたときの観察対象物Ｓを示す原画像データをさらに生成する。生成された同軸落射照明に対応する原画像データは、記憶部４２０に記憶される。また、同軸落射照明の照射の実行の有無および同軸落射照明の照射時における受光時間等の撮像条件をさらに示す撮像情報が記憶部４２０に記憶される。

図９のデータ生成部６１０は、記憶部４２０に記憶されたリング照明および方向性照明にそれぞれ対応する原画像データに加えて、同軸落射照明に対応する原画像データにさらに基づいて表示用画像データを生成する。具体的には、データ生成部６１０は、リング照明、方向性照明および同軸落射照明にそれぞれ対応する複数の原画像データの一部または全部を、使用者により指定された照明条件により定まる割合で合成する。生成された表示用画像データは、記憶部４２０に記憶される。

本実施の形態に係る複数照明撮像処理では、リング照明および第１〜第４の方向性照明を用いた観察対象物Ｓの撮像後に同軸落射照明を用いて観察対象物Ｓが撮像される。それにより、リング照明、第１〜第４の方向性照明および同軸落射照明にそれぞれ対応する複数（本例では６つ）の原画像データが生成される。

複数照明撮像処理が完了すると、表示部４３０に観察画面４３０Ａが表示される。図４６は、第２の実施の形態に係る複数照明撮像処理後の観察画面４３０Ａの一表示例を示す図である。図４６に示すように、機能表示領域４３１に、上記の複数のボタンｂ１〜ｂ７に加えて落射ボタンｂ１１が表示される。

使用者は、操作部４４０を用いて落射ボタンｂ１１を操作する。それにより、使用者は、同軸落射照明に対応する原画像データを用いて表示用画像データを生成すべきことを指示することができる。

同軸落射照明に対応する原画像データを用いることが指示されると、副表示領域４３３に、同軸落射照明に対応する原画像データの他の原画像データに対する合成割合（以下、落射画像割合と呼ぶ。）を指定するためのバー４３３ｃおよびスライダ４３３ｄが表示される。

使用者は、スライダ４３３ｄを操作することにより、落射画像割合を指定することができる。図４６の例では、スライダ４３３ｄがバー４３３ｃの左端に近づくにつれて落射画像割合が高く指定され、スライダ４３３ｄがバー４３３ｃの右端に近づくにつれて落射画像割合が低く指定される。

落射画像割合が指定されると、制御部４１０は、表示用画像生成処理における図１９のステップＳ２０９の処理で、指定された出射方向に加えて指定された落射画像割合に基づいて複数の原画像データの合成割合を算出する。

例えば、制御部４１０は、まず指定された出射方向に基づいてリング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を算出する。その後、制御部４１０は、指定された落射画像割合がｔ（ｔは０から１００までの数）％である場合に、リング照明および第１〜第４の方向性照明の複数の合成割合の合計が（１００−ｔ）％となるように、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を修正する。

上記のように算出された複数の合成割合に基づいて複数の原画像データが合成されることにより表示用画像データが生成され、同軸落射照明に対応する原画像データの成分を含む観察対象物Ｓの画像ＳＩが主表示領域４３２に表示される。

同軸落射照明に対応する原画像データの画像ＳＩによれば、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの画像ＳＩに比べて、観察対象物Ｓの表面の凹凸および素材の違いをより正確に観察することができる。

したがって、使用者は、図４６の落射ボタンｂ１１およびスライダ４３３ｄを操作することにより、観察の目的に応じた観察対象物Ｓの画像ＳＩを容易に取得することができる。

［３］第３の実施の形態
本発明の第３の実施の形態に係る拡大観察装置について、第１の実施の形態に係る拡大観察装置１と異なる点を説明する。図４７は、本発明の第３の実施の形態に係る拡大観察装置の構成を示す模式図である。図４７に示すように、本実施の形態に係る拡大観察装置１においては、測定ヘッド１００は投光部１７０をさらに含む。投光部１７０は、ミラー１７１を有する。また、拡大観察装置１はファイバユニット２０４をさらに含む。ファイバユニット２０４は、図示しない複数の光ファイバを含む。投光部１７０は、スタンド部１１０の設置部１１１に内蔵されていてもよい。

スタンド部１１０の設置部１１１は、内部に投光部１７０を保持可能に構成される。投光部１７０は、ミラー１７１の反射面が斜め上方を向くように対物レンズ１３１ａの光軸Ａ１に対して約４５°傾斜する状態で、設置部１１１内に配置される。これにより、投光部１７０は、観察対象物Ｓおよびステージ１２１を挟んで鏡筒部１３０と対向する。投光部１７０は、ファイバユニット２０１の図示しない一部の光ファイバにより処理装置２００の光生成部３００に光学的に接続される。

光生成部３００の遮光部３２０は、図３の投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するとともに、投光部１７０に対応する開口パターンを有する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、第１の実施の形態と同様に投光部１４０に光を入射可能であるとともに、投光部１７０に光を入射可能である。投光部１４０に入射した光の挙動は、第１の実施の形態における投光部１４０に入射した光の挙動と同様である。

投光部１７０に入射した光は、ミラー１７１で反射されることにより対物レンズ１３１ａの光軸Ａ１に沿って上方に出射され、ステージ１２１上の観察対象物Ｓに照射される。投光部１７０から出射される光を透過照明と呼ぶ。観察対象物Ｓに照射された光は上方に透過し、レンズユニット１３１を透過して撮像部１３２に導かれる。透過照明を観察対象物Ｓに照射することにより、観察対象物Ｓの内部の構造を撮像することができる。

撮像部１３２は、透過照明が観察対象物Ｓに照射されたときの観察対象物Ｓを示す原画像データをさらに生成する。生成された透過照明に対応する原画像データは、記憶部４２０に記憶される。また、透過照明の照射の実行の有無および透過照明の照射時における受光時間等の撮像条件をさらに示す撮像情報が記憶部４２０に記憶される。

図９のデータ生成部６１０は、記憶部４２０に記憶されたリング照明および方向性照明にそれぞれ対応する原画像データに加えて、透過照明に対応する原画像データにさらに基づいて表示用画像データを生成する。具体的には、データ生成部６１０は、リング照明、方向性照明および透過照明にそれぞれ対応する複数の原画像データの一部または全部を、使用者により指定された照明条件により定まる割合で合成する。生成された表示用画像データは、記憶部４２０に記憶される。

図４７の測定ヘッド１００は同軸落射照明を出射する投光部１６０を含まないが、本発明はこれに限定されない。図４７の測定ヘッド１００は、図４５の投光部１６０と同様の投光部１６０を含んでもよい。この場合、リング照明、方向性照明、同軸落射照明および透過照明にそれぞれ対応する原画像データに基づいて表示用画像データが生成される。

本実施の形態に係る複数照明撮像処理では、リング照明および第１〜第４の方向性照明を用いた観察対象物Ｓの撮像後に透過照明を用いて観察対象物Ｓが撮像される。それにより、リング照明、第１〜第４の方向性照明および透過照明にそれぞれ対応する複数（本例では６つ）の原画像データが生成される。

複数照明撮像処理が完了すると、表示部４３０に観察画面４３０Ａが表示される。図４８は、第３の実施の形態に係る複数照明撮像処理後の観察画面４３０Ａの一表示例を示す図である。図４８に示すように、機能表示領域４３１に、上記の複数のボタンｂ１〜ｂ７に加えて透過ボタンｂ１２が表示される。

使用者は、操作部４４０を用いて透過ボタンｂ１２を操作する。それにより、使用者は、透過照明に対応する原画像データを用いて表示用画像データを生成すべきことを指示することができる。

透過照明に対応する原画像データを用いることが指示されると、副表示領域４３３に、透過照明に対応する原画像データの他の原画像データに対する合成割合（以下、透過画像割合と呼ぶ。）を指定するためのバー４３３ｅおよびスライダ４３３ｆが表示される。

使用者は、スライダ４３３ｆを操作することにより、透過画像割合を指定することができる。図４８の例では、スライダ４３３ｆがバー４３３ｅの左端に近づくにつれて透過画像割合が高く指定され、スライダ４３３ｆがバー４３３ｅの右端に近づくにつれて透過画像割合が低く指定される。

透過画像割合が指定されると、制御部４１０は、表示用画像生成処理における図１９のステップＳ２０９の処理で、指定された出射方向に加えて指定された透過画像割合に基づいて複数の原画像データの合成割合を算出する。

例えば、制御部４１０は、まず指定された出射方向に基づいてリング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を算出する。その後、制御部４１０は、指定された透過画像割合がｕ（ｕは０から１００までの数）％である場合に、リング照明および第１〜第４の方向性照明の複数の合成割合の合計が（１００−ｕ）％となるように、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を修正する。

上記のように算出された複数の合成割合に基づいて複数の原画像データが合成されることにより表示用画像データが生成され、透過照明に対応する原画像データの成分を含む観察対象物Ｓの画像ＳＩが主表示領域４３２に表示される。観察対象物Ｓが光を透過する材料で形成されている場合、透過照明に対応する原画像データの画像ＳＩには、観察対象物Ｓの内部構造が鮮明に表れる。

したがって、使用者は、図４８の透過ボタンｂ１２およびスライダ４３３ｆを操作することにより、観察の目的に応じた観察対象物Ｓの画像ＳＩを容易に取得することができる。

上記のように、図４７の測定ヘッド１００が図４５の投光部１６０を含む場合には、複数照明撮像処理において、リング照明、方向性照明、同軸落射照明および透過照明にそれぞれ対応する複数の原画像データが生成されてもよい。この場合、観察画面４３０Ａにおいて、図４６の落射ボタンｂ１１、バー４３３ｃおよびスライダ４３３ｄと図４８の透過ボタンｂ１２、バー４３３ｅおよびスライダ４３３ｆとが同時に表示されてもよい。それにより、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩについて調整の自由度が向上する。

［４］他の実施の形態
（１）上記実施の形態において、複数の照明にそれぞれ対応する複数の原画像データが生成された後、使用者により指定された照明条件に応じて、複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。使用者により照明条件が先に指定されてもよい。この場合、指定された照明条件に基づいて生成すべき表示用画像データを生成するために必要な原画像データが決定する。

そこで、本実施の形態においては、必要な原画像データに対応する照明のみが観察対象物に照射される。これにより、当該必要な原画像データのみが生成される。この構成によれば、他の照明が観察対象物Ｓに照射されず、不要な原画像データが生成されない。これにより、表示用画像データを高速に生成することができる。

（２）上記実施の形態において、投光部１４０の領域１４０Ａ〜１４０Ｄが対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置されることが好ましいが、本発明はこれに限定されない。投光部１４０の領域１４０Ａ〜１４０Ｄは、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置されなくてもよい。

（３）上記実施の形態において、複数の原画像データが合成されることにより表示用画像データが生成される場合には、複数の原画像データの１つがリング照明に対応する原画像データであることが好ましいが、本発明はこれに限定されない。リング照明に対応する原画像データが合成に用いられず、方向性照明、同軸落射照明および透過照明にそれぞれ対応する複数の原画像データの一部または全部が合成されることにより表示用画像データが生成されてもよい。

（４）上記実施の形態において、複数の原画像データが合成されることにより表示用画像データが生成されるが、本発明はこれに限定されない。生成された複数の原画像データのうちの１つが選択されることにより表示用画像データが生成されてもよい。この構成においては、より多数の原画像データが生成されることが好ましい。この場合、より正確な表示用画像データを生成することができる。したがって、より多数の原画像データを生成可能にするため、より多数の光出射領域が設けられてもよいし、より多数の位置から光を出射可能に光出射部材が設けられてもよい。あるいは、単一の光出射部材が複数の出射位置に移動可能に設けられてもよい。

（５）上記実施の形態において、投光部１４０は円筒形状を有するが、本発明はこれに限定されない。投光部１４０は円筒形状以外の他の形状を有してもよい。図４９は、投光部１４０の変形例を示す模式図である。図４９の例では、投光部１４０は、例えば半球形状を有し、投光部１４０の内面の任意の位置から観察対象物に複数の出射方向の光を照射可能に複数の光源１４２ａが設けられる。この場合、複数の原画像データを合成することなく、単一の原画像データにより表示用画像データを生成することが容易になる。この構成においては、各出射方向の光の光量を個別に調整可能であることがより好ましい。

（６）上記実施の形態において、表示用画像生成処理においては、使用者により光の仮想的な出射方向が新たに指定されると、表示部４３０に表示される観察対象物Ｓの画像ＳＩが、指定された出射方向の光に対応する画像ＳＩに切り替わるが、本発明はこれに限定されない。

使用者により光の仮想的な出射方向が新たに指定された場合に、更新前の表示用画像データに基づく観察対象物Ｓの画像ＳＩと、更新後の表示用画像データに基づく観察対象物Ｓの画像ＳＩとが表示部４３０に同時に表示されてもよい。この場合、使用者は、出射方向を指定する前の観察対象物Ｓの画像ＳＩと指定後の観察対象物Ｓの画像ＳＩとを比較することができる。したがって、光の仮想的な出射方向を指定しつつ観察対象物Ｓの観察により適切な画像ＳＩを容易に識別することができる。更新前後の画像ＳＩを同時に表示する例は、更新前後の画像ＳＩを並べて表示すること、または更新前後の画像ＳＩを重ねて表示すること等を含む。

（７）本発明において、投光部１４０が１または複数の片射照明部と全射照明部とを有してもよい。片射照明部および全射照明部は、対物レンズ１３１ａに対する位置関係が一定となるように撮像部１３２の周囲に配置される照明部である。片射照明部は、対物レンズ１３１ａの光軸Ａ１に対して偏った位置から観察対象物Ｓに照明を照射する。全射照明部は、対物レンズ１３１ａの光軸Ａ１に対して略均一な位置から観察対象物Ｓに照明を照射する。

片射照明部により観察対象物Ｓが照明されたときの１または複数の原画像データおよび全射照明部により観察対象物Ｓが照明されたときの原画像データの少なくとも１つに基づいて表示用画像データが生成される。表示用画像データは、深度合成処理等の種々の処理が施されるように生成されてもよい。本実施の形態においては、方向性照明は片射照明部により出射された光の一例に該当し、リング照明は全射照明部により出射された光の一例に該当する。

（８）本発明において、投光部１４０が対物レンズ１３１ａに対する位置関係が一定となるように撮像部１３２の周囲に配置される複数の光出射部材を有してもよい。各光出射部材は、観察対象物Ｓに照明を照射する。少なくとも１つの光出射部材により観察対象物Ｓが照明されたときの原画像データおよび他の光出射部材により観察対象物Ｓが照明されたときの原画像データの少なくとも１つに基づいて表示用画像データが生成される。表示用画像データは、深度合成処理等の種々の処理が施されるように生成されてもよい。

（９）本発明において、投光部１４０が観察対象物Ｓに照明を照射する少なくとも１つの光出射部材を有し、対物レンズ１３１ａに対する位置関係が一定となるように撮像部１３２の周囲に複数の出射位置が設けられてもよい。一の出射位置から光出射部材により観察対象物Ｓが照明されたときの原画像データおよび他の出射位置から光出射部材により観察対象物Ｓが照明されたときの原画像データの少なくとも１つに基づいて表示用画像データが生成される。表示用画像データは、深度合成処理等の種々の処理が施されるように生成されてもよい。この構成においては、複数の光出射部材が複数の光出射位置に配置されてもよいし、単一の光出射部材が複数の出射位置に移動可能に設けられてもよい。

［５］請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。

上記実施の形態では、対物レンズ１３１ａが対物レンズの例であり、観察対象物Ｓが観察対象物の例であり、投光部１４０が投光部の例であり、撮像部１３２が撮像部の例であり、光軸Ａ１が光軸の例である。焦点駆動部１１３が焦点位置変化部の例であり、データ生成部６１０がデータ生成部の例であり、拡大観察装置１が拡大観察装置の例であり、合焦判定部６２０が合焦判定部の例である。操作部４４０が第１〜第３の操作部または操作部の例であり、投光制御部５１０が制御部の例であり、領域１４０Ａ〜１４０Ｄが光出射領域の例であり、光ファイバ１４２が光出射部材の例である。

請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。

本発明は、種々の拡大観察装置に有効に利用することができる。

１ 拡大観察装置
２ 外部装置
１００ 測定ヘッド
１０１ 傾斜機構
１１０ スタンド部
１１１ 設置部
１１２，１１４ 保持部
１１３ 焦点駆動部
１２０ ステージ装置
１２１ ステージ
１２２ ステージ駆動部
１２３ 位置センサ
１３０ 鏡筒部
１３０ｃ 傾斜中心
１３１ レンズユニット
１３１ａ 対物レンズ
１３２ 撮像部
１３３ 傾斜センサ
１４０，１６０，１７０ 投光部
１４０Ａ〜１４０Ｄ 領域
１４０ｏ 光出射部
１４１ 保持部材
１４１ａ 貫通孔
１４２ 光ファイバ
１４２ａ，３１０ 光源
１５０ 制御基板
１６１ ハーフミラー
１７１ ミラー
２００ 処理装置
２０１，２０４ ファイバユニット
２０２，２０３ ケーブル
２１０ 筐体
３００ 光生成部
３２０ 遮光部
４００ 制御装置
４１０ 制御部
４２０ 記憶部
４３０ 表示部
４３０Ａ 観察画面
４３１ 機能表示領域
４３２ 主表示領域
４３２ａ，４３２ｂ 位置調整バー
４３３ 副表示領域
４３３ａ 出射方向指定欄
４３３ｂ 出射方向表示欄
４３３ｃ，４３３ｅ バー
４３３ｄ，４３３ｆ スライダ
４４０ 操作部
５００ 駆動制御部
５１０ 投光制御部
５２０ 撮像制御部
５３０ 焦点制御部
５４０ ステージ制御部
６００ 演算処理部
６１０ データ生成部
６２０ 合焦判定部
６３０ 算出部
６３１ 角度算出部
６３２ 位置算出部
６４０ 条件設定部
６４１ 撮像条件設定部
６４２ 照明条件設定部
Ａ１，Ａ２ 光軸
ｂ１ 深度合成ボタン
ｂ２ ＤＲ調整ボタン
ｂ３ 連結ボタン
ｂ４ ハレーションボタン
ｂ７ 保存ボタン
ｂ１１ 落射ボタン
ｂ１２ 透過ボタン
ｂ４１ 順位指定欄
ｂ４２ 実行ボタン
ＣＧ１，ＣＧ２ 連結画像データ
ｄ１〜ｄ３ 距離
ＦＩ ファイル
Ｈ１〜Ｈｊ 位置
ＨＬ ハレーション
ＯＧ，ＯＧ１〜ＯＧ４ 原画像データ
ＯＬ１〜ＯＬ３ 重複部分
ＰＡ〜ＰＥ 点
ＰＸ１〜ＰＸ５ 画素
Ｓ 観察対象物
ＳＦ 深度合成画像
ＳＨ 影
ＳＩ 画像
ｓｐ 対象部分画像
ｓｓ０ 対象物位置画像
ｓｓ１ 光アイコン
ｓｓ２ 基準点画像
ｓｓ３ 半球画像
ｓｓ４ 出射位置画像

Claims (13)

1. 対物レンズと、
   観察対象物に互いに異なる第１および第２の出射方向の光を選択的に照射する投光部と、
   観察対象物からの光を前記対物レンズを介して受光し、観察対象物の画像を示す第１または第２の原画像データを生成する撮像部と、
   前記対物レンズを通過した光の焦点位置を観察対象物に対して相対的に前記対物レンズの光軸方向に変化させる焦点位置変化部と、
   使用者により入力される特定の出射方向に応じて、前記特定の出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを生成するデータ生成部とを備え、
   第１の光照射時に、前記第１の出射方向の光を前記投光部が観察対象物に照射するとともに前記撮像部が前記焦点位置変化部による異なる複数の焦点位置で複数の前記第１の原画像データを生成し、
   第２の光照射時に、前記第２の出射方向の光を前記投光部が観察対象物に照射するとともに前記撮像部が前記焦点位置変化部による異なる複数の焦点位置で複数の前記第２の原画像データを生成し、
   前記データ生成部は、前記複数の第１の原画像データに基づいて第１の合焦画像データを取得するとともに、前記複数の第２の原画像データに基づいて第２の合焦画像データを取得し、前記特定の出射方向に基づいて前記第１および第２の合焦画像データの合成の割合を決定し、決定された割合で前記第１の合焦画像データおよび前記第２の合焦画像データを合成することにより前記表示用画像データを生成する、拡大観察装置。
2. 前記撮像部により生成される前記第１または第２の原画像データの部分ごとの合焦度を判定する合焦判定部をさらに備え、
   前記データ生成部は、前記合焦判定部による合焦度の判定に基づいて前記複数の第１の原画像データの部分を選択的に合成することにより観察対象物の各部分に焦点が合った画像を示す前記第１の合焦画像データを生成し、前記合焦判定部による合焦度の判定に基づいて前記複数の第２の原画像データの部分を選択的に合成することにより観察対象物の各部分に焦点が合った画像を示す前記第２の合焦画像データを生成する、請求項１記載の拡大観察装置。
3. 前記データ生成部は、前記第１の合焦画像データの部分と前記複数の第１の原画像データの部分との対応関係を示す対応関係データを生成し、生成された対応関係データに基づいて前記複数の第２の原画像データから前記第２の合焦画像データを生成する、請求項２記載の拡大観察装置。
4. 前記撮像部による前記複数の第１または第２の原画像データの生成と前記データ生成部による前記第１または第２の合焦画像データの生成とは並列して行われる、請求項２または３記載の拡大観察装置。
5. 前記撮像部により生成される前記第１または第２の原画像データの合焦度を判定する合焦判定部をさらに備え、
   前記データ生成部は、前記合焦判定部による合焦度の判定に基づいて前記複数の第１の原画像データのいずれかを前記第１の合焦画像データとして抽出し、前記合焦判定部による合焦度の判定に基づいて前記複数の第２の原画像データのいずれかを前記第２の合焦画像データとして抽出する、請求項１記載の拡大観察装置。
6. 前記対物レンズの光軸方向における光の焦点位置の範囲を指定するために使用者により操作される第１の操作部をさらに備え、
   前記焦点位置変化部は、前記第１の操作部により指定された範囲において光の焦点位置を前記対物レンズの光軸方向に変化させる、請求項１〜５のいずれか一項に記載の拡大観察装置。
7. 使用者による観察の開始の指示を受け付ける第２の操作部と、
   前記第２の操作部により受け付けた指示に応答して、光の焦点位置が第１の位置になるように前記焦点位置変化部を制御しつつ前記第１および第２の光照射時にそれぞれ前記第１および第２の出射方向の光を順次出射するように前記投光部を制御した後、光の焦点位置が前記対物レンズの光軸方向において前記第１の位置とは異なる第２の位置になるように前記焦点位置変化部を制御しつつ前記第１および第２の光照射時にそれぞれ前記第１および第２の出射方向の光を順次出射するように前記投光部を制御する制御部とをさらに備える、請求項１〜６のいずれか一項に記載の拡大観察装置。
8. 使用者による観察の開始の指示を受け付ける第２の操作部と、
   前記第２の操作部により受け付けた指示に応答して、前記第１の光照射時に光の焦点位置が前記対物レンズの光軸方向において異なる第１および第２の位置に順次変化するように前記焦点位置変化部を制御しつつ前記第１の出射方向の光を出射するように前記投光部を制御した後、前記第２の光照射時に光の焦点位置が前記第１および第２の位置に順次変化するように前記焦点位置変化部を制御しつつ前記第２の出射方向の光を出射するように前記投光部を制御する制御部とをさらに備える、請求項１〜６のいずれか一項に記載の拡大観察装置。
9. 前記撮像部は、受光時間が複数変化された状態で前記第１および第２の原画像データを生成し、
   前記データ生成部は、各焦点位置について受光時間が複数変化された状態で前記撮像部により生成される複数の前記第１の原画像データおよび各焦点位置について受光時間が複数変化された状態で前記撮像部により生成される複数の前記第２の原画像データのうち少なくとも一部に基づいてダイナミックレンジが調整された前記表示用画像データを生成する、請求項１〜８のいずれか一項に記載の拡大観察装置。
10. 前記投光部は、前記対物レンズの光軸を中心に回転対称に配置された複数の光出射領域を有し、前記第１の光照射時に前記複数の光出射領域から同時に光を出射することにより前記第１の出射方向の光を観察対象物に照射し、前記第２の光照射時に前記複数の光出射領域の一部から光を出射することにより前記第２の出射方向の光を観察対象物に照射する、請求項１〜９のいずれか一項に記載の拡大観察装置。
11. 前記複数の光出射領域の各々には、１以上の光出射部材が設けられる、請求項１０記載の拡大観察装置。
12. 前記特定の出射方向を指定するために使用者により操作される第３の操作部をさらに備え、
    前記データ生成部は、前記第３の操作部により指定された前記特定の出射方向に対応して生成する前記表示用画像データを更新する、請求項１〜１１のいずれか一項に記載の拡大観察装置。
13. 前記特定の出射方向を指定するために使用者により操作される操作部をさらに備え、
    前記操作部により指定された前記特定の出射方向に基づいて前記第１および第２の出射方向を含む複数の出射方向の光を前記投光部が観察対象物に照射するとともに前記撮像部が前記焦点位置変化部による異なる複数の焦点位置で前記第１および第２の原画像データを含む複数の原画像データを生成し、
    前記データ生成部は、前記複数の原画像データに基づいて前記第１および第２の合焦画像データを含む複数の合焦画像データを取得し、前記複数の出射方向および前記特定の出射方向に基づいて、前記複数の合焦画像データの合成の割合を決定し、決定された割合で前記複数の合焦画像データを合成することにより前記表示用画像データを生成する、請求項１記載の拡大観察装置。

Images