JP6667395B2 - 拡大観察装置 - Google Patents

Description

本発明は、対象物を拡大して観察する拡大観察装置に関する。

対象物を拡大して観察するために種々の機能を有する拡大観察装置が用いられる。このような拡大観察装置には、例えばＣＣＤ（電荷結合素子）カメラ等の撮像素子が設けられる。撮像素子の複数の画素において検出可能な受光量の範囲には制限がある。そのため、撮像素子の複数の画素の一部に過剰に強度の強い光が入射すると、撮像により取得される画像にハレーションが発生する。

ハレーションを除去するために、特許文献１には、受光時間を変化させつつ対象物を複数回撮像し、撮像により得られた複数の画像を合成することによりダイナミックレンジが拡大された画像を生成することが記載されている。

特開２００８−２９９７１１号公報 特開平７−９３５３５号公報

しかしながら、上記のようにダイナミックレンジが拡大された画像が生成されても、対象物の形状または表面状態によっては、生成された画像上にハレーションが残留する場合がある。

本発明の目的は、ハレーション成分が低減された表示用画像データを生成することが可能な拡大観察装置を提供することである。

（１）第１の発明に係る拡大観察装置は、観察対象物が載置される載置面を有するステージと、ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、観察対象物からの光を受光し、ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から飽和している画素の数を飽和画素数としてカウントする飽和画素計数部と、飽和画素計数部によりカウントされた複数の順位にそれぞれ対応する複数の飽和画素数と予め定められた合成条件とに基づいて複数の順位から一の順位を決定する順位決定部と、撮像部により生成されたｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち順位決定部により決定された順位の画素値を選択し、選択された画素値を示す複数の画素を合成することによりｎ個の基礎画像データを合成し、撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを表示用画像データとして生成するハレーション低減処理を行う第１の処理部とを備える。

その拡大観察装置においては、載置面上に観察対象物が載置され、載置面上の観察対象物にｎ個（ｎは２以上の自然数）の出射方向の光がそれぞれ照射される。ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データが生成される。

ｎ個の基礎画像データの互いに対応するｎ個の画素値のうちいずれかの画素値を用いてｎ個の基礎画像データが合成される。ここで、ｎ個の基礎画像データは、ｎ個の出射方向の光にそれぞれ対応する。観察対象物の画像において、ハレーションの発生位置は、観察対象物の形状および観察対象物に照射される光の出射方向に大きく依存する。そのため、ｎ個の出射方向の光にそれぞれ対応して生成されるｎ個の基礎画像データの間では、互いに対応するｎ個の画素のいずれかにハレーション成分が含まれない可能性が高い。したがって、ｎ個の画素値のうちいずれかの画素値が適切に決定されることにより、ハレーション成分を含まない画素を優先的に合成用の画素として用いることが可能になる。

ｎ個の基礎画像データが合成されることにより飽和低減画像データが表示用画像データとして生成される。この場合、ハレーション成分を含まない画素が優先的に合成用の画素として用いられることにより、飽和低減画像データにおけるハレーション成分が低減される。したがって、ハレーション成分が低減された表示用画像データを生成することが可能になる。
また、上記の構成によれば、複数の飽和画素数および合成条件に基づいて合成用の画素が決定される。したがって、合成条件が予め適切に設定されることにより、ｎ個の基礎画像データに基づく画像に応じた適切な表示用画像データが自動的に生成される。
（２）飽和画素計数部は、さらに、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から予め定められた黒つぶれしきい値よりも低い画素値を示す画素の数を黒つぶれ画素数としてカウントすることが可能に構成され、順位決定部は、複数の飽和画素数と合成条件とに基づいて決定された一の順位を、飽和画素計数部によりカウントされた複数の順位にそれぞれ対応する複数の黒つぶれ画素数に基づいて修正してもよい。
この場合、ハレーション成分が低減されつつ黒つぶれ成分が低減された飽和画像低減データを生成することができる。
（３）第２の発明に係る拡大観察装置は、観察対象物が載置される載置面を有するステージと、ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、対物レンズと、観察対象物からの光を対物レンズを介して受光し、ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、撮像部により生成されたｎ個の基礎画像データの互いに対応する画素に対して、ｎ個の出射方向の光をそれぞれ照射したときのｎ個の画素値のうちいずれかの画素値を示す画素を用いてｎ個の基礎画像データを合成し、撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを生成する第１の処理部と、対物レンズを通過した光の焦点位置を観察対象物に対して相対的に対物レンズの光軸方向に変化させるように構成された焦点位置変化部と、合焦判定部と、第２の処理部とを備え、撮像部は、対物レンズを通過した光の焦点位置が焦点位置変化部により変化されることにより互いに異なる複数の焦点位置の各々でｎ個の基礎画像データを生成し、第１の処理部は、焦点位置変化部により変化された複数の焦点位置の各々で生成されたｎ個の基礎画像データに基づいて、複数の焦点位置にそれぞれ対応する複数の飽和低減画像データを生成し、合焦判定部は、第１の処理部により生成された複数の焦点位置にそれぞれ対応する複数の飽和低減画像データの画素ごとの合焦度を判定し、第２の処理部は、合焦判定部による合焦度の判定に基づいて複数の焦点位置にそれぞれ対応する複数の飽和低減画像データの複数の画素を選択的に合成することにより観察対象物の各画素に焦点が合った画像を示す合焦画像データを表示用画像データとして生成する。
上記の構成によれば、焦点位置変化部により対物レンズを透過した光の焦点位置が観察対象物に対して相対的に対物レンズの光軸方向に変化されつつ観察対象物からの光が対物レンズを介して撮像部に受光される。それにより、光軸方向における複数の焦点位置で、互いに異なる複数の出射方向の光にそれぞれ対応する複数の基礎画像データを生成することができる。
したがって、各焦点位置に対応するｎ個の基礎画像データに基づいて、焦点位置ごとにハレーション成分が低減された飽和低減画像データを生成することができる。その結果、使用者は、観察対象物の各部分に焦点が合いかつハレーションが低減された画像を観察することができる。
（４）第３の発明に係る拡大観察装置は、観察対象物が載置される載置面を有するステージと、ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、対物レンズと、観察対象物からの光を対物レンズを介して受光し、ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、撮像部により生成されたｎ個の基礎画像データに基づいて撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを生成する第１の処理部と、対物レンズを通過した光の焦点位置を観察対象物に対して相対的に対物レンズの光軸方向に変化させるように構成された焦点位置変化部と、合焦判定部と、第２の処理部とを備え、撮像部は、対物レンズを通過した光の焦点位置が焦点位置変化部により変化されることにより互いに異なる複数の焦点位置の各々でｎ個の基礎画像データを生成し、合焦判定部は、焦点位置変化部により変化された複数の焦点位置の各々で撮像部により生成されたｎ個の基礎画像データの画素ごとの合焦度を判定し、第２の処理部は、合焦判定部による合焦度の判定に基づいて複数の焦点位置にそれぞれ対応するｎ個の基礎画像データの複数の画素を選択的に合成することにより観察対象物の各部分に焦点が合った画像を示すｎ個の合焦画像データを生成し、第１の処理部は、第２の処理部により生成された、ｎ個の出射方向の光にそれぞれ対応するｎ個の合焦画像データの互いに対応する画素に対して、ｎ個の出射方向の光をそれぞれ照射したときのｎ個の画素値のうちいずれかの画素値を示す画素を用いてｎ個の合焦画像データを合成することにより飽和低減画像データを表示用画像データとして生成する。
上記の構成によれば、焦点位置変化部により対物レンズを透過した光の焦点位置が観察対象物に対して相対的に対物レンズの光軸方向に変化されつつ観察対象物からの光が対物レンズを介して撮像部に受光される。それにより、光軸方向における複数の焦点位置で、互いに異なる複数の出射方向の光にそれぞれ対応する複数の基礎画像データを生成することができる。
したがって、各焦点位置に対応するｎ個の基礎画像データに基づいて、焦点位置ごとにハレーション成分が低減された飽和低減画像データを生成することができる。その結果、使用者は、観察対象物の各部分に焦点が合いかつハレーションが低減された画像を観察することができる。
（５）第４の発明に係る拡大観察装置は、拡大観察装置であって、観察対象物が載置される載置面を有するステージと、ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、観察対象物からの光を受光し、ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、撮像部により生成されたｎ個の基礎画像データの互いに対応する画素に対して、ｎ個の出射方向の光をそれぞれ照射したときのｎ個の画素値のうちいずれかの画素値を示す画素を用いてｎ個の基礎画像データを合成し、撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを表示用画像データとして生成するハレーション低減処理を行う第１の処理部とを備え、撮像部は、受光時間が複数変化された状態で観察対象物からの光を受光することにより、複数の受光時間にそれぞれ対応しかつ観察対象物の画像を示す複数の通常画像データを生成可能に構成され、拡大観察装置は、受光時間が複数変化された状態で撮像部により生成される複数の通常画像データに基づいてダイナミックレンジが調整されたダイナミックレンジ調整画像データを表示用画像データとして生成する第４の処理部と、表示用画像データに基づく画像を表示する表示部とをさらに備え、表示部は、表示用画像データとして生成された飽和低減画像データに基づく第１の画像と表示用画像データとして生成されたダイナミックレンジ調整画像データに基づく第２の画像とを同時に表示可能に構成された。
上記のハレーション低減処理により低減可能なハレーション成分とダイナミックレンジを調整することにより低減可能なハレーション成分とが互いに異なる場合がある。このような場合でも、飽和低減画像データに基づく第１の画像と表示用画像データに基づく第２の画像とが同時に表示部に表示される。それにより、使用者は、互いに異なるハレーション成分が除去された二種類の画像を対比しながら観察対象物を観察することができる。
（６）拡大観察装置は、使用者の操作に基づいて表示部に表示された第１および第２の画像のうちいずれかを選択する画像選択指定部と、画像選択指定部により選択された一方の画像を当該選択前の画像のサイズよりも大きくなるように表示部上で拡大する画像拡大部とをさらに備えてもよい。この場合、使用者は、互いに異なるハレーション成分が除去された二種類の画像のうち一の画像を選択することにより、選択した画像を拡大表示させることができる。したがって、使用者は、ハレーション成分が低減された二種類の画像のうち所望の画像に基づいて観察対象物をより詳細に観察することができる。

（７）拡大観察装置は、使用者の操作に基づいてｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位を指定する順位指定部をさらに備え、ｎ個の基礎画像データの合成は、互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち順位指定部により指定された順位の画素値を選択し、選択された画素値を示す複数の画素を合成することであってもよい。

ハレーション低減処理におけるハレーション成分の低減度合いは、ｎ個の基礎画像データの互いに対応するｎ個の画素から決定される画素に応じて変化する。

上記の構成によれば、ｎ個の基礎画像データの互いに対応するｎ個の画素から、使用者により指定された順位の画素値を示す画素が、合成用の画素として決定される。したがって、使用者は、所望の順位を指定することにより、ハレーション成分の低減度合いを調整することができる。

（８）ｎ個の基礎画像データの合成は、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち最も高い値を除く画素値を示す複数の画素を合成することであってもよい。

ｎ個の基礎画像データの少なくとも一部がハレーション成分を含む場合、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち最も高い値は飽和している可能性がある。

上記の構成によれば、ｎ個の基礎画像データの互いに対応するｎ個の画素から、最も高い画素値を除く画素値を示す画素が、合成用の画素として決定される。そのため、飽和した画素値を示す画素が選択されにくくなる。したがって、ハレーション成分が低減された表示用画像データが生成される。

（９）ｎ個の基礎画像データの合成は、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち一部の画素値が飽和しかつ残りの画素値が飽和していない場合に飽和していない画素値を示す複数の画素を合成することであってもよい。

上記の構成によれば、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち一部の画素値が飽和しかつ残りの画素値が飽和していない場合に、飽和していない画素値を示す画素が、合成用の画素として決定される。したがって、ハレーション成分が低減された表示用画像データが生成される。

（１０）撮像部は、受光時間が複数変化された状態で複数の基礎画像データをそれぞれ生成可能に構成され、受光時間が複数変化された状態で撮像部によりｎ個の出射方向の各々に対応して生成される複数の基礎画像データに基づいてダイナミックレンジが調整された表示用画像データを生成する第３の処理部をさらに備えてもよい。

観察対象物の形状または材質によっては、観察対象物に照射される光の出射方向を変更しても、観察対象物の画像からハレーションを低減できない場合がある。このような場合でも、上記の構成によれば、表示用画像データのダイナミックレンジが調整される。ダイナミックレンジが調整されることにより、ハレーション低減処理では低減しきれないハレーション成分を低減することができる。その結果、使用者は、ハレーションがより低減された画像を観察することができる。

（１１）ｎ個の出射方向は、第１および第２の出射方向を含み、投光装置は、第１の出射方向の光を出射する第１の出射部と、第２の出射方向の光を出射する第２の出射部とを含み、第１および第２の出射部は、載置面の予め定められた位置を通る法線を挟んで対向するように配置されてもよい。

この場合、載置面の予め定められた位置では、第１の出射方向の光の向きと第２の出射方向の光の向きとが逆になる。したがって、載置面の予め定められた位置に観察対象物を配置することにより、一側方から光が照射された観察対象物の基礎画像データとともに、一側方とは逆の他側方から光が照射された観察対象物の基礎画像データを取得することができる。これらの基礎画像データを用いてハレーション低減処理を行うことにより、ハレーション成分がより低減されやすくなる。

（１２）ステージ、投光装置および撮像部のうち少なくとも１つは、他の１つまたは２つに対して相対的に移動可能に構成され、投光装置は、ステージに載置された観察対象物に対してｎ個の出射方向の光を順次切り替えて照射する連続照射動作中に、ステージ、投光装置および撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的な移動を開始したときに当該連続照射動作を停止してもよい。

この場合、撮像部により取得可能な観察対象物の画像をリアルタイムで使用者に提示する際に、使用者に提示される画像にちらつきが発生することが防止される。

（１３）投光装置は、ステージ、投光装置および撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的な移動を開始することにより連続照射動作を停止した後、ステージ、投光装置および撮像部のうち少なくとも１つの移動が停止されたときに、連続照射動作を再開してもよい。

この場合、ハレーション低減処理の停止および再開を円滑に実行することができる。

（１４）投光装置は、撮像部の光軸を取り囲むように設けられたリング状出射部を含み、リング状出射部の複数の部分からそれぞれ光を出射することにより観察対象物にｎ個の出射方向の光を選択的に照射し、ステージ、投光装置および撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的に移動することにより連続照射動作が停止される間、リング状出射部の全体から光を出射することにより観察対象物に方向によらない均一な光を照射してもよい。

この場合、撮像部により取得可能な観察対象物の画像をリアルタイムで使用者に提示する際に、影の少ない明るい画像を使用者に提示することができる。

本発明によれば、ハレーション成分が低減された表示用画像データを生成することが可能になる。

本発明の一実施の形態に係る拡大観察装置の構成を示す模式図である。 図１の制御装置の構成を示すブロック図である。 投光部の構成を示す斜視図および平面図である。 投光部の配置例を示す模式図である。 測定ヘッドの外観斜視図および鏡筒部の構成を示す模式図である。 焦点駆動部の構成例を示す図である。 図２の演算処理部の構成を示すブロック図である。 複数の照明を用いて取得された観察対象物の複数の画像の一部にハレーションが発生している例を示す図である。 第１〜第４の方向性照明を用いて観察対象物が順次撮像されるときの拡大観察装置の基本動作を説明するための模式図である。 ハレーション低減処理が指示されたときに図１の表示部に表示される観察画面の一例を示す図である。 ハレーション低減処理後の観察画面の表示状態の一例を示す図である。 複数の方向性照明による撮像を繰り返し実行しつつ原画像データが生成されるごとに飽和低減画像データを生成するハレーション低減処理の概念図である。 図２の演算処理部の他の構成例を示すブロック図である。 ハレーション低減処理の一例を示すフローチャートである。 ハレーション低減処理の一例を示すフローチャートである。 本発明の一実施の形態に係る深度合成処理の一例を示す概念図である。 本発明の一実施の形態に係る深度合成処理の他の例を示す概念図である。 深度合成処理の一例を示すフローチャートである。 深度合成処理の一例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 本発明の一実施の形態に係る深度合成処理の使用例を示す図である。 複合処理の一例を示すフローチャートである。 複合処理の他の例を示すフローチャートである。 複合処理の他の例を示すフローチャートである。 画像対比機能の実行時に図１の表示部に表示される観察画面の一例を示す図である。 通常画像、ＨＤＲ画像、ハレーション低減処理画像および複合処理画像の相違点を示す説明図である。

［１］本発明の一実施の形態
（１）拡大観察装置の構成
（ａ）測定ヘッド
以下、本発明の一実施の形態に係る拡大観察装置について、図を参照しながら説明する。図１は、本発明の一実施の形態に係る拡大観察装置の構成を示す模式図である。図１に示すように、拡大観察装置１は、測定ヘッド１００および処理装置２００を備える。測定ヘッド１００は、例えば顕微鏡であり、スタンド部１１０、ステージ装置１２０、鏡筒部１３０、投光部１４０および制御基板１５０を含む。

スタンド部１１０は、縦断面がＬ字形状を有し、設置部１１１、保持部１１２および焦点駆動部１１３を含む。設置部１１１および保持部１１２は、例えば樹脂により形成される。設置部１１１は、水平な平板形状を有し、設置面に設置される。保持部１１２は、設置部１１１の一端部から上方に延びるように設けられる。

ステージ装置１２０は、ステージ１２１およびステージ駆動部１２２を含む。ステージ１２１は、設置部１１１の上面に設けられる。ステージ１２１上には、観察対象物Ｓが載置される。観察対象物Ｓが載置されるステージ１２１上の平面（以下、載置面と呼ぶ。）内で互いに直交する２方向をＸ方向およびＹ方向と定義し、それぞれ矢印Ｘ，Ｙで示す。ステージ１２１の載置面に対して直交する法線の方向をＺ方向と定義し、矢印Ｚで示す。Ｚ方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。

ステージ駆動部１２２は、ステッピングモータ等の図示しないアクチュエータを含む。ステージ駆動部１２２は、制御基板１５０により与えられる駆動パルスに基づいて、ステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させる。また、使用者は、手動によりステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させることも可能である。

鏡筒部１３０は、レンズユニット１３１および撮像部１３２を含み、ステージ１２１の上方に配置される。レンズユニット１３１は、観察対象物Ｓの種類に応じて他のレンズユニットと交換可能である。レンズユニット１３１は、対物レンズ１３１ａおよび図示しない複数のレンズにより構成される。対物レンズ１３１ａの光軸Ａ１は、Ｚ方向に平行である。撮像部１３２は、例えばＣＭＯＳ（相補性金属酸化膜半導体）カメラを含む。撮像部１３２は、ＣＣＤ（電荷結合素子）カメラ等の他のカメラを含んでもよい。

鏡筒部１３０は、スタンド部１１０の焦点駆動部１１３により保持部１１２に取り付けられる。焦点駆動部１１３は、ステッピングモータ等の図示しないアクチュエータを含む。焦点駆動部１１３は、制御基板１５０により与えられる駆動パルスに基づいて、レンズユニット１３１を対物レンズ１３１ａの光軸Ａ１の方向（Ｚ方向）に移動させる。これにより、レンズユニット１３１を通過した光の焦点位置がＺ方向に変化する。また、使用者は、手動によりレンズユニット１３１を対物レンズ１３１ａの光軸Ａ１の方向に移動させることも可能である。

投光部１４０は、対物レンズ１３１ａの光軸Ａ１を取り囲むようにレンズユニット１３１に一体的に取り付けられる。これにより、投光部１４０とレンズユニット１３１との位置関係を一意的に決定することができる。また、拡大観察装置１に投光部１４０を保持する部材を追加する必要がないので、拡大観察装置１をコンパクト化することができる。投光部１４０の光軸Ａ２（後述する図３）は、対物レンズ１３１ａの光軸Ａ１と略同一である。

投光部１４０からステージ１２１上の観察対象物Ｓに複数の出射方向の光を照射することができる。観察対象物Ｓによりステージ１２１の上方に反射された光は、レンズユニット１３１により集光および結像された後、撮像部１３２により受光される。撮像部１３２は、各画素の受光量に対応する画素データに基づいて画像データを生成する。投光部１４０により複数の出射方向の光が観察対象物Ｓに照射されたときに撮像部１３２によりそれぞれ生成される複数の画像データの各々を原画像データと呼ぶ。撮像部１３２は、生成した原画像データを制御装置４００に与える。

制御基板１５０は、例えばスタンド部１１０の保持部１１２内に設けられ、焦点駆動部１１３、ステージ駆動部１２２および撮像部１３２に接続される。制御基板１５０は、処理装置２００による制御に基づいて焦点駆動部１１３およびステージ駆動部１２２の動作を制御する。撮像部１３２には、制御装置４００から制御信号が入力される。また、撮像部１３２により生成された原画像データは、ケーブル２０３を介して処理装置２００に与えられる。

（ｂ）処理装置
処理装置２００は、筐体２１０、光生成部３００および制御装置４００を含む。筐体２１０は、光生成部３００および制御装置４００を収容する。光生成部３００は、ファイバユニット２０１により測定ヘッド１００の投光部１４０に光学的に接続される。ファイバユニット２０１は、図示しない複数の光ファイバを含む。

光生成部３００は、光源３１０および遮光部３２０を含む。光源３１０は、例えばＬＥＤ（発光ダイオード）である。光源３１０は、ハロゲンランプ等の他の光源であってもよい。遮光部３２０は、光源３１０により出射される光を部分的に遮光可能に光源３１０とファイバユニット２０１との間に配置される。光源３１０により出射された光は、遮光部３２０を通過してファイバユニット２０１へ入射する。これにより、ファイバユニット２０１を通して測定ヘッド１００の投光部１４０から光が出射される。

図２は、図１の制御装置４００の構成を示すブロック図である。図２に示すように、制御装置４００は、制御部４１０、記憶部４２０、表示部４３０、操作部４４０および通信部４５０を含む。制御部４１０は、例えばＣＰＵ（中央演算処理装置）を含む。記憶部４２０は、例えばＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）またはＨＤＤ（ハードディスクドライブ）を含む。本実施の形態においては、制御部４１０および記憶部４２０は、パーソナルコンピュータにより実現される。

制御部４１０は、駆動制御部５００および演算処理部６００を含む。記憶部４２０には、システムプログラムが記憶される。また、記憶部４２０は、種々のデータの処理および制御部４１０から与えられる種々のデータの保存のために用いられる。駆動制御部５００および演算処理部６００の機能は、制御部４１０が記憶部４２０に記憶されるシステムプログラムを実行することにより実現される。

駆動制御部５００は、投光制御部５１０、撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０を含む。投光制御部５１０は、ケーブル２０２を通して図１の光生成部３００に接続され、光生成部３００の動作を制御する。撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０は、ケーブル２０３を通して図１の測定ヘッド１００の制御基板１５０に接続される。

撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０は、制御基板１５０を通して撮像部１３２、焦点駆動部１１３およびステージ駆動部１２２の動作をそれぞれ制御する。また、撮像制御部５２０は、撮像部１３２（図１）により生成された原画像データを演算処理部６００に与える。

演算処理部６００は、取得した原画像データに基づいて観察対象物Ｓの画像を示す表示用画像データを生成することができる。演算処理部６００の詳細については後述する。演算処理部６００により取得された原画像データおよび生成された表示用画像データは、記憶部４２０に記憶される。

表示部４３０は、例えばＬＣＤ（液晶ディスプレイ）パネルにより構成される。表示部４３０は、有機ＥＬ（エレクトロルミネッセンス）パネル等の他の表示部により構成されてもよい。表示部４３０は、記憶部４２０に記憶された画像データまたは演算処理部６００により生成された画像データに基づく画像等を表示する。操作部４４０は、マウス、タッチパネル、トラックボールまたはジョイスティック等のポインティングデバイスおよびキーボードを含み、制御装置４００に指示等を与えるために使用者により操作される。また、操作部４４０はポインティングデバイスおよびキーボードに加えてジョグシャトルを含んでもよいし、鏡筒部１３０（図１）およびステージ１２１（図１）を上下方向に移動させるための回転中心が水平方向を向くダイヤル状の操作手段を含んでもよい。

通信部４５０は、制御装置４００をネットワークに接続するためのインターフェースを含む。図１の例では、表示機能を有する外部装置２がネットワークに接続されている。制御装置４００は、通信部４５０を介して表示機能を有する外部装置２に画像データを送信することが可能である。外部装置２の使用者は、通信部４５０を介して汎用的な画像ファイル形式で記憶された画像データを制御装置４００から取得し、当該画像データに基づく画像を外部装置２に表示させることができる。

（ｃ）投光部
図３（ａ），（ｂ）は、それぞれ投光部１４０の構成を示す斜視図および平面図である。図３（ａ）に示すように、投光部１４０は、保持部材１４１および複数の光ファイバ１４２を含む。保持部材１４１は、例えば樹脂により形成され、円筒形状を有する。平面視における保持部材１４１の外径は、図１のステージ１２１の寸法よりも小さい。保持部材１４１は、図１の対物レンズ１３１ａの光軸Ａ１を取り囲むように配置される。

保持部材１４１には、上面から下面に貫通する複数の貫通孔１４１ａが形成される。複数の貫通孔１４１ａは、略等間隔で配置され、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に位置する。複数の光ファイバ１４２は、複数の貫通孔１４１ａ内にそれぞれ挿通される。これにより、複数の光ファイバ１４２は保持部材１４１により一体的に保持される。各光ファイバ１４２における光の入射部および出射部は、保持部材１４１の上面および下面にそれぞれ位置する。これにより、保持部材１４１の下面に光出射部１４０ｏが形成される。

複数の光ファイバ１４２は、対物レンズ１３１ａの光軸Ａ１を中心とする１つの円周上に配置される。そのため、対物レンズ１３１ａの光軸Ａ１から複数の光ファイバ１４２における出射部までの距離は略等しい。各光ファイバ１４２における出射部とステージ１２１の中心とを結ぶ線が対物レンズ１３１ａの光軸Ａ１に対して成す角度は鋭角である。本実施の形態においては、保持部材１４１が複数の光ファイバ１４２を一体的に保持することにより、上記の複数の光ファイバ１４２の位置関係が容易に維持される。

図３（ｂ）に示すように、投光部１４０の円環状の光出射部１４０ｏは、複数（本例では４つ）の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄに略等分される。複数の領域１４０Ａ〜１４０Ｄは、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置される。複数の領域１４０Ａ〜１４０Ｄは、略同数の光ファイバ１４２の出射部を含む。

複数の光ファイバ１４２の入射部は、図１のファイバユニット２０１により処理装置２００の光生成部３００に光学的に接続される。これにより、光生成部３００から出射された光が、保持部材１４１の上面から複数の光ファイバ１４２の入射部に入射し、複数の光ファイバ１４２の出射部を通して保持部材１４１の下面の光出射部１４０ｏから出射される。すなわち、各領域１４０Ａ〜１４０Ｄに含まれる光ファイバ１４２が光出射部１４０ｏから光を出射することにより、各領域１４０Ａ〜１４０Ｄから光が出射される。

図１の遮光部３２０は、投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するマスクを含む。図１の光源３１０により出射された光は、遮光部３２０のいずれかの開口パターンを通過してファイバユニット２０１へ入射する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、投光部１４０における光を出射する領域１４０Ａ〜１４０Ｄを切り替える。これにより、投光部１４０は、領域１４０Ａ〜１４０Ｄの全体から光を出射可能であるとともに、領域１４０Ａ〜１４０Ｄのいずれかから選択的に光を出射可能である。

このように、投光部１４０は出射方向が互いに異なる光を観察対象物Ｓに照射することができる。領域１４０Ａ〜１４０Ｄの全体から同時に出射される光をリング照明と呼び、領域１４０Ａ〜１４０Ｄのいずれか１つの領域から出射される光を方向性照明と呼ぶ。本実施の形態においては、投光部１４０は、リング照明および４つの方向性照明のいずれかを選択的に出射可能である。したがって、図１の撮像部１３２は、リング照明および４つの方向性照明がそれぞれ観察対象物Ｓに照射されたときの観察対象物Ｓを示す５つの原画像データを生成可能である。

また、図２の演算処理部６００は、５つの原画像データに基づいてハレーション成分が低減された観察対象物Ｓの画像を示す飽和低減画像データを生成し、生成された飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの画像を表示部４３０に表示させることができる（ハレーション低減処理）。

上記の４つの方向性照明は、対物レンズ１３１ａの光軸Ａ１を中心にθ方向に約９０°異なる４つの位置（領域１４０Ａ〜１４０Ｄ）からそれぞれ出射される光であり、対物レンズ１３１ａの光軸Ａ１を中心に回転対称となる。したがって、各方向性照明は、対物レンズ１３１ａの光軸Ａ１に対して偏りを有する。４つの方向性照明は、対物レンズ１３１ａの光軸Ａ１に対して傾斜しかつ互いに異なる方向に出射される。４つの方向性照明の光量は互いに略等しい。対物レンズ１３１ａの光軸Ａ１に対する４つの方向性照明の照射の角度は、θ方向により均一ではない。

一方、リング照明は、対物レンズ１３１ａの光軸Ａ１に対して偏らない光であり、その中心は対物レンズ１３１ａの光軸Ａ１に略一致する。したがって、リング照明は、実質的に対物レンズ１３１ａの光軸Ａ１の方向に出射される。リング照明は、対物レンズ１３１ａの光軸Ａ１を中心に略均一な光量分布を有し、リング照明の光量は４つの方向性照明の光量の総和に略等しい。すなわち、リング照明の光量は各方向性照明の光量の約４倍である。対物レンズ１３１ａの光軸Ａ１に対するリング照明の照射の角度は、θ方向により均一である。

このように、本実施の形態においては、複数の領域１４０Ａ〜１４０Ｄが対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置される。

本実施の形態においては、投光部１４０の各領域１４０Ａ〜１４０Ｄに光出射部材として光ファイバ１４２が設けられるが、本発明はこれに限定されない。投光部１４０の各領域１４０Ａ〜１４０Ｄに光出射部材としてＬＥＤ等の光源が設けられてもよい。この場合、処理装置２００に光生成部３００が設けられない。この構成においては、各領域１４０Ａ〜１４０Ｄに設けられた１または複数の光源が光を出射することにより、各領域１４０Ａ〜１４０Ｄから光が出射される。

図４（ａ）〜（ｃ）は、投光部１４０の配置例を示す模式図である。本実施の形態においては、図４（ａ）に示すように、投光部１４０はレンズユニット１３１に取り付けられる。本発明はこれに限定されず、図４（ｂ）に示すように、投光部１４０はステージ１２１上に配置されてもよい。あるいは、図４（ｃ）に示すように、投光部１４０は、ステージ１２１とレンズユニット１３１との間に配置され、保持部１１４によりスタンド部１１０に保持されてもよい。

さらに、本実施の形態においては、投光部１４０に４つの光を出射する領域１４０Ａ〜１４０Ｄが設けられるが、本発明はこれに限定されない。投光部１４０に３つ以下または５つ以上の光を出射する領域が設けられてもよい。

また、本実施の形態においては、複数の光出射部材（光ファイバ１４２）が対物レンズ１３１ａの光軸Ａ１を中心とする１つの円周上に配置されるが、本発明はこれに限定されない。複数の光出射部材は、対物レンズ１３１ａの光軸Ａ１を中心とする２つ以上の同心円上に配置されてもよい。さらに、本実施の形態においては、各領域１４０Ａ〜１４０Ｄに複数の光出射部材が配置されるが、本発明はこれに限定されない。各領域１４０Ａ〜１４０Ｄに１つの光出射部材が配置されてもよい。

上記実施の形態において、投光部１４０は、複数の光出射領域の位置関係が変化しないようにユニットとして構成されるが、本発明はこれに限定されない。投光部１４０は、複数の光出射領域の位置関係が変化可能に構成されてもよい。

（ｄ）鏡筒部
図５（ａ），（ｂ）は、それぞれ測定ヘッド１００の外観斜視図および鏡筒部１３０の構成を示す模式図である。図５（ａ）に示すように、測定ヘッド１００は鏡筒部１３０をステージ１２１に対して傾斜させるための傾斜機構１０１を含む。傾斜機構１０１は、Ｙ方向に直交する平面内で保持部１１２の下部に対して保持部１１２の上部を支持する。これにより、傾斜機構１０１は、傾斜中心１３０ｃの周りで鏡筒部１３０をステージ１２１に対して傾斜させることができる。図５（ｂ）においては、傾斜後の鏡筒部１３０が一点鎖線で示される。

ステージ１２１は、図２のステージ制御部５４０による制御に基づいて、観察対象物Ｓの表面が鏡筒部１３０の傾斜中心１３０ｃと略同一の高さに位置するようにＺ方向に移動する。そのため、鏡筒部１３０を傾斜させた場合でも、撮像部１３２の視野が移動しないユーセントリック関係が維持され、観察対象物Ｓの所望の観察領域が撮像部１３２の視野から外れることを防止することができる。

図５（ｂ）に示すように、鏡筒部１３０は、レンズユニット１３１、撮像部１３２および傾斜センサ１３３を含む。撮像部１３２は、図２の撮像制御部５２０による制御に基づいてステージ１２１の載置面に載置された観察対象物Ｓからの光をレンズユニット１３１を介して受光し、原画像データを生成する。

撮像制御部５２０は、撮像部１３２の受光時間、ゲインおよびタイミング等を制御する。例えば、撮像制御部５２０は、リング照明の照射時における受光時間に基づいて各方向性照明の照射時における受光時間を調整する。本例では、上述したように、リング照明の光量は各方向性照明の光量の約４倍であるので、撮像制御部５２０は各方向性照明の照射時における受光時間がリング照明の照射時における受光時間の４倍になるように調整する。

この制御によれば、撮像部１３２は、各方向性照明の照射時における受光時間を独立して調整する場合に比べて高速に原画像データを生成することができる。また、リング照明の照射時における画像と各方向性照明の照射時における画像との明るさを容易に略等しくすることができる。なお、本例では、複数の方向性照明の照射時における撮像部１３２の制御内容は互いに同一である。

また、撮像部１３２は、撮像制御部５２０により受光時間が複数変化された状態で複数の原画像データを生成することができる。この場合、図２の演算処理部６００は、撮像部１３２の受光時間が複数変化された状態で生成された複数の原画像データを選択的に合成する処理（以下、ＤＲ（ダイナミックレンジ）調整処理と呼ぶ。）を実行することができる。また、図２の演算処理部６００は、ＤＲ調整処理と上記のハレーション低減処理とを組み合わせた処理（以下、複合処理と呼ぶ。）を実行することができる。それにより、演算処理部６００は、ダイナミックレンジが調整されかつハレーション成分が低減された表示用画像データを生成することができる。本実施の形態に係る複合処理およびＤＲ調整処理の詳細は後述する。

Ｚ方向に対する対物レンズ１３１ａの光軸Ａ１の傾斜角度（以下、鏡筒部１３０の傾斜角度と呼ぶ。）は、傾斜センサ１３３により検出され、傾斜角度に対応する角度信号が図１の制御基板１５０に出力される。制御基板１５０は、傾斜センサ１３３により出力された角度信号を図２のケーブル２０３および撮像制御部５２０を介して演算処理部６００に与える。演算処理部６００は、角度信号に基づいて、鏡筒部１３０の傾斜角度を算出する。演算処理部６００により算出された傾斜角度は、図１の表示部４３０に表示させることができる。

上記の構成によれば、ステージ１２１の載置面に載置された観察対象物Ｓの平面観察および傾斜観察を選択的に行うことができる。平面観察時には、対物レンズ１３１ａの光軸Ａ１はＺ方向に平行になる。すなわち、鏡筒部１３０の傾斜角度が０°になる。一方、傾斜観察時には、対物レンズ１３１ａの光軸Ａ１はＺ方向に対して傾斜する。また、使用者は、鏡筒部１３０を図１のスタンド部１１０から取り外し、手持ちまたは他の固定部材により固定した状態で観察対象物Ｓの観察を行うことができる。以下の説明においては、観察対象物Ｓの平面観察が行われる。

（ｅ）焦点駆動部
図２の焦点制御部５３０は、レンズユニット１３１を通過した観察対象物Ｓからの光の焦点位置が観察対象物Ｓに対して相対的にＺ方向に変化するように図１の焦点駆動部１１３を制御する。これにより、図１の撮像部１３２は、Ｚ方向に位置が異なる観察対象物Ｓを示す複数の原画像データを生成することができる。

この処理において、使用者は、焦点駆動部１１３がＺ方向に移動する範囲を指定することができる。移動範囲が指定された場合、焦点制御部５３０は、指定された移動範囲で光の焦点位置がＺ方向に変化するように焦点駆動部１１３を制御する。これにより、撮像部１３２は、Ｚ方向に位置が異なる観察対象物Ｓを示す複数の原画像データを短時間で生成することができる。

また、演算処理部６００は、生成されたＺ方向に位置が異なる観察対象物Ｓを示す複数の原画像データの各々について、画素ごとの合焦度を判定することができる。焦点制御部５３０は、演算処理部６００による合焦度の判定結果に基づいて、撮像部１３２の焦点が観察対象物Ｓの特定の部分に合うように焦点駆動部１１３を調整することができる（オートフォーカス処理）。さらに、演算処理部６００は、合焦度の判定結果に基づいて複数の原画像データを画素ごとに選択的に合成する処理と上記のハレーション低減処理とを組み合わせて実行する（深度合成処理）。それにより、観察対象物Ｓの全部分に合焦しかつハレーション成分が低減された表示用画像データを生成することができる。本実施の形態に係る深度合成処理の詳細は後述する。

図６は、焦点駆動部１１３の構成例を示す図である。本実施の形態においては、投光部１４０はレンズユニット１３１に取り付けられる。図６に点線で示すように、レンズユニット１３１が投光部１４０と一体的に焦点駆動部１１３によりＺ方向に移動される。また、図６に一点鎖線で示すように、ステージ１２１が図１のステージ駆動部１２２によりＺ方向に移動される。このように、レンズユニット１３１および投光部１４０とステージ１２１とが相対的にＺ方向に移動可能である。

図６の例においては、投光部１４０は鏡筒部１３０に一体的に設けられるが、本発明はこれに限定されない。投光部１４０は、ユニットとして鏡筒部１３０に着脱可能に取り付けられてもよい。この場合、θ方向における投光部１４０とレンズユニット１３１との角度関係を一定に維持するための位置決め機構がレンズユニット１３１または投光部１４０に設けられることが好ましい。

（ｆ）演算処理部
図７は、図２の演算処理部６００の構成を示すブロック図である。図７に示すように、演算処理部６００は、データ生成部６１０、合焦判定部６２０、算出部６３０および条件設定部６４０を含む。

データ生成部６１０は、図１の撮像部１３２により生成される原画像データに基づいて表示用画像データを生成する。また、データ生成部６１０は、使用者の指示に従って撮像部１３２により生成される原画像データに基づいてハレーション低減処理、深度合成処理、複合処理またはＤＲ調整処理を行う。

合焦判定部６２０は、図２の焦点制御部５３０がオートフォーカス処理を行う際に、焦点駆動部１１３のＺ方向の移動により生成された複数の原画像データの各々について画素ごとの合焦度を判定する。また、合焦判定部６２０は、データ生成部６１０が深度合成処理を行う際に、複数の原画像データについて画素ごとの合焦度を判定する。

算出部６３０は、図５の傾斜センサ１３３により出力される角度信号に基づいて、図５の鏡筒部１３０の傾斜角度を算出する。また、算出部６３０は、使用者の指示に従って、算出した鏡筒部１３０の傾斜角度を図２の表示部４３０に表示させる。さらに、算出部６３０は、ステージ１２１に設けられる図示しない位置センサから出力される位置信号に基づいて、図１のステージ１２１の位置を算出する。また、算出部６３０は、使用者の指示に従って、算出したステージ１２１の位置を図２の表示部４３０に表示させる。

条件設定部６４０は、撮像条件設定部６４１および照明条件設定部６４２を含む。撮像条件設定部６４１は、使用者の指示に従って撮像条件を設定する。また、条件設定部６４０は、設定した撮像条件を示す撮像情報を図２の記憶部４２０に記憶させる。撮像条件は、例えば図１の撮像部１３２の受光時間、複合処理の実行の有無、ＤＲ調整処理の実行の有無、深度合成処理の実行の有無およびＺ方向における光の焦点位置の範囲等を含む。図２の駆動制御部５００は、撮像条件設定部６４１により設定された撮像条件に基づいて図１の測定ヘッド１００および光生成部３００の動作を制御する。

照明条件設定部６４２は、使用者の指示に従って照明条件を設定する。また、照明条件設定部６４２は、設定した照明条件に対応する照明情報を記憶部４２０に記憶させる。データ生成部６１０は、照明条件設定部６４２により設定された照明条件に基づいて表示用画像データを生成し、記憶部４２０に記憶させる。

（２）拡大観察装置の基本的な使用例
ステージ１２１の載置面において、対物レンズ１３１ａの光軸Ａ１が交差する位置を基準点と呼ぶ。観察対象物Ｓは観察対象部分が基準点上に位置するようにステージ１２１に載置される。この状態で、観察対象物Ｓの少なくとも一部に対物レンズ１３１ａの焦点が合うようにレンズユニット１３１（図１）のＺ方向の位置が調整される。また、観察対象物Ｓの所望の部分を観察することができるように、ステージ１２１がＸ方向およびＹ方向に調整される。さらに、撮像部１３２の受光時間およびホワイトバランス等の撮像条件が調整される。

以下の説明では、上記の４つの方向性照明を区別するために、投光部１４０の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの各々から出射される光をそれぞれ第１の方向性照明、第２の方向性照明、第３の方向性照明および第４の方向性照明と呼ぶ。また、以下の説明では、第１の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第１の出射方向と呼び、第２の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第２の出射方向と呼ぶ。さらに、第３の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第３の出射方向と呼び、第４の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第４の出射方向と呼ぶ。

ここで、基準点上に載置される観察対象物Ｓに光を照射する際の光の出射方向または出射位置が特定可能となるように、ステージ１２１の載置面を上方から見た状態で基準点を中心として反時計回りの方向に方位角が定義される。基準点から拡大観察装置１の一側方に向く方向を方位角の基準角度（０°）とする。

本例では、投光部１４０の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの中央部分が、光軸Ａ１を中心としてそれぞれ４５°、１３５°、２２５°および３１５°の方位角で配置される。なお、投光部１４０の配置は、上記の例に限定されない。例えば、領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの中央部分が、光軸Ａ１を中心としてそれぞれ０°、９０°、１８０°および２７０°の方位角で配置されてもよい。

使用者は、図２の操作部４４０を操作することにより、照明条件として例えばリング照明および第１〜第４の方向性照明のうちいずれかの照明を用いて観察対象物Ｓを撮像することを指示することができる。この場合、図２の制御部４１０は、使用者により指示された照明を観察対象物Ｓに照射する。また、制御部４１０は、撮像部１３２により観察対象物Ｓを撮像する。さらに、制御部４１０は、撮像により生成された原画像データを表示用画像データとして取得し、その表示用画像データに基づく観察対象物Ｓの画像を表示部４３０に表示させる。

それにより、使用者は、観察対象物Ｓに所望の方向の照明が照射された状態で、その観察対象物Ｓの画像を表示部４３０の画面上で確認することができる。また、使用者は、操作部４４０を操作することにより、以下に示すハレーション低減処理、深度合成処理、複合処理およびＤＲ調整処理の実行を指示することができる。

（３）ハレーション低減処理
（ａ）ハレーション低減処理の具体的な内容
撮像部１３２において生成される複数の画素データの値（画素値）は、複数の画素に入射する光の強度分布に応じて変化する。撮像部１３２に強度の高い光が入射すると、強度の高い光を受光した画素から出力される画素値が、表示部４３０により表示可能な画素値の上限値を超える（飽和する）場合がある。あるいは、強度の高い光を受光した画素から出力される画素値が検出可能な値の上限値に達する（飽和する）場合がある。それにより、観察対象物Ｓの画像ＳＩにハレーション（白とび）が発生する。

図８は、複数の照明を用いて取得された観察対象物Ｓの複数の画像の一部にハレーションが発生している例を示す図である。図８（ａ）〜（ｅ）には、リング照明および第１〜第４の方向性照明にそれぞれ対応する観察対象物Ｓの複数の画像ＳＩがそれぞれ示される。また、各画像ＳＩ内に発生するハレーションＨＬがドットパターンで示される。

図８（ａ）〜（ｅ）に示すように、ハレーションＨＬの発生位置および影ＳＨの発生位置は、観察対象物Ｓに照射される光の出射方向に大きく依存する。観察対象物Ｓの形状等によっては、光の出射方向を変更しても、撮像により取得される観察対象物Ｓの画像ＳＩからハレーションを低減することが難しい場合がある。そこで、使用者は、図２の操作部４４０を用いて制御部４１０にハレーション低減処理の指示を与えることができる。

ハレーション低減処理では、最初に使用者により後述する選択順位が指定された後、出射方向が互いに異なる第１〜第４の方向性照明を用いて観察対象物Ｓが順次撮像される。図９は、第１〜第４の方向性照明を用いて観察対象物Ｓが順次撮像されるときの拡大観察装置１の基本動作を説明するための模式図である。図９（ａ）〜（ｄ）に、観察対象物Ｓに照射される照明の変化が時系列で示される。図９（ａ）〜（ｄ）では、光を出射する投光部１４０の領域が太い実線で示されるとともに、第１〜第４の出射方向がそれぞれ太い実線の矢印で示される。図８（ｂ）〜（ｅ）は、図９（ａ）〜（ｄ）の照明が観察対象物Ｓに照射されたときに取得される観察対象物Ｓの画像ＳＩにそれぞれ相当する。以下の説明では、観察対象物Ｓが表示された画像のうち観察対象物Ｓの表示部分を対象部分画像ｓｐと呼ぶ。

図９（ａ）に示すように、まず観察対象物Ｓに第１の方向性照明のみが照射され、観察対象物Ｓが撮像される。この場合、図８（ｂ）に示すように、第１の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第１の出射方向および観察対象物Ｓの形状に応じて４５°の方位角の位置から２２５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第１の出射方向に強く強調される。また、対象部分画像ｓｐの他の部分に２２５°の方位角の位置から４５°の方位角の位置に向かうハレーションＨＬが発生する。

次に、図９（ｂ）に示すように、観察対象物Ｓに第２の方向性照明のみが照射され、観察対象物Ｓが撮像される。図８（ｃ）に示すように、第２の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第２の出射方向および観察対象物Ｓの凹凸に応じて１３５°の方位角の位置から３１５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第２の出射方向に強く強調される。また、対象部分画像ｓｐの他の部分に３１５°の方位角の位置から１３５°の方位角の位置に向かうハレーションＨＬが発生する。

次に、図９（ｃ）に示すように、観察対象物Ｓに第３の方向性照明のみが照射され、観察対象物Ｓが撮像される。図８（ｄ）に示すように、第３の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第３の出射方向および観察対象物Ｓの凹凸に応じて２２５°の方位角の位置から４５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第３の出射方向に強く強調される。また、対象部分画像ｓｐの他の部分に４５°の方位角の位置から２２５°の方位角の位置に向かうハレーションＨＬが発生する。

次に、図９（ｄ）に示すように、観察対象物Ｓに第４の方向性照明のみが照射され、観察対象物Ｓが撮像される。図８（ｅ）に示すように、第４の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第４の出射方向および観察対象物Ｓの凹凸に応じて３１５°の方位角の位置から１３５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第４の出射方向に強く強調される。また、対象部分画像ｓｐの他の部分に１３５°の方位角の位置から３１５°の方位角の位置に向かうハレーションＨＬが発生する。

その後、第１〜第４の方向性照明にそれぞれ対応する複数の原画像データに基づいて、各原画像データに比べてハレーション成分の低減された飽和低減画像データが表示用画像データとして生成される。

本例の説明においては、撮像部１３２により検出可能な画素値の上限値が“２５５”であり、下限値が“０”であるものとする。この場合、画素値“２５５”を示す画素の位置がハレーションＨＬの発生位置に対応し、画素値“０”を示す画素の位置が影ＳＨの発生位置に対応する。

ハレーション低減処理では、複数の原画像データの互いに対応する複数の画素ごとに画素値の大きさが比較され、画素値の大きさに基づいて複数の画素に順位が付与される。例えば、図８（ｂ）〜（ｅ）に示すように、第１〜第４の方向性照明を用いて取得された複数の画像ＳＩの互いに対応する複数の画素ＰＸ１，ＰＸ２，ＰＸ３，ＰＸ４の画素値が、それぞれ“２５５”、“１００”、“９５”および“９０”である場合を想定する。

この場合、最も高い画素値“２５５”を示す画素ＰＸ１に１番目の順位が付与され、次に高い画素値“１００”を示す画素ＰＸ２に２番目の順位が付与され、画素値“９５”を示す画素ＰＸ３に３番目の順位が付与され、最も低い画素値“９０”を示す画素ＰＸ４に４番目の順位が付与される。

本実施の形態においては、ハレーション低減処理の開始時に、使用者による図２の操作部４４０の操作に基づいて選択順位が指定される。選択順位として指定可能な数は、観察対象物Ｓに照射される照明の総数以下の自然数である。複数の画素ＰＸ１〜ＰＸ４について順位が付与された後、選択順位に基づいて、複数の画素ＰＸ１〜ＰＸ４のうちの１つの画素が選択される。例えば、使用者により選択順位が「３」と指定されている場合には、複数の画素ＰＸ１〜ＰＸ４のうちの３番目の画素ＰＸ３が選択される。

このようにして、複数の画像ＳＩの全ての画素について、画素値の大きさに基づく画素の選択が行われる。その後、選択された複数の画素が合成されることにより、飽和低減画像データが生成される。

飽和低減画像データに基づく観察対象物Ｓの画像ＳＩにおいては、選択順位の値に応じてハレーション成分の低減度合いが変化する。図８の例においては、選択順位が「１」に指定されると、互いに対応する複数の画素のうち最も高い画素値を有する画素が選択される。この場合、飽和した画素値“２５５”を示す全ての画素が選択される。そのため、ハレーション成分が低減されない。

選択順位が「２」または「３」に指定されると、互いに対応する複数の画素のうち中程度の画素値を示す画素が選択される。この場合、画素値“２５５”を示す画素が選択される可能性が低くなる。そのため、各原画像データに比べてハレーション成分が中程度に低減された飽和低減画像データが生成される。

選択順位が「４」に指定されると、互いに対応する複数の画素のうち最も低い画素値を示す画素が選択される。この場合、画素値“２５５”を示す画素が選択される可能性が極めて低くなる。そのため、各原画像データに比べてハレーション成分がより大きく低減された飽和低減画像データが生成される。なお、選択順位が「４」に指定された場合には、互いに対応する複数の画素のうち最も低い画素値を有する画素が選択される。この場合、画素値“０”を示す全ての画素が選択される。そのため、影ＳＨおよび黒つぶれが発生しやすく、画像ＳＩが全体的に暗くなる。

上記のように、ハレーション低減処理におけるハレーション成分の低減度合いは、選択順位の値が小さくなるにつれて弱くなり、選択順位の値が大きくなるにつれて強くなる。したがって、使用者は、選択順位を指定することにより、ハレーション成分の低減度合いおよび画像ＳＩの全体的な明るさを調整することができる。

図１０は、ハレーション低減処理が指示されたときに図１の表示部４３０に表示される観察画面の一例を示す図である。図１０に示すように、ハレーション低減処理が指示されると、表示部４３０の観察画面４３０Ａに観察対象物Ｓの画像ＳＩとともに順位指定欄ｂ４１および実行ボタンｂ４２が表示される。

使用者は、図２の操作部４４０を用いて順位指定欄ｂ４１に所望の選択順位を入力することができる。また、使用者は、図２の操作部４４０を用いて実行ボタンｂ４２を操作することにより、順位指定欄ｂ４１に入力された選択順位を指定することができる。

図１０の実行ボタンｂ４２が操作されることにより、指定された選択順位を用いて飽和低減画像データが生成される。図１１は、ハレーション低減処理後の観察画面４３０Ａの表示状態の一例を示す図である。図１１に示すように、飽和低減画像データに基づく観察対象物Ｓの画像ＳＩが観察画面４３０Ａに表示される。図１１の例では、対象部分画像ｓｐにハレーションＨＬが存在しない。

上記のハレーション低減処理は観察対象物Ｓに第１〜第４の方向性照明を順次照射することにより生成された４つの原画像データに基づいて実行されるが、本発明はこれに限定されない。ハレーション低減処理は、互いに異なる２つの出射方向の照明で撮像された２つの原画像データに基づいて実行されてもよいし、互いに異なる３つの出射方向の照明で撮像された３つの原画像データに基づいて実行されてもよい。さらに、光の出射方向が互いに異なる５以上の照明で撮像された５以上の原画像データに基づいて実行されてもよい。例えば、ハレーション低減処理は観察対象物Ｓにリング照明および第１〜第４の方向性照明を順次照射することにより生成された５つの原画像データに基づいて実行されてもよい。これらの場合、選択順位として指定可能な数は、ハレーション低減処理に使用される原画像データの数以下の自然数となる。

上記のハレーション低減処理では、複数の原画像データの互いに対応する複数の画素について画素値が高い順に順位が付与されるが、本発明はこれに限定されない。複数の原画像データの互いに対応する複数の画素について画素値が低い順に順位が付与されてもよい。

ハレーション低減処理に用いる複数の原画像データに対応する複数の方向性照明のうち２つの方向性照明に対応する光の出射位置は、対物レンズ１３１ａの光軸Ａ１を挟んで対向するように配置されていることが好ましい。それにより、観察対象物Ｓに照射される２つの照明の光の出射方向が大きく異なるので、２つの方向性照明に対応する２つの原画像データに共通のハレーション成分が生じる可能性が低くなる。したがって、ハレーション成分がより低減された飽和低減画像データを生成することが可能になる。

上記の例では、ハレーション低減処理は観察対象物Ｓに第１〜第４の方向性照明を順次照射することにより生成された４つの原画像データに基づいて実行されるが、本発明はこれに限定されない。第１〜第４の方向性照明による撮像が連続的に繰り返し実行されるとともに、原画像データが生成されるごとに飽和低減画像データが生成されてもよい。また、飽和低減画像データが生成されるごとに、生成された飽和低減画像データに基づく観察対象物Ｓの画像ＳＩが表示部４３０上で更新されてもよい。

図１２は、複数の方向性照明による撮像を繰り返し実行しつつ原画像データが生成されるごとに飽和低減画像データを生成するハレーション低減処理の概念図である。図１２の最上段に示すように、本例では、時間の経過とともに第１〜第４の方向性照明にそれぞれ対応する原画像データが順次繰り返して生成される。

制御部４１０は、初期状態から４番目の原画像データが生成された時点で１番目〜４番目までの４つの原画像データと予め指定された選択順位とに基づいてハレーション低減処理を実行する。それにより、ハレーション成分が低減された飽和低減画像データに基づく画像ＳＩが表示部４３０に表示される。

その後、制御部４１０は、新たなｎ（ｎは５以上の自然数）番目の原画像データが生成されるごとに、（ｎ−３）番目からｎ番目までの４つの原画像データに基づいてハレーション低減処理を実行する。それにより、新たな飽和低減画像データに基づいて表示部４３０に表示される画像ＳＩが更新される。

この場合、表示部４３０にハレーション成分が低減された観察対象物Ｓの画像ＳＩがリアルタイムに表示される。したがって、使用者は、観察対象物Ｓの画像ＳＩを視認しつつ、撮像部１３２の受光時間の調整等を容易に行うことができる。

ここで、上記のようにハレーション成分が低減された画像ＳＩがリアルタイムに表示される場合、観察対象物Ｓの画像ＳＩの更新動作は、特定の期間で停止されてもよい。

例えば、同じ方向性照明により一定周期で生成される複数の原画像データに変化がない場合には、撮像情報および照明条件の調整が停止されている可能性が高い。そこで、同じ方向性照明により一定周期で生成される所定数の原画像データの間で画像の変化が認められないときに、画像ＳＩの更新動作が停止されてもよい。また、観察対象物Ｓの画像ＳＩの更新動作が停止された後、同じ方向性照明により生成される２つの原画像データの間で画像の変化が認められたときに、更新動作が再開されてもよい。この場合、更新動作が停止された状態で、表示部４３０に表示される観察対象物Ｓの画像ＳＩのちらつきが防止される。

上記の例では、使用者が選択順位を指定するために観察画面４３０Ａに順位指定欄ｂ４１が表示されるが、本発明はこれに限定されない。順位指定欄ｂ４１が表示される代わりに、選択順位を画像の明るさとして示すバーとそのバー上で選択順位を指定するためのスライダとが、観察画面４３０Ａに表示されてもよい。この場合、使用者は、スライダを操作することにより、選択順位を指定することができる。

上記の例では、最初に使用者により選択順位が指定された後、出射方向が互いに異なる第１〜第４の方向性照明を用いて観察対象物Ｓが順次撮像されるが、本発明はこれに限定されない。第１〜第４の方向性照明を用いて観察対象物Ｓが順次撮像される間、または第１〜第４の方向性照明にそれぞれ対応する複数の原画像データが生成された後に、使用者による選択順位の指定が行われてもよい。

上記の例では、使用者により指定された選択順位に基づいて、互いに対応する複数の画素のうちの１つの画素が選択され、選択された複数の画素が合成されることにより飽和低減画像データが生成されるが、本発明はこれに限定されない。互いに対応する複数の画素について付与される順位ごとに飽和低減画像データが生成され、生成された複数の順位（上記の例では「１」番目〜「４」番目の順位）にそれぞれ対応する複数の飽和低減画像データが記憶部４２０に記憶されてもよい。その後、使用者による選択順位の指定に応答して、指定された選択順位に対応する飽和低減画像データに基づく画像ＳＩが観察画面４３０Ａに表示されてもよい。なお、使用者による選択順位の指定時には、複数の順位（上記の例では「１」番目〜「４」番目の順位）にそれぞれ対応する複数の飽和低減画像データに基づく画像が観察画面４３０Ａに一覧表示されてもよい。

上記の例では、選択順位は使用者の指定に基づいて設定されるが、本発明はこれに限定されない。選択順位は、使用者により設定される代わりに予め拡大観察装置１の工場出荷時に拡大観察装置１の製造者により設定されてもよい。

複数の原画像データの少なくとも一部がハレーション成分を含む場合、複数の原画像データの互いに対応する複数の画素がそれぞれ示す複数の画素値のうち最も高い値は飽和している可能性がある。そこで、選択順位が予め設定される場合、選択順位は、最も高い値を除く画素値を示す画素が選択されるように設定されることが好ましい。この場合、複数の原画像データの互いに対応する複数の画素から、最も高い画素値を除く画素値を示す画素が選択される。そのため、飽和した画素値を示す画素が選択されにくくなる。したがって、ハレーション成分が低減された表示用画像データが生成される。

また、ハレーション低減処理においては、制御部４１０は、選択順位に基づいて互いに対応する複数の画素から１つの画素を選択する代わりに、選択順位を用いることなく複数の画素の画素値に基づいて１つの画素を選択してもよい。具体的には、制御部４１０は、互いに対応する複数の画素の複数の画素値の全てが飽和している場合に複数の画素のうちの任意の画素を選択してもよい。また、制御部４１０は、複数の画素値の一部が飽和しかつ残りの画素値が飽和していない場合に飽和していない画素値を示す画素のうち任意の画素を選択してもよい。さらに、制御部４１０は、複数の画素値の全てが飽和していない場合に飽和していない画素値を示す画素のうち任意の画素を選択してもよい。

本実施の形態に係るハレーション低減処理は、使用者がハレーション低減処理を指示することにより実行されるが、本発明はこれに限定されない。例えば、拡大観察装置１の制御部４１０は、使用者による動作モードの選択に応答して、通常モードおよびハレーション低減モードのうち一方のモードで動作可能に構成されてもよい。この場合、制御部４１０は、通常モードにおいて、使用者によるハレーション低減処理の指示に応答してハレーション低減処理を実行してもよい。一方、制御部４１０は、ハレーション低減モードにおいて、撮像により生成される画像データにハレーション成分が存在するか否かを判定し、ハレーション成分が存在する場合にハレーション低減処理を実行してもよい。

さらに、本発明に係るハレーション低減処理においては、選択順位は、使用者により設定される代わりに、複数の方向性照明にそれぞれ対応する複数の原画像データの状態（明るさ等）に基づいて自動的に設定されてもよい。この場合、図２の演算処理部６００は以下の構成を有してもよい。図１３は、図２の演算処理部６００の他の構成例を示すブロック図である。図１３に示すように、本例の演算処理部６００は、図７の構成に加えて、飽和画素計数部６５１および順位決定部６５２を含む。

飽和画素計数部６５１は、ハレーション低減処理の実行時に生成される複数の原画像データの互いに対応する複数の画素がそれぞれ示す複数個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から飽和している画素の数を飽和画素数としてカウントする。また、順位決定部６５２は、飽和画素計数部６５１によりカウントされた複数の順位にそれぞれ対応する複数の飽和画素数と予め定められた合成条件とに基づいて、複数の順位から一の順位を決定し、決定された順位を図２の表示部４３０に表示させる。ここで、合成条件は、予め記憶部４２０に記憶される。この合成条件は、拡大観察装置１の工場出荷時に拡大観察装置１の製造者により設定されてもよいし、ハレーション低減処理の実行前に予め使用者により設定されてもよい。

図１３の構成に基づくハレーション低減処理の具体例を説明する。以下の説明では、合成条件は、飽和画素数が特定のしきい値（本例では１００）を超えない順位のうち最も高い順位を選択順位とすることであるものとする。

例えば、ハレーション低減処理において、使用者による選択順位の設定が行われることなく、第１〜第４の方向性照明にそれぞれ対応する４つの原画像データが生成される。続いて、４つの原画像データの互いに対応する４つの画素ごとに画素値に基づく１番目〜４番目の順位が付与される。

その後、全ての画素に付与された順位ごとに、当該順位が付与された画素のうち飽和している画素の数が、図１３の飽和画素計数部６５１により算出される。ここで、１番目、２番目、３番目および４番目にそれぞれ対応する飽和画素数がそれぞれ、３８２９０、１０５９５、０および０であるものと仮定する。この場合、３番目が図１３の順位決定部６５２により選択順位として設定される。また、設定された選択順位が表示部４３０に表示される。

次に、設定された選択順位「３」に基づく飽和低減画像データが生成され、生成された飽和低減画像データに基づく画像ＳＩが表示部４３０に表示される。このように、本例では、複数の飽和画素数および合成条件に基づいて合成用の画素が決定される。したがって、合成条件が予め適切に設定されることにより、複数の原画像データに基づく画像に応じた適切な飽和低減画像データが自動的に生成される。

なお、本例の拡大観察装置１は、上記のように自動的に選択順位が設定され、設定された選択順位に対応する飽和低減画像データが生成された後、再度使用者による選択順位の指定を受け付け可能に構成されてもよい。この場合、使用者により指定された選択順位が自動的に設定された選択順位と異なるときに、使用者により指定された選択順位に基づいて再度飽和低減画像データが生成されてもよい。それにより、使用者は、自動的に生成された飽和低減画像データに基づく画像ＳＩを視認しつつ、より所望の画像ＳＩが得られるように選択順位を変更することができる。

複数の飽和画素数と合成条件とに基づいて決定された一の順位に対応する複数の画素の多くが黒つぶれしている画素である場合には、飽和低減画像データに基づく画像ＳＩは全体的に暗くなる。

そこで、図１３の順位決定部６５２は、さらに、ハレーション低減処理の実行時に生成される複数の原画像データの互いに対応する複数の画素がそれぞれ示す複数個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から予め定められた黒つぶれしきい値よりも低い画素値を示す画素の数を黒つぶれ画素数としてカウントしてもよい。黒つぶれしきい値は、例えば画素値“０”または“０”に近い値に設定される。

この場合、順位決定部６５２は、複数の飽和画素数と合成条件とに基づいて決定された一の順位を、複数の順位にそれぞれ対応する複数の黒つぶれ画素数に基づいて修正する。例えば、順位決定部６５２は、複数の飽和画素数と合成条件とに基づいて決定された一の順位に対応する黒つぶれ画素数が予め定められたしきい値よりも大きい場合に、決定された一の順位を１つ上位の順位（画像が全体的に明るくなる順位）に修正する。それにより、ハレーション成分が低減されつつ黒つぶれ成分が低減された飽和低減画像データが生成される。

（ｂ）ハレーション低減処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、ハレーション低減プログラムを含む。図２の制御部４１０は、ハレーション低減プログラムを実行することにより、ハレーション低減処理を行う。

図１４および図１５は、ハレーション低減処理の一例を示すフローチャートである。ハレーション低減処理は、使用者によるハレーション低減処理の指示に応答して開始される。ハレーション低減処理が開始されると、制御部４１０は、選択順位が指定されたか否かを判定する（ステップＳ１０１）。なお、選択順位が予め設定されている場合、制御部４１０はステップＳ１０１の処理を省略することができる。

選択順位が指定されない場合、制御部４１０は、選択順位が指定されるまでステップＳ１０１の処理を繰り返す。選択順位が指定されると、制御部４１０は、指定された選択順位を記憶部４２０に記憶させ（ステップＳ１０２）、ｉを１に設定する（ステップＳ１０３）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ１０４）。撮像により得られる原画像データは記憶部４２０に記憶される。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ１０５）。ｉが４でない場合、制御部４１０は、ｉをｉ＋１に更新し（ステップＳ１０６）、ステップＳ１０４の処理に戻る。

ステップＳ１０５において、ｉが４である場合、制御部４１０は、ｋを１に設定する（ステップＳ１０７）。

続いて、制御部４１０は、複数の原画像データの互いに対応するｋ番目の複数の画素データを読み出す（ステップＳ１０８）。制御部４１０は、読み出した複数の画素データの画素値に基づいてそれらの画素値を示す複数の画素にそれぞれ順位を付与する（ステップＳ１０９）。そこで、制御部４１０は、複数の画素から指定された選択順位の画素を選択する（ステップＳ１１０）。

次に、制御部４１０は、ｋが撮像部１３２の全画素数を表す値Ｎであるか否かを判定する（ステップＳ１１１）。ｋが値Ｎではない場合、制御部４１０は、ｋをｋ＋１に更新し（ステップＳ１１２）、ステップＳ１０８の処理に戻る。一方、ｋが値Ｎである場合、制御部４１０は、ステップＳ１０８〜Ｓ１１２の処理が繰り返されることにより選択された全ての画素を合成して飽和低減画像データを生成する（ステップＳ１１３）。

最後に、制御部４１０は、飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０に表示させる（ステップＳ１１４）。

以下の説明においては、上記のハレーション低減処理のうち複数の画像データに基づいて飽和低減画像データを生成する処理を飽和低減画像データ生成処理と呼ぶ。図１５においては、飽和低減画像データ生成処理に含まれるステップＳ１０７〜Ｓ１１３の処理が点線で囲まれている。

（ｃ）ハレーション低減処理の一時停止
本実施の形態に係る拡大観察装置１においては、撮像部１３２により一定周期で取得される観察対象物Ｓの画像がリアルタイムに表示部に表示される。上記のように、ハレーション低減処理では、図１の投光部１４０により第１〜第４の方向性照明が順次切り替えられつつ観察対象物Ｓに照射される。この動作を連続照射動作と呼ぶ。

連続照射動作中に、ステージ１２１、投光部１４０および撮像部１３２のうちいずれか１つが他の部材に対して移動する場合、方向性照明が切り替わるごとに観察対象物Ｓおよびその近傍にちらつきが発生する。この場合、使用者は、違和感を覚える場合がある。

そこで、制御部４１０は、投光部１４０による連続照射動作中に、ステージ１２１、投光部１４０および撮像部１３２のうちいずれか１つの構成要素が他の構成要素に対して移動を開始したときに、ハレーション低減処理を一時的に停止することにより当該連続照射動作を一時停止してもよい。これにより、リアルタイムで使用者に提示される観察対象物Ｓにちらつきが発生することが抑制される。

また、制御部４１０は、上記の移動が停止されたときに、ハレーション低減処理を再開することにより連続照射動作を再開してもよい。それにより、ハレーション低減処理の停止および再開を円滑に実行することができる。なお、制御部４１０は、上記の移動が停止されたときに、ハレーション低減処理を最初のステップから実行してもよい。

上記の一時停止の例において、制御部４１０は、連続照射動作の停止中に、投光部１４０から観察対象物Ｓにリング照明を照射してもよい。それにより、連続照射動作の停止中に、使用者は、影の少ない明るい画像で観察対象物Ｓを確認することができる。

（４）深度合成処理
（ａ）処理内容
使用者は、図２の操作部４４０を用いて図１の制御部４１０に深度合成処理の指示を与えることができる。本実施の形態に係る深度合成処理は、ハレーション低減処理を含む。そのため、使用者により深度合成処理が指示される場合には、図１０の例と同様に、観察画面４３０Ａに順位指定欄ｂ４１および実行ボタンｂ４２が表示される。使用者は、順位指定欄ｂ４１に所望の選択順位を入力し、実行ボタンｂ４２を操作する。それにより、選択順位が指定される。

深度合成処理では、Ｚ方向における光の焦点位置の移動範囲および焦点位置の移動ピッチが深度合成処理用の撮像条件として予め設定されることが好ましい。この場合、図１の焦点駆動部１１３は過度に大きい範囲で光の焦点位置を変化させる必要がないので、複数の原画像データを高速に生成することができる。撮像条件は、例えば使用者による操作部４４０の操作に基づいて設定される。なお、Ｚ方向における光の焦点位置の範囲および焦点位置の移動ピッチは、撮像に用いられる対物レンズ１３１ａの倍率等に応じて自動的に設定されてもよい。以下の説明では、深度合成処理用の撮像条件は予め設定されているものとする。

図１６は、本発明の一実施の形態に係る深度合成処理の一例を示す概念図である。図１６（ａ）に、レンズユニット１３１と投光部１４０とステージ１２１との位置関係が示される。本例では、ステージ１２１が静止した状態で、レンズユニット１３１が投光部１４０と一体的にＺ方向に移動される。この場合、予め設定されたＺ方向における光の焦点位置の範囲および焦点位置の移動ピッチに基づいて、レンズユニット１３１（対物レンズ１３１ａ）が移動すべきＺ方向の位置Ｈ１〜Ｈｊ（ｊは自然数）が定まる。

深度合成処理では、レンズユニット１３１が位置Ｈ１〜Ｈｊの各々に位置決めされた状態で第１〜第４の方向性照明を用いて観察対象物Ｓが撮像される。それにより、第１〜第４の方向性照明を用いて位置Ｈ１〜Ｈｊにそれぞれ対応する複数（ｊ個）の原画像データが生成される。図１６（ｂ）に、位置Ｈ１〜Ｈｊにそれぞれ対応する観察対象物Ｓの複数の画像ＳＩが照明ごとに示される。

各方向性照明に対応する複数の原画像データの各々について、画素ごとの合焦度が判定される。合焦度の判定結果に基づいて、複数の原画像データの複数の画素データが選択的に合成される。それにより、各方向性照明が照射された観察対象物Ｓの全部分に合焦した深度合成画像データが生成される。深度合成画像データに基づく画像を深度合成画像と呼ぶ。図１６（ｂ）に、第１〜第４の方向性照明にそれぞれ対応する観察対象物Ｓの複数の深度合成画像ＳＦが示される。

その後、使用者により指定された選択順位と複数の深度合成画像データとに基づいて、各深度合成画像データに比べてハレーション成分の低減された飽和低減画像データが表示用画像データとして生成される。

具体的には、生成された複数の深度合成画像データの互いに対応する複数の画素ごとに画素値の大きさが比較され、画素値の大きさに基づいて複数の画素に順位が付与される。その後、使用者により指定された選択順位に基づいて、複数の画素のうちの１つの画素が選択される。このようにして、複数の深度合成画像ＳＦの全ての画素について、画素値の大きさに基づく画素の選択が行われる。その後、選択された複数の画素が合成されることにより、飽和低減画像データが生成される。

上記の説明においては、第１〜第４の方向性照明にそれぞれ対応する複数の深度合成画像データが先に生成され、生成された複数の深度合成画像データに基づいて飽和低減画像データが表示用画像データとして生成されるが、本発明はこれに限定されない。表示用画像データは以下のように生成されてもよい。

図１７は、本発明の一実施の形態に係る深度合成処理の他の例を示す概念図である。本例においても、図１６（ａ）の例と同様に、レンズユニット１３１が位置Ｈ１〜Ｈｊの各々に位置決めされた状態で第１〜第４の方向性照明を用いて観察対象物Ｓが撮像される。それにより、方向性照明ごとに位置Ｈ１〜Ｈｊにそれぞれ対応する複数（ｊ個）の原画像データが生成される。図１７に、位置Ｈ１〜Ｈｊにそれぞれ対応する観察対象物Ｓの複数の画像ＳＩが照明ごとに示される。

その後、位置Ｈ１〜Ｈｊの各々で生成された複数の原画像データと使用者により指定された選択順位とに基づいて、レンズユニット１３１のＺ方向の位置ごとに各原画像データに比べてハレーション成分の低減された飽和低減画像データが生成される。図１７では、位置Ｈ１〜Ｈｊにそれぞれ対応する飽和低減画像データに基づく観察対象物Ｓの複数の画像Ｓ１〜Ｓｊが示される。その後、複数の飽和低減画像データに基づいて深度合成画像データが生成される。具体的には、複数の飽和低減画像データの各々について、画素ごとの合焦度が判定される。合焦度の判定結果に基づいて、複数の飽和低減画像データの複数の画素データが選択的に合成される。

（ｂ）深度合成処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、深度合成プログラムを含む。図２の制御部４１０は、深度合成プログラムを実行することにより、深度合成処理を行う。

図１８および図１９は、深度合成処理の一例を示すフローチャートである。制御部４１０は、選択順位が指定されたか否かを判定する（ステップＳ３０１）。なお、選択順位が予め設定されている場合、制御部４１０はステップＳ３０１の処理を省略することができる。

選択順位が指定されない場合、制御部４１０は、選択順位が指定されるまでステップＳ３０１の処理を繰り返す。選択順位が指定されると、制御部４１０は、指定された選択順位を記憶部４２０に記憶させる（ステップＳ３０２）。

次に、制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３０３）。次に、制御部４１０は、ｉを１に設定する（ステップＳ３０４）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３０５）。続いて、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３０６）。

ステップＳ３０６において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量（予め設定された移動ピッチ）だけ上方に移動させる（ステップＳ３０７）。その後、制御部４１０は、ステップＳ３０５の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３０５〜Ｓ３０７の処理を繰り返す。

ステップＳ３０６において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、複数の原画像データの画素データを合成することにより、第ｉの方向性照明に対応する深度合成画像データを生成する（ステップＳ３０８）。具体的には、制御部４１０は、第ｉの方向性照明に対応する複数の原画像データの各々について、画素ごとの合焦度を判定し、合焦度の判定結果に基づいて複数の原画像データの複数の画素データを選択的に合成することにより深度合成画像データを生成する。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３０９）。ステップＳ３０９において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３１０）。また、制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３１１）。その後、制御部４１０はステップＳ３０５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３０５〜Ｓ３１１の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成されるとともに、第１〜第４の方向性照明の各々に対応する深度合成画像データが生成される。ステップＳ３０９において、ｉが４である場合、制御部４１０は、使用者により指定された選択順位と第１〜第４の方向性照明にそれぞれ対応する複数の深度合成画像データとに基づいて上記の飽和低減画像データ生成処理を実行し、飽和低減画像データを生成する（ステップＳ３１２）。

最後に、制御部４１０は、飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの深度合成画像ＳＦを表示部４３０に表示させる（ステップＳ３１３）。

（ｃ）深度合成処理の他の例
図２０および図２１は、深度合成処理の他の例を示すフローチャートである。制御部４１０は、選択順位が指定されたか否かを判定する（ステップＳ３２１）。なお、選択順位が予め設定されている場合、制御部４１０はステップＳ３２１の処理を省略することができる。

選択順位が指定されない場合、制御部４１０は、選択順位が指定されるまでステップＳ３２１の処理を繰り返す。選択順位が指定されると、制御部４１０は、指定された選択順位を記憶部４２０に記憶させる（ステップＳ３２２）。

次に、制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３２３）。次に、制御部４１０は、ｉを１に設定する（ステップＳ３２４）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３２５）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３２６）。ステップＳ３２６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３２７）。その後、制御部４１０はステップＳ３２５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３２５〜Ｓ３２７の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。

ステップＳ３２６において、ｉが４である場合、制御部４１０は、使用者により指定された選択順位と直前のステップＳ３２５〜３２７の処理で生成された複数の原画像データとに基づいて上記の飽和低減画像データ生成処理を実行し、飽和低減画像データを生成する（ステップＳ３２８）。

その後、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３２９）。

ステップＳ３２９において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量だけ上方に移動させる（ステップＳ３３０）。その後、制御部４１０は、ステップＳ３２４の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３２４〜Ｓ３３０の処理を繰り返す。

ステップＳ３２９において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、上記のステップＳ３２４〜Ｓ３３０の処理が繰り返されることにより生成された複数の飽和低減画像データを合成することにより、深度合成画像データを生成する（ステップＳ３３１）。具体的には、制御部４１０は、Ｚ方向における複数の位置にそれぞれ対応する複数の飽和低減画像データの各々について、画素ごとの合焦度を判定し、合焦度の判定結果に基づいて複数の飽和低減画像データの複数の画素データを選択的に合成することにより深度合成画像データを生成する。

最後に、制御部４１０は、深度合成画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの深度合成画像ＳＦを表示部４３０に表示させる（ステップＳ３３２）。

上記の深度合成処理の一例および他の例においては、レンズユニット１３１が初期位置として下限位置に移動された後、上限位置まで所定量ずつ上方に移動されるが、本発明はこれに限定されない。深度合成処理においては、レンズユニット１３１が初期位置として上限位置に移動された後、下限位置まで所定量ずつ下方に移動されてもよい。

また、上記の深度合成処理の一例および他の例においては、図６に点線で示されるように、レンズユニット１３１が投光部１４０と一体的にＺ方向に移動されるが、本発明はこれに限定されない。深度合成処理においては、ステージ１２１、レンズユニット１３１および投光部１４０のうちの１つまたは２つ部材が他の部材に対してＺ方向に移動されてもよい。

（ｄ）深度合成処理の使用例
図２２は、本発明の一実施の形態に係る深度合成処理の使用例を示す図である。図２２（ａ）に、リング照明で撮像された原画像データに基づく観察対象物Ｓの画像ＳＩの一例が示される。本例の観察対象物Ｓには、上面の一部に、「ｓｓｓ」および「ｆｆｆ」の文字列が付されている。

図２２（ａ）の画像ＳＩにおいては、対象部分画像ｓｐ上に円環状のハレーションＨＬが発生している。また、図２２（ａ）の画像ＳＩにおいては、観察対象物Ｓの一部に光の焦点が合っていない。そのため、観察対象物Ｓの形状の一部を詳細に観察することができない。

このような場合でも、本実施の形態に係る深度合成処理によれば、観察対象物Ｓの全ての部分に焦点が合いかつハレーション成分が除去された深度合成画像ＳＦを取得することができる。

図２２（ｂ）に、ハレーション成分が低減された深度合成画像ＳＦの一例が示される。図２２（ｂ）の深度合成画像ＳＦにおいては、対象部分画像ｓｐ上にハレーションＨＬが存在しない。また、観察対象物Ｓの全体に渡って光の焦点が合っている。

（５）複合処理
（ａ）処理内容
使用者は、図２の操作部４４０を用いて図１の制御部４１０に複合処理の指示を与えることができる。本実施の形態に係る複合処理は、ハレーション低減処理およびＤＲ調整処理を含む。そのため、使用者により複合処理が指示される場合には、図１０の例と同様に、観察画面４３０Ａに順位指定欄ｂ４１および実行ボタンｂ４２が表示される。使用者は、順位指定欄ｂ４１に所望の選択順位を入力し、実行ボタンｂ４２を操作する。それにより、選択順位が指定される。

複合処理においては、撮像部１３２の受光時間を予め定められた複数の値に変化させた状態で、第１〜第４の方向性照明の各々が照射されたときの観察対象物Ｓが撮像される。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが、撮像部１３２の受光時間ごとに図７のデータ生成部６１０により生成される。撮像部１３２の受光時間が短いときに生成された各原画像データの全体的な画素値は比較的小さく撮像部１３２の受光時間が長いときに生成された各原画像データの全体的な画素値は比較的大きい。

各方向性照明に対応する複数の原画像データがデータ生成部６１０により合成される。これにより、各方向性照明に対応する原画像データのダイナミックレンジを調整することができる。

ここで、ダイナミックレンジの調整は、ダイナミックレンジの拡大および縮小を含む。ダイナミックレンジが拡大するように複数の原画像データを合成することにより、表示部４３０に表示される画像から黒つぶれおよびハレーション（白とび）を低減することができる。一方、ダイナミックレンジが縮小するように複数の原画像データを合成することにより、表示部４３０に表示される画像の濃淡の差が大きくなる。これにより、滑らかな表面を有する観察対象物Ｓの凹凸を精密に観察することができる。

ここで、単にダイナミックレンジを調整しても、撮像部１３２の複数の画素の一部に過剰に強度の高い光が入射した場合には、その部分に対応する画素値を上限値よりも低くすることができない可能性がある。この場合、その部分に対応するハレーションを除去することができない。そこで、本実施の形態に係る複合処理では、第１〜第４の方向性照明に対応しかつダイナミックレンジが調整された複数の原画像データが生成された後、使用者により指定された選択順位とそれらの複数の原画像データとに基づいて、各原画像データに比べてハレーション成分の低減された飽和低減画像データが表示用画像データとして生成される。

上記の説明においては、第１〜第４の方向性照明の各々についてダイナミックレンジが調整されるように原画像データが先に合成され、合成された複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。撮像部１３２の受光時間ごとに複数の原画像データに基づいてハレーション成分の低減された飽和低減画像データが先に生成され、その後、撮像部１３２の複数の受光時間にそれぞれ対応して生成された複数の飽和低減画像データが、ダイナミックレンジが調整されるように合成されてもよい。

（ｂ）複合処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、複合処理プログラムを含む。図２の制御部４１０は、複合処理プログラムを実行することにより、複合処理を行う。

図２３は、複合処理の一例を示すフローチャートである。制御部４１０は、選択順位が指定されたか否かを判定する（ステップＳ４０１）。なお、選択順位が予め設定されている場合、制御部４１０はステップＳ４０１の処理を省略することができる。

選択順位が指定されない場合、制御部４１０は、選択順位が指定されるまでステップＳ４０１の処理を繰り返す。選択順位が指定されると、制御部４１０は、指定された選択順位を記憶部４２０に記憶させる（ステップＳ４０２）。

次に、制御部４１０は、ｉを１に設定する（ステップＳ４０３）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４０４）。

次に、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４０５）。続いて、制御部４１０は、第ｉの方向性照明が照射された状態で、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４０６）。

ステップＳ４０６において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４０７）。その後、制御部４１０は、ステップＳ４０５の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４０５〜Ｓ４０７の処理を繰り返す。

ステップＳ４０６において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成された生成された第ｉの方向性照明に対応する複数の原画像データを合成する（ステップＳ４０８）。これにより、第ｉの方向性照明に対応する原画像データのダイナミックレンジが調整される。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４０９）。ステップＳ４０９において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４１０）。その後、制御部４１０はステップＳ４０４の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４０４〜Ｓ４１０の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成され、それらの複数の原画像データがダイナミックレンジが調整されるように合成される。ステップＳ４０９において、ｉが４である場合、制御部４１０は、使用者により指定された選択順位と、第１〜第４の方向性照明にそれぞれ対応しかつダイナミックレンジが調整された複数の原画像データとに基づいて上記の飽和低減画像データ生成処理を実行し、飽和低減画像データを生成する（ステップＳ４１１）。

最後に、制御部４１０は、飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０に表示させる（ステップＳ４１２）。

（ｃ）複合処理の他の例
図２４および図２５は、複合処理の他の例を示すフローチャートである。制御部４１０は、選択順位が指定されたか否かを判定する（ステップＳ４２１）。なお、選択順位が予め設定されている場合、制御部４１０はステップＳ４２１の処理を省略することができる。

選択順位が指定されない場合、制御部４１０は、選択順位が指定されるまでステップＳ４２１の処理を繰り返す。選択順位が指定されると、制御部４１０は、指定された選択順位を記憶部４２０に記憶させる（ステップＳ４２２）。

次に、制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４２３）。続いて、制御部４１０は、ｉを１に設定する（ステップＳ４２４）。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４２５）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４２６）。ステップＳ４２６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４２７）。その後、制御部４１０はステップＳ４２５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４２５〜Ｓ４２７の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。続いて、制御部４１０は、使用者により指定された選択順位と、第１〜第４の方向性照明にそれぞれ対応する複数の原画像データとに基づいて上記の飽和低減画像データ生成処理を実行し、現時点で設定されている受光時間に対応する飽和低減画像データを生成する（ステップＳ４２８）。

その後、制御部４１０は、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４２９）。

ステップＳ４２９において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４３０）。その後、制御部４１０は、ステップＳ４２４の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４２４〜Ｓ４３０の処理を繰り返す。

ステップＳ４２９において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、設定された複数の受光時間にそれぞれ対応して生成された複数の飽和低減画像データをダイナミックレンジが調整されるように合成する（ステップＳ４３１）。

最後に、制御部４１０は、ダイナミックレンジが調整された飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０に表示させる（ステップＳ４３２）。

（６）観察対象物の観察時に利用可能な機能
上記のように、本実施の形態に係る拡大観察装置１においては、図２の演算処理部６００(具体的には、図７または図１３のデータ生成部６１０）によりＤＲ調整処理を実行することができる。ＤＲ調整処理においては、例えば撮像部１３２の受光時間を予め定められた複数の値に変化させた状態で、リング照明が照射されたときの観察対象物Ｓが撮像される。これにより、リング照明に対応する原画像データが、撮像部１３２の受光時間ごとに図７のデータ生成部６１０により生成される。

その後、例えばダイナミックレンジが拡大するように、リング照明に対応する複数の原画像データが合成される。このようにして得られる画像は、一般にＨＤＲ（ハイダイナミックレンジ）画像と呼ばれる。ＨＤＲ画像は、一の受光時間により取得される通常の画像に比べてダイナミックレンジ、すなわち表示部４３０において表現可能な最小光量と最大光量との比率が格段に高い画像である。

標準的なコンピュータのモニタでは、標準色表現として８ビット〜２４ビットの色が採用されている。そのため、コンピュータのモニタには、２５６階調〜約１６７７万階調で色が表現される。人間の眼はモニタを見る場合に瞳孔の大きさを変更する。それにより、人間は、モニタ上の画像を適正と思われる基準の明るさに調整して視認する。

撮像部１３２により検出可能な色の範囲がモニタにより表現可能な色の範囲を大きく超える場合、撮像部１３２により取得される画像データによっては、その画像データに基づく画像の一部または全てに黒つぶれまたはハレーション（白つぶれ）が生じる場合がある。そこで、モニタの表現能力等を超えたより多くの色情報を含むＨＤＲ画像が利用される。

あるいは、撮像部１３２により検出可能な色の範囲が検出されるべき色の範囲に比べて小さい場合にも、撮像部１３２により取得される画像データによっては、その画像データに基づく画像の一部または全てに黒つぶれまたはハレーション（白つぶれ）が生じる場合がある。そこで、撮像部１３２の検出能力等を超えたより多くの色情報を含むＨＤＲ画像が利用される。

ＨＤＲ画像は、上記のように、同一の観察対象物Ｓを同一位置で異なる撮像条件（撮像部１３２の受光時間すなわち撮像素子の露光時間）で撮像した複数の画像を合成することにより取得することができる。例えば、観察対象物Ｓを複数の受光時間で撮像して得られる複数の低階調の画像データを合成することにより、高い階調を有するＨＤＲ画像を取得することができる。

一方、リング照明に対応する複数の原画像データが生成された後、例えば狭いダイナミックレンジで細かな模様が表示されるように、リング照明に対応する複数の原画像データが合成されてもよい。このようにして得られる画像によれば、一の受光時間で撮像が行われることにより取得される原画像よりも、一部のダイナミックレンジの範囲で輝度分解能を向上させることができる。この画像は、例えば、原画像のダイナミックレンジよりも狭いダイナミックレンジにおいて、より細かく撮像条件を変化させた複数の画像を合成することにより取得することができる。なお、ここで得られる合成画像はダイナミックレンジを拡大していないので字義上ＨＤＲ画像ではないが、ＨＤＲ画像と同様の高階調画像であり、本実施の形態では、便宜上ＨＤＲ画像に含めて扱うこととする。

また、本実施の形態においてＨＤＲ画像は、ダイナミックレンジが表示部４３０で表示可能なダイナミックレンジよりも広い画像、またはダイナミックレンジが撮像部１３２により撮像可能なダイナミックレンジよりも広い画像という意味で使用しているが、本発明はこれに限定されない。ＨＤＲ画像は、２４ビット以上または３２ビット以上といった特定のビット数を備える画像を意味するものとして取り扱うこともできる。以下の説明では、ＨＤＲ画像を表す画像データをＨＤＲ画像データと呼ぶ。

上記のハレーション低減処理によれば、複数の方向性照明に対応する複数の原画像データが各画素値の選択順位に基づいて合成されることによりハレーションの低減された飽和低減画像データに基づく画像ＳＩが取得される。一方、ＤＲ調整処理によれば、互いに異なる受光時間で生成された複数の原画像データが合成されることによりハレーションの低減されたＨＤＲ画像が取得される。このように、ハレーション低減処理とＤＲ調整処理とでは、画像の生成方法が異なる。

そのため、ハレーション低減処理により低減されるハレーションの成分とＤＲ調整処理により低減されるハレーションの成分とが互いに異なる場合がある。また、ハレーション低減処理により取得される画像の画質とＤＲ調整処理により取得されるＨＤＲ画像の画質とは異なる。

したがって、観察対象物Ｓの形状、観察対象物Ｓの色、観察対象物Ｓの表面状態、あるいは観察対象物Ｓの観察目的によっては、ハレーション低減処理とＤＲ調整処理とを適宜使い分けることが好ましい。

そこで、本実施の形態に係る拡大観察装置１は、観察対象物Ｓの観察時に利用可能な機能として、ハレーション低減処理により取得される観察対象物Ｓの画像ＳＩとＤＲ調整処理により取得されるＨＤＲ画像とを表示部４３０に同時に表示させる画像対比機能を有する。使用者は、図２の操作部４４０を操作することにより、画像対比機能の実行を指示することができる。

図２６は、画像対比機能の実行時に図１の表示部４３０に表示される観察画面４３０Ａの一例を示す図である。図２６の例では、観察画面４３０Ａの左半分の領域にハレーション低減処理により取得される観察対象物Ｓの画像ＳＩ１が表示され、観察画面４３０Ａの右半分の領域にＤＲ調整処理により取得されるＨＤＲ画像ＳＩ２が表示されている。この表示動作は、使用者による画像対比機能の実行の指示に応答して、図７または図１３のデータ生成部６１０により実行される。

図２６の例では、観察対象物Ｓは、透明なチャック付きの袋に多数の球状物体が収容された構成を有する。このような観察対象物Ｓにおいては、本来的に袋の外表面の一部で光が強く反射されやすい。図２６に示されるように、ハレーション低減処理により取得される画像ＳＩ１においては、袋の内部に存在する球状物体をほぼ全体に渡って識別することが可能である。一方、ＤＲ調整処理により取得されるＨＤＲ画像ＳＩ２においては、全体的に高い明度で観察対象物Ｓを観察することができる。

ここで、図２６の表示状態において、使用者は、図２の操作部４４０を操作することにより、観察に用いる画像として画像ＳＩ１およびＨＤＲ画像ＳＩ２のうちいずれか一方を選択することができる。この場合、図７または図１３のデータ生成部６１０は、使用者による画像の選択に応答して、選択された一方の画像を選択前の画像のサイズよりも大きくなるように表示部４３０の観察画面４３０Ａ上で拡大する。具体的には、データ生成部６１０は、選択された一方の画像を図１０の例に示すように観察画面４３０Ａ上に拡大表示し、他方の画像を観察画面４３０Ａから消去する。

このように、使用者は、画像対比機能を利用することにより、ハレーション成分が除去された二種類の画像（画像ＳＩ１およびＨＤＲ画像ＳＩ２）のうち所望の画像に基づいて観察対象物Ｓをより詳細に観察することができる。

画像対比機能において観察画面４３０Ａに画像ＳＩ１およびＨＤＲ画像ＳＩ２を同時に表示させる方法は、図２６の例に限定されない。観察画面４３０Ａに表示される２つの画像のうちの一方の画像が他方の画像に比べて大きく表示されてもよい。また、一方の画像が他方の画像の少なくとも一部に重なるように前面に表示されてもよい。あるいは、一方の画像が半透明の状態で他方の画像の前面に重なるように表示されてもよい。

（７）各種画像の特徴
以下の説明では、リング照明を用いて観察対象物Ｓを一回撮像することにより取得される通常の画像を通常画像と呼び、ハレーション低減処理により取得される画像を飽和低減画像と呼び、複合処理により取得される画像を複合処理画像と呼ぶ。

図２７は、通常画像、ＨＤＲ画像、飽和低減画像および複合処理画像の相違点を説明するためのヒストグラムである。図２７（ａ），（ｂ），（ｃ），（ｄ）には、通常画像、ＨＤＲ画像、飽和低減画像および複合処理画像にそれぞれ対応する画像データのヒストグラムが示される。各ヒストグラムにおいては、縦軸が画素数の相対値を表し、横軸が画素値（輝度値）を表す。横軸には、さらに下限値と上限値とが示される。本例の上限値および下限値は、表示部４３０により表示可能な画素値の最小値および最大値を意味する。さらに、図２７（ａ）〜（ｄ）では、各画像のヒストグラムにおいて、観察対象物Ｓに対応する画素値の領域に白抜きの矢印が示される。

通常画像に対応する図２７（ａ）の例では、上限値を超える範囲に多数の画素が存在する。画素値が上限値を超えるこれらの画素は、通常画像上では、画素値が飽和しているものとしてハレーション（白とび）の状態で表示される。

ＨＤＲ画像に対応する図２７（ｂ）の例では、全ての画素の画素値が表示可能範囲内となるようにダイナミックレンジが調整されている。具体的には、図２７（ａ）のヒストグラムが横軸方向に縮小され、表示されるべき画素の画素値の最大値が非飽和となっている。しかしながら、ＨＤＲ画像を生成する元の通常画像において画素値が上限値を超える画素が多い場合には、ＤＲ調整処理により生成されるＨＤＲ画像において上限値に近い画素値を示す画素が多くなる。このようにして得られるＨＤＲ画像は、ハレーションが低減されるが、全体的に明るくなることにより高い画素値を示す多数の画素を識別することが難しい場合がある。

飽和低減画像に対応する図２７（ｃ）の例では、図２７（ａ），（ｂ）の例に比べて、上限値近傍の画素値を示す画素数が少ない。それにより、上限値を超える画素値を示す画素の数が低減されている。また、観察対象物Ｓを表す画素の数が、上限値およびその近傍の画素値を示す画素の画素数に比べて大きくなる。それにより、観察対象物Ｓの識別が容易になる。

複合処理画像に対応する図２７（ｄ）の例では、通常画像の画像データについてハレーション低減処理とともにＤＲ調整処理が実行されることにより、図２７（ｃ）の例に比べて、全ての画素の画素値が表示可能範囲内となるようにダイナミックレンジが調整されている。具体的には、図２７（ｃ）のヒストグラムが横軸方向に縮小され、表示されるべき画素の画素値の最大値が非飽和となっている。これにより、観察対象物Ｓの識別が容易になるとともによりハレーション成分がより低減された画像が得られる。

（８）効果
本実施形態に係る拡大観察装置１においては、複数照明撮像処理によりリング照明および第１〜第４の方向性照明にそれぞれ対応する複数の原画像データが生成される。

ハレーション低減処理において、複数の原画像データの互いに対応する複数の画素ごとに画素値の大きさが比較され、画素値の大きさに基づいて複数の画素に順位が付与される。その後、使用者により指定された選択順位に基づいて、複数の原画像データの互いに対応する複数の画素ごとに１つの画素が選択される。

観察対象物Ｓの画像ＳＩにおいて、ハレーションの発生位置は、観察対象物Ｓの形状および観察対象物Ｓに照射される光の出射方向に大きく依存する。そのため、リング照明および第１〜第４の方向性照明にそれぞれ対応して生成される複数の原画像データの間では、互いに対応する複数の画素のいずれかにハレーション成分が含まれない可能性が高い。したがって、選択順位が適切に設定されることにより、ハレーション成分を含まない部分を優先的に選択することが可能になる。

選択された複数の画素が合成されることにより飽和低減画像データが表示用画像データとして生成される。この場合、ハレーション成分を含まない画素が優先的に選択されることにより、飽和低減画像データにおけるハレーション成分が低減される。したがって、ハレーション成分が低減された表示用画像データを生成することが可能になる。

上記の構成においては、ステージ１２１の載置面の基準点上で、第１の出射方向の向きと第３の出射方向の向きとが逆になる。また、ステージ１２１の載置面の基準点上で、第２の出射方向の向きと第４の出射方向の向きとが逆になる。それにより、載置面の基準点上に観察対象物を配置することにより、一側方から光が照射された観察対象物Ｓの原画像データとともに、一側方とは逆の他側方から光が照射された観察対象物Ｓの原画像データを取得することができる。これらの原画像データを用いてハレーション低減処理を行うことにより、ハレーション成分がより低減されやすくなる。

［２］他の実施の形態
（１）上記実施の形態において、投光部１４０の領域１４０Ａ〜１４０Ｄが対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置されることが好ましいが、本発明はこれに限定されない。投光部１４０の領域１４０Ａ〜１４０Ｄは、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置されなくてもよい。

（２）上記実施の形態において、投光部１４０は円筒形状を有するが、本発明はこれに限定されない。投光部１４０は、例えば半球形状を有し、投光部１４０の内面の任意の位置から観察対象物に複数の出射方向の光を照射可能に構成されてもよい。この場合、複数の原画像データを合成することなく、単一の原画像データにより表示用画像データを生成することが容易になる。この構成においては、各出射方向の光の光量を個別に調整可能であることがより好ましい。

（３）上記実施の形態において、拡大観察装置１の制御部４１０は、深度合成処理、複合処理、ＤＲ調整処理およびハレーション低減処理を実行するが、本発明はこれに限定されない。制御部４１０は、上記の複数の処理のうちハレーション低減処理を実行すればよく、深度合成処理、複合処理およびＤＲ調整処理の一部または全てを実行しなくてもよい。

［３］請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。

上記実施の形態では、観察対象物Ｓが観察対象物の例であり、ステージ１２１がステージの例であり、第１〜第４の方向性照明が複数の出射方向の光の例であり、投光部１４０およびファイバユニット２０１および光生成部３００が投光装置の例であり、撮像部１３２が撮像部の例であり、データ生成部６１０が第１、第２および第３の処理部の例であり、拡大観察装置１が拡大観察装置の例であり、原画像データが基礎画像データの例である。

また、表示部４３０および操作部４４０が順位指定部および画像選択指定部の例であり、対物レンズ１３１ａが対物レンズの例であり、光軸Ａ１が対物レンズの光軸の例であり、焦点駆動部１１３が焦点位置変化部の例であり、合焦判定部６２０が合焦判定部の例である。

また、第１および第２の出射方向が第１の出射方向の例であり、第３および第４の出射方向が第２の出射方向の例であり、領域１４０Ａ，１４０Ｂが第１の出射部の例であり、領域１４０Ｃ，１４０Ｄが第２の出射部の例である。

また、飽和画素計数部６５１が飽和画素計数部の例であり、順位決定部６５２が順位決定部の例であり、データ生成部６１０が第４の処理部および画像拡大部の例であり、表示部４３０が表示部の例であり、飽和低減画像データに基づく観察対象物Ｓの画像ＳＩ１が第１の画像の例であり、ＨＤＲ画像ＳＩ２が第２の画像の例であり、ＨＤＲ画像データがダイナミックレンジ調整画像データの例であり、ＤＲ調整処理において生成されるリング照明に対応する複数の原画像データが複数の通常画像データの例であり、投光部１４０がリング状出射部の例である。

請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
［４］参考形態
（１）参考形態に係る拡大観察装置は、観察対象物が載置される載置面を有するステージと、ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、観察対象物からの光を受光し、ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、撮像部により生成されたｎ個の基礎画像データの互いに対応する画素に対して、ｎ個の出射方向の光をそれぞれ照射したときのｎ個の画素値のうちいずれかの画素値を示す画素を用いてｎ個の基礎画像データを合成し、撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを表示用画像データとして生成するハレーション低減処理を行う第１の処理部とを備える。
その拡大観察装置においては、載置面上に観察対象物が載置され、載置面上の観察対象物にｎ個（ｎは２以上の自然数）の出射方向の光がそれぞれ照射される。ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データが生成される。
ｎ個の基礎画像データの互いに対応するｎ個の画素値のうちいずれかの画素値を用いてｎ個の基礎画像データが合成される。ここで、ｎ個の基礎画像データは、ｎ個の出射方向の光にそれぞれ対応する。観察対象物の画像において、ハレーションの発生位置は、観察対象物の形状および観察対象物に照射される光の出射方向に大きく依存する。そのため、ｎ個の出射方向の光にそれぞれ対応して生成されるｎ個の基礎画像データの間では、互いに対応するｎ個の画素のいずれかにハレーション成分が含まれない可能性が高い。したがって、ｎ個の画素値のうちいずれかの画素値が適切に決定されることにより、ハレーション成分を含まない画素を優先的に合成用の画素として用いることが可能になる。
ｎ個の基礎画像データが合成されることにより飽和低減画像データが表示用画像データとして生成される。この場合、ハレーション成分を含まない画素が優先的に合成用の画素として用いられることにより、飽和低減画像データにおけるハレーション成分が低減される。したがって、ハレーション成分が低減された表示用画像データを生成することが可能になる。
（２）拡大観察装置は、使用者の操作に基づいてｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位を指定する順位指定部をさらに備え、ｎ個の基礎画像データの合成は、互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち順位指定部により指定された順位の画素値を選択し、選択された画素値を示す複数の画素を合成することであってもよい。
ハレーション低減処理におけるハレーション成分の低減度合いは、ｎ個の基礎画像データの互いに対応するｎ個の画素から決定される画素に応じて変化する。
上記の構成によれば、ｎ個の基礎画像データの互いに対応するｎ個の画素から、使用者により指定された順位の画素値を示す画素が、合成用の画素として決定される。したがって、使用者は、所望の順位を指定することにより、ハレーション成分の低減度合いを調整することができる。
（３）ｎ個の基礎画像データの合成は、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち最も高い値を除く画素値を示す複数の画素を合成することであってもよい。
ｎ個の基礎画像データの少なくとも一部がハレーション成分を含む場合、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち最も高い値は飽和している可能性がある。
上記の構成によれば、ｎ個の基礎画像データの互いに対応するｎ個の画素から、最も高い画素値を除く画素値を示す画素が、合成用の画素として決定される。そのため、飽和した画素値を示す画素が選択されにくくなる。したがって、ハレーション成分が低減された表示用画像データが生成される。
（４）ｎ個の基礎画像データの合成は、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち一部の画素値が飽和しかつ残りの画素値が飽和していない場合に飽和していない画素値を示す複数の画素を合成することであってもよい。
上記の構成によれば、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち一部の画素値が飽和しかつ残りの画素値が飽和していない場合に、飽和していない画素値を示す画素が、合成用の画素として決定される。したがって、ハレーション成分が低減された表示用画像データが生成される。
（５）拡大観察装置は、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から飽和している画素の数を飽和画素数としてカウントする飽和画素計数部と、飽和画素計数部によりカウントされた複数の順位にそれぞれ対応する複数の飽和画素数と予め定められた合成条件とに基づいて複数の順位から一の順位を決定する順位決定部とをさらに備え、ｎ個の基礎画像データの合成は、互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち順位決定部により決定された順位の画素値を選択し、選択された画素値を示す複数の画素を合成することであってもよい。
上記の構成によれば、複数の飽和画素数および合成条件に基づいて合成用の画素が決定される。したがって、合成条件が予め適切に設定されることにより、ｎ個の基礎画像データに基づく画像に応じた適切な表示用画像データが自動的に生成される。
（６）飽和画素計数部は、さらに、ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から予め定められた黒つぶれしきい値よりも低い画素値を示す画素の数を黒つぶれ画素数としてカウントすることが可能に構成され、順位決定部は、複数の飽和画素数と合成条件とに基づいて決定された一の順位を、飽和画素計数部によりカウントされた複数の順位にそれぞれ対応する複数の黒つぶれ画素数に基づいて修正してもよい。
この場合、ハレーション成分が低減されつつ黒つぶれ成分が低減された飽和画像低減データを生成することができる。
（７）拡大観察装置は、対物レンズと、対物レンズを通過した光の焦点位置を観察対象物に対して相対的に対物レンズの光軸方向に変化させるように構成された焦点位置変化部とをさらに備え、撮像部は、観察対象物からの光を対物レンズを介して受光することによりｎ個の基礎画像データを生成してもよい。
この場合、焦点位置変化部により対物レンズを透過した光の焦点位置が観察対象物に対して相対的に対物レンズの光軸方向に変化されつつ観察対象物からの光が対物レンズを介して撮像部に受光される。それにより、光軸方向における複数の焦点位置で、互いに異なる複数の出射方向の光にそれぞれ対応する複数の基礎画像データを生成することができる。
したがって、各焦点位置に対応するｎ個の基礎画像データに基づいて、焦点位置ごとにハレーション成分が低減された飽和低減画像データを生成することができる。その結果、使用者は、複数の焦点位置にそれぞれ対応しかつハレーションが低減された観察対象物の複数の画像を容易に取得することができる。
（８）拡大観察装置は、合焦判定部と、第２の処理部とをさらに備え、撮像部は、対物レンズを通過した光の焦点位置が焦点位置変化部により変化されることにより互いに異なる複数の焦点位置の各々でｎ個の基礎画像データを生成し、第１の処理部は、焦点位置変化部により変化された複数の焦点位置の各々で生成されたｎ個の基礎画像データに基づいてハレーション低減処理を行うことにより、複数の焦点位置にそれぞれ対応する複数の飽和低減画像データを生成し、合焦判定部は、第１の処理部により生成された複数の焦点位置にそれぞれ対応する複数の飽和低減画像データの画素ごとの合焦度を判定し、第２の処理部は、合焦判定部による合焦度の判定に基づいて複数の焦点位置にそれぞれ対応する複数の飽和低減画像データの複数の画素を選択的に合成することにより観察対象物の各画素に焦点が合った画像を示す合焦画像データを表示用画像データとして生成してもよい。この場合、使用者は、観察対象物の各部分に焦点が合いかつハレーションが低減された画像を観察することができる。
（９）拡大観察装置は、合焦判定部と、第２の処理部とをさらに備え、撮像部は、対物レンズを通過した光の焦点位置が焦点位置変化部により変化されることにより互いに異なる複数の焦点位置の各々でｎ個の基礎画像データを生成し、合焦判定部は、焦点位置変化部により変化された複数の焦点位置の各々で撮像部により生成されたｎ個の基礎画像データの画素ごとの合焦度を判定し、第２の処理部は、合焦判定部による合焦度の判定に基づいて複数の焦点位置にそれぞれ対応するｎ個の基礎画像データの複数の画素を選択的に合成することにより観察対象物の各部分に焦点が合った画像を示すｎ個の合焦画像データを生成し、第１の処理部は、第２の処理部により生成された、ｎ個の出射方向の光にそれぞれ対応するｎ個の合焦画像データに基づいてハレーション低減処理を行うことによりハレーション成分が低減された飽和低減画像データを表示用画像データとして生成してもよい。この場合、使用者は、観察対象物の各部分に焦点が合いかつハレーションが低減された画像を観察することができる。
（１０）撮像部は、受光時間が複数変化された状態で複数の基礎画像データをそれぞれ生成可能に構成され、受光時間が複数変化された状態で撮像部によりｎ個の出射方向の各々に対応して生成される複数の基礎画像データに基づいてダイナミックレンジが調整された表示用画像データを生成する第３の処理部をさらに備えてもよい。
観察対象物の形状または材質によっては、観察対象物に照射される光の出射方向を変更しても、観察対象物の画像からハレーションを低減できない場合がある。このような場合でも、上記の構成によれば、表示用画像データのダイナミックレンジが調整される。ダイナミックレンジが調整されることにより、ハレーション低減処理では低減しきれないハレーション成分を低減することができる。その結果、使用者は、ハレーションがより低減された画像を観察することができる。
（１１）ｎ個の出射方向は、第１および第２の出射方向を含み、投光装置は、第１の出射方向の光を出射する第１の出射部と、第２の出射方向の光を出射する第２の出射部とを含み、第１および第２の出射部は、載置面の予め定められた位置を通る法線を挟んで対向するように配置されてもよい。
この場合、載置面の予め定められた位置では、第１の出射方向の光の向きと第２の出射方向の光の向きとが逆になる。したがって、載置面の予め定められた位置に観察対象物を配置することにより、一側方から光が照射された観察対象物の基礎画像データとともに、一側方とは逆の他側方から光が照射された観察対象物の基礎画像データを取得することができる。これらの基礎画像データを用いてハレーション低減処理を行うことにより、ハレーション成分がより低減されやすくなる。
（１２）撮像部は、受光時間が複数変化された状態で観察対象物からの光を受光することにより、複数の受光時間にそれぞれ対応しかつ観察対象物の画像を示す複数の通常画像データを生成可能に構成され、拡大観察装置は、受光時間が複数変化された状態で撮像部により生成される複数の通常画像データに基づいてダイナミックレンジが調整されたダイナミックレンジ調整画像データを表示用画像データとして生成する第４の処理部と、表示用画像データに基づく画像を表示する表示部とをさらに備え、表示部は、表示用画像データとして生成された飽和低減画像データに基づく第１の画像と表示用画像データとして生成されたダイナミックレンジ調整画像データに基づく第２の画像とを同時に表示可能に構成されてもよい。
上記のハレーション低減処理により低減可能なハレーション成分とダイナミックレンジを調整することにより低減可能なハレーション成分とが互いに異なる場合がある。このような場合でも、飽和低減画像データに基づく第１の画像と表示用画像データに基づく第２の画像とが同時に表示部に表示される。それにより、使用者は、互いに異なるハレーション成分が除去された二種類の画像を対比しながら観察対象物を観察することができる。
（１３）拡大観察装置は、使用者の操作に基づいて表示部に表示された第１および第２の画像のうちいずれかを選択する画像選択指定部と、画像選択指定部により選択された一方の画像を当該選択前の画像のサイズよりも大きくなるように表示部上で拡大する画像拡大部とをさらに備えてもよい。この場合、使用者は、互いに異なるハレーション成分が除去された二種類の画像のうち一の画像を選択することにより、選択した画像を拡大表示させることができる。したがって、使用者は、ハレーション成分が低減された二種類の画像のうち所望の画像に基づいて観察対象物をより詳細に観察することができる。
（１４）ステージ、投光装置および撮像部のうち少なくとも１つは、他の１つまたは２つに対して相対的に移動可能に構成され、投光装置は、ステージに載置された観察対象物に対してｎ個の出射方向の光を順次切り替えて照射する連続照射動作中に、ステージ、投光装置および撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的な移動を開始したときに当該連続照射動作を停止してもよい。
この場合、撮像部により取得可能な観察対象物の画像をリアルタイムで使用者に提示する際に、使用者に提示される画像にちらつきが発生することが防止される。
（１５）投光装置は、ステージ、投光装置および撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的な移動を開始することにより連続照射動作を停止した後、ステージ、投光装置および撮像部のうち少なくとも１つの移動が停止されたときに、連続照射動作を再開してもよい。
この場合、ハレーション低減処理の停止および再開を円滑に実行することができる。
（１６）投光装置は、撮像部の光軸を取り囲むように設けられたリング状出射部を含み、リング状出射部の複数の部分からそれぞれ光を出射することにより観察対象物にｎ個の出射方向の光を選択的に照射し、ステージ、投光装置および撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的に移動することにより連続照射動作が停止される間、リング状出射部の全体から光を出射することにより観察対象物に方向によらない均一な光を照射してもよい。
この場合、撮像部により取得可能な観察対象物の画像をリアルタイムで使用者に提示する際に、影の少ない明るい画像を使用者に提示することができる。

本発明は、種々の拡大観察装置に有効に利用することができる。

１ 拡大観察装置
２ 外部装置
１００ 測定ヘッド
１１０ スタンド部
１１１ 設置部
１１２，１１４ 保持部
１１３ 焦点駆動部
１２０ ステージ装置
１２１ ステージ
１２２ ステージ駆動部
１３０ 鏡筒部
１３０ｃ 傾斜中心
１３１ レンズユニット
１３１ａ 対物レンズ
１３２ 撮像部
１３３ 傾斜センサ
１４０ 投光部
１４０Ａ〜１４０Ｄ 領域
１４０ｏ 光出射部
１４１ 保持部材
１４１ａ 貫通孔
１４１ｂ 突起部
１４２ 光ファイバ
１５０ 制御基板
２００ 処理装置
２０１ ファイバユニット
２０２，２０３ ケーブル
２１０ 筐体
３００ 光生成部
３１０ 光源
３２０ 遮光部
４００ 制御装置
４１０ 制御部
４２０ 記憶部
４３０ 表示部
４３０Ａ 観察画面
４４０ 操作部
５００ 駆動制御部
５１０ 投光制御部
５２０ 撮像制御部
５３０ 焦点制御部
５４０ ステージ制御部
６００ 演算処理部
６１０ データ生成部
６２０ 合焦判定部
６３０ 算出部
６４０ 条件設定部
６４１ 撮像条件設定部
６４２ 照明条件設定部
Ａ１，Ａ２ 光軸
ｂ４１ 順位指定欄
ｂ４２ 実行ボタン
Ｈ１〜Ｈｊ 位置
ＨＬ ハレーション
ＰＸ１〜ＰＸ４ 画素
Ｓ 観察対象物
ＳＦ 深度合成画像
ＳＨ 影
ＳＩ，ＳＩ１，Ｓ１〜Ｓｊ 画像
ＳＩ２ ＨＤＲ画像
ｓｐ 対象部分画像

Claims (14)

1. 観察対象物が載置される載置面を有するステージと、
   前記ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、
   観察対象物からの光を受光し、ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、
   前記ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から飽和している画素の数を飽和画素数としてカウントする飽和画素計数部と、
   前記飽和画素計数部によりカウントされた複数の順位にそれぞれ対応する複数の飽和画素数と予め定められた合成条件とに基づいて前記複数の順位から一の順位を決定する順位決定部と、
   前記撮像部により生成された前記ｎ個の基礎画像データの前記互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち前記順位決定部により決定された順位の画素値を選択し、選択された画素値を示す複数の画素を合成することにより前記ｎ個の基礎画像データを合成し、前記撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを表示用画像データとして生成するハレーション低減処理を行う第１の処理部とを備える、拡大観察装置。
2. 前記飽和画素計数部は、さらに、前記ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から予め定められた黒つぶれしきい値よりも低い画素値を示す画素の数を黒つぶれ画素数としてカウントすることが可能に構成され、
   前記順位決定部は、前記複数の飽和画素数と前記合成条件とに基づいて決定された前記一の順位を、前記飽和画素計数部によりカウントされた複数の順位にそれぞれ対応する複数の黒つぶれ画素数に基づいて修正する、請求項１記載の拡大観察装置。
3. 観察対象物が載置される載置面を有するステージと、
   前記ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、
   対物レンズと、
   観察対象物からの光を前記対物レンズを介して受光し、ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、
   前記撮像部により生成された前記ｎ個の基礎画像データの互いに対応する画素に対して、前記ｎ個の出射方向の光をそれぞれ照射したときのｎ個の画素値のうちいずれかの画素値を示す画素を用いて前記ｎ個の基礎画像データを合成し、前記撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを生成する第１の処理部と、
   前記対物レンズを通過した光の焦点位置を観察対象物に対して相対的に前記対物レンズの光軸方向に変化させるように構成された焦点位置変化部と、
   合焦判定部と、
   第２の処理部とを備え、
   前記撮像部は、前記対物レンズを通過した光の焦点位置が前記焦点位置変化部により変化されることにより互いに異なる複数の焦点位置の各々で前記ｎ個の基礎画像データを生成し、
   前記第１の処理部は、前記焦点位置変化部により変化された複数の焦点位置の各々で生成された前記ｎ個の基礎画像データに基づいて、前記複数の焦点位置にそれぞれ対応する複数の飽和低減画像データを生成し、
   前記合焦判定部は、前記第１の処理部により生成された前記複数の焦点位置にそれぞれ対応する複数の飽和低減画像データの画素ごとの合焦度を判定し、
   前記第２の処理部は、前記合焦判定部による合焦度の判定に基づいて前記複数の焦点位置にそれぞれ対応する前記複数の飽和低減画像データの複数の画素を選択的に合成することにより観察対象物の各画素に焦点が合った画像を示す合焦画像データを表示用画像データとして生成する、拡大観察装置。
4. 観察対象物が載置される載置面を有するステージと、
   前記ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、
   対物レンズと、
   観察対象物からの光を前記対物レンズを介して受光し、ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、
   前記撮像部により生成された前記ｎ個の基礎画像データに基づいて前記撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを生成する第１の処理部と、
   前記対物レンズを通過した光の焦点位置を観察対象物に対して相対的に前記対物レンズの光軸方向に変化させるように構成された焦点位置変化部と、
   合焦判定部と、
   第２の処理部とを備え、
   前記撮像部は、前記対物レンズを通過した光の焦点位置が前記焦点位置変化部により変化されることにより互いに異なる複数の焦点位置の各々で前記ｎ個の基礎画像データを生成し、
   前記合焦判定部は、前記焦点位置変化部により変化された複数の焦点位置の各々で前記撮像部により生成された前記ｎ個の基礎画像データの画素ごとの合焦度を判定し、
   前記第２の処理部は、前記合焦判定部による合焦度の判定に基づいて前記複数の焦点位置にそれぞれ対応する前記ｎ個の基礎画像データの複数の画素を選択的に合成することにより観察対象物の各部分に焦点が合った画像を示すｎ個の合焦画像データを生成し、
   前記第１の処理部は、前記第２の処理部により生成された、前記ｎ個の出射方向の光にそれぞれ対応する前記ｎ個の合焦画像データの互いに対応する画素に対して、前記ｎ個の出射方向の光をそれぞれ照射したときのｎ個の画素値のうちいずれかの画素値を示す画素を用いて前記ｎ個の合焦画像データを合成することにより前記飽和低減画像データを表示用画像データとして生成する、拡大観察装置。
5. 拡大観察装置であって、
   観察対象物が載置される載置面を有するステージと、
   前記ステージに載置された観察対象物に対して互いに異なるｎ個（ｎは２以上の自然数）の出射方向の光を選択的に照射する投光装置と、
   観察対象物からの光を受光し、前記ｎ個の出射方向の光がそれぞれ観察対象物に照射されたときの観察対象物の画像を示すｎ個の基礎画像データをそれぞれ生成する撮像部と、
   前記撮像部により生成された前記ｎ個の基礎画像データの互いに対応する画素に対して、前記ｎ個の出射方向の光をそれぞれ照射したときのｎ個の画素値のうちいずれかの画素値を示す画素を用いて前記ｎ個の基礎画像データを合成し、前記撮像部により生成された各基礎画像データに比べてハレーション成分が低減された飽和低減画像データを表示用画像データとして生成するハレーション低減処理を行う第１の処理部とを備え、
   前記撮像部は、受光時間が複数変化された状態で観察対象物からの光を受光することにより、複数の受光時間にそれぞれ対応しかつ観察対象物の画像を示す複数の通常画像データを生成可能に構成され、
   前記拡大観察装置は、
   受光時間が複数変化された状態で前記撮像部により生成される複数の前記通常画像データに基づいてダイナミックレンジが調整されたダイナミックレンジ調整画像データを表示用画像データとして生成する第４の処理部と、
   前記表示用画像データに基づく画像を表示する表示部とをさらに備え、
   前記表示部は、前記表示用画像データとして生成された飽和低減画像データに基づく第１の画像と前記表示用画像データとして生成されたダイナミックレンジ調整画像データに基づく第２の画像とを同時に表示可能に構成された、拡大観察装置。
6. 使用者の操作に基づいて前記表示部に表示された第１および第２の画像のうちいずれかを選択する画像選択指定部と、
   前記画像選択指定部により選択された一方の画像を当該選択前の画像のサイズよりも大きくなるように前記表示部上で拡大する画像拡大部とをさらに備える、請求項５記載の拡大観察装置。
7. 使用者の操作に基づいて前記ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値の大きさの順位を指定する順位指定部をさらに備え、
   前記ｎ個の基礎画像データの合成は、前記互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち前記順位指定部により指定された順位の画素値を選択し、選択された画素値を示す複数の画素を合成することである、請求項１〜３、５または６のいずれか一項に記載の拡大観察装置。
8. 前記ｎ個の基礎画像データの合成は、前記ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち最も高い値を除く画素値を示す複数の画素を合成することである、請求項１〜３、５または６のいずれか一項に記載の拡大観察装置。
9. 前記ｎ個の基礎画像データの合成は、前記ｎ個の基礎画像データの互いに対応するｎ個の画素がそれぞれ示すｎ個の画素値のうち一部の画素値が飽和しかつ残りの画素値が飽和していない場合に飽和していない画素値を示す複数の画素を合成することである、請求項１〜３、５または６のいずれか一項に記載の拡大観察装置。
10. 前記撮像部は、受光時間が複数変化された状態で複数の基礎画像データをそれぞれ生成可能に構成され、
    受光時間が複数変化された状態で前記撮像部により前記ｎ個の出射方向の各々に対応して生成される複数の前記基礎画像データに基づいてダイナミックレンジが調整された表示用画像データを生成する第３の処理部をさらに備える、請求項１〜９のいずれか一項に記載の拡大観察装置。
11. 前記ｎ個の出射方向は、第１および第２の出射方向を含み、
    前記投光装置は、
    前記第１の出射方向の光を出射する第１の出射部と、
    前記第２の出射方向の光を出射する第２の出射部とを含み、
    前記第１および第２の出射部は、前記載置面の予め定められた位置を通る法線を挟んで対向するように配置される、請求項１〜１０のいずれか一項に記載の拡大観察装置。
12. 前記ステージ、前記投光装置および前記撮像部のうち少なくとも１つは、他の１つまたは２つに対して相対的に移動可能に構成され、
    前記投光装置は、前記ステージに載置された観察対象物に対して前記ｎ個の出射方向の光を順次切り替えて照射する連続照射動作中に、前記ステージ、前記投光装置および前記撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的な移動を開始したときに当該連続照射動作を停止する、請求項１〜１１のいずれか一項に記載の拡大観察装置。
13. 前記投光装置は、前記ステージ、前記投光装置および前記撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的な移動を開始することにより前記連続照射動作を停止した後、前記ステージ、前記投光装置および前記撮像部のうち少なくとも１つの移動が停止されたときに、前記連続照射動作を再開する、請求項１２記載の拡大観察装置。
14. 前記投光装置は、前記撮像部の光軸を取り囲むように設けられたリング状出射部を含み、前記リング状出射部の複数の部分からそれぞれ光を出射することにより観察対象物に前記ｎ個の出射方向の光を選択的に照射し、前記ステージ、前記投光装置および前記撮像部のうち少なくとも１つが他の１つまたは２つに対して相対的に移動することにより前記連続照射動作が停止される間、前記リング状出射部の全体から光を出射することにより観察対象物に方向によらない均一な光を照射する、請求項１２または１３記載の拡大観察装置。

Images