以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
また本明細書において「高さ画像」という場合には、高さ情報を含む画像の意味で使用し、例えば高さ画像に観察画像をテクスチャ情報として貼り付けた三次元の合成画像も、高さ画像に含む意味で使用する。また、本明細書において高さ画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。例えば、高さ画像は高さ情報を輝度等に変換して二次元画像として表示したり、または高さ情報をZ座標情報として三次元状に表示することが可能である。
(実施の形態1)
本発明の実施の形態1に係る計測顕微鏡装置の構成を示すブロック図を図1に示す。計測顕微鏡装置500は、図1に示すように、撮像手段100、制御手段200、光源部300および表示部400を備える。
(撮像手段100)
図1の計測顕微鏡装置500の撮像手段100の構成を図2のブロック図に示す。撮像手段100は、例えば顕微鏡であり、投光部110、受光部120、照明光出力部130、ステージ140および測定制御部150を含む。投光部110は、測定光源111、パターン生成部112および複数のレンズ113、114、115を含む。受光部120は、カメラ121および複数のレンズ122、123を含む。ステージ140上には、対象物Sが載置される。
(投光部110)
投光部110は、ステージ140の斜め上方に配置される。撮像手段100は、複数の投光部110を含んでもよい。図2の例においては、撮像手段100は2つの投光部110を含む。ここでは、第一の方向から対象物Sに対して測定用照明光を照射可能な第一測定光投光部110A(図2において右側)と、第一の方向とは異なる第二の方向から対象物Sに対して測定用照明光を照射可能な第二測定光投光部110B(図2において左側)を、それぞれ配置している。第一測定光投光部110A、第二測定光投光部110Bは受光部の光軸を挟んで対称に配置される。なお投光部を3以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。さらにこの例では投光部が投光する垂直方向に対する照明光の照射角度を固定としているが、これを可変とすることもできる。
(測定光源111)
各第一測定光投光部110A、第二測定光投光部110Bの測定光源111は、例えば白色光を出射するハロゲンランプである。測定光源111は、白色光を出射する白色LED(発光ダイオード)等の他の光源であってもよい。測定光源111から出射された光(以下、「測定光」と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射する。
パターン生成部112は、例えばDMD(デジタルマイクロミラーデバイス)である。パターン生成部112は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)又はマスクであってもよい。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、ステージ140上の対象物Sに照射される。
(受光部120)
受光部120は、ステージ140の上方に配置される。対象物Sによりステージ140の上方に反射された測定光は、受光部120の複数のレンズ122、123により集光、結像された後、カメラ121により受光される。
(カメラ121)
カメラ121は、例えば撮像素子121a及びレンズを含むCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施の形態では、撮像素子としてモノクロのCCDを採用し、後述する照明光出力部130をRGBにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。
ただ、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGBにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が測定制御部150に出力される。
(測定制御部150)
測定制御部150には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、光源部300による制御に基づいて、測定制御部150のA/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次制御手段200に転送される。
(制御手段200)
図1に示すように、制御手段200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240及び操作部250を含む。制御手段200には、PC(パーソナルコンピュータ)等が利用できる。また、操作部250は、キーボード及びポインティングデバイスを含む。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。
ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、計測顕微鏡装置操作プログラム及び三次元画像計測プログラムが記憶される。また、記憶装置240は、測定制御部150から与えられる画素データ等の種々のデータを保存するために用いられる。
また記憶装置は、相対位置記憶手段として機能する。相対位置記憶手段は、テンプレート作成時に、位置合わせ用画像に対する、平面計測ツールの平面方向の相対位置情報と、位置合わせ用画像に対する、高さ計測ツールの平面方向及び高さ方向の相対位置情報とを記憶する。
CPU210は、測定制御部150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うと共に、画像データに基づく画像を表示部400に表示させる。さらに、CPU210は、後述するステージ駆動部145に駆動パルスを与える。さらにこのCPUは、後述する高さ画像取得手段228と、測定画像合成手段211と、測定異常領域表示手段212と、三次元画像合成手段213、位置合わせ手段215、倍率連動手段216、表示位置連動手段217、テンプレート生成手段218、テンプレート呼出手段219、レポート作成手段222、位置合わせ画像登録手段223、テンプレート検索手段224、画像連結手段225、再測定領域設定手段226の機能を実現することもできる。
ここで高さ画像取得手段228は、複数の縞画像に基づいて高さ情報を有する高さ画像を取得する。また測定画像合成手段211は、同じ対象物に対して、第一測定光投光手段を用いて撮像した第一測定画像から計算した高さ画像と、第二測定光投光手段を用いて撮像した第二測定画像から計算した高さ画像とを合成し、一の合成高さ画像を生成する。さらに測定異常領域表示手段212は、測定画像を表示手段に表示させた状態で、測定結果が異常となる測定異常領域を重ねて表示するための部材である。さらにまた位置合わせ手段215は、表示部400において比較対象画像と比較基準画像とが同じ姿勢となるように、画像を移動又は回転させるための部材である。一方、倍率連動手段216は、比較基準画像と比較対象画像のいずれか一方の表示倍率を変更させると、他方の画像でも同様の倍率変更を連動して行わせるための部材である。表示位置連動手段217は、比較基準画像と比較対象画像のいずれか一方の表示位置を変更させると、他方の画像でも同様の表示位置変更を連動して行わせるための部材である。テンプレート生成手段218は、作業用メモリ230に保持された測定画像撮像条件を、テンプレートとして保存するための部材である。テンプレート呼出手段219は、テンプレート記憶手段に保存された一以上の所望のテンプレートを選択するための部材である。レポート作成手段222は、計測手段214で高さ画像に対して行った計測処理の測定結果を、この高さ画像と共に表示したレポートを自動的に作成するための部材である。位置合わせ画像登録手段223は、テンプレート生成手段218で生成されたテンプレートをテンプレート記憶手段に保存する際、このテンプレートの元となったテンプレート画像中の所定の領域を、位置合わせ用画像として登録するための部材である。テンプレート検索手段224は、テンプレート記憶手段に保存された複数のテンプレート中から、所定の条件に合致又は近似したテンプレートを検索するための部材である。画像連結手段225は、異なる位置で撮像した複数枚の画像を連結して、より広い連結領域を示した連結画像を生成するための部材である。再測定領域設定手段226は、失敗した連結用画像の撮像の全体又は一部を、測定画像撮像条件を変更して再度撮像するための設定を行うための部材である。
このようにCPU210は、様々な機能を実現するための異なる手段を兼用している。ただ、一の部材で複数の手段を兼用する構成に限られず、各手段や機能を実現する部材を複数、又はそれぞれ別個に設けることも可能であることはいうまでもない。
(表示部400)
表示部400は、撮像手段100で取得された縞画像や、縞画像に基づいて高さ画像取得手段228で生成した高さ画像、あるいは撮像手段100で撮像された観察画像を表示させるための部材である。表示部400は、例えばLCDパネル又は有機EL(エレクトロルミネッセンス)パネルにより構成される。
(ステージ140)
図2において、対象物Sが載置されるステージ140上の平面(以下、「載置面」と呼ぶ。)内で互いに直交する2方向をX方向及びY方向と定義し、それぞれ矢印X、Yで示す。ステージ140の載置面に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
ステージ140は、X−Yステージ141、Zステージ142及びθステージ143を含む。X−Yステージ141は、X方向移動機構及びY方向移動機構を有する。Zステージ142は、Z方向移動機構を有する。θステージ143は、θ方向回転機構を有する。X−Yステージ141、Zステージ142及びθステージ143により、ステージ140が構成される。また、ステージ140は、載置面に対象物Sを固定する図示しない固定部材(クランプ)をさらに含む。ステージ140は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージをさらに含んでもよい。
ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構には、それぞれステッピングモータが用いられる。ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構は、図1のステージ操作部144又はステージ駆動部145により駆動される。
ユーザは、ステージ操作部144を手動で操作することにより、ステージ140の載置面を受光部120に対して相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。ステージ駆動部145は、制御手段200より与えられる駆動パルスに基づいて、ステージ140のステッピングモータに電流を供給することにより、ステージ140を受光部120に相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。
ここで図2に示すように、左右の投光部110の中心軸と受光部120の中心軸は、ステージ140の焦点が最も合うピント平面で互いに交差するように、受光部120、投光部110、ステージ140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向にステージ140が回転した際に、対象物Sが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。また、Z方向移動機構に対して、これらXYθ及びチルト移動機構は支持されている。すなわち、ステージをθ方向に回転させたり、チルトさせた状態であっても、受光部120の中心軸と、Z方向の移動軸にずれが生じない構成になっている。このようなステージ機構により、対象物Sの位置や姿勢を変化させた状態であっても、Z方向にステージ140を移動させて異なる焦点位置の画像を複数撮像して合成することが可能となる。なお、本実施の形態ではステッピングモータにより駆動させることが可能な電動ステージを例に説明したが、手動でのみ移動させることが可能な手動ステージであっても良い。
(光源部300)
光源部300は、制御基板310及び観察用照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、制御手段200のCPU210からの指令に基づいて、投光部110、受光部120及び測定制御部150を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部150で投光部110や受光部120を制御したり、又は制御手段200で投光部110や受光部120を制御することとして、制御基板を省略してもよい。あるいはこの光源部300に、撮像手段100を駆動するための電源回路を設けることもできる。
(観察用照明光源320)
観察用照明光源320は、例えば赤色光、緑色光及び青色光を出射する3色のLEDを含む。各LEDから出射される光の輝度を制御することにより、観察用照明光源320から任意の色の光を発生することができる。観察用照明光源320から発生される光(以下、「照明光」と呼ぶ)は、導光部材(ライトガイド)を通して撮像手段100の照明光出力部130から出力される。なお観察用照明光源には、LEDの他、半導体レーザ(LD)やハロゲンライト、HIDなど、他の光源を適宜利用することもできる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。
照明光出力部130から出力される照明光は、赤色光、緑色光及び青色光を時分割で切り替えて対象物Sに照射する。これにより、これらのRGB光でそれぞれ撮像された観察画像を合成して、カラーの観察画像を得て、表示部400に表示させることができる。
このようにしてカラーの観察画像を表示させる際、照明光の色を切り替える切替周波数を、表示部400で表示内容を更新する(画面を書き換える)際のフレームレートと一致させると、フレームレートが低い場合(例えば数Hz程度)は、ちらつきが顕著となる。特に、RGBの原色によるカラー切り替えが目立つと、ユーザに不快感を与えることがある。そこで、RGBの照明光を切り替える切替周波数を、ユーザが人の目で認識できない程度の高速(例えば数百Hz)とすることで、このような問題を回避できる。照明光の色の切り替えは、照明光出力部130等により行われる。また、高速で照明光のRGBを切り替えつつも、実際に撮像手段100で対象物Sを撮像するタイミングは、表示部400の表示内容の更新のタイミングとする。すなわち、観察像の撮像のタイミングと照明光の切り替えのタイミングは完全に一致させる必要はなく、撮像素子によるRGBの観察画像の撮像が可能な程度に、いいかえると照明光のRGBの切り替え周期が撮像周期の倍数となるようにリンクさせることで対応できる。この方法であれば、照明光の切り替えのタイミングを高速化することができ、撮像素子121aで処理可能なフレームレートを向上させることなく、ユーザに与える不快感を低減できる。
図1の例では観察用照明光源320を撮像手段100に対して外付けとして、光源部300に観察用照明光源320を配置している。このようにすることで、観察用照明光源320から供給される観察光の品質を向上し易くできる。例えば観察用照明光源320を構成するRGBの各LEDでは配光特性がそれぞれ異なることから、モノクロの撮像素子121aでRGBの観察画像をそれぞれ撮像した際、そのままでは視野内に照明色むらが発生する。そこで、それぞれのLEDの配光特性に合わせた専用光学系を個別に用意し、組み合わせることで配光特性の違いを吸収し、色むらのない均一な白色照明を作り出した上で撮像手段100に導入することができる。また観察用照明光源320の発熱が撮像手段100の光学系に影響を与える事態を回避できる。ただ、発熱量の小さい観察用照明光源を利用したり、あるいは相応の放熱機構を撮像手段側に設ける等して、撮像手段に観察用照明光源を設けることもできる。この場合、光源部と撮像手段とを光学的に接続するための導光部材を不要とでき構成を簡素化できる利点が得られる。
また、図1の例では測定光投光手段を測定用の光源と一体化しているが、測定光投光手段の光源を撮像手段内に設ける構成に限らず、これを外付けとすることもできる。例えば、光源部に、測定光投光手段の光源と、観察用照明光源とを纏めて配置することも可能である。
図2の照明光出力部130は、円環形状を有し、受光部120を取り囲むようにステージ140の上方に配置される。これにより、影が発生しないように照明光出力部130から対象物Sにリング状に照明光が照射される。
(計測顕微鏡装置操作プログラムのGUIの例)
計測顕微鏡装置は、制御手段200であるPCに計測顕微鏡装置500を操作するための操作プログラムをインストールしている。表示部400には、計測顕微鏡装置操作プログラムを操作するためのGUI(Graphical User Interface)が表示される。このようなGUI画面の一例を図3に示す。この例においては、表示部400において、第一測定光投光部110Aから第一測定光が照射された対象物Sの第一測定画像S1と、第二測定光投光部110Bから第二測定光が照射された対象物Sの第二測定画像S2とが並ぶように、表示させることができる。これら第一測定画像S1や第二測定画像S2は、高さ画像取得手段228で高さ画像を演算、生成するためのもととなる画像であり、この時点では未だ高さ情報を有していない。この例では、表示部400の左側に設けられた画像表示領域410の、右側に第一表示領域416を、左側に第二表示領域417を設けている。このような2画面表示とすることで、各測定光で得られる測定画像の様子、特に影となる領域等を対比しながら確認できる。なお、画像表示領域の分割例は、このように左右に並べる構成に限らず、上下に並べる、あるいは別画面として構成する等、任意の構成が適宜利用できる。
(測定光明るさ個別調整手段442)
表示部400の操作領域420には、測定光明るさ個別調整手段442として、2つの明るさ調整スライダ444、446が設けられる。明るさ調整スライダ444、446は、それぞれ水平方向に移動可能なスライダでもって、各測定光投光手段の明るさを調整する。ここでは、明るさ調整スライダ446で第二測定光投光部110B、明るさ調整スライダ444で第一測定光投光部110Aの明るさを、それぞれ個別に調整可能としている。
明るさ調整スライダ444の位置は、第一測定光投光部110Aから出射される測定光の明るさ又は第一測定光投光部110Aからの測定光で画像を撮影する際のカメラ露光時間に対応する。また明るさ調整スライダ446の位置は、第二測定光投光部110Bから出射される測定光の明るさ又は第二測定光投光部110Bからの測定光で画像を撮影する際のカメラ露光時間に対応する。ユーザは、図1の制御手段200の操作部250でもって、GUIに設けられた操作領域420を操作して明るさ調整スライダ444を水平方向に移動させることにより、第一測定光投光部110Aから出射される測定光の明るさ又は110Aに対応するカメラ露光時間を変更することができる。同様に、操作部250を操作して明るさ調整スライダ446を水平方向に移動させることにより、第二測定光投光部110Bから出射される測定光の明るさ又は第二測定光投光部110Bに対応するカメラ露光時間を変更することができる。
上記のように、画像表示領域410には、第一測定光投光部110A、第二測定光投光部110Bの各々により測定光を照射された場合における対象物Sの画像が並ぶように表示できる。したがって、ユーザは、画像表示領域410に表示された対象物Sの画像を見ながら、明るさ調整スライダ444、446の位置をそれぞれ移動させることにより、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切に調整することができる。
また、第一測定光投光部110A、第二測定光投光部110Bから出射される測定光の適切な明るさと照明光出力部130から出射される照明光の適切な明るさ又はそれぞれの照明に対応したカメラ露光時間との間に相関がある場合がある。この場合、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間は、照明光出力部130から出射される照明光の明るさ又は照明光に対応したカメラ露光時間に基づいて自動的に調整されてもよい。
あるいは、照明光出力部130から出射される照明光の明るさ又は照明光に対応したカメラ露光時間に基づいて、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切にするための調整ガイドが表示部400に表示されてもよい。この場合、ユーザは、調整ガイドに基づいて明るさ調整スライダ444、446の位置をそれぞれ移動させることにより、第一測定光投光部110A、第二測定光投光部110Bの各々から出射される測定光の明るさ又はそれぞれの投光部に対応したカメラ露光時間を適切に調整することができる。
光の照射方向が異なれば、光の反射方向も異なるため、結果として得られる画像の明るさは、同じ部位であっても光の照射方向によって異なる。すなわち、測定に適した測定光の明るさ、撮像素子の露光時間は照射方向によって異なることになる。本実施の形態では、複数の第一測定光投光部110A、第二測定光投光部110Bから光を照射して撮像されたそれぞれの画像の明るさを個別に調整可能とすることにより、照射方向毎に適切な測定光の明るさ又は露光時間を設定することができる。また、明るさ調整中の画像は、画像表示領域410に更新されながら表示されるため、調整後の画像を確認しながら明るさを調整できる。この際に、画像表示領域410に表示された画像の中で、明るすぎて白とびしている部分や、暗すぎて黒つぶれしている部分を識別可能に表示することで、ユーザにとって明るさが適切に調整できているか否かをより判り易く表示することも可能である。
(測定画像合成手段211)
図1に戻って、制御手段200の測定画像合成手段211は、同じ対象物Sに対して、第一測定光投光部110Aを用いて撮像手段100で取得された第一測定画像と、第二測定光投光部110Bを用いて撮像手段100で取得された第二測定画像とを合成し、一の合成高さ画像を生成する。合成高さ画像の生成方法としては、例えば、第一測定画像と第二測定画像とで対応する画素の内、画素値が高い方の画素を用いて構成することができる
(マックス測定画像)。あるいは、第一測定画像と第二測定画像とで対応する画素の内、画素値の平均を用いて構成してもよい(平均測定画像)。あるいはまた、第一測定画像と第二測定画像とで対応する画素の内、画素値が低い方の画素を用いて構成することもできる(ミニマム測定画像)。
(測定異常領域表示手段212)
測定異常領域表示手段212は、測定画像合成手段211で生成された合成高さ画像を表示部400上で表示させた状態で、第一測定光投光部110A及び第二測定光投光部110Bのいずれでも測定結果が異常となる測定異常領域を重ねて表示する(後述する図8等参照)。
(測定異常領域)
ここで測定異常領域には、高さの測定自体ができない測定不能領域や、測定は可能であるものの、得られたデータが飽和しており精度の劣る飽和領域、及び測定できないが、周囲の情報によって補間可能な補間領域を含む。これに対して、高さ情報を測定可能な領域を正常領域という。
(測定不能領域)
測定不能領域は、いずれの測定光投光手段によっても、測定光が影となって、撮像手段100でデータすなわち反射光の輝度を取得できない領域を指す。このように正常領域と区別することで、いずれの測定光投光手段でも測定ができない領域を、いずれかの測定光投光手段で測定が可能な測定領域と区別して視覚的に把握することができ、ユーザの測定画像撮像条件の設定作業に資することができる。
(飽和領域)
また飽和領域は、いずれの測定光投光手段によっても、撮像手段100で検出される測定光の反射光の輝度が飽和している領域を指す。なお反射光の輝度レベルが飽和していても、反射光のON/OFFが判別できればそれなりに測定結果は得られる。ただし、輝度が飽和していない点と比べると、データの信頼性が低くなる。よって、計測時においては精度が低下することがあるので、正常領域と区別する。
(補間領域)
さらに補間領域は、高さ情報を測定できないものの、その画素の周囲に位置する他の画素の輝度情報で補間可能な領域を指す。なお、周囲の画素をどの程度の範囲まで利用するかについては、予め規定しておく。また、例えば周囲の画素を何画素分使用するかをユーザが任意に指定可能としてもよい。
これら補間領域も飽和領域も、高さ情報の信頼性は正常領域に比べて劣るものの、一応の高さ情報を得られることから、用途によっては利用できる。また計測に限らず、例えば測定画像を表示させる際には、部分的に欠損した画像とするよりも、何らかの画像を表示させた方がイメージを把握し易いことから、適宜利用できる。
さらに測定不能領域はこれらに限らず、例えば多重反射や光の潜り込み等を含む領域とすることもできる。なお本明細書において「領域」とは、必ずしも一定の面積を有する線状や面状に限らず、点あるいは点の集合も含む意味で使用する。
また、測定異常領域表示手段212は、これら測定不能領域や飽和領域、あるいは補間領域を、それぞれ異なる態様でハイライトして、表示部400上に重ねて表示可能としている。これにより、測定ができない領域と、測定は可能であるが飽和して精度が低い領域、あるいは補間された領域を、正常な領域と視覚的に区別して把握することができ、ユーザの測定画像撮像条件の設定作業に資することができる。従来であれば、一の測定光投光手段で影や飽和している測定異常点を確認しても、それらが他の測定光投光手段では正しく測定できるため、合成高さ画像とすることで測定異常点のままであっても問題がないのか、あるいは他の測定光投光手段でも測定できず、合成高さ画像でも正しく測定できないのかを区別できなかった。これに対して、本実施の形態によれば、複数の測定光投光手段を用いた場合に、測定不可能となる領域を低減しつつも、具体的にどの部分が測定可能となり、どの部分が依然として測定不可能であるかを、合成高さ画像上で一画面で確認できるので、測定不能領域が少なくなるように測定画像撮像条件を調整し易くなり、ユーザの使い勝手が飛躍的に改善される。また測定異常領域表示手段212は、測定画像合成手段211で生成された合成高さ画像を表示部400上で表示させた状態で、第一測定光投光部110A又は第二測定光投光部110Bで測定されたデータが飽和している領域を、飽和領域として、測定不能領域とは異なる態様でハイライトした状態にて重ねて表示することもできる。
以上のようにして、複数の測定光投光手段で測定可能な領域、測定不可能な領域に関する情報を、一画面で纏めて、視覚的に把握し易い態様にて表示させることができ、測定画像撮像条件の設定や調整に際して資することができる。
ここでは、測定異常領域表示手段212で合成高さ画像SG上に測定異常領域を重畳させて表示させた例を説明したが、これに限らず、第一測定画像や第二測定画像に対しても、それぞれ測定異常領域を重畳させて表示させることもできる。例えば、後述する図9の例では、第二測定光投光部110Bのみについて得られる第一測定画像S1に、測定不能領域及び飽和領域を重ねて表示させている。このように、単に測定光投光手段単体について生じる測定不能領域や飽和領域を表示させる他、上述した合成高さ画像の場合と同様、他方の測定光投光手段での測定結果を加味して、いずれの測定光投光手段でも測定不能又は飽和となる領域のみをハイライト表示させることで、測定画像撮像条件の設定を適切に調整し易くできる。
また、以上の例では、測定異常領域表示手段212で測定画像上に測定不能領域や飽和領域を重畳させて表示させた例を説明したが、測定画像に限られず観察画像に対しても同様に、測定不能領域や飽和領域を重畳させて表示させることもできる。
さらに、以上の例では何れかの測定光投光手段で測定不能点、飽和点あるいは補間点となった領域を、測定不能領域、飽和領域としてそれぞれ表示しているが、これらを、いずれの測定光投光手段で測定不能点あるいは飽和点となったのかを区別して表示させることもできる。例えば、第一測定光投光部110Aで測定不能となった第一測定不能領域を薄い赤色、第二測定光投光部110Bで測定不能となった第二測定不能領域を濃い赤色でそれぞれ表示する。また同様に、第一測定光投光部110Aでは飽和した第一飽和領域を薄い黄色、第二測定光投光部110Bでは飽和した第二飽和領域を濃い黄色でそれぞれ表示するよう、測定異常領域表示手段212で測定画像に対して着色する。また、このような測定光投光手段を区別したハイライト処理は、第一測定画像や第二測定画像に対して行う他、合成高さ画像SGに対して行うことも可能である。このようにすることで、測定不能若しくは飽和した領域を視覚的に区別でき、対象物Sの置き方や測定光のあて方の調整等に際して参考とできる。
例えば、第一測定光投光部110Aによる第一測定画像の明るさを調整する際に、第一測定光投光部110Aでは影となる第一測定不能領域、飽和となる第一飽和領域を、それぞれ濃い赤色、濃い黄色で表示させつつ、第二測定光投光部110Bによる第二測定不能領域、第二飽和領域をそれぞれ薄い赤色、薄い黄色で表示させることで、他方の測定光投光手段(ここでは第二測定光投光部110B)で測定可能な領域、いいかえると第一測定画像の不備を補ってくれる領域を加味した上で、測定不能や飽和となる領域が少なくなるように、最適な測定画像撮像条件に調整し易い環境が提供される。
また、上述した実施の形態において測定異常領域表示手段212により着色される色は一例であって、他の色を適宜利用できることはいうまでもない。さらに測定異常領域表示手段212は、測定異常領域をハイライトさせる態様に限らず、非表示とすることもできる。なお、以上の測定画像合成手段211や測定異常領域表示手段212、後述する三次元画像合成手段213は、図1の例では制御手段200のCPUとしているが、この構成に限らず、専用の部材で構成することもできる。
(計測顕微鏡装置操作プログラム)
上述の通り、図1の例では制御手段200であるPCに計測顕微鏡装置500を操作するための操作プログラムをインストールしている。この計測顕微鏡装置操作プログラムを実行させて、そのGUI画面を表示部400に表示させた状態で、ユーザは操作部であるマウスやキーボードを操作して、各種条件を設定して、高さ情報を有する高さ画像を取得できる。計測顕微鏡装置操作プログラムのユーザインターフェース(GUI)画面を、図3及び図4〜図9に示す。これらの図において、図4は計測顕微鏡装置操作プログラムのGUIで簡単モードを選択した状態を示すイメージ図、図5は図4の状態から「測定画像
」ボタン428を押下した状態を示すイメージ図、図6は図4の状態から応用モードを選択した状態を示すイメージ図、図7は図6の状態から「測定画像」ボタン428を押下した状態を示すイメージ図、図8は図7の状態から画像表示領域410を分割表示させた状態を示すイメージ図、図9は図7の状態から測定方向「左側のみ」を選択した状態を示すイメージ図を、それぞれ示している。また各GUI画面において、測定画像や高さ画像、観察画像を表示させるための画像表示領域410を設けており、また画像表示領域410の右端には、各種の操作を行うボタン等を纏めた操作領域420を設けている。
(画像表示領域410)
画像表示領域410においては、観察画像や測定画像、高さ画像を表示できる。特に、取得、撮像した高解像度の高さ画像や観察画像を表示させる他、撮像の対象となる対象物Sを、現在設定中の観察画像撮像条件で撮像した場合に得られるであろう観察画像のプレビュー画像を簡易的に撮像し、あるいは同じく現在設定中の測定画像撮像条件で撮像した場合に得られるであろう高さ画像のプレビュー画像を演算して、表示部400上に表示させることができる。さらに、観察画像撮像条件や測定画像撮像条件を変更すると、これに応じてプレビュー画像もリアルタイムに更新することで、ユーザは画像表示領域410で表示される高さ画像、観察画像の変化を、設定の前後で比較、参照しながら、観察画像撮像条件や測定画像撮像条件の設定作業を行うことができる。すなわち、現在設定中のパラメータや対象物Sの位置で撮像した際に得られるであろう画像のイメージを直ちに反映させて確認できることから、ユーザが望む画像イメージに視覚的に沿った観察画像撮像条件や測定画像撮像条件に設定し易くできる。
ここで本明細書において観察画像とは、簡易的に撮像したプレビュー画像と、通常の条件で撮像した画像を意味する。一方、高さ画像については、所定の構造化測定光パターンに従って投光される縞状の測定光を用いた縞投影法によって縞画像を複数枚撮像し、これを高さ画像取得手段228で解析して、高さ情報を有する高さ画像を生成している。ここで、高精細な高さ画像を得るには、できるだけ対象物の表面の全ての点に測定光を照射した状態で縞画像を得る必要がある。いいかえると、測定光を投光した状態で極力影ができない状態とすることが望ましい。そこで、影ができる領域を推測するために、パターン生成部112ですべての画素をONとして対象物に投光させる全投影を行い、測定画像を取得して表示部に表示させる。この測定画像は、あくまでも縞画像を正しく撮像し、ひいては高さ画像を正しく取得できるように、影の出方などを確認するためのプレビュー画像である。また、測定画像自体は、未だ通常の撮像前の状態であるため、高さ情報を有していない。しかし、高さ画像を正しく得るためのプレビュー画像として有効である。特に、縞画像単体では縞パターンなどによって影が見辛いこともあり、高さ画像の生成に必要な縞画像の撮像に際しては、測定画像を表示させ、その見え方でもって撮像条件を確認することが有効となる。そこで、高さ画像の生成に際して、縞画像を撮像するための撮像条件を測定画像でもって代用していることから、ここでは測定画像撮像条件と呼ぶことにする。
(分割表示機能)
また表示部400は分割表示機能を備えており、画像表示領域410を、一の画像を表示させる態様の他、二画面以上に分割させることもできる。例えば図8の例では、画像表示領域410の左側に、やや大きく第一分割表示領域411を設け、やや狭いその右側を上下に二分割して、第二分割表示領域412、第三分割表示領域413としている。これら第一分割表示領域411〜第三分割表示領域413の縦横の比率は、同じとすることが好ましい。また、この際第一分割表示領域411は、上下にマスクを設けて、第二分割表示領域412、第三分割表示領域413と同じ比率となるよう調整している。
画像表示領域410の分割表示を行うには、例えば図7に示すように画像モード切替手段で「3Dスキャン」タブ421を選択し、測定画像取得モード選択手段で「エキスパート」ボタン425が選択され、かつ「測定方向」選択欄470で「両側」を選択した状態で、「測定用明るさ調整」欄440の「マニュアル」ボタンを選択する。これによって、図8に示すように3画面に分割表示される。また「測定用明るさ調整」欄440で「オート」ボタンを選択すると、分割表示が解除されて、図7に示すように画像表示領域410が一画面の表示に戻る。また各分割領域には、表示されている画像の種別を表示する種別表示欄415を付加することもできる。図8の例では、種別表示欄415として各分割表示領域の左上に「左右合成」、「左側投光」、「右側投光」等の種別を文字で表示させており、各画像を識別し易くしている。また種別表示欄415に、文字列に加えて、又はこれに代えて、測定光の方向を示すアイコンを表示させてもよい。図8の例では、文字列の左側に、測定光投光手段とここから投光される測定光の広がりを図示したアイコンを表示させることで、ユーザに対し各分割表示領域の表示内容を視覚的に判り易くしている。
なお、画像表示領域を三分割する態様は、上述した例に限らず、例えば画像表示領域を均等に三分割して、合成高さ画像、第一測定画像、第二測定画像をそれぞれ表示させたり、あるいは別ウィンドウで各測定画像を表示させる等、種々の態様が適宜利用できる。
図8の例では、第一分割表示領域411に対象物Sの合成高さ画像SG、第二分割表示領域412に同じ対象物Sの第二測定画像S2、第三分割表示領域413に第一測定画像S1を、それぞれ表示させている。リアルタイムで各画像を更新しながら表示させるために、第一測定光投光部110A、第二測定光投光部110Bから対象物Sに測定光が切り替わるように交互に照射される。第二分割表示領域412には、第二測定光投光部110Bから測定光が照射された場合における対象物Sの画像が表示される。また第三分割表示領域413には、第一測定光投光部110Aから測定光が照射された場合における対象物Sの画像が表示される。これにより、ユーザは第一測定光投光部110A、第二測定光投光部110Bの各々により測定光を照射された場合における対象物Sの画像を区別して認識することができる。測定光の切り替わりの頻度は、例えば数Hz〜数十Hz程度とする。
(操作領域420)
操作領域420には、各種の設定や操作を行うためのボタンやスライドバー、入力欄等が設けられる。また、各種モードを選択、変更することで、これに応じて表示されるボタン類も変更することができる。なお、以下に示すボタン類の配置は例示であって、任意の態様で配置できる。
(画像モード切替手段)
計測顕微鏡装置操作プログラムは、対象物Sの観察画像を撮像するための観察画像取得モードと、対象物Sの測定画像を取得する測定画像取得モードとを、画像モード切替手段で切り替え可能としている。この例では、画像モード切替手段として、観察画像取得モードに関するボタン類を集めた「マイクロスコープ」タブ422と、測定画像取得モードに関するボタン類を集めた「3Dスキャン」タブ421とを設けており、所望のタブを選択することで画像モードを観察画像取得モードと測定画像取得モードに切り替え可能としている。
(測定画像取得モード選択手段)
この計測顕微鏡装置操作プログラムは、測定画像撮像条件の設定を初心者でも簡単に行えるようにした簡単モードと、ユーザによる、より詳細な測定画像撮像条件の設定を可能とした応用モードを切り替え可能としている。このため操作領域420において、各画像モードのタブは、その上欄に、簡単モードと応用モードとを選択する測定画像取得モード選択手段が設けられている。図4の例では、測定画像取得モード選択手段として、簡単モードを選択する「1shot−3D」ボタン424と、応用モードを選択する「エキスパート」ボタン425が設けられている。
(画像切替手段)
さらに測定画像取得モード選択手段の下部には、表示中の画像を、観察画像と測定画像とに切り替え可能な画像切替手段が設けられている。この例では、画像切替手段として、「観察画像」ボタン427を押下すると、観察用照明光源を用いて撮像した観察画像が画像表示領域410に表示され、また「測定画像」ボタン428を押下すると、測定光投光手段を用いて取得した測定画像が画像表示領域410に表示される。ここでは、測定光の明るさを変えるパラメータを、カメラの露光時間としている。
(高さ画像の取得手順)
次に、計測顕微鏡装置の操作プログラムを用いて測定画像を参照して高さ画像を取得する手順を、図10のフローチャートに基づいて説明する。まず、ステップS1で対象物Sをステージ140にセットし、初期画像を表示させる。この段階では高さ画像は未だ取得されていないため、初期画像として、例えば観察画像を用いる。ここで観察画像を撮像する際の照明光の明るさは、自動調整とする。図4に示す例では、画像表示領域410に観察画像SOをリアルタイムで表示させている。また初期画像として、測定光投光手段から投光する測定光の構造化照明のパターンを、すべての点から投光させて取得した、構造化照明の全投影画像とすることもできる。この場合の測定光の明るさも、自動調整とする。
次にステップS2において、測定画像取得モードを測定画像取得モード選択手段から選択する。ここでは、簡単モードと応用モードのいずれかを測定画像取得モード選択手段で選択可能としている。図4の例では、「1shot−3D」ボタン424を押下すると簡単モードが選択され、「エキスパート」ボタン425を押下すると応用モードが選択される。
(簡単モード)
(測定光明るさ調整手段)
ステップS2において簡単モードが選択されると、ステップS3に進み、図4に示すような観察画像が表示される。ここで、図4の画面において右側の操作領域420の下部に設けられた「測定」ボタン430を押下すると、ステップ4に進み、測定光の明るさ(カメラの露光時間又は光量)を自動で調整した後、測定が開始されて、複数の縞画像を撮像した後、縞画像から演算によって高さ画像が、高さ画像取得手段228により生成される。
(高さ画像取得手段228)
高さ画像取得手段228は、複数の縞画像から、高さ情報を有する高さ画像を生成する。ここでは、CPU210が、複数枚の縞画像を所定の計測アルゴリズムで処理することにより、高さ画像を生成している。
また、図4の状態で「測定画像」ボタン428を押下すると、測定用投光手段によって投光された画像が図5に示すように画像表示領域410に表示される。この状態では、測定画像の明るさは自動で調整されるが、測定光明るさ調整手段を用いて測定光の明るさ(カメラ露光時間又は光量)をユーザが手動で調整することもできる。(ステップS4)。
(三次元画像合成手段213)
このようにして明るさが調整された状態で、操作領域420の下部に設けられた「測定」ボタン430を押下すると、通常の高さ画像が取得される(ステップS5)。さらに高さ画像に観察画像SOが合成された合成画像STが三次元画像合成手段213で生成されて、表示部400上に表示される。三次元画像合成手段213は、観察用照明光源を用いて撮像した観察画像と、測定光投光手段を用いて撮像した測定画像に基づき生成された高さ画像とを合成して、三次元の合成画像STを生成する。すなわち、高さ画像が有する高さ情報でもって、観察画像で得られたテクスチャ情報に凹凸を持たせた立体的な画像を生成することができる。図11に示す例では、高さ画像の高さ情報を利用して、観察画像をテクスチャ画像として合成した合成画像STが、立体的に画像表示領域410上に表示される。合成画像STは三次元状であり、その位置や姿勢、角度を任意に変更できる。例えば画像表示領域410上で合成画像STをマウス等によりドラッグして、合成画像STを移動、回転させることができる。
(テクスチャ比率調整手段452)
合成画像STの、高さ画像と観察画像の比率は、テクスチャ比率調整手段452によって調整される。テクスチャ比率調整手段452は、例えばスライダ状に構成され、スライダを左右に移動させることによって、高さ画像(距離画像)と観察画像(テクスチャ画像)の比率を連続的に変更できる。また、比率を数値で入力させたり、あるいは規定の数値(例えば0%、25%、50%、75%、100%;あるいは0:1、0.5:1、1:1、2:1、3:1、4:1等)をドロップボックスやコンボボタンで選択させる等、任意の方法で比率を指定できる。図11の例では、合成画像STの高さ画像(高さ)と観察画像(テクスチャ)の比率を、観察画像(テクスチャ)の占める百分率で表しており、ここではテクスチャ比率調整手段452で観察画像(テクスチャ)の比率を100%に設定している。テクスチャ比率調整手段452で、例えば観察画像(テクスチャ)の比率を0%、すなわち高さ画像を100%に調整すれば、図12のような表示に切り替わる。画像表示領域410における合成画像STの表示は、テクスチャ比率調整手段452の調整に応答してリアルタイムで更新さる。ユーザは画像表示領域410で表示される合成画像STを参照しながら、テクスチャ比率調整手段452でもって高さ画像と観察画像の比率を所望の値に調整できる。なお、この例では合成画像STの生成後におけるテクスチャ比率調整手段452の初期値を、観察画像(テクスチャ)100%としているが、例えば50%とする等、デフォルト値を任意の値、例えば50%に設定してもよい。
また高さ画像は、高さを色分けして表示させることもできる。例えば等高線状に、高さの低い領域を青色、高い領域を赤色とし、その中間領域を青→緑→黄→橙→赤等と連続的に変化させるように着色して、視覚的に高さを認識し易くできる。着色される色や、色を異ならせる高さの区切り等は任意に設定できる。あるいは、対象物の高さを複数色のグラデーションとして表現する他、単色の濃淡で表現することもできる。この例では、画像表示領域410の左上に、高さ毎に色分けされたスケールを表示させ、色と高さの関係をユーザが視覚的に把握し易いようにしている。
さらに、合成画像STに対して様々な処理を行うためのボタン類が、操作領域420に設けられている。例えば高さ倍率スライドバー453を調整すれば、合成画像STの高さ方向の倍率を調整できる。これにより、細かな凹凸を強調させて表示させたり、逆に細かな凹凸を平滑化して全体の形状を把握するのに役立てることができる。また、合成画像ST上に測定異常点を重ねて表示させたり、光源を任意の位置に配置して陰影の変化によって立体感を強調させたり、目盛をグリッド状に表示させたり、簡易的な寸法計測を行う等、各種の操作が操作領域420から行える。
さらにまた、合成画像STの生成後においても、表示部400の表示を高さ画像、観察画像に切り替えることができる。図11、図12の例では、操作領域420の上段に設けられた画像表示切替手段454でもって、画像表示領域410の表示をワンタッチで切り替え可能である。図11、図12の例では、画像表示切替手段454の「3D」ボタン455が選択されており、この状態で「テクスチャ」ボタン456を押下すると、図13の画面に切り替えられ、画像表示領域410上に観察画像が表示される。同様に画像表示切替手段454で「高さ」ボタン457を押下すると、画像表示領域410の表示が高さ画像に切り替えられる。このようにして得られた合成画像STに対して、ユーザは必要に応じて各種の操作を行うことができる。また合成画像STや高さ画像に対する解析用のプログラムに切り替えるには、操作領域420の上部に設けられた「解析アプリへ」ボタン450を押下する。これによって、後述する図26等に示す三次元画像計測プログラムが起動される。
以上のように、簡単モードによれば三次元の計測に関する設定項目を特に意識することなく、「測定」ボタンを押下することで三次元の合成画像をほぼ自動的に取得できる。
(応用モード)
一方、ステップS2で応用モードが選択されると、ステップS6に進み、測定光の手動による調整を行う。ここでは図6に示すように、初期画像として図4と同様、観察画像を画像表示領域410に表示させている。この画面では、後に取得される高さ画像に対して、合成画像STとして貼り付けるテクスチャ画像の選択が可能となる。さらに「画像改善」ボタン481を押下すると、図14に示すように操作領域420に画像改善パネル480が表示される。画像改善パネル480からは、観察画像のエッジ強調やオフセット、ガンマ補正、ホワイトバランス等を調整することができる。
(テクスチャ画像)
テクスチャ画像は、テクスチャ画像選択手段460で選択される。図6の例では、通常の観察画像の他、HDR画像、深度合成画像のいずれかを、ラジオボタンで選択できる。ここでHDR(ハイダイナミックレンジ)画像は、複数枚の観察画像をカメラ露光時間を変えて撮像した後、これらをハイダイナミックレンジ(HDR)合成して生成される。深度合成画像は、対象物Sの測定対象部分の高低差が被写界深度を超える場合、高さ方向を異ならせて個々に撮像した観察画像中から、ピントが合った部分だけを抜き出して合成した画像である。
このようにしてテクスチャ画像が選択されると、図6において操作領域420に設けられた画像切替手段から「測定画像」ボタン428を押下し、図7の画面に切り替える。この画面は、測定画像撮像条件を設定する測定画像撮像条件設定画面441であり、操作領域420には、測定画像撮像条件を設定するための各種部材が配置される。この例では、上から順に「eプレビュー」ボタン471、「測定モード」選択欄472、「測定方向」選択欄470、「測定用明るさ調整」欄440がそれぞれ設けられている。この画面において、測定画像撮像条件を確認しながら、測定光の明るさを調整する。
(「測定モード」選択欄472)
「測定モード」選択欄472は、測定方法(縞パターン)を選択できる。この例では「スタンダード」を選択しており、他にも間接光を除去する「ファインモード」や、「ハレーション除去」も選択できる。「ハレーション除去」を選択すると、カメラ露光時間を変更して複数枚の画像を撮像し、これらを合成することで白飛びしている部分、黒つぶれしている部分を他の画像から補うことが可能となる。さらに「スーパーファイン」は、間接光を除去しつつ、ハレーション除去を行いながら測定することができる。図15の例では、「測定モード」選択欄472からプルダウンメニューにより、スタンダード、ファイン、ハレーション除去、スーパーファインのいずれかを選択できる。
(「測定方向」選択欄470)
また「測定方向」選択欄470では、測定光投光手段を選択する。ここでは、第一測定光投光部110A、第二測定光投光部110Bのいずれかを選択できる。図16の画面例で、「測定方向」選択欄470のプルダウンメニューから「左側のみ」を選択すると、測定光投光手段として第二測定光投光部110Bが選択されて、対象物Sの左側から第二測定光を照射した第二測定画像S2が画像表示領域410に表示される。また同様に「右側のみ」を選択すると、各第一測定光投光部110Aが選択されて、対象物Sの右側から第一測定光を照射した第一測定画像S1に画像表示領域410の表示内容が切り替わる。さらに「両側」を選択すると、これら第二測定画像と第一測定画像とを合成した合成高さ画像SGが、画像表示領域410に表示される。
(測定光明るさ調整手段)
さらに測定光明るさ調整手段として、図7の右側の操作領域420の中段に「測定用明るさ調整」欄440が設けられている。測定光の明るさは、カメラ露光時間や光量によって調整される。ここでは、「測定用明るさ調整」欄440で「オート」を選択すると、その下方に設けられたスライダを左右に調整して、左右の測定光の明るさを同時に、連続的に可変できる。このスライダは、上部に測定光の明るさを数値で表示している。また、測定光の明るさを数値で直接入力可能とすることもできる。このようにして測定光明るさ調整手段で測定光の明るさが調整されると、画像表示領域410で表示される測定画像の明るさが変更された状態に更新され、ユーザは明るさの調整結果をリアルタイムで確認しながら調整を行うことができる。
以上の例では、測定光明るさ調整手段で、合成高さ画像SGにおける明るさを調整している。すなわち、図7に示すように「測定方向」選択欄470で「両側」を選択し、画像表示領域410に合成高さ画像SGを表示させた状態で、操作領域420に測定光明るさ調整手段として「測定用明るさ調整」欄440を表示させている。この「測定用明るさ調整」欄440は、測定光投光手段である第一測定光投光部110A、第二測定光投光部110Bの光量を同様に調整する。また「測定方向」選択欄470で「左側のみ」又は「右側のみ」を選択すると、上述の通り画像表示領域410には選択された各測定光投光手段
で撮像された測定画像が表示されるので、これら第二測定光投光部110B又は第一測定光投光部110Aの光量を、「測定用明るさ調整」欄440でそれぞれ調整できる。
(測定光明るさ個別調整手段442)
その一方で、第一測定光投光部110A、第二測定光投光部110Bの光量を個別に調整することもできる。図7に示すように「測定方向」選択欄470で「両側」を選択した状態で、「測定用明るさ調整」欄440で「マニュアル」を選択すると、図8の画面となり、第一測定光投光部110A及び第二測定光投光部110Bの明るさを個別に調整可能な測定光明るさ個別調整手段442が操作領域420に表示される。ここで測定光明るさ個別調整手段442は、各測定光投光手段毎に明るさを調整可能なスライダ状に構成されている。この例では第二測定光投光部110B用の明るさ調整スライダ446と、第一測定光投光部110A用の明るさ調整スライダ444とを、上下に配置している。これら明るさ調整スライダ444、446を個別に左右に移動させることで、各測定画像の明るさの強弱を個別に調整できる。また上述の通り、測定光明るさ個別調整手段442で調整された値に従って画像表示領域410における測定画像の表示が更新され、ユーザはリアルタイムで測定画像を確認しながら所望の明るさに調整することが可能となる。なお、ここでは説明の便宜上測定光投光部の光量を調整すると説明したが、第一測定画像、第二測定画像の明るさの調整が目的であることから、実際に測定光投光部の光量を調整するのみならず、カメラ露光時間の調整等によって明るさを調整できることは上述の通りである。
(画像連結モード)
また操作領域420の下段には、後述する画像連結手段225の一形態として「連結モード」選択欄570が設けられている。この「連結モード」選択欄570をONすると、画像連結モードが選択され、縦・横にステージを動かしながら連続してデータを測定し、そのデータを1つの測定データとして結合することができる(詳細は後述)。
「測定方向」選択欄470では、上述の通り測定光の方向を選択できる。この例では、図16に示すように「両方」、「左側のみ」、「右側のみ」のいずれかを選択でき、選択された項目に応じて画像表示領域410の表示内容が対応する内容に切り替えられる。例えば図9の例では、「左側のみ」が選択されており、左側の測定光投光手段である第二測定光投光部110Bで得られた第二測定画像S2が、画像表示領域410に表示される。また、このとき第二測定画像S2には測定異常領域表示手段212によって、第二測定光投光部110Bでは測定光が影になって測定できない測定不能領域が赤色で、飽和領域が黄色で、それぞれ表示されている。
この状態で「両方」に切り替えると、図7の画面に切り替わり、両方の測定光投光手段、すなわち第一測定光投光部110Aと第二測定光投光部110Bで得られた第一測定画像S1、第二測定画像S2を合成した合成高さ画像SGが、画像表示領域410に表示される。また、このとき合成高さ画像SGには測定異常領域表示手段212によって、第一測定光投光部110A及び第二測定光投光部110Bのいずれでも測定光が影になって測定できない測定不能領域が赤色で、飽和領域が黄色で、それぞれ表示されている。
図7と図9を対比すれば明らかな通り、測定不能領域及び飽和領域のいずれも、合成高さ画像SGの方が少ないことが判る。すなわち、得られる合成高さ画像SGにおいては、一方の測定光投光手段から明らかとなる測定不能領域や飽和領域よりも、実際には測定異常領域がかなり狭いため、図7のような合成高さ画像SGベースで測定異常領域が狭くなるように、測定画像撮像条件を調整することが、より適切かつ容易であることが理解できる。
さらに必要に応じて、画像表示領域410を分割して、合成高さ画像SGとその元となる各測定画像とを一画面で同時に表示させることもできる。すなわち、図7の画面において、操作領域420の「測定用明るさ調整」欄440で「マニュアル」を選択すると、図8に示すように画像表示領域410が三分割されて、第一分割表示領域411に合成高さ画像SGが、第二分割表示領域412に第二測定画像S2が、第三分割表示領域413に第一測定画像S1が、それぞれ表示される。これにより、各測定光投光手段による測定異常領域がそれぞれ対比しながら確認できるので、一覧性に優れ、一層容易に対象物Sの位置や姿勢、測定光の明るさ等の測定画像撮像条件を調整できる。加えて、図8の画面では上述の通り測定光明るさ個別調整手段442を用いて、各測定光の明るさを個別に調整できる。
なお、上述した簡単モードにおいても、このような測定不能点や飽和点の確認を行うことができる。例えばステップS3において、「測定画像」を表示すれば、両側合成の画像に測定不能点や飽和点を表示することができる。
このようにして、応用モードにおいて測定画像撮像条件の設定や調整を行う。そして、図10のフローチャートのステップS7において測定光の明るさが適切か否かの判定をユーザに促し、適切な場合はステップS9に進む。一方、測定光の明るさが未だ適切でない場合は、ステップS8に進み、測定モードの選択や測定明るさを調整する。
このようにして測定光の設定が適切に行われると、ステップS9に進み、テクスチャ画像の設定が必要か否かのユーザによる判定を促す。必要な場合はステップS10にてテクスチャ画像の設定を行う。ここでは図6の画面において、テクスチャ画像選択手段460を用いてテクスチャ画像の選択を行う。
(観察画像撮像条件設定手段490)
また必要に応じて、観察画像の撮像条件を設定する。図6の画像表示領域410の上段には、このような観察画像の撮像条件を設定するための観察画像撮像条件設定手段490が設けられている。観察画像撮像条件設定手段490は、例えば観察画像を撮像するシャッタースピード切り換えや撮像の倍率、フォーカス調整等の設定を含んでいる。図17に示す例では、撮像手段の明るさを「オート」又は「マニュアル」から選択する。「マニュアル」を選択した場合は、カメラ明るさ調整スライダ492でもって撮像手段の明るさを調整する。また、このような観察画像の撮像条件の設定は、簡単モードでも行うことができる。例えば図4でも、上記と同様に画像表示領域410の上段に観察画像撮像条件設定手段490を設けており、ここから倍率やフォーカス調整、シャッタースピードの切り替え等を行える。
なお、高さ画像の取得においては、観察画像の撮像は任意であり、例えば合成高さ画像や観察画像が不要の場合は、図10のフローチャートにおいてステップS9やS10を省略することもできる。
このようにしてすべての撮像条件の設定が終わると、ステップS11に進み、高さ画像を取得する。ここでは、図8等の画面から、「測定」ボタン430を押下すると、高さ画像が取得され、さらに高さ画像にテクスチャ画像を加えた合成画像が、画像表示領域410に表示される(ステップS9)。引き続きユーザは、必要に応じて計測操作を行う。計測用のプログラムに切り替えるには、操作領域420の上部に設けられた「解析アプリへ」ボタン450を押下し、後述する図26等に示す三次元画像計測プログラムを起動させる。
以上のように、応用モードではより高さ画像の取得に関するより詳細な条件をユーザが調整できる。これにより、操作に詳しいユーザは所望の条件に設定することが可能となる。その一方で、操作に詳しくないユーザに対しては、上述の通り簡単モードを提供することで、一通りの設定を自動で行えるようにしている。このように、簡単モードと応用モードとで、提供する設定項目を変更し、ユーザが設定可能なパラメータを異ならせることで、ユーザの習熟度や要求に応じた操作環境を提供できる。
(画像の取得から計測までの手順)
以下、図1に示す計測顕微鏡装置のブロック図及び図2に示す撮像手段100のブロック図を参照しながら、観察画像、高さ画像を撮像し、これらに基づいて計測を行う手順の概要を、図18のフローチャートに基づいて説明する。ステップS1801においてユーザはまず、計測したい対象物をステージ140上に配置する。次にステップS1802において、表示部400に表示された観察画像を見ながらピント、視野位置、明るさ等を調節して、観察画像を撮像するための観察画像撮像条件を設定する(例えば図6)。このときに使用する照明として、測定光投光手段から均一照明を照射しても良いが、ここでは照明光出力部130を用いるものとする。
(高さ画像の取得)
次に、ステップS1803において、高さ画像を取得するための測定画像撮像条件を設定する。具体的には、例えば図7の測定画像撮像条件設定画面441において、照明を照明光出力部130から測定光投光手段に切り替えて、測定光の明るさを調整する。測定光による照明は斜めから当たるため、対象物の形状による陰影が発生する。また、対象物の表面状態によっては照明の当たる角度を少し傾斜させたほうが良好な見え方になる場合もある。このように、陰影や表面状態の影響を抑えるために、必要に応じて対象物の位置や姿勢を調整する。
ここで、測定光投光手段での調整で対象物を動かした場合は、ステップS1804において、再び照明光出力部130で対象物の見え方の確認、照明光出力部130の明るさの再調整等を行う。この作業は、対象物を移動させていないなど、不要であれば省略できる。以上のようにして、観察画像の撮像条件、高さ画像の撮像条件をそれぞれ設定すると、ステップS1805において、見え方に問題が無いか否かの確認をユーザに促し、問題があればステップS1802に戻って必要な撮像条件の再設定や調整を行う。問題が無ければステップS1806に進み、測定画像の取得を開始する。この確認作業も、省略することができる。
このようにして対象物の姿勢、位置、ピント、及び計測用の照明条件が確定したら、ステップS1806において観察画像、測定画像の撮像開始を指示する。ここでは計測顕微鏡装置操作プログラムのGUI(例えば図7)に設けられた「測定」ボタン430をユーザに押下させる。これにより、制御手段200を構成するPCにインストールした計測顕微鏡装置操作プログラムから、測定の指令がUSB経由で撮像部100に送信される。
この指示を受けて、ステップS1807〜ステップS1810において、高さ画像、観察画像、これらを合成した合成画像を撮像する。なお各ステップの順序は、適宜変更できる。ここではまずステップS1807において、複数枚の縞画像を取得する。この例では、測定の指令を受けて、撮像部100は測定光投光手段内のパターン生成部112とカメラ121を同期させて制御し、複数の縞パターンを投影しながら、対象物の複数の縞画像をカメラ121で取得し、測定制御部150にて適切な処理を施した後、USB経由で制御手段200に送信する。なお、左右からの投光、HDR処理その他の性能改善の目的で、本ステップを複数回繰り返すこともできる。
次にステップS1808において、観察画像を取得する。ここでは照明光出力部130を点灯して、対象物の観察画像を、合成画像用のテクスチャ画像として取得する。すなわち、照明光出力部130又は測定光投光手段(全投影による全白)による均一照明で対象物の表面状態の観察画像(テクスチャ画像)を取得し、制御手段200に転送する。
さらにステップS1809において、高さ画像を生成する。ここでは、高さ画像取得手段228が複数の縞画像を所定の計測アルゴリズムで処理して、立体形状データである高さ画像を生成する。
そしてステップS1810において、合成画像を生成する。ここでは、立体形状データにテクスチャ画像をマッピングすることで、高さ情報を有する三次元の合成画像が生成される。具体的には、制御手段200が受け取った画像データは、計測顕微鏡装置操作プログラム内の計測アルゴリズムが適切に画像処理・解析し、三次元の合成画像を生成する。
以上のようにして得られた各画像を、ステップS1811において表示部400に表示させる。さらにステップS1812において、ユーザが望む画像データを正しく取得できたか否かの判定をユーザに促し、否の場合はステップS1803等に戻り上記手順を繰り返す。また、正しく取得できた場合はステップS1813に進み、各種の計測や解析を実行する。ここでは、計測顕微鏡装置操作プログラムにて前述の合成画像にテクスチャ画像をマッピングした合成画像を表示部400に表示した後、専用の三次元画像計測プログラムにデータを送って、所望の計測、解析を行う。このようにして、画像の取得と計測が行われることとなる。
なお図18のステップS1802とステップS1803とは、順序を入れ替えることもできる。この場合は、まず測定画像撮像条件の設定(ステップS1803)にて対象物の姿勢、位置、ピント合わせを行い、一方観察画像撮像条件の設定(ステップS1802)においては対象物の姿勢、位置、ピントを触らないようにして、照明光出力部130の明るさやテクスチャ種類の選択等のみを行うようにする。
ここで、ステップS1802における観察画像を取得するための観察画像撮像条件を設定する手順の詳細を図19に、ステップS1803における測定画像を撮像するための測定画像撮像条件の設定を行う手順の詳細を図20のフローチャートに、それぞれ示すと共に、これらの図を参照しながら各手順を説明する。
(観察画像撮像条件の設定)
まず観察画像撮像条件を設定する手順(図18のステップS1802)について、図19を参照しながら説明する。最初にステップS1901において、照明を照明光出力部130に切り替え、次にステップS1902において照明光出力部130の明るさを調整する。そしてステップS1903において、明るさが適切か否かの判定をユーザに促し、適切で無い場合はステップS1902に戻り明るさ調整を繰り返す。適切な場合はステップS1904に進み、Zステージを動かして、対象物のピントを合わせる。ピント調整はユーザが手動で行う他、オートフォーカスにより自動で行わせることもできる。そしてステップS1905に進み、ピントが合ったか否かの判定をユーザに促し、合っていない場合はステップS1904に戻りピント調整を繰り返す。またピントが合っている場合はステップS1906に進み、XY・θ・チルトステージを動かして、対象物の位置、姿勢を合わせる。この作業も、ユーザが手作業で行わせる他、ステージ140の移動を自動化している場合は、パターンマッチングやエッジ検出などによって位置合わせを行い、この結果に基づいて電動ステージを所定の位置に移動させることもできる。さらにステップS1907において、対象物を捉えた観察画像の見たい位置が、表示部400の視野内に収まっているか否かの判定をユーザに促し、未だの場合はステップS1906に戻り、ステージ140の位置調整を繰り返す。一方視野内に収まっている場合はステップS1908に進み、拡大倍率を調整する。倍率調整によって、視野サイズを調整する。その後、ステップS1909において、倍率が適切か否かの判定をユーザに促し、否の場合はステップS1908に戻り、倍率調整作業を繰り返す。視野が適切な場合は、ステップS1910に進み、観察画像の種類を選択するか否か、すなわち観察画像に更なる処理を行うか否かの選択をユーザに促す。ここで観察画像(テクスチャ画像)の種類を選択しない場合、すなわち得られた観察画像を使用する場合は、ステップS1911に進み、観察画像の取得工程を終了すると共に、続いて測定画像の撮像条件の設定工程である図18のステップS1803に進む。
一方、観察画像の種類を選択する場合、すなわち得られた観察画像に対してさらに追加の処理を行う場合は、ステップS1912〜ステップS1918に進む。ここでは観察画像に関する追加の処理として、フルフォーカス処理とHDR処理を選択可能としている。この例では、まずステップS1912に進み、フルフォーカス処理を行うか否かを判定する。ここでフルフォーカス処理とは、ステージ140を高さ(Z軸)方向に移動させるなどして焦点位置を変更した画像を複数枚撮像して、ピントの合った部分同士を合成して全体的にピントの合ったフルフォーカス画像を得る処理である。 そのグループ画像の中で焦点のあったポイントだけを抽出して、リアルタイムに全焦点画像へ合成する。フルフォーカス処理を行う場合はステップS1913に進んでフルフォーカスの設定を実行した後ステップS1914に進む。またフルフォーカス処理を行わない場合は、直接ステップS1914に進む。ステップS1914では、HDR処理を行うか否かの判定をユーザに促し、行う場合はステップS1915に進みHDRの設定を実行した後ステップS1916に進み、行わない場合は直接ステップS1916に進む。さらにステップS1916ではテクスチャ画像の認識を行うか否かの判定をユーザに促し、行う場合はステップS1917に進み、テクスチャ画像プレビューを表示させた後ステップS1917に進む。行わない場合は、直接ステップS1917に進む。ステップS1917においては、これらフルフォーカスやHDR等の処理で得られた画像に満足できるか否かの判定をユーザに促し、満足できない場合はステップS1912に戻って、再度観察画像に対する処理を行う。満足できる画像が得られている場合は観察画像の取得工程を終了して、続いて測定画像の撮像条件の設定工程である図18のステップS1803に進む。なお、ステップS1912〜ステップS1918の順序は一例であって、適宜入れ替えることも可能であることはいうまでもない。また、観察画像に対する処理はこれらHDR処理やフルフォーカス処理に限らず、他の既知の処理に適宜変更、又は追加することもできる。
(測定画像撮像条件の設定)
次に測定画像を取得するための測定画像撮像条件を設定する手順(図18のステップS1803)について、図20を参照しながら説明する。最初にステップS2001において、測定光投光手段(例えば左側)に切り替える。次にステップS2002において、測定光投光手段の明るさを仮に調整する。さらにステップS2003において、計測したい箇所に照明が当たっているかの判定をユーザに促し、可の場合はステップS2006にジャンプする。一方、否の場合はステップS2004において、ステージ140の水平面内の回転角(θ)や傾斜角(チルト)を調整して、対象物の位置、姿勢を調整する。そしてステップS2005において、証明が適切に照射されているか否かの確認を再度ユーザに促し、未だの場合は再度ステップS2004に戻って調整を繰り返し、可の場合はステップS2006に進む。
次にステップS2006において、計測箇所の明るさが適切か否かの判定をユーザに促し、適切と判定された場合はステップS2009にジャンプし、否と判定された場合はステップS2007において明るさを調整する。そしてステップS2008において再度、明るさが適切か否かの判断をユーザに促し、否の場合はステップS2007に戻って明るさの調整を繰り返す。一方、明るさが適切と判定された場合は、ステップS2009に進み、計測箇所にピントが合っているか否かをユーザに判定させる。適切と判定された場合はステップS2012にジャンプし、一方否の場合はステップS2010において、ステージ140を高さ方向(Z軸方向)に移動させて、計測個所にピントを合わせる。そしてステップS2011において、ピントが合ったか否かを再度ユーザに確認させ、否の場合はステップS2010に戻ってピント調整を繰り返し、ピントが問題ない場合はステップS2012に進む。
そしてステップS2012においては、得られた測定画像の総合判断をユーザに促す。ここでは、計測箇所の明るさ、姿勢、ピントがそれぞれ適切か否かを判定し、否の場合はステップS2013において、適切でないパラメータを確認し、該当するパラメータに応じたステップ(例えば明るさの調整はステップS2007、ピントの調整はステップS2010等)に戻って調整を継続する。一方、適切と判定された場合はステップS2014に進み、次の照明光である測定光投光手段(例えば右側)に切り替える。そして上記と同様に、ステップS2015において明るさを調整し、次いでステップS2016において明るさが適切か否かの判定をユーザに促し、否の場合はステップS2015に戻って明るさ調整を繰り返す。一方、明るさが適切と判定された場合は、満足できる測定画像が得られていると判断して、図18のステップS1803にある測定画像撮像条件設定工程を終了して、次のステップS1804に進む。なお、位置調整、姿勢調整、ピント調整、明るさ調整の順序は、適宜入れ替ることも可能である。以上のようにして、観察画像と測定画像の撮像条件をそれぞれ設定する。
(対象物の画像撮像手順)
次に、計測顕微鏡装置を使って対象物の高さ画像や三次元の合成画像を取得する手順の一例を示す。なお、以下に示す説明は一例に過ぎず、本発明はデータ取得方法や設定するパラメータの種類、数、測定モードやGUI等を、ここに記載した内容に限定するものではない。
(フルオートモード)
上述の通り、計測顕微鏡装置操作プログラムを用いて撮像を行うモードとして、ユーザの習熟度に応じて、ユーザ自身で設定可能な項目を変更した複数の撮像条件設定モードを用意することができる。図21の計測顕微鏡装置操作プログラムの例では、初心者向けの簡単モード(1Shot−3Dモード)と、上級者向けの応用モード(エキスパートモード)を用意している。これらは測定画像取得モード選択手段の一形態である、簡単モードを選択する「1shot−3D」ボタン424と、応用モードを選択する「エキスパート」ボタン425を切り替えることで、選択できる。簡単モードはさらに、「フルオート」のON/OFFを、フルオート切替手段426で切り替え可能としている。ここでは、簡単モードの「フルオート」モードについて説明する。
まず対象物を計測顕微鏡装置のステージ140上に配置すると、図21に示すように、計測顕微鏡装置操作プログラムの画像表示領域410上に、対象物の観察画像が表示される。ユーザはこの画像を見ながら対象物のピントや位置、角度等を所望の状態に調整する。図21は撮像条件をすべて機器側が自動調整する簡単モードの「フルオート」モードの例であり、画像表示領域410には照明光出力部130によるテクスチャ画像が表示されている。このモードを選択しているときは、ユーザは対象物のピントや倍率、観察視野を決定した後、画面右下の測定ボタンを押下するだけで良い。後は自動でパラメータが最適に調整されてデータの取得が行われる。なお、ピント設定をオートフォーカスとすれば、この作業も自動化させることができる。
(フルオート解除簡単モード)
簡単モードにおいてフルオートモードを解除したセミオートモードでは、図22に示すように、操作領域420に対象物を測定する明るさ条件をユーザが調節可能な「測定用明るさ調整」欄440が表示される。例えば画像表示領域410内の特定の領域のみを明るくしたい、あるいは暗くしたい等、フルオートではうまく対応できないような場合には、フルオートモードを解除したセミオートの簡単モードとすることで、明るさをユーザが手動で調整することができる。図22の例では、画像表示領域410に測定画像SMが表示されており、測定画像SMを見ながら適切な明るさに調整する。調整された明るさは、リアルタイムに画像表示領域410内に反映されるので、ユーザは画面を参照しながら所望の明るさに調整できる。
(応用モード)
さらに、より細かな撮像条件をユーザ自身が設定したい場合は、簡単モードから応用モードに切り替えて各種調整、設定の切り替えを行うことができる。図23に測定画像撮像条件を設定する測定画像撮像条件設定手段の一形態として、測定画像撮像条件設定画面441の一例を示す。この図に示すように「エキスパート」ボタン425を押下することで、簡単モードから応用モードに切り替えできる。この例では、画像表示領域410には左側投光、右側投光、及び両者を合成した測定画像SMが三分割で表示されており、それぞれの測定画像SMを確認しながら、左右の測定光投光手段の明るさ調整を個別に行うことができる。
(測定モード)
操作領域420に設けられた「測定方向」選択欄470では、測定光の方向を選択できる。例えば測定時間短縮のために、左右いずれかのみの測定光投光手段を使う選択も可能である。また測定モードには、スタンダード測定モード、ファイン測定モード、ハレーション除去測定モード、スーパーファイン測定モード等のモードがあり、図23の操作領域420に設けられた「測定モード」選択欄472から選択できる。ここで各測定モードの特徴と、撮像に要する時間について説明すると、スタンダード測定モードは、標準的な測定モードであって、撮像に要する時間は短くて済む。
またハレーション除去測定モードは、投影パターンはスタンダードと同じであるが、露光時間又は測定光の投影光量を変化させることで、ダイナミックレンジを拡大して測定する測定モードである。これによって明暗差の激しい対象物で黒潰れや白とびを抑制できる効果が得られる。例えば、金属体に黒樹脂が埋まっているような対象物で効果的となる。測定に要する時間は、スタンダード測定モードよりも長くなる。
さらにファイン測定モードは、測定光の投影パターンをスタンダード測定モードよりも細かくし、潜り込み光や多重反射、乱反射等の間接光成分を排除する測定モードである。この測定モードは、対象物が白濁樹脂のような半透明体や、ネジのような凹凸金属体の場合に効果が高い。測定に要する時間は、スタンダード測定モードよりも長くなる。
さらにまたスーパーファイン測定モードは、上述したファイン測定モードとハレーション除去測定モードの組み合わせであり、最も精度を向上できるが、その分測定に要する時間は最も長くなる。
(eプレビュー)
また計測顕微鏡装置操作プログラムは、これらの複数の測定モードによる測定結果を推定したプレビュー画像を、測定前に一覧画像で確認するeプレビュー機能も備えている。eプレビュー機能は、図23の操作領域420に設けられた「eプレビュー」ボタン471を押下することで実行され、図24に示すeプレビュー画面473が表示される。ここでは、画像表示領域410を4分割して、各測定モードで得られるであろう測定画像SMにおいて、測定不能箇所や飽和箇所となる部分を推定し、オーバーレイした画像をそれぞれの領域で表示させている。各分割領域には、測定モードを示すキャプションが右下に表示される。これによってユーザは、各測定モードによってどのような測定画像が得られるかを対比して選択することができる。ユーザは操作領域420のeプレビュー設定欄474の下段に設けられた測定方向選択欄475から、測定光投光手段を左側のみ、右側のみ、両側のいずれかから選択でき、「更新」ボタン476を押下すると、この選択に応じて、画像表示領域410に表示された各プレビュー画像が更新される。また操作領域420の上段に設けられたeプレビュー測定モード選択欄477から、所望の測定モードを選択できる。測定モードを選択した状態で「OK」ボタン478を押下すると、選択された測定モードに、「測定モード」選択欄472が選択される。
(三次元合成画像)
上記の通り、測定前の条件設定が完了し、測定を実行すると、その条件に従って測定用の縞画像が複数枚取得され、これを元に対象物の三次元の合成画像が生成される。また、照明光出力部130を使ったテクスチャ画像も同時に取得され、合成画像にマッピングされる。この結果のデータは図25に示すように、計測顕微鏡装置操作プログラムを用いて合成され、表示部400上に表示される。この状態でユーザは、マウス等で3Dデータをドラッグして視点を変えながらデータの取得状況、例えば所望の箇所が綺麗に取得できているか等を確認できる。所望のデータが得られていることを確認した後、ユーザは適宜このデータを保存したり、三次元画像計測プログラムにデータを送って引き続き解析、寸法計測等を行うことができる。データを保存するには、例えば図25の画面において「データ保存」ボタン484を押下する。また三次元画像計測プログラムで解析を行うには、「解析アプリで開く」ボタン485を押下する。これにより、三次元画像計測プログラムが起動されると共に、現在表示中のデータが三次元画像計測プログラムに読み込まれる。なお、ツールバーに設けられた「解析アプリへ」ボタン450を押下すると、三次元画像計測プログラムが起動するが、この場合は三次元画像計測プログラムが起動するだけで、データの自動読み出しは行われない。よって、ユーザは所望のデータを手動で選択して読み込ませる。このように、「解析アプリへ」ボタン450と「解析アプリで開く」ボタン485とでは、三次元画像計測プログラムの起動時に読み込まれるデータの有無が異なる。
なお、測定画像の撮像を行うことなく、予め保存された高さ画像データを、三次元画像計測プログラムで読み込んで、同様に解析、寸法計測を行うこともできることはいうまでもない。本明細書において「撮像手段で撮像した画像を取得する工程」とは、新たに画像を撮像するのみならず、既に撮像された画像を読み込む場合も含む意味で使用する。
さらにまた、この例では測定画像を撮像して高さ画像を生成する計測顕微鏡装置操作プログラムと、高さ画像に対して解析、計測等を行う三次元画像計測プログラムとを個別のプログラムとしているが、これらのプログラムを統合することも可能であることはいうまでもない。
(計測手段214)
以上のようにして得られた対象物の観察画像(テクスチャ画像)データ、三次元の合成画像に対し、計測手段214の一形態である三次元画像計測プログラムを使ってさまざまな解析、寸法計測等を行い、結果を専用のレポート形式で保存、印刷する等して、目的とする最終の出力を得ることができる。以下、計測顕微鏡装置において実行可能な三次元画像計測プログラムの機能の例として、プロファイル計測、平均段差計測、体積面積計測、平面計測、線粗さ計測、表面粗さ計測、比較計測を説明する。これらの計測処理は、計測手段214で行われる。図1の計測顕微鏡装置の例では、CPU210は、表示部400に表示された高さ画像に対して計測を行うための計測手段214としても機能する。なお、以下に説明する計測機能は例示に過ぎず、本発明はテクスチャ画像データ、合成画像等の取得したデータを用いて行える解析、計測機能をこれらに限定するものでなく、他の既知の機能も適宜利用できる。
(計測ツール指定手段)
また図1における操作部は、計測手段が計測を行う位置や計測処理の種別を指定する計測ツール指定手段として機能する。計測ツール指定手段は、表示手段上に表示された高さ画像や観察画像上で、一以上の平面計測ツールを配置する。平面画像上に配置される平面計測ツールは、例えば矩形や円などの計測対象領域を画像上に指定することで、この計測対象領域内に含まれる計測対象要素を抽出する。例えば、計測対象領域内の線分や円などを、エッジ検出などにより抽出する。そして、抽出された計測対象要素をもとに、指定した二点間の距離や直線間の距離、直線に引いた垂線までの長さ、円弧の半径、面積など、平面寸法を計測手段でもって演算する。この計測ツールは、画像上に配置された位置を特定するために、平面上の位置情報(例えばXY座標)を有しており、後述するテンプレートとして保存することで、同じ位置を呼び出して再現することができる。
さらに計測ツール指定手段は、表示手段上に表示されたプロファイルグラフ上で、一以上の高さ計測ツールを配置する。ここでプロファイルグラフは、高さ画像や合成画像の断面形状を示す画像であり(詳細は後述)、高さ計測ツールは、プロファイルグラフ上に配置されて、高さ寸法の計測位置を指定する。具体的には、高さ計測ツールはプロファイルグラフ上で矩形状や円などの計測対象領域として指定され、この計測対象領域内に含まれる計測対象要素を抽出する。そして抽出された線分や円などの計測対象要素に基づいて、指定した計測処理、例えば指定した二点間の高低差や傾斜角度などの計測を、計測手段で行う。この高さ計測ツールは平面計測ツールと異なり、プロファイルグラフのXY平面における位置情報のみならず、プロファイルグラフ上に設定した枠状の位置、すなわち高さ方向の位置情報を備えている。よって、テンプレートとして保存する際は、このような平面方向の位置のみならず、高さ位置情報も含めて保存される。これによって、高さ計測ツールの位置が立体形状において正確に再現され、所望の計測処理を行うことができる。
(三次元画像計測プログラム)
図26〜図36に、三次元画像計測プログラムのGUIの例を示す。この図に示す三次元画像計測プログラムは、各種の計測機能を備えている。画面の中央には画像表示領域410が、右端には操作領域420が、それぞれ設けられる。さらに画面の左端には、各プロファイル線に対して計測を行った結果を表示するための結果表示領域510が設けられる。さらに画面の上段には計測機能ツールバー520が設けられており、計測機能を実行するための各種ボタンが配置されている。この中から所望の計測機能を示すボタンを選択することで、対応する計測機能を実行するための画面に切り替えることができる。図26の例では、計測機能ツールバー520から「プロファイル」ボタン521を押下した例を示している。
(プロファイル計測機能)
図26の三次元画像計測プログラムでは、計測機能ツールバー520で「プロファイル」ボタン521を押下して、プロファイル計測機能が選択されたプロファイル計測画面515を示している。プロファイル計測機能は、合成画像STや高さ画像を、測定の基準となるプロファイル線PLに沿って切断して得られる断面形状線に対して、高さ、幅、角度、円間距離、円弧、断面積等の計測を行うための計測機能である。図26に示す例では、画像表示領域410を3分割し、右上には合成画像ST、観察画像又は高さ画像を表示させるための計測対象画像表示領域512、左上に合成画像(立体形状データ)を表示させるための合成画像表示領域513、さらに下段には断面形状(プロファイル形状)を表示させるためのプロファイルグラフ表示領域514を、それぞれ設けている。
なお本明細書においてプロファイル線PLとは、主に画像の平面図で指定する直線を指し、プロファイルグラフPIとは、主に画像の断面図で示される、プロファイル線PLに沿って切断された断面の輪郭を示す曲線を指す。
(プロファイル線配置手段)
図1の計測顕微鏡装置は、画像上の任意の位置に測定の基準となるプロファイル線PLを設定するためのプロファイル線配置手段を備えている。具体的には、図26の三次元画像計測プログラムの操作領域420には、上段にプロファイル線配置手段の一形態としてプロファイルツール522が、下段に高さ計測ツールボタン530が、それぞれ設けられる。プロファイルツール522では、合成画像表示領域512でプロファイル線PLを設定するためのツールとして、プロファイル線ツール523及び補助ツール524が選択できる。プロファイル線ツール523には、2点指定や垂直線、水平線、直線、垂基線、平行線、円、固定長、特定角、及び削除ボタンが設けられている。これらを用いて、合成画像表示領域512で合成画像ST上の任意の位置にプロファイル線PLを設定できる。プロファイル線PLが設定されると、この線で対象物を切断した断面形状が、プロファイル形状としてグラフ状に、プロファイルグラフ表示領域514に表示される。例えば2点指定を選択してプロファイル線PLを合成画像表示領域512に設定すると、このプロファイル線PLに対応するプロファイル形状がプロファイルグラフ表示領域514に表示される。このとき、合成画像表示領域512においても、プロファイル線PLが表示されているので、合成画像上のプロファイル線と、このプロファイル線で切断した断面がプロファイルグラフとしてプロファイルグラフ表示領域514に表示され、一画面上で、どの部分の断面形状が表示されているのか、その位置関係を容易に把握し易くできる。
(高さ計測ツール)
さらにプロファイルグラフ表示領域514において表示されるプロファイル形状に対して、高さ計測ツールボタン530を用いて各種の計測を行える。例えば、線−線、線−点、点−点、円−円、円−線、円−点の各距離の測定、円弧R、角度、断面積等を演算できる。なおプロファイル形状は、プロファイルグラフ表示領域514に限られず、計測対象画像表示領域512上に重ねて表示させることもできる。このように、高さ計測ツールボタン530を用いて高さ計測ツールをプロファイルグラフ上に配置することで、高さ寸法の計測位置が指定される。具体的には、プロファイルグラフ上でユーザがマウスなどにより矩形状の計測対象領域を指定すると、この計測対象領域内に含まれる線分や円などの計測対象要素が抽出される。そして抽出された計測対象要素を利用して、所望の計測処理を行う。計測処理は、操作領域420に設けられた高さ計測ツールボタン530で選択できる。
計測対象要素の指定は、補助ツール524で行う。補助ツール524は、画像に対してエッジ抽出等の画像処理を行い、選択の基準となる計測対象要素を自動で検出するためのツールである。例えば観察画像の濃淡から輪郭線を検出したり、立体形状データから円筒や球などを検出し、その軸線や中心点を表示することができる。この輪郭線や軸線、中心点は、プロファイルツールを配置する際に再利用することができる。
(平均段差計測機能)
平均段差計測機能を行う平均段差計測画面525の例を図27に示す。平均段差計測機能は、合成画像STや高さ画像の一部又は全部を指定し、その部分の平均高さを求め、他の部分の平均高さとの差(平均段差)を求めるための計測機能である。図27の例では、青色で示された領域1の平均高さと、黄色で示された領域2の平均高さとの高度差を求めて、左欄の結果表示領域510に表示させている。
(体積面積計測機能)
体積面積計測機能を行う体積面積計測画面526の例を図28に示す。体積面積計測機能は、合成画像STに対して、凸凹部分の体積や表面積、断面積等を測定するための計測機能である。ここでは、測定した形状に対して高さ閾値(又は基準面)を設定して、閾値よりも高い部分又は低い部分の体積や面積を演算できる。あるいは、閾値を設定することで特定の部分のみを計測したり、微小な領域を除去することも可能である。
(平面計測機能)
計測機能ツールバー520で「平面計測」ボタン539を押下すると、図29に示すように平面計測機能を実行するための平面計測画面527が表示される。平面計測機能は、二次元のXY平面上の形状を計測するための計測機能である。したがって、本計測機能は合成画像や高さ画像に限らず観察画像においても利用できる。平面計測画面527では、平面計測機能を実行するための平面計測ツールボタン531が操作領域420に表示される。平面計測ツールボタン531には、2点間、垂基線、平行線、垂直間、円直径、円半径、円心間の各距離の測定、角度、個数カウント、XY計測などのボタンが設けられている。平面計測ツールボタン531に配置された各計測ボタンを選択すると、対応する計測処理が可能となる。
(補助ツール524)
図29の例では、予め補助ツール524を用いて、計測処理の基準となる計測対象要素を選択しておく。例えば、画像表示領域410上で領域を指定し、この領域内に含まれる線分や円などの計測対象要素を、エッジ検出などにより抽出する。具体的には、ユーザがマウスなどで矩形状の計測対象領域を指定し、この計測対象領域内に含まれる計測対象要素を自動的に抽出し、さらに円弧や直線に近似する。ここでは、計測対象要素CC1とCC2を抽出して、抽出された円弧を円で近似している。また、これら計測対象要素CC1とCC2の中心点をそれぞれ演算して選択する。
(平面計測ツール)
次に、平面計測ツールに切り替え、平面計測ツールボタン531において「2点間」ボタンを選択し、これらの計測対象要素CC1とCC2の中心点同士の距離を計測する。計測結果は、結果表示領域510に表示される。また、複数の計測処理を行うことも可能であり、各計測処理に対して、画像表示領域410上で計測結果と番号を付記させ、さらに結果表示領域510上にも、対応する番号が表示される。この例では「2 円心間1 6149.9552μm」と表示されている。このように、計測処理毎に番号を振ることで、画像表示領域410上と結果表示領域510との間で対応関係を理解することが容易となる。また、各計測処理に関する表示を色分けして、同じ色同士が同じ計測処理を示すように表示させることもできる。
上述した補助ツール524のように、画像上から計測対象要素を抽出するのにエッジ抽出機能を利用することで、自動的に形状のエッジを検出して測定でき、ユーザが手動で指定する手間を省くことができる。また、ユーザ間の指定位置のばらつきを抑制できる。なお、本機能では高さ画像を利用して、例えば面と面の交線を検出したり、円筒軸を検出したりでき、これらの線を利用した平面計測も可能となっている。このようにして、観察画像だけでは実現できない平面計測も利用できる。
また、このようにして得られた演算結果は、結果表示領域510に表示させる他、画像表示領域上に重ねて表示することができる。例えば、平面計測ツールでの計測結果を、高さ画像又は観察画像上に重ねて表示すると共に、高さ計測ツールでの計測結果を、プロファイルグラフ上に重ねて表示する。このように、高さ画像とプロファイルグラフを対比して表示させつつ、さらに測定結果も重ねて表示させることで、さらに視認性に優れた操作環境が実現できる。
(線粗さ計測機能)
一方、線粗さ計測機能を行う線粗さ計測画面528の例を図30に示す。線粗さ計測機能は、合成画像STや高さ画像上の任意の位置にプロファイル線PLを引き、このプロファイル線PLに沿って切断して得られる断面形状線に対して、各種線粗さパラメータを測定するための計測機能である。線粗さのパラメータは、例えばISO4287:1997(JIS B0601:2001)で規格化されたパラメータが利用できる。
(表面粗さ計測機能)
表面粗さ計測機能を行う表面粗さ計測画面529の例を図31に示す。表面粗さ計測機能は、合成画像STや高さ画像上に指定された領域に対して、表面性状すなわち各種面粗さパラメータを測定するための計測機能である。面粗さパラメータには、例えばISO25178で規格化されたパラメータが利用できる。
(比較計測機能)
さらに比較計測機能を行う比較計測画面540の例を図32に示す。比較計測機能は、2つの合成画像STや高さ画像或いは観察画像を並べて表示し、両方のデータを同一又は異なる線に沿って切断した断面形状線を比較しながら、差分や断面積等の各種計測を行うための計測機能である。ここでは、比較する2つの画像の一方を比較の基準となる対象物の比較基準画像BIとし、もう一方を比較の対象となる比較対象画像RIとする。
また比較計測に際しては、まず比較対象画像RIを、比較基準画像BIの位置にパターンマッチングやエッジ検出などによって自動的に位置合わせすることが望ましい。これによって、対応する部位の対比を容易に行うことができる。このようなパターンマッチング等によって、比較基準画像BI、比較対象画像RIの各データに対してXY方向の位置、回転ずれ(θ)、高さ方向(Z方向)の位置等を自動的に合わせることができ、対応する位置を比較することができる。そして位置合わせを行った後に、各データ上の同じ位置にプロファイル線PLを引くことで、同じ位置を切断した断面形状線同士を比較することができ、微小な形状の違いを明確にできる。
上述のような各種解析、測定の前準備として、観察画像や合成画像、高さ画像に対して各種フィルタ(平均化、メディアン、ガウシアン、輪郭強調等)をかけたり、測定の基準となる面(基準面)を指定したり、合成画像の面ゆがみや大きな面形状を取り除く/補正(面形状補正)したりするための画像処理機能も、三次元画像計測プログラムを用いて実行することができる。これらの前準備は、取得したデータの解析、測定にとって常に必要というわけではないが、より正確で再現性の良い解析、測定を行う場合は、実施しておくことが好ましい。
なお上記では、高さ画像に観察画像を合成した三次元の合成画像に基づいて、各種の計測を行う手順を説明したが、本発明は合成画像に限らず、高さ画像に対しても、高さ画像が有する高さ情報に基づいて、計測や解析を行うことも可能である。また、以上の例では新たな高さ画像や観察画像を取得して、続けて計測を行う例を説明したが、上述の通り予め保存されている高さ画像等を三次元画像計測プログラムで読み込んで、これに対して計測や解析を行うことも可能であることはいうまでもない。
(基準面指定手段)
合成画像や高さ画像のパターンマッチング等による位置合わせを行うには、予め各画像の基準面を設定しておく必要がある。すなわち、比較基準となる合成画像データや高さ画像データと、比較対象となる合成画像データや高さ画像データとで、それぞれ基準面を設定しておき、これらの基準面が共通であることを前提として、パターンマッチングを行う。基準面の指定は、基準面指定手段で行う。
基準面指定手段の一例を、図33及び図34に示す。三次元画像計測プログラムにおいて基準面の設定を指示すると、図33の基準面設定画面532が表示される。この基準面設定画面532では、左上に画像表示領域410が設けられ、合成画像STが表示されている。さらに合成画像ST上にはプロファイル線PLが縦横に十字状に配置されており、縦プロファイル線VPLに沿った断面形状である縦プロファイルグラフPIVが画像表示領域410の右側に設けられた縦プロファイルグラフ表示領域514Vに、横プロファイル線HPLに沿った断面形状である横プロファイルグラフPIHが画像表示領域410の下側に設けられた横プロファイルグラフ表示領域514Hに、それぞれ表示される。プロファイル線PL又は合成画像STを相対的に移動させると、プロファイルグラフ表示領域514V、514Hの表示内容も移動後のプロファイル線PLに応じたプロファイルグラフPIV、PIHにそれぞれ更新される。これによりユーザはプロファイルグラフPIV、PIHを確認しながら、共通化し易い、できるだけ平坦な面を基準面として選択する。
基準面の具体的な指定は、図33の基準面設定画面532の右側の操作領域420に設けられた基準面指定方法欄533から行う。例えば基準面指定方法欄533の領域指定ラジオボタン534を選択し、「領域指定」ボタン535を押下すると、図34の領域設定画面536が表示される。ユーザは領域設定画面536から、合成画像STに対して、基準面としたい所望の領域を指定する。指定方法は、図34の右側の操作領域420に設けられたボタンで選択できる。例えば「矩形」ボタン537を選択すると、対角の位置をマウスで指定して矩形状の領域を指定できる。その他、面積で指定したり、3点円、2点円、楕円、多角形、フリーライン等、任意の方法で領域を指定できる。またレベル検出や領域抽出、閾値設定などの方法によって画像処理で領域を自動的に指定することもできる。このようにして基準面となる領域ROI1が指定されると、操作領域420の下に設けられた「OK」ボタン538を押下する。これにより、指定された領域が基準面として確定される。
(パターンマッチングによる位置合わせ)
次に、自動位置合わせの一形態として、パターンマッチングの詳細な手順を説明する。ここでは、比較基準画像BIとして第一合成画像を、比較対象画像RIとして第二合成画像を、それぞれ取得して、第二合成画像を第一合成画像と一致させるようにパターンマッチングで移動、回転させる手順を説明する。
まず、対象物を撮像した観察画像(テクスチャ画像)と高さ方向(撮像面に垂直な方向)の値を画素とする高さ画像を持った第一合成画像を読み込む。そして第一合成画像の画像を表示部400上に表示させる。
次にパターンマッチングを行う第一領域を、第一合成画像上でユーザに指定させる。ここで指定した第一領域内の観察画像を、位置合わせ用画像として記憶する。
次に第二合成画像を読み込み、位置合わせ用画像と一致する位置と角度を、第二合成画像の観察画像中から検索する。そして第二合成画像が位置合わせ用画像と一致した部分が、第一合成画像の位置合わせ用画像を取り出した部分と重なるように、第二合成画像をアフィン変換する。これにより撮像面に平行な面内での位置合わせが行われる。
さらに高さ方向の位置合わせを行う。ここでは第二領域を第一合成画像上で指定する。なお第二領域を改めて指定せずに、第一領域と同じとしてもよい。また、位置合わせの領域を第一合成画像でなく第二合成画像に対して指定することも可能である。
さらに第一合成画像の第二領域内の高さデータの平均値と、パターンマッチングによる位置合わせ後の第二合成画像の第二領域内の高さデータの平均値の差を求め、第一合成画像と第二合成画像が高さ方向に一致するように、第二合成画像の高さ画像を、求めた差の分だけオフセットさせる。これにより、高さ方向(撮像面に垂直な方向)の位置合わせが行われる。
さらに第二合成画像を読み込んだ後、第二合成画像の観察画像を表示し、第一領域とは異なる第三領域をその画像上で指定し、第三領域内で位置合わせ用画像と一致する画像を検索するようにしてもよい。この場合、第1の測定データと第2の測定データは同じであってもよく、同一データ内にほぼ同一な形状を繰り返して持つ場合にそれらの形状同士を比較する用途等に好適に利用できる。また、形状測定データが観察画像を持たない場合は、観察画像の代わりに高さ画像を用いてパターンマッチングを行ってもよい。さらに観察画像の輝度や特徴点からパターンマッチングを行う第一領域を自動的に決定してもよい。あるいは測定の信頼度を画素毎に表す信頼度画像を別にもつ場合は、信頼度画像からパターンマッチングを行う第一領域を自動的に決定してもよい。さらにまた、信頼度画像と観察画像の両方からパターンマッチングを行う第一領域を自動的に決定してもよい。加えて、高さ方向の位置合わせをするために第三領域の高さ画像の平均値を求める際は、第一合成画像の信頼度画像と第二合成画像の信頼度画像から、双方の測定信頼度が共に高い画素だけを選んで平均値を求めるようにしてもよい。
(エッジ検出を用いる方法)
以上、パターンマッチングを用いた自動位置合わせの手順を説明した。ただ自動位置合わせはパターンマッチングのみに限定されるものでなく、他の方法も適宜利用できる。一例として、エッジ検出を用いた自動位置決め方法を、以下説明する。
ここではまず、対象物を撮像した観察画像(テクスチャ画像)と高さ方向(撮像面に垂直な方向)の値を画素とする高さ画像を持った第一合成画像を読み込む。次に第一合成画像の画像を画面に表示する。そしてユーザが1つ以上のエッジ検出領域をその画像上で指定する。指定されたすべてのエッジ検出領域で観察画像からエッジを検出しそれぞれの位置と角度を記憶する。さらに第二合成画像を読み込み、上で指定したすべてのエッジ検出領域で観察画像からエッジを検出する。そして第二合成画像から検出したエッジと第一合成画像から検出したエッジが最も合致するような位置と角度になるように第二合成画像をアフィン変換する。これにより撮像面に平行な面内での位置合わせが行われる。ここで高さ方向の位置合わせを行う第一領域を画像上で指定する。
次に第一合成画像の第一領域内の高さデータの平均値と、エッジ検出による位置合わせ後の第二合成画像の第一領域内の高さデータの平均値の差を求め、第一合成画像と第二合成画像が高さ方向に一致するように第二合成画像の高さ画像を求めた差の分だけオフセットする。これにより、高さ方向(撮像面に垂直な方向)の位置合わせが行われる。なお、それぞれのエッジ検出領域でエッジの検出度をもとめ、検出度がある値以下のエッジは位置合わせに用いないようにしてもよい。また形状測定データが観察画像を持たない場合、観察画像の代わりに高さ画像を用いてエッジ検出を行ってもよい。さらに観察画像の特徴点からエッジ検出領域を自動的に決定してもよい。また高さ方向の位置合わせをするために第三領域の高さ画像の平均値を求める際、第一合成画像の信頼度画像と第二合成画像の信頼度画像から、双方の測定信頼度が共に高い画素だけを選んで平均値を求めるようにしてもよい。
以上の例では、第一合成画像を比較基準画像BIとし、第二合成画像を比較対象画像RIとして、第二合成画像を第一合成画像と一致させるようにパターンマッチングやエッジ検出で移動、回転させる手順を説明した。ただ、これとは逆に第二合成画像(比較対象画像RI)側を固定して、第一合成画像(比較基準画像BI)側を移動、回転させることも可能であることはいうまでもない。また、合成画像でなく、高さ画像や観察画像を組み合わせ又は単独で用いることも可能である。さらに第一合成画像、第二合成画像のいずれも、新たに撮像する他、予め撮像された合成画像データを三次元画像計測プログラムで読み込む形態とすることもできる。
(比較計測の詳細)
以上のようにして、比較基準画像BIと比較対象画像RIの位置合わせが行われると、比較計測に際して2つの画像上の対応する部位を簡単に計測することが可能となる。ここで、比較計測の詳細を、図32等に基づいて説明する。この図に示す比較計測画面540には、中央に高さ画像や観察画像を表示させるための画像表示領域410を設け、その右側には各種操作を行うための操作領域420を、また左側には測定結果を表示するための結果表示領域510を、それぞれ設けている。また画像表示領域410内には、その上段に、比較基準画像BIを表示させるための比較基準画像表示領域542と、比較対象画像RIを表示させるための比較対象画像表示領域543とを、それぞれ設けている。また下段には、画像表示領域410で設定したプロファイル線PLと対応するプロファイルグラフPIを表示するためのプロファイルグラフ表示領域514を設けている。図32の例では、左側の比較基準画像BIの姿勢と一致させるように、右側の比較対象画像RIを位置合わせ手段215で位置合わせさせた状態を示している。
(倍率連動機能)
画像表示領域410で表示される画像の倍率は、撮像手段100の倍率やデジタルズームの性能の範囲内で自由に変更できる。また図1に示す計測顕微鏡装置は倍率連動手段216を備えており、比較基準画像BIと比較対象画像RIの一方の表示倍率を変更させると、他方の画像でも同様の倍率変更を連動して行わせることができる。これにより、2つの画像を位置合わせした状態で、常に同じ倍率で表示させることが可能となり、比較観察に便利となる。また倍率連動機能は、ON/OFFを切り替えることもでき、OFF状態とすることで各画像の倍率を個別に設定でき、用途に応じて連動と非連動を切り替えることが可能となる。
(表示位置連動機能)
また画像表示領域410で表示される画像の表示位置は、任意の位置や姿勢に変更できる。例えば画像表示領域410でマウスカーソルをドラッグして、XY平面を任意の位置に移動できる。また合成画像STや高さ画像などの三次元画像は、姿勢や視点をマウスドラッグにより変更させることもできる。さらに計測顕微鏡装置は、表示位置連動手段217も備えている。表示位置連動手段217は、比較基準画像BIと比較対象画像RIの表示位置をいずれか一方の画像で変更すると、これに連動させて他方の画像の表示位置も自動で追従可能とする。これにより、一方の画像の表示位置を変更しても、他方の画像でも常に同じ部位を表示させることが可能となり、比較観察に便利となる。さらに表示位置連動機能も、ON/OFFを切り替えることができ、OFF状態とすることで各画像の表示位置を個別に設定することもでき、用途に応じて連動と非連動を容易に切り替え可能としている。
(透過度調整機能)
さらに、画像表示領域410において比較基準画像BIと比較対象画像RIとを重ね合わせて表示させることもできる。この際、一方又は両方の画像を半透明で表示させ、その透過率を変更させる透過度調整機能を備えることで、何れかの画像を強調して表示でき、画像間の差分を視覚的に確認し易くできる。また差分のみならず、位置合わせが不十分な場合の位置ずれも明確となり、手動による位置合わせの微調整にも資することができる。
(線連動切替機能)
また比較計測において、比較基準、比較対象の各データ上に引くプロファイル線PLは、同じ位置に配置する連動状態と、異なる位置に配置可能な非連動状態とを切り替えることができる。連動と非連動又は同期と非同期の切り替えを行う線連動切替手段の一形態として、図32の比較計測画面540では操作領域420の中段に設けられた「プロファイル線連動」欄544を設けている。この「プロファイル線連動」欄544をチェックすることで、プロファイル線PLが連動され、クリアすることで非連動となる。
図35にプロファイル線PLを連動させた比較計測画面540の例、図36にプロファイル線PLを非連動とした比較計測画面540の例を、それぞれ示す。線連動切替機能をONさせてプロファイル線PLを連動させる場合は、予め比較基準画像、比較対象画像の各データを位置合わせ手段215でパターンマッチング等によって位置合わせしておくことにより、対応する部位の断面形状を比較できる。例えば図35のプロファイルグラフ表示領域514において、比較基準画像BI、比較対象画像RIのそれぞれで得られたプロファイルグラフを重ねて表示させることで、その差分を際立たせることができる。一方、線連動切替機能をOFFとして非連動とした場合は、例えばデータ上に同じパターンの形状が繰り返し現れるような場合に、比較基準画像BI、比較対象画像RIの各データ上で異なる位置を個別に指定することで、異なる部分同士の断面比較が可能となる。
なお比較計測においては、比較基準画像、比較対象画像を共に撮像する他、予め一方の画像又は両方の画像を撮像し保存しておき、比較計測時にこれらを三次元画像計測プログラムで読み込んで利用することも可能であることはいうまでもない。
なお本明細書において比較基準画像、比較対象画像とは、高さ画像、観察画像、又はこれらを合成した三次元の合成画像を含む意味で使用する。
(プロファイルグラフ着色機能)
また比較計測においては、上述の通り三次元の高さ画像や合成画像を立体的に表示させることもできる。例えば図37に示すように、画像表示領域410内の左側に比較基準画像BIとなる高さ画像SH、右側に比較対象画像RIとなる高さ画像SHを、一定高さ毎に異なる色に着色させた等高線状に表示させている。比較対象画像RIは、自動位置合わせ機能によって比較基準画像BIと同じ姿勢に位置合わせさせて、並べて表示させている。この状態で線連動切替手段をONさせて、プロファイル線PLを共通の位置に配置している。また画像表示領域410内の下段側に設けられたプロファイルグラフ表示領域514には、比較基準画像BI、比較対象画像RIのプロファイルグラフPIを重ねて表示させている。この際に、比較基準画像BIと比較対象画像RIを区別できるよう、各プロファイルグラフPIは異なる態様で表示させることが好ましい。図37の例では、このようなプロファイルグラフ着色機能によって、比較基準画像BIのプロファイルグラフPIを水色、比較対象画像RIを黄色で、それぞれ表示させている。これにより、プロファイルグラフPIの差分を確認することができる。
(差分ハイライト機能)
また、差分を視覚的に捉えやすくするため、差分の領域に着色させることもできる。このような差分ハイライト機能は、差分の領域を自動的に演算して、他と異なる態様にハイライトして表示させる。また、差分の内、増分と減分とを異なる態様でハイライトさせることもできる。図37の例では、比較基準画像BIを基準として、増分を赤色に、減分を紫色に、それぞれ着色して表示させている。
(プロファイル面表示機能)
さらに画像表示領域410の表示を高さ画像SHから合成画像STに切り替えることも可能である。図37の高さ画像SHを合成画像STに切り替えた様子を図38に示す。合成画像STは、任意の姿勢や角度に回転させて表示させることができる。またこの際、合成画像STをプロファイル線PLで切断した断面の輪郭形状を立体的に表示させることもできる。このようなプロファイル面表示機能によって、図37に示すような、単に高さ画像表示領域513においてプロファイル線PLに沿ったプロファイル形状を重ねて表示させるのでなく、図38に示すように合成画像表示領域512においてプロファイル線PLに沿ったプロファイル形状を断面として直接的に表示することで、より視覚的に断面の様子を表現することができる。図38の例では、図37で設定されたプロファイル線PLに沿ったプロファイル形状が見易い姿勢に、合成画像STを回転させて表示させている。このように三次元の画像データの表示を任意の姿勢や角度に変更できることで、プロファイル形状の確認作業も様々な姿勢から確認、把握し易くできる。
またプロファイル線PLは、合成画像表示領域512上(或いは図37の高さ画像表示領域513上)でプロファイル線PLの両端に表示されるポイントPTの一方をドラッグして延長、縮小したり、任意の位置に変更することも可能である。プロファイル線PLの変更に応じて、下段のプロファイルグラフ表示領域514におけるプロファイルグラフPIの表示内容もリアルタイムに更新される。さらに画像表示領域410の左側に設けられた結果表示領域510における測定結果も、同様に更新される。さらにまた線連動切替手段をONしている場合は、一方の合成画像ST(又は高さ画像)のプロファイル線PLの変更に応じて、他方の合成画像ST等のプロファイル線PLの位置も連動して変更される。なお、以上の例では画像表示領域410の左右に合成画像ST同士、又は高さ画像同士を表示させた例を示しているが、必ずしもこの態様に限られるものでなく、一方を合成画像、他方を高さ画像あるいは観察画像で表示させるなど、画像の種類を任意の組み合わせで表示させるようにすることもできる。
(比較計測の手順)
ここで、比較計測を行う手順の一例として、プロファイルグラフPIに基づく計測を行う手順を、図39のフローチャートに示す。ここでは、予め三次元画像計測プログラムが起動しているものとする。まずステップS3901で比較基準画像BIを指定する。ここでは、比較の基準となる合成画像データのファイルをユーザが指定して開く。次にステップS3902で比較計測の開始を指示する。例えば、図46に示す三次元画像測定プログラムの機能ガイド606において「比較計測」ボタン606を押下する。これにより比較計測の画面に遷移する(ステップS3903)。すなわち、図32等に示す三次元画像計測プログラムが起動される。なお、三次元画像計測プログラムのツールバーに設けられた「観察アプリへ」ボタン451を押下すると、計測顕微鏡装置操作プログラムに戻ることができる。
次にステップS3904で、比較対象画像RIの指定と位置合わせ処理を行う。ここでは、予め撮像され保存された比較対象画像データを読み込む。あるいは、計測顕微鏡装置操作プログラムで撮像した比較対象画像データを、三次元画像計測プログラムに転送してもよい。例えば、上述した計測顕微鏡装置において比較対象画像を測定後、図25に示す「解析アプリで開く」ボタン485を押下すると、現在表示中のデータを三次元画像計測プログラムに送った上で比較対象画像RIとして指定させることができる。
次にステップS3905において、比較基準画像BIと比較対象画像RIを並べて画像表示領域410に表示させる。その上でステップS3906において、比較基準画像BI又は比較対象画像RI上にプロファイル線PLを配置する。さらにステップS3907において、比較基準画像BIと比較対象画像RIのプロファイルグラフPIを、プロファイルグラフ表示領域514に重ねて表示させる。次にステップS3908において、比較基準画像BIと比較対象画像RIのプロファイルグラフPIの位置関係を、必要に応じて微調整する。そしてステップS3909において、プロファイルグラフPI上で任意の計測を実行する。最後にステップS3910において、別の位置にプロファイル線PLを追加するか否かを判定し、追加しない場合は比較計測を終了し、追加する場合はステップS3906に戻って処理を繰り返す。以上のようにして、比較計測が行われる。
また、図39のステップ3904における比較対象画像RIの指定と位置合わせを行う工程の詳細を、図40のフローチャートに示す。まず、比較対象画像RIの選択と位置合わせを行う画面に遷移する(ステップS4001)。そしてこの画面から、比較対象画像データを指定する(ステップS4002)。これにより比較対象画像データが三次元画像計測プログラムに読み込まれる(ステップS4003)。次に比較基準画像BIと比較対象画像RIの観察画像を、画像表示領域410において重ね合わせて表示させる(ステップS4004)。そして位置が合っている場合は位置合わせ処理を終了し、位置が合っていない場合は位置合わせを自動で行うか否かを選択する(ステップS4006)。手動で行う場合はステップS4008に進み、自動で行う場合はステップS4007において、自動位置合わせを実行するための所定の領域処理指定を行い、ステップS4004に戻る。一方、手動で位置合わせを行う場合はステップS4008において、手動位置合わせ用のGUI画面を表示させる(ステップS4008)。そしてXYZ方向、θ方向の移動量をユーザが数値やボタン操作により指定する(ステップS4009)。終了後、同じくステップS4004に戻る。以上のようにして、比較対象画像RIの指定と位置合わせが実行される。
さらに、図40のステップS4007における自動位置合わせのための領域指定処理の詳細を、図41のフローチャートに示す。この例ではパターンマッチングによる自動位置合わせの例を示す。まず、領域指定画面に遷移し、比較基準画像BIを表示させる(ステップS4101)。次にパターンマッチングを行う領域を、比較基準画像BI上に指定し(ステップS4102)、自動位置合わせの実行を指示する(ステップS4103)。これに従い、三次元画像計測プログラムが観察画像を用いてパターンマッチングを行い、XY方向、及び回転角θに対する位置合わせがなされる(ステップS4104)。次に高さ画像の高さ方向の平均値が等しくなるように、高さ方向にオフセット移動させる(ステップS4105)。以上のようにして、自動位置合わせのための領域指定処理が行われる。
(テンプレート)
次に、テンプレート生成機能について説明する。ものづくりに求められる精度や複雑さが増すにつれ、部品等の対象物の様子を単に拡大して観察したり、画像を保存したり、画像上で様々な二次元寸法計測をしたりするだけでは不足する場面が近年増えてきつつある。簡単な観察や二次元寸法計測だけであれば、従来はユーザが目で覗く実体顕微鏡等が良く使われていたが、近年は目の代わりにカメラで対象物の画像を捉え、表示部400に表示して観察、画像保存、寸法計測を効率よく行える、いわゆるデジタルマイクロスコープが良く使われるようになってきている。
一方、二次元寸法計測だけでは不足するような場面では、接触式や非接触式の様々な三次元計測装置が提案され、実用化され、実際に使用されているが、顕微鏡やデジタルマイクロスコープと比較して、その操作方法は相対的に難しく、使用者にある程度の熟練を要求するものが少なくない。三次元計測にあまり馴染みのないユーザにとっては、対象物の合成画像を取得して、目的とする解析や寸法計測を行い、最終出力としてのレポート作成をするところまでをいかに簡単に、いかに正確に実行できるかは重要である。特に同じ種類の対象物を複数計測する場合は、正確に同じ計測を繰り返せるかどうかが、さらに重要となる。
このような背景に鑑み、一度実行したデータ取得から解析・寸法計測、レポート作成までの流れを「テンプレートデータ」として記録し、自動的に再現するテンプレート生成機能を提供する。これにより、同じ種類の対象物を複数測定する場合の手間を大きく削減しながら、人手による誤差を極力排除して、正確な解析を簡単に、繰り返し行える。このようなテンプレート生成機能を備える計測顕微鏡装置を、図1のブロック図に基づいて説明する。
(テンプレート生成手段218)
図1に示す制御手段200は、上述の通り一時的な保存領域である作業用メモリ230と、CPU210と、記憶装置240を備えている。作業用メモリ230は、高さ画像に対して、撮像手段100による測定画像の撮像時に設定された測定画像撮像条件を一時的に保持する一時保存領域として機能する。このような作業用メモリ230には、RAM等が好適に利用できる。またCPU210は、作業用メモリ230に保持された測定画像撮像条件を、テンプレートとして保存するためのテンプレート生成手段218として機能する。さらに記憶装置240は、テンプレート生成手段218で生成されたテンプレートを保存するテンプレート記憶手段として機能する。
テンプレート生成手段は、計測ツール指定手段で指定された平面計測ツール及び高さ計測ツール、位置合わせ画像登録手段で登録された位置合わせ用画像、及び相対位置記憶手段に記憶された相対位置情報を、テンプレートとして保存する。
テンプレート生成手段218で生成されたテンプレートをテンプレート記憶手段に保存する操作は、例えばユーザが所望のタイミングでテンプレートを保存する指示を入力して行われる。例えば計測顕微鏡装置操作プログラムや三次元画像計測プログラムの画面から「テンプレートとして保存」ボタンを押下するなどしてテンプレート保存命令を実行すると、テンプレートを保存するダイヤログを表示させて、テンプレートに所望の名前を付けて保存させる。あるいは、所定のタイミングで制御手段200が自動的にテンプレートを一時的に、或いは恒久的に保存することもできる。例えば一定の時間毎に、それまでの作業をテンプレートとして仮に登録したり、あるいは保存のタイミングにおける日時などをテンプレートファイル名として、テンプレート記憶手段である記憶装置240にデータ保存することもできる。
テンプレート生成手段218がテンプレートを生成するには、例えば測定画像を撮像した際の測定画像撮像条件を、一時保存領域である作業用メモリ230に保持しておく。そして、テンプレート保存命令が発せられると、テンプレート生成手段218はその時点で作業用メモリに保持されている測定画像撮像条件を読み出して、テンプレートを生成して記憶装置240に保存する。例えばユーザが、現在表示部400に表示されている対象物の高さ画像SHに対して、テンプレート保存を望み、「テンプレートとして保存」ボタンを押下すると、この高さ画像SHのもととなった測定画像を撮像した際の測定画像撮像条件がテンプレートとして生成されて保存される。そしてユーザは、後日似たような対象物に対して、同じ測定画像撮像条件に基づく高さ画像の取得を望む場合、後述するテンプレート呼出手段219を用いて、保存済みのテンプレートを選択する。これにより、選択されたテンプレートに保存されていた測定画像撮像条件に、計測顕微鏡装置は自動的に設定され、ユーザは同じ条件で測定画像を取得できる。
さらに、テンプレート保存時には、位置合わせ用画像を基準として、平面計測ツールと高さ計測ツールの相対位置が保存される。すなわち、位置合わせ用画像に対する、平面計測ツールの平面方向の相対位置情報と、同じく位置合わせ用画像に対する、高さ計測ツールの平面方向及び高さ方向の相対位置情報とが、相対位置記憶手段に記憶される。これによって、位置合わせ用画像の位置を手掛かりとして、計測処理を行った計測対象領域又は計測対象領域内で抽出された計測対象要素の相対的な位置情報を、新たに入力された画像に対しても再現することができる。なお、ここでは位置合わせ用画像を基準として、平面計測ツール及び高さ計測ツールの相対位置を再現する方法を説明したが、平面計測ツール及び高さ計測ツールの位置を特定する方法は、この方法に限られるものでない。例えば、高さ計測ツールで指定した基準によって検出された要素の位置自体を基準として、他の高さ計測ツールや平面計測ツールの位置を再現することもできる。
(テンプレート呼出手段219)
さらにテンプレート呼出手段219を備えることもできる。テンプレート呼出手段219は、テンプレート記憶手段に保存された一以上のテンプレート中から、所望のテンプレートを選択させるようユーザに促すための手段である。またテンプレート呼出手段は、新たに取得された高さ画像に対して、選択されたテンプレートに保存された位置合わせ用画像による平面方向の位置合わせを行うことにより、平面計測ツール及び高さ計測ツールの平面方向の配置位置を決定し、又は位置合わせ用画像による高さ方向の位置合わせを行うことにより、高さ計測ツールの高さ方向の配置位置を決定する。テンプレート呼出手段219でテンプレートを選択すると、この選択されたテンプレートに含まれる測定画像撮像条件に、測定光投光手段を設定することができる。このような構成により、高さ画像を取得した際、高さ画像や測定画像そのものよりも、測定画像撮像条件をテンプレートとして保存し、次回の取得時に呼び出して利用できるようになり、同じ測定画像撮像条件を設定する作業が極めて容易となる。
(測定画像撮像条件)
テンプレート生成手段218は、測定画像撮像条件をテンプレートとして保持する。測定画像撮像条件には、例えば対象物を測定光投光手段で撮像した際の、第一測定光投光手段又は第二測定光投光手段のいずれか又は両方の使用の有無、測定画像の明るさ、対象物の姿勢(例えばステージ140のXYZ座標や回転角、傾斜角)等が挙げられる。これらのすべて或いは一部を、テンプレート生成手段218でテンプレートとして登録しておくことにより、後日別の対象物の測定時にこれを呼び出して再利用でき、面倒な測定画像撮像条件を一々設定する手間を省ける。特に、測定画像撮像条件を構成する具体的な測定画像撮像パラメータを一々記憶、或いはメモしておく必要も無ければ、これらを参照しながら個別に再度設定する必要も無く、また設定ミスも回避して、以前の測定画像を撮像したときの条件を正確に再現できるため、省力化と測定ミス防止による信頼性の向上に大きく資することができる。特に、観察画像の撮像や従来の大型の高さ画像では、照明光の方向がある程度決まっているか、あるいは全方向から照明するような構成であることから、照明光の撮像条件が判明していなくとも、同様の画像を撮像することはそれ程困難でない。これに対して、三角測距に基づいて取得する高さ画像においては、測定光の条件によって得られる高さ画像の印象が大きく異なる。このため、得られた高さ画像のみを頼りに、同じような見え方の高さ画像を後日撮像しようとして、測定画像撮像条件を設定することは極めて困難となる。そこで、特に測定光投光手段の方向や角度に関する条件、例えば第一測定光投光手段又は第二測定光投光手段の別(すなわち測定光の投光される方向)や対象物の姿勢などを保存しておくことは極めて重要となる。その一方で、撮像時にはユーザが所望の画像を得るために様々に条件を変化させながら試行錯誤で最適な撮像条件を探していくため、撮像条件を変更する度に一々撮像条件を記録するようメモを取る必要が生じる上、記録すべき項目も測定光の角度や光量、ステージ140のXYZ座標や回転角、傾斜角等多岐に渡るため、作業が極めて煩雑となる。また、メモを取る際に誤記を生じたり、あるいはメモを後日の計測のために保存、管理する作業も手間となる。このような煩雑さを解消するため、ユーザが指定したタイミングで、その時点で得られている測定画像の撮像条件を自動的に書き出して、パラメータとして保存することで、このような作業を極めて簡素化できる。
(観察画像撮像条件)
さらにテンプレート生成手段218は、測定画像撮像条件に限らず、観察画像の撮像条件もテンプレートに含めることができる。すなわち、テンプレートとして保存された高さ画像に関する測定画像撮像条件と同一の対象物に対し、撮像手段100で観察画像を撮像した際の観察画像撮像条件を、同一のテンプレートに含めてもよい。このようにすることで、測定画像撮像条件のみならず、同一の対象物の観察画像に対しても観察画像撮像条件を記憶しておくことができ、これら観察画像と高さ画像を併用した計測作業の更なる省力化が図られる。
このような観察画像撮像条件としては、例えば対象物を観察用照明光源で撮像した際の、照明光の光量、ピントの位置、照明光の種別等が挙げられる。このようにすることで、観察画像の撮像条件も容易に一致させた測定が繰り返し行えるようになる。また、高さ画像の表面に観察画像をテクスチャ画像として貼り付けた三次元の合成画像も、テンプレートで保存された撮像条件に従って正確に再現できるようになる。
(計測条件)
さらに加えて、テンプレート生成手段218はテンプレートに保存される情報を撮像条件に限らず、取得された高さ画像や観察画像、或いはこれらの合成画像に対して行った各種の計測に関する計測条件も含めることができる。これによって、高さ画像の取得のみならず、該高さ画像に対して行った計測処理も記憶しておくことができ、計測作業の更なる省力化が図られる。特に、高さ画像に対して自動で三次元の位置合わせを行った上で、計測を再現できるようにすることで、複雑で面倒な位置合わせや調整作業を省き、測定作業を極めて容易に行える利点が得られる。
この場合も上記と同様、表示部400に表示される対象物の高さ画像に対して、計測手段214で計測処理を行う際に、各計測処理に関する計測条件を一時的に作業用メモリに保持すると共に、テンプレートの保存命令を受けてテンプレート生成手段218が、作業用メモリに保持された計測条件を、テンプレートとして保存する。また撮像条件と計測条件を同一のテンプレートに保存することで、対象物の撮像から測定までの一連の作業を自動化でき、大幅な省力化が期待できる。例えば表示部400に表示される高さ画像や合成画像STに対して、計測手段214で様々な計測を行った後、テンプレートとして保存することで、この時点までに行った作業、すなわち高さ画像や観察画像の取得、各画像に対して行う計測の項目や、この計測を行うための位置や領域の指定等の条件を、テンプレートとして保存できる。これにより、全く同一の条件で画像の撮像条件から計測条件の設定までを自動化させることができる。
テンプレートに保存される計測条件としては、計測手段214で行うことのできる各種の計測処理における条件である。例えば計測手段214で実行可能な計測処理としては、指定された線に沿って切断して得られる断面形状線に対して、高さ、幅、角度、円間距離、円弧、断面積のいずれかを計測するプロファイル計測、指定された領域の平均高さと、他の領域の平均高さとの差を計測する平均段差計測、指定された領域の体積又は面積を計測する体積面積計測、指定された位置同士の距離、角度、円直径、円半径、円心間距離の測定、個数カウントを計測する平面計測、指定された線に沿って切断して得られる断面形状線に対して、線粗さのパラメータを測定する線粗さ計測、指定された領域に対して、表面粗さのパラメータを測定する表面粗さ計測、2以上の画像に対してそれぞれ指定された線に沿って切断した断面形状線を比較して差分又は断面積の計測を行う比較計測等が挙げられる。これらの測定を行うに際して指定される位置や条件を、計測条件としてテンプレートに保存できる。また、上記各種測定のための前準備として実施される、各種画像処理(フィルタ)や基準面設定の情報も、合わせてテンプレートに保存できる。このようにして、高さ情報を有する高さ画像の計測作業を自動化でき、計測作業の省力化に一層寄与できる。例えば対象物上で指定した2つの所定の位置間の高度差又は傾斜角度、指定した所定の領域の面積又は体積の演算といった処理を、自動的に行えるようになる。
(テンプレート画像)
さらに、撮像条件のみならず、この撮像条件で得られた測定画像やこれに基づいて生成された高さ画像、観察画像、或いは合成画像をテンプレート画像として関連付けることもできる。そして、テンプレート呼出手段219でテンプレートを選択する際、各テンプレートと関連付けられたテンプレート画像をサムネイル表示させることで、画像を手掛かりにして所望のテンプレートを選択し易くできる。特に多数のテンプレートを保存した場合は、複数のテンプレート中から視覚的に所望のテンプレートを把握し易くできる。
テンプレート生成手段218で生成されたテンプレートをテンプレート記憶手段に保存する際は、このテンプレートの元となった、テンプレートで規定された測定画像撮像条件で撮像された測定画像又は高さ画像、或いは観察画像撮像条件で撮像された観察画像をテンプレート画像として関連付ける。さらにテンプレート呼出手段219は、複数のテンプレートについて、各テンプレートと関連付けられたテンプレート画像を一覧表示可能に構成することが望ましい。これにより、テンプレートの選択時において、元となる高さ画像等を表示させたことで、この高さ画像を手掛かりとしてテンプレートを選択できるようになり、特に多数のテンプレートを登録している場合において、所望のテンプレートの選択作業を容易に行えるようにできる。このようにしてテンプレートに撮像や計測に関するパラメータを記憶しておくことで、同一条件での高さ画像に関する測定画像撮像条件を容易に、かつ正確に再現できる。
(レポート作成機能)
さらにレポート作成手段222を備えることもできる。レポート作成手段222は、計測手段214で高さ画像に対して行った計測処理の測定結果を、この高さ画像と共に表示したレポートを自動的に作成する。またテンプレート生成手段218は、レポート作成手段222でレポートを作成するレポート作成条件をテンプレートに含めることができる。これにより、所定の計測処理をテンプレートとして実行させると共に、計測処理の結果をレポートとして表示させることで、測定結果の一覧性にも優れた測定環境が提供される。作成されたレポートの一例を、図42に示す。このようなレポートRPは、表示部400に表示させる他、印刷したりデータとして保存したりすることもできる。
(レポートの縮小画像)
さらにレポートの縮小画像を、テンプレート画像に代えてテンプレートを選択するための指標として用いることもできる。例えばテンプレート呼出手段219が、一以上のテンプレートに対して、各テンプレートに含まれるレポートを縮小した縮小画像をサムネイルとして一覧表示させる。そしてユーザに対し、サムネイルを選択させることで、このサムネイルのレポートと対応するテンプレートを選択することが可能となる。これにより、テンプレート呼出手段219から複数のテンプレートのいずれかを選択する際に、レポートの縮小画像を手掛かりとして所望のテンプレートを選択できるので、ユーザに対し各テンプレートの特徴を視覚的に表示させて選択し易くできる。
テンプレート呼出手段219の一例を、図43のイメージ図に示す。この例では、テンプレート呼出画面550に、各テンプレートに登録されたレポートの縮小画像をサムネイルとして表示させている。これによりユーザは、過去に行った計測の様子を視覚的に確認できるので、選択したいテンプレートを探し易くなる。また、サムネイルにレポートの縮小画像に代えて、テンプレート画像を使用しても良いことは上述の通りである。
(位置合わせ画像登録手段223)
さらに三次元画像計測プログラムは、位置合わせ画像登録手段223を備えることもできる。位置合わせ画像登録手段223は、テンプレート生成手段218で生成されたテンプレートをテンプレート記憶手段に保存する際、このテンプレートの元となったテンプレート画像中の所定の領域を、位置合わせ用画像として登録するための部材である。これにより、テンプレートの利用時に新たに入力される画像上で、テンプレートに保存された位置と対応する位置を特定することが可能となる。
テンプレート呼出手段219でテンプレートを選択すると、入力された画像に対してこのテンプレートに登録された位置合わせ用画像を用いてパターンマッチングを行い、このテンプレート生成時と同じ位置に入力画像を位置合わせする。これによって、入力された画像の位置を自動的に調整することができ、テンプレート生成時と同じ位置で測定を行うことが可能となる。
また位置合わせ画像登録手段223は、テンプレート画像が観察画像である場合に位置合わせ用画像を登録する領域と、テンプレート画像が高さ画像である場合に位置合わせ用画像を登録する領域とを、異なる領域に設定することが好ましい。このようにすることで、位置合わせ用画像の登録時に、二次元の観察画像と三次元の高さ画像とで、それぞれの位置合わせに適した領域を指定でき、テンプレートマッチングを行う際の精度を向上させることができる。
例えば、二次元の位置合わせには、平面形状に特徴のある領域、例えば形状の複雑な領域を設定することで、形状に基づくパターンマッチングに有利となる。一方、三次元の位置合わせには、逆に形状の変化の余りない、起伏の少ない平面のみの領域を設定することで、高さの検出精度が向上することから、高さ方向の位置合わせの精度を向上できる。もちろん、観察画像と高さ画像で同じ位置を位置合わせ用画像として登録しても構わない。この場合は、ユーザの操作が簡便になるメリットが得られる。
(テンプレート検索機能)
さらにテンプレート検索手段224を備えることもできる。テンプレート検索手段224は、テンプレート記憶手段に保存された複数のテンプレート中から、所定の条件に合致又は近似したテンプレートを検索するための部材である。これにより、特にテンプレートの登録数が多い場合に、検索条件に従って所望のテンプレートの検索を容易に行うことが可能となる。
またテンプレート検索手段224は、複数のテンプレート中から、所望のテンプレートを選択しやすいように、条件に合致したテンプレートの選択候補を抽出したり、検索結果をソートする機能を付加することもできる。例えば、テンプレート検索手段224が、登録されているテンプレートと各々関連付けられたテンプレート画像中から、入力された画像と類似する画像を検索して、この入力画像と類似するテンプレート画像と関連付けられたテンプレートを候補テンプレートとして抽出する。このようにすることで、高さ画像自体に基づいて、類似する高さ画像に対して登録されたテンプレートを自動的に検索させることが可能となり、特に多数のテンプレート中から所望のテンプレートを抽出する作業を容易に行える利点が得られる。このようなテンプレート選択候補の提示機能やソート機能によって、特に多数のテンプレートを保存している場合には、容易に所望のテンプレートを検索して利用し易くできる。
(レポート作成の手順)
以下には、高さ画像の解析や寸法計測等を行って、これらの解析、測定結果を纏めたレポートの作成、出力を行ったり、このような操作を記録して、再現可能とするための手順を、図44のフローチャートに基づいて説明する。まず、観察画像や高さ画像、合成画像データを取得する。例えば、上述した図18に示す手順で、高さ画像を取得する。あるいは、予め取得しておいた高さ画像を、三次元画像計測プログラムで読み出す。ここでは、新たな高さ画像を撮像する。
まずステップS4401において対象物をステージ140上に置き、さらにステップS4402においてデータ取得に関する各種調整を行う。この例では、ピントを合わせた上で、照明の明るさ、データ取得の条件設定等を行う(操作1)。
その上でステップS4403において測定を開始する。ここでは図3等の計測顕微鏡装置操作プログラムにおいて「測定」ボタン430を押下してデータを取得する。次にステップS4404において、設定された条件に従って対象物のデータを取得する。さらにステップS4405において、取得済みデータを三次元画像計測プログラムで開く。この操作は、ユーザが手動で行ってもよいし、または計測顕微鏡装置による自動操作でもよい。
次にステップS4406において、データに対して必要なフィルタ、基準面設定、面形状補正等の画像処理を施す(操作2)。さらにステップS4407において、目的の解析、寸法測定等を実行する(操作3)。そしてステップS4408において、所望のレイアウトでレポートを作成する(操作4)。次いでステップS4409において、レポートを保存、及び/又は印刷する(操作5)。さらにステップS4410において、レポートを「テンプレート」として保存する(後述する図49)。
さらにステップS4411において、パターンマッチングを行うか否かの判定を、ユーザに促す。行う場合はステップS4412に進み、パターンマッチングで用いる位置合わせ用画像を指定、登録する(操作6)。一方、否の場合はステップS4412を経ることなく、ステップS4413にジャンプする。次にステップS4413において、操作1〜6の条件、手順、画像を、テンプレートデータとして保存する。
次にステップS4414において、次の対象物を置く。そしてステップS4415において、先に保存したテンプレートデータを選択し、測定ボタンを押す。またステップS4416において、操作1を再現し、データを自動取得する。さらにステップS4417において、操作6の登録があるか否かの判定をユーザに促し、否の場合はステップS4419にジャンプする。一方、登録がある場合は、ステップS4418において、操作6データに基づいてパターンマッチングを実行する。さらにステップS4419において、操作2〜操作5を再現し、画像処理、解析・寸法測定、レポート作成、保存/印刷を自動実行する。
ここでは、取得されたデータを三次元画像計測プログラムで開いて必要な解析、寸法計測を実行してレポートを作成して保存、印刷等を行う。ここまでの作業は特にテンプレートデータの記録・作成を意識する必要はない。ユーザが望むデータ取得、解析、測定を通常通り行えばよい。
その後、作成したレポートを改めてテンプレートとして保存する。ここでは「テンプレートとして保存」ボタンを押下すると、計測顕微鏡装置は必要に応じて、観察画像データの特定の部分を位置合わせ用画像としてユーザに指定させた後、合成画像や各種測定結果そのものではなく、どのような条件でデータを取得し、得られたどのデータにどのような画像処理、どのような解析、どのような寸法計測を行ったか、という操作手順を一纏めにしたデータを作成し、これとパターンマッチング画像を合わせて「テンプレートデータ」として保存する。
このようにして保存されたテンプレートデータを選択し、ステージ140上に同じ種類の対象物を置いて測定ボタンを押下すると、計測顕微鏡装置はテンプレートデータ内に記録されている各種条件を順次再現しながらデータ取得、画像処理、解析、寸法計測、レポート作成までを自動的に実行する。
以下、個々の操作について、個別に詳細を説明する。対象物の合成画像、観察画像を取得するために、ユーザ又は計測顕微鏡装置が自動的に行う撮像条件(カメラ露光時間、照明明るさ、レンズ倍率等)、モード設定(高精度/高速の切り替え、両側/左/右投光、データ取得時の投光パターン設定等)、といったパラメータをデータ(以下、「測定パラメータデータ」と呼ぶ。)として記憶する(操作1)。このデータは、取得が終わった対象物の測定データ(合成画像、観察画像を含むデータの纏まり)の中に含めて、一つの測定データとして扱えるようにすることが望ましい。ユーザが特別な意識をせずとも、必要な測定関連情報(測定パラメータデータ)を対象物と紐づけることが可能なためである。
なお、XYZθステージの一部又は全部が電動化されている場合は、各ステージの位置、角度もテンプレートで再現すべき測定パラメータデータの一部として、合わせて記憶しても良い。
(レポートの表紙イメージ)
測定パラメータデータを含む、対象物の測定データを三次元画像計測プログラムで開くと、図45に示すように観察画像SOや高さ画像SHが配置された、レポート準備状態(レポートの表紙)として表示される。
(機能ガイド606)
また、ファイルを開く際、操作に不慣れなユーザでも戸惑いなく、必要な操作ができるようにするため、操作の流れが分かる機能ガイド606を同時に表示しても良い。このような機能ガイド606の一例を、図46に示す。機能ガイド606の画面は、ツールバー520から、「機能ガイド」ボタンを押下するなどして呼び出すことができる。この機能ガイド606には、上段に基準面を設定するための基準面設定欄、中段に3D表示確認欄、下段に計測機能を選択するための計測機能選択欄が設けられている。また必要に応じて、フローチャートを表示させることもできる。なおこの機能ガイド606は、必要に応じて表示する/しないを切り替え可能とすることもできる。
ファイルを開いたら、解析、寸法計測前に必要な各種画像処理を施す。例えば、細かなノイズを除去するための平均化フィルタやメディアンフィルタを実行し、測定の基準となる平面を指定してその平面の傾きがゼロとなるようにデータを補正する基準面設定を実行する。対象物の形状そのものではなく、対象物表面の微細なうねりや粗さ等を測定したい場合は、対象物全体が持つ大きなゆがみや曲率が邪魔になることがあるので、その時は面形状補正(球面、円筒面、二次曲面を平面にする)を実行しても良い。これらの画像処理は、一連の処理が行われた順番まで含めて、すべての手順を画像処理パラメータデータとして記憶する(操作2)。このとき、処理前後の画像は記憶する必要はない。
(レポート作成例)
必要な画像処理を終えた後、対象物の測定データに対して所望の解析、寸法計測を実行する。ここではプロファイル計測を行う比較計測画面540を図47に示す。図47では、画像表示領域410に設定されたプロファイル線PLに沿って角度や半径、幅、高さ等を測定して、プロファイルグラフ表示領域514及び結果表示領域510に表示している。このようにしてユーザが所望する測定が完了した後、レポートを作成する。ここでは、操作領域420の下段に設けられた「レポート作成」ボタン562を押下することで、図48に示すプロファイル計測結果レポート画面564に示すように、測定結果をまとめてレイアウトしたレポートページが自動的に生成される。このとき、これらの解析、寸法計測についても、どの位置に対して、どのように、どのような解析・計測を実行したか、というすべての手順を解析計測パラメータデータとして記憶装置240に記憶する(操作3)。
自動的に生成されたレポートのレイアウトが気に入らない時は、ユーザがそのレイアウトを自由に変更したり、コメントを追加したり、測定関連の情報を表示することができる。測定関連の情報とは、例えば操作1で記憶した測定パラメータデータの一部又は全部を指す。ユーザによって変更されたレポートは、どこに何がどのように配置されたか、という配置情報と、コメント等についてはその内容まで含めて、レポートレイアウトデータとして記憶する(操作4)。
完成したレポートは、専用のファイル形式で保存又は印刷する等して最終の出力を得る。最終的にレポートをファイルに保存する、印刷するといった操作を、出力処理データとして記憶する(操作5)。
このようにして完成したレポートファイルを開いた状態で、このレポートをテンプレートとして保存する。例えば図48の画面からファイルメニューを選択し、テンプレートとして保存を選択すると、図49に示すようにテンプレート実行時にパターンマッチングを実行するか否かを確認するテンプレート保存確認画面566が表示される。ここで位置合わせ用画像を対象物の測定データに対して設定すると、その部分の画像を位置合わせ用画像として記憶する(操作6)。
(位置合わせ用画像)
このようにして位置合わせ用画像をテンプレート保存時に登録しておくことで、このテンプレートを適用する際には、位置合わせ用テンプレートマッチング画像を利用した位置合わせが可能となる。すなわち、別の測定データに対しテンプレートを適用する際、測定データの画像内の位置ずれを、位置合わせ用テンプレートマッチング画像を用いたテンプレートマッチングによって補正する。このようなデータ位置の自動補正によって、テンプレート作成時と全く同じ位置に測定データを合わせることができ、保存されたテンプレートと同じ手順で測定できるようになる。
なお、位置合わせ用テンプレートマッチング画像の登録は任意である。例えば治具等を用いて対象物を常にステージ上の同じ位置に配置するような場合は、位置合わせ作業が不要となるため、位置合わせ用テンプレートマッチング画像の登録やパターンマッチング動作を不要とできる。
(テンプレートデータの保存)
以上のようにして、高さ画像の取得や、取得された高さ画像又は合成画像に対する計測等の操作について、ユーザが行った一連の操作をテンプレートとして保存しておくことで、以降、別の対象物に対しても同様の操作を容易に繰り返すことができ、大幅な省力化が図られる。例えば、前述の操作1〜操作6に関する条件や各種データを一纏めにしたデータを作成して、テンプレートデータとして名前を付けて保存する例を、図49のテンプレート保存確認画面566に基づいて説明する。ここまでの作業は、操作6を除けば、ユーザにテンプレートデータ作成を意識させることなく、通常の測定〜解析・寸法計測の作業をこなすだけで完了するため、特別な作業を覚える必要がない。また、操作1〜操作6のうち、例えば操作2は不要であれば実施する必要がなく、操作5はテンプレートとして記憶する必要がなければ省いても良い。テンプレート適用時にパターンマッチングが不要であれば、操作6も省くことができる。テンプレートデータとしては操作1〜操作6の内で記憶されているものだけを再現すれば良い。操作1〜操作6を記憶させるか否かは、それぞれの操作を行う際にそれを確認するダイアログを出しても良いし、操作時はすべて自動で記憶しておいて、テンプレートとして保存する際に各データを再現するか否かを選択可能にしても良い。
(テンプレートデータの取捨選択)
またテンプレートで保存する条件やパラメータに、高さ画像のみならず光学撮像系を用いて撮像した二次元の観察画像の撮像条件を含めることもできる。これにより、高さ画像と観察画像を撮像し、更にこれらに基づいた合成画像も、同一の条件で撮像することができる。
その一方で、テンプレートで保存する条件やパラメータを絞ることもできる。例えば観察画像の撮像に関して、ピント位置や明るさ(照明光出力部の光量或いは露出時間)を記憶させるのでなく、ピントはオートフォーカスにして明るさも自動調整するよう設定すれば、これらの条件を保存せずとも観察画像を取得できる。
(テンプレートデータの呼出)
次に、テンプレートデータを用いた測定〜解析・寸法計測の再現について説明する。テンプレート作成に用いた対象物と同じ種類の対象物を、ステージ140の上に配置する。XYZθステージが手動の場合は、対象物へのピント合わせ、観察位置や角度合わせをユーザが行う。テンプレート作成時に操作6で位置合わせ用画像を記憶していれば、このときの観察位置や角度姿勢合わせはおおよそでかまわない。XYZθステージの一部又は全部が電動で、操作1でステージの位置、角度も記憶させていた場合は、ここではユーザがステージ位置や角度を調整する必要はない。
対象物を適切にステージ上に配置したら、適用したいテンプレートデータを選択した上で、測定ボタンを押下する。ここで、上述の通り、XYZθステージが電動で位置、角度を記憶させていた場合はステージ位置を自動で再現する。このとき、操作6で位置合わせ用画像を記憶していれば、その画像を元にXYZθステージの位置、角度を操作1の記憶位置、角度からさらに移動し、テンプレート作成時と同じ観察位置、角度になるようにステージを追い込み調整しても構わない。ステージの追い込み調整をした場合、三角測距を利用した測定では避けられない影の向きや乱反射の位置まで、テンプレート作成時と完全に同じ状態を再現できるため、より条件の一致した繰り返し計測が可能となる。もちろん、このようなステージの追い込み調整は行わず、測定データ取得後にパターンマッチングで位置合わせを実行しても構わない。どちらの動作を行うかは、ステージ上に置かれた対象物の位置、姿勢とテンプレート画像との乖離度合い等から自動判別しても良いし、ユーザによって選択できるようにしても良い。
このように、ステージが電動で移動可能な電動ステージの場合は、自動でステージが移動した後、手動ステージの場合は測定ボタンを押したすぐ後に、操作1の撮像条件を再現して自動的に対象物の測定データを取得する。
データ取得が完了したら、そのまま自動的にそのデータを専用の三次元画像計測プログラムに送って開く。なおテンプレートを適用してデータを自動解析する場合は、上述した図46に示す機能ガイド606は動作の邪魔になるため、自動的に表示するチェックボックスをONにしていても表示されないようにするのが望ましい。
テンプレート作成時に操作6で位置合わせ用画像を登録していない場合は、データが開いたら操作2〜5を順次再現しながら、各種画像処理、解析・寸法計測を実行してレポート生成まで自動的に完了させる。
一方、位置合わせ用画像が登録されていた場合は、操作2以降を再現する前に、まず登録されている位置合わせ用画像と、測定された対象物の観察画像を比較し、位置合わせ用画像の位置、角度に合わせて対象物の測定データを移動、回転させて位置を合わせる。このとき、測定データ側ではなく、テンプレートに記憶されている各種解析・寸法計測の位置情報を測定データに合わせて移動、回転させても良い。位置合わせ用画像と対象物の測定データの位置合わせが完了した後で、操作2〜5を順次再現しながら、各種画像処理、解析・寸法計測を実行してレポート生成まで自動的に完了させる。
なお、二次元の位置合わせを行う領域と、三次元の位置合わせを行う領域とを、同じ領域とする他、同じ領域とせずに異なる領域を指定することもできる。例えば二次元は形状に特徴のある部位とし、一方三次元は平滑な面とする。このように二次元の位置合わせをそのまま三次元に適用せず、それぞれの位置補正に適した部位とすることで、より正確な位置合わせが行える。さらに位置合わせ画像は、ユーザが所望の領域を指定する他、自動的に設定することもできる。例えば位置合わせ画像を画像全体としたり、あるいは特徴的な部分を自動的に抽出して位置合わせ画像として設定することもできる。
このように、ユーザは特定の対象物に対して所望の解析・寸法計測を一度行えば、二回目以降は同じ種類の対象物に対して、全く同じデータ取得〜解析・寸法測定を計測顕微鏡装置に自動実行させることができる。この結果、前回の測定位置や計測条件などをユーザがメモするなどして記憶しておく必要が無く、また記憶違いやユーザによるばらつき等の影響を受けず、簡単に安定した三次元計測を繰り返し実行することができる。
特に、高さ画像の取得に必要な測定画像の撮像条件は三角測距特有のものであり、例えば三角測距に基づいて縞投影する際には照明光の方向によって光量が大きく異なる。よって、例えば似たような対象物を、基準となる対象物と比較するような場合は、同じ条件で撮像しないと測定画像がばらついてしまい、正確な測定が困難となる。そこで、上述の通り撮像時の条件を記憶させて、呼び出して再現可能とすることで、同一の条件で異なる対象物の高さ画像の取得を容易に再現でき、測定の精度向上のみならず、撮像作業の省力化も図られる。
上述の通り、比較計測を行うためには対象物の比較基準画像データのみならず、比較対象画像データが必要となる。よって、比較計測をテンプレートによって再現する場合は、テンプレートデータの中に含まれる解析計測パラメータデータ内に、比較対象画像RIの測定データそのものを含める必要がある。この比較対象の測定データとして、例えば同じ種類の対象物の良品サンプルやマスターピースの測定データを選択しておけば、テンプレートによる画像の撮像及び比較計測の自動実行により、対象物と良品サンプルやマスターピースとの比較を次々に行うことができる。この比較は、単なる二次元画像としての見た目だけの比較ではなく、三次元形状同士の比較となるため、二次元画像では判別し難い平面部分の緩やかなうねりや歪み、欠け/異物の判断等、高さ情報を活かしたより正確な比較計測が実現できる。
以上のように、テンプレートを用いた測定〜解析・寸法測定の自動実行は、同じ種類の対象物を複数測定する場合の手間を大きく削減しながら、人手による誤差を極力排除して正確に、簡単に、繰り返し解析することを可能にする。特に、対象物のデータを取得するための撮像条件の正確な再現は、その後のすべての解析・寸法計測に影響するため、非常に重要である。通常の二次元観察、計測用の顕微鏡やデジタルマイクロスコープとは異なり、計測顕微鏡装置のような三次元形状を測定する、特に三角測距を利用する(測定にクセのある)装置の撮像条件は、見た目で直感的に再現しにくいものであり、一度設定した条件をその時測定したデータと紐づけて記憶できれば、三次元形状の安定した計測に大変役立つと言える。テンプレートデータは元の対象物の測定データと紐づいている方が管理しやすい、と言うこともあるので、例えばテンプレートデータを保存した際、PC上で表示されるファイルアイコンに、サムネイルとして対象物の画像や計測画面をはめ込んでも良い。また、テンプレートデータのファイル名の一部に、実行した計測機能名、又はそれが分かる略号を自動的にはめ込んでも良い。このようにしておけば、テンプレートデータがより便利で扱いやすいものになる。
(画像連結モードの詳細)
また計測顕微鏡装置操作プログラムは、異なる位置で撮像した複数枚の画像を連結して、より広い連結領域を示した連結画像を生成する画像連結機能を備える。画像連結手段225は、対象物の所定の領域を連結領域として指定し、この連結領域を複数のサブ領域に分割する。このようにして設定された各サブ領域に対して、連結用のマージンを含めた連結用高さ画像及び連結用観察画像を撮像手段100で各々撮像する。そして得られた複数枚の連結用高さ画像及び連結用観察画像を連結して、連結領域を示す連結画像を生成する。これによって、高精度に撮像した視野の狭い画像を連結して、より広い視野の画像を得ることできる。
画像連結手段225は、連結画像を生成するために連結させる必要のある連結用画像の枚数や各連結用画像のサイズを予め規定する。一例として、連結領域の始点と終点を指定する。例えば矩形状の連結領域に対して、左上の頂点を始点として、対角線上に位置する右下の頂点を終点として、画像表示領域410上で表示された対象物の、所望の領域をマウスなどのポインティングデバイスを用いて指定する。なお対象物は一のみに限られず、画像表示領域中に表示された複数のワークを含めるように連結領域を設定可能であることはいうまでもない。
また、連結領域の指定方法は、この方法に限られるものでなく、他の方法も適宜利用できる。例えば連結領域の始点と、この位置を基準として連結領域の縦横の長さを指定する方法でも良い。長さの指定は数値で入力する他、所定の選択肢から選択させてもよい。さらに他の方法として、連結領域の始点と、この位置を基準として縦横に何枚の連結用画像を配置するかを指定する方法も採用できる。加えて、連結領域を複数のサブ領域に分割した状態で、どのような順序で連結用画像を撮像するかを指定することもできる。あるいは、設定された連結領域に応じて、自動で連結用画像の撮像枚数や撮像順を決定したり、又はこれら枚数や撮像順を固定値としても良い。加えて、連結用画像同士を連結させやすくするために、隣接する連結用画像同士が部分的に重なるように、オーバーラップさせるためのマージンの量も設定することができる。一例として図50に示すように、矩形状の連結領域を9等分に分割して、左上から各行毎に順次撮像し(例えば1行目は左から右方向)、行を終えると次行に移動して、先程の行とは逆方向に(図50の例では右から左方向)に順次撮像していき、このようにして各行の連結用画像SPを撮像していく。また、マージンはユーザが任意に調整する。なお、連結領域の指定は必ずしも事前に行う必要は無い。撮像されている画像を表示しながら、ユーザが所望の位置で連結用画像を取込んでいくことにより、画像を連結していくことも可能である。このように、自由にステージを動かしながら所望の位置の画像を取込んで連結画像を生成する方法は、ダイナミック画像連結と呼ばれる。
また連結の前に、複数枚の連結用画像がそれぞれ同じ姿勢となるように、位置合わせ手段215で移動又は回転させて位置合わせすることが好ましい。位置合わせ手段215は、上述の通りパターンマッチング等により自動で各連結用画像の姿勢を一致させる。また、手動で各画像の姿勢を調整してもよく、或いは自動位置合わせ後に微調整することもできる。このように位置合わせ手段215は、自動による位置合わせ、手動による位置合わせのいずれでも実現できる。なお、画像が同じ姿勢で撮像されている場合、あるいは対象物が治具で固定されている場合など、位置合わせが不要な場合はこれを省略することもできる。
また、各連結用画像の撮像に際して、測定光を所定のパターンで投光した連結用高さ画像を表示部400に表示させた状態で、測定異常領域表示手段212でもって第一測定光投光手段又は第二測定光投光手段の少なくとも何れかで測定結果が異常となる測定異常領域を重ねて表示させることで、測定画像撮像条件の再設定をユーザに促すこともできる。ユーザは、各連結画像について、測定異常領域表示手段212で測定異常領域が生じると表示された連結用高さ画像に対して、測定異常領域を低減させるように測定画像撮像条件設定手段を操作して、測定画像撮像条件を再撮像条件に調整する。なお、測定光を所定のパターンで投光した連結用高さ画像は、高さを測定する前の画像であるため、この時点で表示部400に表示される測定異常領域は、取得された測定画像から推定された領域である。これにより、精度が高いものの撮像可能な視野が狭い画像を複数枚撮像しつつ、これらを連結することで広視野で高精度な画像を得ることが可能となる。特に、テクスチャ画像として使用する観察画像でなく、テクスチャ画像としては使用しない高さ画像の撮像条件を変更して撮像することで、測定異常領域を排除しつつ、連結された連結画像の見栄えが部位毎に大幅に変化する事態を回避でき、高品質な連結画像を得ることが可能となる。
測定異常領域表示手段212は、測定光を所定のパターンで投光した測定画像を画像表示領域410に表示させた状態で、高さを測定することなく測定が不十分な部位を表示可能に構成できる。例えば、リアルタイムで画像処理して、測定画像の高さを測定せずに、影や潜り込み、光量不足、飽和点等、うまく高さを測定できない部分を表示させることができる。ユーザはこれに応じて、所望の箇所が測定できるように撮像条件を変更して測定を行うことができる。また測定異常領域表示手段212は上述の通り、測定異常領域に着色や黒く塗り潰し、斜線付加、点滅などの強調を施すことで、他の領域と視覚的に区別することができる。または、測定異常領域を非表示として、部分的に欠けた画像として表示させることもできる。このような非表示も、測定異常領域表示手段による峻別の処理に含まれる。
あるいは測定異常領域表示手段212でもって、高さ画像の高さを測定した後に確認するようにしてもよい。この場合は、高さの測定を行った上で測定が不十分な部位を、測定異常領域表示手段212で判別して表示できるため、ユーザは測定が不調となった領域を確認した上で、所望の部位が正しく測定できていない場合のみ撮像条件を変更して再度測定を行うことができる。
(画像連結機能)
計測顕微鏡装置操作プログラムを用いて画像連結を行うには、画像連結機能を用いる。画像連結機能を設けた計測顕微鏡装置操作プログラムの例を、図51のイメージ図に示す。この図に示す計測顕微鏡装置操作プログラムのGUI画面では、操作領域420の下段に画像連結機能の一態様として「連結モード」選択欄570を設けている。この「連結モード」選択欄570のチェックボックスをONすると、画像連結モードが選択され、後述する通りステージ140をXY平面で移動させながら、観察画像及び高さ画像を順次撮像、生成し、これらを連結して一の連結画像として結合することができる。またこの「連結モード」選択欄570のチェックボックスをOFFすることで、画像連結モードをOFFに切り替えることが可能となる。
(手動画像連結)
画像連結は、ユーザが手動で各連結用画像を撮像して、これを重ねて連結していく方法と、自動で複数枚の連結用画像を撮像して連結させる方法の2通りがある。さらに、上述の通り、撮像条件設定モードには簡単モードの「フルオート」、「フルオート解除(セミオート)」、応用モードが存在する。ここでは、簡単モードのフルオートモードを選択した場合に、手動で画像連結を行う手順を、図52のフローチャート、及び図51〜図68のGUI画面に基づいて説明する。
(フルオートモードでの手動画像連結手順)
まずステップS5201において、ステージ140のXY位置を初期化する。次にステップS5202において、対象物をステージ140上に配置する。ここでは、連結時にステージ140を最も広い範囲で動かせることが可能な位置に、ステージ140を配置することが好ましい。
さらにステップS5203において、画像表示領域410における表示倍率を決定する。倍率の設定は、図51の上段に設けられた「倍率切り替え」欄で「高倍率カメラ」、「低倍率カメラ」を選択し、さらに「倍率」欄でドロップダウンボックスから所望の倍率を選択する。なお、倍率を数値で指定したり、マウスのスクロールボタンで連続的に変化させることもできる。
そしてステップS5204において、画像連結モードに切り替える。ここでは、図51の画面において画像表示領域410に表示された観察画像の表示倍率を設定した後、「連結モード」選択欄570のチェックボックスをONさせる。すると画像連結モードが開始され、図53の画面に遷移する。この画面の操作領域420の下段には、画像連結の作業状況を示すガイダンスが表示される。ここでは図50と同様に、生成したい連結画像の連結領域を分割した状態と、撮像すべき連結用画像の順序を矢印で示したイメージを表示させると共に、現在撮像しようとする連結用画像を位置(図53の例では1枚目である左上)をハイライトさせて表示している。これによってユーザは、現在撮像しようとしている連結画像の位置と、これから撮像すべき残りの連結画像の数、現在の作業状況などを視覚的に確認できる。この状態でユーザは、ステージ140のXY位置を手動で調整して(ステップS5205)、ピントを合わせる(ステップS5206)。ピントの調整は、図53の上段に設けた「フォーカス」欄572で行う。この例では、マウスの左ダブルクリック動作によって、クリック位置を中心としたオートフォーカスが実行される。なお、自動でオートフォーカスを実行する場合は、この工程を省略できる。またフルオートモードにおいては、画像表示領域410で表示される画像を切り替えることはできず、連結用画像SPである観察画像SOの表示に固定されている。したがって、ステージ位置やピント調整はすべて観察画像を用いて行われる。
このようにしてステージ位置とピントが決定されると、ステップS5207において撮像を実行する。ここでは図53の画面で「測定」ボタン430を押下することで、観察画像の撮像と高さ画像の取得が行われ、さらに高さ画像に観察画像をテクスチャ画像として合成した合成画像STが生成される。ここでは図54に示すように画像表示領域410に、連結用画像SPである合成画像STが表示され、操作領域420に設けられた画像表示切替手段454の「3D」ボタン455が選択されている。この状態で「テクスチャ」ボタン456を押下すると、図55の画面に切り替えられ、画像表示領域410上に観察画像が表示される。同様に画像表示切替手段454で「高さ」ボタン457を押下すると、図56に示すように画像表示領域410の表示が高さ画像SHの等高線状表示に切り替えられる。このように、ユーザは必要に応じて画像表示切替手段454で得られた各画像を確認して、連結用画像が得られていることを確認する(ステップS5208)。得られた画像に問題が無い場合は、操作領域420下段に設けられた「登録」ボタン573を押して、得られた連結用画像を保存する。もし問題がある場合は、ステップS5207に戻って撮像をやり直す。ここでは「再測定」ボタン574を押下すると、画像の保存を破棄して再び画像の撮像の画面に戻る。
ステップS5208で問題が無い場合はステップS5209に進み、連結画像の生成に必要なすべての数の連結用画像が取得されたか否かを判定し、未だの場合はステップS5205に戻り、次の連結用画像を得るためのステージ140のXY位置の調整を行う。ここでは、図57に示す画面に切り替えられ、2枚目の連結用画像を行うための準備として、ステージ140を移動させるようにユーザに促す。操作領域420の中段には、撮像済みの一枚目の連結用画像の観察画像が表示されると共に、現在表示中の観察画像の位置が赤枠で表示される。また画像表示領域410には、既に撮像された一枚目の連結用画像の観察画像が表示されると共に、これに重ねて現在の観察画像が表示される。この際、画像の重なり具合が確認しやすいよう、いずれか一方の画像の透過率を変更することが好ましい。この例では、撮像済みの連結用画像を半透明で表示させている。この状態でユーザはステージ140を手動で操作して、撮像済みの連結用画像と境界部分で連続するように画像表示領域410を参照しながら位置合わせを行う(図58)。そして図59に示すように、撮像済み連結用画像と調整中の画像とが部分的に重複するようにマージンを取りつつ、境界部分で連続するようにステージ140の位置を調整した後、ピントの調整(ステップS5206)を行い、「測定」ボタン430を押下して撮像を実行する(ステップS5207)。
そしてステップS5208において、再度得られた画像を確認し、問題が無い場合はステップS5209に進み、再度必要な連結用画像がすべて撮像されたか否かを判定する。ここでは図60に示す連結プレビュー画面576のように、得られた連結用画像同士を重ね合わせて、仮想的に連結した状態で表示させる。測定を継続する場合は、「測定を続ける」ボタン577を押下すると、次の連結用画像の撮像画面に進む(ステップS5205)。一方、連結用画像の取得を止めて画像の連結を行う場合は「連結実行」ボタン578を押下する(ステップS5210)。
このようにして、順次連結用画像を撮像していく。中間過程の一例として図61に、4枚目の連結用画像を撮像する様子を示す。このようにして、すべての連結用画像の撮像を終えると、ステップS5209からステップS5210に進み、連結用画像の連結作業に進む。ここでは、9枚目の連結用画像を撮像し終えた図62に示す連結プレビュー画面576において、「連結実行」ボタン578を押下する。
次にステップS5211で、自動又は手動で連結用画像の位置調整を行い、連結を実行する。ここでは図63の連結確認画面580から、任意の連結用画像を選択して位置を手動で調整する。ここでは操作領域420に設けられた矢印ボタン581でもって、選択された連結用画像の位置を微調整する。また、画像表示領域410上で、直接連結用画像をマウスでドラッグして位置を調整しても良い。さらに操作領域420の上段に設けられた「自動位置調整」ボタン582を押下すると、画像処理により自動で連結用画像の位置が調整される。図64に、自動位置調整機能を実行した結果を示す。ここまでの位置調整作業はすべて観察画像を用いて行う。言い換えると、XY方向での平面内の調整のみを行っており、高さ方向の位置合わせは行われていない。
このようにして位置調整を終えると、「連結実行」ボタン578を押下して、連結用画像を連結した一の連結画像を生成する。すなわち、XY平面における観察画像の連結と、XY平面及び高さ方向(Z軸方向)における高さ画像又は合成画像の連結が行われる。この結果、図65に示す連結結果確認画面584の例では、得られた連結画像SCが画像表示領域410に表示される。またツールバーに設けられた画像切替アイコン585を選択することで、図65に示す観察画像SOの表示から、図66に示す高さ画像SHの表示に切り替えることができる。
そしてステップS5212で、連結画像SCを必要に応じて保存する。ここでは、図65、図66等の画面から「連結結果を保存」ボタン586を押下し、連結画像SCのデータファイルをハードディスク等の記憶装置240に保存する。そしてステップS5213で、必要に応じて連結画像SCに対して計測を行う。ここでは、「連結結果を保存」ボタン586を押下して連結画像SCを保存すると、図67のように自動的に確認ダイヤログ587が表示されて、「保存された連結結果を解析アプリケーションで開きますか?」等と選択を促される。この画面で「はい」を選択すると、解析アプリケーションとして三次元画像計測プログラムが起動されると共に、保存された連結画像データが自動的に読み込まれ、連結画像SCに対する計測操作が可能となる。また、このような連結画像SCの生成操作に関しても、図68のプロファイル計測結果レポート画面564に示すように、レポートを作成することができる。作成されたレポートRTには、連結画像SCが表示される。また画像連結の一連の動作をテンプレートとして保存することもできる。以上のようにして、撮像可能な視野よりも大きい連結画像を高精度に生成することができる。
(セミオート、応用モードでの画像連結操作)
以上の例では、フルオートモードでの画像連結操作の手順を説明した。ただ、本実施の形態では、フルオートモード以外の、フルオート解除(セミオート)簡単モードや、応用モードでも実行できる。この様子を、図69のフローチャート及び図70〜図74のGUI画面例に基づいて説明する。なお、上述したフルオートの画像連結と同様の作業については、詳細説明を省略する。まずステップS6901において、ステージ140のXY位置を初期化し、次にステップS6902において対象物をステージ140上に配置する。次にステップS6903において、画像表示領域410における表示倍率を決定する。ここまでの手順は上述したフルオードモードの例と同じである。
そしてステップS6904において、画像連結モードに切り替える。ここでもフルオートモード以外と同様に「連結モード」選択欄570のチェックボックスをONさせると画像連結モードが開始される。また、操作領域420の下段に画像連結の作業状況を示すガイダンスが表示される点も同様である。この状態でユーザは、ステージ140のXY位置を手動で調整して(ステップS6905)、ピントを合わせる(ステップS6906)。
さらにステップS6907において、測定画像撮像条件の設定を行うかどうかを判定できる。行わない場合はステップS699にジャンプし、行う場合はステップS698に進み、図70、図72に示す測定画像撮像条件設定画面441において、測定画像撮像条件を設定する。ここでは、セミオートモードの場合は、測定画像撮像条件の一として、測定画像SMの明るさを調整できる。図70に示す測定画像撮像条件設定画面441の例では、「測定用明るさ調整」欄440において、スライドバーを調整して測定画像SMの明るさを調整できる。明るさの調整には、露光時間や測定光投光手段の光量調整等が利用できる。なおセミオートモードにおいては、画像切替手段である「観察画像」ボタン427と「測定画像」ボタン428とを切り替えることで、画像表示領域410で表示される画像を観察画像SOと測定画像SMとに切り替えることができる。ただし、観察画像SOに関しては、図71に示すように観察画像撮像条件を調整することはできない。
一方、応用モードでは、測定画像の明るさに加えて、より多くの測定画像撮像パラメータを調整できる。一例として図72の測定画像撮像条件設定画面441の画面右側の操作領域420に示すように、「測定モード」選択欄472で測定モードを変更したり、各測定モードのeプレビューを行ったり、あるいは「測定方向」選択欄470から測定光の測定方向を変更できる。例えば「eプレビュー」ボタン471を押下すると、eプレビューが実行されて図73のeプレビュー画面473に切り替わり、図24等と同様に、測定モードに応じた測定画像SMが簡易的に表示される。eプレビュー設定欄474に設けられたeプレビュー測定モード選択欄477のラジオボタンでいずれかの測定モードを選択すると、選択された測定モードと対応するeプレビュー画像が、画像表示領域410中で緑色の枠にて表示され、対応関係が示される。さらに各eプレビュー画像の右下には、測定モードの種別がテキストで表示される。
また測定画像SMの明るさに関しても、図72の測定画像撮像条件設定画面441では手動調整と自動調整とを切り替えることができる。加えて、画像表示領域410における測定異常領域の表示の有無を、測定異常領域表示手段212の一形態である「欠測点・飽和点表示」欄588のON/OFFによって切り替えることができる。
さらに応用モードにおいては、測定画像のみならず、観察画像の撮像条件も変更できる。具体的には図74に示すように「測定画像」ボタン428から「観察画像」ボタン427に切り替えると、図53や図71と異なり、操作領域420に各種のボタンが表示される。この例では、「画像改善」ボタン481、テクスチャ画像選択手段460等が表示される。テクスチャ画像選択手段460では、合成画像STの生成時に貼り付けるテクスチャ画像として「テクスチャ画像の選択」欄から通常画像、HDR画像、深度合成画像の選択が可能となっている。上述の通り、「画像改善」ボタン481を押下すると、図14に示したような画像改善パネル480が表示されて、エッジ強調やオフセット、ガンマ補正、ホワイトバランス等を調整できる。このように、画像改善すなわち画質改善のためのパラメータとしては、ガンマ補正やエッジ強調等の各種フィルタが利用できる。
このようにして測定画像撮像条件が設定されると、ステップS699に進み、撮像を実行する。ここでは図70、図72等の測定画像撮像条件設定画面441で「測定」ボタン430を押下することで、観察画像と測定画像の撮像が行われ、高さ画像が生成され、さらに高さ画像に観察画像をテクスチャ画像として合成した合成画像STが生成される。以下、フルオートモードと同様に、画像表示領域410に合成画像STが表示されるので、ユーザは連結用画像が正しく得られていることを確認し(ステップS6910)、得られた画像に問題が無い場合は、連結用画像を保存し、問題がある場合はステップS6907に戻って撮像をやり直す。ステップS6910で問題が無い場合はステップS6911に進み、連結画像の生成に必要なすべての連結用画像が取得されたか否かを判定し、未だの場合はステップS6905に戻って上記の作業を繰り返す。すべての連結用画像が取得された場合は、ステップS6912に進み、連結用画像の連結作業に進む。次にステップS6913で、自動又は手動で連結用画像の位置調整を行い、連結を実行する。そしてステップS6914で連結画像を必要に応じて保存し、ステップS6915で必要に応じて連結画像に対して計測を行う。以上のようにして、測定画像撮像条件を必要に応じて調整しながら、連結画像を生成することが可能となる。
なお、以上説明した手順は、必要に応じて一部の工程を省いたり、入れ替えることも可能である。例えば、ステージ位置の初期化は省略してもよい。また、倍率の決定は、画像連結モードをONした後に、あるいはXY位置の調整後に、さらにはピント合わせの後に行わせてもよい。
(自動画像連結)
以上は、手動で複数枚の連結用画像を撮像して連結させる手順を説明した。一方で本発明は、自動で複数枚の連結用画像を撮像して連結させることもできる。この場合は、ステージ140を手動でなく自動で移動可能として、ステージ140の移動作業も自動化する。以下、自動で画像連結を行う手順を、図75のフローチャート及び図76〜図83のGUI画面例に基づき、説明する。なお、上述した手動画像連結と同様の作業については、詳細説明を省略する。また、自動画像連結も手動画像連結と同様、フルオートモード、セミオートモード、応用モードのいずれにおいても実行可能としているが、ここでは応用モードについて説明する。
まず、ステップS7501において電動式XYステージの位置を初期化する。次にステップS7502において、対象物をステージ上に載置する。さらにステップS7503において表示倍率を決定する。さらにまたステップS7504においてピントを調整する。
そしてステップS7505において、自動画像連結モードを開始する。ここでは、図76に示すように、応用モードの操作領域420の下段において、「連結モード」選択欄570のチェックボックスをONさせると画像連結モードが開始される。そして図77に示す、自動画像連結の設定を行う自動連結設定画面591を開く。自動連結設定画面591では、自動画像連結を行う連結領域を指定する(ステップS7506)。図77の例では、操作領域420の中段に広域画像表示欄592が設けられており、生成したい連結画像を縮小表示できる。広域画像は、「倍率切替」欄593でカメラを低倍率カメラに切り替えて、低倍率で観察画像を撮像して取得している。また「より広い視野を取り込む」ボタン594を押下することで、さらに視野の異なる広域画像を取得できる。
また、「連結領域指定」ボタン595を押下すると、図78の連結領域指定画面596が表示される。連結領域指定画面596では、画像表示領域410に表示された観察画像上から、連結領域を指定させる。この例では、2×2の計4枚の連結用画像を撮像するよう設定された様子を示している。
また、「連結領域指定」ボタン595を押下すると、図78の連結領域指定画面596が表示される。連結領域指定画面596では、画像表示領域410に表示された観察画像上から、連結領域を指定させる。この例では、2×2の計4枚の連結用画像を撮像するよう設定された様子を示している。
さらに自動連結設定画面591の操作領域420の下段には、ステージの動作を設定するためのステージ設定欄597が設けられている。ステージ設定欄597では、左側の「ステージ操作」欄598に設けられたボタンを操作して、ステージをXY方向に移動できる。また右側の「ステージ位置」欄599には、ステージのXY座標が表示されており、この欄に数値を直接入力すれば、指定した座標位置にステージを移動させることができる。また、「速度」欄600から、ステージの移動速度を標準又は高速に切り替えることができる。
図77の自動連結設定画面591からは、連結領域指定方法を選択する。まず、「領域指定方法」欄601において、「ナビゲーション表示から指定する」か、「ステージ位置から指定する」かをラジオボタンで選択する。ここでは、「ステージ位置から指定する」を選択している。これにより、連結領域はステージの位置を基準に設定される。
次に「連結領域の指定方法」欄602において、「始点と終点」、「始点と長さ」、「始点と枚数」のいずれかから選択する。図77に示すように、「連結領域の指定方法」欄602で「始点と終点」を選択すると、連結領域の始点と終点に当たる位置をそれぞれ指定する。ここでは、連結領域の上下左右を、「上端設定」ボタン、「下端設定」ボタン、「左端設定」ボタン、「右端設定」ボタンから、各辺の頂点位置をそれぞれ指定することで規定する。また、現在の設定内容に基づいて、始点と終点の座標位置、必要な連結用画像の枚数がそれぞれ「現在の設定」欄603に表示される。さらに、目標とする連結画像を広域画像表示欄592に表示させた状態で、現在の設定に基づく一枚目の連結用画像の領域が、枠状に表示される。ユーザは、広域画像表示欄592における枠状の大きさを参照しながら、連結領域を設定できる。
また「連結領域の指定方法」欄602において、「始点と長さ」を選択すると、始点と、矩形状の連結領域の縦横の辺の長さを指定する。ここでは図79において、「上端設定」ボタン、「左端設定」ボタンで、連結領域の左上の頂点位置を規定すると共に、縦方向、横方向の長さを数値でそれぞれ指定する。また、このようにして指定された連結領域のイメージと設定内容が、広域画像表示欄592と「現在の設定」欄603に表示され、内容が変更されると変更後の設定でリアルタイムに反映されることは、図77と同様である。
さらに「連結領域の指定方法」欄602において、「始点と枚数」を選択すると、始点と、始点を基準として縦横に何枚の連結用画像を配置するかを指定する。ここでは図80において、「上端設定」ボタン、「左端設定」ボタンで、連結領域の左上の頂点位置を規定すると共に、縦方向、横方向の連結用画像の枚数を数値でそれぞれ指定する。また、このようにして指定された連結領域のイメージと設定内容が、広域画像表示欄592と「現在の設定」欄603に表示され、リアルタイムに反映されることは、図77等と同様である。
以上のようにして連結領域の指定が完了すると、図77等の操作領域420の下段に設けられた「設定完了」ボタン604を押下する(ステップS7507)。次にステップS7508において、測定モードを決定する。測定モードとしては、上述の通りスタンダード測定モード、ファイン測定モード、ハレーション除去測定モード、スーパーファイン測定モード等があり、何れかの測定モードをユーザに選択させる。また、デフォルトの測定モードを予め規定することもでき、この場合はこのステップを省略できる。次いでステップS7509において、測定画像撮像条件を設定するか否かをユーザに選択させ、設定しない場合はステップS7511にジャンプさせ、設定する場合はステップS7510に進み、測定画像撮像条件の設定を行わせる。この詳細は、上述した図69のステップS698と同様の方法が利用できる。そしてステップS7511において連結用画像の撮像をユーザに指示させる。そしてステップS7512において、オートフォーカスでピントを調整した後撮像実行する。次にステップS7513で、すべての連結用画像の撮像が終了したか否かを計測顕微鏡装置操作プログラム側で判定する。終了した場合はステップS7515に進み、未だの場合はステップS7514に進んで、ステージを次の連結用画像を撮像するための撮像位置まで自動で移動させた上で、ステップS7512に戻って、連結用画像の撮像を繰り返す。
そしてすべての連結用画像の撮像が終了した場合は、ステップS7513からステップS7515に進み、連結結果を表示させる。図81に、連結結果確認画面584の例を示す。図81は観察画像SOを表示しており、図65等と同様、ツールバーの画像切替アイコン585を選択することで、図82に示すような高さ画像SHの表示に切り替えることができる。そしてステップS7516において、連結用画像が正しく得られているか否かを確認し、得られていない場合はステップS7517にジャンプして再測定領域を設定する。
(リカバリーモード)
(再測定領域設定手段226)
自動画像連結においては、連結用画像の高さ画像の取得が部分的に失敗することが考えられる。この場合に、失敗した連結用画像の撮像の全体又は一部を、測定画像撮像条件を変更して再度撮像するためのリカバリーモードを備えている。リカバリーモードは、再測定領域設定手段226によって実行される。また計測顕微鏡装置操作プログラムにおいては、再測定領域設定手段226の一形態として、図81に示す測定結果確認画面において再測定領域設定機能を実現させている。この例では、高さ画像が正しく取得できなかった測定異常領域AAを、測定異常領域表示手段212によって観察画像に重ねて赤色で示しており、対象物の一部が欠けている様子が確認できる。この画面において、操作領域420の中段に設けられた「再測定の設定」ボタン605を押下すると、リカバリーモードとなり、図83に示すように連結領域指定画面596が表示される。連結領域指定画面596では、測定異常領域を自動的に検出すると共に、この測定異常領域を含む追加連結用画像を撮像するための再測定領域を自動的に演算して、表示領域に重ねて表示している。この例では再測定領域を枠状で囲むと共に、斜線でハイライトして表示させている。また再測定領域が、一回の撮像でカバーできない場合は、複数回に亘って撮像し、連結させる。図83の例では2枚の追加連結用画像を撮像するよう、枠状に表示させている。さらに再測定領域設定機能は、ユーザに対して、リカバリーモードであることの説明と、必要な作業をテキストで説明するガイダンス機能も備えている。この例では、「前回失敗した領域の指定方法(リカバリーモード)前回測定に失敗した領域を撮り直すことができます。左クリック、又は左ドラッグして黄色の斜線を引いた領域が、再試行領域として指定されます。指定したら次へボタンを押して下さい。」とのメッセージを表示している。ユーザはメッセージに従って、必要に応じて再測定領域の大きさや位置を調整した後、「次へ」ボタンを押下すると、指定された位置にステージが移動されて(ステップS7514)、追加連結用画像が再度撮像される(ステップS7512〜7513)。またこの際、必要に応じて測定画像撮像条件設定画面441を表示させ、測定異常領域を低減させる再撮像条件に調整することができる。以下、同様にしてすべての追加連結用画像が撮像されると、ステップS7515に進んで連結結果が表示され、さらにステップS7516において連結用画像が正しく得られているか否かが確認され、否の場合は再度ステップS7517に戻ってリカバリーモードを実行する。一方、連結用画像が正しく得られている場合は、ステップS7518に進み、連結用画像の連結作業に進む。さらにステップS7519で、自動又は手動で連結用画像の位置調整を行い、連結を実行し、ステップS7520で連結画像を必要に応じて保存し、ステップS7521で必要に応じて連結画像に対して計測を行う。以上のようにして、連結画像を自動で生成することが可能となる。