以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための三次元形状測定装置及び三次元形状測定方法を例示するものであって、本発明は三次元形状測定装置及び三次元形状測定方法を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
本明細書において、「テクスチャ画像」とは、光学画像に代表される、テクスチャ情報を有する観察画像である。一方、「高さ画像」とは、距離画像等とも呼ばれるものであり、高さ情報を含む画像の意味で使用する。例えば、高さ情報を輝度や色度等に変換して二次元画像として表示した画像や、高さ情報をZ座標情報として三次元状に表示した画像が挙げられる。またこのような高さ画像にテクスチャ画像をテクスチャ情報として貼り付けた三次元の合成画像も、高さ画像に含む。また、本明細書において高さ画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。例えば、高さ画像の有する高さ情報を輝度等に変換して二次元画像として表示したものや、高さ情報をZ座標情報として三次元状に表示したものを含む。
さらに本明細書において測定対象物をステージ上に置く「姿勢」とは、測定対象物の回転角度を意味する。なお、測定対象物が円錐のような平面視において点対称の形状の場合は、回転角度に依らず同じ結果が得られるため、姿勢は規定する必要がない。
以下の実施例では、測定対象物の高さ情報を取得するため、所定のパターンの測定光を測定対象物に対して照射して、測定対象物の表面で反射された反射光から得られる信号を用いて、高さ情報を取得している。例えば、所定のパターンの測定光として、構造化照明を用いて、測定対象物に投影し、その反射光から得られる縞投影画像を用いた三角測距を用いた計測方法を用いることができる。ただ、本発明は測定対象物の高さ情報を取得するための原理や構成を、これに限らず、他の方法も適用することができる。
(実施形態1)
三次元形状測定装置は、測定対象画像の三次元の高さ計測を行うことができる。また、三次元計測に加えて、二次元の寸法計測も行うことができる。図1に、本発明の実施形態1に係る三次元形状測定装置のブロック図を示す。この図に示す三次元形状測定装置500は、測定部100、台座部600と、コントローラ200、光源部300及び表示部400を備える。この三次元形状測定装置500は、光源部300で構造化照明を行い、縞投影画像を撮像して高さ情報を有する高さ画像を生成し、これに基づいて測定対象物WKの三次元寸法や形状を計測することができる。このような縞投影を用いた測定は、測定対象物WKやレンズ等の光学系をZ方向に移動させることなく高さ測定ができるため、測定時間を短くできるという利点がある。
測定部100は、投光部110と、受光部120と、測定制御部150と、照明光出力部130を備える。投光部110は、載置部140に載置された測定対象物WKに所定のパターンを有する測定光を照射する。受光部120は、載置面142に対して傾斜姿勢で固定されている。この受光部120は、投光部110により照射され、測定対象物WKにて反射された測定光を受光して、受光量を表す受光信号を出力する。
台座部600は、載置部140と移動制御部144を備える。この台座部600は、ベースプレート602上に載置部140を支持している。移動制御部144は、載置部140を移動させる部材である。移動制御部144は、台座部600側に設ける他、コントローラ側に配置してもよい。
光源部300は、測定部100と接続される。光源部300は、測定光を生成して測定部100に供給する。コントローラ200は、測定部100の撮像を制御する。表示部400は、コントローラ200と接続され、生成された画像を表示させ、また必要な設定を行うHMIとなる。
(載置部140)
図1に示す台座部600は、載置部140と、移動制御部144を備える。載置部140は、測定対象物WKが載置される載置面142を有する。この載置部140は、載置面142を回転させる回転ステージ143と、載置面142を平行移動させる並進ステージ141を含む。
(移動制御部144)
移動制御部144は、測定領域設定部264により設定された測定領域に基づいて、回転ステージ143の回転移動及び並進ステージ141の平行移動を制御する。また移動制御部144は、後述する測定領域設定部264により設定された測定領域に基づいて、載置移動部による載置部140の移動動作を制御する。
コントローラ200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240及び操作部250を含む。コントローラ200には、PC(パーソナルコンピュータ)等が利用できる。またCPU210は、点群データを生成する点群データ生成部260と、点群データ生成部260により生成された点群データに基づいてトップビューマップ画像を生成するトップビューマップ画像生成部261の機能を実現する(詳細は後述)。
(測定部100のブロック図)
図1の三次元形状測定装置500の測定部100の構成を図2のブロック図に示す。測定部100は、例えば顕微鏡であり、投光部110、受光部120、照明光出力部130、測定制御部150、及びこれらを収納する本体ケース101、並びに載置部140を備える。投光部110は、測定光源111、パターン生成部112及び複数のレンズ113、114、115を含む。受光部120は、カメラ121及び複数のレンズ122、123を含む。載置部140上には、測定対象物WKが載置される。本体ケース101は、樹脂や金属製の筐体とする。
(投光部110)
投光部110は、載置部140の斜め上方に配置される。この測定部100は、複数の投光部110を含んでもよい。図2の例においては、測定部100は2つの投光部110を含む。ここでは、第一の方向から測定対象物WKに対して第一測定光ML1を照射可能な第一測定光投光部110A(図2において右側)と、第一の方向とは異なる第二の方向から測定対象物WKに対して第二測定光ML2を照射可能な第二測定光投光部110B(図2において左側)を、それぞれ配置している。第一測定光投光部110A、第二測定光投光部110Bは受光部120の光軸を挟んで対称に配置される。なお投光部を3以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。また以上の例では投光部110を複数用意し、共通の受光部120で受光する構成としているが、逆に共通の投光部に対して、複数の受光部を用意して受光するように構成してもよい。さらにこの例では投光部が投光する照明光の、垂直方向に対する照射角度を固定としているが、これを可変とすることもできる。
(測定光源111)
各第一測定光投光部110A、第二測定光投光部110Bは、測定光源111としてそれぞれ第一測定光源、第二測定光源を備える。これら測定光源111は、例えば白色光を出射するハロゲンランプである。測定光源111は、単色光を発光する光源、例えば白色光を出射する白色LED(発光ダイオード)や有機EL等の他の光源であってもよい。測定光源111から出射された光(以下、「測定光」と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射される。
(パターン生成部112)
パターン生成部112は、測定光を測定対象物WKに対して投光させるよう、測定光源111から出射された光を反射させる。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、載置部140上の測定対象物WKに照射される。
パターン生成部112は、測定光を測定対象物WKに投光させる投光状態と、測定光を測定対象物WKに投光させない非投光状態とを切り替え可能な部材である。このようなパターン生成部112には、例えばDMD(デジタルマイクロミラーデバイス)が好適に利用できる。DMDを用いたパターン生成部112は、投光状態として測定光を光路上に反射させる反射状態と、非投光状態として測定光を遮光させる遮光状態とを切り替え可能に、測定制御部150により制御できる。
DMDは多数のマイクロミラー(微小鏡面)MMを平面上に配列した素子である。各マイクロミラーは、測定制御部150により個別にON状態、OFF状態を切り替えることができるので、多数のマイクロミラーのON状態、OFF状態を組み合わせて、所望の投影パターンを構成できる。これによって、三角測距に必要なパターンを生成して、測定対象物WKの測定が可能となる。このようにDMDは、測定時には測定用の周期的な投影パターンを測定対象物WKに投光する投影パターン光学系として機能する。またDMDは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。
なお以上の例では、パターン生成部112にDMDを用いた例を説明したが、本発明はパターン生成部112をDMDに限定するものでなく、他の部材を用いることもできる。例えば、パターン生成部112として、LCOS(Liquid Crystal on Silicon:反射型液晶素子)を用いてもよい。あるいは反射型の部材に代えて透過型の部材を用いて、測定光の透過量を調整してもよい。この場合は、パターン生成部112を測定光の光路上に配置して、測定光を透過させる投光状態と、測定光を遮光させる遮光状態とを切り替える。このようなパターン生成部112には、例えばLCD(液晶ディスプレイ)が利用できる。あるいは、複数ラインLEDを用いた投影方法、複数光路を用いた投影方法、レーザとガルバノミラー等で構成される光スキャナ方式、ビームスプリッタで分割したビームを重ね合わせることによって発生された干渉縞を用いるAFI(Accordion fringe interferometry)方式、ピエゾステージと高分解能エンコーダ等で構成される実体格子と移動機構を用いた投影方法等でパターン生成部112を構成してもよい。
さらに図2等の例では、測定光投光部を2つ備えた例を説明したが、本発明はこれに限らず、測定光投光部を3以上設けることも可能である。あるいは、測定光投光部を一のみとすることもできる。この場合は、測定光投光部の位置を移動可能とすることで、異なる方向から測定光を測定対象物WKに対して投光できる。
(受光部120)
受光部120は、載置部140の上方に配置される。測定対象物WKにより載置部140の上方に反射された測定光は、受光部120の複数のレンズ122、123により集光、結像された後、カメラ121により受光される。
(カメラ121)
カメラ121は、例えば撮像素子121a及びレンズを含むCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施形態では、撮像素子としてモノクロのCCDを採用し、後述する照明光出力部130をRGBにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。
ただ、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGBにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が測定制御部150に出力される。
このようにして撮像された測定対象物WKの画像は、レンズの特性によって、測定対象物WKに対して極めて正確な相似形を成している。またレンズの倍率を用いてキャリブレーションをすることで、画像上の寸法と実際の測定対象物WK上の寸法を正確に関連付けることができる。
(測定制御部150)
測定制御部150には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、光源部300による制御に基づいて、測定制御部150のA/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次コントローラ200に転送される。
(コントローラ200)
図1に示すように、コントローラ200は、CPU210、ROM220、作業用メモリ230、記憶装置240及び操作部250を含む。この操作部250は、キーボードやポインティングデバイスを含むことができる。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。
ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、三次元形状測定装置を操作するための三次元形状測定プログラムが記憶される。また、記憶装置240は、測定制御部150から与えられる画素データ等の種々のデータを保存するために用いられる。さらに記憶装置は、測定画像を構成する画素毎に、輝度情報、高さ情報、属性情報を記憶する。
(CPU210)
CPU210は、与えられた信号やデータを処理して各種の演算を行い、演算結果を出力する制御回路や制御素子である。本明細書においてCPUとは、演算を行う素子や回路を意味し、その名称によらず、汎用PC向けのCPUやMPU、GPU、TPU等のプロセッサに限定するものでなく、FPGA、ASIC、LSI等のプロセッサやマイコン、あるいはSoC等のチップセットを含む意味で使用する。
CPU210は、測定制御部150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うと共に、画像データに基づく画像を表示部400に表示させる。CPU210のブロック図を図3に示す。このCPUは、点群データ生成部260と、トップビューマップ画像生成部261と、測定領域設定部264、高さ画像取得部228と、点群データ合成部211等の機能を実現する。
(点群データ生成部260)
点群データ生成部260は、受光部120により出力される受光信号に基づいて、測定対象物WKの立体形状を表す三次元位置情報を有する点の集合である点群データを生成する。
(トップビューマップ画像生成部261)
トップビューマップ画像生成部261は、点群データ生成部260により生成された点群データに基づいて、載置部140に載置された測定対象物WKを真上から見下したときの平面図を示すトップビューマップ画像を生成する。このような測定対象物WKを真上から見たトップビューマップ画像を生成することで、測定対象物WKの全体形状を容易に把握し、ひいては測定領域の設定を容易にすることができる。例えばトップビューマップ画像生成部261は、点群データ生成部260により生成された点群データに、受光部120で測定対象物WKを撮像した二次元のテクスチャ画像を、該点群データの三次元位置情報毎に貼り付けてトップビューマップ画像を生成する。あるいは、点群データ生成部260により生成された点群データの各点に、ポリゴンを貼り付けて面状を形成したメッシュ画像を生成してもよい。このメッシュ画像から、トップビューマップ画像を生成する。メッシュ画像は、トップビューマップ画像生成部261により生成してもよいし、あるいはメッシュ画像生成部で生成してもよい。図3に、CPU210でメッシュ画像を生成するメッシュ画像生成部262を実現する例を示す。
トップビューマップ画像生成部261は、受光部120で測定対象物WKの複数の異なる領域をそれぞれ取得したトップビューマップ画像を複数枚、合成した合成トップビューマップ画像を生成することもできる。これにより、複数枚のトップビューマップ画像を合成してより広い視野のトップビューマップ画像を取得でき、ユーザに対し測定領域の指定などの作業を行い易い環境を提供できる。
この場合において、トップビューマップ画像生成部261は、トップビューマップ画像表示領域に表示されたトップビューマップ画像に対して、さらにトップビューマップ画像を追加する位置の指定を受け付けることもできる。この指定を受けて、トップビューマップ画像生成部261は、指定された位置でトップビューマップ画像を生成して、合成トップビューマップ画像を更新してトップビューマップ画像表示領域に表示させることができる。このようにして、得られたトップビューマップ画像から、測定対象物WKの不足している部位のトップビューマップ画像を必要に応じてユーザの指示により追加することが可能となり、測定用途や目的に応じた適切なトップビューマップ画像が得られる。
(測定領域設定部264)
測定領域設定部264は、トップビューマップ画像表示領域に表示されたトップビューマップ画像上で測定領域を設定する。この測定領域設定部264は、後述する図31のGUI画面に示すように、測定領域の形状を選択可能としている。もしくは外形領域に基づき自動的に決定される
高さ画像取得部228は、複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する。また点群データ合成部211は、点群データ生成部260で生成された複数の点群データを合成する。ここで点群は、ポイントクラウド等とも呼ばれ、三次元空間の座標(例えばXYZの直交座標)を有している。このため載置部の異なる位置でそれぞれ生成された測定対象物の点群データを、点群データ生成部211でもって共通の三次元空間の座標上で重ね合わせることで、より詳細で精密な測定対象物の表面形状を表現できる。
(画像検査部216)
画像検査部216は、測定部100で撮像された測定対象物WKの画像に対して、所定の画像検査を実行する。この画像検査部216は、測定対象画像に対して所定の計測を行うための計測部216bを含むことができる。これにより、計測部216bで計測された計測結果に基づいて画像検査を実行できる。例えば、測定対象物WKの所定部位の長さや角度といった計測を行った結果に基づいて、良品や不良などの判定といった検査を行うことが可能となる。計測部216bが行う計測には、テクスチャ画像上で指定したプロファイル線を通り、画面に対して垂直な平面で切断した輪郭線を演算して、プロファイルグラフとして表示部400に表示させたり、プロファイルグラフで示す輪郭線から円や直線などを抽出して、それらの半径や距離を求めることができる。
このようにCPU210は、様々な機能を実現するための異なる手段を兼用している。ただ、一の部材で複数の手段を兼用する構成に限られず、各部や機能を実現する部材を複数、又はそれぞれ別個に設けることも可能であることはいうまでもない。
(表示部400)
表示部400は、測定部100で取得された縞投影画像や、縞投影画像に基づいて高さ画像取得部228で生成した高さ画像、あるいは測定部100で撮像されたテクスチャ画像を表示させるための部材である。表示部400は、例えばLCDパネル又は有機EL(エレクトロルミネッセンス)パネルにより構成される。さらに表示部にタッチパネルを利用することで、操作部と兼用することができる。
また表示部400は、トップビューマップ画像生成部261により生成されたトップビューマップ画像を表示する。このため表示部400は、トップビューマップ画像を表示するトップビューマップ画像表示領域を有している。(詳細は図31等で後述する。)
(載置部140)
図2において、測定対象物WKが載置される載置部140上の平面(以下、「載置面」と呼ぶ。)内で互いに直交する2方向をX方向及びY方向と定義し、それぞれ矢印X、Yで示す。載置部140の載置面142に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
載置部140は、並進ステージ141及び回転ステージ143を含む。並進ステージ141は、X方向移動機構及びY方向移動機構を有する。回転ステージ143は、θ方向回転機構を有する。並進ステージ141、回転ステージ143により、載置部140が構成される。また、載置部140は、載置面142に測定対象物WKを固定する固定部材(クランプ)を含めてもよい。さらに載置部140は、載置面142に平行な軸を中心に回転可能な機構を有するチルトステージを含んでもよい。
ここで図2に示すように、左右の投光部110の中心軸と受光部120の中心軸は、載置部140上の測定対象物WKの配置と投光部110、受光部120の被写界深度が適切となる位置において交差するように、、受光部120、投光部110、載置部140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向に載置部140が回転した際に、測定対象物WKが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。なお、本図において測定部100は紙面におけるX方向を中心に回転した配置を有しており、受光部120の光軸と載置部140の天面法線(Z方向)とは必ずしも一致する必要はない。
(光源部300)
光源部300は、制御基板310及び観察用照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、コントローラ200のCPU210からの指令に基づいて、投光部110、受光部120及び測定制御部150を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部150で投光部110や受光部120を制御したり、又はコントローラ200で投光部110や受光部120を制御することとして、制御基板を省略してもよい。あるいはこの光源部300に、測定部100を駆動するための電源回路を設けることもできる。
(観察用照明光源320)
観察用照明光源320は、例えば赤色光、緑色光及び青色光を出射する3色のLEDを含む。各LEDから出射される光の輝度を制御することにより、観察用照明光源320から任意の色の光を発生することができる。観察用照明光源320から発生される照明光ILは、導光部材(ライトガイド)を通して測定部100の照明光出力部130から出力される。なお観察用照明光源には、LEDの他、半導体レーザ(LD)やハロゲンライト、HIDなど、他の光源を適宜利用することもできる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。
照明光出力部130から出力される照明光ILは、赤色光、緑色光及び青色光を時分割で切り替えて測定対象物WKに照射する。これにより、これらのRGB光でそれぞれ撮像されたテクスチャ画像を合成して、カラーのテクスチャ画像を得て、表示部400に表示させることができる。
図2の照明光出力部130は、円環形状を有し、受光部120を取り囲むように載置部140の上方に配置される。これにより、影が発生しないように照明光出力部130から測定対象物WKにリング状に照明光が照射される。
また照明光出力部130は、このようなリング照明に加えて、透過照明や同軸落射照明を加えることもできる。図2の例では、透過照明部を載置部140に設けている。透過照明部は、載置部140の下方から測定対象物WKを照明する。このため載置部140は、透過照明光源と、反射板と、照明用レンズ系を設けている。
なお、リング照明や透過照明は、適宜省略することも可能である。これらを省略する場合は、三次元測定用の照明すなわち投光部を用いて、二次元画像の撮像を行うこともできる。
図1の例では観察用照明光源320を本体ケース101に含めず、測定部100に対して外付けとして、光源部300に観察用照明光源320を配置している。このようにすることで、観察用照明光源320から供給される照明光の品質を向上し易くできる。例えば観察用照明光源320を構成するRGBの各LEDでは配光特性がそれぞれ異なることから、モノクロの撮像素子121aでRGBのテクスチャ画像をそれぞれ撮像した際、そのままでは視野内に照明色むらが発生する。そこで、それぞれのLEDの配光特性に合わせた専用光学系を個別に用意し、組み合わせることで配光特性の違いを吸収し、色むらのない均一な白色照明を作り出した上で測定部100に導入することができる。
また観察用照明光源320の発熱が、測定部100の光学系に影響を与える事態を回避できる。すなわち、光学系の部材の近傍に熱源があると、熱膨張によって寸法が狂い、測定精度の低下が生じることがあるが、発熱源である観察用照明光源を本体ケース101から排除したことで、このような観察用照明光源の発熱に起因する問題を回避できる。また、この結果として発熱量の大きい高出力の光源を観察用照明光源に利用できる利点も得られる。
各投光部110A,110Bの測定光源111は、例えば青色LED(発光ダイオード)である。測定光源111は、ハロゲンランプ等の他の光源であってもよい。測定光源111から出射された光(以下、測定光と呼ぶ)は、レンズ113により適切に集光された後、パターン生成部112に入射する。
パターン生成部112は、例えばDMD(デジタルマイクロミラーデバイス)である。パターン生成部112は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)又はマスクであってもよい。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112から出射された測定光は、レンズ114により測定対象物WKの寸法よりも大きい径を有する光に変換された後、載置部140上の測定対象物WKに照射される。
投光部110Aの測定光源111、レンズ113及びパターン生成部112は、受光部120の光軸と略平行に並ぶように配置される。同様に、投光部110Bの測定光源111、レンズ113及びパターン生成部112は、受光部120の光軸と略平行に並ぶように配置される。一方、各投光部110A,110Bのレンズ114は、測定光源111、レンズ113及びパターン生成部112に対してオフセットするように配置される。これにより、投光部110A,110Bの光軸が受光部120の光軸に対して傾斜し、受光部120の両側方からそれぞれ測定対象物WKに向けて測定光が出射される。
本実施形態においては、測定光の照射範囲を広くするため、一定の画角を有するように投光部110A,110Bが構成される。投光部110A,110Bの画角は、例えば、パターン生成部112の寸法及びレンズ114の焦点距離により定まる。測定光の照射範囲を広くする必要がない場合には、画角が略0度となるテレセントリック光学系が投光部110A,110Bの各々に用いられてもよい。
測定対象物WKにより載置部140の上方に反射された測定光は、受光部120のレンズ122により集光及び結像され、カメラ121の撮像素子121aにより受光される。
本実施形態においては、受光部120の撮像視野を広くするため、一定の画角を有するように受光部120が構成される。本実施形態においては、受光部120の撮像視野とは、受光部120により撮像が可能な空間上の領域を意味する。受光部120の画角は、例えば、撮像素子121aの寸法及びレンズ122の焦点距離により定まる。広い視野を必要としない場合には、テレセントリック光学系が受光部120に用いられてもよい。ここで、測定部100に設けられる2つの受光部120のレンズ122の倍率は互いに異なる。それにより、2つの受光部120を選択的に用いることにより、測定対象物WKを互いに異なる2種類の倍率で撮像することができる。2つの受光部120は、2つの受光部120の光軸が互いに平行となるように配置されることが好ましい。
カメラ121は、例えばCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、受光信号と呼ぶ)が制御基板150に出力される。
モノクロCCDには、カラーCCDとは異なり、赤色波長の光を受光する画素、緑色波長の光を受光する画素及び青色波長の光を受光する画素を設ける必要がない。ここで、測定光に青色波長等の特定波長を採用した場合、カラーCCDは特定波長の光を受光する画素しか計測に利用できないが、モノクロCCDにはそのような制約がない。そのため、モノクロCCDの計測の分解能はカラーCCDの分解能よりも高くなる。また、モノクロCCDには、カラーCCDとは異なり、各画素にカラーフィルタを設ける必要がない。そのため、モノクロCCDの感度はカラーCCDの感度よりも高くなる。したがって、高い精度で後述する点群データを得ることができる。これらの理由により、本実施形態におけるカメラ121にはモノクロCCDが設けられる。
本実施形態においては、照明光出力部130は、測定対象物WKに赤色波長の光、緑色波長の光及び青色波長の光を時分割で出射する。この構成によれば、モノクロCCDを用いた受光部120により測定対象物WKのカラー画像を撮像することができる。
一方、カラーCCDが十分な分解能及び感度を有する場合には、撮像素子121aは、カラーCCDであってもよい。この場合、照明光出力部130は、測定対象物WKに赤色波長の光、緑色波長の光及び青色波長の光を時分割で照射する必要はなく、白色光を測定対象物WKに照射する。そのため、照明光源320の構成を単純にすることができる。
実施形態1に係る三次元形状測定装置500を含む三次元形状測定システム1000を図4に示す。この図に示す三次元形状測定システム1000は、三次元形状測定装置本体500Aと、コントローラ200で構成される三次元形状測定装置500に、制御用のPC1やモニタ2、キーボード3、マウス等の入力デバイス4を接続している。制御用PC1には、三次元形状測定装置500を用いて三次元形状測定を行うための三次元形状測定プログラムがインストールされている。ユーザは三次元形状測定プログラムを用いて、三次元形状測定装置500の設定や、撮像、測定等の実行を指示できる。
なお、図4の例では、コントローラ200を三次元形状測定装置本体500Aと別体に構成しているが、三次元形状測定装置本体側にコントローラを一体化してもよい。あるいは、コントローラの機能を、制御用PCと統合することもできる。
三次元形状測定装置500は、測定部100と、支持部700と、台座部600と、遮光カバー102で構成される。これら測定部100と、支持部700と、台座部600と、遮光カバー102は、図5の分解斜視図に示すように着脱自在なユニット式に構成されている。これにより、各部材のメンテナンス性や可搬性に有利となる。遮光カバー102は、受光部120及び投光部110の前方に延長されて、これらを覆うと共に、載置面142の上方で、載置面142と離間された姿勢に保持され、載置面142上方の測定領域を外光から遮光する。この遮光カバー102は測定対象物に応じて着脱可能とし、測定における基本最小構成は測定部100と台座部600の組合せである。
台座部600は、載置部140を備えている。載置部140は、上述の通り測定対象物が載置される載置面142を回転させる回転ステージ143と、載置面142を平行移動させる並進ステージ141を含む。ここでは、回転ステージ143であるθステージの上面に、並進ステージ141であるXYステージを載せたXYθステージで載置部140を構成している。
台座部600は、支持部700を介して測定部100を垂直姿勢に保持している。また測定部100は、投光部110や受光部120を載置面142に対して光軸が傾斜する姿勢に固定する。このため測定部100は、投光部110や受光部120を固定する固定部125を含んでいる。固定部125は後述する図7に示すように、固定部125は、台座部600から離間した姿勢に支柱部702で支持される。また投光部110及び受光部120を載置面142に対して光軸が傾斜する姿勢に固定している。これにより、載置部140の上方に測定光による測定領域が形成される。また、投光部110や受光部120等の光学系がこの測定領域を斜め下に見下ろす姿勢に保持される。
支持部700は、台座部600と測定部100とを連結する。支持部700を介して、載置部140の上方に測定部100が位置するように保持される。測定部100は、観察光学系として上述の通り投光部110と受光部120を備える。この測定部100は、台座部600に設けられた載置部140の載置面142に対して、垂直上方でなく、斜め方向から見下ろす姿勢に保持される。このような配置によって、測定対象物の上面と側面の形状を、一回の測定で取得し易くなる利点が得られる。特に高さ方向の情報を取得するには、測定対象物の内、高低差のある側面の情報が有益となる。一方で、側面のみでは、測定対象物の全体の形状が把握し難い。そこで、全体の外形を把握し易い上面と、高さ情報を取得しやすい側面の両方を、一度に得ることのできる、斜め上方からの視点で測定対象物を補足できる姿勢となるよう、測定部100を載置面142に対して傾斜させた姿勢に保持することが有益となる。図6の側面図に示す例では、測定部100の投光部110や受光部120の光軸が、XYθステージの載置面142に対して約45°の角度をなすように傾斜姿勢で保持している。このように測定部100は、45°の俯瞰角度を一定に保つ状態に支持部700でもって台座部600と連結されている。これによって、測定部100は常に一定角度、一定位置で載置面142を見込むことが可能となり、載置面142の駆動軸であるXYθの3軸と観察光学系との位置関係が一定に保たれる。
受光部120は、倍率の異なる複数の光学系を備えてもよい。このような例を、図7に示す。この例では、受光部120は、第一倍率を有する第一光学系と、第一倍率よりも高倍率の第二倍率を有する第二光学系を備えている。このように、倍率の異なる光学系を備えたことで、載置面142上に載置した測定対象物WKの大きさに応じて視野を切り替えることができる。この例では、受光素子として、第一光学系と光学的に結合された第一受光素子121bと、第二光学系と光学的に結合された第二受光素子121cを備えている。なお第一光学系と第一受光素子121bをまとめて第一カメラ121B、第二光学系と第二受光素子121cをまとめて第二カメラ121Cと呼ぶことがある。このように複数の受光素子を用意し、光学系毎に個別の受光素子で撮像するよう構成したことで、各光学系で受光した撮像処理を並行して行うことができ、処理の高速化や光学結合の簡素化が実現される。ただ、共通の受光素子で複数の光学系と光学的に連結してもよい。
第一光学系と第二光学系は、光軸が平行になるように配置している。第一光学系の第一光軸LA1と、第二光学系の第二光軸LA2は、それぞれ載置面142に対して約45°に傾斜されている。ここでは、高倍率の第二光学系、すなわち第二カメラ121Cが、第一光学系である第一カメラ121Bの下側となるように、垂直方向に並べて固定部125に配置されている。このような配置により、第一光学系から第二光学系に切り替えた際の視点の移動が、測定対象物WKの手前側となって、ユーザに対し視野の変化を比較的把握し易くできる利点が得られる。より正確には、視野の広い(倍率の低い)第一光学系においては、載置面上に置かれた測定対象物WKが大きい場合でも、一方視野の狭い(倍率の高い)第二光学系においては載置面上に置かれた測定対象物WKが小さい場合でも、いずれも全周回した際の測定対象物WKの全体を視野に収めることが可能となる。
(XYθステージ)
次に、台座部600の構成例を図7~図9に基づいて説明する。図7の例では、XYθステージは、台座部600上に固定された回転ステージ143であるθステージの上に、並進ステージ141であるXYステージが載置されている。また回転ステージ143の回転軸は、第一光学系及び第二光学系の光軸と、それぞれ45°の角度で交わる形で配置されている。回転ステージ143上に載置された並進ステージ141は、回転ステージ143の回転に伴って図8、図9の平面図に示すように、そのXY駆動軸も共に回転する構成となっている。このように、回転ステージ143の上に並進ステージ141が載置された構成とすることで、測定部100の光軸と回転ステージ143の回転軸とが、機械的に締結された一定関係を保つことが容易となる。
また必要に応じて、並進ステージ141の移動方向のキャリブレーションと、ステージ回転軸の回転方向のキャリブレーションを行うことで、測定部100の観察空間中の座標系におけるステージ駆動軸を把握できる。
(並進ステージ141による広範囲測定機能)
本実施形態に係る三次元形状測定装置500は、測定対象物が測定視野に収まりきらない大きな場合でも、視野を変えて取得した複数の測定データを合成することで、測定対象物の全体を測定可能とする広範囲測定機能を有する。ここで、並進ステージ141を用いて広範囲測定を行う例について説明する。例えば図10Aに示すように、測定対象物が大型で、そのまま測定しようとしても測定部100の観察視野をはみ出すような場合は、全体像の計測は不可能であり、図10Bに示すような視野内に収まった領域のみの測定データとなってしまう。そこで、このような場合でも測定対象物の全体を測定できるように、本実施形態においては、並進ステージ141を用いることで測定対象物を観察視野に対して並進移動させることで、観察視野を超えるサイズの測定対象物に対しても複数の測定データを取得し、それらを結合することで広範囲の測定を可能としている。
上述した図10Aのイメージ図及び図11Aの模式平面図に示すように、横長の測定対象物WK1が観察視野をはみ出て載置面142に載置されている場合に、広範囲測定を実行して測定対象物WK1の全体像を測定可能とする手順を、図11A~図11Cの模式平面図及び図12A~図12Eのイメージ図に基づいて説明する。図11Aは、並進ステージ141を基準位置(原点位置)とした状態における観察視野OF0を太線の破線で示すと共に、この状態から並進ステージ141を右方向に移動させた状態の観察視野OF1を細線の破線で、左方向に移動させた状態の観察視野OF2を点線で、それぞれ示している。並進ステージ141の移動により、観察視野は相対的に逆方向に移動されているように見える。
まず、図11Aの状態から図11Bに示すように、並進ステージ141を観察視野の右方向に移動させて、測定対象物WK1の左半分を観察視野に収める状態とする。図11Bにおいて、観察視野OF1は逆等脚台形状の破線で示している。この位置で得られる観察画像は、図12Aに示すようになる。
次に、この位置で三次元測定を実行し、図12Bに示す単視野測定データSI1を取得する。この単視野測定データSI1は、図12Bに示すように表示部400上に表示させることで、ユーザに対し得られた三次元形状を視覚的に確認できるようにしてもよい。あるいは、中間の単視野測定データは表示部に表示させないで、最終的に得られた合成画像のみを表示部に表示させるようにしてもよい。
さらに、図11Cに示すように並進ステージ141を観察視野の左方向に移動させて、測定対象物WK1の右半分を観察視野OF2に収める状態とする。この位置で得られる観察画像は、図12Cに示すようになる。
次に、この位置で三次元測定を実行し、図12Dに示す単視野測定データSI2を得る。なお、この単視野測定データSI2は、図12Dに示すように表示部400上に表示させてもよいし、非表示としてもよいことは上述の通りである。
最後に、並進ステージ141の移動ストロークと移動方向から、単視野測定データSI1及びSI2を、測定空間の座標系上で自動的に配置し、それぞれのデータを結合して図12Eに示す合成画像CI1を生成し、表示部400上に表示させる。このようにして、観察視野に収まりきらない大きな測定対象物WK1であっても、複数回の撮像で得られた単視野測定データSI1、SI2を合成することで、測定対象物WK1の全体の三次元形状を測定可能とできる。この例では、図11Aに示すように観察視野OF1、OF2を、測定対象物WK1を左右に二分割して撮像するように設定することで、計2回の撮像により全体像を取得することができた。ただ、測定対象物の大きさによっては、3回以上の撮像に分割して、これらを合成することで同様に全体像を取得できることはいうまでもない。
以上の例では、並進ステージ141のみを用いた平行移動により、測定対象物WK1の全体像を合成する例について説明した。この構成は、載置部140に並進ステージ141のみを備えた三次元形状測定装置で実現できる。一方、上述の通り本実施形態に係る三次元形状測定装置では、並進ステージ141に加えて、回転ステージ143を備えることもできる。これにより、回転ステージ143を回転させて測定対象物の背面側の形状も取得することが可能となる。この構成において、上述した並進ステージ141による広範囲測定機能を実現する場合は、回転ステージ143を原点位置に保持した状態で行う。
次に、回転ステージ143と並進ステージ141を備える三次元形状測定装置において、これら回転ステージ143と並進ステージ141を組み合わせた広範囲測定機能について、図13A~図13Cの模式平面図及び図14A~図14Iのイメージ図を用いて説明する。図13Aは、並進ステージ141を左方向に移動させた状態(図13B)における載置面142上の観察視野OF3を太線の破線で、右方向に移動させた状態(図13C)の観察視野OF4を太線の点線で、また回転ステージ143を180°回転させた上で並進ステージ141を左方向に移動させた状態(図13D)の観察視野OF5を細線の破線で、右方向に移動させた状態(図13E)の観察視野OF6を細線の点線で、それぞれ示している。
(回転ステージ143と並進ステージ141の組み合わせによる広範囲測定機能)
まず図13Aの状態から図13Bに示すように、並進ステージ141を観察視野の左方向に移動させて、測定対象物WK1の右側を観察視野OF3に収める状態とする。この位置で得られる観察画像OI3は、図14Aに示すようになる。
そして、この位置で三次元測定を実行し、図14Bに示す単視野測定データSI3を取得する。この単視野測定データSI3も、図14Bに示すように表示部400上に表示させてもよいし、あるいは非表示としてもよいことは上述の通りである。
次に、図13Bの状態から図13Cに示すように、並進ステージ141を観察視野の右方向に移動させて、測定対象物WK1の左側を観察視野OF4に収める状態とする。この位置で得られる観察画像OI4は、図14Cに示すようになる。そして、この位置で三次元測定を実行し、図14Dに示す単視野測定データSI4を取得する。
さらに、回転ステージ143を180°回転させて測定対象物の背面側が見える状態とした上で、並進ステージ141を再度左方向に移動させて、図13Dに示すように測定対象物WK1の右側を観察視野OF5に収める状態とする。この位置で得られる観察画像OI5は、図14Eに示す単視野測定データSI5のようになる。そしてこの位置で三次元測定を実行し、図14Fに示す単視野測定データSI5を得る。
次に、図13Dの状態から図13Eに示すように、並進ステージ141を右方向に移動させて、測定対象物WK1の左側を観察視野OF6に収める状態とする。この位置で得られる観察画像OI6は、図14Gに示すようになる。そして、この位置で三次元測定を実行し、図14Hに示す単視野測定データSI6を取得する。
最後に、並進ステージ141の移動ストロークと移動方向から、単視野測定データSI3、SI4、SI5、SI6を、測定空間の座標系上で自動的に配置し、それぞれのデータ、すなわち図14B、図14D、図14F及び図14Hを結合して、図14Iに示す合成画像CI2を生成し、表示部400上に表示させる。この例では合成画像CI2は点群データの集合体であり、ユーザが画面上から合成画像CI2をドラッグして回転させて、得られた測定対象物の形状データを所望の視点から確認できる。このようにして、観察視野に収まりきらない大きな測定対象物WK1であっても、複数回の撮像で得られた単視野測定データSI3、SI4を合成することで、測定対象物WK1の全体の三次元形状を測定可能とできる。
以上の例では、並進ステージ141を図において左右方向(X方向)に移動させた例を説明したが、並進ステージ141を上下方向(Y方向)に移動させてもよいし、これらを組み合わせて斜め方向に移動させてもよい。同様に回転ステージ143の回転角度も、180°に限定されず、90°や45°等、任意の角度に調整できる。測定対象物の長手方向や載置面142への置き方、測定対象物の形状の複雑さ等に応じて、並進ステージ141の移動方向を適宜調整できる。
このように広範囲測定は、回転ステージ143を回転させた状態の任意の視線方向でも実現できる。並進ステージ141の移動方向を正しく認識することで、回転ステージ143が回転した状態でも、例えば図14Aに示すように測定対象物WK1の右側を取得するためには並進ステージ141を画面左方向に、図14Cに示すように測定対象物WK1の左側を取得するためには並進ステージ141を画面右方向に平行移動させればよい。またこのような載置面142の移動方向の制御は、移動制御部144により行われる。移動制御部144は、載置面142の移動方向と、移動された載置面142の位置、すなわち載置面142に置かれた測定対象物WK1の観察視野とを関連付けて保持する。また各観察視野において取得したそれぞれの単視野測定データを、測定空間中にどのように配置すべきかについても、並進ステージ141の移動量とXY移動方向、θの回転量とに基づいて座標変換して算出できるので、自動的な位置合わせと合成処理が実現できる。
以上の例では、各視線方向のデータ取得について説明した。ただ、本発明はこの構成に限らず、例えば回転ステージ143を複数の角度へ回転させて、各々の角度で取得した広範囲測定結果を重ね合わせるようにしてもよい。この場合は、大きく立体的な測定対象物に対しても、360°自由な方向から測定データを取得して重ね合わせることができ、全方位からのフル3Dデータが測定可能となる。
また、以上の例では回転ステージ143の上面に並進ステージ141を配置した載置部140の構成例を説明した。このような配置によって、回転ステージ143を回転可能に台座部に固定し、並進ステージ141をその上面の測定対象物と共に回転ステージ143で回転させることができる。このように測定対象物と並進ステージ141が共に回転することにより、測定対象物と並進ステージ141の位置関係は、測定対象物の載置姿勢を変えない範囲では、一定に維持できる。この結果、回転ステージ143を回転させた複数の異なる視点からの三次元測定が、常に同じ測定対象物の範囲で行われることとなり、測定対象物上の同一点を複数視点からのデータで平均化でき、測定対象物全体にわたって安定した測定が行われ、測定精度が向上される。
ただ本発明は載置部140をこのような構成に限定せず、例えば図15に示す変形例に係る三次元形状測定装置500Bに示すように、並進ステージ141の上面に回転ステージ143を配置する構成としてもよい。このような載置部140の配置によっても、同様の測定、重ねあわせによって、同様に視野からはみ出した測定対象物の全方位フル3Dデータを取得することは可能である。
また、回転ステージ143と並進ステージ141を併存させた構成においては、回転ステージ143を回転させる際には、並進ステージ141を予め定められた基準位置に復帰させた上で回転させることが好ましい。これにより、測定対象物を載せた載置部140の回転半径が大きくなる状態を避け、測定対象物が意図せず他の部材と衝突する事態を避けることができる。基準位置は、例えば並進ステージ141を移動させるXY平面の原点位置とする。あるいは、特定の座標位置を基準位置としてもよい。また、回転ステージ143と並進ステージ141は、同時に移動させず、いずれか一方のステージを移動させる際は他方のステージを停止させた状態とする。これにより、衝突検知や衝突予防を行い易くして安全性を高めることができる。
(広範囲かつ前後面の形状全体を取得する測定)
本実施形態に係る三次元形状測定装置では、正面に映る測定対象物の表面形状のみならず、表面全体の三次元形状を取得することが可能である。このため、三次元形状測定装置においては、単一視線方向からの測定(ワンショット測定)だけではなく、回転ステージ143によって測定対象物の姿勢を変化させた複数方向からの測定(マルチショット測定)を組み合わせることができる。特に、回転ステージ143を初期姿勢から180°回動させた、測定対象物の背面側の測定は、ワンショット測定では得られない立体物の幅寸法を計測できるため、有益となる。また上述した広範囲測定も、同様の回転動作を伴った測定を行うことで、より広範囲の三次元形状全体を捉えることが可能となる。
(測定開始までの手順)
測定対象物の広範囲かつ前後面の形状全体を取得する測定を三次元形状測定装置で実行するに際して、測定開始までに行う手順を図16のフローチャートに基づいて説明する。まずステップS1601において、ユーザが測定対象物を載置面142に載置する。必要に応じて三次元形状測定装置がユーザに対し、測定対象物を載置面142に載置するよう促してもよい。
次にステップS1602において、露光モードを設定する。ここでは、露光モードとして自動か手動かをユーザに選択させる。さらにステップS1603において、設定された露光モードが自動か手動かを判定し、手動の場合はステップS1604において露光時間を設定した上で、ステップS1605に進む。一方、ステップS1603において自動の場合は、そのままステップS1605に進む。
ステップS1605においては、画像の連結モードを選択する。ここでは、連結モードとして、ワンショットか連結かをユーザに選択させる。ワンショット測定を選択した場合は、ステップS1615に進み、測定を開始する。一方、ステップS1606において連結を選択した場合は、ステップS1607に進み、視野モードを選択する。ここでは、視野モードとして、単視野が広視野かをユーザに選択させる。そしてステップS1608において、選択された視野モードが単視野か広視野かを判定する。単視野が選択された場合は、ステップS1614に進む。一方、広視野が選択された場合は、ステップS1609に進み、マップ生成の有無の選択する。ここでは、トップビューマップ画像を生成するか否かをユーザに選択させる。そしてステップS1610において、選択されたマップ生成の有無を判定する。トップビューマップ画像の生成が選択されている場合はステップS1611に進み、トップビューマップ画像生成部261でトップビューマップ画像の生成処理を行う。さらにステップS1612において、生成されたトップビューマップ画像からトップビューマップ画像生成部261が自動的に外形認識、連結範囲、撮像すべき枚数を測定し、ステップS1614に進む。一方、ステップS1610においてトップビューマップ画像生成が選択されていないと判定された場合は、ステップS1613において、ユーザに視野範囲を選択させる。例えば、測定対象物の外形を入力させたり、連結枚数や連結方向の指定等をユーザに対して促す。そしてステップS1614に進む。
ステップS1614においては、連結範囲を選択する。例えばユーザに対し、回転ステージ143の回転範囲や一回の回転で移動する回転角度(角度刻み)の指定を促す。そして、ステップS1615に進み、測定を開始する。このような手順を経て、測定対象物を三次元形状測定装置で測定する作業が開始される。
(測定実行後の手順)
次に、測定を開始した後の手順について、図17のフローチャートに基づき説明する。まず、ステップS1700において、三次元形状測定装置による測定対象物の測定が開始されると、ステップS1701において、すでに選択された連結モードや視野モードを判定する。まず、連結モードとしてワンショットが選択されている場合は、ステップS1702に進み、投光部110からの縞投影を実施し、点群データ生成部260で三次元点群データを生成して、ステップS1712に進む。
一方、ステップS1701において、連結モードとして連結が選択され、かつ視野モードとして単視野が選択されていると判定された場合は、ステップS1703に進み、縞投影を実施し、三次元点群データを生成する。そしてステップS1704において、回転ステージ143を回転させる。さらにステップS1705において、指定された撮像回数を終了したかを判定する。ここでは、回転ステージ143の回転角度や移動回数で決まる指定ショット数に達したか否かを判定し、未だ達していない場合はステップS1703に戻って上記の手順を繰り返し、指定ショット数に達した場合は、ステップS1712に進む。
一方、ステップS1701において、連結モードとしてワンショットでなく連結が選択されており、かつ視野モードとして広視野が選択されていると判定された場合は、ステップS1706に進み、並進ステージ141を初期XY位置に移動させる。次にステップS1707において、縞投影を実施し、三次元点群データを生成する。そしてステップS1708において、並進ステージ141を次のXY位置に移動させる。さらにステップS1709において、指定された撮像回数を終了したかを判定する。ここでは、並進ステージ141(XYステージ)の移動量や観察視野の分割数で決まる指定ショット数に達したか否かを判定し、未だ達していない場合はステップS1707に戻って上記の手順を繰り返し、指定ショット数に達したとステップS1709で判定された場合は、ステップS1710に進み、回転ステージ143を回転させる。さらにステップS1711において、回転ステージ143に関して指定された撮像回数、すなわち指定ショット数に達したか否かを判定し、未だ達していない場合はステップS1706に戻って上記の手順を繰り返し、指定ショット数に達した場合は、ステップS1712に進む。
ステップS1712において、プレビュー表示を行う。ここでは表示部400に、生成された画像が表示される。そしてステップS1713において、ユーザは、プレビュー表示を参照して、測定箇所が十分か否かを判定する。不十分と判定された場合は、ステップS1714において、図16のステップS1602の露光モードの選択に戻って手順をやり直す。
一方、ステップS1713において、測定箇所が十分と判定された場合は、ステップS1715において、メッシュ画像の生成のための演算を実行する。そしてステップS1716において、三次元形状測定プログラムを用いた計測や解析を実行し、ステップS1717で測定を終了する。
(トップビューマップ画像)
実施形態に係る三次元形状測定装置は、トップビューマップ画像の生成機能を備えている。トップビューマップ画像とは、載置部140に載置された測定対象物の平面図に当たる、上方から見た画像である。特に図6に示すような、測定対象物を真上からでなく斜め上方から観察する三次元形状測定装置においては、測定対象物の外形などを視覚的に把握が容易でない場合がある。そこで、測定対象物の平面図的な画像をトップビューマップ画像として用意することで、ユーザに対して測定対象物の全体像を示し、現在どの部位を斜め方向から観察しようとしているのか、相対的な位置関係を把握し易くすることができる。
トップビューマップ画像の視点は、載置面142に対して直交する方向を基本とする。ただ、多少傾斜した角度から見た画像としてもよい。例えば載置面142の垂直方向を0°としたとき、±5°程度傾斜した方向から見た画像としてもよい。このように、垂直方向から多少傾いた画像であっても、本明細書においてもトップビューマップ画像と呼ぶ。またトップビューマップ画像は、測定対象物の測定位置の把握など、ナビゲーション的な用途で用いることを企図しているため、撮像素子で撮像した光学画像でなくともよく、測定対象物を擬似的に表した画像で足りる。また、三次元形状測定装置における測定は、別途生成する三次元画像等に対して行い、トップビューマップ画像に対して行うものでないため、トップビューマップ画像自体に高い精度は不要である。
図6に示すような、斜め上方向から俯瞰する非接触式の三次元形状測定装置は、測定対象物の上面だけでなく、外周側面を含めた立体形状を測定する用途を考える。この構成においては、測定対象物の上面と側面を観察視野に含めるように、斜め上方(図6では45°)から測定対象物を見込む配置となっている。このような三次元測定に際して、測定対象物の外形を取得するため、回転ステージ143を回転させて測定対象物の全周を見込むことがある。また、より大きな測定対象物を測定できるように、並進ステージ141を採用することも考えられる。一方で、より大きな測定対象物を測定したいという要求もある。このような場合に、図18に示すように長い測定対象物WK1を載置して載置部140を回転させると、三次元形状測定装置の支柱部702等と衝突する事態が考えられる。この図においては、測定対象物WK1の飛び出し量と支柱部702との距離DT1が、載置面142の最外周と支柱部702との距離DT2よりも大きい場合に衝突が発生する。
(測定対象物の外形検出機能)
そこで本実施形態に係る三次元形状測定装置では、測定対象物の外形を検出する外形検出機能を備えている。測定対象物の外形検出は、測定部100に含まれる撮像光学系を用いて、載置面142上に載置された測定対象物の画像を取得して得られる画像情報に基づいて行う。この測定対象物の外形検出は、例えばCPU210で行う。外形検出のアルゴリズムは、エッジ検出等、既知の方法が適宜利用できる。なお、上述した通り撮像光学系に、低倍率と高倍率の2つの受光素子を有する構成においては、高倍率の受光素子を選択して観察を行う場合であっても、低倍率の受光素子で得られた画像を用いることで、測定対象物に対してより広域な外形情報が得られる。このように、三次元形状測定装置の測定モードとして、低倍率測定モードと高倍率測定モードを有する場合であっても、測定対象物の外形把握のための撮像は、選択中の測定モードによらず低倍率の受光素子で実施するよう構成することが好ましい。
取得した斜め俯瞰の測定対象物の観察画像OI1を図19に、測定可能範囲MAを重ねた観察画像0I2を図20に、それぞれ示す。一般的に広域の測定を実施する低倍率は、画角を有する広角レンズであることが多く、視野が奥行に伴って変化する構成となっている。載置面142に対して斜めに俯瞰している撮像光学系は、その広角光学系の構成上、取得した画像はパースの掛かった状態であり、輪郭線が必ずしも測定対象物の外形を正確に示さないという問題があった。これは、奥行方向に行くほど倍率が異なり、ピクセル長が異なることに起因する。
また、斜め上方から見た俯瞰画像では、測定対象物の背面側の外形情報が欠落することに加えて、視野内に含まれる測定対象物の前面側の輪郭線が、必ずしも載置面142上に載置された状態での「端部」を正確に表現できないという問題も含んでいる。ここで広角俯瞰による端部検出の問題点を、図21、図22に示す。図21に示すように、測定対象物WK2の底面が正確に載置面142に触れているような載置状態であれば、測定対象物WK2の輪郭線(図21において黒丸で示す。)は測定対象物WK2の外形と一致する。しかしながら、図22に示すように、測定対象物WK3が傾いた姿勢で載置面142上に載置された場合では、画像上で見える輪郭線(図22において白丸で示す。)は、測定対象物WK3の端部とは一致しない。また、図21の場合であっても、仮に上方側に突出部が存在している場合は、輪郭線と端部は一致しない。
このような状態で、載置面142の移動による測定可能範囲MAを描画したとしても、ユーザにとっては端部が認識できないため、範囲設定の正確さが認識できないという問題につながる。例えば図20のように測定可能範囲MAを重ねた観察画像OI2においても、奥側が測定範囲に含まれているかが不確かなだけでなく、測定対象物が傾いているのか、それとも設置位置が奥にずれているのかの判別が困難なことが判る。
そこで本実施形態に係る三次元形状測定装置は、このような測定対象物の外形検出の困難さに対して、視点を変えて、上面から見た平面図的な上方俯瞰画像であるトップビューマップ画像を生成する。このようなトップビューマップ画像を提示することで、測定範囲をユーザに判り易く示すことが可能となる。また、測定対象物を載置面142に載置する姿勢がどのようになっているのか、さらに測定対象物の外形を把握することで、載置面142を移動させる際に意図せず他の部位に衝突させないように、衝突予防を考慮した移動制御を行える等の利点が得られる。
トップビューマップ画像の生成は、トップビューマップ画像生成部261で行う。具体的なトップビューマップ画像の生成手順を説明すると、まず測定対象物の点群データを生成する。そして生成された点群データを、測定対象物を真上から見下ろしたときの平面図にマッピングして、トップビューマップ画像を生成する。必要に応じて、トップビューマップ画像上で測定領域の設定を促す工程を含めてもよい。また、トップビューマップ画像上で測定領域を自動で設定する工程を含めてもよい。
以上の通り本実施形態に係る三次元形状測定装置によれば、測定対象物を真上からでなく、斜め上から見た光学系を採用しながらも、測定対象物の三次元情報を取得して、真上方向から見たトップビューマップ画像を生成、表示することにより、測定対象物の全体形状をユーザが容易に把握し、測定範囲の設定を正確に行うことが可能となる。
(トップビューマップ画像の生成をユーザが指示する手順)
トップビューマップ画像に基づく測定範囲の設定及び測定は、まずトップビューマップ画像の作成、表示を行い、次にこのトップビューマップ画像に対して測定範囲を設定し、その上で測定を実行する流れとなる。この手順においてユーザが行う一連の操作について、図23のフローチャートに基づいて説明する。まずステップS2301において、測定対象物をステージに載置する。次にステップS2302において、測定対象物を測定するための測定条件を設定する。ここで測定条件としては、画像の明るさ、姿勢、測定範囲などが挙げられる。さらにステップS2303において、トップビューマップ画像の作成を指示する。例えばユーザが三次元形状測定装置操作プログラムから測定範囲設定画像を開いて、「トップビューマップ画像の作成」を選択する。
このようにして、トップビューマップ画像がトップビューマップ画像生成部261で作成されて、表示部400上に表示される(ステップS2304)。ユーザはこの状態で、トップビューマップ画像を確認し(ステップS2305)、トップビューマップ画像の撮影範囲が十分か否かを判定する(ステップS2306)。十分でないと判定した場合は、トップビューマップ画像の追加を指示する(ステップS2307)。これに従い、トップビューマップ画像が追加されて、表示されるので(ステップS2308)、再びユーザはトップビューマップ画像の撮影範囲が十分か否かを判定する(ステップS2306)。
そして、トップビューマップ画像の撮影範囲が十分と判定された場合は、ステップS2309に進み、測定範囲を確定する。そしてステップS2310で測定実行を指示することにより、測定が実行される(ステップS2311)。このようにして、トップビューマップ画像が生成される。
(トップビューマップ画像を生成する処理手順)
トップビューマップ画像は、一枚又は複数枚を合成した上方俯瞰画像である。このトップビューマップ画像は、複数の画像を合成し易い利点がある。逆に斜めから見た広角画像の場合は、パースがかかっているため、複数の画像を正確に合成することは容易でない。複数の上方俯瞰画像を合成し易いことで、既に作成したトップビューマップ画像への画像の追加が容易という利点も得られる。このため、トップビューマップ画像の作成は、三次元測定及び撮影から画像合成するという手順を再帰的に行えるようにすることで、ユーザがもう十分と認識するまで、トップビューマップ画像の大きさ、すなわち視野を広げることができる。ここで、トップビューマップ画像を生成する一連の処理の手順を、以下図24のフローチャートに基づいて説明する。
まず、三次元形状測定装置における処理として、ステップS2401において、載置面142を移動させる。次にステップS2402において、移動された位置で三次元形状の測定を実行する。そしてステップS2403でテクスチャ画像を取得し、ステップS2404で上方俯瞰画像を生成する。さらにステップS2405において、この上方俯瞰画像を、既に取得された他の上方俯瞰画像と合成して、トップビューマップ画像を生成する。
次にステップS2406において、ユーザ側の操作として、生成されたトップビューマップ画像を見て、撮影範囲が十分か否かを判定する。十分でない場合は、ステップS2407に進み、ユーザはトップビューマップ画像の追加を指示する。これに従い、ステップS2401に戻って三次元形状測定装置はトップビューマップ画像の生成処理を繰り返す。そして、ステップS2406においてトップビューマップ画像の撮影範囲が十分と判定された場合は、ステップS2408に進み、トップビューマップ画像の作成処理を終了する。この後、必要に応じて測定範囲設定に移行する。
ここで、載置部140を4つの位置(ステージ位置)に移動させながらトップビューマップ画像を順次追加して、トップビューマップ画像の大きさ、すなわち視野を広げていく場合の、各ステージ位置でのテクスチャ画像、合成前のトップビューマップ画像(上方俯瞰画像)、合成後のトップビューマップ画像を、図25のイメージ図に示す。この図に示す通り、ステージ位置を増やしていくことで、視野が広がり、測定対象物の全体形状が把握できていく様子が把握できる。
このようにステージ位置が多いほど視野は広がるが、その分トップビューマップ画像が作成されるまでの時間も長くなる。また測定対象物の全体形状が把握できるまでの処理として、測定対象物によっては2か所の撮像で十分な場合もあれば、4か所の撮像でも不十分な場合もあり得る。必要十分なステージ位置でトップビューマップ画像を作成する手順として、例えばユーザによって中断されるまで、視野の拡張を繰り返すことが考えられる。あるいは、1か所毎にトップビューマップ画像作成処理を中断し、ユーザに視野拡張が必要か否かを判断させてもよい。あるいはまた、トップビューマップ画像生成部261が、トップビューマップ画像合成後に測定対象物の広がりを認識し、まだ測定対象物が取れていないと判断した場合は、自動で視野を拡張するよう構成してもよい。
(トップビューマップ画像生成処理)
トップビューマップ画像は、上述したトップビューマップ画像の一連の生成処理で説明した通り、各ステージ位置での上方俯瞰画像の作成と、複数作成された上方俯瞰画像の合成に分けられる。
(上方俯瞰画像の作成)
トップビューマップ画像を構成する上方俯瞰画像は、測定対象物から得られた三次元情報とテクスチャ画像から生成される。トップビューマップ画像の作成方法の例として、点群データから二次元画像をマッピングする方法が挙げられる。ここで、点群データから二次元画像をマッピングしてトップビューマップ画像を生成する方法を説明する。
(点群から二次元画像をマッピング)
三次元情報には、点群情報(カメラの画素毎に点の位置を保持している構造化点群)と、この点群情報から生成されたメッシュデータがある。点群情報を使用して、受光素子であるカメラの画素毎の点の位置とテクスチャの輝度値を紐づけることにより、トップビューマップ画像を作成する。具体的には、図26に示すようなテクスチャ画像や、図27に示すような点群画像から、図28に示すようなトップビューマップ画像を作成する。なおトップビューマップ画像は、点を一つ一つマッピングして作成するため、一部の画素が欠けてしまう場合も発生する。この場合、トップビューマップ画像生成部261が欠けている画素を周辺画素から埋めることで、より見栄えの良い画像を作成することが可能となる。このような例として、欠けている画素を含む補完前のトップビューマップ画像の例を図29Aに、この画像を補完した補完後のトップビューマップ画像の例を、図29Bに、それぞれ示す。
(テクスチャ付きメッシュを生成し3D描画)
なお本発明は、トップビューマップ画像の生成方法を、上述した点群データから二次元画像をマッピングする方法に限定するものでなく、他の方法を利用することもできる。一例として、テクスチャ付きメッシュを生成し3D描画することでトップビューマップ画像を生成する方法を説明する。この場合は、点群データをそのまま利用するのではなく、一度メッシュ画像を作成し、そこにテクスチャを張り付けたテクスチャ付きメッシュ画像を作成する。この方法では、作成したメッシュ画像の描画を三次元的に行いつつ、視点や画角を上方俯瞰とすることで、トップビューマップ画像とする。すなわち、メッシュ画像を表示させる視点を測定対象物の真上に設定することで、メッシュ画像の表示態様を平面図のようにして、トップビューマップ画像として利用する。この方法は、点群情報をそのまま利用する場合と比べ、メッシュ画像を生成する処理が必要になる分、処理時間が増えるものの、必要に応じて側面図や背面図など、視点を異ならせた画像も生成できる利点が得られる。
(上方俯瞰画像の合成)
また上方俯瞰画像は、単純に重ね合わせることで合成が可能であり、合成に要する処理が簡単という利点が得られる。したがって、得られたトップビューマップ画像に追加することが容易で、図25に示したように必要に応じてより広域のトップビューマップ画像にすることができる。
(トップビューマップ画像生成の高速化)
トップビューマップ画像は、測定に使用されないため、測定と同様の精度は必要ない。よって、精度が多少悪くなっても、より高速にトップビューマップ画像が得られる方が望ましいといえる。このため、通常の三次元形状の測定に用いる画像の撮像よりも、トップビューマップ画像の撮像時には撮像条件を簡素化する等して、トップビューマップ画像の生成に要する時間を高速化する。本実施形態においては、トップビューマップ画像生成部261が、トップビューマップ画像の生成に際して、通常の三次元形状測定時の測定条件(通常測定条件)よりも、処理負荷の少ない簡易測定条件でトップビューマップ画像を生成する。このように通常の測定よりも負荷の少ない簡易測定条件とすることで、短時間でトップビューマップ画像を生成して表示させることが可能となる。
(簡易測定条件)
簡易測定条件としては、通常測定条件と比べ、画像の解像度を低下させる、露光時間を短くする、投光部110が複数ある場合に、受光部120の各投光部110の投光毎に受光部120で画像を撮像する動作から、一の投光部110の投光による得られた画像のみの動作とする、等が挙げられる。この内、画像の解像度を低下させるとは、受光素子であるカメラからの取得画像の解像度を落とすことが考えられる。これにより、点群数やテクスチャ画素数が減り、計算時間が短縮される。例えば、画像サイズを半分に間引くことで、撮像時間や撮像処理を短縮できる。
また、露光時間を短くするとは、例えばカメラのアナログゲイン機能を利用してアナログゲインを上げることが挙げられる。これによってカメラのノイズは増大するものの、上述の通りトップビューマップ画像には精度が求められていないためデメリットとはならず、むしろカメラの露光時間を減らせるという利点が得られる。
また投光部110が複数ある場合に、一の投光部110の投光により得られた画像のみの動作とするとは、上述した図2のように、投光部110を左右にそれぞれ備える場合、通常の三次元情報を取得する際には左右の計測用投光系を利用するところ、トップビューマップ画像の作成時にはこれら第一投光部110Aと第二投光部110Bのいずれか片側のみしか使わないようにする。これによって投光時間が半分となり、計算時間も短縮される。この場合は、計測可能な領域は左右を利用した場合よりも低下するものの、他のステージ位置でのトップビューマップ画像で補完することが可能となる。また一の投光部と複数の受光部を備える三次元形状測定装置においては、トップビューマップ画像の作成時には一方の受光部のみを用いた撮像とすることで、同様に処理を簡素化できる。
(測定範囲設定)
このようにして作成されたトップビューマップ画像を使用して、測定範囲を設定する。測定範囲の設定方法は、三次元形状測定装置による自動設定や、ユーザによる手動設定が挙げられる。
(測定範囲の自動設定)
ここで測定範囲の自動設定について、図30を用いて説明する。図30は測定対象物の輪郭線と、自動設定された測定範囲を重ねて表示させた例を示している。トップビューマップ画像生成部261は、トップビューマップ画像の作成過程で測定対象物の三次元情報を取得しているため、トップビューマップ画像中のどの部分が測定対象物であるかを判定できる。ここでは、載置部140の載置面142より上にある部分が測定対象物であると判断している。これにより、測定対象物を囲むように、測定範囲を自動で設定できる。図30の例では、太線で示す測定対象物の輪郭線を包含するように、トラック状あるいは面取りした矩形状の測定範囲を設定している。
(測定範囲の手動設定)
次に、ユーザが手動で測定範囲を設定する例を、図31に基づいて説明する。図31は、表示部400上に表示される三次元形状測定プログラムのユーザインターフェース画面の例を示している。この画面は、トップビューマップ画像を用いて測定範囲の手動設定を受け付ける測定領域設定部264の一態様である、測定範囲設定画面1100である。測定範囲設定画面1100は、トップビューマップ画像表示領域1101と、操作領域1102を有している。
(トップビューマップ画像表示領域1101)
トップビューマップ画像表示領域1101には、トップビューマップ画像生成部261で生成されたトップビューマップ画像が表示される。また、載置部140を構成するステージの外縁を白抜きの線(図31の例では円形)で示すと共に、測定領域を茶色の細線で重ねて表示させている。
(操作領域1102)
操作領域1102では、トップビューマップ画像生成部261でトップビューマップ画像を作成するための条件などをユーザに設定させるためのボタンやツール類が配置される。また説明なども併せて表示させてもよい。図31に示す測定範囲設定画面1100の操作領域1102には、トップビューマップ画像を生成するトップビューマップ画像作成ボタン1103の他、トップビューマップ画像を生成するための条件として、測定倍率を設定する倍率設定欄1104、測定範囲を設定する測定範囲設定欄1105、測定範囲を回転させる測定範囲回転欄1106が設けられている。これらは、設定を行う順に番号を付けて上から並べられており、ユーザは順に各設定を行うことで、測定領域を設定できる。このように、操作領域1102はユーザに対し、操作を行うべき項目を順に示すことで、適切に測定領域の設定が行えるように誘導するナビゲーション機能を実現している。さらに、各設定の手順を案内したり、内容や注意点などをテキストや音声、動画などで説明する、ガイダンス機能を付加してもよい。これにより、三次元形状測定装置の操作に詳しくないユーザであっても、設定の手順を案内されることで、操作に迷うことなく所望の測定範囲を設定するように導かれる。もちろん、操作に詳しいユーザであれば、このような案内された手順に必ずしも従う必要はなく、必要な設定項目を適宜選択して、所望の設定を行うことも可能である。またこの場合は、ナビゲーション機能やガイダンス機能をON/OFFできるように切り替え可能としてもよい。このように、ユーザの熟度や嗜好に応じて、設定を柔軟に対応させることが可能となる。
(倍率設定欄1104)
倍率設定欄1104では、取得する画像の測定倍率を設定する。なおトップビューマップ画像の倍率は、広域が得られるよう所定の低倍率とする。。図31の例では、低倍率か高倍率かを選択する低倍ボタン1104aと高倍ボタン1104bが設けられている。低倍ボタン1104aを押下すると、受光部120に含まれる低倍率の第一光学系が選択されて、低倍率の画像が撮像される。図31の例では低倍ボタン1104aが押下された状態を示している。特にトップビューマップ画像は、測定対象物の広い領域、好ましくは全形を含めることがよいことから、より広域な画像が得られる低倍率を選択することが望ましい。特に、実際の測定では高倍率で行う場合でも、トップビューマップ画像の撮像時には低倍率の光学系を選択することで、測定範囲の設定などの作業を行い易い環境を実現できる。このため、倍率設定欄1104では初期値として低倍ボタン1104aが選択されるように構成してもよい。
ただ、トップビューマップ画像は必ずしも測定対象物の全体像を含める必要はない。例えば測定対象物の先端のみの測定といった、一部の領域のみを測定するような用途では、トップビューマップ画像も必要な領域のみを含んでおれば足りる。あるいは、細かな測定領域の指定が必要な用途も考えられる。このような用途にも対応できるよう、トップビューマップ画像の撮像に際しても、低倍率のみならず高倍率での撮像が可能なように、図31に示すような高倍ボタン1104bを準備してもよい。
また、倍率設定欄1104の構成は、高倍と低倍の二択とするのみならず、他の構成としてもよい。例えば、図32に示す変形例に係る測定範囲設定画面1200では、プルダウンメニューから規定の倍率を選択できるようにしている。あるいは、倍率を任意の数値で直接入力できるように構成してもよい。
さらに、より広域のトップビューマップ画像を撮像できるように、載置部140から遠ざかる位置に変更してもよい。例えば移動制御部144で、並進ステージ141を、予め定められた原点位置から支柱部702と反対方向に平行移動させる。このように並進ステージ141を受光部120から離間させた位置に移動させた上で、点群データ生成部260により測定対象物の立体形状を示す点群データを生成させることでより、広い画角を確保して広域な画像を取得でき、大きな測定対象物も視野に入りやすい利点が得られる。
(測定範囲設定欄1105)
測定範囲設定欄1105においては、規定の形状から選択させることで、ユーザに対して範囲指定を行い易くしている。図31の例では、視野を円形で並べたパターンを示したボタンを複数提示することで、ユーザに対して感覚的に測定範囲を把握し易くしている。具体的には、2つの視野を重なるように横に並べた2枚パターンボタン1105a、4つの視野を重なるように四隅に並べた4枚パターンボタン1105b、3つの視野を重なるように横に並べた3枚パターンボタン1105c、一つの視野のみの1枚パターンボタン1105dの4種類のボタンを提示している。各パターンボタンには、視野の配置例を大まかに示した図柄が表示されており、ユーザは感覚的に各パターンボタンに割り振られた視野の配置パターンを理解できる。なお、この例では各視野を判り易くするため円形状に図案化しているが、実際の視野は円形状に限らず、台形状となることもある。円形状に表示させたのは、判り易さのためと、実際に撮像された視野の内で、測定されたデータの信ぴょう性が高い領域に絞って円形状に抽出したものである。
ユーザは所望のパターンボタンを選択することで、トップビューマップ画像表示領域1101には、選択された測定範囲が重ねて表示される。例えば2枚パターンボタン1105aを選択すると、図31に示す測定範囲設定画面1100が表示される。この図に示すように、選択された2枚パターンに応じた測定領域が、トップビューマップ画像表示領域1101上に茶色の線で重ねて表示される。また測定範囲設定欄1105においては、選択された2枚パターンボタン1105aがハイライトされ、現在選択されている測定領域のテンプレートがいずれであるか視覚的に判別できるようにしている。
また測定領域は、ユーザが自由に調整できる。ユーザがマウス等のポインティングデバイスを用いて、トップビューマップ画像表示領域1101上で測定領域をドラッグして、位置を移動させたり、傾斜あるいは回転させたり、サイズを変更したりすることもできる。このようにして、ユーザは直感的に測定範囲を設定することが可能になる。この際、2枚パターンを構成する円形状に表示された各視野は、中心点を表示させることができる。これによって各視野の現在の位置や相対的な位置関係を把握し易くなり、ユーザが測定領域の微調整を行う際の指針とできる。
同様に、4枚パターンボタン1105bを選択すると、図33に示す測定範囲設定画面1300が表示される。また3枚パターンボタン1105cを選択すると、図34に示す測定範囲設定画面1400が表示される。さらに1枚パターンボタン1105dを選択すると、図35に示す測定範囲設定画面1500が表示される。このように、測定範囲を予めテンプレートのように提供することで、ユーザは測定対象物の外形に応じて適切なテンプレートを選択することができる。また上述したテンプレートは一例であり、他にも菱形状、台形状、多角形状、円環状など、任意のパターンを提供できる。またテンプレートを選択する他、矩形状や円形状などをユーザがトップビューマップ画像表示領域1101で直接描画させたり、あるいは自由曲線で指定した領域を、トップビューマップ画像生成部261が近似的に提携画像に置き換えるように構成してもよい。
(測定範囲回転欄1106)
測定範囲回転欄1106は、現在設定されている測定領域を回転させるためのツールである。図31の例では、回転スライダ1106aを提供しており、回転スライダ1106a上を移動させることで、これに連動してトップビューマップ画像表示欄における測定領域を回転させるようにしている。また回転スライダ1106aの右側に設けられた数値入力欄1106bから、回転角度を数字で直接入力してもよい。
(トップビューマップ画像作成ボタン1103)
以上のようにして測定領域が設定されると、トップビューマップ画像が作成される。操作欄の下部には、トップビューマップ画像の作成を実行させるためのトップビューマップ画像作成ボタン1103を設けている。ユーザが、トップビューマップ画像作成ボタン1103を押下すると、トップビューマップ画像生成部261がトップビューマップ画像を生成し、生成されたトップビューマップ画像をトップビューマップ画像表示領域1101に表示させる。これによりユーザは、得られたトップビューマップ画像を視覚的に確認できる。
トップビューマップ画像生成部261は、各測定位置が、三次元形状測定装置の視野の中心となるように、並進ステージ141を移動させる。設定範囲と、その際測定位置の例を、図36に示す。この例では説明のため並進ステージ141の移動のみを示しているが、回転ステージ143を組み合わせてもよいことはいうまでもない。また並進ステージ141と回転ステージ143を組み合わせる際は、並進ステージ141を移動させた後、載置面142を含めた並進ステージ141全体の回転半径が最も短くなる位置に移動させた状態で回転ステージ143を回転させ、その後並進ステージ141を平行移動させる。
(トップビューマップ画像追加機能)
また得られたトップビューマップ画像に対して、さらに画像を追加してトップビューマップ画像の視野を拡張するトップビューマップ画像追加機能を付加してもよい。これにより、得られたトップビューマップ画像が不十分な場合、例えば測定対象物の左右の領域があいまいな場合は、左右のいずれが切れているような場合は、トップビューマップ画像を左右に追加して大きくし、より広い視野を得ることが可能となる。このような例を図32の変形例に示す。この例では、操作欄の上部に、トップビューマップ画像作成ボタン1103として「自動」ボタン1103Bを配置すると共に、その説明として「1.トップビューマップの作成 上から見た画像を作成することができます。」等の説明文も表示させている。さらに、トップビューマップ画像追加機能を実現する追加ボタン1107として左側ボタン1107aと右側ボタン1107bを設けており、現在表示されているトップビューマップ画像に対して、左側又は右側に視野を追加することが可能となる。また、視野を拡大されたトップビューマップ画像は同様にトップビューマップ画像表示領域1101に表示されるので、ユーザは更新されたトップビューマップ画像を確認して、必要に応じてさらに視野を追加することもできる。例えばトップビューマップ画像をできるだけ広視野で撮像するように、載置部140を測定部100から遠ざけて撮像する場合は、撮像対象物の左右が見えなくなることがあるため、必要に応じて右側や左側の視野を追加することで、このような事態にも対応できる。
なお、図32の例では追加ボタン1107として、現在得られているトップビューマップ画像の左右のいずれかに視野を追加する構成としているが、本発明はこの構成に限られず、例えば上側や下側、あるいは斜め方向への追加などを可能としてもよい。
(測定範囲設定に従った測定動作)
以上のようにして測定領域が設定されると、これに従って測定が実行される。ここでは、各測定位置が、三次元形状測定装置の視野の中心となるように、移動制御部144が並進ステージ141を移動させる。
(データ分割)
次にデータ分割の手順について、図37~図41に基づいて説明する。図37は、同一形状の複数の測定対象物を測定した場合の測定結果を、トップビューマップ画像TMに変換した結果を示している。本実施形態における三次元形状測定装置は、並進ステージ141を利用し、載置面142のほぼ全面にわたり測定が可能である。ユーザは複数の測定対象物を載置面142上に並べることにより、複数の測定対象物を一度の測定動作で測定できる。
複数の測定対象物を一度に測定した結果をファイル出力すると、複数の測定対象物を含む一つのファイルが出力されることになる。複数の測定対象物の測定結果が一つのファイルとして出力されると、複数の測定対象物の測定結果同士を比較したい場合、各測定対象物の測定結果をマスターのデータと個別に比較したい場合、あるいは各測定対象物に対して個別に解析用のテンプレートを適用したい場合などに不都合が生じる。そこで本実施形態における三次元形状測定装置は、複数の測定対象物を一度の測定動作で測定した場合に、各測定対象物が個別に含まれる複数のファイルを出力することができる。
図37に示すデータ分割画面1600において、右欄にはデータ分割の簡単設定ウィンドウ1602が、左側には画像表示領域1601が、それぞれ設けられている。データ分割の簡単設定ウィンドウ1602においては、データ分割の数を指定するデータ分割数入力欄1603が設けられる。ユーザはデータ分割数入力欄1603から、データ分割数を任意に設定することができる。この例では、画像表示領域1601を縦、横に分割する分割数を、データ分割数設定ボタン1603a、1603bからそれぞれ入力するように構成している。ユーザは横方向の分割数をデータ分割数設定ボタン1603aに、縦方向の分割数をデータ分割数設定ボタン1603bに、それぞれ入力する。この設定に従って、入力された縦横の数値に測定領域の全体が分割される。
例えば図38Aに示すように、データ分割数設定ボタン1603aに横方向2、データ分割数設定ボタン1603bに縦方向1を、それぞれ指定すると、図38Bに示すように画像表示領域1601が左右に2つに分割される。同様に、図39Aに示すように、データ分割数設定ボタン1603aに横方向1、データ分割数設定ボタン1603bに縦方向2を、それぞれ指定すると、図39Bに示すように画像表示領域1601が上下に2つに分割される。
さらに簡単設定ウィンドウ1602には、順序設定欄1604が設けられており、分割された各領域の順序を指定できる。ここでは順序設定欄1604として、横並びと縦並びがラジオボタンで選択できるようになっている。例えば図40Aにおいて順序設定欄1604で横並びを選択すると、図40Bに示すように、1行目において横方向に1、2、2行目において横方向に3、4の領域番号が、それぞれ付与される。同様に、図41Aにおいて順序設定欄1604で縦並びを選択すると、図41Bに示すように、左側1列目において縦方向に1、2、2列目において縦方向に3、4の領域番号が、それぞれ付与される。
このように、分割領域にはそれぞれ領域番号が付与されて、各分割領域の左上に表示される。またユーザは、各分割領域の詳細を調整できる。例えば図42に示すように、画像表示領域1601で、実際に分割された各分割領域を確認し、複数の測定対象物のトップビューマップ画像TMがそれぞれ、分割領域に収まるように手動で分割領域の大きさや位置を微調整できる。例えば分割領域を規定する各辺のハンドルをマウス等のポインティングデバイスでドラッグして大きさを調整できる。また分割領域をそれぞれ移動できるように構成し、分割領域をドラッグして位置を変更するようにしてもよい。またこのような分割領域の設定に際して、画像表示領域1601に表示されるトップビューマップ画像TMの視点を、Z方向の上方から載置面142を見下ろす方向に固定することで、ユーザが感覚的に領域を指定し易いという利点が得られる。
さらに各分割領域に対して、より詳細な設定も可能である。図43に示す詳細設定画面1700の右欄は詳細な設定をするための設定ウィンドウ1710である。上述した簡単設定ウィンドウ1602では、各測定対象物を個別に赤枠のグリッド内に収める必要があるところ、各測定対象物の位置関係が入り組んでいると、全ての測定対象物を別々の分割領域に収めることができない場合がある。そこで本実施形態では、予め分割領域を規定した領域選択方法指定ボタン1705で指定された方法で、任意の位置に分割線を設定することができる。図43に示す領域選択方法指定ボタン1705には、多角形内側ボタン1705a、多角形外側ボタン1705b、連続領域ボタン1705c、分割領域ボタン1705d、未登録領域ボタン1705e、選択削除ボタン1705fが設けられている。
例えば多角形内側ボタン1705aを選択すると、マウスで指定された3つ以上の点で構成される多角形領域の内側が分割データとして生成される。多角形外側ボタン1705bを選択すると、多角形領域の外側が分割データとして生成される。連続領域ボタン1705cを選択すると、クリックした場所から連続している面がすべて選択されて分割データとして生成される。分割領域ボタン1705dを選択すると、マウスでクリックされた2点を結ぶ線を描くことで、そのどちらかのサイドの領域が分割データとして生成される。未登録領域ボタン1705eを選択すると、まだ登録されていない領域全体が選択されて分割データとして生成される。生成された領域は、選択領域の登録ボタンを押すことで分割領域欄に登録され、不要となった場合は選択削除ボタン1705fを押せば削除できる。また、選択されている分割領域に対応する測定対象物は、異なる色で表示される。また、詳細設定画面1700の立ち上げ時は、表示領域における測定対象物の表示を3D表示に切り替えて、ユーザは測定対象物を任意の方向から確認することができるようにしてもよい。
分割領域の設定が終わり、分割ボタンが押下されると、データ分割保存先を選択するウィンドウが立ち上がり、複数の異なるファイルとして保存することができる。
なお、上記実施例では測定が終わった後の測定結果に対して、分割領域を設定する例を記載したが、これに限らず、測定を行う前に分割領域を設定し、測定完了時に設定された分割領域に対応する測定結果が分割して出力されるようにしてもよい。図44の測定範囲設定画面1800は同一の形状の測定対象物を載置面142上に並べた状態の測定視野設定画面を示している。右上のトップビューマップ画像を表示させた画像表示領域1801において、上述した分割領域の設定を行えるようにしてもよい。
分割領域の設定は測定対象物を上方から見下ろしたトップビューマップ画像からでないと適切に設定することが難しいため、分割領域はトップビューマップ画像上で設定されることが好ましい。測定視野設定領域1802は、ライブ画面を上方から見下ろしたトップビューマップ画像であるから、当該画像を分割領域の設定に有効に活用できる。なお、分割領域の設定用の画像を別途生成しても良いことは云うまでもない。
分割領域の設定は、トップビューマップ画像上で複数の異なる方法で設定できる。上記したようにグリッド状の分割領域を設定する方法の他、任意の領域を分割領域として設定できる。分割して出力されたデータには個別に解析用のテンプレートを適用することもできる。解析用のテンプレートは、ユーザにより予め定義された位置の寸法、角度等の幾何形状に加えて、表面粗さなどのパラメータを解析することも可能である。特に、複数の異なる種類の測定対象物を同時に測定する場合は、各測定対象物に対して個別に異なる解析テンプレートを適用することも可能である。測定対象物の測定結果は三次元形状情報を有するため、当該三次元形状情報に基づいて、適用する解析テンプレートを自動的に抽出し、適用することもできる。
また、分割領域を自動的に設定することもできる。本実施形態の三次元測定装置は、測定対象物と共に載置面142を同時に認識することができる。載置面142の連続性に基づいて、測定対象物と測定対象物の間に分割線を自動的に設定することも可能である。
以上、本実施形態によれば、測定設定画面、又は測定後の測定結果に対して、分割領域を手動、又は自動的に設定することにより、複数の測定対象物をそれぞれ独立したファイルとして出力することができる。