JP7277267B2 - 計測装置、撮像装置、計測システム及びプログラム - Google Patents

Description

本発明は、計測装置、撮像装置、計測システム及びプログラムに関し、特に撮像画像に基づく被写体に係る各種計測を行う技術に関する。

寸法計測手法の１つに、計測対象である被写体を撮像し、撮像画像上における被写体像の大きさに基づいて寸法を導出するものがある。例えば工業用途では、部品や製品が仕様通りに加工・組み付けされているかを判断する外観検査に、このような寸法計測手法が採用されている。この他、近年ではスマートフォン等の通信端末では、家具や魚等の被写体を撮像した撮像画像上に、所定の点間の現実空間における距離や、距離把握の基準となる物差しを重畳する機能を備えるものもある。

このような撮像画像に基づく寸法計測では、撮像時の撮像倍率や撮像画角に加え、被写体までの距離（被写体距離、深度情報）が結果導出に必要になる。被写体距離を導出する１つの手法として、撮像光学系と異なる位置から既知のパターンの像を被写体に投影し、撮像画像において投影態様を解析することで被写体距離や被写体の表面形状を導出する手法がある。特許文献１では、既知の間隔の平行光を投光し、それを撮像することで測距を行っている。

特開２０１７－１９１０２４号公報

ところで、上述したような撮像画像に基づく寸法計測を行う対象が、撮像光学系の光軸に対してヨー方向やピッチ方向に傾斜している状況では、奥行き位置の違いによる撮像倍率の変化により、計測精度が低下し得る。これは、手前の測定位置と奥の測定位置とで撮影倍率の差が生じ、撮像画像における空間分解能（解像度）が異なるため、撮像画像において手前の被写体に比べて奥の被写体に割り当てられる単位長さあたりの画素数が少なくなることに起因する。

一方、特許文献１の照射装置では、撮像時に被写体に予め定められた関係の３種類の基準光点を照射し、撮像画像に現れたこれらの交点の位置関係に応じて、計測対象の傾斜状態を取得し、計測結果を補正している。しかしながら、特許文献１の手法は撮像後に奥行き方向での撮像倍率の変化を補正するものであるため、寸法を導出したとしても画素数低下による精度低下を根本的に解決できない可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、撮像画像に基づく計測に際し、計測対象が好適な状態の撮像画像を取得する計測装置、撮像装置、計測システム及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の計測装置は、所定のパターンが投影された、計測対象の平面を有する被写体を撮像した撮像画像、該所定のパターンの情報、及び所定のパターンを投影した投影光学系と撮像光学系の相対位置関係の情報を取得する取得手段と、取得手段により取得された撮像画像、所定のパターンの情報、及び相対位置関係の情報に基づき、該撮像画像の撮像方向を判断する判断手段と、判断手段により判断される撮像方向に応じた通知を行う第１の通知手段と、を有することを特徴とする。

このような構成により本発明によれば、撮像画像に基づく計測に際し、計測対象が好適な状態の撮像画像を取得することが可能となる。

本発明の実施形態１に係る計測装置１００を示した外観図 本発明の実施形態１に係る計測装置１００の機能構成を説明するための図 本発明の実施形態１に係る計測装置１００で実行される計測処理を例示したフローチャート 本発明の実施形態１に係る計測装置１００における、計測項目に係る計測点の入力を説明するための図 本発明の実施形態１に係る計測装置１００における、計測項目に係る計測点の入力を説明するための別の図 本発明の実施形態１に係る計測装置１００における、計測項目に係る計測点の入力を説明するためのさらに別の図 本発明の実施形態及び変形例に係る対象被写体の平面の法線と撮像方向との関係を説明するための図 本発明の実施形態及び変形例に係る対象被写体の平面の法線と撮像方向との関係を説明するための別の図 本発明の実施形態１に係る対象被写体へのパターン投影態様を説明するための図 本発明の実施形態１に係る計測装置１００と対象被写体の平面とが正対している状態を説明するための図 本発明の実施形態１に係る投影角と像ずれ量の関係を説明するための図 本発明の実施形態１に係る計測装置１００における、対象被写体の平面と正対していない状態の通知態様を例示した図 本発明の実施形態１に係る計測装置１００における、計測結果の提示態様を例示した図 本発明の実施形態１に係る計測装置１００における、計測精度を向上させるためのガイド表示の提示態様を説明するための図 本発明の実施形態１に係る計測装置１００における、計測精度を向上させるためのガイド表示の提示態様を説明するための別の図 本発明の変形例に係る計測装置１００を示した外観図 本発明の変形例に係る対象被写体へのパターン投影態様を説明するための図 本発明の実施形態２に係る計測装置１００で実行される計測処理を例示したフローチャート 本発明の実施形態２における、計測項目に係る計測点の分布状態を例示した図 本発明の実施形態２に係る計測装置１００における、寸法導出用に格納される撮像画像を例示した図 本発明の実施形態２に係る計測装置１００における、寸法導出用の展開画像を例示した図

［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、計測システムの一例としての、距離計測用のパターンを投影する投影光学系と、計測用の撮像光学系とを有する計測装置に、本発明を適用した例を説明する。しかし、本発明は、既知の位置関係で配置された投影装置及び撮像装置と通信接続されて情報の送受信が可能に構成され、計測対象の撮像態様を解析可能な任意の機器またはこれらの機器で構成されるシステムに適用可能である。

《計測装置１００の構成》
図１は、本実施形態に係る計測装置１００の外観を示した図である。図示されるように、本実施形態の計測装置１００は、撮像用の撮像部１０２とパターン投影用の投影部１０１とが計測装置１００の筐体に備えられており、１台でパターン投影を行いながらの撮像及び被写体距離の導出が可能に構成されている。本実施形態では、このように計測装置１００が撮像部１０２及び投影部１０１を備えるものとして説明するが、本発明の実施はこれに限られるものではない。計測装置１００は、撮像部１０２から取得した撮像画像について、被写体に投影部１０１が投影したパターンの情報を把握し、撮像画像中の該パターンの状態を解析することで撮像部１０２の撮像方向を特定可能であればよく、一体となっている必要はない。

次に、図２のブロック図を用いて、本実施形態の計測装置１００の機能構成について説明する。

演算部１０４は、例えばＣＰＵやマイクロプロセッサ、及びワークメモリで構成された制御装置であり、計測装置１００が備える各ブロックの動作を制御する。演算部１０４は、例えば記憶部１０５に格納されている各ブロックの動作プログラムを読み出し、不図示のワークメモリに展開して実行することで各ブロックの動作を制御する。また演算部１０４は、撮像時において、オートフォーカス（ＡＦ：自動焦点合わせ）、フォーカス位置の変更、Ｆ値（絞り）の変更等の撮像部１０２の制御処理も行う。また本実施形態の演算部１０４は、撮像部１０２によって撮像された画像信号に対する各種の画像処理も行うものとして説明する。

記憶部１０５は、例えば不揮発性メモリ等の計測装置１００が備える記録装置である。記憶部１０５は、計測装置１００が有する各ブロックの動作プログラム等、恒久的な記録が必要となる情報の格納に用いられる。一方、先に述べたワークメモリは、例えば揮発性メモリ等の記憶装置であり、動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データを一時的に記憶する記憶領域として機能する。

ディスプレイ１０３は、例えばＬＣＤ等の表示装置であり、計測装置１００における各種の情報提示を行う。ディスプレイ１０３は、撮像部１０２により撮像が行われている際、Ａ／Ｄ変換された画像データを表示（スルー表示）することで、デジタルビューファインダとして機能する。また本実施形態ではディスプレイ１０３は、好適な撮像方向を通知する際のＧＵＩの表示や、計測結果の表示にも用いられる。

操作入力部１０６は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等の計測装置１００が備えるユーザ入力インタフェースである。操作入力部１０６は、各種ユーザ入力インタフェースに対してなされた操作入力を検出すると、該操作入力に対応する制御信号を演算部１０４に出力する。またディスプレイ１０３がタッチパネルセンサを備えている態様においては、操作入力部１０６は、ディスプレイ１０３に対してなされたタッチ操作を検出するインタフェースとしても機能する。

投影部１０１は、計測対象の被写体に対して所定のパターンを投影する。投影部１０１は、投影光学系１１１、パターン表示部１１２及び投光部１１３で構成され、後述の計測処理の必要なタイミングにおいて駆動するよう制御される。

投光部１１３は、例えば光源や照明等を有した投光機能を実現する。投光部１１３により照射された光束は、パターン表示部１１２と投影光学系１１１を介して計測対象の被写体に対して投影される。パターン表示部１１２は、例えば液晶パネル、ＤＬＰ等の像形成装置であり、被写体に対して投影するパターンを形成する。即ち、投光部１１３によってパターン表示部１１２が照射されると、パターン表示部１１２に形成されたパターンが、投影光学系１１１を介して被写体に対して投影される。なお、本実施形態では投影するパターンを可変とするために、パターン表示部１１２は液晶素子であるものとして説明するが、空間変調器等のその他の素子が採用されるものであってもよい。

撮像部１０２は、計測対象の被写体を含む撮像範囲を撮像し、撮像画像に係る画像信号を出力する。撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等であってよい撮像素子１２２を有する。撮像素子１２２は、撮像光学系１２１を介して入射した光束によって撮像素子１２２の撮像面に形成された光学像を光電変換し、アナログ画像信号を出力する。本実施形態では撮像により取得されたアナログ画像信号は、例えば演算部１０４によりＡ／Ｄ変換処理や調整処理、現像処理等、各種の画像処理を行い、デジタルデータの撮像画像に変換されるものとして説明する。

しかしながら、本発明の実施はこれに限られるものではない。例えば、このような画像処理や変換処理は、撮像部１０２に備えられた不図示の機能構成により実現され、撮像画像が撮像部１０２から出力される構成としてもよいし、演算部１０４とは異なる専用の機能構成により実現されるものであってもよい。換言すれば、本実施形態ではこれらの機能を実現するプログラムを演算部１０４が実行することによって、該機能が実現されるものとして説明するが、該機能を実現するハードウェアが設けられていてもよい。

《計測処理》
このような構成をもつ本実施形態の計測装置１００において、計測対象の被写体（対象被写体について種々の計測を行う計測処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、演算部１０４が、例えば記憶部１０５に記憶されている対応する処理プログラムを読み出し、ワークメモリに展開して実行することにより実現することができる。本計測処理は、例えば計測装置１００が計測を行うモードに設定されて動作を開始した際に開始されるものとして説明する。

Ｓ３０１で、演算部１０４は、計測を行う項目を決定する。本実施形態の計測装置１００では、撮像範囲に存在する被写体について、撮像画像上で設定された、任意の１つの平面上の２点を結ぶ直線または曲線の空間距離、または平面上の３点以上で囲まれた領域の面積が、計測可能な項目として設けられているものとする。該計測を行う項目の決定は、ユーザによる選択操作に係る操作入力の検出に基づいて行われるものであってもよいし、モード毎に予め設定されている、あるいは、被写体の状態に基づいて決定されるものであってもよい。なお、以下の説明では、２点間の空間距離を寸法として導出する態様について説明する。

Ｓ３０２で、演算部１０４は、寸法計測を行う２つの計測点を決定する。該決定に際し、撮像部１０２により撮像された撮像画像がディスプレイ１０３にスルー表示され、ユーザは撮像画像中の任意の計測点を指定する操作入力を行うことが可能に構成される。このとき、例えば図４に示されるように、スルー表示された、対象被写体４０１が含まれる撮像画像に対し、寸法計測を行う２つの計測点の選択を促す通知４０２が重畳表示されて提示されるものとする。演算部１０４は、該指定に係る操作入力に基づき計測対象の計測点の情報を取得すると、ワークメモリにこれを格納する。

ここで、計測点の入力がなされた際には、ディスプレイ１０３上では撮像画像に対して、該計測点及び２つの計測点の指定後はその計測点間を結ぶ直線を重畳表示することで、入力がなされた旨を知らしめる構成としてよい。図４の例では、計測点４０３と計測点４０４が指定された後、該点間を結んだ直線４０５が寸法導出の対象であることが明示されている。

上述したように、本実施形態の計測処理では主だって２つの計測点間の直線距離を寸法として導出するものとして説明するが、曲線の距離が計測項目として選択される態様においては、例えば図５のような提示がディスプレイ１０３になされればよい。図示されるように、ディスプレイ１０３上では撮像画像に対し、寸法計測を行う曲線の入力を促す通知５０１が重畳表示され、ユーザによる計測対象とする曲線５０２の軌跡入力をもって、その始点と終点が計測点として格納されるものとする。この場合、該軌跡の情報も格納される。また面積が計測項目として選択される態様においては、例えば図６のような提示がディスプレイ１０３になされればよい。図示されるように、ディスプレイ１０３上では撮像画像に対し、面積導出を行う多角形領域の各頂点の入力を促す通知６０１が重畳表示され、ユーザにより３点以上の頂点が計測点として入力されると、これらを結んだ領域６０２が面積導出対象として提示される。

Ｓ３０３で、演算部１０４は、Ｓ３０２において決定した２つの計測点の位置に基づいて、投影部１０１に投影させる像（投影像）を決定する。本実施形態の計測装置１００では、対象被写体のうちの実際に計測点が存在する平面について正対しているか否かを判断すべく、投影像は、計測点が分布する領域に所定のパターンが配置されるよう構成される。換言すれば、投影像において所定のパターンは、計測点が分布する領域を包含するように配置されている。

Ｓ３０４で、投影部１０１は演算部１０４の制御の下、Ｓ３０３で決定された投影像を投影する。より詳しくは、パターン表示部１１２が投影像を形成し、形成された投影像が投光部１１３によって照射されることで、投影光学系１１１を介して対象被写体に正対判断用のパターンが投影される。

Ｓ３０５で、撮像部１０２は演算部１０４の制御の下、投影像が投影された対象被写体を撮像し、撮像画像を出力する。なお、撮像により得られた撮像画像において、計測点が分布する領域をカバーするようにパターンが投影されていない場合には、演算部１０４が投影光学系１１１に適した焦点距離を導出し、該焦点距離を変更する調整等した上で再度投影及び撮像を行えばよい。この場合、撮像部１０２が被写体距離を導出可能な態様では、該被写体距離の情報に基づいて投影光学系１１１の焦点距離調整を行ってもよい。

Ｓ３０６で、演算部１０４は、Ｓ３０５において撮像された撮像画像において、Ｓ３０３において決定した投影像のうちのパターンに該当する領域を抽出する。ここで、パターンに該当する領域の抽出は、該パターンそのものを抽出することに限定されるものではなく、該パターンと所定値以上の類似度が導出される領域を抽出することを含むものとする。即ち、本ステップの抽出は、計測対象である計測点の分布する平面と正対しているか否かを判断するために行われるものであるため、該平面の撮像部１０２の光軸に対する向きによっては撮像画像中にパターンが変形して現れ得る。故に、本ステップにおいて演算部１０４は、撮像画像のうちから決定したパターンと類似する投影像が現れている領域を、正対判断用に抽出する。

Ｓ３０７で、演算部１０４は、Ｓ３０６において抽出した領域の画像に基づき、現在の計測装置１００の撮像方向が対象被写体と正対しているとみなせる範囲にあるか否かを判断する。正対しているとみなせる範囲とは、撮像方向に係る撮像部１０２の光軸と、計測点の存在する対象被写体の平面の法線とがなす角度が所定の閾値に収まる範囲として、予め定められているものとする。

例えば、２つの計測点７０１ａ及びｂで構成される寸法計測線分７０２と計測装置１００とが図７のように分布している場合について考える。ここで、計測装置１００が位置７０５に存在する場合は、寸法計測線分７０２を含み、計測点７０１ａから計測点７０１ｂに向かうベクトルと撮像部１０２の光軸に沿ったベクトルとで定義される平面７０３を基準に、上記なす角度が定められる。即ち、撮像部１０２の光軸と対象被写体の平面の法線とがなく角度θは、図示されるように寸法計測線分７０２を有する対象被写体の面法線と、平面７０３とがなす角度となっている。また同様に、計測装置１００が位置７０６に存在する場合には平面７０４を基準に、なす角θが定められる。

ここで、θ≠０である場合には、上述したように計測点間で計測装置１００との被写体距離が異なるため、計測精度が低下し得る。一方で、θ＝０であれば、このような精度低下に係る要因は生じないため、計測精度は担保され易い。故に、本実施形態の計測装置１００では、計測点が存在する対象被写体の平面と計測装置１００とが正対している状態（θ＝０）で得られた撮像画像に基づいて計測が行われるよう、本ステップにおいて正対しているとみなせる範囲に収まるか否かを判断する。

なお、計測装置１００が平面７０３上にある場合と平面７０４上にある場合とで、寸法計測線分７０２との関係は変化しないため、計測装置１００がいずれの平面上にあるかは問題ではない。よって、以下の説明では撮像方向は、寸法計測線分７０２を含み、計測点７０１ａから計測点７０１ｂに向かうベクトルと、撮像部１０２の光軸に沿ったベクトルとで定義される平面であるものとして、適宜読み替えて説明する。

〈正対している方向からのずれの導出〉
以下、現在の撮像方向が、正対している方向からのずれを導出する原理について、図面を用いて説明する。

図８に例示されるように、投影部１０１及び撮像部１０２（計測装置１００）と、計測点を有する対象被写体の平面８０１とが配置されている場合について説明する。図では、平面８０１が計測装置１００に対して相対的に傾いている状態にある態様を、理解を容易ならしめるため、平面８０１の傾き、寸法計測線分７０２が延びる方向、パターン投影位置が全てｘｚ断面内にあるものとして示している。図の例では、計測装置１００はｚ方向に向けられており、撮像部１０２の位置が、座標系の原点となっている。投影部１０１と撮像部１０２とは、ｘ軸方向に距離ｄだけ離間して配置され、かつ、投影光学系１１１の光軸と撮像光学系１２１の光軸は平行になるよう構成されている。これらの投影部１０１と撮像部１０２の相対的な配置関係（相対位置関係）の情報は、予め記憶部１０５に記憶されているものとする。

図８において、像面８０２は撮像部１０２の像面を模式的に表しており、ｚ＝－ｆの位置に分布する。ここで、ｆは、撮像部１０２の撮像光学系１２１に設定されている焦点距離である。また平面８０１は、ｘ＝０でｚ＝ｚ_obを通過しているため、対象被写体の被写体距離はｚ_obとして表現する。このとき、平面８０１がｚ＝ｚ_obの平面上に分布している場合には、平面８０１と計測装置１００とは正対している状態となる。ここでは、平面８０１は、ｙ軸周りに角度α_yだけ回転した方向に傾斜しているものとし、平面８０１の法線８０３は、（sinα_y, 0 ,cosα_y）^Tで表される。また図８において寸法計測線分７０２は、ｘｚ断面内にあるため、θ＝α_yとなる。

また投影部１０１は、平面８０１上の投影位置８０４には少なくともパターンを投影している。仮に、平面８０１が計測装置１００と正対している場合であれば、投影位置８０４に投影されたパターンは位置８０５に投影されることになる。故に、平面８０１が計測装置１００と正対しているのであれば、投影されたパターンの像は撮像によって、像面８０２上の投影位置８０４に対応する位置８０６に形成される。このとき、位置８０６の座標（Ｘ₀，Ｙ₀，Ｚ₀）は、投影位置８０４の撮像光学系１２１の光軸に対する投影角（ｘ方向：ｙ軸周り）をω_xとすると、次の数１で表すことができる。

一方、実際には平面８０１は傾斜しているため、撮像によって同パターンの像は、像面８０２上の位置８０５に対応する位置に形成されることになる。このとき、位置８０７の座標（Ｘ，Ｙ，Ｚ）は次の数２で表すことができる。

数２から分かるように、平面８０１がｙ軸周りで傾斜するのであれば、該傾きは、パターンの像の結像位置のｘ成分にしか影響を与えない。これは、投影部１０１と撮像部１０２がｘ方向にずれていることにも起因する。故に、撮像部１０２により取得された撮像画像に基づいて少なくとも２箇所のパターンについてｘ成分のずれ量を導出することで、α_yが逆算可能となる。つまり、正対している方向からのずれ（角度）を導出することができる。

より詳しくは、例えば図９に示されるように、寸法計測線分７０２に対して直交するような直線が等間隔に配置されたパターン９０１を投影して、正対している方向からのずれを導出すればよい。なお、本実施形態では投影像が投影された被写体を撮像した場合に、パターンを容易に検出可能ならしめるために直線群のパターンを投影するものとして説明するが、本発明の実施はこれに限られるものではない。即ち、撮像画像においてパターンを検出可能であればいずれのパターンを投影するものであってもよい。ここで、数２によれば、ｆ、ｄ、ｚ、ω_xが既知であるなら、パターンとして投影される直線は１本あればα_yを導出できる。しかしながら、本実施形態の計測装置１００のように１つの直線パターンでは被写体距離ｚを導出できない構成である場合には、少なくとも２本の直線がパターンに必要であるため、Ｓ３０３において形成する投影像も、パターンとして２本以上の直線を含む。

従って、２つの直線パターンについての投影角ω_x,1及びω_x,2についてそのずれ量Ｘ₁及びＸ₂は、

となるため、これらの式からｚを除外することで、正対している方向からのずれ角α_yを導出できる。

なお、パターン検出誤差等の影響を低減するべく、２つの直線パターンに限られるものではなく、３以上の直線パターンについて複数のα_yを導出した平均値を最終的なα_yとするものであってもよい。あるいは、

を最小にするα_yを最小二乗法や数値演算的に導出するものとしてもよい。ここで、ω_x,iはｉ番目のパターンの投影角、Ｘ_iはｉ番目のパターンの像の位置、Ｎ_pはパターンに含まれる直線の総数である。

演算部１０４は、このように導出された正対している方向からのずれ角α_yに基づいて、本ステップの判断を行えばよい。即ち、演算部１０４は、例えばずれ角α_yの絶対値が正対しているものとみなす閾値を上回らない場合には、対象被写体の平面に対して計測装置１００が正対しているものとして判断する。一方、演算部１０４は、ずれ角α_yの絶対値が正対しているものとみなす閾値を上回る場合には、対象被写体の平面に対して計測装置１００が正対していないものとして判断する。演算部１０４は、対象被写体の平面に対して計測装置１００が正対していると判断した場合は、図１０に示されるように正対していることを示す通知１００１をディスプレイ１０３に表示させて処理をＳ３０９に移す。また演算部１０４は、対象被写体の平面に対して計測装置１００が正対していないと判断した場合は処理をＳ３０８に移す。

Ｓ３０８で、演算部１０４は、正対する方向からずれている旨の通知を、ディスプレイ１０３を介して提示する。正対する方向からずれている旨の通知は、好適な撮像位置に移動させることを容易ならしめるべく、本実施形態の計測処理ではｘ方向の像ずれ量ΔＸに基づいて行われる。像ずれ量ΔＸは、図８において像面８０２上に示した像ずれ量８０８であり、数１と数２との差に該当する。故に、図示した態様ではｘ成分だけがゼロでない値となり、像ずれ量ΔＸは数３で表すことができる。

なお、パターンの位置Ｘから高精度にα_yを導出するためには｜ΔＸ｜が可能な限り大きい値として現れることが好ましい。また、上記では簡単のため、平面８０１がｙ軸周りにだけ傾斜しているとし、パターンの投影位置についてもｘ方向の投影角ω_xだけであるものとして説明した。このような限定的な態様ではなく、平面８０１がｘ軸周りにも角度α_xだけ傾斜し、投影位置もｙ方向の投影角ω_yを含む態様では、上記数３は数４のように展開できる。

図１１は、数４のω_x及びω_yの変化に対するΔＸの変化をプロットしたグラフである。パラメータの値は、ｚ＝２［ｍ］、ｄ＝１０［ｃｍ］、α_x＝５［ｄｅｇ］、α_y＝５［ｄｅｇ］、ｆ＝２０［ｍｍ］、となっている。また、ω_xを変化させたときには、ω_y＝０、ω_yを変化させたときには、ω_x＝０としている。ω_yの変化に対して｜ΔＸ｜の変動は緩やかであるが、これに対して、ω_xの変化に対しては、｜ω_x｜に応じて｜ΔＸ｜は大きく変動する。よって、計測時には、投影部１０１と撮像部１０２の配列方向に、なるべく大きな画角を持ったパターンを投影することが好ましい。特に、｜ω_x｜≒25［ｄｅｇ］では、｜ΔＸ｜はおよそ40［μｍ］の像ずれ量が観測される。従って、40［μｍ］の像ずれ量を検出可能なよう、投影部１０１や撮像部１０２のパラメータが構成されていることが計測には好適である。ここでパラメータとは、例えば投影部１０１の投影光学系１１１のＦ値、撮像部１０２の撮像光学系１２１のＦ値、撮像素子１２２の画素ピッチ等を含む。

このような像ずれ量ΔＸに基づく通知は、例えば図１２に示されるように、ディスプレイ１０３において、撮像画像に重畳させて、対象被写体を正対した方向から撮像した場合の像１２０１を表示することにより行われるものであってよい。像１２０１は、例えば計測装置１００の現在の正対している方向からのずれ角θを用いて、撮像画像を射影変換することで生成されるものであってよい。重畳表示は、例えばディスプレイ１０３において撮像画像と像１２０１を１画素おきに表示する等によって実現されるものであってもよい。図１２では、図の識別性を考慮して平面８０１上の像のみを重畳表示しているが、像１２０１は撮像画像を変換して生成するものであるため、パターンを正対位置から撮像した状態と等価な像も本来は提示されることは容易に理解されよう。なお、ユーザに対して撮像位置の移動を促す通知１２０２を、ディスプレイ１０３に表示させるものとしてもよい。

この他、像ずれ量ΔＸに基づく通知は、例えば像ずれ量ΔＸやずれ角θ（α_y）のような定量的な情報を提示するものであってもよい。あるいは、正対する方向へのユーザの移動方向や移動量を通知に含むものであってもよい。

このように通知を行った後、異なる撮像位置への移動完了の操作入力がなされるまで演算部１０４は処理を待機する。そして、移動完了指示がなされた際には、演算部１０４は撮像部１０２に予備撮像を行わせて得られた撮像画像にて計測点を特定した上で、処理をＳ３０３に戻す。このようにすることで、同様の計測点について、新たな撮像位置で正対判断用の投影像を構成して投影させることが可能となる。

一方、Ｓ３０７において対象被写体の平面に対して計測装置１００が正対していると判断された場合、撮像部１０２は演算部１０４の制御の下、Ｓ３０９で、計測点間の寸法導出用の撮像画像に係る撮像を行う。該撮像は、寸法導出用の撮像を促す通知を行い、ユーザが該通知に基づいて行われるものであってもよいし、正対している状態にあると判断したことを受けて、演算部１０４が撮像部１０２に行わせるものであってもよい。

Ｓ３１０で、演算部１０４は、Ｓ３０９で撮像された撮像画像に基づいて、計測点間の寸法を導出し、ディスプレイ１０３を介して提示する。計測点間の寸法導出は、撮像画像における計測点間のサイズと、撮像光学系１２１の撮影倍率の関係から、数４を用いて

で導出することができる。

ここで、Ｌは計測点間の寸法（現実世界における空間距離）、ｌは寸法導出用の撮像画像における計測点間のサイズ、ｚは計測点が存在する対象被写体の平面の被写体距離、ｆは撮像光学系１２１の焦点距離である。ｌは撮像画像上の画素数と撮像素子１２２の画素ピッチから導出することができる。また、ｚは計測装置１００が被写体距離の検出構成を具備している場合には該構成から取得すればよいが、具備していない場合には数４からα_x及びα_yを除去することで導出できる。

そして演算部１０４は、計測点間の寸法を導出するとディスプレイ１０３を介してこれを提示する。このとき、演算部１０４は、例えば図１３に示されるように、撮像画像に計測点及び導出した寸法を重畳させることで、寸法が導出されたことを提示するものであってよい。

ところで、数４から明らかなようにα_y＝０である場合にはΔＸ＝０となり、α_xの導出ができない。即ち、このような態様において寸法計測線分７０２が延びる方向がｙ成分やｚ成分を有している場合には、正対する方向を導出できない。よって、寸法計測線分７０２が延びる方向は、ｘ軸方向である必要がある。換言すれば、寸法計測線分７０２が延びる方向と、投影部１０１と撮像部１０２の配列方向（投影光学系１１１と撮像光学系１２１の光軸を結ぶ方向）とは、同一平面内にある必要がある。故に、このような関係となるよう、ユーザに計測装置１００の姿勢を変更ならしめるよう促す通知を行ってもよい。

該通知は、例えば図１４に示されるような、計測点を結ぶ直線を合わせるべき水平線を示したガイド表示１４０１と、計測装置１００の姿勢変更を促す通知１４０２とを、撮像画像に重畳することで行われるものであってよい。ここで、ガイド表示１４０１は、投影部１０１と撮像部１０２の配列方向に合致しているものとする。このようにすることで、撮像方向を正しく導出する状態での撮像を促すことが可能となる。そして、計測装置１００の姿勢が適切な状態となった場合には、図１５に示されるように、上述したように正対している方向からの撮像とするための情報提示がディスプレイ１０３を介して行われればよい。

また、本実施形態では計測処理のＳ３０７において、現在の計測装置１００の撮像方向が対象被写体と正対していないと判断した場合にのみ、正対していない旨を示す通知を行うものとして説明したが、本発明の実施はこれに限られるものではない。現在の計測装置１００の撮像方向に応じた通知については、正対していない状態であるか否かに依らず通知がなされるものであってもよい。即ち、例えば、正対している場合には、撮像方向を変更する必要がない旨の通知を行うものとしてもよい。また、正対位置から何度の方向、など単に現在の撮像方向を通知する形態であってもよい。

以上説明したように、本実施形態の計測装置１００によれば、撮像画像に基づく計測に際し、計測対象が好適な状態の撮像画像を取得することができる。より詳しくは、計測対象の被写体の平面に対して、撮像方向が正対しているか否かを判断した上で計測を行うか否かを判断するため、精度の低い計測結果が導出される状況を好適に回避することができる。

［変形例］
ところで、計測項目として面積が選択された場合には、対象被写体の面に対して正対していなければならない。そこで、例えば図１６に示されるように、異なる２方向に投影部１０１と撮像部１０２が配置されている必要がある。図１６の例では、実施形態１の計測装置１００に加えて投影部１０１と同様の構成であってよい新たな投影部１６０１が追加されており、撮像部１０２と投影部１０１の配列方向に対して撮像部１０２と投影部１６０１の配列方向が直交するように配置されている。計測対象が領域である態様では、汎用的に対応可能なよう、図示されるように両配列方向が直交する構成が好適であるが、本変形例に係る発明の実施において、両配列方向は異なっていればよい。

このような構成を有する本変形例の計測装置１００により、投影部１０１及び投影部１６０１で正対判断用の投影像を投影した場合、図１７のようになる。図１７において、対象被写体の平面には、投影部１０１により投影されたパターン９０１に加えて、投影部１６０１により投影されたパターン１７０１が結像している。このようにすることで、異なる２種類の方向について撮像方向を導出して正対しているか否かの判断を拡張して行うことができるため、結果、２次元の領域についての計測精度も向上させることが可能となる。

なお、本変形例では、計測装置１００が図１６に示したように、１つの撮像部１０２と投影部１０１及び投影部１６０１とを備える構成例について説明したが、本発明の実施はこれに限られるものではない。即ち、投影光学系と撮像光学系の光軸を結ぶ方向について、少なくとも２つの異なる組み合わせでパターン投影に基づく解析が可能であればよく、１つの投影部１０１と、２つの撮像部とを備える構成例としても同様の効果が得られることは容易に理解されよう。

［実施形態２］
上述した実施形態及び変形例では、同一の平面に存在する計測点群や領域について、撮像画像に基づく精度の高い計測を実現すべく、該平面と正対する方向から撮像されるように通知を行う態様について説明した。本実施形態ではさらに、複数の平面に渡って計測対象が分布する態様においても、好適な精度での計測を実現する態様について説明する。なお、本実施形態の説明において計測装置１００の構成は上述した変形例と同様に、平面に対する正対方向を把握できる構成であるものとし、説明は省略する。

《計測処理》
以下、本実施形態の計測装置１００の計測処理について、図１８のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、演算部１０４が、例えば記憶部１０５に記憶されている対応する処理プログラムを読み出し、ワークメモリに展開して実行することにより実現することができる。本計測処理は、例えば計測装置１００が計測を行うモードに設定されて動作を開始した際に開始されるものとして説明する。なお、本実施形態の計測処理の説明において、実施形態１と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態の計測処理に特徴的な処理を行うステップについてのみ説明する。

ここで、本実施形態の計測処理では、図１９に示されるように寸法計測の基準となる計測点１９０１ａ及びｂが、互いに法線方向が異なる、隣接した２つの平面１９０３及び１９０４に存在しているものとする。また計測により導出する該計測点間の寸法計測線分１９０２の寸法は、３次元空間を直線的に結んだ空間距離として導出されるのではなく、該平面群に沿った最短距離として導出されるものとする。

Ｓ３０６において撮像画像から投影像のうちのパターンに該当する領域を抽出すると、演算部１０４はＳ１８０１で、該抽出した領域に現れているパターンの変化に基づき、計測点がそれぞれ異なる平面に存在するか否かを判断する。本ステップの判断は、例えばＳ３０７と同様の処理を一部含んで行われてよく、領域中の平面の法線と撮像方向とがなす角を複数点についてサンプリングし、なす角の分布から計測点間にいくつの面が存在するかを判断すればよい。例えば図１９の例では、計測点１９０１ａ及びｂの間の寸法計測線分１９０２に投影されたパターンからは、平面１９０３に係るθ₁と平面１９０４に係るθ₂が導出される。演算部１０４は、計測点がそれぞれ異なる平面に存在すると判断した場合は処理をＳ１８０２に移し、１つの平面に存在すると判断した場合は処理をＳ３０７に移す。

Ｓ１８０２で、演算部１０４は、計測点間に存在する平面群のうちの、正対する方向からの撮像が行われていない平面を、対象平面として選択する。図１９に示したように計測点が異なる平面に分布して存在している場合、演算部１０４は、Ｓ３０６において抽出された領域の画像を同一平面と判断できる領域ごとに分割し、本ステップでは分割した領域の各々を対象平面として扱って処理を行う。

Ｓ１８０３で、演算部１０４は、Ｓ１８０２において選択した対象平面について、投影部１０１に投影させる投影像を決定する。そしてＳ１８０４で、投影部１０１は演算部１０４の制御の下該投影像を投影し、Ｓ１８０５で、撮像部１０２が、投影像が投影された対象平面に係る対象被写体を撮像して撮像画像を出力する。そしてＳ１８０６で、演算部１０４は撮像画像に含まれるパターンに該当する領域を抽出し、Ｓ１８０７で計測装置１００の撮像方向が対象平面と正対しているとみなせる範囲にあるか否かを判断する。Ｓ１８０３～Ｓ１８０７の処理は、Ｓ３０３～Ｓ３０７と同様の処理内容となるが、対象平面を基準に行われることになる。演算部１０４は、撮像方向が対象平面と正対していると判断した場合は正対していることを示す通知を表示させて、処理をＳ１８０８に移す。また演算部１０４は、撮像方向が対象平面と正対していないと判断した場合は処理をＳ１８０９に移し、正対する方向からずれている旨の通知を提示した後、異なる撮像位置への移動完了の操作入力に応じて処理をＳ１８０３に戻す。

一方、Ｓ１８０７において対象平面に対して計測装置１００が正対していると判断された場合、撮像部１０２は演算部１０４の制御の下、Ｓ１８０９で、対象平面に係る寸法導出用の撮像画像に係る撮像を行う。撮像した撮像画像は、対象平面を識別する情報に関連付けて例えばワークメモリに格納される。

Ｓ１８１０で、演算部１０４は、計測点間に存在する平面群に、まだ対象平面として選択されていない平面が存在するか否かを判断する。演算部１０４は、まだ対象平面として選択されていない平面が存在すると判断した場合は処理をＳ１８０２に戻し、存在しないと判断した場合はＳ１８１１に移す。

Ｓ１８１１で、演算部１０４は、計測点間に存在する各平面について格納した撮像画像を結合し、計測点間の平面群を展開した画像（展開画像）を生成する。図１９に示した態様では、本ステップに至った時点で、ワークメモリには図２０に示されるように平面１９０３及び１９０４を正対する方向から撮像した画像２００１及び２００２が格納されている。本ステップで演算部１０４は、このように格納された画像のうちの各平面に係る領域２００３及び２００４を抽出し、平面の境界部の連続性が担保されるよう調整して結合することで、図２１に示されるような展開画像を生成する。ここで、展開画像に係る結合は、領域２００３及び２００４の境界部付近の像のテクスチャを用いて位置合わせすることにより行われればよい。なお、画像２００１と画像２００２の撮像倍率が異なる場合には、結合時にいずれかの画像を拡縮する処理等を含むものとする。

Ｓ１８１２で、演算部１０４は、Ｓ１８１１で生成された展開画像に基づいて、計測点間の寸法を導出し、ディスプレイ１０３を介して提示する。

このようにすることで、計測点間を結ぶ寸法計測線分の間に、傾きの異なる平面が含まれていたとしても、本実施形態の計測装置１００によれば該平面に沿った寸法計測線分の長さを導出可能なように、好適な撮像方向を提示することができる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：計測装置、１０１：投影部、１０２：撮像部、１０３：ディスプレイ、１０４：演算部、１０５：記憶部、１０６：操作入力部、１１１：投影光学系、１１２：パターン表示部、１１３：投光部、１２１：撮像光学系、１２２：撮像素子

Claims (18)

1. 所定のパターンが投影された、計測対象の平面を有する被写体を撮像した撮像画像、該所定のパターンの情報、及び前記所定のパターンを投影した投影光学系と前記被写体を撮像した撮像光学系の相対位置関係の情報を取得する取得手段と、
   前記取得手段により取得された前記撮像画像、前記所定のパターンの情報、及び前記相対位置関係の情報に基づき、該撮像画像の撮像方向を判断する判断手段と、
   前記判断手段により判断される前記撮像方向に応じた通知を行う第１の通知手段と、
   を有することを特徴とする計測装置。
2. 前記判断手段は、前記撮像画像における前記所定のパターンが投影された領域における該パターンの状態に基づいて、前記撮像方向が前記計測対象の平面と正対しているか否かを判断することを特徴とする請求項１に記載の計測装置。
3. 前記判断手段は、前記撮像画像における前記所定のパターンが投影された領域における該パターンの状態に基づいて導出された前記計測対象の平面の法線と前記撮像方向とがなす角度により、前記撮像方向が前記計測対象の平面と正対しているか否かを判断することを特徴とする請求項２に記載の計測装置。
4. 前記判断手段は、前記計測対象の平面の法線と前記撮像方向とがなす角度が、正対しているとみなすとして予め定められた角度の閾値を上回らない場合に、前記撮像方向が前記計測対象の平面と正対しているものと判断することを特徴とする請求項３に記載の計測装置。
5. 前記第１の通知手段は、前記判断手段による前記撮像方向が前記計測対象の平面と正対しているか否かの判断の結果を通知することを特徴とする請求項２乃至４のいずれか１項に記載の計測装置。
6. 前記第１の通知手段は、前記判断手段により前記撮像方向が前記計測対象の平面と正対していないと判断された場合に、正対していない旨の通知を行うことを特徴とする請求項５に記載の計測装置。
7. 前記第１の通知手段による前記正対していない旨の通知は、前記撮像方向と前記計測対象の平面とが正対している場合の被写体の像と撮像画像とを提示することを含むことを特徴とする請求項６に記載の計測装置。
8. 前記判断手段により前記撮像方向が前記計測対象の平面と正対していると判断された場合に、該正対している状態で撮像された撮像画像に基づいて前記計測対象の平面に係る計測を行う計測手段をさらに有することを特徴とする請求項５乃至７のいずれか１項に記載の計測装置。
9. 前記計測手段により計測結果を提示する提示手段をさらに有することを特徴とする請求項８に記載の計測装置。
10. 前記判断手段により前記撮像方向が前記計測対象の平面と正対していると判断された場合に、正対している旨の通知を行う第２の通知手段をさらに有することを特徴とする請求項５乃至９のいずれか１項に記載の計測装置。
11. 計測項目を選択する選択手段と、
    前記選択手段により選択された計測項目に応じて、該計測項目に係る計測点であって、前記計測対象の平面に分布した計測点を指定する入力を受け付ける入力手段と、
    前記入力手段により受け付けられた入力に基づいて、前記計測対象の平面に投影される前記所定のパターンを調整する調整手段と、
    をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の計測装置。
12. 前記計測項目は、平面上の、２つの前記計測点間を結ぶ直線または曲線の長さ、または少なくとも３つの前記計測点で構成される領域の面積を含み、
    前記調整手段は、指定された前記計測点が分布する領域を包含するように前記所定のパターンを調整する
    ことを特徴とする請求項１１に記載の計測装置。
13. 前記調整手段は、前記選択手段により２つの前記計測点間を結ぶ直線が前記計測項目として選択された場合に、該直線に直交する複数の直線を含むよう前記所定のパターンを調整することを特徴とする請求項１２に記載の計測装置。
14. 前記選択手段により２つの前記計測点間を結ぶ直線が前記計測項目として選択された場合に、前記撮像画像において該直線が前記投影光学系と前記撮像光学系の配列方向に延びるように撮像を促す通知を行う第３の通知手段をさらに有することを特徴とする請求項１２または１３に記載の計測装置。
15. 指定された複数の前記計測点が異なる平面に分布している場合に、
    前記調整手段は、複数の前記計測点間に存在する平面の各々について前記所定のパターンを調整し、
    前記判断手段は、複数の前記計測点間に存在する平面の各々について、前記撮像方向が該平面と正対しているか否かを判断する
    ことを特徴とする請求項１１乃至１４のいずれか１項に記載の計測装置。
16. 請求項１乃至１５のいずれか１項に記載の計測装置と、
    前記投影光学系を介して前記所定のパターンを前記被写体に投影する投影手段と、
    前記撮像光学系を介して前記被写体を撮像し、前記撮像画像を出力する撮像手段と、
    を有することを特徴とする撮像装置。
17. 請求項１乃至１５のいずれか１項に記載の計測装置と、
    前記投影光学系を介して前記所定のパターンを前記被写体に投影する投影装置と、
    前記撮像光学系を介して前記被写体を撮像し、前記撮像画像を出力する撮像装置と、
    を有することを特徴とする計測システム。
18. コンピュータを、請求項１乃至１５のいずれか１項に記載の計測装置の各手段として機能させるためのプログラム。

Images