JPWO2013062087A1 - ３次元測定装置 - Google Patents

Abstract

視点画像の一方に入力される測定点と、視点画像の他方に設定される対応点とのズレを抑えて３次元測定の精度を高める。左視点画像（６Ｌ）に３次元測定の基準となる測定点（７）を入力する。測定点（７）から右視点画像６（Ｒ）に向かって水平に延ばした延長線上に対応点（８ａ）が設定される。キャリブレーションで位置調整したときに左右の視点画像（６Ｌ，６Ｒ）に垂直ズレＤが生じ、各視点画像（６Ｌ，６Ｒ）の測定点（７），対応点（８ａ）を通る直線（２４，２７）が水平線と小さい角度θで交差している場合には、真の対応点（８）とは大きく離れた位置に対応点（８ａ）が誤設定される。これを防ぐために、角度θが閾値Ｓ以下になる左右の視点画像（６Ｌ，６Ｒ）は、３次元測定に適していないと判定して警告する。

Description

本発明は、３次元情報測定用の視差画像を撮像する撮像装置並びに視差画像に基づいて３次元測定を行う測定装置及び測定プログラムに関するものである。

異なる２視点からそれぞれの視点画像を撮像し、対象物体上の特定点がそれぞれの視点画像で確認できる場合、三角測量の原理に基づいて特定点の座標及び、特定点から撮像位置までの距離を導くことができる。特許文献１には、この原理を用いた３次元測定装置について記載されている。

視差方向が水平な視差画像から３次元情報を得るためには、視差画像を構成する２枚の視点画像のそれぞれの水平線を視差方向に正しく一致させておかなければならない。例えば、２枚の視点画像を水平に並べて配置したとき、それぞれの視点画像内の水平線が相対的に傾いていると正しい３次元情報が得にくくなる。それぞれの視点から視点画像を撮像するときに、それぞれの撮像画面が水平姿勢に保たれるとともに、撮像の視点が同一水平線上にあれば問題はない。

ところが、一つの筐体に２つの撮像光学系が設けられたステレオカメラであっても、製造組み立て時や部品単位での誤差が累積し、あるいは経時変化などにより、例えば筐体を水平姿勢に保って撮像したとしても、個々の視点画像がわずかながら互いに傾いた姿勢で撮像され、あるいは視点画像が同一水平線上に配列されずに撮像されることがある。こうした自体に対処すべく、視差画像から測定対象物の寸法や撮像位置からの距離などを含む３次元情報を導出するに先立って、２枚の視点画像に対して２次元の射影変換処理（以下、キャリブレーションという）を施し、視点画像各々の水平方向を視差方向と一致させる処理（以下、画像の平行化という）が行われる。

特開２０００−２８３５５号公報

視差画像に対してキャリブレーションにより画像の平行化を行うと、２枚の視点画像の水平方向を互いに一致させることができる。しかし、装置の振動やキャリブレーションの精度によっては、２枚の視点画像を画面枠基準で水平に並べたときに、視点画像内の特定点の位置が水平線上に並ばず、垂直方向にずれてしまうこと（以下、垂直ズレ）がしばしば生じている。

視差画像から３次元情報の測定を行う際には、例えば左視点画像に測定指示点を設定し、この測定指示点を通る水平線を右視点画像に向かって延長し、右視点画像中に測定指示点に対応する対応点を探索する処理が行われる。そして、左視点画像中に測定指示点を通る直線がある場合には、測定指示点から右視点画像に延ばした水平線と、右視点画像中の該当する直線との交点が対応点として認識される。しかし、左右の視点画像の間に上述した垂直ズレが存在し、しかも左視点画像中に測定指示点を通る直線が存在する場合には、この直線の傾きが小さく水平に近ければ近いほど、対応点として認識される交点の座標が変動しやすくなる。３次元情報の測定は、左視点画像の測定指示点と右視点画像の対応点とが３次元空間では同一点であるという前提で行われるから、対応点の座標が大きく変動すると３次元測定の信頼性が損なわれてしまう。

本発明の目的は、一方の視点画像に入力された測定指示点に対応する対応点を他方の視点画像中で探索する際に、それぞれの視点画像の相互間で垂直ズレがあったとしても、その影響を最小限に留め、測定精度を落とすことがないようにした３次元測定用撮像装置並びに３次元測定方法及び装置を提供することである。

本発明の３次元測定用撮像装置は、視差画像撮像部と、画像データ記憶部と、画像表示部と、測定点入力部と、直線検出部と、角度検出部と、水平判定部と、警告発生部とを備えている。視差画像撮像部は、互いに異なる視点から第１視点画像、第２視点画像をそれぞれ撮像する第１カメラと第２カメラとを有する。画像データ記憶部は、第１，第２視点画像の画像データを記憶する。画像表示部は、第１，第２視点画像の少なくとも一方を表示する。測定点入力部は、画像表示部に表示された第１，第２視点画像のいずれかに測定点を入力する。直線検出部は、入力された測定点の近傍を通る直線を視点画像中から検出する。角度検出部は、直線が検出されたときに視点画像の水平方向に対してその直線が鋭角で交差する方の角度を検出する。水平判定部は、検出された角度が予め設定された閾値Ｓより小さい場合を水平線含有状態、検出された角度が閾値Ｓより大きい場合を水平線非含有状態と判定する。警告発生部は、水平判定部で水平線含有状態と判定された場合に警告を発生する。

警告が発生された場合には、撮像した第１，第２視点画像が３次元情報の算出にはあまり適していないことを表している。したがって、直線検出部で直線が検出されなかった場合、あるいは水平判定部で水平線非含有状態と判定された場合には、視差画像撮像部で撮像された第１，第２視点画像は画像データ記憶部に保存記録し、水平判定部で水平線含有状態と判定された場合には第１，第２視点画像の画像データの保存記録は中止し、未記録状態であることをユーザに警告する記録制御部を設けることが望ましい。

いずれかの視点画像に測定点が入力されたことに応答し、他方の視点画像中に測定点に対応する対応点を探索する対応点探索部を設け、対応点が探索された時には上述した直線判定部、角度検出部、水平判定部が測定点の代わりに対応点に対して同様の機能を発揮するようにしておくことも有効である。また、閾値Ｓとしては、第１，第２視点画像間に生じる垂直方向の画像のズレ量の許容最大値をＶｍａｘとし、３次元測定に際して許容される水平方向視差の誤差をＵｍａｘとしたとき、「Ｓ＝Ａｒｃｔａｎ（Ｖｍａｘ／Ｕｍａｘ）」とするのが望ましい。また、第１，第２撮像部がそれぞれ変倍機能をもつ光学系とともに用いられる場合には、撮像倍率の変更に応じて閾値Ｓの値を可変するのがよい。

画像表示部には視点画像の表示に併せ、直線検出部での直線の検出の有無や、水平判定部における判定結果を表示することが望ましい。そして記録制御部も、直線検出部による検出結果、水平判定手段の判定結果に関する情報を対応する視点画像の画像データに付加して画像データ記憶部に保存しておくのが好ましい。警告発生部は、角度検出部で検出された角度の大きさに応じて段階的に異なる警告を発生するのがよく、また警告の発生時には３次元測定に適した第１，第２視点画像の撮像を促す報知を行うのがよい。さらに、第１及び第２撮像部を各々の撮像光軸を中心に回転させるようにしておき、警告発生時には水平線非含有状態となるように自動的に第１，第２撮像部を回転させてもよい。

本発明は３次元測定装置の態様でも実施することができる。この３次元測定装置は、視差画像記憶部と、画像表示部と、測定点入力部と、対応点探索部と、３次元測定部と、直線検出部と、角度検出部と、水平判定部と、警告発生部とを備えている。視差画像記憶部は、外部から入力された第１視点画像と第２視点画像とを記憶する。画像表示部は、第１，第２視点画像の少なくともいずれかを表示する。測定点入力部は、画像表示部に表示された一方の視点画像に測定点を入力する。対応点探索部は、測定点が入力されていない他方の視点画像中に測定点に対応した対応点を探索する。３次元測定部は、第１，第２視点画像と、測定点と対応点に基づいて被写体の３次元情報を導出する。直線検出部は、測定点または対応点の近傍を通る直線を検出する。角度検出部は、直線が検出されると視点画像の水平方向に対して直線が鋭角で交差する方の角度を検出する。水平判定部は、検出された角度が予め設定された閾値Ｓより小さい場合を水平線含有状態、大きい場合を水平線非含有状態と判定する。警告発生部は、水平判定部で水平線含有状態の判定がなされたときに警告を発生し、視差画像記憶部に外部入力された第１，第２視点画像では、適切な３次元情報の導出ができないことを報知する。

警告発生部からは、前記角度検出部で検出された角度の大きさに応じ、３次元測定部で導出される３次元情報の精度が段階的に異なる警告を発生させてもよい。第１，第２視点画像間に生じる垂直方向の画像ズレ量の最大値をＶｍａｘとし、３次元測定に際して許容される水平方向視差の誤差をＵｍａｘとしたとき、閾値Ｓの値としては「Ｓ＝Ａｒｃｔａｎ（Ｖｍａｘ／Ｕｍａｘ）」とするのが好ましい。

一方の視点画像に入力された測定点に対応して他方の視点画像中に対応点を探索するには、ステレオマッチング処理を用いることが可能で、本発明ではより適切な対応点の導出を行うために対応点検出方向探索部などが設けられる。対応点検出方向探索部は、警告が発生したときに３次元測定部で３次元情報の導出を行う前に、対応点の導出対象となっている視点画像中から対応点を通る直線に沿って新たな対応点の探索を行う。そして新たな対応点が探索されたときには、元の対応点に変えて新たな対応点を３次元情報の導出に用いることも可能となる。特に、警告が発生したとき、水平判定部での判定の後に、視点画像の測定点を中心とする一定エリア内に属する特定画像と、測定点を通る直線に沿って一定エリアを走査したときに走査中の一定エリア内から順次に得られる走査画像とを比較して画像の類似性を判定し、その類似性が予め設定した基準レベル以下であるときは、先の対応点検出方向探索部で探索された新たな対応点が適切な対応点である可能性が高いから、新たな対応点を活かした３次元情報の導出が許容されるようにすればよい。

本発明には３次元測定プログラムの態様もあり、この場合には本発明プログラムは、視差画像記憶ステップと、画像表示ステップと、測定点入力ステップと、対応点探索ステップと、３次元測定ステップと、直線検出ステップと、角度検出ステップと、水平判定ステップと、警告発生ステップとから構成される。視差画像記憶ステップでは、撮像視点が互いに異なる第１視点画像と第２視点画像とが記憶媒体に記憶される。画像表示ステップでは、第１，第２視点画像の少なくとも一方が画像として表示される。測定点入力ステップでは、画像表示ステップで表示された一方の視点画像に測定点の入力処理が行われる。対応点探索ステップでは、測定点の入力対象ではない他方の視点画像中に、測定点に対応する対応点がステレオマッチング処理などの手法で探索される。３次元測定ステップでは、第１，第２視点画像と、測定点及び対応点に基づいて視点画像中に撮像された被写体に関する３次元情報の導出が行われる。そして、導出された３次元情報の信頼性を確認するために、直線検出ステップでは測定点または対応点の近傍を通る直線の有無を確認し、直線が検出されたときには、角度検出ステップが視点画像の水平方向に対して直線が鋭角で交差する方の角度を検出する。水平判定ステップでは、検出された角度が予め設定された閾値Ｓよりも小さい場合を水平線含有状態、大きい場合を水平線非含有状態と判定し、水平判定部で水平線含有状態と判定された場合、警告発生ステップでは、測定点と対応点との対応関係に信頼性が乏しく、結果的に３次元測定ステップで導出された３次元測定情報の信頼性も乏しい旨が警告される。

水平判定ステップで用いられる閾値Ｓの値としては、第１，第２視点画像間に生じる垂直方向の画像ズレ量の最大値をＶｍａｘとし、３次元測定に際して許容される水平方向視差の誤差をＵｍａｘとしたとき、「Ｓ＝Ａｒｃｔａｎ（Ｖｍａｘ／Ｕｍａｘ）」にするのが効果的である。また、警告発生ステップにて発生される警告は、角度検出ステップで検出された角度の大きさに応じて複数段階にすることが望ましい。

本発明によれば、視点画像の相互に画像の垂直ズレが生じており、しかも視差方向に対してわずかに傾いた直線パターンが視点画像中にあった場合でも、視点画像の一方に入力した測定点に対応する対応点を他方の視点画像に設定するときの誤設定を防ぎ、精度よく３次元測定を行うことができる。

本発明を用いた撮像装置の使用態様を示す説明図である。 撮像された視差画像の例を示す説明図である。 本発明を用いた撮像装置の構成の概略を示すブロック図である。 本発明の撮像装置による処理手順の一例を示すフローチャートである。 小さい傾斜の直線パターンがある視点画像間に垂直ズレが発生した場合の説明図である。 大きい傾斜の直線パターンがある視点画像間に垂直ズレが発生した場合の説明図である。 他の実施形態に係る撮像装置の構成の概略を示すブロック図である。 画像の類似性を判定する際の走査処理を示す説明図である。 改良された処理手順を含むフローチャートである。 さらに改良された処理手順を含むフローチャートである。

図１に示すように、本発明を用いた撮像装置はステレオカメラ２で構成され、左眼カメラ２ａと右眼カメラ２ｂが水平に並んで設けられている。それぞれのカメラ２ａ，２ｂに用いられている光学系は、焦点距離を含め光学的な諸元は共通である。また、それぞれの光学系の結像面には個別にイメージセンサが組み込まれている。これらの左眼カメラ２ａと右眼カメラ２ｂが視差画像の撮像部を構成している。

ステレオカメラ２の背面には液晶などで構成された画像表示パネル４が設けられている。それぞれのカメラ２ａ，２ｂで撮像されるライブ画像は、画像表示パネル４に横並びに表示される。シャッタボタン５を操作すると、その時点で表示されているライブ画像に続いて本撮像が行われ、左視点画像と右視点画像の画像データはそれぞれ対応づけられた上で同じ画像ファイルに記録される。なお、同じ画像ファイルには撮影距離や撮影倍率などの撮影条件を含むタグデータも記録される。

図１には、被写体３として家具を撮像し、その高さＨを三次元測定の対象とする例を表している。図２に示すように、ライブ画像として得られる左視点画像６Ｌと右視点画像６Ｒとを画像表示パネル４に横並びに表示させる。このとき、左視点画像６Ｌと右視点画像６Ｒとを正しく整列してそれぞれ水平姿勢を保って表示することができるように、ステレオカメラ２にはキャリブレーション機能が用意されている。しかし、キャリブレーション機能にも制約があり、図２に示すように左視点画像６Ｌと右視点画像６Ｒとが画面単位で上下にずれ、しかも一方がわずかに回転した姿勢で表示されることがある。

このステレオカメラ２を用いた３次元測定では、画像表示パネル４に表示された左視点画像６Ｌに基準となる測定点７を指定すると、この測定点７に対応する対応点８が他方の右視点画像６Ｒ上に自動的に設定される。この対応点８の算出処理に誤差ができるだけ入り込むことがないように、ステレオカメラ２には図３に機能ブロックで示す独特の構成が設けられている。測定点７は測定対象となる被写体３の上に指定されるのが通常であるから、図示のように輪郭線の上や形状線の上に入力されたり、目印になりやすい直線的な模様線の上に入力されたりすることが多い。

撮像部１１は、レンズ２ａ，２ｂ及びその結像面にそれぞれ個別に設けられたイメージセンサを含み、イメージセンサから順次に得られる撮像信号は信号処理部１２に入力される。信号処理部１２では周知の画像信号処理が行われ、ライブ画像として得られる左視点画像６Ｌ，第二視点画像６Ｒの画像データは信号処理部１２に接続されたＶＲＡＭ１３上で順次に書き換えられる。また、ＶＲＡＭ１３から適宜のタイミングで読み出された画像データにより、画像表示パネル４に左視点画像６Ｌと第二視点画像６Ｒとを表示することができる。

信号処理部１２には、直線検出部１４と、角度検出部１５とが設けられている。直線検出部１４は、図２に示すように、例えば左視点画像６Ｌ上に３次元測定の基準となる測定点７を指定したとき、この測定点７の上またはその近傍を、画像の一部を構成する何らかの直線状の線分が通っているか否かを検出する。なお、この場合の近傍とはイメージセンサの画素数及び画素サイズなどに応じて決められ、例えば測定点７から周囲に５画素分の範囲内として決めることができる。角度検出部１５は、直線検出部１４で検出された直線が水平線に対してどの程度の角度であるかを検出する。この場合の水平の基準は、測定点７が指定された左視点画像６Ｌを撮像しているイメージセンサの画素配列を基準にしている。

角度検出部１５が検出した直線の角度が水平に近いと、三次元情報を導出する際の信頼性に悪影響を及ぼすおそれがある。水平判定部１６は、検出された直線の角度が予め設定された閾値Ｓよりも小さい角度であるか否かを判定する。なお、水平に対する直線の傾きには特に方向性がないため、角度検出部１５は水平線に対して鋭角で交差する方の角度がどの程度であるかを検出する。

操作入力部１０は、前述した測定点７を入力するためのタッチパネルやカーソル操作ボタン、また３次元測定用の視差画像を記録として残すときに操作されるシャッタボタン５などが含まれ、３次元形状測定の基準となる測定点の入力部にも用いられる。信号処理部１２には、さらに警告発生部１９、画像データメモリ２０などが接続されている。警告発生部１９は、直線検出部１４及び水平判定部１６による評価、すなわち３次元測定用の画像として適切な画像が記録できるか否かの評価がＮＧであるときに警告動作を行う。このような警告発生部１９による警告処理としては、報知音の発生、画像表示パネル４上への警告表示、またシャッタボタン５の押圧操作を禁止するレリーズロック動作などを利用することができる。

画像データメモリ２０には、シャッタボタン５の操作で適正に撮像された左視点画像６Ｌ，第二視点画像６Ｒの画像データを保存することができる。画像データの保存に際しては、記録制御部１７による制御を加えるようにするとよい。例えば、シャッタボタン５の操作で撮像した左視点画像６Ｌ，右視点画像６Ｒは、一旦はＶＲＡＭ１３の所定エリアに記録されるが、上記のように必ずしも３次元情報の導出に適切でない場合もあり得る。したがって、そのような場合には記録制御部１７からのコマンドにより、画像データメモリ２０への画像データの記録・保存を自動的に中止しすることができる。なお、シャッタボタン５の操作で本撮像された視差画像の画像データについては、一旦画像データメモリ２０に書き込んでおくことも可能である。この場合、３次元測定に不適切なものであると判定されたときには、書き込まれた画像データを自動消去するような制御も可能となる。なお、これらの場合には画像表示パネル４に確認表示を行うのが望ましい。

図４に示すフローチャートを用いて、上記ステレオカメラ２が実行する処理について説明する。撮像処理Ｓ２では、シャッタボタン５の押圧操作を受けて、左眼カメラ２ａと右眼カメラ２ｂで撮像した左視点画像６Ｌと右視点画像６Ｒが撮像される。これらの一対の視点画像は、同じ画像ファイルに対応づけられた形で画像データメモリ２０に記録され仮保存される。そして、表示処理Ｓ３によりこれらの視点画像６Ｌ，６Ｒは画像表示パネル４に表示される。測定点入力処理Ｓ４は、画像表示パネル４に表示されている左視点画像６Ｌにおいて基準となる測定点７を指定する処理である。この処理には操作入力部１０からの操作、例えばマウスによるカーソル操作あるいは画像表示パネル４に組み込まれたタッチパネルへのタッチ操作を用いることができる。

直線検出処理Ｓ５では、直線検出部１４にて測定点７の真上あるいはその近傍を通る直線を検出する。直線判定処理Ｓ６で該当する直線があることが検出されると、角度検出部１５により角度検出処理Ｓ７が行われ、水平線に対するその直線の鋭角側で交差している角度θが検出される。そして、水平判定処理Ｓ８により角度θが閾値Ｓよりも大きいか否かが判定される。閾値Ｓよりも角度θが大きければ水平判定部１６は水平線非含有状態と判定し、当該直線の存在により３次元情報の導出には影響が少ないと判断する。なお、３次元情報としては、視差画像の撮像対象となっている被写体の全体あるいは部分的なサイズ、撮像位置から被写体までの距離などがある。

直線検出処理Ｓ５で測定点Ｓ７の近傍に直線パターンが存在していない場合も、水平線非含有状態と同様に特に３次元情報の導出には問題がない状態であると判断される。これらの場合には、今回撮像された左視点画像６Ｌと右視点画像６Ｒは３次元測定に適する視差画像として分類することができ、記録制御部１７は画像記録処理Ｓ９によりこの視差画像に係る画像データは、撮影条件などのタグデータとともに共通ファイル内のデータとして画像データメモリ２０に本記録され保存される。また、角度検出処理Ｓ７で検出された角度θもタグデータの一つに追記録しておいてもよい。

直線判定処理Ｓ６により直線が検出され、かつ水平判定処理Ｓ８により当該直線が閾値Ｓ以下である場合には水平線含有状態と判定され、３次元測定に適さない視差画像に分類される。そのため、当該視差画像については、３次元測定に適する視差画像とは分類して取り扱うことが好ましい。そして、例えば、３次元測定に適しない視差画像に対してのみ画像記録処理Ｓ９による記録処理を行わないという制御が可能である。また、画像記録処理Ｓ９によって記録する際に、３次元測定に適さない視差画像に対してのみ当該画像に３次元測定に適さない旨を付して記録処理を行うという制御も可能である。

また、３次元測定に適さない視差画像が撮像された場合には、画像表示パネル４上に角度検出処理Ｓ７で測定された角度θの表示に併せて３次元情報の測定精度が低下する旨の表示を行ったり、画像データメモリ２０への保存が中止された旨の表示を行ったりすることが望ましい。もちろん、警告にかかわらず、撮像した視差画像を強行保存する操作も選択肢に含めておこともでき、この場合には警告の内容を画像データとともに保存するのがよい。さらに、図４の警告処理Ｓ１０以降に示すように、再撮像処理Ｓ１１を促すことも可能である。なお、警告処理を行うにあたっては、角度導出処理Ｓ７によって導出された角度に従って、段階的に警告の度合いを変更するように設定しておくことも可能である。なお、警告は画像やマークなどの画面表示以外に、音または音声によるものであってもよい。

上述した３次元情報の測定に適するか適さないかの判断基準は、３次元情報の導出過程を考慮したもので以下を根拠にしている。撮像された左視点画像６Ｌと右視点画像６Ｒに対してキャリブレーションにより画像の平行化を行うと、２つの視点画像が水平に配列される。しかし、ステレオカメラ２の組み立て精度のばらつきや経時変化、またキャリブレーションの精度などによっては、一対の視点画像が完全に水平に配列されず、垂直ズレがしばしば起こり得る。図５に示す垂直ズレＤがそれに該当する。

また、撮像された左視点画像６Ｌと右視点画像６Ｒから３次元情報を導出する際には、測定対象となる被写体３の視差を導出するために、左視点画像６Ｌの被写体３上に設定した測定点７に対応する対応点８を右視点画像６Ｒで取得することが必須となる。対応点８は、左右の視点画像６Ｌ，６Ｒが水平に配列表示された画面において、測定点７から水平方向に向かって探索され、取得される。

図５Ａに示すように、左視点画像６Ｌに入力した測定点７を取得し、直線検出処理Ｓ５により測定点７の中心に略水平な直線２４が検出された場合、右視点画像６Ｒに向かって測定点７から水平に対応点８の探索が行われる。両画像間に垂直ズレＤが生じていると、左視点画像６Ｌの直線２４に対応する右視点画像の直線２７も垂直ズレＤだけ上方に変位した状態となっている。このため、測定点７から対応点８水平に探索してゆくと、画面の横座標に関しては真の対応点８よりも大きく左方に寄った対応点８ａが設定される。そして、左右の視点画像６Ｌ，６Ｒ上の測定点７と対応点８ａとが被写体３の同一点であることを前提にして３次元情報の導出が行われるため、精度の低下を防ぐことができない。

これに対し、図５Ｂに示すように、左視点画像６Ｌに入力した測定点７を取得し、直線検出処理Ｓ５によりその中心に水平から大きく傾いた直線３１のみが検出される場合は、対応点８の設定誤差は軽度になる。両画像６Ｌ，６Ｒ間に同様の垂直ズレＤが生じていたとしても、測定点７から水平方向に対応点８を探索したとき、直線３１に対応する直線３４に対しては対応点８ｂが取得され、真の対応点８と比較して大きく変位しない。

したがって、図５Ａに示す状況下では、左右の視点画像６Ｌ，６Ｒは３次元測定には適さないから回避することが好ましい。一方、図５Ｂに示す状況の下では、不用意な誤差は生じにくいため、３次元測定には適しているとみなすことができる。図４に示されるこのような判断処理を行うことによって、ステレオカメラ２によって３次元情報の導出を目的としながら、不用意な視差画像が撮像されることを防ぐことができる。これにより、このステレオカメラ２によって適正に撮像された視差画像によれば、精度のよい３次元情報の導出ができるようになり、３次元測定用のステレオカメラ２として信頼性を高めることができる。

また、対応点の許容最大変位から、水平判定処理Ｓ８における閾値Ｓを設定する方法を以下に説明する。上述した垂直ズレの大きさをＶ、角度検出処理Ｓ７により導出された角度をθとおいた場合、対応点は真の対応点に対して、水平方向に生じる変位Ｕは、
Ｕ＝Ｖ×ｃｏｔθ
と表される。垂直ズレの最大値をＶｍａｘ、水平方向の許容最大変位をＵｍａｘとすると、上記式のＶにＶｍａｘを、ＵにＵｍａｘを代入して、θに対して解くことで、水平判定処理Ｓ８にて設定すべき閾値Ｓが
Ｓ＝Ａｒｃｔａｎ（Ｖｍａｘ／Ｕｍａｘ）・・・（１）
と導出される。このように水平判定処理Ｓ８における閾値Ｓを設定することが望ましい。また、撮像倍率によって生じる誤差が変化するため、閾値Ｓを撮像倍率の変更に応じて可変することが望ましい。

ステレオカメラ２を三次元測定用の撮像装置として用い、撮像した左視点画像６Ｌと右視点画像６Ｒの画像データをタグデータとともに、パーソナルコンピュータで構成された三次元測定装置に入力する態様を採ることもできる。この場合、ステレオカメラ２としては、測定点７を基準にして撮像した視差画像が適切なものであるか否かを判定すれば十分である。しかし、ステレオカメラ自体に３次元測定を行う機能をもたせる場合には、ステレオカメラに上述のような対応点の探索機能を追加しなければならない。

図６に示す改良されたステレオカメラは、第１実施形態のステレオカメラ２の信号処理部１２に、水平探索部３６と検出方向探索部３７とを有する対応点探索部３５と、類似線判定部３８、さらに３次元測定部４０とを設けたものである。水平探察部３６は、図５Ａ及び図５Ｂで説明したように、左視点画像６Ｌに入力された測定点７から右視点画像中６Ｒに対応点８を探索する際に、測定点７から水平方向に探索する作用を行う。検出方向探索部３７は、入力された測定点の真上あるいは近傍を通る直線が検出され、その角度θが閾値Ｓ以下であったときには、対応点の真上またはその近傍を通る直線上に新たな対応点を探索する作用をもつ。

類似性判定部３８は、左視点画像８Ｌに測定点７を入力したとき、その真上または近傍を通る直線が検出され、そしてその角度θが閾値Ｓ以下であったときに機能する。この類似性判定部３８の作用は、図７に示すように、検出された直線４４上の測定点７を中心にして一定サイズの画像確認エリア４５を設定し、測定点７を仮想的に直線４４に沿って走査する。走査に伴う仮想的な測定点７ａ，７ｂとともに画像確認エリア４５も破線で示すように移動し、この移動の間に画像確認エリア４５内の画像の類似性が判定され、評価される。なお、画像確認エリア４５が直線４４の全長分をカバーするように走査は双方向に行われる。

類似性の判断基準は、当初の測定点７を中心とする画像確認エリア４５内の画像であり、走査ごとに得られる画像確認エリア４５内の画像を、濃度分布やカラー分布の類似性、パターン認識などで判定することができる。判定処理を効率化するには、例えば上述した濃度分布やカラー分布の類似性、パターンの類似性などの評価項目ごとに類似性の高低に対応するポイントを設定し、そのトータルポイントを予め設定した閾値と比較するなどの手法を採ることができる。画像確認エリア４５のサイズは、例えば５０×５０画素分などのように画素数で適宜に調整すればよい。

図８に示すフローチャートを用いて、第２の実施形態の機能について説明する。図６に示すステレオカメラでは、図４に示す処理に加え、類似性判定部３８及び対応点探索部３５、そして３次元測定部４０による処理が可能となっている。したがって、このステレオカメラは撮像部一体型の３次元測定装置としてもとらえることができる。

先の実施形態と同様に測定点入力処理Ｓ４を行った後、直線検出処理Ｓ５の前に水平探索部３６によって右視点画像７Ｒに対する対応点の水平探索処理Ｓ１１が行われ、例えば図５で説明したように測定点７に対して対応点８が取得される。続いて直線の検出処理Ｓ５、直線判定処理Ｓが行われ、直線の角度θが閾値Ｓを越えている場合には撮像された視差画像は適正なものと判断され３次元情報の導出処理Ｓ１２に用いられる。導出された３次元情報は画像表示パネル４に表示され、タグデータとして視差画像の画像データとともに画像データメモリ２０に保存される。

直線の角度θが閾値Ｓ以下であるときには、図５Ａで説明したように、対応点８の探索結果に誤差が入り込んでいることが懸念される。このため、水平判定処理Ｓ８に続いて検出方向探索部３７による対応点の探索処理Ｓ１３が行われる。この探索処理Ｓ１３では、先の水平探索処理Ｓ１１で取得された対応点を、その対応点またはその近傍を通る直線に沿って新たな対応点が探索される。図５Ａを用いて説明すれば、右視点画像６Ｒ中で、元の対応点８ａから新たな対応点８を探索する処理である。新たな対応点８に該当するか否かを判定する際には、測定点７を中心とする左視点画像６Ｌ内の一定サイズのエリア内画像と、新たに探索された対応点を中心とする右視点画像６Ｒ内の一定サイズのエリア内画像との類似性が基準となり、より類似性の高いものが新たな対応点として特定される。

この探索処理Ｓ１３の結果、検出確認処理Ｓ１４で新たな対応点の検出が確認された場合には、対応点置換処理Ｓ１５によって元の対応点が新たな対応点に置換される。これにより、より信頼性の高い対応点が探索されることになり、本来３次元測定に適さない視差画像に対しても、対応点の変位を修正して、高精度に測定することが可能になる。新たな対応点の検出が行われなかった場合には、対応点の位置に信頼性が乏しい旨の警告処理Ｓ１６が行われる。この警告処理１６としては、先の実施形態と同様に再撮像操作を促すことも可能である。再撮像を行う場合には、好ましくは先の撮像とは異なる態様で撮像を行うことが望ましい。その一助として、撮像部１１に付加機能を設けておくことも有効である。

図６に示すように、左眼カメラ２ａ，右眼カメラ２ｂに回転機構４２を組み合わせ、モータの回転により左眼カメラ２ａ，右眼カメラ２ｂを各々の撮像光軸を中心に同方向に同角度回転できるようにしておく。回転機構４２としては、左眼カメラ２ａと右眼カメラ２ｂの鏡筒の外周にギヤを固定し、その両者にモータで駆動される連動ギヤを噛み合わせておくだけもよい。警告処理Ｓ１６で再撮像が促され、これに応じるときには回転機構４２により左眼カメラ２ａ，右眼カメラ２ｂを回転させれば、撮像される左右の視点画像中の直線が大きく傾いて水平線非含有状態になるから、３次元情報の導出に適した視差画像を撮像できる確率が高くなる。

さらに類似性判定部３８を用いた対応点探索処理について、図８のフローチャートにより説明する。水平判定処理Ｓ８によって直線の角度θが閾値Ｓ以下であり、水平線含有状態と判定された場合には、一対の視点画像６Ｌ，６Ｒは３次元測定に適さないものと分類される。しかし、この３次元測定に適さない理由は対応点の位置の信頼性が低いことに起因するものであるから、その信頼性を高めることができれば３次元測定に用いることが可能になる。もちろん、検出方向探索部３７による対応点の探索処理Ｓ１３や置換処理Ｓ１５は対応点導出時の信頼性を高める上で有効であるが、測定点を中心に検出した直線付近の画像が類似している場合には、右視点画像６Ｒ側でも直線付近に沿って類似した画像が存在する確率が高いことを意味しているから、真の対応点は非常に探索しにくい状況となる。

図７に示す左視点画像６Ｌにおいて、測定点７を中心とする画像確認エリア４５内の画像と、測定点７を通る直線４４に沿って移動させた後の測定点７ａ，７ｂを中心とする画像確認エリア４５の画像とが類似している場合が、真の対応点の導出が困難な場合に相当する。一方、これらの画像間に類似性がない場合が真の対応点の導出が可能な場合に相当する。そこで、図８に示すように、水平判定処理Ｓ８で水平線含有状態であると判定された場合、左視点画像６Ｌに関し、画像確認エリア内の画像の読み込み処理Ｓ１８と、読み込まれた画像の類似性を判断する判断処理Ｓ１９を組み合わせた類似性判定処理Ｓ２０を行うのが効果的である。

類似性判定処理Ｓ２０で類似性が高いと判定された場合には、入力された測定点７を中心とする画像確認エリア４５内の画像が特徴的でないことを意味している。このため、探索処理Ｓ１３を行って右視点画像中に新たな対応点が得られたとしても、類似した画像の中での探索結果であり、真の対応点に該当する確率は低くなっている。したがって、類似性判定処理Ｓ２０で類似性が高いと判定されたときには、警告処理Ｓ１６に処理を移行する方が効率的な処理であると言える。

逆に、類似性が低いと判定された場合には、入力された測定点７の周囲の画像に特徴があることを意味する。したがって、探索処理Ｓ１３で新たな対応点を探索する過程で、新たな対応点を中心とする一定サイズの画像が、測定点を中心とする一定サイズの画像に対し、より高い類似性を示す可能性も高くなる。こうして新たな対応点が探索されたときには、元の対応点を新たな対応点に置換して用い、３次元測定の精度を高めることができる。

なお、警告処理Ｓ１６では、以上の類似性判定処理Ｓ２０による判定結果をも含めて画像表示パネル４に表示することが望ましい。また、これまでの実施形態と同様、水平判定処理Ｓ８の結果を表示したり、画像記録処理Ｓ９を行う際には、画像データとともに直線判定処理Ｓ６の結果や水平判定処理Ｓ８の結果、あるいは類似性判定処理Ｓ２０の結果を記録してもよい。さらに、再撮像時に回転機構４２を利用して左眼カメラ２ａ，右眼カメラ２ｂを光軸回りに回転させたときには、再撮像で得られた視差画像の画像データに回転角度の情報を付加しておくのがよい。

以上に説明した実施形態は、基本的には撮像部１１を構成とする撮像装置に係わるものであるが、本発明は撮像部１１を構成要素として含まない３次元測定装置として用いることもできる。この場合、図６に示す操作入力部１０をキーボードあるいはタッチパネル式の操作入力部に、画像表示パネル４をパソコン用のモニタに、画像データメモリ２０をパソコンの内部メモリあるいは外付けメモリに対応させ、パソコンの演算処理部に信号処理装置１２の機能をもたせておけばよい。

そして、外部データとなる視差画像データをパソコンの内部メモリあるいは外付けメモリに入力すれば、パソコンの演算処理部の機能を利用して全く同様に３次元形状の測定を行うことができる。さらに、本発明の３次元測定装置による実質的な測定機能は、パソコンの演算処理部に相当する信号処理部１２に含まれるそれぞれの処理部によって実行されるから、本発明は３次元測定装置を機能させる測定プログラムの態様でも実施可能である。

上述した各種の実施形態においては、第１，第２視点画像として左右に配列表示される左視点画像と右視点画像とを用いて説明したが、視差の方向は必ずしも水平方向でなくてもよい。また、測定点の入力も左視点画像に限られず、少なくとも２種類の視点画像のいずれか一方であればよい。測定点から対応点を探索するには、例えば各視点画像における四隅などの特定の固定点からの座標を用いて測定点に対応する対応点を探索してもよい。

２ ステレオカメラ
２ａ 左眼カメラ
２ｂ 右眼カメラ
４ 画像表示パネル
６Ｌ 左視点画像
６Ｒ 右視点画像
７ 測定点
８ 対応点

本発明は、視差画像に基づいて３次元測定を行う３次元測定装置に関するものである。

本発明の目的は、一方の視点画像に入力された測定指示点に対応する対応点を他方の視点画像中で探索する際に、それぞれの視点画像の相互間で垂直ズレがあったとしても、その影響を最小限に留め、測定精度を落とすことがないようにした３次元測定装置を提供することである。

本発明の３次元測定装置は、視差画像記憶部と、画像表示部と、測定点入力部と、対応点探索部と、３次元測定部と、直線検出部と、角度検出部と、水平判定部と、警告発生部と、対応点検出方向探索部とを備えている。視差画像記憶部は、外部から入力された第１視点画像と第２視点画像とを記憶する。画像表示部は、第１，第２視点画像の少なくともいずれかを表示する。測定点入力部は、画像表示部に表示された一方の視点画像に測定点を入力する。対応点探索部は、測定点が入力されていない他方の視点画像中に測定点に対応した対応点を探索する。３次元測定部は、第１，第２視点画像と、測定点と対応点に基づいて被写体の３次元情報を導出する。直線検出部は、測定点または対応点の近傍を通る直線を検出する。角度検出部は、直線が検出されると視点画像の水平方向に対して直線が鋭角で交差する方の角度を検出する。水平判定部は、検出された角度が予め設定された閾値Ｓより小さい場合を水平線含有状態、大きい場合を水平線非含有状態と判定する。警告発生部は、水平判定部で水平線含有状態の判定がなされたときに警告を発生し、視差画像記憶部に外部入力された第１，第２視点画像では、適切な３次元情報の導出ができないことを報知する。対応点検出方向探索部は、警告が発生したときに３次元測定部で３次元情報の導出を行う前に、対応点の導出対象となっている視点画像中から対応点を通る直線に沿って新たな対応点の探索を行う。対応点検出方向探索部により新たな対応点が検出されたときには、元の対応点に変えて新たな対応点を３次元情報の導出に用いる。

また、警告が発生したとき、水平判定部での判定の後に、視点画像の測定点を中心とする一定エリア内に属する特定画像と、測定点を通る直線に沿って一定エリアを走査したときに走査中の一定エリア内から順次に得られる走査画像とを比較して画像の類似性を判定し、その類似性が予め設定した基準レベル以下であるときは、先の対応点検出方向探索部で探索された新たな対応点が適切な対応点である可能性が高いから、新たな対応点を活かした３次元情報の導出が許容されるようにすることが好ましい。

Claims (19)

1. 互いに異なる視点から、それぞれ第１視点画像，第２視点画像を撮像する第１及び第２カメラを有する視差画像撮像部と、
   前記第１及び第２視点画像の画像データが記録される画像データ記憶部と、
   前記第１，第２視点画像の少なくともいずれかを表示する画像表示部と、
   前記第１，第２視点画像上のいずれかに測定点を入力する測定点入力部と、
   前記測定点の近傍を通る直線を検出する直線検出部と、
   前記直線検出部で直線が検出されたとき、視点画像の水平方向に対して前記直線が鋭角で交差する方の角度を検出する角度検出部と、
   前記角度が予め設定された閾値Ｓより小さい場合を水平線含有状態、前記角度が前記閾値Ｓより大きい場合を水平線非含有状態と判定する水平判定部と、
   前記水平判定部で水平線含有状態と判定された場合に警告を発生する警告発生部と、
   を有することを特徴とする３次元測定用撮像装置。
2. 前記直線検出部で直線が検出されなかった場合、あるいは前記水平判定部で水平線非含有状態と判定された場合に前記視差画像撮像部が撮像した第１及び第２視点画像の画像データを画像データ記憶部に記録し、
   前記水平判定部で水平線含有状態と判定された場合、前記画像データの記録を中止して未記録状態であることを警告する記録制御部を備えた請求の範囲第１項記載の３次元測定用撮像装置。
3. 前記第１及び第２視点画像の一方に前記測定点が入力されたことに応答し、他方の視点画像中から前記測定点に対応する対応点を探索する対応点探索部を備え、前記対応点の導出時には前記直線判定部、前記角度検出部及び水平判定部が前記測定点に代わって前記対応点に対して機能する請求の範囲第２項記載の３次元測定用撮像装置。
4. 前記第１，第２視点画像間に生じる垂直方向の画像ズレ量の最大値をＶｍａｘとし、３次元測定に際して許容される水平方向視差の誤差をＵｍａｘとしたとき、前記閾値Ｓが、
   Ｓ＝Ａｒｃｔａｎ（Ｖｍａｘ／Ｕｍａｘ）
   である請求の範囲第１項〜第３項いずれか記載の３次元測定用撮像装置。
5. 前記第１及び第２撮像部は、それぞれ変倍機能を持つ光学系とともに用いられ、前記光学系による撮像倍率の変更に応じて前記閾値Ｓの値が可変される請求の範囲第４項記載の３次元測定用撮像装置。
6. 前記画像表示部は、前記直線検出部における直線の検出の有無、及び前記水平判定部における判定結果を視点画像とともに表示する請求項１記載の３次元測定用撮像装置。
7. 前記記録制御部は、前記直線判定手段の結果及び前記水平判定手段の結果に関する情報を対応する視点画像の画像データに付加して前記画像データ記憶部に記録する請求の範囲第２項記載の３次元測定用撮像装置。
8. 前記警告発生部は、前記角度検出部で検出された角度の大きさに応じ、段階的に異なる警告を発生する請求項１記載の３次元測定用撮像装置。
9. 前記警告発生部は、警告の発生時に前記視差画像撮像部による前記第１及び第２視点画像の再撮像操作を促す報知を行う請求の範囲第１項記載の３次元測定用撮像装置。
10. 前記再撮像操作を促す報知が行われる際に、前記第１及び第２撮像部をそれぞれの撮像光軸を中心に、前記角度が大きくなる方向に回転させる回転機構を有する請求の範囲第９項記載の３次元測定用撮像装置。
11. 外部入力された第１視点画像と第２視点画像とを記憶する視差画像記憶部と、
    前記第１，第２視点画像の少なくともいずれかを表示する画像表示部と、
    前記第１，第２視点画像上の一方に測定点を入力する測定点入力部と、
    前記第１，第２視点画像上の他方に前記測定点に対応する対応点を探索する対応点探索部と、
    前記第１及び第２視点画像と、前記測定点及び対応点とに基づいて前記被写体に関する３次元情報を導出する３次元測定部と、
    前記測定点または対応点の近傍を通る直線を検出する直線検出部と、
    前記直線検出部で直線が検出されたとき、視点画像の水平方向に対して前記直線が鋭角で交差する方の角度を検出する角度検出部と、
    前記角度が予め設定された閾値Ｓより小さい場合を水平線含有状態、前記角度が前記閾値Ｓより大きい場合を水平線非含有状態と判定する水平判定部と、
    前記水平判定部で水平線含有状態と判定された場合に警告を発生する警告発生部と、
    を有することを特徴とする３次元測定装置。
12. 前記画像表示部は、前記３次元測定部で導出された３次元情報を表示する請求の範囲第１１項記載の３次元測定装置。
13. 前記警告発生部は、前記角度検出部で検出された角度の大きさに応じ、前記３次元測定部で導出される３次元情報の信頼性が段階的に異なる警告を発生する請求項１２記載の３次元測定装置。
14. 前記第１，第２視点画像間に生じる垂直方向の画像ズレ量の最大値をＶｍａｘとし、３次元測定に際して許容される水平方向視差の誤差をＵｍａｘとしたとき、前記閾値Ｓが、
    Ｓ＝Ａｒｃｔａｎ（Ｖｍａｘ／Ｕｍａｘ）
    である請求の範囲第１１項記載の３次元測定装置。
15. 前記警告の発生時、前記３次元測定部で３次元情報の導出を行う前に、対応点が導出された視点画像中から前記対応点を通る直線に沿って新たな対応点の探索を行う対応点検出方向探索部を有し、前記対応点検出方向探索部が新たな対応点を検出されたときには対応点を前記新たな対応点に置換する請求の範囲第１１項記載の３次元測定装置。
16. 前記警告の発生時、前記水平判定部での判定の後に、前記測定点が入力された視点画像の前記測定点を中心とする一定エリア内の特定画像と、前記測定点を通る直線に沿って前記一定エリアを走査したときに走査中の前記一定エリア内から順次に得られる走査画像とを比較して画像の類似性を判定し、類似性が予め設定した基準レベル以下であるときは、前記対応点検出方向探索部で探索された新たな対応点への置換の後に前記３次元測定部で３次元情報の導出が許容される請求の範囲第１５項記載の３次元測定装置。
17. 撮像視点が互いに異なる第１視点画像と第２視点画像とを記憶する視差画像記憶ステップと、
    前記第１，第２視点画像の少なくともいずれかを表示する画像表示ステップと、
    前記第１，第２視点画像の一方に測定点を入力する測定点入力ステップと、
    前記第１，第２視点画像上の他方に前記測定点に対応する対応点を探索する対応点探索ステップと、
    前記該１及び第２視点画像と、前記測定点及び対応点とに基づいて各視点画像中の被写体に関する３次元情報を導出する３次元測定ステップと、
    前記測定点または対応点の近傍を通る直線を検出する直線検出ステップと、
    前記直線検出ステップで直線が検出されたとき、視点画像の水平方向に対して前記直線が鋭角で交差する方の角度を検出する角度検出ステップと、
    前記角度が予め設定された閾値Ｓより小さい場合を水平線含有状態、前記角度が前記閾値Ｓより大きい場合を水平線非含有状態と判定する水平判定ステップと、
    前記水平判定部で水平線含有状態と判定された場合に警告を発生する警告発生ステップと、
    をコンピュータに実行させるための３次元測定プログラム。
18. 前記警告発生ステップは、前記角度検出部で検出された角度の大きさに応じ、前記３次元測定部で導出された３次元情報の信頼性が段階的に異なる警告を行う請求項１７記載の３次元測定プログラム。
19. 前記第１，第２視点画像間に生じる垂直方向の画像ズレ量の最大値をＶｍａｘとし、３次元測定に際して許容される水平方向視差の誤差をＵｍａｘとしたとき、前記閾値Ｓが、
    Ｓ＝Ａｒｃｔａｎ（Ｖｍａｘ／Ｕｍａｘ）
    である請求の範囲第１７項記載の３次元測定プログラム。

Images