JP5713624B2

JP5713624B2 - 三次元計測方法

Info

Publication number: JP5713624B2
Application number: JP2010239980A
Authority: JP
Inventors: 林　禎; 禎林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-11-12
Filing date: 2010-10-26
Publication date: 2015-05-07
Anticipated expiration: 2030-10-26
Also published as: JP2011123051A; EP2499616A1; US20120224033A1; EP2499616B1; WO2011058742A1; CN102667854A; CN102667854B; US9418435B2

Description

本発明はステレオカメラを使った三次元計測方法に関するものである。

従来、物品の角部などの特徴点の三次元座標を計測するための手法として、２つのカメラを用いたステレオ計測法と呼ばれる方法が用いられている。この方法では以下のフローチャートに示すように、ある物品の特徴点の三次元座標を計測するにあたって、
Ｓｔｅｐ１０１（校正）：あらかじめ精密な校正チャートを用いて、各カメラの画像歪を補正するとともに２つのカメラのそれぞれの焦点位置および各センサ面の相対位置を求める。
Ｓｔｅｐ１０２（撮影）：２つのカメラに共に特徴点が写るように撮影を行う。
Ｓｔｅｐ１０３（対応点の探索）：パターンマッチング等で各センサ面に写っている特徴点に対応する対応点の三次元座標を探索する。
Ｓｔｅｐ１０４（三角測量）：Ｓｔｅｐ１０３でもとめた２つの対応点から三角測量法により三次元計測を行うことで特徴点の三次元座標を計測する。
の以上の４Ｓｔｅｐで三次元計測が行われる。

Ｓｔｅｐ１０２の撮影においては２つのカメラが共通視野を持つ必要がある。高い精度が必要な場合、画角が狭い狭角レンズを用いる方が計測分解能が高く有利であるが、共通視野が小さく、三次元計測範囲が狭くなってしまう。また広角レンズであっても、精度を上げるため接写する条件では共通視野は小さく、三次元計測範囲は狭くなってしまう。このように高い計測精度と広い計測範囲はトレードオフの関係にあった。

これに対して特許文献１では人間の眼球運動を模擬して、三次元計測範囲を広く取る方法が開示されている。この特許文献１では同公報の図３に示されたカメラのレンズの前方に楔形のプリズムを配置し、この楔形のプリズムを回転させることによって光軸を偏向させ各カメラの撮影位置を変えることができるようになっている。また楔型プリズムを２つ組み合わせることにより、偏向角の大きさφと偏向位置θを独立に駆動できるようにしてある。この装置を有する２つのカメラを用い、視野を同期して動かすことにより共通視野をスキャンして、結果として広い三次元計測範囲を確保することができる。このとき各カメラは十分な精度が得られるように狭角レンズを用いるか，接写にて撮影を行えば、高い計測精度と広い計測範囲を両立可能であることが開示されている。
またロボットアーム等に三次元計測装置を搭載した場合の様な、振動が常に生じるため撮影には悪条件であっても、偏向角の大きさと偏向位置を独立に制御することにより高精度の三次元計測が可能なようにする方法が開示されている。

特開平６−７５１４９号公報

しかしながら上記特許文献１に記載された装置を用いて三次元計測を行う場合、各カメラの撮影位置を変えるため楔形プリズムを回転させる必要があった。このため通常の２台のカメラに加えて，モータや歯車、プリズムからなる機構およびその制御回路が必要となる。また二つのカメラで合計４つのプリズムを同期して駆動するためには高度な同期が可能なモータの制御駆動回路が４回路必要であり、カメラ制御の基板サイズが大きくなる。また計測する上でプリズムを駆動するための位置決め時間が必要であり、その分計測時間が余計にかかってしまう。

このため特許文献１記載のステレオ計測手法およびその装置をロボットアームなどに搭載する場合には、２台のカメラのほか上述の機構や制御回路が必要なため、重量やサイズが問題となり、ステレオカメラを搭載したロボットアームの小型化の障害となる。

本発明は以上の課題を鑑みなされたものであり、三次元計測方法において、特別な機構、回路の追加なく、高い精度と広い計測範囲を両立し、サイズ、重量や駆動計測時間の増加のないロボットハンドの搭載に好適な三次元計測方法を提供する。

上記目的を達成するための本発明の三次元計測方法は、少なくとも二つのカメラを用いてステレオ計測法にて物品の特徴点の三次元座標を計測する三次元計測方法であって、
第一のカメラにて特徴点を撮影し、第二のカメラは前記特徴点を撮影しないが、前記第二のカメラにて前記特徴点に連なる特徴点群を撮影する工程と、
前記特徴点に対応する第一のカメラのセンサ面上の対応点、及び前記第一のカメラの焦点位置、及び前記第二のカメラの焦点位置を含む平面を算出し、前記算出された平面と前記第二のカメラのセンサ面を含む平面との交差線である第一の線を算出する工程と、
前記特徴点に連なる前記特徴点群に対応する前記第二のカメラのセンサ面上の対応点群からなる第二の線を算出する工程と、
前記第一の線と前記第二の線の交点を求めて、前記特徴点に対応する前記第二のカメラのセンサ面を含む平面上の対応点を算出する工程と、
前記第一のカメラのセンサ面上の対応点と前記第一のカメラの焦点位置を通る直線と前記第二のカメラのセンサ面上の対応点と前記第二のカメラの焦点位置を通る直線を算出すると共に、算出された両直線の交点を前記特徴点の三次元座標として算出する工程と、
を有することを特徴とする。

上記のように構成された本発明の三次元計測方法によれば、より広い計測範囲を得ることが可能となる。

このとき２つのカメラが共通視野を持つことは必須でないので、カメラの共通視野以外の視野を活用することによって、従来例のように広い計測範囲を得るために広角レンズを用いる必要がなく、結果としてセンサの分解能を生かして高精度の計測が可能となる。

さらに、特許文献１に示された技術と比較して付加的な機構や制御回路を用いる必要がないため、カメラ部は小型軽量にでき、また機構の駆動が必要ないため高速に計測可能である。

本発明の第一の実施形態に係る三次元計測方法を説明するフローチャートである。本発明の第一の実施形態に係るカメラ設定を説明する図である。本発明の第一の実施形態に係る２つのカメラで撮影された画像を示す図である。本発明の第一の実施形態に係るカメラ座標の座標軸を示す図である。本発明の第一の実施形態に係る第一の直線の求め方を説明する図である。本発明の第一の実施形態に係る第二の直線の求め方を説明する図である。三角測量法の原理を説明する図である。本発明の第一の実施形態に係る別の処理例を説明する図である。本発明の第二の実施形態に係るカメラ設定を説明する図である。本発明の第二の実施形態に係る２つのカメラで撮影された画像を示す図である。撮影に伴う射影変換を説明する図である。本発明の第二の実施形態に係る共通視野外の対応点を求める方法を説明する図である。本発明の第三の実施形態に係るカメラ設定を示す図である。本発明の第三の実施形態に係る計測する特徴点が写らないカメラで撮影された画像を示す図である。本発明の第四の実施形態に係るカメラ設定を示す図である。本発明の第四の実施形態に係る計測する特徴点が写らないカメラで撮影された画像を示す図である。本発明の第四の実施形態に係る共通視野外の対応点を求める方法を説明する図である。二直線の交点を求める時の精度を説明する図である。本発明の第五の実施形態に係る共通視野外の対応点を求める方法を説明する図である。本発明の第六の実施形態に係る三次元計測方法を説明するフローチャートである。本発明の第六の実施形態に係る領域の属性を判定する方法を示す図である。本発明の第七の実施形態に係るカメラ設定を示す図である。本発明の第七の実施形態に係る３つのカメラで撮影された画像を示す図である。本発明の第七の実施形態に係る三次元計測方法を説明するフローチャートである。本発明の第八の実施形態に係る三次元計測方法を説明するフローチャートである。

（第一の実施形態）
本発明を実施するための最良の形態を図面に基づいて説明する。
図１は本発明の三次元計測法を表すフローチャートである。図２（ａ）はカメラと計測対象を示す図である。図３（ａ）は図２のカメラ１で撮影した画像、図３（ｂ）は図２のカメラ２で撮影した画像を示す。

ここで図２（ａ）の点Ｘは計測対象（物品）３上の点で、計測対象３のコーナーや端点、交点など三次元物の特徴を表す点である。以下点Ｘのような三次元計測対象の特徴を表す点として特徴点という用語を用いる。また特徴点が複数ある場合は特徴点群と称する。ｘａはカメラ１で撮影した画像上の点で、図２（ａ）の点Ｘに対応するカメラ１のセンサ面に結像した点である。以下点ｘａのような三次元計測対象の点に対応するセンサ面の点に対して対応点という用語を用いる。対応点が複数ある場合は対応点群と称する場合がある。

図２（ｂ）は、図１のフローチャートを実行する構成を示すブロック図である。カメラ１、カメラ２は図２（ａ）のカメラ１，２に対応し、それぞれ画像取得回路１２，１３に接続されている。画像取得回路１３，１４はＣＰＵ１５により画像の取得タイミングを制御され、メモリ１４に画像情報を保存する。取得した画像情報はメモリ１４を介してＣＰＵ１５に読み出される。ＣＰＵ１５では、読み出した画像情報を用いて図１のフローチャートで示される処理を実行し、特徴点の三次元座標を算出する。そして、算出結果は、メモリ１４を介して外部インターフェース１６により外部機器に出力される。なお、以下で詳述するＳｔｅｐ２で計測された各種の値や特徴点や特徴点群の情報はメモリ１４に記憶されている。

以下では図１に示したフローチャートに従い、各ＳＴＥＰを順を追って本発明の三次元計測法を説明する。なお以下のＳＴＥＰ１およびＳＴＥＰ２は、本発明の三次元計測方法を行なう際の事前準備にあたる。

（ＳＴＥＰ１）２つのカメラの配置
図２（ａ）は計測対象３上にある計測する特徴点Ｘおよび特徴点Ｘに連なる特徴点群Ｙｎに対して２つのカメラ１，２を配置する条件を示した図である。
すなわち少なくとも一方のカメラ（図２（ａ）ではカメラ１）の視野に特徴点Ｘを含み、他方のカメラ（図２（ａ）ではカメラ２）の視野に特徴点群Ｙｎを含む。このように配置することによってカメラ１，２の撮影画像はそれぞれ図３（ａ）、図３（ｂ）のようになる。すなわちカメラ１の撮影画像である図３（ａ）は特徴点Ｘに対応する対応点ｘａを含み、カメラ２の撮影画像である図３（ｂ）には特徴点Ｘに連なる特徴点群Ｙｎに対応する対応点群ｙｎが含まれる。「特徴点Ｘに連なる特徴点群」は、特徴点Ｘに連結したエッジ上の点を意味する。エッジ上の点群に対応するＹｎをたどれば特徴点Ｘに到達することができる。特徴点群Ｙｎは点群からなる幾何学的な形状が、特徴点Ｘを含むように選ばれる。

なお本実施例では計測対象３は箱状の物体で計測対象３は直線状のエッジを有するため、特徴点Ｘに連なる特徴点群Ｙｎに関して、Ｙｎおよびｙｎが直線となるという性質を活用する。つまりＹｎからなる直線上に特徴点Ｘが存在することを利用する。

産業用の大量生産する物品などは、形状が予め決定されていて、特徴点Ｘがどのエッジ上に存在するかは、既知であることが多く、カメラ１にて撮影する特徴点Ｘに対して、カメラ２で撮影する特徴点群Ｙｎを選ぶことは容易である。またエッジに限らず特徴点Ｘと連結した物品の面に描かれた文字や図形などを利用してもよい。

（Ｓｔｅｐ２）校正
このＳｔｅｐでは、既知のステレオ計測法における校正法と同様の方法を用いて校正を行う。精密な二次元位置が分かっているパターンが印刷されている校正チャートを用いて、空間上で数回位置を変えて撮影したものから校正を行うことができる。

この校正工程において計測するものは各カメラのレンズ歪、センサピッチ、焦点距離、光軸とセンサ面との交わる点、２つのカメラの光軸同士の相対的な傾き、および代表点（基準とするカメラの光軸とセンサ面との交わる点とすることが多い）の絶対座標である。

ステレオ計測では図４のように基準とするカメラの光軸とセンサ面ｓ１との交わる点をカメラ座標系の原点、センサの長辺方向をｘ軸、短辺方向をｙ軸、光軸方向をｚ軸とする場合が多い。

以上の校正で得られた値のうち、カメラ１およびカメラ２の”焦点距離“、”光軸とセンサ面との交わる点“から、カメラ座標での２つのカメラの焦点位置Ｆ１，Ｆ２を求めることができる。

また“光軸とセンサ面との交わる点”と“２つのカメラの光軸同士の相対的な傾き”から、カメラ座標での各カメラのセンサ面ｓ１，ｓ２を表す式を求めることができる。

なお２つのカメラの位置関係やフォーカス状態、画角などを固定する場合はＳｔｅｐ１の配置に先駆けて代表点の絶対位置の計測以外の校正を行っておいても良い。

（Ｓｔｅｐ３）撮影
このＳｔｅｐではＳｔｅｐ１で設置した条件で、すなわち少なくとも一方のカメラ（図２（ａ）ではカメラ１）の視野に特徴点Ｘを含み、他方のカメラ（図２（ａ）ではカメラ２）の視野に特徴点Ｘに連なる特徴点群Ｙｎを含むように、２つのカメラで特徴点Ｘを撮影し、画像を取得する。

（Ｓｔｅｐ４）第一の対応点ｘａの位置取得
Ｓｔｅｐ３で撮影した画像のうち特徴点Ｘが写っているほうのカメラからの画像から、既知の方法を用いて、特徴点Ｘに対する第一のカメラのセンサ面ｓ１上の対応点ｘａ（以下、第一の対応点と呼ぶ）の位置を求める作業を行うＳｔｅｐである。

特徴点Ｘに対する第一の対応点ｘａを求める方法としては、例えばあらかじめ特徴点に対応するテンプレートを用意していてテンプレートと撮影画像の局部的な相関演算を行い、最も相関度の高い位置から対応点を割り出すテンプレートマッチング法を用いることができる。

また図２（ａ）に示したように特徴点がコーナーである場合は、画像上で境界を表す輪郭線をもとめて、その交点を対応点とする方法も用いることができる。

（Ｓｔｅｐ５）第一の直線Ｅの式取得
このステップでは、Ｓｔｅｐ２で求めた各カメラの焦点Ｆ１，Ｆ２の位置およびＳｔｅｐ４で求めた、特徴点Ｘに対する第一の対応点ｘａの位置を用いて、図５に示したセンサ面ｓ２を含む平面Ｓ２上の直線Ｅを求める。

まず焦点Ｆ１，Ｆ２および第一の対応点ｘａを含む平面ｅを求める。２つのカメラが通常の画角（画角１８０°未満）である場合、点Ｆ１，Ｆ２，ｘａは一直線上に並ぶことはない。したがって３点の位置から、それらを含む平面を一意に求めることができる。この平面が平面ｅである。

カメラ結像原理より、特徴点Ｘはそれぞれ焦点Ｆ１，Ｆ２を通ってセンサ面ｓ１，ｓ２に結像するため、線分Ｆ１〜ｘａの延長線上にある特徴点Ｘも平面ｅ上にある。また同様にして線分Ｘ〜Ｆ２の延長線上にある、特徴点Ｘに対する第二の対応点ｘｂも平面ｅ上にある。

一方、特徴点Ｘに対する第二の対応点ｘｂは２つの平面ｅと平面Ｓ２の交わる交線（本実施例の場合は直線）上の点である。この交線を直線Ｅとする。上記計算から平面ｅを示す式が求まっており、またＳｔｅｐ２より平面Ｓ２の式が求まっているので、直線Ｅの式を決定することができる。

直線Ｅは平面Ｓ２に含まれるので、これ以降、平面Ｓ２上の二次元図形として扱う。
なお焦点Ｆ１，Ｆ２の２点を含む平面ｅをエピポーラ面と呼ぶ。この平面は一意に求まらない。しかし点Ｆ１，Ｆ２はＳｔｅｐ２の段階で既知となり、以後の計測では変わらないので、あらかじめエピポーラ面の条件を求めておけば、毎回の計測時のＳｔｅｐ５の計算量を減らすことが可能である。

（Ｓｔｅｐ６）特徴点群Ｙｎの対応点の位置取得
Ｓｔｅｐ３で撮影した画像のうち一直線上にある特徴点群Ｙｎが写っているカメラ２により撮影した画像から、既知の方法を用いて、対応点群ｙｎを求める作業を行うＳｔｅｐである。対応点群ｙｎはｓｔｅｐ４と同様に既知の方法で求めることができる。すなわち一例としてテンプレートマッチング法や画像上で境界を表す輪郭線をもとめて、その輪郭線上の点群を対応点群ｙｎとする方法がある。

（Ｓｔｅｐ７）第二の直線Ｇの式取得
Ｓｔｅｐ６で求めたセンサ面ｓ２上の対応点群ｙｎ（図６（ａ）ではｙ１〜ｙ４）から図６（ａ）に示す直線Ｇを求めるＳｔｅｐである。
なお図５ではセンサ面ｓ２に対して鏡像が写っているが、説明の簡便化のため図６（ａ）では正像を示している。

特徴点群Ｙｎは一直線上にあるが、計測誤差により対応点群ｙｎは一直線上になく曲線ｇ上にある。このため最小二乗法を用いて誤差が最小となるように回帰計算を行いセンサ面ｓ２上の直線Ｇを求める。

この直線を平面Ｓ２に外挿すると、特徴点群Ｙｎおよび特徴点Ｘは一直線上にあるので第二の対応点ｘｂは直線Ｇ上にある。
ここまでで、Ｓｔｅｐ４，５，６，７の順番に説明したが、図１に示す通りＳｔｅｐ４，５とＳｔｅｐ６，７は並列して実行しても良い。またＳｔｅｐ６，７の方を先に実行しても良い。

（Ｓｔｅｐ８）第二の対応点ｘｂの位置取得
Ｓｔｅｐ５，Ｓｔｅｐ７で求めた２つの直線Ｅ，Ｇから特徴点Ｘに対する第二の対応点ｘｂを求める。特徴点Ｘに対する第二の対応点ｘｂは直線Ｅ，Ｇいずれの直線上にも含まれるから、図６（ｂ）に示したように直線Ｅと直線Ｇ交点を求めればその点を特徴点Ｘに対する第二の対応点ｘｂとすることができる。
このようにして対応点ｘｂはセンサ面ｓ２上になく直接撮影はできないが、その位置を割り出すことができる。

（Ｓｔｅｐ９）特徴点Ｘの位置取得
Ｓｔｅｐ４、Ｓｔｅｐ８でもとめた特徴点Ｘに対応する二つの対応点ｘａ，ｘｂから、特徴点Ｘの位置を求めるＳｔｅｐである。
ここで従来から知られた三角測量法を用いるが、その方法について図７で説明する。
このＳｔｅｐまでにＳｔｅｐ２でＦ１，Ｆ２の位置が求まっておりＳｔｅｐ４，８で特徴点Ｘに対応する二つの対応点ｘａ，ｘｂが求まっている。

一方カメラ撮影の原理から３つの点Ｘ，Ｆ１，ｘａは一直線上にあり、同様に３つの点Ｘ，Ｆ２，ｘｂも一直線上にある。
またＳｔｅｐ５の説明で示した通り、通常の画角を持つカメラでの計測では、３つの点Ｘ，Ｆ１，Ｆ２が一直線上に並ぶことはない。このことから点Ｘ，ｘａ，ｘｂは一意の三角形を形成する。このため特徴点Ｘの三次元位置を一意に求めることができる。
具体的にはｘａからＦ１への空間ベクトル、ｘｂからＦ２への空間ベクトルを求めて、それぞれを外挿し交点を求めればよい。

以上示したように図１に示すフローチャートにより、ステレオ計測法において、共通視野外にある特徴点の三次元位置を計測することが可能となる。
なお求める必要がある計測点が複数ある場合はＳｔｅｐ４からＳｔｅｐ９を繰り返せばよい。

またこの場合、必ずしも同じ側のカメラに特徴点が写っている必要はない。すなわち図８に示すような特徴点Ｘ１、Ｘ２の三次元位置を計測する場合が当てはまる。ここで図８（ａ）はカメラ１で撮影した画像、図８（ｂ）はカメラ２で撮影した画像とする。

特徴点Ｘ１に対応する対応点ｘ１はカメラ１側に写っており、特徴点Ｘ１に連なる特徴点群Ｙ１ｎに対応する対応点群ｙ１ｎはカメラ２側に写っている。また特徴点Ｘ２に対応する対応点ｘ２はカメラ２側に写っており、特徴点Ｘ２に連なる特徴点群Ｙ２ｎに対応する対応点群ｙ２ｎはカメラ１側に写っている。
この場合でも本実施形態で順に２点Ｘ１，Ｘ２の三次元位置を求めることができる。

以上述べたように、本発明の三次元計測方法では、従来のステレオ計測法のように特徴点Ｘが二つのカメラの共通視野内にあることが必須ではないため、広い視野をカバーすることが可能とする。

また図２２のように広角のレンズを用いる必要もないため、広角のレンズを用いた際に生じる精度の低下の問題は生じないといった効果がある。
なお共通視野外にある特徴点を計測するのに、共通視野部で三次元画像マップを作成した上で、図形の連続性から視野外の特徴点を割り出す方法がある。この場合三次元画像を計算するのに多くの計算が必要であるといった問題がある。またステレオ法においては奥行き方向の分解能はカメラ間の距離すなわち基線長に反比例する。このため二次元での計測と比べて分解能が落ち、測定精度が低くなるのが一般的である。従って上記方法は精度の面でも問題があった。

本発明の方法では共通視野部は必要では無い上、Ｓｔｅｐ４からＳｔｅｐ８までの主要な計算は平面上すなわち二次元で行うため、計算量が少なく、二次元計測の分解能が高いことから精度も上記方法より良いといった優れた効果を持つ。

（第二の実施形態）
第一の実施形態では、計測する特徴点に連なる特徴点群が直線上にある場合を示したが、これ以外（例えば曲線）にも特徴点Ｘに連なる特徴点群Ｙｎに対応する画像上の線が既知の情報により外挿できる形態であれば、第一の実施形態に示した方法を実施することが可能である。

例えば図９に示すように円筒４上にある特徴点ＸＸの三次元計測を行う場合を考える。カメラ１には特徴点ＸＸが写るように設置され、カメラ２には少なくとも特徴点ＸＸに連なる円弧上の特徴点群ＹＹｎが写るように設置される。

この設定でカメラ１，カメラ２で撮像される画像はそれぞれ図１０（ａ）、図１０（ｂ）のようになる。ここでｘｘａは特徴点ＸＸに対応するカメラ１に写った対応点である。ｙｙｎは特徴点ＸＸに連なる特徴点群ＹＹｎに対応するカメラ２に写った対応点群である。

図１１に示すように円形は斜め方向から見ると、射影変換の原理により楕円に見えることが知られている。すなわち特徴点群ＹＹｎが円周上にあるという既知の情報を用いれば、それに対応する対応点群ｙｙｎは必ず楕円上にある。

撮影によって円を含む楕円が二次元上に投影される場合、その図形はやはり楕円形状となる。すなわち直線の場合と同じく楕円の方程式などで定式化し、直線と同様に扱う事ができる。

楕円に関しては、ハフ変換などによって高速高精度にフィッティングを行う方法が知られていて、図１２（ａ）のように対応点群ｙｙｎからカメラ２のセンサ面ｓ２を含む平面Ｓ２上にある楕円ＧＧを求めることができる。また第一の実施形態と同様にして特徴点ＸＸに対するカメラ１の画像上の対応点ｘｘａと２つの焦点Ｆ１，Ｆ２の位置から直線ＥＥを求めることができる。

平面Ｓ２上にある特徴点ＸＸに対する第二の対応点ｘｘｂは楕円ＧＧの円周上、直線ＥＥ上いずれにも含まれるためそれらの交点がｘｘｂである。

図１２（ａ）は楕円ＧＧと直線ＥＥが１点で接する特殊な場合を示したものであるが、実際には図１２（ｂ）のように２点で交わることがほとんどである。この場合は特徴点ＸＸがあらかじめセンサ面ｓ２からみて手前なのか奥なのか（撮影した画像で言えば図１２（ｂ）ではｐ１，ｐ２）、遠近に関する情報を与えておけば容易に点ｘｘｂを特定することができる。

なお誤差により楕円ＧＧと直線ＥＥが交わらない時には直線ＥＥ上で楕円ＧＧの円周に最も近接する点を求めて、その点をｘｘｂとすればよい。

以上より特徴点Ｘに対応する２つの対応点ｘｘａ，ｘｘｂが求まるので、実施形態１の場合と同く、三角測量法を用いれば共通視野外にある特徴点ＸＸの三次元位置を計測することができる。

撮影に伴う三次元から二次元への射影変換は非線形な変換であるので、一般の曲線に対して通常は距離情報がなければ変換後の曲線を求めることが出来ない。しかし直線や円を含む楕円などは変換後も直線や楕円となり図形の属性が変わらないので本実施形態が可能となる。また特徴点群をつなぐ線の法則性（例えば多項式上の点であることなど）があらかじめ分かっている時には、特徴点群をフィッティングすることによって本実施例と同様に共通視野外の特徴点の三次元位置を計測することができる。

（第三の実施形態）
図１３は第三の実施形態を説明するための図である。自動車６に搭載された前方カメラ８と後方カメラ７を用いて壁５の切れ目Ｅｎの三次元位置を計測するシチュエーションを示している。前方カメラ８には計測する特徴点Ｅｎが写るようになっていて、後方カメラ７にはＥｎに連なる壁上の特徴点群Ｗｎが写るようになっている。またこの例では前後のカメラ７，８の間に共通視野が全くない設定となっている。

この場合の後方カメラ７で撮影した画像は図１４のセンサ面ｓ７に示された画像のようになる。
第一の実施例と同様にして前方カメラ８で撮影した画像から計測する壁５の端点Ｅｎ（本実施例における特徴点）に対応する対応点Ｅｎａ（不図示）が求まる。また点Ｅｎａと２つのカメラ７，８の焦点位置から後方カメラ７のセンサ面ｓ７を含む平面Ｓ７上の直線Ｅ８が求まり、センサ面ｓ７上のＥｎに連なる壁上の特徴点群Ｗｎに対応する特徴点群ｗｎから、センサ面ｓ７を含む平面Ｓ７上の直線Ｗ７が求まる。さらに直線Ｅ８と直線Ｗ７の交点を求めることにより、特徴点Ｅｎに対応する平面Ｓ７上の対応点Ｅｎｂを求めることができる。図１４でＥｎｂが後方カメラの視野に入っているように見えるが、見かけ上のことで実際に写るわけではない。すなわち特徴点Ｅｎは後方カメラの光軸方向から９０°以上大きな角の方向にあるため、直線Ｗ７が９０°の方向を境として折り返すためである。

以上２つのカメラ７，８の焦点位置、計測する特徴点に対応する対応点ＥｎａとＥｎｂより、第一の実施形態と同様にして特徴点Ｅｎの三次元位置を計測することができる。

従来の三次元計測の場合、共通視野が必要であったため、このような配置では三次元計測を行うことが難しく、例えば自動車の側方に前方後方カメラそれぞれと共通視野をもつカメラを追加する必要があった。

本実施形態によればカメラの追加なしに三次元計測が可能である。
なお実施形態は自動車に搭載することを限定しない。２つのカメラの共有視野がない場合にすべて適用できる。本実施形態では２つのカメラの共有視野が全くなくても三次元計測が可能となるため、カメラ配置の自由度が生じるといった効果を有する。

（第四の実施形態）
図１５は本発明の第四の実施形態を適用する場合の説明図である。ここでＸＸＸは計測する特徴点、Ｐｎは特徴点ＸＸＸに連なる特徴点群、Ｑｎは特徴点ＸＸＸに連なる別の特徴点群である。この設定でカメラ２で撮影した時の画像が図１６のセンサ面ｓ２上の画像である。

第一の実施形態の場合と同様にして、カメラ１の画像からＸＸＸに対応する対応点ｘｃ（不図示）が求まる。またカメラ１，２の焦点位置、点ｘｃより直線ＥＥＥが求まる。さらにセンサ面ｓ２上の特徴点ＸＸＸに連なる特徴点群Ｐｎに対応する対応点ｐｎより直線Ｐが、同様にして特徴点ＸＸＸに連なる別の特徴点群Ｑｎに対応する対応点ｑｎより直線Ｑが求まる。

図１７は図１６上の３つの直線ＥＥＥ、Ｐ、Ｑの交点付近を示した図である。ここでｘｐ、θｐはそれぞれ直線ＥＥＥと直線Ｐの交点、２つの直線のなす角を表している。またｘｑ、θｑは直線ＥＥＥと直線Ｑの交点、２つの直線のなす角を表している。

もし画像歪がなく、理想状態で画像計測ができ、直線ＥＥＥ、直線Ｐ、直線Ｑが正しく求められているとすると、理論上３つの直線は１点で交わる。しかしながら計測誤差が存在すると、これら３つの直線は図１７のように１点で交わらない。

この場合２つの直線のなす角が大きい方の交点を特徴点ＸＸＸに対応する対応点ｘｄとするほうが誤差の影響を受けにくい。この理由を図１８を使って説明する。

図１８でＬ１、Ｌ２、Ｌ３は直線であり直線Ｌ１とＬ２、Ｌ１とＬ３のなす角を、それぞれθ１，θ２とする。このときθ１＞θ２である。２つの交点を求める時に計測誤差としてＬ２，Ｌ３の方向が同じ角度θεだけずれていたとする。その誤差はそれぞれε１、ε２とすると、作図より明らかなようにε１＜ε２となる。すなわち２つの直線の交点を求める時に交わる角が大きいほうが誤差の影響を受けにくいといえる。この実施形態ではθｐ＞θｑであるので、点ｘｐを特徴点ＸＸＸに対応する対応点ｘｄ（不図示）とする。

以上より２つの焦点Ｆ１，Ｆ２、および計測する特徴点ＸＸＸに対応する２つの対応点ｘｃ，ｘｄを求めることができるので第一の実施形態の場合と同様にして三角測量法により特徴点ＸＸＸの三次元位置を計測することができる。

特に第一の実施形態の場合と比較して共通視野外にある対応点ｘｄの位置を、より正確に求めることができるので三次元計測の精度を向上させることができるといった効果がある。

なお説明では対応点ｘｄを求めるのに２組の特徴点群を使う場合を説明したが、３組以上あってもこの実施形態を適用することが可能である。

また第一の実施形態では直線Ｅと直線Ｇが平行になった場合、交点を持たないため対応点が求まらないという特異点が存在する。本実施形態では複数の特徴点群が一直線上にないように選択されるので各特徴点群のなす直線は平行にならない。このため必ず２つの直線の交点である共通視野外にある対応点が求まり、特異点が存在しないという利点がある。

（第五の実施形態）
この実施形態は、視野外にある対応点の求め方のみ、第四の実施形態と異なる。これを図１９を使って説明する。

図１９は第四の実施形態の図１７に対応し、記号の意味は同じである。ここで視野外の特徴点ＸＸＸに対応する点ｘｄは直線ＥＥＥ上にあり点ｘｐ，ｘｑの重心位置に選択される。誤差原因がランダムなばらつきの場合、平均化効果があるので確率的にノイズの影響を減らすことができる。よってこの実施形態でも第四の実施形態と同様の第一の実施形態と比較して計測精度が向上する効果を有する。また第四の実施形態と同様に複数の特徴点群が一直線上にないように選択されるので特異点が存在しないという利点がある。

第四の実施形態との使い分けは以下のようである。例えば図１９で直線Ｐを求める時の対応点群の数が少ない場合など、直線Ｐの誤差が大きいので本実施形態を使ったほうが有利である。また直線Ｐ，Ｑの計測精度が同等と予測される時でも、それぞれが直線ＥＥＥとなす角がほぼ等しければ本実施形態を用いたほうがランダム誤差の平均化効果が大きく有利となる。

（第六の実施形態）
図２０は第六の実施形態を示すフローチャートである。ここでＳｔｅｐ１１からＳｔｅｐ１３は第一の実施形態のＳｔｅｐ１からＳｔｅｐ３に対応していて作用も同じなので説明を省略する。

Ｓｔｅｐ１４は、２つのカメラで撮影した画像内に計測する対応点が必ず含まれるかを判定するｓｔｅｐである。ここで矢印上に記された記号Ｎは対応点を必ず含む画像の数を示している。すなわちＮ＝２は両方の画像に必ず対応点が含まれ、Ｎ＝１は片方の画像のみに必ず対応点が含まれることを示している。またＳｔｅｐ１１の設定によりＮ≧１が保証されている。Ｎ＝２の場合は２つのカメラ共に計測する特徴点が写っているので、一般的なステレオ計測法すなわちＳｔｅｐ１５からＳｔｅｐ１７の処理を行う。Ｓｔｅｐ１５，Ｓｔｅｐ１６では第一の実施形態のＳｔｅｐ４と同様にして２つのカメラで撮影した画像上から、それぞれ直接、計測する特徴点に対する対応点を算出する。

２つの対応点を求めることができれば第一の実施形態のＳｔｅｐ９と同じ処理であるｓｔｅｐ１７で特徴点の三次元位置を計測できる。

Ｎ＝１の場合の処理は第一の実施形態のＳｔｅｐ４からＳｔｅｐ９に相当するＳｔｅｐ２４からＳｔｅｐ２９実施する。第一の実施形態と処理内容は同様なので説明は省略する。

以上により２つの画像とも計測する特徴点が必ず写っていると判定できる場合は直接、対応点を計測することにより、第一の実施例のみを用いる場合と比較して速度の向上を図ることができる。

次に計測する特徴点に対応する対応点が、各画像に必ず含まれるかを判定する判定主段の方法の一例を示す。
まずＳｔｅｐ１１で特徴点Ｘに連なる特徴点群Ｙｎが写るように設定されたカメラで取得した画像に対して公知のエッジ処理により写っている図形（物品に対応する図形）の輪郭線を求める。つぎに図２１のように特徴点群Ｙｎに対応する対応点群ｙｎを含む輪郭線を求め、この輪郭線が閉領域を形成しているかを判定する。図２１（ａ）の場合は領域Ａは閉領域であり、図２１（ｂ）の領域Ａは閉領域でない。

領域Ａが閉領域でない場合は特徴点Ｘに対応する対応点が必ず画面上にあるとは言えないのでＮ＝１とする。
領域Ａが閉領域である場合、領域Ａが特徴点Ｘの属する図形がもつ属性を満たすかを判定する。属性とは面積、輝度、形状（ｎ角形、楕円、… 。）等を少なくとも一つ以上組み合わせたものである。領域Ａが特徴点Ｘの属する図形がもつ属性を満たすと判定される場合は、その画像内に必ず特徴点Ｘに対応する対応点が存在するのでＮ＝２とする。

以上の手順を踏むことによって画像内に特徴点Ｘに対応する対応点がかならず存在するかどうかを判定することができる。

（第七の実施形態）
図２２は第七の実施形態の構成を示す図である。３台のカメラ１７，１８，１９で単一のワークを撮影する。点Ｘが三次元位置を計測する特徴点、点群Ｙｎは特徴点Ｘに連なる特徴点群で、この場合は直線を構成する。図２２の構成の場合カメラ１７，１８，１９で取得される画像はそれぞれ図２３（ａ），（ｂ），（ｃ）のようになる。ここでｘａ１７は特徴点Ｘに対応するカメラ１７で取得した画像上の点である。ｙｎ１８、ｙｎ１９はそれぞれ特徴点群Ｙｎに対応するカメラ１８，１９で取得した画像上の点群である。この場合ｙｎ１８，ｙｎ１９は直線となる。図２４は第七の実施形態を示すフローチャートである。ここでＳＴＥＰ３０からＳＴＥＰ３４は第一の実施形態のＳＴＥＰ１からＳＴＥＰ５に対応していて作用も同じなので説明を省略する。

ＳＴＥＰ３５では、第一の実施形態のＳＴＥＰ６で説明した処理をカメラ１８、カメラ１９に対して行う。この結果それぞれの画像から対応点群ｙｎ１８，ｙｎ１９を得る。その後ＳＴＥＰ３６によって各カメラで撮影した画像上の対応点群ｙｎのそれぞれの線長を決定する。さらにＳＴＥＰ３７ではそれらのうち最も長いものを選択する。この実施例ではカメラ１８で取得した画像上の直線となる。この直線の式は第一の実施形態のＳＴＥＰ７と同様の方法で求められる。

ＳＴＥＰ３８ではＳＴＥＰ３４、ＳＴＥＰ３７で求めた２つの直線の式から第一の実施形態のＳＴＥＰ８と同様の方法で、カメラ１８のセンサ面を含む平面上に有る特徴点Ｘに対応する第二の対応点の二次元座標を求めることができる。ＳＴＥＰ３９では第一の実施形態のＳＴＥＰ９と同様の方法で、特徴点Ｘに対応する２つの対応点および２つのカメラの位置関係から三角測量の原理で特徴点Ｘの三次元座標を求めることができる。

本実施形態によれば、特徴点Ｘを撮像する第一のカメラ（カメラ１７）に対して、他の複数のカメラ（カメラ１８、１９）のうち最も多くの特徴点群Ｙｎの情報を取得可能なカメラを自動で第二のカメラとして選択可能なので精度の向上が期待できる。また複数のカメラを用いるのでより広い範囲の三次元測定が可能となる。

以上の説明はカメラの台数が３台で平行に配置されている場合を説明したが、これに限定されるものではない。すなわち任意の位置に配置された３以上の複数台のカメラを用いて同様の実施形態をとることが可能である。

（第八の実施形態）
第八の実施形態についても、第七の実施形態と同様にして図２２のような構成をとることが可能で、各カメラで取得される画像は図２３のようになるため、以下これらの図、および図２５を用いて説明する。なお第七の実施例と同じくカメラの台数や位置を限定するものではない。

図２５は第八の実施例の処理フローを示すフローチャートである。ここでＳＴＥＰ４０からＳＴＥＰ４４は第一の実施形態のＳＴＥＰ１からＳＴＥＰ５に、ＳＴＥＰ４５，４６は第七の実施形態のＳＴＥＰ３５，３６に対応していて作用も同じなので説明を省略する。

ＳＴＥＰ４７ではＳＴＥＰ４６で求めた線長のうち規定の長さより長いものを１つ以上複数選択して、それぞれ画像平面上の２次元の直線式を求める。こうすることによって直線の長さが十分でなく式の確からしさが低いカメラからのデータを排除することができる。

ＳＴＥＰ４８ではＳＴＥＰ４４で求めた直線の式およびＳＴＥＰ４７で求めた直線の式より、第一の実施形態のＳＴＥＰ８と同様の方法で第二の対応点の位置を取得する。ＳＴＥＰ４７で選択された直線の式および対応するカメラは複数あるので複数の第二の対応点が求まることになる。

ＳＴＥＰ４９ではＳＴＥＰ４３で求めた第一の対応点およびＳＴＥＰ４８で求めた第二の対応点から第一の実施形態のＳＴＥＰ９と同様の方法で特徴点Ｘの３次元計測位置の候補点が求まる。この場合ＳＴＥＰ４８で求めた第二の対応点が複数あるので複数の候補点が取得される。

ＳＴＥＰ５０ではＳＴＥＰ４９で求めた複数の３次元計測位置候補から３次元の重心をとることによって特徴点Ｘの真の計測位置を導き出す。また重心を求める際、各点を重みを平等にして重心をもとめるだけでなく線長の長さに応じた重みをかけることも可能である。すなわちより確からしい画像から得られた情報に重みをかけることによって確実性を増すことができる。たとえば線長に応じて重みを掛けたりすることができる。

本実施形態では各カメラの視野が狭くても、特徴点群Ｙｎを見つける際、多くの情報が得られるため等価的に広い視野を持つカメラと同様の効果が得られ、より確実な３次元計測が可能となる。

本発明による三次元計測方法は、産業ロボットハンド用のオンハンドカメラなど、高い測定精度と広い視野角を求められながらもカメラの重量にシビアな上限がある場合に好適に利用され得る。

１、２、７、８、１０１カメラ
３、４撮影物体
５壁
６自動車
１０２、１０６、１０７レンズ
１０３、１０４、１０５、１１６、１１７プリズム
１０８、１０９、１１０、１１１モータ
１１２、１１３、１１４、１１５歯車

Claims

少なくとも二つのカメラを用いてステレオ計測法にて物品の特徴点の三次元座標を計測する三次元計測方法であって、
第一のカメラにて特徴点を撮影し、第二のカメラは前記特徴点を撮影しないが、前記第二のカメラにて前記特徴点に連なる特徴点群を撮影する工程と、前記特徴点に対応する第一のカメラのセンサ面上の対応点、及び前記第一のカメラの焦点位置、及び前記第二のカメラの焦点位置を含む平面を算出し、前記算出された平面と前記第二のカメラのセンサ面を含む平面との交差線である第一の線を算出する工程と、
前記特徴点に連なる前記特徴点群に対応する前記第二のカメラのセンサ面上の対応点群からなる第二の線を算出する工程と、
前記第一の線と前記第二の線の交点を求めて、前記特徴点に対応する前記第二のカメラのセンサ面を含む平面上の対応点を算出する工程と、
前記第一のカメラのセンサ面上の対応点と前記第一のカメラの焦点位置を通る直線と前記第二のカメラのセンサ面上の対応点と前記第二のカメラの焦点位置を通る直線を算出すると共に、算出された両直線の交点を前記特徴点の三次元座標として算出する工程を有することを特徴とする三次元計測方法。
前記特徴点に連なる特徴点群は複数有り、前記第二の線を算出する工程においては、前記複数の特徴点群に対応する前記第二のカメラのセンサ面上の複数の対応点群のそれぞれに対して前記第二の線を算出し、更に、前記第二のカメラのセンサ面を含む平面上の対応点を算出する工程においては、前記第一の線と複数の第二の線の交点から前記対応点を算出することを特徴とする請求項１に記載の三次元計測方法。
前記第一の線と前記第二の線とがなす角が最も大きいものとの交点を
前記特徴点に対応する第二のカメラのセンサ面上の対応点とする請求項２記載の三次元計測方法。
前記第二のカメラのセンサ面を含む平面上の対応点を算出する工程では、前記第一の線と前記複数の第二の線それぞれの交点の重心位置を前記対応点として算出することを特徴とする請求項２記載の三次元計測方法。
前記第二の線は直線であることを特徴とする請求項１に記載の三次元計測方法。
前記第二の線は曲線であることを特徴とする請求項１に記載の三次元計測方法。
更に、前記特徴点に対応する対応点が、前記二つのカメラそれぞれで撮影された画像内に含まれるか判定する工程と、
前記二つのカメラそれぞれで撮影された画像内とも計測する特徴点が写っていると判定できる場合は直接に、対応点を計測することにより特徴点の三次元位置を計測する工程、を有することを特徴とする請求項１に記載の三次元計測方法。
前記判定工程においては、前記カメラで撮影された画像内の前記物品に対応する図形の輪郭線であると共に前記特徴点群を含む輪郭線を算出し、算出された輪郭線が閉領域を形成しているか否かを判定することを特徴とする請求項７に記載の三次元計測方法。
前記特徴点に連なる特徴点群を撮影するカメラは複数あり、
前記第二のカメラとして前記第二の線長が最も長い画像を取得可能なカメラが選択されることを特徴とする請求項１記載の三次元計測方法。
請求項１記載の三次元計測方法においてさらに、
前記第二のカメラとして、前記対応点群からなる線の線長が予め定められた長さより長い画像を取得可能なカメラが複数選択され、複数の第二のカメラにより取得された前記第二の線にそれぞれ基づき、複数の特徴点の三次元座標候補の重みつき重心位置を前記特徴点の真の三次元座標として算出する工程を有することを特徴とする三次元計測方法。