JP4993686B2

JP4993686B2 - 対応点探索方法および３次元位置計測方法

Info

Publication number: JP4993686B2
Application number: JP2006304622A
Authority: JP
Inventors: 寛中島
Original assignee: Azbil Corp
Current assignee: Azbil Corp
Priority date: 2006-11-09
Filing date: 2006-11-09
Publication date: 2012-08-08
Anticipated expiration: 2026-11-09
Also published as: JP2008123142A

Description

この発明は、立体的な物体、例えば人間の顔などを対象物とし、この対象物を異なる視点から見た複数の画像中の対応点を探索する対応点探索方法およびこの対応点探索方法を利用した３次元位置計測方法に関するものである。

従来より、対象物を異なる視点から見た複数の画像中の対応点の探索は、画像センシング、画像・映像信号処理、コンピュータビジョン等の様々な分野で重要な技術とされている。これらの分野では、通常、ピクセル精度の対応付け手法を用いることが多いが、近年、サブピクセル精度の対応付け手法への要求が高まっている。

例えば、基線長の短いステレオビジョンシステムにおいて、十分な３次元計測精度を実現するためには、サブピクセル精度の対応付けアルゴリズムが不可欠である。また、超解像による映像の高解像度化技術などにおいても、サブピクセル精度の対応付けアルゴリズムが重要になる。このため、例えば特許文献１に示された立体像計測装置では、対象物を異なる視点から見た複数の画像中の対応点の探索を２次元位相限定相関法を用いて行うことにより、サブピクセル精度の対応付けの要求を満たしている。

図１７は上述の特許文献１に示された立体像計装置における画像入力部の概略を示す図である。同図において、１は第１のカメラ、２は第２のカメラ、Ｍは対象物（人間の顔）である。カメラ１，２は、そのレンズＬＮ１，ＬＮ２間の距離をＬとして、横方向に並んで配置されている。図では分かり易いように、カメラ１および２を上方向から見た図とし、対象物Ｍは横方向から見た図としている。

この立体像計測装置では、対象物Ｍをカメラ１で捉えた画像を入力画像Ｉ（図１６（ａ））とし、この入力画像Ｉの画像データをｍ×ｎ個の局所領域Ｉ（ｉ，ｊ）に分割する（図１６（ｂ））。そして、入力画像Ｉの画像データから局所領域Ｉ（ｉ，ｊ）を切り出し、この切り出した局所領域Ｉ（ｉ，ｊ）の画像データに２次元離散的フーリエ変換（ＤＦＴ）を施してフーリエ画像データ（入力フーリエ画像データ）を得る。

また、対象物Ｍをカメラ２で捉えた画像を参照画像Ｊ（図１６（ｃ））とし、この参照画像Ｊの画像データに２次元離散的フーリエ変換を施してフーリエ画像データ（参照フーリエ画像データ）を得る。

そして、この得られた入力フーリエ画像データと参照フーリエ画像データとを合成し、この合成したフーリエ画像データ（合成フーリエ画像データ）の振幅成分を正規化して、もう一度、２次元離散的フーリエ変換（もしくは２次元離散的逆フーリエ変換）を施す。

そして、この２次元離散的フーリエ変換が施された合成フーリエ画像データより所定の相関成分エリアの各画素の相関成分の強度（振幅）を求め、この相関成分エリア内の最も強度の高い画素の位置を相関ピークの位置Ｐａ１（図１６（ｄ））とする。

この場合、相関成分エリアの中心Ｐ０から相関ピークの位置Ｐａ１までの距離Ａが、入力画像Ｉの画像データにおける局所領域Ｉ（ｉ，ｊ）と参照画像Ｊの画像データにおける一致する画像データのある領域（対応領域）とのずれ量を示す。入力画像Ｉにおける局所領域Ｉ（ｉ，ｊ）中の画像と参照画像Ｊにおける対応領域中の画像とは視差によってその画像がずれており、これがずれ量Ａとして現れる。

このずれ量Ａによって、入力画像中の局所領域Ｉ（ｉ，ｊ）の中心点（探索点）と、参照画像Ｊ中の対応領域の中心点（対応点）とを対応付け、三角測量の原理に基づく下記（１）式によって、カメラから対象物Ｍの対応点（探索点）までの距離Ｒを計算する。なお、下記（１）式において、ｆはレンズＬＮ（ＬＮ１，ＬＮ２）の中心から撮像位置までの距離、Ｌはレンズ間距離である。
Ｒ＝ｆ・Ｌ／Ａ・・・・（１）

特開平１０−１３２５３４号公報「写真から作る３次元ＣＧ」、著者：徐剛、発行所：株式会社近代科学社、２００３年２月２５日初版第２刷発行、３１〜３３頁。

上述した特許文献１に示された手法は、対応付けの精度が極めて高く、様々な画像に対して同一のアルゴリズムが適用できるという長所がある。しかしながら、この手法は、２次元離散的フーリエ変換に要する計算量が多く、短時間で対応付けの結果を得ることが要求される分野では採用し難いという問題があった。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、対応点の探索に要する計算量を大幅に減らし、短時間でかつ高精度に、対応付けの結果を得ることが可能な、また対応点の探索精度を必要に応じて調整することが可能な対応点探索方法および３次元位置計測方法を提供することにある。

このような目的を達成するために、本発明に係る対応点探索方法（請求項１（第１発明））は、画像取込手段を介して、対象物を異なる視点から見た複数の画像を取り込む画像取込ステップと、画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って複数の画像より所定幅の１次元の画素データ列を切り出す画素データ列切出ステップと、複数の画像から切り出された１次元の画素データ列から位相限定相関関数を計算し、この計算された位相限定相関関数から複数の画像中の対応点を探索する対応点探索ステップと、画像取込手段に対して設けられた調整機構を介して複数の画像の少なくとも１つについて対象物に対する視点を調整する視点調整ステップとを備え、画素データ列切出ステップは、さらに、エピポーラ線に沿って切り出した１次元の画素データ列の近傍のエピポーラ線に平行な線に沿う複数の１次元の画素データ列を切り出し、対応点探索ステップは、複数の画像から切り出された複数組の１次元の画素データ列の位相限定相関関数から複数の画像中の対応点を探索することを特徴とする。

この発明において、例えば、画像取込手段を所定の距離隔てて配置された２台のカメラとした場合、第１のカメラと第２のカメラが対象物に対して等位置に傾斜なく配置されていれば、第１のカメラで撮像される画像および第２のカメラで撮像される画像におけるエピポーラ線は、いずれも水平となる。これに対し、第１のカメラおよび第２のカメラの何れかが傾斜していれば、第１のカメラで撮像される画像および第２のカメラで撮像される画像におけるエピポーラ線も傾斜する。このように、第１のカメラで撮像される画像および第２のカメラで撮像される画像におけるエピポーラ線は、第１および第２のカメラの位置関係（２つの画像間の基礎行列や、内部行列・外部行列などのカメラ固有のパラメータ）によって定まる。本発明では、このような画像取込手段のパラメータを保存しておき、対応点を探索する際の処理過程で用いる。

本発明において、画像取込手段は、複数台のカメラに限られるものではない。例えば、光学機構を設けることによって、１台のカメラから対象物を異なる視点から見た複数の画像を得るようにしてもよい。

本発明において、複数の画像のうちの１つを入力画像、もう１つを参照画像とした場合、画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って、入力画像および参照画像より所定幅の１次元の画素データ列（例えば、３２画素の画素データ列）が切り出される。また、この１次元の画素データ列の近傍のエピポーラ線に沿う複数の１次元の画素データ列が切り出される。そして、この切り出された複数組の１次元の画素データ列の１次元の画素データ列の位相限定相関関数から、入力画像中の基準点に対応する参照画像中の対応点が探索され、基準点と対応点とが対応付けられる。

この場合、基準画像より切り出される画素データ列は１次元の画素データ列であり、参照画像より切り出される画素データ列も１次元の画素データ列であるので、１次元の位相限定相関法（１次元ＰＯＣ）を利用することができる。すなわち、複数の画像から切り出された１次元の画素データ列から位相限定相関相関を計算することによって得られる相関ピークの位置から位置ずれ量を求め、この位置ずれ量から複数の画像中の対応点を探索することが可能である。

１次元ＰＯＣでは、１次元のフーリエ変換を施せばよいので、計算量を大幅に減らすことができる。これにより、対応点の探索に要する計算量が大幅に減り、短時間で対応付けの結果を得ることが可能となる。また、１次元ＰＯＣを用いることにより、エピポーラ線の垂直方向の相関誤差要因を少なくすることができ、高精度な対応点探索が可能となる。

本発明において、画像取込手段を介して取り込まれる画像における実際のエピポーラ線は水平であるとは限らず、傾斜している場合もある。理想的には水平であることが望まれるが、カメラの取り付け誤差などもあり、エピポーラ線は傾斜している場合が多い。

そこで、本発明では、画像取込手段に対して調整機構を設け、この調整機構を介して複数の画像の少なくとも１つについて対象物に対する視点を調整するようにする。この調整機構を介しての視点の調整により、例えば工場出荷前に、複数の画像における実際のエピポーラ線を手動で水平に設定することが可能となる。また、現場においてエピポーラ線が傾いてきたような場合、調整機構を介しての視点の調整によってエピポーラ線を元に戻すように手動で調整することが可能であり、現場において対応点の探索精度を回復することが可能となる。

本発明において、複数の画像におけるエピポーラ線を水平とすると、複数の画像中の各画素データを、画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に平行な軸を一軸とし、この一軸に対して垂直な軸を他軸とする座標系に変換するというような座標系の変換処理が不要となり、処理負荷が削減できるともに、対応点の探索結果が得られるまでの時間が短縮される。

また、本発明の対応点探索方法を利用することにより、探索した対応点の３次元位置を計測することも可能である。請求項２に係る発明（第２発明）は、探索した対応点の３次元位置を計測する３次元位置計測方法に関するものであり、第１発明によって求められる探索点の視差に基づいてその対応点の３次元位置を計測する。これにより、対応点の探索に要する計算量を大幅に減らし、対象物における各点の３次元位置を短時間で計測することが可能となる。

本発明によれば、画像取込手段を介して、対象物を異なる視点から見た複数の画像を取り込み、画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って複数の画像より所定幅の１次元の画素データ列を切り出し、さらにエピポーラ線に沿って切り出した１次元の画素データ列の近傍のエピポーラ線に平行な線に沿う複数の１次元の画素データ列を切り出し、複数の画像から切り出された複数組の１次元の画素データ列の位相限定相関関数から複数の画像中の対応点を探索するようにしたので、１次元ＰＯＣを利用することができ、対応点の探索に要する計算量を大幅に減らし、短時間で対応付けの結果を得ることが可能となる。また、１次元ＰＯＣを用いることにより、エピポーラ線の垂直方向の相関誤差要因を少なくすることができ、高精度な対応点探索が可能となる。また、調整機構によって、複数の画像中のエピポーラ線を工場出荷前に水平にするようにしたり、エピポーラ線が傾いてきたような場合、現場において元の状態に戻したりすることが可能となり、対応点の探索精度を必要に応じて調整することが可能となる。また、ノイズの影響を受け難くなり、対応点探索の性能がより安定する。

以下、本発明を図面に基づいて詳細に説明する。図１はこの発明に係る対応点探索方法を利用した３次元位置計測装置の一実施の形態を示すブロック構成図である。同図において、１０は第１のカメラ（ＣＣＤカメラ）、１１は第２のカメラ（ＣＣＤカメラ）、１２は液晶表示装置（ＬＣＤ）、２０は処理部であり、処理部２０は、ＣＰＵを有する制御部２０−１と、ＲＯＭ２０−２と、ＲＡＭ２０−３と、ハードディスクドライブ（ＨＤＤ）２０−４と、フレームメモリ（ＦＭ）２０−５と、外部接続部（Ｉ／Ｆ）２０−６と、フーリエ変換部（ＦＦＴ）２０−７とを備えており、ＲＯＭ２０−２には３次元位置計測プログラムが格納されている。

カメラ１０，１１は、図１７に示した従来例と同様に、所定の距離Ｌを隔てて設置されている。すなわち、カメラ１０，１１は、そのレンズＬＮ１，１Ｎ２間の距離をＬとして、横方向に並んで配置されている。この図でも分かり易いように、３次元計測装置は上方向から見た図とし、対象物Ｍは横方向から見た図としている。

また、カメラ１０，１１には、このカメラ１０，１１の姿勢の所望の方向への手動調整を可能とする姿勢調整機構１３−１，１３−２が設けられている。図４に姿勢調整機構１３（１３−１，１３−２）の一例を示す。本実施の形態では、カメラ１０，１１にそれぞれ姿勢調整機構１３を設けているが、何れか一方のカメラのみに姿勢調整機構１３を設けるようにしてもよい。

〔カメラパラメータの保存〕
カメラ１０および１１は所定の距離Ｌを隔てて配置されている。このカメラ１０および１１が互いの光軸が平行且つ、画像座標の水平軸が同一直線上で同じ向きになるように配置されていれば、図２（ａ）および（ｂ）に示すように、カメラ１０で撮像される画像Ｉにおける基準点ｐが存在する直線ＥＰ１およびカメラ１１で撮像される画像Ｊにおける対応点ｑが存在する直線ＥＰ２、すなわちエピポーラ線ＥＰ１およびＥＰ２は、いずれも水平となる。なお、エピポーラ線については、非特許文献１などに解説されているので、ここでの詳細な説明は省略する。

これに対し、カメラ１０および１１の何れかが傾斜していれば、カメラ１０で撮像される画像Ｉおよびカメラ１１で撮像される画像Ｊにおけるエピポーラ線ＥＰ１，ＥＰ２も傾斜する（図３（ａ），（ｂ）参照）。このように、カメラ１０で撮像される画像Ｉおよびカメラ１１で撮像される画像Ｊにおけるエピポーラ線ＥＰ（ＥＰ１，ＥＰ２）は、カメラ１０とカメラ１１との位置関係（２つの画像間の基礎行列や、内部行列・外部行列などのカメラ固有のパラメータ）によって定まる。本実施の形態では、このカメラ１０とカメラ１１との位置関係を示すパラメータ（カメラパラメータ）をハードディスクに保存させておき、後述する対応点を探索する際の処理過程で用いる。

〔３次元位置の計測〕
この３次元位置計測装置において、対象物Ｍを人間の顔とした場合、この対象物Ｍにおける各点の３次元位置の計測は次のようにして行われる。この３次元位置の計測処理は、ＲＯＭ２０−２に格納された３次元位置計測プログラムに従って、制御部２０−１が行う。

〔画像取り込み〕
制御部２０−１は、カメラ１０からの対象物Ｍを捉えた画像Ｉを入力画像（図５（ａ））として取り込む（図６に示すステップ１０１）。また、カメラ１１からの対象物Ｍを捉えた画像Ｊ（図５（ｂ））を参照画像として取り込む（ステップ１０２）。この例では、入力画像Ｉおよび参照画像Ｊにおけるエピポーラ線ＥＰは水平となっており、エピポーラ線ＥＰを水平とする座標系に変換する必要はない。

〔対象領域の抽出〕
次に、エッジ検出により、入力画像Ｉおよび参照画像Ｊ中から、対象物Ｍ（人間の顔）が存在する領域だけを対応点探索の対象領域（以下、オブジェクト領域と呼ぶ）として抽出する（ステップ１０３）。これにより、図５（ｃ）および（ｄ）に示されるように、オブジェクト領域ＯＢ１およびＯＢ２を抽出した入力画像Ｉ’および参照画像Ｊ’が得られる。

なお、ここでは、説明を簡単とするために、入力画像Ｉおよび参照画像Ｊにおける対象物Ｍ以外の背景は無地であり、対象物Ｍが存在する領域だけがオブジェクト領域ＯＢ１およびＯＢ２として正しく抽出されるものとする。

〔対応点の探索〕
そして、制御部２０−１は、入力画像Ｉ’中のオブジェクト領域ＯＢ１と参照画像Ｊ’中のオブジェクト領域ＯＢ２とを対象領域として、対応点の探索を行う（ステップ１０４）。図７にステップ１０４における対応点の探索処理のフローチャートを示す。制御部２０−１は、このフローチャートに従って、対応点の探索を次のようにして行う。

先ず、入力画像Ｉ’において、Ｘ軸に平行な各線（１画素幅の線）のオブジェクト領域ＯＢ１内の起点（ＳＴ）と終点（ＥＮＤ）を求める（ステップ２０１）。

そして、オブジェクト領域ＯＢ１中の最上位の線の線番号をｎ＝１とし（ステップ２０２）、このｎ＝１番目の線上に基準点ｐを定め、その基準点ｐを中心とする所定幅Ｗの探索ウィンドウＳＷの画素データ列を基準点ｐの画素データ列として抽出する（ステップ２０３）。この例では、ｎ＝１番目の線（以下、探索ラインと呼ぶ）の起点ＳＴ（図８（ａ）参照）から、幅Ｗを３２画素とする探索ウィンドウＳＷ内の画素のデータ列を基準点ｐの画素データ列として抽出する。

この場合、ｎ＝１番目の探索ラインが基準点ｐのエピポーラ線ＥＰであり、このエピポーラ線ＥＰに沿って基準点ｐの画素データ列が切り出されるものとなる。この基準点の画素データ列は１次元の画素のデータ列である。

また、オブジェクト領域ＯＢ２中の基準点ｐに対応する座標点を候補点ｑ’とし、この候補点ｑ’を中心とする幅Ｗ＝３２画素の探索ウィンドウＣＷを定め、探索ウィンドウＣＷ内の画素のデータ列を候補点ｑ’の画素データ列として抽出する（ステップ２０４）。

この場合、ｎ＝１番目の探索ラインが候補点ｑ’のエピポーラ線ＥＰであり、このエピポーラ線ＥＰに沿って候補点ｑ’の画素データ列が切り出されるものとなる。この候補点の画素データ列は１次元の画素のデータ列である。

そして、ステップ２０３で抽出した基準点ｐの画素データ列とステップ２０４で抽出した候補点ｑ’の画素データ列とから位相限定相関関数を計算する（ステップ２０５）。この位相限定相関関数の計算には１次元位相限定相関法（１次元ＰＯＣ）を用いる。この１次元ＰＯＣによる位相限定相関関数の計算は次のようにして行う。

制御部２０−１は、ステップ２０３で抽出した基準点ｐの画素データ列を第１の画像データＧ１とし（図９（ａ）参照）、この第１の画像データＧ１をフーリエ変換部２０−７へ送り、この第１の画像データＧ１に１次元のフーリエ変換を施す。これにより、第１の画像データＧ１は、フーリエ画像データＦ１となる。

また、ステップ２０４で抽出した候補点ｑ’の画素データ列を第２の画像データＧ２とし（図９（ｂ）参照）、この第２の画像データＧ２をフーリエ変換部２０−７へ送り、この第２の画像データＧ２に１次元のフーリエ変換を施す。これにより、第２の画像データＧ２は、フーリエ画像データＦ２となる。

そして、制御部２０−１は、フーリエ画像データＦ１とフーリエ画像データＦ２とを合成し、この合成したフーリエ画像データ（合成フーリエ画像データ）の振幅成分を正規化してフーリエ変換部２０−７へ送り、もう一度、１次元のフーリエ変換を施す。

そして、この１次元のフーリエ変換が施された合成フーリエ画像データより所定の相関成分エリアの各画素の相関成分の強度（振幅）を求め、この相関成分エリア内の最も強度の高い相関成分の強度値を相関ピークとし、この相関ピークの位置Ｐａ１（図９（ｃ））を求める。この処理過程において、相関ピークを求める処理が位相限定相関関数を計算することに対応する。

この場合、相関成分エリアの中心Ｐ０から相関ピークの位置Ｐａ１までの距離ｄが、探索ウィンドウＳＷ中の画像と探索ウィンドウＣＷ中の画像とのずれ量、すなわち探索ウィンドウＳＷ中の基準点ｐと探索ウィンドウＣＷ中の対応点ｑとのずれ量を示す。制御部２０−１は、この基準点ｐと対応点ｑとのずれ量ｄを基準点ｐに対応付けて記憶する（ステップ２０６）。

以下同様にして、制御部２０−１は、オブジェクト領域ＯＢ１中のｎ＝１番目の探索ライン上の基準点を所定画素（例えば、１画素）ずつずらしながら、すなわち探索ウィンドウＳＷを所定画素づつずらしながら（ステップ２０８）、同様の処理を繰り返す。

そして、オブジェクト領域ＯＢ１中のｎ＝１番目の探索ラインの終点ＥＮＤまで対応点の探索が完了すれば（ステップ２０７のＹＥＳ）、オブジェクト領域ＯＢ１中のｎ＝２番目の探索ラインの起点に探索ウィンドウＳＷを移す（ステップ２０９）。以下同様にして、オブジェクト領域ＯＢ１中の最後の探索ラインの終点まで、同様動作を繰り返す。

〔３次元位置の計測〕
制御部２０−１は、オブジェクト領域ＯＢ１中の全ての基準点について対応点の探索が完了すると（ステップ２１０のＹＥＳ）、各基準点と各対応点とのずれ量ｄに基づいて、三角測量の原理に基づく下記（２）式によって、カメラから対象物Ｍの対応点（基準点）までの距離Ｒを計算する（ステップ１０５（図６））。
Ｒ＝ｆ・Ｌ／ｄ・・・・（２）

そして、この計算したカメラから対象物Ｍの対応点（基準点）までの距離Ｒを３次元位置の計測データとし、各点の３次元位置の計測データをハードディスクに記憶させる。このハードディスクに記憶させた３次元位置の計測データ群は、必要に応じて読み出し、ＬＣＤ１２の画面上に表示したり、上位の装置へ送ったりする。

〔エピポーラ線の調整〕
本実施の形態において、入力画像Ｉおよび参照画像Ｊにおけるエピポーラ線の調整は、次のようにして行う。

〔工場出荷前の調整〕
制御部２０−１は、エピポーラ線の調整モードとされると、入力画像Ｉと参照画像Ｊとを取り込み（図１０に示すステップ３０１）、２次元位相限定相関法によって入力画像Ｉと参照画像Ｊ間の各対応点を求める（ステップ３０２）。

そして、例えば入力画像Ｉについて、図１１に示すように、その画像の中心（原点）を通る実際のエピポーラ線ＥＰ０’上の各点の計算上のエピポーラ線ＥＰ０（Ｘ軸上のライン）からの垂直方向の差分値の積算値Ｓを求める（ステップ３０３）。

そして、この求めた積算値Ｓと予め設定されている閾値Ｓｔｈとを比較し（ステップ３０４）、積算値Ｓが閾値Ｓｔｈ以下でなければ（ステップ３０４のＮＯ）、エピポーラ線の調整が必要であるとし、ＬＣＤ１２に調整量を数値で表示するなどして、作業者にエピポーラ線の調整を促す（ステップ３０５）。

これを受けて、作業者は、姿勢調整機構１３−１を用いて、ＬＣＤ１２に表示されている数値を見ながら、カメラ１０の姿勢（視点）を手動調整する。この手動調整によって、入力画像Ｉだけではなく、参照画像Ｊ中のエピポーラ線の傾きも変化する。したがって、カメラ１０の姿勢だけ調整すればよく、カメラ１１の姿勢を調整する必要はない。なお、カメラ１０側ではなく、カメラ１１側の姿勢（視点）を調整するようにしてもよく、場合によってはカメラ１０，１１の姿勢（視点）をともに調整するようにしてもよい。

この手動調整によって、積算値Ｓが閾値Ｓｔｈ以下となれば（ステップ３０４のＹＥＳ）、制御部２０−１は、ブザーなどで作業者に調整の終了を知らせる（ステップ３０５）。この場合、閾値Ｓｔｈにより若干誤差はあるが、実際のエピポーラ線ＥＰＯ’と計算上のエピポーラ線ＥＰ０とが一致する。

〔現場での調整〕
現場でも、工場出荷時の調整と同様にして、入力画像Ｉおよび参照画像Ｊにおけるエピポーラ線ＥＰの調整を行うことができる。

以上の説明から分かるように、本実施の形態において、基準点ｐの画素データ列は１次元の画素データ列であり、候補点ｑ’の画素データ列も１次元の画素データ列であり、この基準点ｐの画素データ列と候補点ｑ’の画素データ列から１次元ＰＯＣを利用して位相限定相関関数を計算するようにしている。１次元ＰＯＣでは、１次元のフーリエ変換を施すので、対応点の探索に要する計算量が大幅に減り、短時間で対応付けの結果を得ることができる。また、１次元ＰＯＣを用いることにより、エピポーラ線ＥＰに垂直方向の相関誤差要因を取り除くことが可能となり、高精度な対応点探索が可能となる。

また、本実施の形態によれば、姿勢調整機構１１（１１−１，１１−２）によって、画像中の実際のエピポーラ線ＥＰ’を計算上のエピポーラ線ＥＰに工場出荷前に一致させたり、実際のエピポーラ線ＥＰ’が傾いてきたような場合、現場において元の状態に戻したりすることが可能となり、対応点の探索精度を必要に応じて調整することができるようになる。なお、カメラ１０，１１の姿勢は、必ずしも手動によって調整しなくてもよく、自動的に調整されるものとしてもよい。

また、上述した例では説明しなかったが、本実施の形態では、エピポーラ線ＥＰに沿って各画像より１次元の画素データ列を切り出し、この切り出した１次元の画素データ列の位相限定相関関数から対応点を探索する際、その１次元の画素データ列の近傍のエピポーラ線ＥＰに平行な線に沿う１次元の画素データ列を各画像から切り出し、これら複数組の１次元の画素データ列の位相限定相関関数から対応点を探索するようにする。このようにすると、ノイズの影響を受け難くなり、より対応点探索性能が安定する。

例えば、図１２に示すように、入力画像Ｉ’における探索ウィンドウＳＷ（ＳＷ０）に対して平行に、この探索ウィンドウＳＷ０と同じ位置から同じ長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定め、この探索ウィンドウＳＷ０および近傍探索ウィンドウＳＷ１〜ＳＷ４内の画素データ列と参照画像Ｊ’における探索ウィンドウＣＷ０および近傍探索ウィンドウＣＷ１〜ＣＷ４内の画素データ列の各組の相関値を求め、相関値の平均を計算する。平均された相関値の最大ピーク位置を求めることで基準点ｐと対応点ｑとのずれ量を算出する。

この場合、探索ウィンドウＳＷ０および近傍探索ウィンドウＳＷ１〜ＳＷ４内の画素データ列に１次元のフーリエ変換を施し、探索ウィンドウＣＷ０および近傍探索ウィンドウＣＷ１〜ＣＷ４内の画素データ列に１次元のフーリエ変換を施し、フーリエ変換が施された探索ウィンドウＳＷ０内の画素データ列と探索ウィンドウＣＷ０内の画素データ列とを合成し、同様にして、フーリエ変換が施された近傍探索ウィンドウＳＷ１〜ＳＷ４内の画素データ列と近傍探索ウィンドウＣＷ１〜ＣＷ４内の画素データ列とを各個に合成し、これにより得られる５つの合成フーリエ画像データを平均して合成位相スペクトルを作成し、この合成位相スペクトルに対して１次元のフーリエ変換を施して最大相関ピークの位置を求めるようにすれば、５つの合成フーリエ画像データの１つひとつに１次元のフーリエ変換を施して相関ピークの位置を求めるようにする方法と比較して、格段に処理スピードがアップする。

図１２では、探索ウィンドウＳＷ０に対して平行に、画像の水平方向に同じ位置から同じ長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定めたが、図１３に示すように、画像の水平方向に異なる位置から同じ長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定めるようにしてもよい。また、図１４に示すように、画像の水平方向に異なる位置から異なる長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定めるようにしてもよい。また、図１５に示すように、画像の異なる位置から異なる長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定めるようにしてもよい。

また、上述した実施の形態では、入力画像Ｉ’および参照画像Ｊ’からエッジ検出によってオブジェクト領域ＯＢ１およびＯＢ２を抽出するようにしたが、必ずしもオブジェクト領域ＯＢ１およびＯＢ２を抽出するようにしなくてもよい。例えば、オブジェクト領域ＯＢ１およびＯＢ２を抽出せずに、入力画像Ｉ’および参照画像Ｊ’の最上位の探索ラインの起点から最下位の探索ラインの終点まで、基準点ｐを移動しながら、すなわち探索ウィンドウＳＷを移動しながら、基準点ｐと対応点ｑとの対応付けを進めるようにしてもよい。

この場合、入力画像Ｉ’中の全領域において基準点ｐをずらしながら、その基準点ｐの画像データ列と参照画像Ｊ’中の候補点ｑ’の１次元の画素データ列との位相限定相関関数を１次元ＰＯＣによって計算することになるので、処理すべきデータ量が多くなる。これに対して、入力画像Ｉ’および参照画像Ｊ’からオブジェクト領域ＯＢ１およびＯＢ２を抽出し、この抽出したオブジェクト領域ＯＢ１およびＯＢ２を探索対象領域とすることにより、入力画像Ｉ’中の基準点ｐをずらす領域を小さくし、処理すべきデータ量を削減することができる。また、画像内のオブジェクト領域ＯＢ１，ＯＢ２外の画素データを処理対象から除外することで、これらの領域が対応点探索過程で精度を下げる外乱要因として働くことを未然に防止し、対応点探索精度の向上を図ることが可能となる。また、オブジェクト領域ＯＢ１中の探索ラインの起点から対応点の探索を始めることにより、常に対象物Ｍの輪郭に近い位置から対応点が求まるものとなり、対象物の３元位置の計測精度が向上する。

また、上述した実施の形態では説明しなかったが、対応点の探索を開始する際、入力画像Ｉ’および参照画像Ｊ’を低解像度として基準点の画素データ列と候補点の画素データ列との位相限定相関関数を計算し、この結果、相関ピークが得られれば、入力画像Ｉ’および参照画像Ｊ’の解像度を上げるということを段階的に繰り返して行くようにしてもよい。

また、上述した実施の形態では、カメラを２台としたが、光学機構を設けることによって、１台のカメラから入力画像Ｉと参照画像Ｊを得るようにしてもよい。また、カメラを３台以上設け、さらに複数の画像を得るようにしてもよい。カメラを１台とすると、ハードウェアで設計的に同期をとらずによいので、作りやすい。カメラがメガピクセルで高価な場合、安価になる場合がある。また、カメラを１台とする場合、その光学機構の調整によって、対象物を一方から見た画像の視点や他方から見た画像の視点を調整するようにする。

本発明に係る対応点探索方法を利用した３次元位置計測装置の一実施の形態を示すブロック構成図である。対象物を異なる視点から見た２つの画像に水平なラインとして存在するエピポーラ線を説明する図である。対象物を異なる視点から見た２つの画像に傾斜したラインとして存在するエピポーラ線を説明する図である。この３次元位置計測装置に用いるカメラの姿勢調整機構の一例を示す斜視図である。この３次元位置計測装置の画像取り込みから対象領域の抽出までの処理過程を説明する図である。この３次元位置計測装置における３次元位置の計測処理を示すフローチャートである。この３次元位置計測装置における３次元位置の計測処理過程での対応点探索処理を示すフローチャートである。入力画像から抽出されたオブジェクト領域中の最上位の線の起点から対応点の探索が始められる様子を説明する図である。基準点のデータ列と候補点のデータ列との１次元位相限定相関法による相関関数の計算を説明する図である。この３次元位置計測装置におけるエピポーラ線の調整処理を示すフローチャートである。計算上のエピポーラ線からの垂直方向の差分値の積算値を求めるステップの処理を説明する図である。探索ウィンドウに対して平行に複数組の近傍探索ウィンドウを定めて対応点の探索を行う例を説明する図である。探索ウィンドウに対して平行に複数組の近傍探索ウィンドウを定めて対応点の探索を行う場合の変形例を示す図である。探索ウィンドウに対して平行に複数組の近傍探索ウィンドウを定めて対応点の探索を行う場合の変形例を示す図である探索ウィンドウに対して平行に複数組の近傍探索ウィンドウを定めて対応点の探索を行う場合の変形例を示す図である特許文献１に示された立体像計装置における２次元位相限定相関法を用いた立体像の計測処理を説明する図である。特許文献１に示された立体像計装置における画像入力部の概略を示す図である。

符号の説明

１０，１１…カメラ（ＣＣＤカメラ）、１２…液晶表示装置（ＬＣＤ）、１３（１３−１，１３−２）…姿勢調整機構、２０…処理部、２０−１…制御部、２０−２…ＲＯＭ、２０−３…ＲＡＭ、２０−４…ハードディスクドライブ（ＨＤＤ）、２０−５…フレームメモリ（ＦＭ）、２０−６…外部接続部（Ｉ／Ｆ）、２０−７…フーリエ変換部（ＦＦＴ）、ＬＮ（ＬＮ１，ＬＮ２）…レンズ、ＥＰ…エピポーラ線、ＳＷ（ＳＷ０）…探索ウィンドウ、ＳＷ１〜ＳＷ４…近傍探索ウィンドウ、ＣＷ（ＣＷ０）…探索ウィンドウ、ＣＷ１〜ＣＷ４…近傍探索ウィンドウ、ＯＢ１，ＯＢ２…オブジェクト領域、ＳＴ…起点、ＥＮＤ…終点、Ｉ…入力画像、Ｊ…参照画像、Ｍ…対象物。

Claims

画像取込手段を介して、対象物を異なる視点から見た複数の画像を取り込む画像取込ステップと、
前記画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って前記複数の画像より所定幅の１次元の画素データ列を切り出す画素データ列切出ステップと、
前記複数の画像から切り出された１次元の画素データ列から位相限定相関関数を計算し、この計算された位相限定相関関数から前記複数の画像中の対応点を探索する対応点探索ステップと、
前記画像取込手段に対して設けられた調整機構を介して前記複数の画像の少なくとも１つについて前記対象物に対する視点を調整する視点調整ステップとを備え、
前記画素データ列切出ステップは、さらに、
前記エピポーラ線に沿って切り出した１次元の画素データ列の近傍の前記エピポーラ線に平行な線に沿う複数の１次元の画素データ列を切り出し、
前記対応点探索ステップは、
前記複数の画像から切り出された複数組の１次元の画素データ列の位相限定相関関数から前記複数の画像中の対応点を探索する
ことを特徴とする対応点探索方法。
画像取込手段を介して、対象物を異なる視点から見た複数の画像を取り込む画像取込ステップと、
前記画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って前記複数の画像より所定幅の１次元の画素データ列を切り出す画素データ列切出ステップと、
前記複数の画像から切り出された１次元の画素データ列から位相限定相関関数を計算し、この計算された位相限定相関関数から前記複数の画像中の対応点を探索する対応点探索ステップと、
前記探索された対応点の視差に基づいてその対応点の３次元位置を計測する３次元位置計測ステップと、
前記画像取込手段に対して設けられた調整機構を介して前記複数の画像の少なくとも１つについて前記対象物に対する視点を調整する視点調整ステップとを備え、
前記画素データ列切出ステップは、さらに、
前記エピポーラ線に沿って切り出した１次元の画素データ列の近傍の前記エピポーラ線に平行な線に沿う複数の１次元の画素データ列を切り出し、
前記対応点探索ステップは、
前記複数の画像から切り出された複数組の１次元の画素データ列の位相限定相関関数から前記複数の画像中の対応点を探索する
ことを特徴とする３次元位置計測方法。