JP6035620B2 - 車載ステレオカメラシステム及びそのキャリブレーション方法 - Google Patents

Description

本発明は、２台以上のカメラで被写体を撮影することによりその被写体の３次元位置を算出し、環境認識をするステレオカメラシステム、及びそれを搭載する移動体に関する。

２台以上のカメラで同一の被写体を撮影することによりその被写体の３次元位置を認識するシステムはステレオカメラシステムとして知られている。

今後、自動車や建設機械などの車両にステレオカメラシステムを搭載することにより、車両の自動操縦機能や操作支援機能が実現可能になると期待されている。

３次元位置を正しく認識するためには、ステレオカメラシステムの内部パラメータと外部パラメータを正確に同定する必要がある。これを校正あるいはキャリブレーションと呼ばれている。内部パラメータとは各カメラの焦点距離、画像中心位置、レンズ歪みを指し、外部パラメータとは各カメラ間の相対位置姿勢を指す。事前に精度良くキャリブレーションする方法として、チェッカーパターンを持つ平面など幾何形状が既知の物体を撮影する方法が広く採用されている。

ただし、ステレオカメラシステムを搭載する移動体の走行中において、ステレオカメラシステムへの物理的な衝撃と振動が影響し外部パラメータが変化することがある。そのため、運用中のステレオカメラシステムにおける外部パラメータの再校正が必要となるが、運用中に形状既知の物体をマーカーとして準備し特別に撮影することはコストが掛かる。そのため、運用中に撮影した画像を利用して外部パラメータを自動的に校正することが要求されており、これをセルフキャリブレーションと呼ぶ。

セルフキャリブレーションの従来技術として、非特許文献１には、各カメラによって同時に撮影された画像から同一の点を表す組を対応点として複数組抽出し、それらの対応点の画像上の位置を用いて推定した基礎行列を特異値分解することで外部パラメータを求める手法が記載されている。

基礎行列の分解：焦点距離の直接的表現（著：金谷健一他、情報処理学会研究報告、２０００−ＣＶＩＭ−１２０−７、２０００年１月２０日、ｐｐ．４９−５６）

ここで、被写体となる物体とステレオカメラシステムとの距離の大小によって、ステレオカメラシステムによる撮影結果と外部パラメータとの関係は異なってくる。例えば、水平画角５０度で水平方向画素数１０００のカメラでは５ｋｍ先の物体の分解能は２．３ｍ程度である。そのため、完全に同一方向を向いている２つのカメラ間の距離が１ｍ程度の場合、５ｋｍ以内の、特に２ｋｍ以内の近距離物体を撮影した撮影結果の両画面に大きいズレが発生する。このように、カメラ相対位置を同定する場合、両画面の大きいズレから特徴対応点の探索処理が難しくなる。このことから、相対姿勢を同定するにあたり、近距離の物体を用いた場合に、対応点位置の認識誤差が生じやすくなり、相対姿勢推定のロバスト性が低くなる。そこで、本発明者らは、近距離の物体の撮影画面を用いたセルフキャリブレーションに着目した。

非特許文献１に記載の手法は、被写体の距離の問題を取り扱っておらず、一般的な手法で相対位置と相対姿勢を求めている。そのため、対応点の画像上の位置の認識誤差に対し、精度とロバスト性の低い手法となっている。

以上に記述したように、外部パラメータの変化に対応するための従来手法は、自動あるいは半自動システムを構築するためにはロバスト性が不十分である。そこで、本発明は、対応点マッチングの認識誤差に対し高精度なセルフキャリブレーションが可能なステレオカメラシステムを提供することを目的とする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。複数の撮像部と、複数の撮像部それぞれが撮影した画像を用いて相対姿勢が変化したか否かを判断する姿勢変更判断部と、複数の撮像部それぞれが撮影した画像を用いて時系列に基づいて複数の撮影部間特徴対応点を検出する対応点検出部と、姿勢変化程度を判断してシステム作業停止しハードウェア修正を求めるアラームを出す姿勢調整要否判断部と、を有する車載ステレオカメラシステムである。

対応点検出部は、複数の撮像部それぞれが撮影した複数のフレーム画像の組から、第Ｎフレームの画像の対応点位置を算出し、左右の画像それぞれについて第Ｎフレームと第Ｎ＋１フレームの位置関係から、第Ｎ＋１フレームの両画面の特徴対応点を検出し、これら特徴対応点を用いて複数の撮像部間の第Ｎ＋１フレームの相対位置を推定する。

本発明のステレオカメラシステムによれば、近距離被写体の対応点位置の認識誤差に対し高精度とロバストなセルフキャリブレーションが行われる。

本発明の実施例１における自律走行ダンプトラック向け車載ステレオカメラシステムの構成例を表す模式図である。 実施例１における自律走行ダンプトラック向け車載ステレオカメラシステムのハードウェア構成を表す構成図である。 実施例１におけるシステム１００全体の処理を説明するフローチャートである。 実施例１における姿勢変更判断部の処理を説明するフローチャートである。 実施例１における対応点検出部の処理を説明するフローチャートである。 従来技術における各撮像部が同時に撮影した画像の組の対応点検出を表す模式図である。 近距離被写体として実施例１における各撮像部が同時に撮影した画像の組の対応点検出ミスマッチングの例を表す模式図である。 実施例１における各撮像部が同時に撮影した第Ｎフレームの両画像で特徴点抽出と、既知相対姿勢から特徴点の対応点を算出した結果の例を表す模式図である。 実施例１における左撮像部が撮影した第Ｎフレームから第Ｎ＋１フレームの対応点を検出した結果の例を表す模式図である。 実施例１における右撮像部が撮影した第Ｎフレームから第Ｎ＋１フレームの対応点を検出した結果の例を表す模式図である。 実施例１における各撮像部が同時に撮影した第Ｎ＋１フレームの対応点検出した結果の例を表す模式図である。 実施例１における各撮像部が同時に撮影した両画像の相対姿勢変化が大きいのでアラームを出す例を表す模式図である。 実施例１における各撮像部が同時に撮影した両画像からカメラ相対姿勢変更か否かを判断する例を表す模式図である。

以下、自律走行ダンプトラックに本発明の車載ステレオカメラシステムを適用した実施例１を説明する。

本実施例の車載ステレオカメラシステムは、被写体の３次元位置を出力する。

図１は、実施例１における車載ステレオカメラシステム１００の構成を表すブロック図である。自律走行ダンプトラック向け車載ステレオカメラシステム１００は、複数の撮像部１０１（１０１ａ、１０１ｂ）、画像取得部１０２、画像保存部１０３、対応点検出部１０４、姿勢変更判断１０５、姿勢調整要否判断部１０６、画像補正部１０７、パラメータ推定部１０８、を備え、作業期間の被写体の３次元位置を取得し、環境認識システム制御部１０９に提供する。図２には上記の車載ステレオカメラシステムがダンプトラック１１１に実装されている様子を示す。図１の車載ステレオカメラシステム１００及び環境認識システム制御部１０９の主要部は、図２に示す車載コントローラ１１０に内蔵されている。この車載コントローラは、ＣＰＵ、ＲＡＭ、記憶部などの一般的なハードウエア構成を有する。

図１に戻り説明を続ける。撮像部１０１a、１０１bは自身の視野内に存在する被写体を撮影する機器であり、モノクロームカメラ、カラーカメラ、赤外線カメラ、ハイパースペクトルカメラなどとして実装される。各カメラ１０１a、１０１bは同一の被写体を撮影できるような相対位置姿勢関係にある。２台のカメラ１０１a、１０１bの位置関係は固定であり既知としてよい。ただし、各カメラの姿勢については推定する必要がある。なお、本実施例では撮像部（カメラ）が２台の例を示したが、３台以上でもよい。３台以上の場合、それぞれ各２つのカメラ間でカメラキャリブレーションを行い、２台の例の応用で実現できる。また、今後の実施例の説明中で、２台のカメラで同時に撮るそれぞれの画像をＲ画像、Ｌ画像と呼ぶ。

画像所得部１０２、画像保存部１０３、対応点検出部１０４、姿勢変更判断部１０５、姿勢調整要否判断部１０６、画像補正部１０７、パラメータ推定部１０８は、各演算処理を行うため、役割毎に分けられた複数のＣＰＵ及びＲＡＭの組み合わせとして実装される。前記の各部は外部記憶装置としてのハードディスク、ＵＳＢメモリなどを採用する。姿勢調整要否判断部１０６にはアラームを出す装置としてスピーカまたはランプ１１１が接続されている。

図３は、実施例１における車載ステレオカメラシステム１００全体の処理例を説明するフローチャートである。まず、Ｓ３０２では、撮像部１０１で同時撮影したＲ画像、Ｌ画像を画像取得部１０２に入力する。Ｓ３０３で毎フレームの画像を画像保存部１０３に提供する。Ｓ３０４では、画像保存部１０３に格納された毎フレームの画像を姿勢変更判断部１０５に提供し、カメラ相対姿勢が変化したか否かの判断を行う。姿勢変化なしと判定した場合、処理を終了する。姿勢変化ありと判定した場合、Ｓ１０５に進む。Ｓ３０４での姿勢が変化したか否かの判定の詳細については、後に図４を参照して説明する。Ｓ３０５では、その両画像と前フレーム両画像を対応点検出部１０４に提供する。対応点検出部１０４は、姿勢推定要のフレームの両画像の特徴対応点を検出する。特徴対応点を検出する方法は、後に図５を参照して説明する。Ｓ３０６では、画像補正部１０７で、レンズ歪みなどによって歪められている対応点検出部１０４で検出した両画像の対応点の各画像での位置を補正する。Ｓ３０７では、パラメータ推定部１０８で、画像補正部１０７提供した補正後の特徴対応点の組を運用し、姿勢推定プログラムに基づき、撮像部のカメラ間の相対姿勢を推定する。そして、Ｓ３０８では、姿勢調整要否判断部１０６でカメラ相対姿勢のマニュアル修正が必要か否かを判断し、前記Ｓ３０２から繰り返し実行させる。

画像取得部１０２は、撮像部１０１を同時撮影した画像の入力を行い、毎フレームの画像を画像保存部１０３に提供する。

画像保存部１０３は、撮像部１０１を同時撮影した毎フレームの画像を画像取得部１０２から入力し、格納している。

続いて、姿勢変更判断部１０５は、画像保存部１０３に格納した毎フレームの両画像を用いて、カメラ相対姿勢が変化したか否かの判断を行う。この判断結果により、カメラ相対姿勢推定要という信号が与えられた場合に、現在のフレームの両画像と、画像保存部１０３に格納した前フレームの両画像を、対応点検出部１０４に提供する。図１３は、実施例１における各撮像部が同時に撮影した両画像からカメラ相対姿勢変更か否かを判断する例を表す模式図である。左右の両画像の平行移動のみで画素的にマッチングできる面積には、ある最大値が得られる。両カメラの相対姿勢に変化が起きていない場合には、この最大値はある値（標準値）よりも大きくなる。そこで、毎フレームの両画像が入力した後、以前のパラメータ推定部によるＳ３０７の姿勢推定の結果に基づきカメラ姿勢を校正し、Ｓ３０４の姿勢変化判断のプログラムを実行する。左右の両画像のうちの、横移動のみで画素的にマッチングできる領域の面積を前記標準値と比較し、カメラ相対姿勢が変化したか否かを判断する。

図４は、姿勢変更判断部１０５の姿勢変化判断の処理を説明するフローチャートである。Ｓ１０４１では、撮影した両画像の姿勢を、以前起こった姿勢推定結果に基づき、校正する。続いて、Ｓ１０４２はマッチング率を算出する。マッチング率を計算する手法の例として、左右の両画像のうちの横移動のみで画素的にマッチングできる領域の面積を算出し、その全体画像面積に対する割合を算出する。他の計算方式でもよい。Ｓ１０４３で標準値と比較し、カメラ姿勢に変化があったか否かを判断する。以上が図３のＳ３０４の姿勢変化判断の詳細である。

対応点検出部１０４は、姿勢変更判断部１０５の信号に基づき、画像保存部１０３に格納した第Ｎフレームの両画像と、第Ｎ＋１フレームの両画像を用いて、カメラ相対姿勢推定要の第Ｎ＋１フレームの両画像の特徴対応点を検出し、画像補正部１０７に提供する。図６は、従来技術における各撮像部が同時に撮影した画像の組の特徴対応点検出例を表す模式図である。非特許文献１に記載の手法は相対位置と相対姿勢を求めている。遠距離の場合に問題なく使える手法である。

図７は、近距離の被写体である場合に、各撮像部が同時に撮影した画像の組からの対応点検出にミスマッチングが生じる例を表す模式図である。被写体の距離の問題を取り扱わずに、つまり一般的な手法で相対位置と相対姿勢を求めた場合に、カメラの離間間隔に対して被写体までの距離が近距離になる程、各カメラの画像の間で対応点の位置ずれは大きくなる。したがって、例えば図７中で、実線で結ぶ点同士を特徴対応点と認識してしまう認識誤差あるいはミスマッチングが近距離ではたくさん起きる。つまり、過去のフレームの情報を用いず、２画像の現フレーム同士を比較して対応点を検出する手法は精度とロバスト性の低い手法である。

図５は、実施例１における対応点検出部１０４の処理を説明するフローチャートである。図８、図９、図１０、図１１を用いて説明される。

図８は、実施例１における各撮像部が同時に撮影した第Ｎフレームの両画像上で特徴点を抽出するステップ（図５のステップＳ１０５１）、既知相対姿勢から特徴点の対応点を算出するステップ（図５のステップＳ１０５２）の結果の例を表す模式図である。

まず、特徴点の抽出は以下のように実現される。撮像部１０１a、１０１bで撮影した第Ｎフレームの両画像のうちの左画像から複数個の特徴点をコーナ法で抽出する。これは、画像上の各点に対し、その点を囲むような小ウィンドウにおける２次微分画像の自己相関行列を計算し、その行列の二つの固有値がどちらも閾値より大きくなる点をコーナ(特徴点)とするものである。まず、カラー画像をグレー画像に変換する。その変換式は

である。ここで、iは画像内画素の横方法番号、jは縦方向番号、vはグレー画像での輝度値、r,g,bはそれぞれカラー画像における赤、緑、青成分の輝度値を表す。続いて、２次微分画像の自己相関行列Ｍを以下の式より求める。

ここで、ｖ_ｉ，ｖ_ｊはそれぞれｉ，ｊ方向の偏微分関数を表し、ｍは小ウィンドウの大きさ、ｉ，ｋはｉ，ｊ番目の画素を中心とした小ウィンドウ内の画素の番号を表す。行列M(i,j)の固有値をλ(i,j)とすると，次の２次方程式を解くことで二つの固有値が得られる。

これら二つの固有値が両方とも大きい場合、ｉ，ｊ番目の画素は交差する２つのエッジを持っていることになり、コーナ特徴点として抽出される。他の特徴点抽出方法で実現してもよい。

続いて、第Ｎフレームの左画像から、既知のカメラ間相対姿勢に基づき、第Ｎフレームの右画像で対応点を算出する。このことにより、カメラ変化前の第Ｎフレームの両画像の対応点を組み合わせる。

図９は、実施例１における左カメラが撮影した第Ｎフレームから第Ｎ＋１フレームの対応点を検出するステップ（図５の左画像オプティカルフロー算出ステップＳ１０５３）の結果の例を表す模式図である。対応点を検出する手法を述べると、撮像部の左カメラ１０１ａで連続撮影された２画像に対し、前フレーム(第Ｎフレーム)画像からLucas-Kanadeオプティカルフロー抽出法を基づき、抽出された特徴点を後フレーム(第Ｎ＋１フレーム)画像で対応点を検出する。第Ｎフレーム画像から抽出した特徴点についてそれを中心とした小ウィンドウを切り出し、その小ウィンドウが第Ｎ＋１の画像どこに存在するか探索し、次のような２つの仮定の下、画像の偏微分を利用する。
１． カメラ間相対位置姿勢が小さい
２．局所的には画像はほぼ一様な動きをする。
第Ｎフレームの画像をｖ_Ｌ(i,j)とし、抽出した特徴点画素の位置をｉ_Ｌ，ｊ_Ｌとする。さらに、第Ｎ＋１の画像をｖ_Ｒ(i,j)とし、探索結果となる特徴点画像の位置をｉ_Ｒ，ｊ_Ｒとする。対応点探索は次式で表現される連立方程式を解き、左画像１０１ａが撮影した第Ｎフレーム画像と第Ｎ＋１フレーム画像の対応点を検出することにより実施する。

他の対応点探索手法でもよい。

図１０は、 実施例１における右カメラが撮影した第Ｎフレームから第Ｎ＋１フレームの対応点を検出するステップ（図５の右画像オプティカルフロー算出ステップＳ１０５４）の結果の例を表す模式図である。このステップ１０５４でも、前記Ｓ１０５３と同様な手順を踏む。すなわち、撮像部の右カメラ１０１ｂで連続撮影された２画像に対し、前フレーム(第Ｎフレーム)画像からLucas-Kanadeオプティカルフロー抽出法を基づき、抽出された特徴点を後フレーム(第Ｎ＋１フレーム)画像で対応点を検出する。第Ｎフレーム画像から抽出した特徴点についてそれを中心とした小ウィンドウを切り出し、その小ウィンドウが第Ｎ＋１の画像どこに存在するか探索し、次のような２つの仮定の下、画像の偏微分を利用する。
１．カメラ間相対位置姿勢が小さい。
２．局所的には画像はほぼ一様な動きをする。

第Ｎフレームの画像をｖ_Ｌ(i,j)とし、抽出した特徴点画素の位置をｉ_Ｌ，ｊ_Ｌとする。さらに、第Ｎ＋１の画像をｖ_Ｒ(i,j)とし、探索結果となる特徴点画像の位置をｉ_Ｒ，ｊ_Ｒとする。特徴点探索は次式で表現される連立方程式を解き、右画像１０１ｂが撮影した第Ｎフレーム画像と第Ｎ＋１フレーム画像の対応点を検出する。他の対応点探索手法でもよい。

図１１は実施例１における各撮像部が同時に撮影した第Ｎ＋１フレームの左右画像間の対応点を決定するステップ（図５の対応点決定ステップＳ１０５５）の結果の例を表す模式図である。先のステップＳ１０５２では先行する第Ｎフレームの左右画像の特徴対応点を算出した。そして、各画像の左画像の第Ｎフレームと第Ｎ＋１フレームの対応点をステップＳ１０５３で、また右画像の第Ｎフレームと第Ｎ＋１フレームの対応点をステップＳ１０５４で算出した。これらの結果をから、第Ｎ＋１フレームの左右画像間の特徴対応点を認知できる。以上が対応点検出部１０４の処理の詳細である。

画像補正部１０７は、画像中心からの位置やレンズ歪みにとって歪められている対応点検出部１０４検出した両画像の対応点の各画像での位置を補正する。例えば、内部パラメータは、焦点距離｛ｆ_ｘ,ｆ_ｙ｝、画像中心位置｛ｃ_ｘ,ｃ_ｙ｝、歪みパラメータ｛ｋ_１,ｋ_２,ｋ_３,ｐ_１,ｐ_２｝で表現することができる。画像の幅をｗ、画像の高さをｈとするとき、歪んだ画像上の点の座標｛ｕ_ｄ,ｖ_ｄ｝と補正後の画像上の点の座標｛ｕ_ｄ,ｖ_ｄ｝との関係は〔数５〕で表現することができる。

補正された対応点を、パラメータ推定部１０８と姿勢調整要否判断部１０６に提供し、カメラ相対姿勢推定とシステム復元アラーム要否判断を行う。他の補正方法で対応点を補正してもよい。

パラメータ推定部１０８は、画像補正部１０７提供した補正後の対応点の組を運用し、姿勢推定プログラムに基づき、各撮像部１０１間の相対姿勢を同定する。画像補正部１０３から得られた複数の対応点が、幾何学の関係式を満たすようにカメラ間相対姿勢を求める。相対姿勢の自由度に基づき、対応点の組みで相対姿勢を一意に決めることができる。特徴点探索に入り込む誤差の影響を軽減するため、より多くの対応点を抽出するべきである。

例えば、以下のように実現される。

複数の方程式から解を求める最も一般的な方法に最小２乗法がある。入力データに対してロバストな結果を出力できる手法として、ＲＡＮＳＡＣという誤対応も同時に推定し排除するアルゴリズムを採用することができる。

抽出した対応点のうち、少量の対応点をランダムにサンプリングし、それによって相対姿勢を推定する。続いて、その推定結果を用いたときに幾何学的関係式が成り立つか否かを全ての対応点に対して判定し、成立した対応点数をその推定結果の評価とする。このランダムサンプリングを複数回行い、最も評価の高かった場合の相対姿勢から誤対応を決定して排除し、最終的に正しい対応点のみで最小２乗法を適用し推定結果とする。他の姿勢推定手法でもよい。

その推定結果を、環境認識システム制御部１０９と車載ステレオカメラシステム１００との双方の全体制御を行う姿勢変更判断部１０５に提供する。この推定結果は、次回のカメラ相対姿勢変化があったか否かの判断のときに運用される。

姿勢調整要否判断部１０６は、ある条件を満たさない場合に、許容範囲を超える相対姿勢変化が起きたと判断し、マニュアルのシステム修正を請求するアラームを出す。判定方法として、対応点検出部１０４が算出した特徴対応点の個数がキャリブレーションに必要な対応点数の下限より少ない場合、及び前記の特徴点の抽出段階で抽出され左画面もしくは右画面のた特徴点の数に対する対応点検出部１０４が算出した特徴対応点の比率が２０%以下になる場合、及び前記対応点検出部で検出した特徴対応点の重心の画像の中心からの偏移が８０％を超える場合に、両画面のズレが許容範囲を超える可能性が高いと判断することができる。特徴対応点の数と左画像もしくは右画像の特徴点の数の比率について説明する。特徴点の数に対する対応点検出部１０４が算出した特徴対応点の数の比率が小さいと、左右両画面の比較時に大部分の特徴点が共通の画像領域外にはずれたことを意味し、つまり両画像のズレが大きいと判断することができるである。これらの場合に、ハードウェア的にアラームを出し、マニュアルの修正を請求する。前記比率及び偏移判定のしきい値は調整可能であり、２０％、８０％に限定するものではない。

図１２は、実施例１における各撮像部が同時に撮影した両画像の相対姿勢変化が大きいためアラームを出す例を表す模式図である。Ｓ１０４のプログラムを運行するため、Ｓ１２０からの対応点組みが必要し、この対応点個数がある下限よりも少ないとき及びカメラ相対姿勢が図１２のように許容範囲を超える相対姿勢変化が起きたときマニュアルのシステム修正を請求するアラームを出す。

環境認識システム制御部１０９は、ステレオカメラ姿勢推定の結果を出力し、車載ステレオカメラシステム１００全体的に制御を行う。車載ステレオカメラシステムが撮影した画像から、環境認識を行い、被写体の３次元位置情報を算出し、この情報を基づき、カメラシステムを搭載した移動体の走行制御を行う。

１００：車載ステレオカメラシステム
１０１a、１０１b：撮像部
１０２：画像取得部
１０３：画像保存部
１０４：対応点検出部
１０５：姿勢変更判断部
１０６：姿勢調整要否判断部
１０７：対応点補正部
１０８：パラメータ推定部
１０９：環境認識システム制御部
１１１：アラーム出力部

Claims (11)

1. 移動体にそれぞれ配置された第１、第２のカメラを少なくとも備える車載ステレオカメラシステムのセルフキャリブレーション方法であって、
   前記第１、第２のカメラで撮影した左画像、右画像のそれぞれの第１から第Ｎ＋１フレームのデータを入力して保存し、
   現フレームである左画像の第Ｎ＋１フレームと右画像の第Ｎ＋１フレームの組から、前記第１カメラ、第２カメラ間の相対姿勢に変化が生じたか否かを判断し、
   前記第１カメラ、第２カメラ間の相対姿勢に変化が生じたと判断されたときに限り、左画像の第Ｎフレーム及び右画像の第Ｎフレームを用いて、左右画像それぞれの第Ｎ＋１フレーム同士の組から対応する点の組を特徴対応点の対として検出し、検出された前記特徴対応点の対を使用してカメラ相対姿勢の推定を行うことを特徴とする車載ステレオカメラシステムのセルフキャリブレーション方法。
2. 請求項１に記載の車載ステレオカメラシステムのセルフキャリブレーション方法であって、
   前記特徴対応点の対を検出するステップは、
   前記左画像の第Ｎフレームおよび右画像の第Ｎフレームからそれぞれ特徴点を抽出し、
   抽出された特徴点から、前記左画像の第Ｎフレームとの右画像の第Ｎフレームの間の対応点を算出し、
   前記左画像の第Ｎフレーム上の前記対応点に対応する前記左画像の第Ｎ＋１フレーム上の点を算出し、前記右画像の第Ｎフレーム上の前記対応点に対応する前記右画像の第Ｎ＋１フレーム上の点を算出し、もって左右画像それぞれの第Ｎ＋１フレーム同士の前記特徴対応点を検出することを特徴とする車載ステレオカメラシステムのセルフキャリブレーション方法。
3. 請求項１に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
   前記第１カメラ、第２カメラ間の相対姿勢に変化が生じたか否かの判断は、
   左右画像それぞれの第Ｎ＋１フレームの一方に横移動のみを行って他方に画素的にマッチングできる面積の最大値を算出し、マッチング比率を算出し、標準と比較して判断することを特徴とする車載ステレオカメラセルフキャリブレーション方法。
4. 請求項１に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
   前記左右画像それぞれの第Ｎ＋１フレーム同士の特徴対応点の対を使用してカメラ相対姿勢の推定が行なわれると、カメラ相対姿勢のズレが所定の許容範囲を超えるか否かを判定し、前記カメラ相対姿勢のズレが許容範囲を超える場合にシステム復元を要請するアラームを発することを特徴とする車載ステレオカメラシステムのキャリブレーション方法。
5. 請求項４に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
   上記特徴対応点の数がキャリブレーションに必要な対応点数の下限より少ない場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断する特徴とする車載ステレオカメラシステムのキャリブレーション方方法。
6. 請求項４に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
   前記左画像の特徴点の数もしくは前記右画像の特徴点の数に対する、前記左右画像それぞれの第Ｎ＋１フレーム同士の特徴対応点の数の比率を算出し、当該比率が閾値以下である場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断する特徴とする車載ステレオカメラシステムのキャリブレーション方方法。
7. 請求項４に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
   前記左右画像それぞれの第Ｎ＋１フレーム同士の特徴対応点の重心位置の画像の中心からの偏移がしきい値を超える場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断することを特徴とする車載ステレオカメラシステムのキャリブレーション方法。
8. 移動体にそれぞれ配置された第１、第２のカメラを少なくとも備える撮像部と、
   前記第１、第２のカメラがそれぞれ撮影した画像を入力する画像取得部と、
   前記第１、第２のカメラがそれぞれ撮影した画像を保存する画像保存部と、
   前記第１、第２のカメラの姿勢同定を行うため、それぞれの撮影した画像を用いて前記第１、第２カメラ間の相対姿勢に変化が生じたか否かを判断する姿勢変更判断部と、
   前記複数の撮像部中の２つの撮像部が左右両画像部として、前記第１、第２カメラそれぞれが撮影した左右画像の時系列フレームに基づき前記左右画像間の特徴対応点を検出する対応点検出部と、
   前記検出した特徴対応点を使用し、前記複数の撮像部中の２つの撮像部カメラ姿勢推定を行うパラメータ推定部と、
   許容範囲を超える相対姿勢変化が起きたときに、マニュアルのシステム修正を請求するアラームを出す姿勢調整要否判断部と、
   環境認識システム制御部と、
   を有するステレオカメラシステム。
9. 請求項８に記載のステレオカメラシステムであって、
   前記姿勢変更判断部は前記第１、第２カメラが撮影した左右画像の一方を横移動したのみで他方の画素にマッチングできる面積の最大値を算出して、マッチング比率を算出し、標準と比較して判断することを特徴とするステレオカメラシステム。
10. 請求項８に記載のステレオカメラシステムであって、
    前記対応点検出部は、前記第１カメラが撮影した左画像の第Ｎフレームの特徴点をと、第２カメラが撮像した右画像の第Ｎフレームの特徴点を抽出し、抽出された特徴点から前記左画像の第Ｎフレームと前記右画像の第Ｎフレームとの対応点を算出し、
    前記左画像の第Ｎフレーム上の対応点に対応する左画像の第Ｎ＋１フレームの点を算出し、前記右フレームの第Ｎフレームの対応点に対応する右画像の第Ｎ＋１フレームの点を算出し、もって左右画像それぞれの第Ｎ＋１フレーム同士の特徴対応点を検出することを特徴とするステレオカメラ装置。
11. 請求項８に記載のステレオカメラシステムであって、
    前記姿勢調整要否判断部は、前記対応点検出部のが検出した特徴対応点の個数を記録し、
    前記特徴対応点の個数がキャリブレーションに必要な対応点数の下限より少ない場合、
    もしくは前記左画像もしくは右画像の特徴点の数と前記検出した特徴対応点の比率がしきい値以下になる場合、
    もしくは前記検出した特徴対応点の重心位置の画像の中心からの変移がしきい値を超えた場合に、前記マニュアルの修正請求のアラームを出すことを特徴とするステレオカメラ装置。

Images