JP6165745B2 - 車載搭載型のコンピュータ・ベース視覚システムの校正方法 - Google Patents

Description

本発明とその対応する研究は、ＩＭｏｂＳ３ラボラトリ・オブ・エクセレンス（Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｅｘｃｅｌｌｅｎｃｅ）（ＡＮＲ−１０−ＬＡＢＸ−１６−０１）を通じたフランス政府の研究プログラム「Ｉｎｖｅｓｔｉｓｓｅｍｅｎｔｓ ｄ‘ａｖｅｎｉｒ」、地域の競争力と雇用目的２００７−２０１３（ＥＲＤＦ―オーヴェルニュ地方）を通じた欧州連合、およびオーヴェルニュ地方からの支援を受けている。
本発明は、外部パラメータと内部パラメータを有する１組の固定されたカメラを備えた車載搭載型のコンピュータ・ベース視覚システムを校正するための方法に関する。

１組の固定された同期カメラを備えたコンピュータ・ベース視覚システムを使用して、車両が移動している環境の３Ｄ再構築を決定することが可能である。

例えば学習した参照軌跡に沿って移動するためにコンピュータ・ベース視覚システムによって取得した画像を使用するように設計された、自動誘導型の車両を誘導するために、かかるコンピュータ・ベース視覚システムを使用することが可能である。

これを行うために、コンピュータ・ベース視覚システムを移動させることによって取得した画像に基づいて３Ｄ再構築を使用することが可能である（「Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ」または「ＳＦＭ」）。

かかる方法では、学習段階において、操作者が参照軌跡に沿った車両の移動を制御することができる。事前に記録した移動を実施することによって操作者なしに車両を自動的に制御することもできる。移動の最中は、コンピュータ・ベース視覚システムが環境から画像を取得し、各画像はコンピュータ・ベース視覚システムの姿勢に対応する。各画像は、２Ｄの点または画素から成る行列を含み、それぞれは、当該行列におけるその位置と色または強度のような他のパラメータとにより定義される。姿勢とは、ユークリッド座標系におけるコンピュータ・ベース視覚システムの位置および方位、ならびに、当該ユークリッド座標系におけるそれらの変換を定義するものである。当該ユークリッド座標系は、（隣接する姿勢に関して）グローバルまたはローカルでありうる。当該位置は、当該座標系の軸に従う座標に対応する３つの変換パラメータにより表され、当該方位は、例えば当該座標系に関する３つの角度（オイラー角）により表される。

コンピュータ・ベース視覚システムは、各画像における特徴的な２Ｄの姿勢を特定し、当該特徴的な２Ｄランドマークを画像間でマッチさせ（「テンプレート・マッチング」）、マッチした２Ｄランドマークに基づいて、マッチした２Ｄランドマークに対応する環境の３Ｄランドマークのパラメータと再構築に使用される画像に対応するコンピュータ・ベース視覚システムの姿勢パラメータとを含む３Ｄマッピングを再構築する。当該３Ｄマッピングは、コンピュータ・ベース視覚システムが当該姿勢にあるときにコンピュータ・ベース視覚システムにより潜在的に視認可能な３Ｄランドマークに関連付けられる。当該３Ｄマッピングはまた、各３Ｄ点を、当該点を囲む関心領域に関連付けることができる。

３Ｄランドマークと２Ｄランドマークは、特に、（画像から取得した）３Ｄ点と２Ｄ点であることができる。３Ｄ点のパラメータは、各３Ｄ点を空間内で発見できるようにする当該３Ｄ点の位置座標である。

姿勢パラメータとは、姿勢ごとの、当該姿勢を定義する変換パラメータと回転パラメータである。

カメラ・セットは外部パラメータを含む。当該外部パラメータは、当該カメラ・セットの或るカメラの座標位置から別のカメラの座標位置へ移ることを可能とする固定された変換のパラメータである。或るカメラから別のカメラへ移ることを可能とする当該固定された変換を、ユークリッド座標系における３つの変換パラメータと３つの回転パラメータ、即ち、６つのパラメータにより定義することができる。

当該カメラ・セットは、各カメラに固有な内部パラメータを含む。ピンホール・カメラでは、内部パラメータが特に、焦点距離、主点の位置、画像中心および変形係数を含むことができる。

非特許文献１は、単眼の視覚システムに対して、校正されたカメラにより取得した画像を処理する再構築アルゴリズムが開示されている。即ち、カメラのパラメータは再構築中に一定であるとみなされている。

Mouragnon et al., "3D reproduction of complex structures with bundle adjustment: an incremental approach", Processing IEEE International Conference on Robotics and Automation, ICRA. Orlando, FL, USA, May 15-19, 2006, Piscataway, NJ, USA, IEEE, 15 May 2006, pages 3055-3061, DOI: 10.1109/ROBOT.2006.1642166, ISBN: 978-0-7803-9505-3

しかし、３Ｄマッピングに基づいて車両を３Ｄマッピングし誘導する精度は、外部パラメータと内部パラメータの正確な知識に依存する。

したがって、本発明の目的の１つは、高速に実装可能な、カメラ・セットの外部パラメータおよび／または内部パラメータを正確に推定できるようにする校正方法を提供することである。

この目的のため、本発明では、特許請求の範囲に従う、車載搭載型のコンピュータ・ベース視覚システムを校正するための方法、製品、および装置を提供する。

本発明とその利点は、例としてのみ提供した以下の説明を、添付図面を参照して検討すればより容易に理解されよう。

実装すべき本発明に従う方法を可能とする、２つのカメラを具備したコンピュータ・ベース視覚システムを備える自動誘導式車両の側面図である。 視覚システムのモデルの図である。 基本シーケンスの全てを備える完全なシーケンスを３Ｄマッピングするために、昇順階層統合による基本シーケンスの３Ｄマップを集約するステップを示すブロック図である。

図１に示す車両２は自動誘導型の車両（ＡＧＶ）である。車両２は、少なくとも１つの操縦車輪を備えた車輪４と、各操縦車輪の操縦を制御するための操縦システム６と、車両２を前進または後進させるために車輪４の少なくとも１つに接続された駆動システム８と、当該車両が自動的に移動できるように操縦システム６とモータ８を制御して車両の移動を制御するためのコンピュータ・ベース視覚システム１０とを備える。

コンピュータ・ベース視覚システム１０は、画像を同時に捕捉するために同期された１組のカメラＣ_１、Ｃ_２を備える。当該カメラ・セットは固定されている。即ち、カメラＣ_１、Ｃ_２は互いに固定され、したがって、互いに対して不動である。

カメラＣ_１、Ｃ_２は、車両の環境の画像を取得するように車両２に配置されている。カメラＣ_１、Ｃ_２は、その視野が分かれているかまたは重複しないように配向されている。即ち、各カメラが見える景色は、当該カメラ・セットの所与の姿勢において他のカメラには見えない。

示した例では、コンピュータ・ベース視覚システム１０は２つのカメラ、即ち、車両２の前面に向かう画像を取得するように車両２に固定された前方カメラＣ_１と、車両２の後面に向かう画像を取得するように車両２に固定された後方カメラＣ_２を備える。

コンピュータ・ベース視覚システム１０は、車両２の位置を決定し操縦システム６と駆動システム８を制御して車両２を移動させるための、コンピュータ・ベース視覚システム１０が捕捉したデジタル画像を受信し処理するのに適した情報処理モジュール１６を備える。

情報処理モジュール１６は、本発明に従う方法を実装するようにプログラムされる。情報処理モジュール１６は、コンピュータと、コンピュータ・プログラムが格納されたメモリとを備える。当該コンピュータ・プログラムは、情報処理モジュールにより実施されたときに本発明に従う校正方法を実施するソフトウェア命令を含む。

以下の記述においては、特に明記しない限り、「画像」という用語は、コンピュータ・ベース視覚システム１０により提供された環境の画像と各カメラＣ_１、Ｃ_２により個別に提供された画像をグループ化したものを指し、「姿勢」という用語は、コンピュータ・ベース視覚システム１０の姿勢を指す。

各カメラＣ_１、Ｃ_２は内部パラメータを有する。当該内部パラメータは実環境とカメラＣ_１、Ｃ_２により提供された対応する画像の間の対応に影響を及ぼす。カメラの内部パラメータは、特に、焦点距離、主点位置、画像中心および変形係数を含むことができる。

当該カメラ・セットは外部パラメータを備える。これらの外部パラメータにより、互いに固定的に接続されたカメラＣ_１、Ｃ_２の姿勢の間の関係を決定する。

図２に示すように、各カメラＣ_１、Ｃ_２は、個々の座標位置に接続され、一般に、コンピュータ・ベース視覚システム１０ごとに、カメラＣ_ｉの座標位置からカメラＣ_ｊの座標位置へ移ることを可能とする固定変換ΔＴ_ｉ、ｊが存在する。

図示した２つのカメラＣ_１、Ｃ_２のケースでは、カメラＣ_１の座標位置からカメラＣ_２の座標位置へ移ることを可能とする固定変換ΔＴ_１、２が存在する。

２つのカメラの間の各固定変換ΔＴ_ｉ、ｊを、一方のカメラから他方のカメラへ移ることを可能とする固定変換Δｔ_ｉ、ｊと一方のカメラの方位から他方のカメラの方位へ移ることを可能とする回転ΔＲ_ｉ、ｊにより定義することができる。変換Δｔ_ｉ、ｊは、カメラＣ_ｉに関連付けられたユークリッド座標系の３軸に従う変換に対応する３つのパラメータにより決定され、回転ΔＲ_ｉ、ｊは、カメラＣ_ｉに関連付けられたユークリッド座標系の３軸周りの回転に対応する３つのパラメータにより決定される。

当該校正方法は、移動車両の環境の３Ｄマッピングを再構築すること（「Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ」または「ＳＦＭ」）を含む。

当該校正方法によれば、コンピュータ・ベース視覚システム１０により取得されたデジタル画像は、車両２が軌跡に沿って移動するにつれて取得され、各画像は、当該軌跡に沿ったコンピュータ・ベース視覚システム１０の姿勢に対応する。１実施形態では、操作者が、軌跡に沿った車両２の移動を制御し、移動中に、コンピュータ・ベース視覚システム１０が当該環境のデジタル画像を捕捉する。

コンピュータ・ベース視覚システム１０により捕捉された各画像は、画素または２Ｄ点の行列を備える。各２Ｄ点は、特に、その当該行列内の位置により定義される。

当該校正方法は、環境の３Ｄランドマークとコンピュータ・ベース視覚システム１０の姿勢とを含む３Ｄマッピングを、コンピュータ・ベース視覚システム１０に潜在的に可視である１組の３Ｄランドマークを各姿勢に関連付けることによって、再構築するステップを含む。当該潜在的に可視なランドマークを各カメラに関連付けて、どの３Ｄランドマークが当該コンピュータ・ベース視覚システムの各姿勢においてどのカメラに潜在的に可視であるかを判定することができる。

１実施形態では、図３に示すように画像は基本シーケンスＳｉにグループ化される。各基本シーケンスＳｉには、２つの連続する基本シーケンスの間にＹ個の画像が重複したＸ個の隣接画像Ｉｉがある（２つの連続する基本シーケンスがＹ個の画像を共有する）。１実施形態では、各基本シーケンスは、Ｙ＝２個の画像が重複するＸ＝３個の画像を含む。

「隣接画像」という用語は、コンピュータ・ベース視覚システム１０付近の姿勢に対応する画像を指し、これらの画像は重複し、マッチ可能な２Ｄランドマークを有することができる。

当該校正方法は、各基本シーケンスＳ_ｉに基づいて３Ｄマッピングを再構築するステップを含む。

１つの可能な実施形態では、第１の基本シーケンスＳ_ｉの３Ｄマッピングを、ランドマークのエピポーラ・ジオメトリ計算および三角形分割により計算し、次の基本シーケンスＳ_ｉ（ｉ＞１）の３Ｄマップを、第１の基本シーケンスＳ_１のマッピングに従ってステップ・バイ・ステップで計算する。

エピポーラ・ジオメトリ計算により、第１の基本シーケンスＳ_１の画像に対応するコンピュータ・ベース視覚システム１０の姿勢を決定することができる。姿勢は、（隣接する姿勢に関して）グローバルまたはローカルなユークリッド座標系における３つの変換パラメータと３つの回転パラメータにより定義される。三角形分割により、第１の基本シーケンスＳ_１の画像間でマッチした２Ｄランドマークに対応する３Ｄランドマークのパラメータ（即ち、３Ｄランドマークの３次元座標）を決定することができる。３Ｄ点のパラメータは、当該３Ｄ点が観測された姿勢に関するグローバルまたはローカルなユークリッド座標系における変換パラメータである。

当該エピポーラ・ジオメトリ計算は公知な方法で実施される。当該公知な方法としては、例えば、ハリス・コーナー方法によりシーケンスの画像における特徴的な２Ｄランドマークを識別し、シーケンスの画像間の特徴的な２Ｄランドマークをマッチし、例えば２つの姿勢に対してランザック・タイプのアルゴリズムを実装し第３の姿勢を補間することでコンピュータ・ベース視覚システム１０の姿勢を計算することによるものがある。

マッチした２Ｄランドマークの三角形分割の計算は公知の方法、例えば中点法により、実施される。当該三角形分割により、３Ｄランドマークを取得すること、即ち、マッチした２Ｄランドマークに対して、環境の３Ｄ点をグローバルなユークリッド座標系におけるその３次元座標で決定することができる。

過去の基本シーケンスに基づく基本シーケンスの３Ｄマッピングの再構築に関して、特徴的な２Ｄランドマークが基本シーケンスの追加画像において検出され、コンピュータ・ベース視覚システム１０の対応する姿勢が、過去の基本シーケンスの３Ｄマッピングにおいて既に計算されたコンピュータ・ベース視覚システム１０の姿勢の特徴的な２Ｄランドマークとマッチされたこれらの特徴的な２Ｄランドマークに基づいて決定され、次いで追加のマッチされた２Ｄランドマークが三角形分割される。このように、基本シーケンスの全てがステップ・バイ・ステップで再構築される。

各基本シーケンスＳ_ｉの各３Ｄマッピングは、バンドル調整アルゴリズムを実装することによって最適化される。バンドル調整アルゴリズムは、一般に費用関数の最小化である基準を収束させることにより、３Ｄマッピング計算に必要な様々なパラメータを最適化できる反復アルゴリズムである。１組のカメラにより取得した画像に基づく３Ｄマッピング計算に必要なパラメータには、３Ｄランドマーク・パラメータ、コンピュータ・ベース視覚システムの姿勢のパラメータ、コンピュータ・ベース視覚システムの外部パラメータ、およびコンピュータ・ベース視覚システムの内部パラメータが含まれる。最適化中に可変とみなされるパラメータが推定され、一定または固定であるとみなされるパラメータは最適化も推定もされない。

当該校正方法は、外部パラメータが一定であるとみなすことにより、バンドル調整により各基本シーケンスＳ_ｉの３Ｄマッピングを最適化することを含む。

当該校正方法は、基本シーケンスＳ_ｉの３Ｄマップを集約して完全なシーケンスＳの３Ｄマッピングを取得することを含む。

１実施形態では、図３に示すように、第１のレベルを定義する基本シーケンスＳ_ｉを用いた昇順階層集約方法を実装することにより上記集約を実施する。或るレベルから高レベルへの移動を、対となるレベルの３Ｄマップの統合と、当該統合から生ずる各３Ｄマッピングのバンドル調整による最適化により実施して、或るレベルから高レベルへ移るときに３Ｄマップの数が２で除されるようにする。この基本集約ステップを、完全なシーケンスＳが再構築されるまで各レベルで実施する。

低レベルの２つの３Ｄマップの統合から生ずる各３Ｄマッピングのバンドル調整による最適化を、外部パラメータが一定であるとみなすことにより実施する。

３Ｄマップを再構築するために実装されたアルゴリズムは、有利なことに、異常なランドマークを最小限にするための方法を含む。１実施形態では、ある姿勢においてカメラに可視な３Ｄランドマークの再投影誤差が閾値より大きい場合には、対応する２Ｄランドマークを拒否する。このように、特徴的な２Ｄランドマークを異常なランドマーク（異常値）と妥当なランドマーク（正常値）へと選択的に分類する。

完全なシーケンスＳの３Ｄマッピングを、外部パラメータの少なくとも１つが可変であるとみなして、バンドル調整により最適化する。このように、完全なシーケンスの３Ｄマッピングを、外部パラメータ、３Ｄランドマーク、およびコンピュータ・ベース視覚システム１０の姿勢を最適化することによって最適化する。当該最適化は、例えば、レーベンバーグ・マーカート・タイプの最適化技術に基づいてバンドル調整アルゴリズムを実装することによって実施される。

有利には、当該校正方法は、３Ｄマッピング再構築におけるドリフトを検出し削減するためのループ閉鎖検出ステップを含む。

当該ループ閉鎖検出により、コンピュータ・ベース視覚システムの第１の姿勢と第２の姿勢で観測された特徴的な３Ｄランドマークを、カメラを切り替えて、または、カメラを切り替えることなく、検出することができる。

２つのカメラＣ_１、Ｃ_２が反対方向を向く場合には、切替えを伴わないループの閉鎖は例えば車両２の円内の移動による３６０°回転に対応し、切替えを伴うループ閉鎖は例えば半回転による１８０°の回転に対応する。

切替えを伴うループの閉鎖を考慮するために、各カメラの画像とカメラの姿勢を独立に処理する。

ループの閉鎖を検出するために、所定のカメラの姿勢に対して、（当該所定のカメラまたは別のカメラによる）過去の姿勢の存在を検証し、当該過去の姿勢が十分に近いことを示す近位基準を検証する。これを行うために、２つのカメラ姿勢の位置の間の距離が距離閾値未満であるかどうかを検証し、一方の姿勢の方位から他方の姿勢の方位へ移るための回転角度が角度閾値未満であるかどうかを判定することができる。

近傍のカメラ姿勢が存在するときには、これらのカメラ姿勢に関連付けられた画像の特徴的な２Ｄランドマークがマッチされ、マッチした２Ｄ点の数が所定数より大きい場合には、マッチした２Ｄランドマークに関連する観測を追加する。当該観測は、例えば、マッチした２Ｄランドマークを所定のカメラの過去の姿勢に追加することであり、これは、信頼できるマッチした２Ｄランドマークとマッチする２Ｄランドマークの数を増加させる。１実施形態では、ランザック・タイプのアルゴリズムを実装することにより２Ｄランドマークをマッチすることができる。

１実施形態では、ループ検出を各カメラの姿勢ごとに実施する。

上述の実施形態では、基本シーケンスＳ_ｉの３Ｄマップを最適化し集約している間は外部パラメータが一定であるとみなして完全なシーケンスＳの３Ｄマッピングを取得し、当該外部パラメータを可変であるとみなして完全なシーケンスＳの３Ｄマッピングのバンドル調整による最適化においてのみ最適化する。

したがって、基本シーケンスの３Ｄマップが、少なくとも１つの外部パラメータが一定であるとみなし、完全なシーケンスの３Ｄマッピングが各基本シーケンスより長いとみなすことによって最適化され、各基本シーケンスは、少なくとも当該外部パラメータがそれを推定するために可変であるとみなすことによって最適化される。

さらに、基本シーケンスＳ_ｉと中間シーケンスは、各々が完全なシーケンスＳの画像の一部のみを含む部分シーケンスである。部分シーケンスの各３Ｄマッピングは、外部パラメータが一定であるとみなすことによって最適化される。

あるいは、基本シーケンスの３Ｄマッピングの集約中に、少なくとも特定の外部パラメータを可変とみなすことができる。

このように、基本シーケンスを含む長い中間シーケンスの少なくとも１つの３Ｄマッピングを、少なくとも１つの外部パラメータまたは各外部パラメータを、それを推定するために可変とみなすことによって最適化する。

少なくとも１つの外部パラメータが一定であるとみなすことによって、各々が過去のシーケンスを含む増大する長さの複数のシーケンスの３Ｄマッピングを最適化し、外部パラメータを、それを推定するために可変とみなすことによって、過去のシーケンスを含む次のシーケンスの３Ｄマッピングを最適化することができる。

外部パラメータのバンドル調整による最適化は効果的であり、コンピュータ・ベース視覚システム１０の移動に基づいて正確なソリューションに迅速に収束することができる。

１つの可能な実施形態では、シーケンスの３Ｄマッピングの再構築がコンピュータ・ベース視覚システム１０の移動を示す場合、当該シーケンスの３Ｄマッピングの最適化を、検出された移動に従って外部パラメータを可変であるとみなすことによって実施する。以下の基準を適用することができる。

検出された移動が直線移動である場合には、３Ｄマッピング最適化中に、外部変換パラメータが初期値または過去に推定した値で一定であるとみなし、少なくとも１つの外部回転パラメータが一定であるとみなす。１実装形態では、直線移動の方向周りの回転パラメータが一定であるとみなす。

検出された移動が非直線的な水平面における移動である場合には、３Ｄマッピング最適化中に、垂直変換以外の外部変換パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす。

移動が（少なくとも２つの相違なる軸を有する）平行軸に沿ったねじ込み移動である場合には、３Ｄマッピング最適化中に、ねじ込み方向における変換以外の外部変換パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす。

検出された移動が３次元移動である場合には、３Ｄマッピング最適化中に、外部変換パラメータが初期値または過去の推定値で一定であるとみなし、外部回転パラメータが可変であるとみなす。

さらに、３Ｄマッピング最適化を制限するために、着目しているシーケンスの長さに従って外部パラメータを最適化するかまたは最適化しなくともよい。以下の基準を適用することができる。

シーケンスの長さが所定の閾値より短い場合には、外部パラメータが一定であるとみなすことによって当該シーケンスを最適化する。したがって、長さが最小であるシーケンスの３Ｄマッピングに対してのみ外部パラメータを最適化する。

シーケンスの長さが、外部パラメータが可変であるとみなすことによって最適化された最長のシーケンスより短い場合には、当該外部パラメータが一定であるとみなすことによって当該シーケンスの３Ｄマッピングを最適化する。視覚システムの移動の基準とシーケンスの長さの基準を組み合わせることができる。

当該校正方法を逐次的に実装することができる。即ち、処理モジュール１６による画像の処理を、完全な画像シーケンスが捕捉された後に実装することができる。画像の捕捉と３Ｄマッピングの再構築は逐次的に実施される。

車両２が奇跡に沿って移動する際に当該校正方法を実装することができる。３Ｄマッピングの再構築を、外部パラメータが可変または一定であるとみなすことによって、３Ｄマッピング最適化に対する移動基準およびシーケンス長さ基準に基づいて実施することができる。

１つの可能な実施形態では、３Ｄマッピングの再構築は既に利用可能な基本シーケンスから開始する。各外部パラメータは、各基本シーケンスと、過去に再構築された３Ｄマッピングの統合により再構築された夫々の長いシーケンスとの３Ｄマッピングを最適化するために、前述の移動基準に従って固定または可変であるとみなされる。

基本シーケンスの３Ｄマッピングが一定の外部パラメータで最適化され、長いシーケンスの３Ｄマッピングのみが、可変であるとみなされる少なくとも１つの外部パラメータで最適化されている基本シーケンスを含むことが好ましい。

新たな基本シーケンスを生成する新たな姿勢に対して、当該新たな基本シーケンスの３Ｄマッピングが再構築され、外部パラメータが一定であるとみなすことによって最適化され、過去の基本シーケンスで集約される。当該ループ検出は、新たな基本シーケンスを生成する夫々の新たな姿勢において実装される。

外部パラメータを推定するのに十分な移動が生じた場合に外部パラメータの信頼できる推定を期待できる限り、および、３Ｄマッピングが最適化されたものより長いシーケンスを有する場合に外部パラメータの推定を改善できると期待できる限り、新たな基本シーケンスから再構築した新たな３Ｄマッピングの最適化が、移動と長さの基準に従って実施される。

当該校正方法が長時間にわたって実施されると、集約の最後に、完全なシーケンスの最適化された３Ｄマッピングが得られる。当該シーケンスは最長のものであるので、校正の軌跡が正しく選ばれた場合には、外部パラメータを可変とみなすことによって、完全な画像シーケンスの３Ｄマッピングが最適化される。

当該校正方法を、非重複領域を有する２つのカメラを有するコンピュータ・ベース視覚システムに関連して説明した。当該校正方法を、複数のカメラを備えたコンピュータ・ベース視覚システムに一般化することができる。

当該校正方法を外部パラメータの推定に関して説明した。当該校正方法はまた、コンピュータ・ベース視覚システムの内部パラメータ、３Ｄ点パラメータおよび／または姿勢パラメータにも適用される。

したがって、一般に、本発明は、外部パラメータおよび／または内部パラメータおよび／または３Ｄランドマーク・パラメータおよび／または姿勢パラメータのうち少なくとも１つのパラメータが一定であるとみなすことにより第１のシーケンスの３Ｄマッピングがバンドル調整により最適化され、当該第１のシーケンスより長くかつ当該第１のシーケンスを含む少なくとも１つの第２のシーケンスの３Ｄマッピングを最適化するために、当該少なくとも１つのパラメータが可変であるとみなされる、校正方法に関する。

各３Ｄマッピングの最適化に関して、外部パラメータおよび／または内部パラメータは一定であるとみなされ、最適化されないマッピングは、（過去の最適化が存在しない）初期近似値または当該校正方法で過去に実施された別の３Ｄマッピングの最適化で推定した値に固定されたままである。

各３Ｄマッピングの最適化に関して、３Ｄランドマーク・パラメータおよび／または姿勢パラメータは一定であるとみなされ、最適化されないマッピングは、最適化される３Ｄマッピングの計算で決定された値に固定されたままである。

当該校正方法は、非重複領域を有するカメラを具備したコンピュータ・ベース視覚システムに特に有利であるが、重複領域を有するカメラを具備したコンピュータ・ベース視覚システムにも適用され、一般に、重複領域を有するカメラおよび／または非重複領域を有するカメラを具備したカメラ・システムにも適用される。

特に車両が高速に移動しているアプリケーションにおいて、コンピュータ・ベース視覚システムのカメラを同期して、カメラにより捕捉された画像がコンピュータ・ベース視覚システムの同一姿勢に実質的に対応することを保証することが好ましい。車両の高速な移動を必要としない他のアプリケーションでは、カメラは必ずしも同期されない。なぜならば、車両は様々なカメラによる画像捕捉の間に少ししか動かないからである。

本発明によれば、コンピュータ・ベース視覚システムを保持する車両が辿る軌跡に沿った環境の３Ｄマッピングを決定することができる。３Ｄマッピングは正確であり、有効かつ迅速に、少ない計算時間で決定され、それによりリアルタイムな再構築を想定することができる。

本発明に従う校正方法により、３Ｄマッピング再構築中の倍率のドリフトを軽減することができる。これは、特に、１組の３Ｄマッピングの最適化に対して一定であるとみなされたパラメータが、当該３Ｄマッピングをグループ化した３Ｄマッピングに対して最適化されるという事実によるものである。

さらに、当該校正方法に従って校正された車両２では、学習した軌跡を、車両２が当該軌跡から逸れて移動したときでも発見する能力が改善される。当該校正方法では、このように校正された車両２を正確に誘導することができる。

車両２は、当該ケースでは校正なしに軌跡を学習することができる。なぜならば、当該学習方法は、外部パラメータおよび／または内部パラメータが一定であるとみなされることを除いては当該校正方法と等価であるからである。

車両２は、校正に使用された軌跡と同一であるかまたは異なる学習した軌跡に沿って自律的に移動することができる。これを行うために、コンピュータ・ベース視覚システムにより取得された現在の画像を、特徴的な２Ｄランドマークを検索し、学習した軌跡の３Ｄマッピングのランドマークと比較して車両２の姿勢を決定することにより、処理する。車両２が当該軌跡に沿って移動すると、過去の姿勢、例えば、処理モジュール１６により与えられる移動および操縦の制御のようなシステムの移動に関する情報が既知であるときに、その姿勢を近似的に推定することができる。したがって、現在の姿勢に近い３Ｄマッピングの参照姿勢を決定し、現在の画像を、これらの姿勢に関連付けられた３Ｄランドマークと比較することができる。これにより、車両２の位置をリアルタイムで迅速に決定することができる。

コンピュータ・ベースの映像の状況では、「リアルタイム」という用語は、コンピュータ・ベース視覚システムにより取得された各画像の処理が、捕捉した画像が更新される前に処理モジュール１６により処理されることを意味する。コンピュータ・ベース視覚システムの分野では、更新時間は一般に約４０ｍｓであり、人間の網膜の更新時間より短い。

本発明に従う校正方法では、校正軌跡を前もって知る必要はない。当該校正方法では、複数のカメラ・システムの外部パラメータおよび／または内部パラメータの大凡の知識が必要であり、当該校正方法により、外部パラメータおよび／または内部パラメータをより正確に決定することができる。

このように、当該校正方法をリモートに、即ち、装置独立に実装することができる。かかるケースでは、車両は校正の軌跡に従って移動し、画像は複数のカメラ・システムにより取得される。次に、捕捉された画像がリモート処理モジュールにより送信および処理され、当該リモート処理モジュールが、外部パラメータおよび／または内部パラメータおよび／またはコンピュータ・ベース視覚システムの姿勢パラメータおよび／または３Ｄランドマーク・パラメータにより推定された値を返す。

当該校正方法を使用して、外部パラメータおよび／または内部パラメータの修正値を生成可能となったときに、当該外部パラメータおよび／または内部パラメータを決定することができる。例えば、かかる校正方法は、コンピュータ・ベース視覚システムのカメラのうち１つを置き換えたときに実施され、これにより、変更されたカメラの内部パラメータとカメラ・セットの外部パラメータを修正することができる。

当該校正方法を使用して、車両誘導システムもしくは自動誘導型の車両システムを校正するか、または、近代の自動車で使用されるような運転支援システム（車両の一直線に保持すること、操縦支援、線内の車両移動等）の複数のカメラ・システムを校正することができる。

２ 車両
４ 車輪
６ 操縦システム
８ モータ
１０ コンピュータ・ベース視覚システム
１６ 情報処理モジュール

Claims (19)

1. 外部パラメータおよび内部パラメータを有する１組のカメラを備えた、車載搭載型（２）のコンピュータ・ベース視覚システム（１０）を校正するための方法であって、前記内部パラメータは前記１組のカメラの各カメラに固有であり、かつ前記外部パラメータは、前記１組のカメラの１つのカメラの座標位置から別のカメラの座標位置に移ることを可能とする固定された変換のパラメータであり、
   環境のランドマークの３Ｄマッピングを、軌跡に沿った車両（２）の移動中に前記コンピュータ・ベース視覚システム（１０）によって取得された前記環境のデジタル画像から再構築するステップであって、各デジタル画像は前記コンピュータ・ベース視覚システム（１０）の姿勢に対応し、前記３Ｄマッピングはランドマーク・パラメータと各姿勢のパラメータとを含み、前記再構築することは、バンドル調整アルゴリズムを実装することによって画像シーケンスの前記３Ｄマッピングを再構築し、前記３Ｄマッピングを最適化するステップを含むステップと、
   少なくとも１つの外部パラメータおよび／または少なくとも１つの内部パラメータおよび／または少なくとも１つの姿勢パラメータおよび／または少なくとも１つの３Ｄランドマーク・パラメータを一定とみなすことによって第１の画像シーケンスに対応する少なくとも１つの３Ｄマッピングを最適化するステップと、
   前記少なくとも１つの外部パラメータおよび／または前記少なくとも１つの内部パラメータおよび／または前記少なくとも１つの姿勢パラメータおよび／または前記少なくとも１つの３Ｄランドマーク・パラメータを、前記少なくとも１つの外部パラメータおよび／または前記少なくとも１つの内部パラメータおよび／または前記少なくとも１つの姿勢パラメータおよび／または前記少なくとも１つの３Ｄランドマーク・パラメータを推定するために可変とみなして、前記第１の画像シーケンスより長い、前記第１の画像シーケンスを含む第２の画像シーケンスに対応する少なくとも１つの３Ｄマッピングを最適化するステップと、
   を含む、方法。
2. 前記第１の画像シーケンスは基本シーケンスに対応し、かつ前記第２の画像シーケンスは前記軌跡に沿った前記車両の移動中に取得された完全な画像シーケンスに対応し、前記第２の画像シーケンスに対応する少なくとも１つの３Ｄマッピングの前記最適化が、各外部パラメータおよび／または各内部パラメータおよび／または各姿勢パラメータおよび／または各３Ｄランドマーク・パラメータが可変であるとみなして実行される、請求項１に記載の方法。
3. 少なくとも１つの外部パラメータおよび／または少なくとも１つの内部パラメータおよび／または少なくとも１つの姿勢パラメータおよび／または少なくとも１つの３Ｄランドマーク・パラメータが一定であるとみなして、前記３Ｄマッピングが再構築され、前記３Ｄマッピングは、前記軌跡に沿った移動中に取得した画像の一部のみを含む部分シーケンスに対応する、請求項１または２に記載の方法。
4. 各外部パラメータおよび／または各内部パラメータおよび／または各コンピュータ・ベース視覚システム姿勢パラメータおよび／または各３Ｄランドマーク・パラメータが一定であるとみなして、各３Ｄマッピングが最適化され、前記３Ｄマッピングは部分シーケンスに対応する、請求項３に記載の方法。
5. 前記再構築することは、
   前記デジタル画像を基本画像シーケンスにグループ化するステップであって、各基本シーケンスは次の基本シーケンスと重複するステップと、
   １つの基本シーケンスに対応する各３Ｄマッピングをバンドル調整によって最適化するステップと、
   前記基本シーケンスに対応する前記３Ｄマッピングを集約して、完全な画像シーケンスの前記３Ｄマッピングを取得するステップと、
   を含む、請求項１乃至４の何れか１項に記載の方法。
6. 前記完全なシーケンスの前記３Ｄマッピングを取得するまで、低レベルを形成する基本シーケンスの３Ｄマッピングに基づいて昇順階層統合により前記集約を実施し、各３Ｄマッピングは、バンドル調整によって最適化されているマッピングの統合により取得される、請求項５に記載の方法。
7. 少なくとも１つの外部パラメータおよび／または１つの内部パラメータおよび／または１つのコンピュータ・ベース視覚システム姿勢パラメータおよび／または少なくとも１つの３Ｄランドマーク・パラメータが一定であるとみなすことによって、基本シーケンスを含み前記基本シーケンスより長い中間シーケンスの少なくとも１つの３Ｄマッピングを最適化する、請求項６に記載の方法。
8. 前記コンピュータ・ベース視覚システムの直線における移動が、シーケンスの３Ｄマッピングの再構築中に検出された場合に、前記３Ｄマッピング最適化中に、外部並進パラメータが一定であるとみなし、少なくとも１つの外部回転パラメータが可変であるとみなす、請求項１乃至７の何れか１項に記載の方法。
9. 前記コンピュータ・ベース視覚システムの非直線的な水平面における移動がシーケンスの３Ｄマッピングの再構築中に検出された場合に、前記３Ｄマッピング最適化中に、垂直並進以外の外部並進パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす、請求項１乃至８の何れか１項に記載の方法。
10. （少なくとも２つの相違なる軸を有する）平行軸を有するねじ込み移動がシーケンスの３Ｄマッピングの再構築中に検出された場合に、前記３Ｄマッピング最適化中に、ねじ込み方向の並進以外の外部並進パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす、請求項１乃至９の何れか１項に記載の方法。
11. ３次元移動がシーケンスの３Ｄマッピングの再構築中に検出された場合に、前記３Ｄマッピング最適化中に、外部並進パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす、請求項１乃至１０の何れか１項に記載の方法。
12. シーケンスが所定の閾値より短い長さである場合に、前記外部パラメータが一定であるおよび／または前記内部パラメータおよび／または前記姿勢パラメータおよび／または前記３Ｄランドマーク座標が一定であるとみなして前記シーケンスを最適化する、請求項１乃至１１の何れか１項に記載の方法。
13. シーケンスの長さが、外部パラメータが可変であるとみなすことによって最適化された最長のシーケンスより短い場合に、前記外部パラメータが一定であるとみなして前記シーケンスの前記３Ｄマッピングを最適化する、請求項１乃至１２の何れか１項に記載の方法。
14. 前記車両の軌跡がループを形成するように閉じられるとき、前記軌跡に沿った前記カメラの直前の姿勢にマッチする２Ｄランドマークを追加する、請求項１乃至１３の何れか１項に記載の方法。
15. 前記車両の軌跡がループを形成するように閉じられるときを検出するために、近位基準を検証することによって、２つのカメラの姿勢で取得した２つの画像の間の２Ｄランドマークのマッチを決定し、２Ｄのマッチ数が閾値を超えた場合にはループが閉じたと考える、請求項１４に記載の方法。
16. 前記完全なシーケンスの前記３Ｄマッピングを、レーベンバーグ・マーカート・タイプのアルゴリズムを用いて最適化する、請求項１乃至１５の何れか１項に記載の方法。
17. 画像取得ステップを含む、請求項１乃至１６の何れか１項に記載の方法。
18. 情報処理モジュールによって実装されたときに、請求項１乃至１７の何れか１項に記載の校正方法を実装するソフトウェア命令を含む、コンピュータ・プログラム。
19. 請求項１乃至１７の何れか１項に記載の校正方法を実装するためにプログラムされた情報処理モジュールを備える、校正装置。

Images