JP6469905B2 - 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ３ｄ位置特定 - Google Patents

Description

本願は、２０１３年１０月３０日出願の仮出願第６１／８９７４４０号、２０１４年７月１８日出願の仮出願第６２／０２６０６１号、および２０１４年７月１８日出願の仮出願第６２／０２６１８４号の優先権を主張し、その内容を参照により本明細書に取り込む。

本発明は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）を処理するシステムに関する。

自律運転アプリケーションについて、視覚型のＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）の重要性が急速に高まってきている。モノキュラＳＦＭは、コストおよび構成に関する要件が低いので魅力的である。しかし、ステレオと異なり、固定の基線がないことがスケールドリフトにつながり、このことが、ステレオに匹敵する精度を達成することを妨げる主要な障害となっている。現実世界の道路環境でスケールドリフトを効果的に無効にするロバストモノキュラＳＦＭは、大量生産される自律運転システムにとって大きな利益になる。

スケールドリフトに対処する一般的な方法は、グランドプレーン上方のカメラの高さを推定する方法である。従来のモノキュラＳＦＭワークは、疎な特徴マッチングをグランドプレーン推定に使用する。しかし、自律運転では、グランドプレーンは、速く移動する低テクスチャの路面に対応し、そのような特徴マッチングのみに頼ることは実用的でない。また、従来のモノキュラＳＦＭシステムは、単一のキューからグランドプレーンを推定することによってスケールを補正する（疎な特徴マッチング）。従来のキューコンビネーションフレームワークは、フレームごとの視覚データに応じた重み付けを適応しない。従来の位置特定システムは、固定されたグランドプレーンを使用しており、フレームごとの視覚推定にそれを適応しない。

一つのカメラのみから画像を取り込み、疎な特徴、緻密なステレオおよびオブジェクトバウンディングボックスからキューコンビネーションを生成し、グランドプレーン推定のためにキューコンビネーションを使用してモノキュラＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正し、ＳＦＭ、グランドプレーンおよびオブジェクトバウンディングボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行することによって、単一のカメラのみで３次元（３Ｄ）位置特定を実行する方法。

実施形態は、問題を解決するために、モノキュラリアルタイムＳＦＭ、キューコンビネーションフレームワークおよびオブジェクトトラッキングの組み合わせを使用することができる。用途は、自律運転および運転安全性を含む。発明者等の実施形態では、以下のうちの１つまたは複数を適用することができる。
（ａ）追跡したバウンディングボックスを使用し、背景である画像の領域（移動しないオブジェクト）を決定し、モノキュラＳＦＭを使用してカメラの姿勢およびグランドプレーンを推定する。
（ｂ）オブジェクトに対して緻密なオプティカルフロー推定を実行して、それらオブジェクトをより良好に追跡する。
（ｃ）３Ｄ点、緻密なステレオおよび２Ｄオブジェクトバウンディングボックスといった複数のキューを使用してグランドプレーンを推定する。
（ｄ）様々なキューのフレームごとの相対的な重要度を示すモデルを学習する。
（ｅ）カルマンフィルタ機構内でグランドプレーン推定を組み合わせる。
（ｆ）推定したグランドプレーンを使用して、モノキュラＳＦＭのスケールドリフトを補正する。
（ｇ）推定したグランドプレーンを使用して、オブジェクトを取り囲む３Ｄバウンディングボックスを見つける。

上記の実施形態の利点は、以下のうちの１つ以上を含んでいても良い。モノキュラグランドプレーン推定のためのデータ駆動型フレームワークは、現実世界の運転における優れた性能を達成する。これは、長距離のリアルタイムモノキュラＳＦＭに高い精度およびロバストネスをもたらし、その結果、公開ベンチマークデータセットについての現況技術のステレオシステムに匹敵する。さらに、発明者等は、正確なグランドプレーンに依存する３Ｄオブジェクト位置特定などのようなアプリケーションに大きな利点があることを示す。発明者等の解決策のその他の利点は、以下を含んでいても良い。
（ａ）より正確（発明者等が、スケール補正に複数のキューを使用するので）
（ｂ）より柔軟（発明者等のフレームワークは、多数の異なる種類のキューに跨る）。
（ｃ）より堅牢（発明者等は、複数のキューを、それらのフレームごとの相対的重要度に基づいて、組み合わせる）。
（ｄ）より速く（システムは、リアルタイムであり、高価な動きセグメンテーションを使用しない）。

リアルタイムＳＦＭシステムの一実施形態を示す図である。 図１のシステムの各モジュールをさらに詳細に示す図である。 図１のシステムの各モジュールをさらに詳細に示す図である。 図１のシステムの各モジュールをさらに詳細に示す図である。 図１のシステムの各モジュールをさらに詳細に示す図である。 図１のシステムの各モジュールをさらに詳細に示す図である。 図１のシステムの各モジュールをさらに詳細に示す図である。 図１のシステムの各モジュールをさらに詳細に示す図である。 カメラ高さ決定の一構成を示す図である。 図１〜図８のプロセスを実行するためのコンピュータシステムを示す図である。

グランドプレーン推定にキューコンビネーションフレームワークを使用してスケールドリフトを補正し、長い運転シーケンスの間にステレオに匹敵する精度を得る、リアルタイムモノキュラＳＦＭシステムを開示する。発明者等のグランドプレーン推定は、疎な特徴、緻密なフレーム間ステレオ、および（適用可能な場合には）オブジェクト検出のような複数のキューを使用する。各キューの観測共分散をその基礎をなす変数の誤り挙動と関連付けるトレーニングデータからモデルを学習するためにデータ駆動型機構が提案されている。これにより、テスト中に、視覚データから推測された相対的信頼度に基づいて観測共分散をフレームごとに適応させることが可能になる。発明者等のフレームワークは、モノキュラ自動位置特定の精度を大幅に高めるだけでなく、グランドプレーンに依存するオブジェクト位置特定のようなアプリケーションの精度も大幅に高める。ＫＩＴＴＩデータセットに関するいくつかの実験で、従来のシステムとの詳細な比較により、発明者等のグランドプレーン推定、モノキュラＳＦＭおよびグラウンドトゥルースに対するオブジェクト位置特定の正確さが実証されている。

第１に、複数の方法からキューを取り込み、第２に、トレーニングデータから学習したモデルを使用して、それらのキューを、それらのフレームごとの相対的信頼度を考慮するフレームワークで組み合わせる。システムは、連続フレーム間の緻密なステレオと２Ｄ検出バウンディングボックス（オブジェクト位置特定アプリケーション）とからキューを取り込む。緻密なステレオキューが、カメラ位置特定を大幅に改善し、検出キューが、オブジェクト位置特定の大きな助けになる。キューを組み合わせるために、データ駆動型フレームワークが使用される。トレーニング期間に、各キューの観測共分散を、視覚データで観測されるような、その基礎をなす変数の誤り挙動と関連付けるモデルを学習する。テスト時に、それらモデルによって予測される共分散を融合することにより、各キューの寄与をフレームごとに適応させて、各キューの相対精度の信頼を反映することができる。

発明者等のフレームワークを使用するグランドプレーン推定の大幅な改善を以下に開示する。この改善は、モノキュラＳＦＭおよび３Ｄオブジェクト位置特定のようなアプリケーションの優れた性能につながる。ＫＩＴＴＩデータセットについて、発明者等のリアルタイムモノキュラＳＦＭは、フレームあたり０．００５４°の回転精度アップを達成し、いくつかの最新式のステレオシステムより性能が上回ることさえある。平行移動誤差（トランスレーション誤差）は３．２１％という低さであり、これは、ステレオに相当し、また発明者等の知る限り最高のものに相当し、他のモノキュラシステムに類を見ない水準である。また、正確なスケール補正に直接寄与する可能性がある高いロバストネスも提示する。さらに、３Ｄオブジェクト位置特定に発明者等の地面推定の利点も実証する。発明者等のワークは、当然、検出追跡（tracking-by-detection）フレームワークを補完して、その位置特定精度を高める。例えば、このシステムで、３Ｄ位置誤差の６％を超える改善を達成する。

図１は、入力ビデオを処理するためのリアルタイムＳＦＭシステム１００の一実施形態を示す。図１のシステムは、以下を実行する。
（ａ）新規のキューコンビネーションフレームワークを使用して、モノキュラＳＦＭのスケールドリフトを補正する。
（ｂ）スケール補正のために、いくつかのキューを設計してグランドプレーンの高さを推定する。
（ｃ）様々なキューを取り扱うのに十分な柔軟性を有する一般的なデータ駆動型キューコンビネーションフレームワークを設計する。
（ｄ）上記のキューコンビネーションフレームワークで使用する各キューの相対的有効性を示す特定のモデルを学習する。
（ｅ）カメラとシーンの３Ｄオブジェクトとの両方の高精度位置特定のために、効率的なリアルタイムフレームで、モノキュラＳＦＭと、グランドプレーン推定と、オブジェクト追跡とを組み合わせる。

システム１００は、高価な動きセグメンテーションを用いずに移動するオブジェクトを取り扱うことができ、かつ、グランドプレーン推定用の新たなキューコンビネーショフレームワークを使用して高精度スケール補正のために従来のワークよりもはるかに正確である、リアルタイムモノキュラＳＦＭおよびオブジェクト位置特定モジュール１０１を含む。システムは、グランドプレーン推定を使用して、道路シーン内の消滅する点を決定する。これは、エピポーラ探索範囲を決定し、マッチングウィンドウの大きさを制約するために使用され、速度が速い高速道路シーンでの精度を高める。システムは、オブジェクト誘導型特徴追跡モジュール１０２を含む。特徴は、モノキュラＳＦＭからエピポーラ幾何制約条件を取得する緻密なオプティカルフローを使用して、オブジェクト上で追跡される。

オブジェクト誘導型特徴追跡１０２は、キュー組み合せスケール補正モジュール２００と通信する。スケールドリフトは、モノキュラＳＦＭにおける最も重要なチャレンジである。発明者等は、新たなキューコンビネーションフレームワークで地面上方のカメラの高さを推定することによってそれを解決する。このフレームワークは、３Ｄ点緻密なステレオおよび２Ｄオブジェクトバウンディングボックスからのキューを組み合わせる。各キューの相対重要度は、観測共分散をその基礎をなす変数の誤りと関連付けるモデルを学習するために新たなフレームワークを用い、視覚データに基づいて、フレームごとに調節される。

３Ｄ点、緻密なステレオ、および２Ｄオブジェクトバウンディングボックスのような、多数のソースからのキューを使用するグランドプレーン推定フレームワーク２０１が提案されている。フレームワーク２０１は、路面上の疎な特徴マッチから得られる３Ｄ点からグランドプレーンを推定するためにモジュール２１１（図３）を含む。緻密なステレオ処理モジュール２１２（図４）は、その画像がホモグラフィマッピングによって関連付けられる、車のすぐ前の面状の領域用の連続フレーム間の緻密なステレオからグランドプレーンを推定する。２Ｄオブジェクトバウンディングボックス検出モジュール２１３（図５）は、２Ｄバウンディングボックスの高さと、３Ｄオブジェクト高さについてのプライア（ｐｒｉｏｒ）とに基づいて、グランドプレーンを推定する。

グランドプレーン推定モジュール２０１は、フレームごとに、キューの有効性の期待される信頼を観測視覚データと関連付けるために、トレーニングデータからモデルを学習するトレーニンググランドプレーンキューモジュール２０２（図２）と通信する。学習モジュール２０１では、学習モジュール２２１（図６）は、モジュール２１１（図３）から受信し、フレームごとに、３Ｄ点のキューの有効性の期待される信頼を観測視覚データと関連付けるために、モデルをトレーニングデータから学習する。緻密なステレオ学習モジュール２２２（図７）は、緻密なステレオをモジュール２１２から受信し、フレームごとに、緻密なステレオキューの有効性の期待される信頼を観測視覚データと関連付けるために、モデルを学習する。２Ｄオブジェクトバウンディングボックス学習モジュール２２３（図８）は、２Ｄオブジェクトバウンディングボックスをモジュール２１３（図５）から受信し、フレームごとに、２Ｄオブジェクトバウンディングボックスキューの有効性の期待される信頼を観測視覚データと関連付けるために、モデルをトレーニングデータから学習する。キュー組み合せスケール補正モジュール２００は、出力がリアルタイムモノキュラＳＦＭ１０１に提供されるカルマンフィルタに設けられる。

３Ｄ位置特定モジュール３００は、リアルタイムで、高精度３Ｄバウンディングボックスをオブジェクトの周りに生成するように、モノキュラＳＦＭ、グランドプレーン推定、およびオブジェクト追跡からの情報を組み合せる。

図１〜図８のシステムは、学習したモデルを使用したグランドプレーン推定のための複数のキューを組み合せ、フレームごとの観測共分散に適応的に重み付けを行うデータ駆動型フレームワークを提供する。高精度、ロバストで、スケール補正、およびステレオに匹敵する性能を有するリアルタイムモノキュラＳＦＭ。グランド推定のための検出キューを使用することにより、３Ｄオブジェクト位置特定の精度を高めている。

次に、１つの実施態様の詳細について説明する。発明者等は、ｘ＝（ｘ_１、…、ｘ_ｎ）^ＴとしてＲ^ｎのベクトルを示す。行列は、Ｘで表される。シーケンスのフレームｋの変数ｘは、ｘ^ｋで表される。

図９に示すように、カメラの高さ（グランド高さとも呼ばれる）ｈは、グランドプレーンから主要中心までの距離として定義される。通常は、カメラはグランドプレーンに対して完全には平行になっておらず、非ゼロピッチ角θが存在する。グランド高さｈおよび単位法線ベクトルｎ＝（ｎ_１、ｎ_２、ｎ_３）^Ｔが、グランドプレーンを定義する。グランドプレーン上の３Ｄ点（Ｘ、Ｙ、Ｚ）^Ｔについて、以下の関係が成り立つ。

スケールドリフト補正は、モノキュラＳＦＭの必須の構成要素である。実際は、これは、精度を保証する唯一の最も重要な特徴である。発明者等は、スケール補正のために、カメラに対するグランドプレーンの高さおよび向きを推定する。スケールドリフト下では、任意の推定長ｌは、スケールファクタｓ＝ｌ／ｌ^＊まで曖昧である。ここで、ｌ^＊は、グラウンドトゥルース長である。スケール補正の目的は、ｓを計算することである。グランドからカメラの校正した高さをｈ^＊とすると、見かけの高さｈを計算すれば、スケールファクタｓ＝ｈ／ｈ^＊が得られる。次いで、カメラトランスレーションｔを、ｔ_new＝ｔ／ｓとして調整することにより、スケールドリフトを補正することができる。第４節では、発明者等は、適応型キューコンビネーション機構を用いてグランドの高さｈおよび向きｎを推定する、新規の高精度方法を述べる。

グランドの高さおよび向きの両方を正確に推定することは、３Ｄオブジェクト位置特定のために重要である。Ｋは、カメラ固有のキャリブレーションマトリクスとする。同次座標で表した２Ｄバウンディングボックスの底辺ｂ＝（ｘ、ｙ、１）^Ｔは、以下のように、グランドプレーン｛ｈ，ｎ｝を介して３Ｄに逆投影することができる。

同様に、オブジェクト高さは、推定したグランドプレーンおよび２Ｄバウンディングボックスの高さを用いて得ることもできる。

２Ｄオブジェクト追跡が与えられると、最もよく適合する３Ｄバウンディングボックスを推定することができる。オブジェクトのピッチおよびロールは、グランドプレーンによって決定される（図０参照）。車両では、初期ヨー角は、車両の移動方向であると仮定され、プライアは、その長さと幅の比に付与される。（２）から初期位置が得られると、その再投影と追跡した２Ｄバウンディングボックスとの差を最小化することによって、バウンディングボックスを計算することができる。

発明者等は、オブジェクト位置特定の詳細な説明は後に回すが、２つの点に留意している。第１の点は、正確なグランドプレーンは、実際の位置特定フレームワークに関わらず、明らかに、正確なモノキュラ位置特定のキーであるということである。第２の点は、検出バウンディングボックスからグランドプレーン推定にキューを組み込むことが、ＳＦＭとオブジェクト位置特定の間に洗練されたフィードバック機構を構成するということである。

様々な方法から推定を組み合わせるために、カルマンフィルタが使用される。

発明者等のアプリケーションでは、（３）中の状態変数は、グランドプレーンであり、ゆえに、ｘ＝（ｎ^Ｔ、ｈ）^Ｔである。｜ｎ｜＝１であるので、ｎ_２は、ｎ_１およびｎ_３によって決定され、観測結果は、ｚ＝（ｎ_１、ｎ_３、ｈ）^Ｔである。したがって、発明者等の状態遷移行列および観測モデルは、

で与えられる。

観測共分散Ｕ_ｊで、グランドプレーンを推定するために、方法ｉ＝１、…、ｍが使用されるものと想定する。そして、時刻ｋの融像式は、

である。

各キューごとに正確に比例する

で、フレーム毎のＵ^ｋの意味のある推定は、原則に基づいたキューコンビネーションに不可欠である。従来は、固定された共分散を使用して複数のキューを組み合せており、これは、ビデオシーケンスにおけるそれらの有効性のフレームごとのばらつきを考慮しない。これに対し、以下のセクションでは、発明者等は、それらの基礎をなす変数の誤り分布に基づいて、各キューのフレームごとの共分散を適応させるモデルを学習するデータ駆動型機構を提案する。

システムは、疎な特徴マッチングの三角測量、連続したフレーム間の緻密なステレオ、およびオブジェクト検出バウンディングボックスなど複数の方法を使用して、グランドプレーンを推定する。それらの方法によって与えられるキューは、それらのフレームごとの相対的有効性を考慮する原則に基づいたフレームワークで組み合わされる。

プレーン誘導型の緻密なステレオを用いる実施形態では、前景中の関心領域（ＲＯＩ）（画像の下３分の１の中央の５分の１）は、平らなグランドに対応する。｛ｈ，ｎ｝の仮定値、およびフレームｋとｋ＋１の間の相対的なカメラの姿勢｛Ｒ，ｔ｝について、ホモグラフィ行列

を用いて、ピクセルごとのマッピングを計算することができる。

なお、ｔは、発明者等が推定しようとしているｈにおいて符号化されている未知のスケールドリフトファクタの分だけ、真の平行移動ｔ^＊とは異なることに留意されたい。フレームｋ＋１のピクセルは、フレームｋにマッピングされ（良好に実施するためにはサブピクセル精度が重要である）、絶対差合計（ＳＡＤ）が、双線形補完された画像強度について計算される。ρ＝１．５では、Ｎｅｌｄｅｒ−Ｍｅａｄシンプレックスルーチンを使用して、

を最小化する｛ｈ，ｎ｝を推定する。

なお、ＰｎＰ＝１であるので、この最適化は、ｈ、ｎ_１およびｎ_３しか必要としない。キャリブレーションピッチが良好な初期化であり、かつ、費用関数は、通常、その近傍に明確な極小値を有するので、ノルム拘束の実施は限界効果を得る。最適化は、フレームごとに約１０ｍｓを必要とする。（７）を最小化する｛ｈ，ｎ｝は、ステレオキューから推定されたグランドプレーンである。

次に、発明者等は、上記の関心領域内で計算される、フレームｋとｋ＋１の間で一致した疎なＳＩＦＴ記述子について考慮する（発明者等は、テクスチャの少ない道路ではＯＲＢよりＳＩＦＴの方が良好な選択肢であり、ＳＩＦＴでは小さいＲＯＩで実時間の実行が実現できることを発見した）。三角形分割された３Ｄ点を通る平面にフィットするために、１つの選択肢は、平面フィッティングに３点ＲＡＮＳＡＣを使用して｛ｈ，ｎ｝を推定するものである。ただし、発明者等の実験では、キャリブレーションから固定されるべきカメラのピッチを仮定することにより、より良好な結果が得られている。三角形分割された３Ｄ点ごとに、（１）を用いて高さｈが計算される。高さの差Δｈ_ｉｊは、３Ｄ点ｉごとに、その他の点ｊに対して計算される。推定されたグランドプレーンの高さが、最大スコアｑに対応する点ｉの高さである。ここで、

である。

システムは、オブジェクト検出バウンディングボックスが例えばオブジェクト位置特定アプリケーション内で利用可能であるときには、それらの物体検出バウンディングボックスをキューとして使用することもできる。グランドプレーンピッチ角θは、このキューから推定することができる。グランドの法線ｎ＝（ｎ_１、ｎ_２、ｎ_３）^Ｔについて、ｎ_３＝ｓｉｎθであることを想起されたい。（２）から、２Ｄバウンディングボックスが与えられれば、発明者等は、グランドプレーンを介したオブジェクトの３Ｄ高さｈ_ｂを計算することができる。オブジェクトのプライア高さ

が与えられれば、ｎ_３は、

を解くことによって得られる。

（２）で使用されるグランド高さｈは、ＳＦＭスケールドリフトを取り込むことを回避するためにキャリブレーション値に設定され、ｎ_１は、オブジェクトの高さに対して軽微な影響しか及ぼさないので、０に設定される。

なお、オブジェクトバウンディングボックスキューは、発明者等の車両に近接したＲＯＩに注目するだけの緻密なステレオおよび３Ｄ点のキューとは異なり、発明者等に固有の長距離情報を提供することに留意されたい。ピッチ角が不正確であると、遠方のオブジェクトの垂直誤差が大きくなる可能性がある。したがって、遠方のオブジェクトの３Ｄ位置特定精度は、このキューを組み込むことによって大幅に改善される。

次に、各キューのフレームごとの相対精度を反映しながら上記のキューを組み合わせる、データ駆動型キューコンビネーションについて説明する。当然のことながら、コンビネーションは、特定のフレームにおける視覚入力、および事前知識の両方の影響を受ける。各キューの観測共分散をその基礎をなす変数の誤り挙動と関連付けるためにモデルをトレーニングデータから学習することによって、これを実現する。テスト中に、学習したモデルは、各キューの観測共分散をフレームごとに適応させる。

緻密なステレオおよび３Ｄ点のキューについては、発明者等は、Ｆ＝２３２０１個のフレームからなる、トレーニングのためのＫＩＴＴＩ視覚オドメトリデータセットを使用する。ＫＩＴＴＩ追跡データセットのシーケンス０から８は、オブジェクト検出キューをトレーニングするために使用される。グラウンドトゥルースｈおよびｎを決定するために、カメラに近接している画像の道路の領域に標識を付け、提供されるＶｅｌｏｄｙｎｅデータから得られる関連する３Ｄ点に平面をフィッティングする。標識のない道路領域もテスト中に利用可能であり、または使用される。

各方法ｉは、グランドプレーン変数π＝｛ｈ，ｎ｝の様々な位置について評価することができるスコア関数ｆ_ｉを有する。ステレオ、３Ｄ点およびオブジェクトのキューに関する関数ｆ_ｉは、それぞれ（７）、（８）および（９）によって与えられる。そして、アルゴリズム１が、トレーニングの一般的な記述である。

直観的に、モデル

のパラメータ

は、フレームｋのキューｉの有効性の信頼を反映している。Ｆ個のトレーニングフレームのパラメータ

をＬ個のビンに量子化することにより、ビン中心

における観測誤差の分散を推定することが可能になる。次いで、モデルＣ_ｉは、それらの分散

をキューの精度（量子化されたパラメータ

によって表される）と関連付ける。したがって、テスト時には、フレームごとに、純粋に視覚データに基づいて（すなわちａ_ｉを計算することによって）各キューｉの精度を推定することができ、モデルＣ_ｉを使用してその観測分散を決定することができる。

次に、発明者等は、緻密なステレオ、３Ｄ点およびオブジェクトのキューのそれぞれについて、モデルＡおよびＣをトレーニングするための仕様について説明する。発明者等は、緻密なステレオ、３Ｄ点およびオブジェクト検出方法のそれぞれを表す標記ｉ∈｛ｓ,ｐ,ｄ｝を使用する。

各変数ｈ、ｎ_１およびｎ_３を独立して変化させるので、２つの連続するフレーム間の緻密なステレオの誤り挙動は、ホモグラフィ（６）によって関連付けられる複数の道路領域間のＳＡＤスコアのばらつきによって特徴付けられる。このＳＡＤスコアの分布の分散が、ステレオキューの誤り挙動を、その変数に対して表す。ステレオ用のスコア関数ｆ_ｓが（７）によって与えられることを想起されたい。状態変数が無双間であると仮定する。したがって、ｈ、ｎ_１およびｎ_３に対応する３つの独立したモデルを学習する。

トレーニング画像ｋについて、

を、緻密なステレオ方法により、（７）のｆ_ｓを最適化することによって推定されたグランドプレーンであるとする。最初に、

および

を固定し、（６）に従って、範囲

内のｈの５０個の一様なサンプルについて、フレームｋからｋ＋１へのホモグラフィマッピングを構築する（なお、Ｒおよびｔは、スケールは無視してモノキュラＳＦＭによって既に推定されていることに留意されたい）。各ホモグラフィマッピングごとに、（７）を用いてＳＡＤスコアｆ_ｓ（ｈ）を計算する。ここでは、単変量ガウシアンが、ｆ_ｓ（ｈ）の分布にフィッティングする。その分散

は、フレームｋにおいて緻密なステレオ方法で推定された高さｈの精度の信頼を反映するＳＡＤ分布の鮮鋭度を取得する。同様の手続きで、姿勢変数に対応する分散

および

も得られる。例示的なフィッティングを、図２に示す。上記のアルゴリズム１を参照すると、

は、厳密に、フレームｋにおけるステレオキューの精度を示すパラメータ

である。

次に、モデルＣ_ｓの学習について詳述する。フレームｋについて、

を、グラウンドトゥルースに対するグランド高さの誤差とする。パラメータ

をＬ＝１００個のビンに量子化し、その結果得られる

のヒストグラムを考慮する。ビンの中心

は、

の密度に一致するように位置決めされる（すなわち、各ビン内でＦ／Ｌ誤差

を分布させる）。同様のプロセスが、ｎ_１およびｎ_３について繰り返される。ＫＩＴＴＩデータセットについてのヒストグラムを、図３に示す。こうして、アルゴリズム５．１の

を得ている。

次に、ｌ＝１、…、Ｌについて、各ビンｌ内の誤差の分散

を計算する。これは、観測誤差分散を示す。ここで、ｈの観測分散を緻密なステレオの有効性と関連付けるためのモデルを提供する

に対する

の分散に、曲線をフィッティングする。ＫＩＴＴＩデータセットの結果を、図４に示す。この図では、各データ点が１組の観測誤差共分散

およびパラメータ

を表している。経験的に、良好なフィッティングを生じるには直線で十分である。同様のプロセスが、ｎ_１およびｎ_３について繰り返される。こうして、ステレオ方法用のモデルＣ_ｓを得られる（ｈ、ｎ_１およびｎ_３のそれぞれについて１つずつ）。

緻密なステレオと同様に、ここでもやはり、トレーニングの目的は、３Ｄ点方法の観測共分散を、その基礎をなす変数の誤り挙動と関連付けるモデルを発見することである。スコア関数ｆ_ｐが（８）によって与えられることを想起されたい。

ｆ_ｐによって戻されるスコアｑが、そのまま、３Ｄ点キューを用いて推定されたグランドプレーンの精度の信頼を示す指標になる。したがって、アルゴリズム５．１については、モデルＡ_ｐを明示的に学習することなく、パラメータ

を直接得ることができる。ここで、ｑ^ｋは、フレームｋのｆ_ｐの最適値である。

残りの手続きは、ステレオ手続きの場合の手続きと同様である。

を、３Ｄ点を用いてフレームｋで推定されたグランド高さ、すなわち（８）の最適値であるとする。誤差

は、グラウンドトゥルースに対して計算される。上記の

は、

を中心とするＬ＝１００個のビンに量子化され、観測誤差

のヒストグラムが構築される。ここで、モデルＣ_ｐが、各ビンにおける観測分散

を対応する精度パラメータ

と関連付けるようにフィットされてもよい。図４に示すように、この場合も、直線フィッティングが妥当である。

検出器が、いくつかの候補バウンディングボックスおよびそれらの各スコア（すなわち、従来の検出器の非最大抑制ステップの前のバウンディングボックス）を提供すると仮定する。バウンディングボックスは、ｂ＝（ｘ,ｙ,ｗ,ｈ_ｂ）^Ｔによって表される。ここで、ｘ,ｙは、バウンディングボックスの２Ｄ位置であり、ｗ,ｈ_ｂは、バウンディングボックスの幅および高さである。検出の誤差挙動は、バウンディングボックスｂに対して検出スコアαの分散によって量子化される。

発明者等のモデル

は、ガウシアンの混合体である。各フレームで、

のように、μ_ｍを中心とする４×４フルランク共分散行列Σ_ｍを推定する。ここで、ε_mn＝ｂ_ｎ−μ_ｍであり、Ｍは、オブジェクトの数であり、Ｎは、候補バウンディングボックスの数である（ｋへの依存性は、便宜上抑制されている）。例示的なフィッティング結果を、図６に示す。雑音のある検出器のスコアのばらつきが、モデル

によってよく捉えられていることは明らかである。

（９）のスコア関数ｆ_ｄがｎ_３を推定することを想起されたい。したがって、ｙおよびｈ_ｂに対応するΣ_ｍの成分のみが重要である。σ_ｙおよび

を、追跡２Ｄボックスに最も近いΣ_ｍの対応する対角成分とする。これらを、このキューの精度の信頼を反映する単一のパラメータ

に組み合わせる。

残りの手続きは、ステレオおよび３Ｄ点のキューの手続きと同様である。精度パラメータ

は、量子化され、（９）のｆ_ｄによって与えられる観測誤差の対応する分散と関連付けられる。検出キューの観測分散をその予想精度と関連付けるフィッティングされた線型モデルＣ_ｄを、図６に示す。

テスト中に、フレームｋごとに、各キュー

に対応するモデル

をフィッティングし、予想精度を伝えるパラメータ

を決定する。次に、モデルＣ_ｉを使用して、観測分散を決定する。
フレームｋの観測結果

は、（７）によって与えられるｆ_ｓを最小化することによって得られる。１ＤガウシアンをホモグラフィマッピングされたＳＡＤスコアにフィッティングして、

および

の値を取得する。図４で推定されたモデルＣ_ｓを使用して、対応する分散

を予測する。ここで、緻密なステレオ方法の観測共分散は、

として得られる。

フレームｋで、観測結果

は、（８）によって与えられるｆ_ｐから得られる推定グランド高さｈである。（８）から得られるｑ^ｋの値は、そのまま予想精度パラメータ

となる。対応する分散

は、図４のモデルＣ_ｐから推定される。ここで、このキューについての観測共分散は、

として得られる。

フレームｋで、観測結果

は、各オブジェクトｍ＝１、…、Ｍについて、（９）によって与えられるｆ_ｄを最小化することによって得られるグランドピッチ角ｎ_３である。各オブジェクトｍについて、（１０）を解いた後で、パラメータ

を得る。図６のモデルＣ_ｄを使用して、対応する誤差分散

を予測する。ここで、この方法の観測共分散は、

によって与えられる。

最後に、フレームｋについての適応共分散Ｕ^ｋは、各オブジェクトｍから

および

を組み合わせることによって計算される。そして、発明者等の適応グランド推定ｚ^ｋが、（５）を用いて

および

を組み合わせることによって計算される。

したがって、このグランドプレーン推定方法では、トレーニングデータから学習されたモデルを使用して、ステレオ、３Ｄ点および検出バウンディングボックスの各キューの相対的重要度をフレームごとに適応させる。実時間での実行を考慮して、緻密なステレオおよび３Ｄ点のキューのみが、モノキュラＳＦＭに使用される。検出バウンディングボックスのキューは、それらが利用可能であるオブジェクト位置特定アプリケーションに使用される。

本システムの正確なグランドプレーン推定は、モノキュラビジョン型システムがステレオと同等の性能を達成することを可能にする。特に、発明者等は、従来のワークで使用される伝統的な疎な特徴の他に、グランド推定のために緻密なステレオおよびオブジェクトバウンディングボックスのようなキューを含むことが有利であることを示した。さらに、発明者等は、トレーニングデータから得られる事前知識に加えて、キューのフレームごとの相対的信頼度を反映する、原則に基づいたフレームワーク中でこれらのキューを組み合わせる機構を提案した。

発明者等のロバストで正確なスケール補正は、モノキュラＳＦＭとステレオＳＦＭの間のギャップを埋める上で重要なステップである。発明者等は、これが自律運転アプリケーションにとって大きな利点を有すると考えている。発明者等は、発明者等のグランドプレーン推定を使用するリアルタイムモノキュラＳＦＭの性能が、現実世界の運転シーケンスでステレオに匹敵するものであることを実証している。さらに、やはり発明者等の実験によって実証されているように、発明者等の正確なグランドプレーンは、既存の３Ｄ位置特定フレームワークにも有利であることが多い。

本発明は、ハードウェア、ファームウェアまたはソフトウェア、あるいはこれら３つの組合せで実装することが可能である。好ましくは、本発明は、プロセッサ、データ記憶システム、揮発性および不揮発性のメモリおよび／または記憶要素、少なくとも１つの入力デバイス、ならびに少なくとも１つの出力デバイスを有するプログラマブルコンピュータ上で実行されるコンピュータプログラムにおいて使用される。

例えば、このシステムをサポートするコンピュータのブロック図を、図１０に示す。このコンピュータは、プロセッサと、ランダムアクセスメモリ（ＲＡＭ）と、プログラムメモリ（フラッシュＲＯＭなどの書込み可能読取り専用メモリ（ＲＯＭ）であることが好ましい）と、ＣＰＵバスによって結合された入出力（Ｉ／Ｏ）制御装置とを含むことが好ましい。必要に応じて、このコンピュータは、ハードディスクおよびＣＰＵバスに結合されたハードドライブ制御装置を含んでいてもよい。ハードディスクは、本発明などのアプリケーションプログラムおよびデータを記憶するために使用してもよい。あるいは、アプリケーションプログラムは、ＲＡＭまたはＲＯＭに記憶してもよい。Ｉ／Ｏ制御装置は、Ｉ／ＯバスによってＩ／Ｏインタフェースに結合される。Ｉ／Ｏインタフェースは、シリアルリンク、ローカルエリアネットワーク、ワイヤレスリンクおよびパラレルリンクなどの通信リンクを介して、アナログまたはデジタルの形態のデータを送受信する。必要に応じて、ディスプレイ、キーボードおよびポインティングデバイス（マウス）を、Ｉ／Ｏバスに接続してもよい。あるいは、Ｉ／Ｏインタフェース、ディスプレイ、キーボード、およびポインティングデバイスのために、別個の接続（別個のバス）を使用してもよい。プログラマブル処理システムは、予めプログラムしてあってもよいし、別のソース（例えばフロッピーディスク、ＣＤ−ＲＯＭ、または別のコンピュータ）からプログラムをダウンロードすることによってプログラム（再プログラム）してもよい。

各コンピュータプログラムは、汎用または専用プログラマブルコンピュータによって読取り可能な機械可読記憶媒体またはデバイス（例えばプログラムメモリまたは磁気ディスク）に有形に記憶され、その記憶媒体またはデバイスがコンピュータによって読み取られたときにそのコンピュータの動作を構成および制御して、本明細書に記載された手続きを実行する。本発明のシステムは、コンピュータプログラムを備えた構成のコンピュータ可読記憶媒体に埋め込まれているものとして考慮してもよく、このように構成された記憶媒体は、コンピュータを、特定の予め定義された方法で、本明細書に記載される機能を実行するように動作させる。

本明細書では、特許法に準拠するように、また新規の原理を適用し、これらの特殊な構成要素を必要に応じて構築して使用するために必要な情報を当業者に提供するように、本発明についてかなり詳細に説明した。ただし、本発明は、明白に異なる機器およびデバイスによって実行することもできること、ならびに本発明自体の範囲を逸脱することなく、機器の細部および動作手続きの両方に関する様々な改善を行うことができることを理解されたい。

Claims (18)

1. 単一のカメラしか必要としない３次元（３Ｄ）位置特定を実行する方法であって、
   前記カメラからフレーム単位に画像を取り込むことと、
   それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる３Ｄ点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む２次元（２Ｄ）オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成することと、
   前記キュー組み合わせを使用してモノキュラＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正することと、
   前記モノキュラＳＦＭ、前記地表面および前記２Ｄオブジェクト境界ボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行することと、
   Ｋを前記カメラに固有のキャリブレーション行列とし、ｂ＝（ｘ,ｙ,１）^Ｔを同次座標の２Ｄ境界ボックスの底辺であるものとして、地表面｛ｈ，ｎ｝：
   

   

   を介して逆投影することとを含み、
   ｈおよびｎは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する２つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、方法。
2. ３Ｄ位置特定のために、前記モノキュラＳＦＭ、前記キュー組み合わせ、およびオブジェクト追跡を組み合わせることを、さらに含む、請求項１に記載の方法。
3. 前記２Ｄオブジェクト境界ボックスを追跡し、該追跡したオブジェクト境界ボックスを用いて、背景（非移動オブジェクト）となる画像の領域を決定し、前記モノキュラＳＦＭを使用して前記カメラの姿勢および前記地表面を推定することを、さらに含む、請求項１に記載の方法。
4. 前記オブジェクトに対して緻密なオプティカルフロー推定を実行することを、さらに含む、請求項１に記載の方法。
5. 前記３Ｄ点、前記緻密なステレオデータおよび２Ｄオブジェクト境界ボックスを使用して前記地表面を推定することを含む、請求項１に記載の方法。
6. フレームごとに各キューの相対的な重要度を示す１つ以上のモデルを学習することを、さらに含む、請求項１に記載の方法。
7. 推定した地表面を適用して、前記モノキュラＳＦＭのスケールドリフトを補正することを、さらに含む、請求項１に記載の方法。
8. 前記推定した地表面が、前記オブジェクトを囲む３Ｄ境界ボックスを求めるために使用される、請求項７に記載の方法。
9. 前記３Ｄ位置特定を用いて自律運転および運転安全性を実行することを、さらに含む、請求項１に記載の方法。
10. 観測共分散Ｕ_ｊで、方法ｉ＝１、…、ｍが、前記地表面を推定するために使用され、
    時刻ｋで融合を
    

    

    として決定することを含む、請求項１に記載の方法。
11. 平らな地面に対応する前景中の関心領域（ＲＯＩ）を決定することを含む、プレーン誘導型の緻密なステレオデータを決定することを、さらに含む、請求項１に記載の方法。
12. 前記｛ｈ，ｎ｝の値とフレームｋおよびｋ＋１の間の相対的なカメラ姿勢｛Ｒ，ｔ｝とについて、ホモグラフィ行列
    

    

    を使用してピクセルごとのマッピングを決定することを、さらに含む、請求項１１に記載の方法。
13. 単一のカメラしか必要としない、車両または歩行者を含む交通参加者の３次元（３Ｄ）位置特定を実行する方法であって、
    前記カメラからフレーム単位に画像を取り込むことと、
    それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる３Ｄ点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む２次元（２Ｄ）オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成することと、
    前記キュー組み合わせを使用してモノキュラＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正することと、
    前記モノキュラＳＦＭ、前記地表面および前記２Ｄオブジェクト境界ボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行することと、
    Ｋを前記カメラに固有のキャリブレーション行列とし、ｂ＝（ｘ,ｙ,１）^Ｔを同次座標の２Ｄ境界ボックスの底辺であるものとして、地表面｛ｈ，ｎ｝：
    

    

    を介して逆投影することとを含み、
    ｈおよびｎは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する２つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、方法。
14. ３Ｄ位置特定のために、前記モノキュラＳＦＭ、前記キュー組み合わせ、およびオブジェクト追跡を組み合わせることを、さらに含む、請求項１３に記載の方法。
15. 前記２Ｄオブジェクト境界ボックスを追跡し、該追跡した境界ボックスを用いて、背景（非移動オブジェクト）となる画像の領域を決定し、前記モノキュラＳＦＭを使用して前記カメラの姿勢および前記地表面を推定することを、さらに含む、請求項１３に記載の方法。
16. 前記オブジェクトに対して緻密なオプティカルフロー推定を実行することを、さらに含む、請求項１３に記載の方法。
17. 前記３Ｄ点、前記緻密なステレオデータおよび２Ｄオブジェクト境界ボックスを使用して前記地表面を推定することを含む、請求項１３に記載の方法。
18. 単一のカメラと、
    前記カメラからフレーム単位に画像を取り込んで、車両または歩行者を含む交通参加者の３次元（３Ｄ）位置特定を行う位置特定手段と、を含み、
    前記位置特定手段が、
    それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる３Ｄ点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む２次元（２Ｄ）オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成する手段と、
    前記キュー組み合わせを使用してモノキュラＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正する手段と、
    前記モノキュラＳＦＭ、前記地表面および前記２Ｄオブジェクト境界ボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行する手段と、
    Ｋを前記カメラに固有のキャリブレーション行列とし、ｂ＝（ｘ,ｙ,１）^Ｔを同次座標の２Ｄ境界ボックスの底辺であるものとして、地表面｛ｈ，ｎ｝：
    

    

    を介して逆投影する手段と、を含み、
    ｈおよびｎは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する２つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、位置特定システム。

Images