JP6261811B2 - 第１の座標系と第２の座標系との間の運動を求める方法 - Google Patents

Description

本発明は、包括的にはコンピュータービジョンに関し、より詳細には、特徴点対応を用いて路上の車両の２つの座標系間の運動を求めることに関する。ここで、各座標系は、カメラ、例えば、単眼カメラ又はステレオカメラのカメラ座標系に対応する。

ビジュアルオドメトリ（visual odometry）は、移動体、例えば、車両又はロボットの１つの位置から別の位置への運動を、例えば、その移動体に搭載された１つ又は複数のカメラによって取得された画像からの特徴を用いて求める問題について言及する。この運動を、点等の幾何学的プリミティブを用いて推定する、数多くの方法が知られている。例えば、５つ以上の点対応を用いて、１つの座標系内の２Ｄ点と別の座標系との対応を用いてこの運動を求めることができる（非特許文献１参照）。

また、先行するステレオ画像によって再構築された部分的な３Ｄ点クラウドに基づいて移動体の位置を推定するのに用いられる、２Ｄｔｏ３Ｄ姿勢推定法も存在する（非特許文献２参照）。

１つの方法は、ステレオカメラ間の運動を求めるのに反復最近傍点探索（ＩＣＰ：iterative closest point）法において３Ｄｔｏ３Ｄ点対応を用いる（非特許文献３参照）。

コンピューティングビジュアルオドメトリのために、投票戦略（Voting strategies）が用いられてきており（特許文献１「Voting strategy for visual ego-motion from stereo」参照）、そして、カメラ姿勢を推定するために機械学習技法が用いられてきた（特許文献２「Method and device for calculating a camera or object pose」）。

米国特許出願公開第２０１２／０３０８１１４号明細書 国際公開第２０１４／１３０４０４号

Nister「An efficient solution to the five-point relative pose problem」PAMI, 2004 Kitt他「Visual odometry based on stereo image sequences with ransac-based outlier rejection scheme」IV, 2010 Milella他「Stereo-based ego-motion estimation using pixel tracking and iterative closest point」ICCVS, 2006

本発明の実施形態は、第１の座標系と第２の座標系との間で運動を求める方法を提供する。本方法は、トレーニングデータからコンパクトな姿勢遷移グラフを構築する。このグラフを用いて、いかなる明示的な運動又は姿勢決定も実行することなく、ビジュアルオドメトリを得ることができる。

通常、運動又は姿勢推定は、多項連立方程式を解くことを伴う。本方法は、姿勢を得るために、代数連立方程式を必要としない。その代わり、本方法は、単に、最良の運動のために姿勢遷移グラフを探索する。この姿勢遷移グラフにおいて、各ノードは２つの連続したカメラ位置間の可能な相対姿勢を表す。２つの相対姿勢間のエッジは、ビジュアルオドメトリを行っている間、連続したフレーム内に２つの相対姿勢を有する可能性を表す。

本方法は、３点又は５点姿勢推定等の運動推定技法を用いるビジュアルオドメトリの他の方法とは区別される。

本発明は、姿勢遷移グラフから補正運動を効率的に識別することができる、点対応に基づいた距離メトリックを求めるスコアリング関数を用いる。

本発明の実施形態による、本発明のビジュアルオドメトリ技法を用いて第１の座標系と第２の座標系との間の運動を求める方法のフロー図である。 本発明の実施形態による、３つの連続した画像及び２つの連続した相対姿勢の概略図である。 本発明の実施形態による、２つの連続したフレーム間の可能な相対姿勢の姿勢遷移グラフである。

図１に示されているように、本発明の実施形態は、第１の座標系と第２の座標系との間の運動を求める方法を提供する。例えば、本方法は、ビジュアルオドメトリの用途で用いることができ、ここで、本方法は、移動体１１０、例えば、車両又はロボットの１つの位置から別の位置への運動を、例えば、その移動体に搭載された１つ又は複数のカメラ１２０によって取得されたシーン１３０の画像からの特徴を用いて求める。

本方法は、トレーニングデータ１１０から構築されたコンパクト姿勢遷移グラフ３００を用いる。図３を参照されたい。それによって、このグラフを用いて、いかなる明示的な運動又は姿勢の決定も実行することなく、ビジュアルオドメトリを得ることができる。

従来技術によるビジュアルオドメトリ法の大半は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）法において多項式を解くことによる、明示的な運動又は姿勢の決定を用いる。

本発明では、明示的な運動決定及びＲＡＮＳＡＣを用いない。本発明による手法は、点対応を直接求める代わりに、姿勢遷移グラフ及びこの点対応を用いて相対姿勢を「探索」する。

本方法への入力は、カメラによって取得された画像のシーケンス１０１であり、この画像のシーケンス１０１は較正されている。この画像のシーケンスから、キーポイントと、キーポイントの記述子とを抽出して合致キーポイントを求める（１０３）。

トレーニング中、姿勢遷移グラフ３００をトレーニングデータ１１０から構築する（１０２）。姿勢遷移グラフ３００は、可能な運動仮説を表す。このグラフにおいて、全てのノードは、例えば、車両１１０上に配置されたカメラ１２０によってシーン１３０から取得されたビデオ内の２つの連続した画像間の相対姿勢の候補を表す。２つのノードを接続している各エッジは、２つの連続した相対姿勢間の可能な運動を表す。

これを行うために、道路１３０上の移動体１２５、例えば、車両１１０上に搭載されたカメラによって取得された数千個のグラウンドトゥルース（ground truth）相対姿勢を用いる。これらの相対姿勢はクラスタリングされ、冗長姿勢を除去することによって圧縮される。この圧縮された姿勢のセットを用いて、１つの相対姿勢から別の相対姿勢への状態遷移を符号化するコンパクトグラフを構築する。

ビデオ内の全ての画像について、高速化ロバスト特徴（ＳＵＲＦ：Speeded Up Robust Features）等の従来のキーポイント検出器を用いてキーポイントを検出する。また、ステップ１０３において、ＳＵＲＦ記述子も抽出し、全ての連続した画像の対をマッチングする。

姿勢遷移グラフ内の全ての相対姿勢について、ステップ１０５に示すように整合性のとれた（一貫した矛盾しない）インライア（inlier）の合致数を特定する（１０４）。

インライア上のスコアリング関数を用いて、スコアをもたらす距離メトリックが求められる。この距離メトリックは、最良の運動１０６を特定し、この最良の運動１０６は出力することができる。

本方法は、当技術分野において既知の、バスによってメモリ及び入出力インターフェースに接続されたプロセッサにおいて実行することができる。

図２に示されているように、３つの連続した画像Ｆ（ｔ−２）２０１、Ｆ（ｔ−１）２０３、及びＦ（ｔ）２０５がそれぞれ示されている。画像Ｆ（ｔ−２）とＦ（ｔ−１）との間の相対姿勢は、Ｐｉ２０２によって与えられる。同様に、Ｆ（ｔ−１）とＦ（ｔ）との間の相対姿勢は、Ｐｊ２０４によって与えられる。

図３に示されているように、トレーニング中の姿勢遷移グラフ３００の構築に用いられる基本概念が記載されている。このグラフにおいて、全てのノードは、例えば、車両１１０上に配置されたカメラ１２０によって、シーン１３０から取得されたビデオ内の２つの連続した画像間の相対姿勢の候補を表す。２つのノードを接続する各エッジは、２つの連続した相対姿勢間の可能な運動を表す。

例えば、図３において、エッジ３０２は、相対姿勢Ｐｍ後に相対姿勢Ｐｒを有することに対応する可能な運動を表す。換言すると、図２に示されているように、３つの画像Ｆ（ｔ−２）２０１、Ｆ（ｔ−１）２０３、及びＦ（ｔ）２０５が存在し、Ｆ（ｔ−２）とＦ（ｔ−１）との間の相対姿勢はＰｍであり、Ｆ（ｔ−１）とＦ（ｔ）との間の相対姿勢はＰｒであるようになっている。ノードＰｋ３０４上のループ３０３は、双方が相対姿勢Ｐｋに等しい２つの連続した相対姿勢が存在している可能性があることを示している。

姿勢遷移グラフは、トレーニングビデオシーケンス、すなわち、トレーニングデータ１１０を用いて構築される。分析的運動推定技法及びバンドル調整機構（bundle adjustment machinery）を用いて、連続したフレーム間の相対姿勢を得る。換言すると、グラウンドトゥルースを生成するために、従来の分析的相対及び絶対姿勢推定技法が用いられる。

また、全地球測位システム（ＧＰＳ）及び／又は慣性測定ユニット（ＩＭＵ）を用いてトレーニングデータのための相対姿勢情報を得ることができる。トレーニングデータからの全ての連続した画像の対からの相対姿勢をＱｉとする。ただしｉ＝｛１，２，．．，ｍ｝である。次に、全ての同様な相対姿勢が１つのクラスターに属するように、これらの姿勢をクラスタリングし、各クラスターから１つの代表の相対姿勢を用いる。これを行うことによって、相対姿勢Ｐｉのより小さなセットが得られる。ここでｉ＝｛１，２，．．．，ｎ｝であり、ｎ＜＜ｍである。

この相対姿勢のより小さなセットを用いることで、図２に示されている遷移グラフが以下の方法で構築される。すなわち、
１．ｎ個のノードを初期化する。ここで、各ノードは、セット内の相対姿勢Ｐｉ、ｉ＝｛１，２，．．．，ｎ｝に対応する。
２．全ての連続した相対姿勢Ｑｉ及びＱｊについて、
ａ．圧縮されたセット内の最近接相対姿勢がＰｉ及びＰｊの場合、ＰｉからＰｊへのエッジを追加する。
ｂ．圧縮されたセット内の最近接相対姿勢が双方ともＰｋの場合、ノードＰｋのための自己ループを追加する。

３つの連続した画像をＦ（t−２）、Ｆ（ｔ−１）及びＦ（ｔ）とする。Ｆ（ｔ−２）とＦ（ｔ−１）との間の相対姿勢は、Ｐｉによって与えられるものとする。Ｆ（ｔ−１）とＦ（ｔ）との間の現在の相対姿勢Ｐｊを求めるために、以下のスコアリング関数を用いる。

スコア（Ｐｊ）＝インライア（Ｐｊ）＋ Ｓ×ｗ（Ｐｉ，Ｐｊ）

ここで、Ｓは、インライアとｗとの相対的重要度を調整するスケーリングパラメーターである。このパラメーターＳは、学習することもできるし、手動で一定にすることもできる。インライア（Ｐｊ）は、相対姿勢Ｐｊを用いて得られる。ＰｉからＰｊへの状態遷移に対応する重みは、ｗ（Ｐｉ，Ｐｊ）である。

本方法は、限定はしないが、モバイルロボット、ハンドヘルドデバイス及びドローンの正確な位置特定及びビジュアルオドメトリ等、自動運転用途における自動車を含む、複数の用途において用いることができる。

Claims (13)

1. 第１の座標系と第２の座標系との間の運動を求める方法であって、
   移動体上に配置されたカメラによってシーンから取得された第１の画像から第１のキーポイントのセットを抽出するステップと、
   前記カメラによって前記シーンから取得された第２の画像から第２のキーポイントのセットを抽出するステップと、
   前記第１のキーポイントのセット及び前記第２のキーポイントのセットから、それぞれ第１の姿勢及び第２の姿勢を求めるステップと、
   スコアリング関数と、トレーニングデータから構築される姿勢遷移グラフとを用いて、前記第１の姿勢と前記第２の姿勢との間の各可能な運動のスコアを求めるステップであって、ここで、前記姿勢遷移グラフにおける各ノードは相対姿勢を表し、各エッジは２つの連続した相対姿勢間の運動を表す、ステップと、
   前記スコアに基づいて、前記第１の座標系と前記第２の座標系との間の前記運動として最良の運動を選択するステップと、
   を含み、前記ステップはプロセッサが実行する、方法。
2. 前記第１及び第２のキーポイントは、高速化ロバスト特徴（ＳＵＲＦ）を用いて得られる、請求項１に記載の方法。
3. 前記姿勢遷移グラフは、前記カメラによって取得されたビデオシーケンスから得られたトレーニングデータを用いて構築される、請求項１に記載の方法。
4. 前記姿勢遷移グラフ内で表される前記第１及び第２の姿勢は、分析的運動推定技法を用いて求められる、請求項１に記載の方法。
5. 前記第１及び第２の姿勢は、全地球測位システム（ＧＰＳ）を用いて求められる、請求項１に記載の方法。
6. 前記第１及び第２の姿勢は、慣性測定ユニット（ＩＭＵ）を用いて求められる、請求項１に記載の方法。
7. 前記姿勢はクラスタリングされて同様の運動が除去され、コンパクトな姿勢遷移グラフが構築される、請求項１に記載の方法。
8. 前記相対姿勢は、分析的運動推定技法及びバンドル調整機構を用いて得られる、請求項４に記載の方法。
9. 前記スコアリング関数は、前記第１のキーポイントのセットと前記第２のキーポイントのセットとをマッチングすることから得られるインライアの数に応じて決まる、請求項１に記載の方法。
10. 前記運動は、ビジュアルオドメトリのタスクに用いられる、請求項１に記載の方法。
11. 前記運動は、前記シーンの３Ｄモデルを用いる位置特定のタスクに用いられる、請求項１に記載の方法。
12. 前記移動体は車両である、請求項１に記載の方法。
13. 前記移動体はロボットである、請求項１に記載の方法。

Images