JP6468328B2 - ビジュアルオドメトリ方法及び装置 - Google Patents

Description

本願は画像処理分野に関し、具体的にビジュアルオドメトリ方法及び装置に関する。

ビジュアルオドメトリ方法は、例えばインテリジェントカー、無人航空機などのロボットおよびカーナビゲーション分野にすでに広く応用されている。当該方法は視覚情報によって移動の距離と方法を計算できるから、伝統的なホイールオドメトリ方法のホイールスリップによる計測ミスを回避できるほか、センサーの精度低下などの原因による計測誤差も回避でき、計測の精度を向上する。

既存のビジュアルオドメトリ方法では、異なる応用シーンにおいても共に相対的に固定するパラメータ値を用いて特徴点の検知とマッチングを行うのが一般的である。これによって、取得した特徴点と特徴点マッチ対の数およびマッチング正確度を精確に把握できず、システムの稼動時間を大幅増加、システムの計算の実用性が低い。

したがって、リアルタイムかつ正確に視覚距離を計算できる方法が必要になる。

本発明は、ビジュアルオドメトリ方法及び装置を提供することを目的とする。

本発明の１つの態様は、ビジュアルオドメトリ方法であって、ビデオ画像内のフレーム画像の特徴点を検知するステップと、前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、を含み、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする方法を提供する。

本発明のもう１つの態様は、ビジュアルオドメトリ装置であって、ビデオ画像内のフレーム画像の特徴点を検知する検知手段と、前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するマッチング手段と、を含み、前記マッチング手段は、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、前記マッチング手段は、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする装置を提供する。

本発明の上記ビジュアルオドメトリ方法及び装置によれば、特徴点と特徴点マッチ対と関係する相関パラメータのトレーニング結果によりビデオ画像内のフレーム画像の特徴点と特徴点マッチ対の数を自己適応的に調整することで、システムの稼動時間を縮短、計算の精確度を上げ、リアルタイムの正確な視覚距離計算を実施できる。

図示とあわせて本願の実施例をより詳しく説明することによって、本願の上記内容および目的、特徴、そして長所がより明白になる。
本発明の実施例に係わるビジュアルオドメトリ方法のフローチャートである。 本発明の実施例における特徴点の確率密度図である。 本発明の実施例における特徴点マッチ対の確率密度図である。 本発明の１つの実施例におけるビジュアルオドメトリ装置のブロック図である。 本発明のもう１つの実施例におけるビジュアルオドメトリ装置のブロック図である。

以下、図面を参照して本発明の実施例に係わるビジュアルオドメトリ方法と装置を説明する。図面には、同じ番号は同じ要素を終始に示す。ここで記述された実施例は説明のみに用いられて、本発明の範囲を制限するものではないことが自明である。

本発明では、従来技術のビジュアルオドメトリ方法において固定パラメータ値が用いられて特徴点の検知とマッチによる計算効率低下、正確性低い問題を解決するために、発明者らが異なる応用シーンにおいて自己適応のパラメータによって視覚距離計算における特徴点と特徴点マッチ対の数を調節することにした。このため、本発明では、ニューラルネットワーク法を用いて特徴点に相関する第一相関パラメータと特徴点マッチ対に相関する第二相関パラメータに対してニューラルネットワークトレーニングを行った。

具体的には、まず、ニューラルネットワークに一連のトレーニングデータを入力することができ、これらのトレーニングデータは複数のフレームのビデオ画像であることが可能である。つぎに、指定されたシステム稼動時間において実験によって特徴点、特徴点マッチ対、第一相関パラメータおよび第二相関パラメータの間の各種の関係を取得できる。ニューラルネットワークトレーニングによって上記トレーニング結果を得た後、これらのトレーニング結果に基づいて視覚距離計算における特徴点と/或いは特徴点マッチ対を最適化するように調整することで、ターゲットの移動推定の正確度を上げ、システムの稼動時間を減らす。

ここで、図１を参照して本発明の実施例に係わるビジュアルオドメトリ方法を説明する。図１は当該ビジュアルオドメトリ方法１００のフローチャートを示す。

図１に示すように、ステップＳ１０１では、ビデオ画像内のフレーム画像の特徴点を検知する。好ましいのは、まずビデオ画像を取得して、ビデオ画像内の各フレーム画像の特徴点を検知することが可能である。ここで、ビデオ画像はターゲットに配備された撮像モジュールにより得たものでもよく、当該ビデオ画像はそのうちから物体の運動または移動距離を得るために用いられる。具体的には、各フレーム画像の特徴点をともに

に示すことが可能であり、ここで、Ｋはこのフレーム画像における特徴点の数を意味する。ビデオ画像を取得するためのカメラがステレオカメラである場合、前記フレーム画像はそれぞれ左右両フレームの画像を含むことができる。

また、本発明の実施例に係わるビジュアルオドメトリ方法はビデオ画像内において隣接する二つのフレームの画像の特徴点に対してマッチを行うことができるので、好ましいのが、ステップＳ１０１における特徴点の具体的な検知方式を以下に示す。ビデオ画像を得て、所定の方法によって得たビデオ画像内における隣接する二つのフレーム画像の特徴点を検知する。本実施例では、特徴点を検知する所定方法は例えばSIFT特徴量、SURF特徴量、Harrisコーナーなどの各種の特徴点検知方法を含む。特徴点を検知後、例えばグレースケール特徴量、グラデーション特徴量、視差情報などの各種特徴記述方法に用いられる方法によって、前記の検知された特徴点を記述することができる。

本実施例のステップＳ１０２では、前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチを行って、特徴点マッチ対を得ることによって、物体の運動を計算する。そこで、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整し、かつ調整後の特徴点を用いてマッチを行うことで前記特徴点マッチ対を取得すること、と/或いは、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整、かつ調整後の特徴点マッチ対を取得する。

具体的には、まず指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との間、前記特徴点と各第一相関パラメータとの間、および前記特徴点マッチ対と各第二相関パラメータとの間の関係をトレーニングかつ取得する。なお、トレーニングプロセスはステップＳ１０１の特徴点検知ステップの前でも良く、このステップの後でも良い。本実施例のシステムの稼動時間と検知された特徴点とマッチする特徴点マッチ対の数と直接な相関があるため、予めに設定したシステム稼動時間によってニューラルネットワークのトレーニング法を用いてシステム稼動時間、特徴点、特徴点マッチ対、第一相関パラメータおよび第二相関パラメータの間の関係に対してトレーニングを行うことで、システムの稼動時間を減らし、計算効率を向上することが可能である。詳細な実施過程では、まず、ニューラルネットワークにトレーニングデータとして、事前取得した複数のフレームのビデオ画像を入力する。次に、指定されたシステム稼動時間において、実験によってシステム稼動時間Ｔと特徴点数Npoint、特徴点マッチ対数Ncorresとの間の関係T=g(Npoint,Ncorres)を取得する。指定されたシステム稼動時間の場合、特徴点数および対応する特徴点マッチ対数がともに既知である。特徴点数Npointと特徴点マッチ対数Ncorresとの間の関係はNcorres=g’(Npoint)に示すことが可能である。この他、特徴点をマッチする前に、実験によって特徴点数Npointとそれと相関する第一相関パラメータ
（外１）

との間の関係

を取得できる。ここで、m=1,2，…,Mで、Mは特徴点数と関係する第一相関パラメータの数であり、第一相関パラメータはフィルタ窓口サイズ、非最大抑制窓口サイズなどであり、例えばlibvisoビジュアルオドメトリ方法において、第一相関パラメータはmargin（余白）、nms_n（非最大抑制窓口）などのパラメータを含むことが可能である。第一相関パラメータと特徴点との対応関係を定めることによって、距離を精確に計算すると共に所要の特徴点の数もなるべく少なくすることができる。例えば、特徴点が多い場合、フィルタ窓口サイズと非最大抑制窓口サイズを縮小させることによって特徴点の数を適当に減少でき、かつ所要の距離を精確に計算できるもっとも少ない点によって距離を計算する。さらに、トレーニングプロセスにおいて特徴点を検知かつマッチした後、実験によって特徴点マッチ対の数Ncorresとそれと相関する第二相関パラメータ
（外２）

との間の関係

も取得できる。ここで、k=1,2,…，K，Kで、Kは特徴点マッチ対数と関係する第二相関パラメータの数であり、第二相関パラメータは例えば物体の速度、回転角、路面高さまたは傾斜度などのパラメータであることが可能である。この他、第二相関パラメータは特徴点マッチング時に二つのフレームのビデオ画像の重畳面積を影響する任意のパラメータであっても良い。

トレーニングプロセスによって上記パラメータの間の関係を取得した後、検知された第一の数を有する特徴点および前記特徴点と各第一相関パラメータとの間の関係に基づいて前記特徴点の数を第二の数に最適化することが可能である。そして、前記第二の数は前記第一の数よりも小さい。即ち、トレーニング結果によりステップＳ１０１で検知された特徴点の数に対して最適化をすることで、特徴点の数をまばらにしてシステムの稼動時間を制御する。

最適化プロセスでは、前記特徴点の分布を表す特徴点確率密度図に基づいて前記特徴点を最適化することができる。図２には、特徴点に基づく確率密度図を示す。図２に示すように、ステップＳ１０１で検知された特徴点は画像においてi行j列を有する複数のエリアに区分けでき、そこで、エリアRi,j内の特徴点確率密度pi,jがエリアRi,j内の特徴点の数N(px)を画像におけるすべての特徴点の数N(all)で割った値にすることが可能である。

上記特徴点の確率密度図の制限条件map(point)を考慮して、トレーニングプロセスにおいて取得した特徴点数と第一相関パラメータとの間の関係を

に表すことができる。そこで、特徴点確率密度図に対する制限条件は以下のことを回避できる。即ち、もっともと特徴点の分布が疎である画像位置において特徴点の数をさらに過剰に減らすことで、システムの計算正確度を低減させる。全部でM個の特徴点と相関する第一相関パラメータを有し、各第一相関パラメータの特徴点最適化における重みが異なるため、各第一相関パラメータの間の重みを調整して、重み付けされた各第一相関パラメータにより前記特徴点を最適化することが好ましい。具体的には、まず、逆関数関係で第一相関パラメータによって推定した特徴点数

を表して、つぎに、下記最適化問題を解決することで各第一相関パラメータが占める重み
（外３）

を取得し、かつ最適化結果を求める。つまり、前記関係によって推定した特徴点数をなるべく指定されたシステム稼動時間により求めたターゲットの特徴点数に近づくようにする。そこで、

、
（外４）

はパラメータ
（外５）

の重みであり、

となり、
（外６）

、
（外７）

はパラメータ
（外８）

の制限条件であり、制限条件は第一相関パラメータの合理的な値の範囲を制限する。第一相関パラメータが等間隔抽出のサンプリングレートである場合、サンプリングレートの最大値は画像のサイズに制限され、その最小値は画素間隔と画像フィルタリング条件に制限される。上記の最適化プロセス後、ステップＳ１０１で検知した特徴点の数を検知された第一の数から第一の数より小さい第二の数に最適化でき、かつ前記第二の数の特徴点を用いて後継の計算を行うことで、システムの計算効率を上げることが可能である。

特徴点の数を最適化後、調整後の特徴点を用いて特徴点のマッチを行うことができる。なお、ステップＳ１０１により検知した特徴点を直接的に特徴点マッチングを行うこともできる。特徴点マッチングの対象は隣接する二つのフレームのフレーム画像の特徴点である。具体的には、まず前のフレームのビデオ画像内のm個の特徴点の集合を

に表し、そこで、

、現在のビデオ画像内のn個の特徴点の集合を

に表し、そこで、

。よって、前のフレーム画像と現在のフレーム画像内の特徴点対の差異を
（外９）

に表し、その内、
（外１０）

が特徴点対であり、特徴点対の差異は特徴点対の間の特徴ベクトルを用いて表すことが一般的である。特徴点マッチングの方法では、特徴点対の間の総差異が最小である特徴点対のマッチ結果を選択する。即ち
（外１１）

であり、そこで、N<min(m,n)。

特徴点マッチ対を取得した後、マッチされた第三の数を有する特徴点マッチ対および前記特徴点マッチ対と各第二相関パラメータとの間の関係に基づき、前記特徴点マッチ対の数を第四の数に最適化することができる。ここで、前記第四の数は前記第三の数よりも小さい。即ち、トレーニング結果により特徴点マッチ対の数に対して最適化をすることで、特徴点マッチ対の数をまばらにしてシステムの稼動時間を制御する。

最適化プロセスでは、前記特徴点マッチ対の分布を表すマッチ対確率密度図に基づいて前記特徴点マッチ対を最適化することができる。図３には、特徴点マッチ対に基づく確率密度図を示す。図３に示すように、マッチして得た特徴点マッチ対は図２と類似して、画像においてi行j列を有する複数のエリアに区分けでき、そこで、エリアRi,j内のマッチ対確率密度p’i,jがエリアRi,j内のマッチ対の数を画像におけるすべての特徴点マッチ対N(all)の数で割った値にすることが可能である。

ここで、マッチ対確率密度分布を考慮する場合、さらにマッチ対の重みに対する影響を考慮することで、計算の正確度を上げることが可能である。マッチ対の重み
（外１２）

を下記に表すことができる。

その内、前のフレームの歴史情報と比べて、目前のフレームのエリアRi,j内ある特徴点マッチ対pxがinlierに属する場合、マッチ対の重み
（外１３）

が最大となり、1+Cになる。目前のフレームのエリアRi,j内にある特徴点マッチ対pxがoutlierに属する場合、マッチ対の重み
（外１４）

が最小となり、1-C’になり、0<C、C’<1。ほかの場合、例えば、ある特徴点マッチ対が初めて出た場合は、その重みを1にすることが可能である。

本実施例における特徴点マッチ対
（外１５）

がinlierかoutlierかに属する判断方法は以下である。

そこで、thrが予めに設定した閾値であり、
（外１６）

が目前のフレーム画像内の予想位置で、

式によって求められ、R、Tはそれぞれ前のフレームと目前のフレームとがマッチして得た歴史情報により求めた回転マトリクスと変位マトリクスである。

特徴点マッチ対の重みを定めた後、エリアRi,j内のマッチ対確率密度p’i,jをエリアRi,j内に異なる重み
（外１７）

を有するマッチ対の数Ni,jの合計を総マッチ対の数N(all)で割ることに表すことができる。

上記特徴点マッチ対の確率密度図の制限条件map(corres)を考慮して、トレーニングプロセスで取得した特徴点マッチ対数と第二相関パラメータとの間の関係を

に表すことができる。そこで、特徴点マッチ対確率密度図に対する制限条件は以下のことを回避できる。即ち、もっともと特徴点マッチ対の分布が疎である画像位置において特徴点マッチ対の数をさらに過剰に減らすことで、システムの計算正確度を低減させる。全部でK個の特徴点マッチ対と相関する第二相関パラメータを有し、各第二相関パラメータの最適化における重みが異なるため、各第二相関パラメータの間の重みを調整して、重み付けされた各第二相関パラメータにより前記特徴点マッチ対を最適化することが好ましい。具体的には、まず、逆関数関係で第二相関パラメータによって推定した特徴点マッチ対数

を表して、つぎに、下記の最適化問題を解決することで各第二相関パラメータが占める重み
（外１８）

を取得し、かつ最適化結果を求める。つまり、前記関係によって推定した特徴点マッチ対数をなるべく指定されたシステム稼動時間により求めたターゲットの特徴点マッチ対数に近づく。そこで、

、
（外１９）

はパラメータ
（外２０）

の重みであり、

となり、
（外２１）

、
（外２２）

はパラメータ
（外２３）

の制限条件であり、第二相関パラメータが車両速度である場合、車両速度の最大値はアルゴリズムの許容に制限される。上記の最適化プロセス後、特徴点マッチ対の数を第三の数から第三の数より小さい第四の数に最適化でき、かつ前記第四の数の特徴点マッチ対を用いて後継の計算を行うことで、システムの計算効率を上げることが可能である。

本発明の実施例では、前記特徴点と特徴点マッチ対との一方しか最適化ができないが、特徴点と特徴点マッチ対とをともに最適化することも可能である。

隣接する二つのフレームのフレーム画像の特徴点マッチ対を取得した後、特徴点マッチ対によって移動推定マトリクスを計算できる。前記移動推定マトリクスは前記物体の回転と変位を計算するように、回転マトリクスR(3×3)と変位マトリクスT(3×1)とを含む。ここで用いた移動推定方法は四次元数、RANSACに基づいても良く、常用のほかの各種移動推定方法でも良い。

本発明の実施例によるビジュアルオドメトリ方法は特徴点と特徴点マッチ対と関係する相関パラメータのトレーニング結果によりビデオ画像内のフレーム画像の特徴点と特徴点マッチ対の数を自己適応的に調整することで、システムの稼動時間を縮短、計算の精確度を上げ、リアルタイムの正確な視覚距離計算を実施できる。

以下、図４を参照して本発明の実施例に係わるビジュアルオドメトリ装置を説明する。図４には本発明の実施例におけるビジュアルオドメトリ装置４００のブロック図を示す。図４に示すように、ビジュアルオドメトリ装置４００は検知ユニット４１０とマッチングユニット４２０とを含む。そのほか、当該装置４００はさらにほかの部材も含むが、これらの部材が本発明の実施例の内容と関係がないため、ここでその図示および記述を省略する。この他、本発明の実施例に係わるビジュアルオドメトリ装置４００によって行う下記操作の具体的な細部が上記図１−３を参照して記載された細部と同じであるため、重複を回避するために、同じ細部に対する重複した記述を省略する。

図４内のビジュアルオドメトリ装置４００の検知ユニット４１０はビデオ画像内のフレーム画像の特徴点を検知する。検知ユニット４１０はまずビデオ画像を取得して、ビデオ画像内の各フレーム画像の特徴点を検知することが可能である。ここで、ビデオ画像はターゲットに配備された撮像モジュールにより得たものでもよく、当該ビデオ画像はそのうちから物体の運動または移動距離を得るために用いられる。具体的には、各フレーム画像の特徴点をともに

に示すことが可能であり、ここで、Kはこのフレーム画像における特徴点の数を意味する。検知ユニット４１０においてビデオ画像を取得するためのカメラがステレオカメラである場合、前記フレーム画像はそれぞれ左右両フレームの画像を含むことができる。

また、検知ユニット４１０はビデオ画像を得て、かつ所定の方法によって得たビデオ画像内における隣接する二つのフレーム画像の特徴点を検知する。本実施例では、検知ユニット４１０による特徴点を検知する所定方法は例えばSIFT特徴量、SURF特徴量、Harrisコーナーなどの各種の特徴点検知方法を含む。検知ユニット４１０によって特徴点を検知後、例えばグレースケール特徴量、グラデーション特徴量、視差情報などの各種特徴記述方法に用いられる方法によって、前記の検知された特徴点を記述することができる。

ビジュアルオドメトリ装置４００のマッチングユニット４２０は前記ビデオ画像内の隣接する二つのフレームの特徴点をマッチして特徴点マッチ対を取得することで物体の運動を計算する。そこで、マッチングユニット４２０は前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整、かつ調整後の特徴点を用いてマッチを行うことで前記特徴点マッチ対を取得し、且つ/或いは、マッチングユニット４２０は前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整、かつ調整後の特徴点マッチ対を取得する。

具体的に、ビジュアルオドメトリ装置４００はさらにトレーニングユニット（未図示）を含み、指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との間、前記特徴点と各第一相関パラメータとの間、および前記特徴点マッチ対と各第二相関パラメータとの間の関係をトレーニングかつ取得する。なお、トレーニングユニットのトレーニングプロセスは検知ユニット４１０による特徴点を検知する前でも良く、後でも良い。本実施例のシステムの稼動時間と検知された特徴点とマッチする特徴点マッチ対の数と直接な相関があるため、トレーニングユニットは予めに設定したシステム稼動時間によってニューラルネットワークのトレーニング法を用いてシステム稼動時間、特徴点、特徴点マッチ対、第一相関パラメータおよび第二相関パラメータの間の関係に対してトレーニングを行うことで、システムの稼動時間を減らし、計算効率を向上することが可能である。具体的に、トレーニングユニットはまずニューラルネットワークにトレーニングデータとして、事前取得した複数のフレームのビデオ画像を入力する。次ぎに、指定されたシステム稼動時間において、実験によってシステム稼動時間Tと特徴点数Npoint、特徴点マッチ対数Ncorresとの間の関係T=g(Npoint,Ncorres)を取得する。指定されたシステム稼動時間の場合、特徴点数および対応する特徴点マッチ対数がともに既知である。特徴点数Npointと特徴点マッチ対数Ncorresとの間の関係はNcorres=g’(Npoint)に示すことが可能である。この他、特徴点をマッチする前に、トレーニングユニットは実験によって特徴点数Npointとそれと相関する第一相関パラメータ
（外２４）

との間の関係

を取得できる。ここで、m=1,2，…,Mで、Mは特徴点数と関係する第一相関パラメータの数であり、第一相関パラメータはフィルタ窓口サイズ、非最大抑制窓口サイズなどであり、例えばlibvisoビジュアルオドメトリ方法において、第一相関パラメータはmargin（余白）、nms_n（非最大抑制窓口）などのパラメータを含むことが可能である。第一相関パラメータと特徴点との対応関係を定めることによって、距離を精確に計算すると共に所要の特徴点の数もなるべく少なくすることができる。例えば、特徴点が多い場合、フィルタ窓口サイズと非最大抑制窓口サイズを縮小させることによって特徴点の数を適当に減少でき、かつ所要の距離を精確に計算できるもっとも少ない点によって距離を計算する。さらに、トレーニングプロセスにおいて特徴点を検知かつマッチした後、トレーニングユニットは実験によって特徴点マッチ対の数Ncorresとそれと相関する第二相関パラメータ
（外２５）

との間の関係

も取得できる。ここで、k=1,2,…，K，Kで、Kは特徴点マッチ対数と関係する第二相関パラメータの数であり、第二相関パラメータは例えば物体の速度、回転角、路面高さまたは傾斜度などのパラメータであることが可能である。この他、第二相関パラメータは特徴点マッチング時に二つのフレームのビデオ画像の重畳面積を影響する任意のパラメータであっても良い。

トレーニングユニットによって上記パラメータの間の関係を取得した後、マッチングユニット４２０は検知された第一の数を有する特徴点および前記特徴点と各第一相関パラメータとの間の関係に基づいて前記特徴点の数を第二の数に最適化することが可能である。そして、前記第二の数は前記第一の数よりも小さい。即ち、トレーニングユニットのトレーニング結果により検知ユニット４１０で検知された特徴点の数に対して最適化をすることで、特徴点の数をまばらにしてシステムの稼動時間を制御する。

最適化プロセスでは、マッチングユニット４２０は前記特徴点の分布を表す特徴点確率密度図に基づいて前記特徴点を最適化することができる。図２には、特徴点に基づく確率密度図を示す。図２に示すように、検知ユニット４１０で検知された特徴点は画像においてi行j列を有する複数のエリアに区分けでき、そこで、エリアRi,j内の特徴点確率密度pi,jがエリアRi,j内の特徴点の数N(px)を画像におけるすべての特徴点の数N(all)で割った値にすることが可能である。

マッチングユニット４２０は上記特徴点の確率密度図の制限条件map(point)を考慮して、トレーニングプロセスで取得した特徴点数と第一相関パラメータとの間の関係を

に表すことができる。そこで、特徴点確率密度図に対する制限条件は以下のことを回避できる。即ち、もっともと特徴点の分布が疎である画像位置において特徴点の数をさらに過剰に減らすことで、システムの計算正確度を低減させる。全部でM個の特徴点と相関する第一相関パラメータを有し、各第一相関パラメータの特徴点最適化における重みが異なるため、マッチングユニット４２０は各第一相関パラメータの間の重みを調整して、重み付けされた各第一相関パラメータにより前記特徴点を最適化することが好ましい。具体的に、マッチングユニット４２０は、まず、逆関数関係で第一相関パラメータによって推定した特徴点数

を表して、つぎに、下記最適化問題を解決して各第一相関パラメータが占める重み
（外２６）

を取得し、かつ最適化結果を求める。つまり、マッチングユニット４２０は前記関係によって推定した特徴点数をなるべく指定されたシステム稼動時間により求めたターゲットの特徴点数に近づく。そこで、

、
（外２７）

はパラメータ
（外２８）

の重みであり、

となり、
（外２９）

、
（外３０）

はパラメータ
（外３１）

の制限条件であり、制限条件は第一相関パラメータの合理的な値の範囲を制限する。第一相関パラメータが等間隔抽出のサンプリングレートである場合、サンプリングレートの最大値は画像のサイズに制限され、その最小値は画素間隔と画像フィルタリング条件に制限される。上記の最適化プロセス後、マッチングユニット４２０は検知ユニット４１０で検知した特徴点の数を検知された第一の数から第一の数より小さい第二の数に最適化でき、かつ前記第二の数の特徴点を用いて後継の計算を行うことで、システムの計算効率を上げることが可能である。

特徴点の数を最適化後、マッチングユニット４２０は調整後の特徴点を用いて特徴点のマッチを行うことができる。なお、マッチングユニット４２０は検知ユニット４１０により検知した特徴点を直接的に特徴点マッチングを行うこともできる。マッチングユニット４２０による特徴点マッチングの対象は隣接する二つのフレームのフレーム画像の特徴点である。具体的に、マッチングユニット４２０はまず前のフレームのビデオ画像内のm個の特徴点の集合を

に表し、そこで、

、現在のビデオ画像内のn個の特徴点の集合を

に表し、そこで、

。よって、前のフレーム画像と現在のフレーム画像内の特徴点対の差異を
（外３２）

に表し、その内、
（外３３）

が特徴点対であり、特徴点対の差異は特徴点対の間の特徴ベクトルを用いて表すことが一般的である。マッチングユニット４２０により特徴点マッチを行う場合、特徴点対の間の総差異が最小である特徴点対のマッチ結果を選択する必要がある。即ち
（外３４）

であり、そこで、N<min(m,n)。

マッチングユニット４２０によって特徴点マッチ対を取得した後、マッチされた第三の数を有する特徴点マッチ対および前記特徴点マッチ対と各第二相関パラメータとの間の関係に基づき、前記特徴点マッチ対の数を第四の数に最適化することができる。ここで、前記第四の数は前記第三の数よりも小さい。即ち、マッチングユニット４２０はトレーニングユニットのトレーニング結果により特徴点マッチ対の数に対して最適化をすることで、特徴点マッチ対の数をまばらにしてシステムの稼動時間を制御する。

最適化プロセスにおいて、マッチングユニット４２０は前記特徴点マッチ対の分布を表すマッチ対確率密度図に基づいて前記特徴点マッチ対を最適化することができる。図３には、特徴点マッチ対に基づく確率密度図を示す。図３に示すように、マッチングユニット４２０がマッチして得た特徴点マッチ対は図２と類似して、画像においてi行j列を有する複数のエリアに区分けでき、そこで、エリアRi,j内のマッチ対確率密度p’i,jがエリアRi,j内のマッチ対の数を画像におけるすべての特徴点マッチ対N(all)の数で割った値にすることが可能である。

ここで、マッチ対確率密度分布を考慮する場合、マッチングユニット４２０はさらにマッチ対の重みに対する影響を考慮することで、計算の正確度を上げることが可能である。マッチングユニット４２０によりマッチ対の重み
（外３５）

を下記に表すことができる。

その内、前のフレームの歴史情報と比べて、目前のフレームのエリアRi,j内ある特徴点マッチ対pxがinlierに属する場合、マッチ対の重み
（外３６）

が最大となり、1+Cになる。目前のフレームのエリアRi,j内にある特徴点マッチ対pxがoutlierに属する場合、マッチ対の重み
（外３７）

が最小となり、1-C’になり、0<C,C’<1。ほかの場合、例えば、ある特徴点マッチ対が初めて出た場合は、その重みを1にすることが可能である。

本実施例のマッチングユニット４２０は特徴点マッチ対
（外３８）

がinlierかoutlierかに属するかを下式によって判断する。

そこで、thrが予めに設定した閾値であり、
（外３９）

が目前のフレーム画像内の予想位置で、

式によって求められ、R、Tはそれぞれ前のフレームと目前のフレームとがマッチして得た歴史情報により求めた回転マトリクスと変位マトリクスである。

マッチングユニット４２０により特徴点マッチ対の重みを定めた後、エリアRi,j内のマッチ対確率密度p’i,jをエリアRi,j内に異なる重み
（外４０）

を有するマッチ対の数Ni,jの合計を総マッチ対の数N(all)で割ることに表すことができる。

上記特徴点マッチ対の確率密度図の制限条件map(corres)を考慮して、マッチングユニット４２０はトレーニングプロセスで取得した特徴点マッチ対数と第二相関パラメータとの間の関係を

に表すことができる。そこで、特徴点マッチ対確率密度図に対する制限条件は以下のことを回避できる。即ち、もっともと特徴点マッチ対の分布が疎である画像位置において特徴点マッチ対の数をさらに過剰に減らすことで、システムの計算正確度を低減させる。全部でK個の特徴点マッチ対と相関する第二相関パラメータを有し、各第二相関パラメータの最適化における重みが異なるため、マッチングユニット４２０は各第二相関パラメータの間の重みを調整して、重み付けされた各第二相関パラメータにより前記特徴点マッチ対を最適化することが好ましい。具体的に、マッチングユニット４２０はまず、逆関数関係で第二相関パラメータによって推定した特徴点マッチ対数

を表して、つぎに、下記の最適化問題を解決することで各第二相関パラメータが占める重み
（外４１）

を取得し、かつ最適化結果を求める。つまり、マッチングユニット４２０は前記関係によって推定した特徴点マッチ対数をなるべく指定されたシステム稼動時間により求めたターゲットの特徴点マッチ対数に近づく。そこで、

となり、
（外４２）

はパラメータ
（外４３）

の重みであり、

となり、
（外４４）

、
（外４５）

はパラメータ
（外４６）

の制限条件であり、第二相関パラメータが車両速度である場合、車両速度の最大値はアルゴリズムの許容に制限される。上記の最適化プロセス後、マッチングユニット４２０は特徴点マッチ対の数を第三の数から第三の数より小さい第四の数に最適化でき、かつ前記第四の数の特徴点マッチ対を用いて後継の計算を行うことで、システムの計算効率を上げることが可能である。

本発明の実施例において、マッチングユニット４２０は前記特徴点と特徴点マッチ対との一方しか最適化ができないが、特徴点と特徴点マッチ対とをともに最適化することも可能である。

本発明の実施例に係わるビジュアルオドメトリ装置４００はさらに推定ユニット（未図示）を含み、隣接する二つのフレームのフレーム画像の特徴点マッチ対を取得した後、特徴点マッチ対によって移動推定マトリクスを計算できる。前記移動推定マトリクスは前記物体の回転と変位を計算するように、回転マトリクスR(3×3)と変位マトリクスT(3×1)とを含む。ここで推定ユニットが用いた移動推定方法は四次元数、RANSACに基づいても良く、常用のほかの各種移動推定方法でも良い。

本発明の実施例によるビジュアルオドメトリ装置は特徴点と特徴点マッチ対と関係する相関パラメータのトレーニング結果によりビデオ画像内のフレーム画像の特徴点と特徴点マッチ対の数を自己適応的に調整することで、システムの稼動時間を縮短、計算の精確度を上げ、リアルタイムの正確な視覚距離計算を実施できる。

以下、図５を参照して本発明の実施例に係わるビジュアルオドメトリ装置を説明する。図５には本発明の実施例におけるビジュアルオドメトリ装置５００のブロック図を示す。図５に示すように、当該装置５００はカメラを具備するコンピュータまたはサーバでも良い。

図５に示すように、ビジュアルオドメトリ装置５００は一つまたは複数のプロセッサー５１０およびメモリ５２０とを含む。なお、これらのほか、ビジュアルオドメトリ装置５００はさらにカメラおよび出力装置（未図示）を含むことも可能で、これらのユニットはバスシステムと/またはほかの形式の接続装置によって互いに接続される。なお、図５に示したビジュアルオドメトリ装置５００のユニットと構造は例示的のみであり、制限されたものではない。必要に応じて、ビジュアルオドメトリ装置５００はほこのユニットと構造を有することも可能である。

プロセッサー５１０は中央プロセスユニット（CPU）またはデータ処理能力と/またはコマンド執行能力を有するほかの形式のプロセスユニットであってもよく、かつメモリ内に記憶されたコンピュータプログラムコマンドを用いて所望の機能を実行できるが、以下のステップを含む。ビデオ画像内のフレーム画像の特徴点を検知する。前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチを行って、特徴点マッチ対を得ることによって、物体の運動を計算する。そこで、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整、かつ調整後の特徴点を用いてマッチを行うことで前記特徴点マッチ対を取得し、且つ/或いは、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整、かつ調整後の特徴点マッチ対を取得する。

メモリ５２０は一つまたは複数のコンピュータプログラムプロダクトを含むことができる。前期コンピュータプログラムプロダクトは例えば揮発性メモリと/または不揮発性メモリなどの各種の形式のコンピュータ読み出し可能な記録媒体を含むことが可能である。前記揮発性メモリは例えばランダムアクセスメモリ（RAM）と/またはキャッシュメモリ（cache）などを含むことが可能である。前記不揮発性メモリは例えば読み出し専用メモリ（ROM）、ハードディスク、フラッシュメモリなどを含むことが可能である。前記コンピュータ読み出し可能な記録媒体において一つまたは複数のコンピュータプログラムコマンドを記憶でき、プロセッサー５１０は前記プログラムコマンドを実行することで、上記本願の実施例のビジュアルオドメトリ装置の機能及び／又ほかの所望の機能、かつ／または、本発明の実施例のビジュアルオドメトリ方法を実行できる。前記コンピュータ読み出し可能な記録媒体において各種アプリケーションプログラムと各種データを格納することも可能である。

そのため、上記実施例を用いて本発明を詳細に説明したが、当業者にとって、本発明が上記説明した実施例に限らないことを自明である。本発明は請求項に限定された本発明の範囲を逸脱しない場合、校正、補正されたモードに実施することが可能である。このため、明細書の記述は例示を説明するのみに用いられ、かつ本発明にいかなる制限をかけることではない。

Claims (11)

1. ビジュアルオドメトリ方法であって、
   ビデオ画像内のフレーム画像の特徴点を検知するステップと、
   前記ビデオ画像内の隣接する二つのフレームのフレーム画像の特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、
   指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との関係、前記特徴点と各第一相関パラメータとの関係、および前記特徴点マッチ対と各第二相関パラメータとの関係をトレーニングして取得するステップと、を含み、
   前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、
   前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする方法。
2. 前記ビデオ画像内のフレーム画像の特徴点を検知するステップは、
   ビデオ画像を得ることと、
   所定の方法によって、取得した前記ビデオ画像内の隣接する二つのフレーム画像の特徴点を検知することと、を含むことを特徴とする請求項１に記載の方法。
3. 前記トレーニングした第一相関パラメータによって前記特徴点を調整することは、
   検知された第一の数の特徴点および前記特徴点と各第一相関パラメータとの関係に基づいて、前記特徴点の数を前記第一の数よりも小さい第二の数に最適化すること、を含み、
   前記トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整することは、
   マッチした第三の数の特徴点マッチ対および前記特徴点マッチ対と各第二相関パラメータとの関係に基づいて、前記特徴点マッチ対の数を前記第三の数よりも小さい第四の数に最適化すること、を含むことを特徴とする請求項１に記載の方法。
4. 前記トレーニングした第一相関パラメータによって前記特徴点を調整することは、
   各第一相関パラメータの重みを調整して、重み付けされた各第一相関パラメータにより前記特徴点を最適化すること、を含み、
   前記トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整することは、
   各第二相関パラメータの重みを調整して、重み付けされた各第二相関パラメータにより前記特徴点マッチ対を最適化すること、を含むことを特徴とする請求項３に記載の方法。
5. 前記トレーニングした第一相関パラメータによって前記特徴点を調整することは、
   前記特徴点の分布を表す特徴点確率密度図に基づいて前記特徴点を最適化すること、を含み、
   前記トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整することは、
   前記特徴点マッチ対の分布を表すマッチ対確率密度図に基づいて前記特徴点マッチ対を最適化すること、を含むことを特徴とする請求項１に記載の方法。
6. 前記トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整することは、
   前記特徴点マッチ対の重みにより前記特徴点マッチ対を最適化すること、をさらに含むことを特徴とする請求項５に記載の方法。
7. 取得した前記特徴点マッチ対によって移動推定マトリクスを計算し、前記移動推定マトリクスは、前記物体の回転と変位を計算するための回転マトリクスと変位マトリクスを含むことを特徴とする請求項１乃至６のいずれかに記載の方法。
8. ビジュアルオドメトリ装置であって、
   ビデオ画像内のフレーム画像の特徴点を検知する検知手段と、
   前記ビデオ画像内の隣接する二つのフレームのフレーム画像の特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するマッチング手段と、
   指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との関係、前記特徴点と各第一相関パラメータとの関係、および前記特徴点マッチ対と各第二相関パラメータとの関係をトレーニングして取得するトレーニング手段と、を含み、
   前記マッチング手段は、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、
   前記マッチング手段は、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする装置。
9. 前記マッチング手段は、
   検知された第一の数の特徴点および前記特徴点と各第一相関パラメータとの関係に基づいて、前記特徴点の数を前記第一の数よりも小さい第二の数に最適化し、
   マッチした第三の数の特徴点マッチ対および前記特徴点マッチ対と各第二相関パラメータとの関係に基づいて、前記特徴点マッチ対の数を前記第三の数よりも小さい第四の数に最適化することを特徴とする請求項８に記載の装置。
10. ビデオ画像内のフレーム画像の特徴点を検知するステップと、
    前記ビデオ画像内の隣接する二つのフレームのフレーム画像の特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、
    指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との関係、前記特徴点と各第一相関パラメータとの関係、および前記特徴点マッチ対と各第二相関パラメータとの関係をトレーニングして取得するステップと、をコンピュータに実行させるためのビジュアルオドメトリプログラムであって、
    前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、
    前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とするビジュアルオドメトリプログラム。
11. ビデオ画像内のフレーム画像の特徴点を検知するステップと、
    前記ビデオ画像内の隣接する二つのフレームのフレーム画像の特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、
    指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との関係、前記特徴点と各第一相関パラメータとの関係、および前記特徴点マッチ対と各第二相関パラメータとの関係をトレーニングして取得するステップと、をコンピュータに実行させるためのビジュアルオドメトリプログラムを記録した記録媒体であって、
    前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、
    前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする記録媒体。

Images