JP6830140B2

JP6830140B2 - 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両

Info

Publication number: JP6830140B2
Application number: JP2019163318A
Authority: JP
Inventors: ユァンファンシエ，; リャンワン，
Original assignee: バイドゥオンラインネットワークテクノロジー（ベイジン）カンパニーリミテッド
Priority date: 2018-09-07
Filing date: 2019-09-06
Publication date: 2021-02-17
Anticipated expiration: 2039-09-06
Also published as: US20200082547A1; JP2020042819A; US11227395B2; EP3621032A3; CN109300143B; EP3621032A2; CN109300143A

Description

本発明は、画像処理技術分野に関し、特に、運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両に関する。

科学技術の発展に伴い、ますます多くの技術分野でシーンにおける物体の運動状態に対して収集、分析及び推定を行う必要がある。例えば、無人走行の分野では、無人車両にはレーダ、カメラ、衛星測位、自律ナビゲーション、およびさまざまなセンサなどの機器が統合され、無人車両は、自律的に位置決めし、ナビゲーション経路を決定し、交通標識と道路状況などの情報を自動的に認識し、大量のデータ情報によって無人車両が目的地への安全走行を駆動することができる。したがって、無人車両の安全性を向上させるために、無人車両が外界シーンにおける物体の運動状態を推定することは非常に重要である。

従来技術では、カメラ又は撮影機器などの画像収集機器を使用して、シーン画像を収集することによって、異なる時刻のシーン画像を取得する。特徴マッチングなどのアルゴリズムで、異なる時刻のシーン画像における同一の物体を決定し、さらに、同一の物体のシーン画像における運動距離と時間差に基づいて、物体の運動速度を算出して取得し、物体の運動方向を決定する。

しかしながら、従来技術によって推定された物体の運動状態は、いずれも画像を標準としており、画像における同じ運動状態が実際のシーンには大きく異なる可能性があるため、従来技術では、物体の実際のシーンにおける絶対的な運動状態を決定することができず、運動ベクトル場に対する推定の精度が低い。

本発明は、運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両を提供し、シーンにおける空間点の実際の運動ベクトル場を決定し、運動ベクトル場の推定の精度を向上させることができる。

本発明の第１態様として、運動ベクトル場の決定方法であって、画像収集器によって収集された異なるフレーム画像に基づいて、シーンにおける空間点のオプティカルフローを決定するステップと、レーダによって収集された空間点データに基づいて、前記シーンにおける前記空間点の画像収集器座標系における運動速度を決定するステップと、前記レーダによって収集された前記空間点データに基づいて、前記空間点の画像平面における投影の１次導関数を決定するステップと、前記画像収集器の内部パラメータと、前記画像収集器のグローバル座標系における回転行列と、前記画像収集器の運動速度と、前記画像収集器の角速度と、前記シーンにおける前記空間点の位置・姿勢と、前記空間点の前記オプティカルフローと、前記空間点の前記画像収集器座標系における前記運動速度と、前記空間点の画像平面における投影の前記１次導関数とに基づいて、前記シーンにおける前記空間点の速度ベクトルを決定するステップとを含む運動ベクトル場の決定方法を提供する。

本発明の第２態様として、運動ベクトル場の決定装置であって、画像収集器によって収集された異なるフレーム画像に基づいて、シーンにおける空間点のオプティカルフローを決定するオプティカルフロー決定モジュールと、レーダによって収集された空間点データに基づいて、前記シーンにおける前記空間点の画像収集器座標系における運動速度を決定する速度決定モジュールと、前記レーダによって収集された前記空間点データに基づいて、前記空間点の画像平面における投影の１次導関数を決定する導関数決定モジュールと、前記画像収集器の内部パラメータと、前記画像収集器のグローバル座標系における回転行列と、前記画像収集器の運動速度と、前記画像収集器の角速度と、前記シーンにおける前記空間点の位置・姿勢と、前記空間点の前記オプティカルフローと、前記空間点の前記画像収集器座標系における前記運動速度と、前記空間点の画像平面における投影の前記１次導関数とに基づいて、前記シーンにおける前記空間点の速度ベクトルを決定する速度ベクトル決定モジュールとを備える運動ベクトル場の決定装置を提供する。

本発明の第３態様として、機器であって、少なくとも一つのプロセッサと、少なくとも一つのプログラムを記憶するメモリとを備え、少なくとも一つの前記プログラムが少なくとも一つの前記プロセッサによって実行される場合に、少なくとも一つの前記プロセッサが、上記の運動ベクトル場の決定方法を実現する機器を提供する。

本発明の第４態様として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合に、上記の運動ベクトル場の決定方法が実現されるコンピュータ読み取り可能な記憶媒体を提供する。

本発明の第５態様として、車体を備える車両であって、前記車体には、上記の機器と、該機器と通信するように接続される前記画像収集器と、前記レーダとが設けられる車両を提供する。

本発明は、画像収集器によって異なる時刻の異なるフレーム画像をリアルタイム又は定時的に収集して、異なるフレーム画像に基づいてシーンにおける空間点のオプティカルフローを決定し、同時に、レーダによってシーンにおける空間点のデータを収集して、空間点の画像収集器座標系における運動速度と、空間点の画像平面における投影の１次導関数を決定する。そして、画像収集器の内部パラメータと、画像収集器のグローバル座標系における回転行列と、画像収集器の運動速度と、画像収集器の角速度と、シーンにおける空間点の位置・姿勢及び決定された空間点のオプティカルフローと、空間点の画像収集器座標系における運動速度と、空間点の画像平面における投影の１次導関数に基づいて、シーンにおける空間点の速度ベクトルを決定する。本発明は、オプティカルフロー及びレーダによって収集された画像の深度情報を組み合わせて、２次元画像における空間点を立体化して、異なる角度から空間点の２次元シーンにおける運動速度を決定し、その対等な関係を利用してシーンにおける空間点の実際の運動ベクトル場を決定することによって、運動ベクトル場の推定の精度を向上させる。

本発明の実施例１により提供される運動ベクトル場の決定方法のフローチャートである。本発明の実施例２により提供される運動ベクトル場の決定方法のフローチャートである。本発明の実施例３により提供される運動ベクトル場の決定装置の概略構成図である。本発明の実施例４により提供される機器の概略構成図である。

以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。

実施例１
図１は、本発明の実施例１により提供される運動ベクトル場の決定方法のフローチャートである。本実施例は、シーンにおける空間点の運動ベクトル場を推定する場合に適用することができ、運動ベクトル場の決定方法は、運動ベクトル場の決定装置によって実行されることができる。運動ベクトル場の決定方法は、具体的には、以下のようなステップＳ１１０からステップＳ１４０を含む。
ステップＳ１１０：画像収集器によって収集された異なるフレーム画像に基づいて、シーンにおける空間点のオプティカルフローを決定する。

本発明の具体的な実施例では、画像収集器は、カメラ、撮影機器、及びビデオカメラなどの画像収集機器を指し、連続したフレームの画像をリアルタイム又は定時的に収集することができる。シーンは、画像の収集対象を指し、相対的な運動又は静止の物体が含まれており、空間点は、シーンにおける物体を構成する特徴点を指し、特徴点は、特徴抽出などの方式によって取得することができる。オプティカルフローは、空間運動物体の結像平面で観察される画素運動の瞬間速度を指し、物体の３次元実世界での画像に動いている２次元速度ベクトル投影である。オプティカルフローは、画像シーケンスの画素の時間領域における変化と、隣接するフレーム間の関連性とを使用して、前のフレームと現在のフレームとの間に存在する対応関係を見つけて、隣接するフレーム間の物体の運動情報を算出することができる。本実施例は、特徴点の決定方式及びオプティカルフローの算出方式に対して限定されず、任意のシーンにおける特徴点を決定することができる方式と、任意のオプティカルフローを算出することができる方式を共に本実施例に適用することができる。

本実施例は、画像収集器を使用して画像収集を行い、収集された異なるフレーム画像に基づいて、隣接する二つのフレーム又は隣接する複数のフレーム画像を使用してシーンにおける空間点のオプティカルフローを算出することができる。具体的には、無人車両シーンでは、画像収集器は、無人車両の周辺、例えば、前端及び／又は後端に取り付けることができ、無人車両の周囲環境を感知して、無人車両が静止又は走行している間に、移動方向のシーン画像を収集することができ、周辺環境の画像情報をすぐに取得して道路状況分析を行うことが便利になるために用いられる。このように、異なるフレーム画像を収集した後、隣接するフレーム画像を使用してシーンにおける空間点のオプティカルフローを算出する。すなわち、空間点の３次元実世界での画像に動いている２次元速度ベクトル投影であり、画像における投影の運動速度と運動方向とを含む。

ステップＳ１２０：レーダによって収集された空間点データに基づいて、シーンにおける空間点の画像収集器座標系における運動速度を決定する。

本発明の具体的な実施例では、レーダは、電磁波でターゲットを検出する電子機器を指し、レーダは、電磁波を放射してターゲットを照射し、ターゲットエコーを受信し、送信波とエコーとの間の周波数変化と時間差などの情報に基づいて、ターゲットから電磁波放射点までの距離、距離変化率、径方向速度、方位及び高さなどの情報を決定する。レーダによって収集された空間点データは、対応する空間点のグローバル座標系における３次元座標情報と、色情報と、グレースケール情報と、深度情報などの多次元情報を含むことができる。画像収集器座標系は、小穴式ビデオカメラモデルの焦点中心を原点とし、画像収集器光軸をＺ軸として構築された３次元直角座標系であってもよく、Ｘ軸及びＹ軸は、一般的に画像物理座標系におけるＸ軸とＹ軸に平行し、かつ正面影モデルを使用することができる。このように、シーンにおける各空間点は、いずれも画像収集器座標系によってその具体的な位置情報を表示することができ、画像収集器座標系とグローバル座標系との間の関係は、回転行列と平行移動ベクトルによって記述することができる。

具体的には、無人車両に使用されるレーダは、ミリ波レーダと激光レーダに分類できる。ミリ波レーダを使用する場合、異なる時刻のミリ波レーダデータに基づいて、空間点のグローバル座標系における運動速度を決定し、ミリ波レーダと画像収集器との間の相対的な位置・姿勢に基づいて、空間点のグローバル座標系における運動速度を画像収集器座標系における運動速度に変換する。激光レーダを使用する場合、激光レーダと画像収集器との間の相対的な位置・姿勢に基づいて、空間点の点群データを画像平面に投影して深度マップを取得し、異なる時刻の深度マップに基づいて、空間点の画像収集器座標系における運動速度を取得する。

ステップＳ１３０：レーダによって収集された空間点データに基づいて、空間点の画像平面における投影の１次導関数を決定する。

本発明の具体的な実施例では、レーダによって収集された空間点データは、空間点の３次元空間における位置関係を表し、３次元空間における点を２次元平面にマッピングする。すなわち、画素の形式で表される２次元画像を取得することができ、空間点の画像平面における投影の１次導関数を取得することができる。

ステップＳ１４０：画像収集器の内部パラメータと、画像収集器のグローバル座標系における回転行列と、画像収集器の運動速度と、画像収集器の角速度と、シーンにおける空間点の位置・姿勢と、空間点のオプティカルフローと、空間点の画像収集器座標系における運動速度と、空間点の画像平面における投影の１次導関数とに基づいて、シーンにおける空間点の速度ベクトルを決定する。

本発明の具体的な実施例では、画像収集器の内部パラメータは、画像収集器の自体の特性と関連するパラメータであり、例えば、画像収集器の焦点距離、主点の座標及び座標軸の傾斜パラメータなどであり、内部パラメータ行列によって表されることができる。画像収集器のグローバル座標系における回転行列は、画像収集器とグローバル座標系との間の座標系の向き関係として理解することができる。画像収集器の運動速度は、画像収集器の瞬間の線速度であり、画像収集器が曲線の運動を行う場合、画像収集器の角速度を使用して画像収集器の運動状態を記述することもできる。画像収集器の運動速度及び角速度は、いずれも無人車両に統合される慣性ナビゲーションシステムによって検出して取得することができる。シーンにおける空間点の位置・姿勢は、レーダによって収集された空間点の６自由度データを指す。上記のパラメータは、いずれも無人車両における各センサによって検出して取得することができる。

空間点のオプティカルフロー、空間点の画像収集器座標系における運動速度、及び空間点の画像平面における投影の１次導関数は、異なる角度から空間点の２次元平面における運動速度を共に表すため、三者の対等な関係に基づいて空間点の速度ベクトルを取得することができることが理解できる。

本実施例の変形例として、以下の式（１）、（２）を連立することによって、シーンにおける空間点の速度ベクトルを決定してもよい。

ただし、
Ｋは、画像収集器の内部パラメータを表し、
Ｒは、画像収集器のグローバル座標系における回転行列を表し、

は、画像収集器のグローバル座標系における運動速度を表し、

は、画像収集器のグローバル座標系における角速度を表し、
Ｘは、シーンにおける空間点の位置・姿勢を表し、

は、空間点のオプティカルフローを表し、

は、空間点の画像収集器座標系における運動速度を表し、
Ｊは、空間点の画像平面における投影の１次導関数を表し、
〔〕_ｘは、歪対称行列の演算を表し、
Ｖ_ｏｂｊは、シーンにおける空間点の速度ベクトルを表す。

本実施例では、画像収集器によって異なる時刻の異なるフレーム画像をリアルタイム又は定時的に収集して、異なるフレーム画像に基づいてシーンにおける空間点のオプティカルフローを決定し、同時に、レーダによってシーンにおける空間点のデータを収集して、空間点の画像収集器座標系における運動速度と、空間点の画像平面における投影の１次導関数を決定する。そして、画像収集器の内部パラメータと、画像収集器のグローバル座標系における回転行列と、画像収集器の運動速度と、画像収集器の角速度と、シーンにおける空間点の位置・姿勢及び決定された空間点のオプティカルフローと、空間点の画像収集器座標系における運動速度と、空間点の画像平面における投影の１次導関数に基づいて、シーンにおける空間点の速度ベクトルを決定する。本実施例は、オプティカルフロー及びレーダによって収集された画像の深度情報を組み合わせて、２次元画像における空間点を立体化して、異なる角度から空間点の２次元シーンにおける運動速度を決定し、その対等な関係を利用してシーンにおける空間点の実際の運動ベクトル場を決定することによって、運動ベクトル場の推定の精度を向上させる。

実施例２
本実施例は、上記の実施例１に基づいて、運動ベクトル場の決定方法の一つの好ましい実施形態を提供する。式に基づいて空間点の速度ベクトルを算出して取得することができる。図２は、本発明の実施例２により提供される運動ベクトル場の決定方法のフローチャートである。図２に示されるように、運動ベクトル場の決定方法は、以下のような具体的なステップＳ２１０からステップＳ２４０を含む。
ステップＳ２１０：画像収集器によって収集された異なるフレーム画像に基づいて、シーンにおける空間点のオプティカルフローを決定する。

本発明の具体的な実施例では、画像収集器を使用して画像を収集し、収集された異なるフレーム画像に基づいて、隣接する二つのフレーム又は隣接する複数のフレーム画像を使用してシーンにおける空間点のオプティカルフローを算出することができる。画像のオプティカルフローの算出方法は、領域又は特徴に基づくマッチング方法と、周波数領域に基づく方法と、勾配に基づく方法などを含む。本実施例は、オプティカルフローの算出方法について限定せず、画像オプティカルフロー情報を算出することができる任意の方法は、すべて本実施例に適用することができる。
下記式（３）を使用して２次元空間における位置情報を表すと仮定する。

この場合、空間点のオプティカルフローは、

に表すことができる。

ステップＳ２２０：レーダによって収集された空間点データに基づいて、シーンにおける空間点の画像収集器座標系における運動速度を決定する。

本発明の具体的な実施例では、レーダを使用して空間点データを収集し、収集された空間点データの空間点の３次元空間位置情報がＸであると仮定する場合、画像収集器の外部パラメータは、少なくとも回転行列Ｒ_ｃａｍと平行移動ベクトルＴ_ｃａｍとを含み、その中、回転行列Ｒ_ｃａｍは、グローバル座標系の座標軸の画像収集器座標軸に対する方向を記述し、平行移動ベクトルＴ_ｃａｍは、画像収集器座標系における空間原点の位置を記述する。画像収集器座標系Ｙとグローバル座標系Ｘとの間の関係は、回転行列と平行移動ベクトルで記述することができるため、空間点の画像収集器座標系における３次元空間位置情報Ｙは、Ｙ＝Ｒ_ｃａｍ・Ｘ＋Ｔ_ｃａｍに表示することができ、さらに、シーンの空間点の画像収集器座標系における運動速度

を取得することができる。

本実施例の変形例として、異なる時刻のミリ波レーダデータに基づいて、空間点のグローバル座標系における運動速度を決定し、ミリ波レーダと画像収集器との間の相対的な位置・姿勢に基づいて、空間点のグローバル座標系における運動速度を画像収集器座標系における運動速度に変換する。

本発明の具体的な実施例では、ミリ波レーダを使用して空間点の画像収集器座標系における運動速度を決定することができる。具体的には、ミリ波レーダは、空間点のグローバル座標系における運動速度を直接に検出して取得することができるため、ミリ波レーダと画像収集器との間の相対的な位置・姿勢に基づいて、空間点のグローバル座標系における運動速度を画像収集器座標系における運動速度に変換する。

本実施例の変形例として、激光レーダと画像収集器との間の相対的な位置・姿勢に基づいて、空間点の点群データを画像平面に投影して深度マップを取得し、異なる時刻の深度マップに基づいて空間点の画像収集器座標系における運動速度を取得する。

本発明の具体的な実施例では、激光レーダを使用して空間点の画像収集器座標系における運動速度を決定することができる。具体的には、激光レーダを使用する場合、激光レーダは空間点の点群データを検出することができるため、激光レーダと画像収集器との間の相対的な位置・姿勢、すなわち回転行列と平行移動ベクトルに基づいて、空間点の点群データを画像平面に投影して深度マップを取得する。また、深度マップにおける各画素値が代表することは、物体から画像収集器座標系におけるＸ軸とＹ軸によって構成される平面までの距離であるため、異なる時刻の深度マップに基づいて空間点の画像収集器座標系における運動速度を取得することができる。なお、本実施例は、深度カメル又は産業用カメラなどの画像深度情報を検出することができる画像収集機器を使用して画像の深度情報を取得することができる。

ステップＳ２３０：レーダによって収集された空間点データに基づいて、空間点の画像平面における投影の１次導関数を決定する。

本発明の具体的な実施例では、レーダによって収集された空間点データは、空間点の３次元空間における位置関係を表し、３次元空間における点を２次元平面にマッピングして、画素の形式で表される２次元画像を取得することができ、空間点の画像平面における投影の１次導関数を取得することができる。具体的には、１次導関数をＪと表示すると仮定する場合、３次元空間における空間点がグローバル座標系Ｘにおいて、Ｙ＝Ｒ_ｃａｍ・Ｘ＋Ｔ_ｃａｍの式によって画像収集器座標系に変換された後、Ｙ＝〔ｘ，ｙ，ｚ〕^Ｔであり、２次元空間における空間点の画像物理座標系はＡ＝〔ｕ，ｖ〕^Ｔに表れる。
中間変量がＺ＝Ｋ・Ｙであると仮定する場合、下記の式（４）は、画像収集器の内部パラメータである。

ただし、ｆ_ｕ及びｆ_ｖは、画像収集器の横座標と縦座標との焦点距離を表し、通常の場合は同じであり、ｕ_０及びｖ_０は、結像平面に対する主点の座標を表し、ｓは、座標軸の傾斜パラメータを表し、理想的な場合には０であり、かつＡ＝〔ｚ_１／ｚ_３，ｚ_２／ｚ_３〕のため、取得された空間点を画像物理座標系にマッピングした座標は、
〔ｕ，ｖ〕^Ｔ＝〔ｆ_ｕ・ｘ／ｚ，ｆ_ｖ・ｙ／ｚ〕^Ｔである。
ｆ_ｕ＝ｆ_ｖ＝１と仮定すると、取得された空間点の画像平面における投影の１次導関数は、下記の式（５）である。

ステップＳ２４０：以下の式（６）及び式（７）を連立することによって、シーンにおける空間点の速度ベクトルを決定する。

は、空間点のオプティカルフローを表し、

本発明の具体的な実施例では、パラメータＫ、Ｒ、

及びＸは、すべて無人車両における各センサによって検出して取得することができる。なお、空間点のオプティカルフロー、空間点の画像収集器座標系における運動速度、及び空間点の画像平面における投影の１次導関数は、異なる角度から空間点の２次元平面における運動速度を共に表すため、三者の対等な関係に基づいて、連立することによって空間点の速度ベクトルを取得することができる。

本実施例の技術案では、２次元画像のオプティカルフローを算出し、ミリ波レーダ又は激光レーダによって収集された空間点データにおける深度情報に基づいて空間点の画像収集器座標系における運動速度を決定し、同時に、空間点の画像平面における投影の１次導関数を決定する。そして、式に基づいて、画像収集器の内部パラメータと、画像収集器のグローバル座標系における回転行列と、画像収集器の運動速度と、画像収集器の角速度と、シーンにおける空間点の位置・姿勢と、決定された空間点のオプティカルフローと、空間点の画像収集器座標系における運動速度と空間点の画像平面における投影の１次導関数に基づいて、シーンにおける空間点の速度ベクトルを決定する。本実施例は、オプティカルフロー及びレーダによって収集された画像の深度情報を組み合わせて、２次元画像における空間点を立体化して、異なる角度から空間点の２次元シーンにおける運動速度を決定する。そして、その対等な関係を利用してシーンにおける空間点の実際の運動ベクトル場を決定することによって、運動ベクトル場の推定の精度を向上させる。

実施例３
図３は、本発明の実施例３により提供される運動ベクトル場の決定装置の概略構成図である。本実施例は、シーンにおける空間点の運動ベクトル場を推定する場合に適用することができ、運動ベクトル場の決定装置は、本発明の任意の実施例に記載する運動ベクトル場の決定方法を実現することができる。運動ベクトル場の決定装置は、具体的には、画像収集器によって収集された異なるフレーム画像に基づいて、シーンにおける空間点のオプティカルフローを決定するオプティカルフロー決定モジュール３１０と、レーダによって収集された空間点データに基づいて、シーンにおける空間点の画像収集器座標系における運動速度を決定する速度決定モジュール３２０と、レーダによって収集された空間点データに基づいて、空間点の画像平面における投影の１次導関数を決定する導関数決定モジュール３３０と、画像収集器の内部パラメータと、画像収集器のグローバル座標系における回転行列と、画像収集器の運動速度と、画像収集器の角速度と、シーンにおける空間点の位置・姿勢と、空間点のオプティカルフローと、空間点の画像収集器座標系における運動速度と、空間点の画像平面における投影の１次導関数とに基づいて、シーンにおける空間点の速度ベクトルを決定する速度ベクトル決定モジュール３４０とを備える。

本実施例の変形例として、速度決定モジュール３２０は、異なる時刻のミリ波レーダデータに基づいて、空間点のグローバル座標系における運動速度を決定するグローバル座標系下速度決定ユニットと、ミリ波レーダと画像収集器との間の相対的な位置・姿勢に基づいて、空間点のグローバル座標系における運動速度を画像収集器座標系における運動速度に変換する画像収集器座標系速度決定ユニットとを備えていてもよい。

本実施例の変形例として、速度決定モジュール３２０は、激光レーダと画像収集器との間の相対的な位置・姿勢に基づいて、空間点の点群データを画像平面に投影して深度マップを取得する深度マップ決定ユニットと、異なる時刻の深度マップに基づいて空間点の画像収集器座標系における運動速度を取得する速度算出ユニットとを備えていてもよい。

本実施例の変形例として、速度ベクトル決定モジュールは、具体的には、以下の式（６）及び式（７）を連立することによって、シーンにおける空間点の速度ベクトルを決定してもよい。

は、空間点のオプティカルフローを表し、

本実施例においては、各機能モジュール間の組み合わせによって、２次元画像の収集、３次元情報の収集、オプティカルフローの算出、座標系の変換、空間点運動速度の算出、３次元向２次元の投影、導関数の算出、及び連立方程式の求解などの機能を実現する。本実施例は、オプティカルフロー及びレーダによって収集された画像の深度情報を組み合わせて、２次元画像における空間点を立体化して、異なる角度から空間点の２次元シーンにおける運動速度を決定し、その対等な関係を利用してシーンにおける空間点の実際の運動ベクトル場を決定することによって、運動ベクトル場の推定の精度を向上させる。

実施例４
図４は、本発明の実施例４により提供される機器の概略構成図である。図４は、本発明の実施例の実施形態を実現するのに適する例示的な機器のブロック図である。図４に示される機器は、単なる一つの例であり、本発明の実施例の機能及び使用範囲を一切制限しない。

図４に示される機器１２は、一例にすぎず、不応対本発明の実施例の機能と使用範囲にいかなる制限も与えてはならない。

図４に示されるように、機器１２は、汎用コンピューティングデバイスの形態で示される。機器１２のコンポーネントは、少なくとも一つのプロセッサ１６と、システムメモリ２８と、異なるシステムコンポーネント（システムメモリ２８とプロセッサ１６とを有する）を接続するバス１８とを備えることができるが、これらに限定されない。

バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち少なくとも一つのものを表す。一例をあげると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、これらに限定されない。

機器１２は、典型的には、多種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、機器１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。

システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０及び／又はキャッシュメモリ３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでいてもよい。機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでいてもよい。単なる一例として、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図４に示されていないが、通常「ハードドライブ」と呼ぶ）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル、不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル、不揮発性光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光学媒体）に対して読み出し及び書き込みをする光学ディスクドライブを提供することができる。この場合、各ドライブは、少なくとも一つのデータメディアインターフェイスを介してバス１８に接続することがきる。システムメモリ２８は、本発明の各実施例に記載の機能を実行するように構成されるワンセットのプログラムモジュール（例えば、少なくとも一つ）を有する少なくとも一つのプログラム製品を含んでいてもよい。

ワンセットのプログラムモジュール４２（少なくとも一つ）を有するプログラム／ユーティリティ４０は、例えば、システムメモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、少なくとも一つのアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができるがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常、本発明の実施例に記載の実施例における機能及び／又は方法を実行する。

機器１２は、少なくとも一つの外部機器１４（例えば、キーボード、ポインティング機器、ディスプレイ２４など）と通信することができるし、ユーザが機器１２とインタラクションすることを可能にする少なくとも一つの機器と通信することもでき、及び／又は機器１２が少なくとも一つの他のコンピューティングデバイスと通信することを可能にする任意の機器（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス２２を介して行うことができる。また、機器１２は、ネットワークアダプタ２０を介して、少なくとも一つのネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図４に示されるように、ネットワークアダプタ２０は、バス１８を介して、機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードやデバイスドライバ、冗長プロセッサ、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップトレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、機器１２と組み合わせて使用することができる。

プロセッサ１６は、システムメモリ２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の実施例により提供される運動ベクトル場の決定方法を実現する。

実施例５
本発明の実施例５は、コンピュータプログラムが記憶されている（又はコンピュータ実行可能な命令と称する）コンピュータ読み取り可能な記憶媒体をさらに提供する。コンピュータ読み取り可能な記憶媒体は、コンピュータプログラムがプロセッサによって実行される場合に、運動ベクトル場の決定方法が実行される。ここで、運動ベクトル場の決定方法は、画像収集器によって収集された異なるフレーム画像に基づいて、シーンにおける空間点のオプティカルフローを決定するステップと、レーダによって収集された空間点データに基づいて、シーンにおける空間点の画像収集器座標系における運動速度を決定するステップと、レーダによって収集された空間点データに基づいて、空間点の画像平面における投影の１次導関数を決定するステップと、画像収集器の内部パラメータと、画像収集器のグローバル座標系における回転行列と、画像収集器の運動速度と、画像収集器の角速度と、シーンにおける空間点の位置・姿勢と、空間点のオプティカルフローと、空間点の画像収集器座標系における運動速度と、空間点の画像平面における投影の１次導関数とに基づいて、シーンにおける空間点の速度ベクトルを決定するステップとを含む。

本発明の実施例のコンピュータ読み取り可能な媒体は、少なくとも一つのコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、少なくとも一つの配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この文書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。

コンピュータ読み取り可能な信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、コンピュータ読み取り可能なプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。

コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。

少なくとも一つのプログラミング言語又はそれらの組み合わせで本発明の実施例の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又は機器で実行してもよい。リモートコンピュータに係る場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することもできる。

また、本実施例では、車体を備える車両をさらに提供する。車体には、本発明の任意の実施例より提供される機器と、機器と通信して接続される画像収集器と、レーダとが設けられる。また、レーダは、激光レーダ又はミリ波レーダであってもよい。

なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない範囲で、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims

運動ベクトル場の決定方法であって、
画像収集器によって収集された異なるフレーム画像に基づいて、シーンにおける空間点のオプティカルフローを決定するステップと、
レーダによって収集された空間点データに基づいて、前記シーンにおける前記空間点の画像収集器座標系における運動速度を決定するステップと、
前記レーダによって収集された前記空間点データに基づいて、前記空間点の画像平面における投影の１次導関数を決定するステップと、
前記画像収集器の内部パラメータと、前記画像収集器のグローバル座標系における回転行列と、前記画像収集器の運動速度と、前記画像収集器の角速度と、前記シーンにおける前記空間点の位置・姿勢と、前記空間点の前記オプティカルフローと、前記空間点の前記画像収集器座標系における運動速度と、前記空間点の画像平面における投影の前記１次導関数とに基づいて、前記シーンにおける前記空間点の速度ベクトルを決定するステップとを含む運動ベクトル場の決定方法。
前記レーダによって収集された前記空間点データに基づいて、前記シーンにおける前記空間点の前記画像収集器座標系における運動速度を決定するステップは、
異なる時刻のミリ波レーダデータに基づいて、前記空間点のグローバル座標系における運動速度を決定するステップと、
ミリ波レーダと前記画像収集器との間の相対的な位置・姿勢に基づいて、前記空間点の前記グローバル座標系における前記運動速度を前記画像収集器座標系における運動速度に変換するステップとを含む請求項１に記載の運動ベクトル場の決定方法。
前記レーダによって収集された前記空間点データに基づいて、前記シーンにおける前記空間点の前記画像収集器座標系における運動速度を決定するステップは、
激光レーダと前記画像収集器との間の相対的な位置・姿勢に基づいて、前記空間点の点群データを画像平面に投影して深度マップを取得するステップと、
異なる時刻の前記深度マップに基づいて、前記空間点の前記画像収集器座標系における運動速度を取得するステップとを含む請求項１または請求項２に記載の運動ベクトル場の決定方法。
前記画像収集器の前記内部パラメータと、前記画像収集器の前記グローバル座標系における前記回転行列と、前記画像収集器の前記運動速度と、前記画像収集器の前記角速度と、前記シーンにおける前記空間点の位置・姿勢と、前記空間点の前記オプティカルフローと、前記空間点の前記画像収集器座標系における運動速度と、前記空間点の画像平面における投影の前記１次導関数とに基づいて、前記シーンにおける前記空間点の前記速度ベクトルを決定するステップは、
以下の式（１）及び式（２）を連立することによって、前記シーンにおける前記空間点の前記速度ベクトルを決定するステップを含み、

ただし、
Ｋは、前記画像収集器の前記内部パラメータを表し、
Ｒは、前記画像収集器の前記グローバル座標系における前記回転行列を表し、

は、前記画像収集器の前記グローバル座標系における前記運動速度を表し、

は、前記画像収集器の前記グローバル座標系における前記角速度を表し、
Ｘは、前記シーンにおける前記空間点の位置・姿勢を表し、

は、前記空間点の前記オプティカルフローを表し、

は、前記空間点の前記画像収集器座標系における運動速度を表し、
Ｊは、前記空間点の画像平面における投影の前記１次導関数を表し、
〔〕_ｘは、歪対称行列の演算を表し、
Ｖ_ｏｂｊは、前記シーンにおける前記空間点の前記速度ベクトルを表す請求項１から請求項３のいずれかに記載の運動ベクトル場の決定方法。
運動ベクトル場の決定装置であって、
画像収集器によって収集された異なるフレーム画像に基づいて、シーンにおける空間点のオプティカルフローを決定するオプティカルフロー決定モジュールと、
レーダによって収集された空間点データに基づいて、前記シーンにおける前記空間点の画像収集器座標系における運動速度を決定する速度決定モジュールと、
前記レーダによって収集された前記空間点データに基づいて、前記空間点の画像平面における投影の１次導関数を決定する導関数決定モジュールと、
前記画像収集器の内部パラメータと、前記画像収集器のグローバル座標系における回転行列と、前記画像収集器の運動速度と、前記画像収集器の角速度と、前記シーンにおける前記空間点の位置・姿勢と、前記空間点の前記オプティカルフローと、前記空間点の前記画像収集器座標系における運動速度と、前記空間点の画像平面における投影の前記１次導関数とに基づいて、前記シーンにおける前記空間点の速度ベクトルを決定する速度ベクトル決定モジュールとを備える運動ベクトル場の決定装置。
前記速度決定モジュールは、
異なる時刻のミリ波レーダデータに基づいて、前記空間点の前記グローバル座標系における運動速度を決定するグローバル座標系速度決定ユニットと、
ミリ波レーダと前記画像収集器との間の相対的な位置・姿勢に基づいて、前記空間点の前記グローバル座標系における前記運動速度を前記画像収集器座標系における運動速度に変換する画像収集器座標系速度決定ユニットとを備える請求項５に記載の運動ベクトル場の決定装置。
前記速度決定モジュールは、
激光レーダと前記画像収集器との間の相対的な位置・姿勢に基づいて、前記空間点の点群データを画像平面に投影して深度マップを取得する深度マップ決定ユニットと、
異なる時刻の深度マップに基づいて、前記空間点の前記画像収集器座標系における運動速度を取得する速度算出ユニットとを備える請求項５または請求項６に記載の運動ベクトル場の決定装置。
前記速度ベクトル決定モジュールは、具体的には、以下の式（１）及び式（２）を連立することによって、前記シーンにおける前記空間点の前記速度ベクトルを決定し、

ただし、
Ｋは、前記画像収集器の内部パラメータを表し、
Ｒは、前記画像収集器の前記グローバル座標系における回転行列を表し、

は、前記画像収集器の前記グローバル座標系における前記運動速度を表し、

は、前記画像収集器の前記グローバル座標系における前記角速度を表し、
Ｘは、前記シーンにおける前記空間点の位置・姿勢を表し、

は、前記空間点のオプティカルフローを表し、

は、前記空間点の前記画像収集器座標系における運動速度を表し、
Ｊは、前記空間点の画像平面における投影の１次導関数を表し、
〔〕_ｘは、歪対称行列の演算を表し、
Ｖ_ｏｂｊは、前記シーンにおける前記空間点の速度ベクトルを表す請求項５から請求項７のいずれかに記載の運動ベクトル場の決定装置。
機器であって、
少なくとも一つのプロセッサと、
少なくとも一つのプログラムを記憶するメモリとを備え、
少なくとも一つの前記プログラムが少なくとも一つの前記プロセッサによって実行される場合に、少なくとも一つの前記プロセッサが、請求項１から請求項４のいずれかに記載の運動ベクトル場の決定方法を実現する機器。
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１から請求項４のいずれかに記載の運動ベクトル場の決定方法が実現されるコンピュータ読み取り可能な記憶媒体。
車体を備える車両であって、
前記車体には、請求項９に記載の機器と、該機器と通信可能に接続される前記画像収集器と、前記レーダとが設けられる車両。