JP6522076B2

JP6522076B2 - 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品

Info

Publication number: JP6522076B2
Application number: JP2017197902A
Authority: JP
Inventors: 一君陳
Original assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Current assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Priority date: 2017-08-03
Filing date: 2017-10-11
Publication date: 2019-05-29
Anticipated expiration: 2037-10-11
Also published as: CN107577988A; US10495754B2; JP2019028967A; CN107577988B; DE102017123515B4; DE102017123515A1; US20190041513A1

Description

本開示は、車両制御の技術分野に関し、特に、側方の車両測位のための方法、装置、記憶媒体及びコンピュータプログラム製品に関する。

運転者支援システムのために、正確な側方の車両測位は、正しい警告のために重要である。例えば、死角検出システムにより、死角にある車両の位置をリアルタイムに検出することができる。死角に車両がある場合に、ターンシグナルが点灯すると、システムは、運転の安全を確保するために、光、音、振動又はその他の形で、運転者に警告することがある。他の例では、いずれかの側の車両が割り込むために車線変更した場合に、前方衝突防止システムによる正確な判断は、割り込んだ車両がシステムを設置している車両の前方の領域を占有しているかどうかが、警告するか否かを判定するために重要である。上記の機能の両方は、いずれかの側の車両とシステムを備えた車両との間の相対位置関係を取得することを必要とする。

従来技術では、側方の車両測位を実現する方法は、大きく２つのカテゴリーに分類することができる。１つのカテゴリーは、デュアルカメラ方式であり、例えば、車両の前後に２台のカメラを設置し、２台のカメラの光学中心が平行になるようにする。特徴点の３次元位置は、２つの画像内の点の位置の関係から計算して、側方の車両の位置を得ることができる。しかしながら、この方法は、２台のカメラの高い取り付け精度を必要とし、その結果、コスト高になる。他のカテゴリーは、シングルカメラ方式である。例えば、車両の前後に設置された魚眼カメラを介して、車両の特徴を用いて、他の車両の大まかな位置を認識する。この方法は、低コストであり、他の車両の位置決め精度が低い。

以上のことから、従来の技術では、１台のカメラによる側方の車両の測位精度が低いという技術的課題に対処するために、本開示に係る方法、装置、記憶媒体及びコンピュータプログラム製品を提供する。

上記問題に対処するために、本開示に従って、以下の技術的解決法が提供される。

側方の車両測位の方法であって、前記方法は、以下のステップを含む。

原画像を補正画像に変換するステップ、ここで、原画像は、画像取得装置により撮影された画像であり、補正画像は、原画像に対応する仮想カメラの画角の画像である。

補正画像の検出領域内の車輪特徴を検出して、補正画像内のサブ画像の位置を取得するステップ、サブ画像は、車輪特徴を含む。

車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するステップ、ここで、円検出結果は、円形特徴の中心の位置及び円形特徴の半径を含む。

円検出結果に基づいて側方の車両測位情報を取得するステップ。

これに対応して、前記方法は、以下のステップを含む。

複数フレームの原画像のそれぞれに基づいて側方の車両測位情報を取得し、側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得するステップ。

これに対応して、原画像を補正画像に変換するステップは、以下のステップを含む。

補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップ。

マッピング関係に基づいて原画像を補正画像としてマッピングするステップ。

これに対応して、画像取得装置は、魚眼カメラであり、補正画像内の画素の位置と原画像内の画素の位置との全単射写像関係を確立するステップは、以下のステップを含む。

補正画像により使用される画像座標系と仮想カメラが位置する座標系との間のマッピング関係に基づいて、補正画像内の画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するステップ。

第１のマッピング位置と、仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する世界座標系における第２のマッピング位置を計算するステップ。

第２のマッピング位置と、世界座標系と魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する魚眼カメラが位置する座標系における第３のマッピング位置を計算するステップ。

第３のマッピング位置と、魚眼カメラの歪みパラメータとに基づいて、補正画像内の画素の位置に対する原画像により用いられる画像座標系における第４のマッピング位置を計算するステップ。

補正画像内の画素の位置に対して計算される原画像により用いられる画像座標系における第４のマッピング位置に基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップ。

これに対応して、補正画像の検出領域内の車輪特徴を検出し、補正画像における車輪特徴を含むサブ画像の位置を取得するステップ。

サイドレーンの所定領域の位置を補正画像にマッピングし、補正画像の検出領域を取得するステップ。

補正画像の検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で検出ボックス内の車輪特徴を検出し、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として設定するステップ。

補正画像内の車輪特徴を含むサブ画像の位置を取得するステップ。

これに対応して、車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するステップ。

車輪特徴を含むサブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するステップ。

グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するステップ。

所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算するステップ。

補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するステップ。

これに対応して、円検出結果に基づいて、側方の車両測位情報を取得するステップは、以下のステップを含む。

複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を補正画像にマッピングして世界座標系に変換して、側方の車両測位情報を取得するステップ。

側方の車両測位のための装置であって、前記装置は以下の構成を含む。

原画像を補正画像に変換するように構成された変換ユニット、ここで、原画像は、画像取得装置により撮影された画像であり、補正画像は、原画像に対応する仮想カメラの画角の画像である。

補正画像の検出領域内の車輪特徴を検出し、補正画像内のサブ画像の位置を取得するように構成された第１の検出ユニット、サブ画像は、車輪特徴を含む。

車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するように構成された第２の検出ユニット、ここで、円検出結果は、補正画像内の円形特徴の中心の位置及び円形特徴の半径を含む。

円検出結果に基づいて側方の車両測位情報を取得するように構成された取得ユニット。

これに対応して、前記装置は以下の構成を含む。

複数フレームの原画像のそれぞれに基づいて側方の車両測位情報を取得し、側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得すように構成された追尾ユニット。

これに対応して、変換ユニットは、以下の構成を含む。

補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するように構成された第１の確立サブユニット。

マッピング関係に基づいて原画像を補正画像としてマッピングするように構成された第１のマッピングサブユニット。

これに対応して、画像取得装置は、魚眼カメラであり、第１の確立サブユニットは、以下の構成を含む。

補正画像により使用される画像座標系と仮想カメラが位置する座標系との間のマッピング関係に基づいて、補正画像内の画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するように構成された第１の計算サブユニット。

第１のマッピング位置と、仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する世界座標系における第２のマッピング位置を計算するように構成された第２の計算サブユニット。

第２のマッピング位置と、世界座標系と魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する魚眼カメラが位置する座標系における第３のマッピング位置を計算するように構成された第３の計算サブユニット。

第３のマッピング位置と、魚眼カメラの歪みパラメータとに基づいて、補正画像内の画素の位置に対する原画像により用いられる画像座標系における第４のマッピング位置を計算するように構成された第４の計算サブユニット。

補正画像内の画素の位置に対して計算される原画像により用いられる画像座標系における第４のマッピング位置に基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するように構成される第２の確立サブユニット。

これに対応して、第１の検出ユニットは、以下の構成を含む。

サイドレーンの所定領域の位置を補正画像にマッピングし、補正画像の検出領域を取得するように構成された第２のマッピングサブユニット。

補正画像の検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で検出ボックス内の車輪特徴を検出し、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として設定するように構成された検出サブユニット。

補正画像内の車輪特徴を含むサブ画像の位置を取得するように構成された取得サブユニット。

これに対応して、第２の検出ユニットは、以下の構成を含む。

車輪特徴を含むサブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するように構成された変換サブユニット。

グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するように構成された第５の計算サブユニット。

所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算する第６の計算サブユニット。

補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するように構成された選択サブユニット。

これに対応して、取得ユニットは、以下の構成を含む。

複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を補正画像にマッピングして世界座標系に変換して、側方の車両測位情報を取得するように構成される取得ユニット。

コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体は、端末装置により実行されたときに、端末装置が、側方の車両測位のための方法を実行するように構成された命令を記憶する。

コンピュータプログラム製品が提供される。端末装置により実行されたときに、コンピュータプログラム製品は、端末装置が、側方の車両測位のための方法を実行するように構成される。

上記のとおり、本開示の実施形態により以下の利点が提供されることが分かる。

本開示の実施形態によれば、画像取得装置により撮影された原画像は、最初に平面補正画像に変換される。変換された補正画像は画像内の車輪が真円に近くなると、補正画像内の車輪特徴を検出し、次に、車輪特徴における円特徴を検出することができる。側方の他の車両は、明示的な円特徴の検出を通じて正確に測位され、それにより、単一のカメラによる側方の車両測位の精度を高める。

本開示の一実施形態に係る側方の車両測位のための方法のフローチャートである。図２（ａ）は、本開示の一実施形態に係る仮想カメラの画角の概略図である。図２（ｂ）は、本開示の一実施形態に係る仮想カメラの画角の概略図である。本開示の一実施形態に係る世界座標系の概略図である。本開示の一実施形態に係る画素座標系の概略図である。本開示の一実施形態に係る画像座標系の概略図である。本開示の一実施形態に係るカメラ座標系の概略図である。本開示の一実施形態に係るカメラ座標系と世界座標系との関係を示す概略図である。図８（ａ）は、本開示の一実施形態に係る原画像の概略図である。図８（ｂ）は、本開示の一実施形態に係る補正画像の概略図である。図９（ａ）は、本開示の一実施形態に係る原画像内の車輪部分の概略図である。図９（ｂ）は、本開示の一実施形態に係る補正画像内の車輪部分の概略図である。本開示の一実施形態に係るサイドレーンにおける所定領域の概略図である。本開示の一実施形態に係る車輪特徴検出結果の概略図である。本開示の一実施形態に係る車輪特徴を含むサブ画像の概略図である。本開示の一実施形態に係る円傾き方向の対称性の概略図である。本開示の一実施形態に係る円中心投影の概略図である。本開示の一実施形態に係る円検出結果の概略図である。本開示の一実施形態に係る側方の車両測位結果の概略図である。本開示の一実施形態に係る側方の車両測位のための装置の概略図である。

上記の目的、本開示の特徴及び利点のより良い理解及び明確性のために、以下では、本開示の実施形態を、図面及び特定の実施形態とともにさらに詳細に説明する。

従来の技術では、単一のカメラ（例えば、魚眼カメラ）による側方の車両測位は、車両の特徴により他の車両の大まかな位置を検出することができたが、正確な特徴を検出することができず、結果として、側方の車両測位の精度が低くなる。この問題に対処するために、本開示の一実施形態によれば、第１の仮想カメラ技術を用いて、画像取得装置により取得された原画像を補正画像に変換し、補正画像は、左側及び／又は右側の平面画像として理解され得る。補正画像内の車輪特徴を認識することにより車輪の近似位置を検出し、測位された車輪領域内の円検出により車輪の正確な位置が決定され、それにより、側方の車両の位置が計算される。さらに、円の特徴を追尾することにより、エラー認識を排除することができる。正確な特徴を認識することにより、本開示の実施形態により提供される側方の車両測位を達成する方法は、車両と側方の車両との間の位置関係を正確に取得することができる。

本開示の一実施形態に係り提供される側方の車両測位のための方法のフローチャートを示す図１を参照する。この実施形態は、ステップ１０１〜１０４を含む。

ステップ１０１において、原画像は、補正画像に変換される。原画像は、画像取得装置により撮影された画像であり、補正画像は、仮想カメラの画角のもとで原画像に対応する画像である。

画像取得装置は、車両に搭載され、車両の前方又は後方の画像を撮影することができる。画像取得装置により撮影された画像は、原画像として機能することができる。原画像は、本開示に係る側方の車両の位置を決めるために使用することができ、車両上の他の検出機能を達成するために使用することもでき、これは本開示により制限されない。画像取得装置は、魚眼カメラなような広角画像取得装置であってもよく、他のタイプの画像取得装置であってもよい。

画像取得装置により広角で撮影された画像の歪みの可能性のために、原画像に側方の車両画像の変形があり、原画像のいくつかの特定の特徴を直接検出することができない。したがって、原画像を補正画像に変換する必要がある。補正画像は、仮想カメラの画角のもとでの原画像に対応する画像であってもよい。

仮想カメラの画角を図２に示す。図２（ａ）は、左仮想カメラの画角であり、図２（ｂ）は、右仮想カメラの画角である。画像取得装置の画角を固定して、車両の前方又は後方を撮影する場合に、仮想カメラの画角は、次のように理解することができる。画像取得装置の画角は、仮想カメラの画角として仮想化され、仮想カメラの１つの画角のもとで、車両の片側が撮影される。したがって、左仮想カメラの画角は、次のように理解することができる。画像取得装置の画角は、仮想化され、車両の左側を仮想カメラにより撮影する左仮想カメラの画角を得ることができる。右仮想カメラの画角は、次のように理解することができる。画像取得装置の画角は、仮想化され、車両の右側を仮想カメラにより撮影する右仮想カメラの画角を得ることができる。

原画像を補正画像に変換する処理は、仮想カメラ技術を通して、車両の前方又は後方で広角に撮影された原画像を、車両の側方に対する平面画像ショットに変換することとして、理解することができる。

実際の応用では、原画像を車両の左側と右側の補正画像に変換し、車両のいずれかの側の補正画像に変換することもできる。仮想カメラの構成に基づいて変換処理を行ってもよい。

ステップ１０２では、補正画像の検出領域内の車輪特徴を検出し、補正画像内の車輪特徴を含むサブ画像の位置を取得する。

車両の側方前方及び側方後方は、車両の側方に、他の車両が存在するかどうかを検出するための重要な領域である。サイドレーンの所定の領域の位置を補正画像にマッピングして、補正画像の検出領域を取得することができる。サイドレーンには所定領域が複数存在し、補正画像には複数の検出領域が存在してもよい。

実際の応用では、検出ボックスを各検出領域に所定のステップサイズで移動させることができ、検出ボックスのサイズは予め定めることができる。次いで、学習された車輪分類器を採用し、検出ボックスが車輪特徴を含むかどうかを検出することができ、それにより、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として取得し、補正画像内の車輪特徴を含むサブ画像の位置を取得することができる。

ステップ１０３では、車輪特徴を含むサブ画像内の円特徴を検出し、円検出結果を取得する。円検出結果は、補正画像内の円特徴の中心の位置と、円特徴の半径とを含む。

円特徴は、車輪特徴でさらに検出され、それにより、円特徴の中心の位置及び半径を介して正確に側方の車両の位置を決定することができる。

ステップ１０４では、円検出結果に基づいて側方の車両測位情報を取得する。

実施形態では、車輪特徴の各サブ画像に対して円特徴の検出を行い、同一円に対応する複数の円検出結果を得ることができる。これにより、複数の円検出結果をマージすることができ、マージした円検出結果の円特徴を最終的に用いて側方の車両の位置を特定することができる。本発明のいくつかの可能な実施形態では、補正画像内のマージされた円検出結果の円の特徴の中心の位置は、世界座標系にマッピングされ、側方の車両測位情報を取得することができる。

上記ステップの具体的な実施処理は、以下の実施形態でさらに例示される。

このように、本開示の一実施形態によれば、魚眼カメラにより撮影された歪みを有する原画像は、まず平面補正画像に変換される。変換補正画像における車輪が真円に近くなるように、車輪特徴が補正画像内で検出することができ、次いで、円特徴が車輪特徴内に検出される。側方の車両は、正確な円特徴の検出により正確に位置決めされ、それにより、単一のカメラによる側方の車両測位の精度を高める。

以下では、ステップ１０１の実施処理が示される。以下の説明の便宜上、本開示の実施形態に含まれる画素座標系、画像座標系、カメラ座標系、世界座標系、及びこれらの座標系間の変換関係が最初に導入される。本実施形態では、図示のために魚眼カメラを画像取得装置の一例として説明する。

魚眼カメラの設置位置と世界座標系を図３に示す。カメラ撮像においてセットツーセット関係に対応して、世界座標系（Ｏ，Ｘ，Ｙ，Ｚ）及び画素座標系（ｕ，ｖ）は確立される。

実際の応用では、世界座標系の原点Ｏは、魚眼カメラの垂直中心線と地面との交点で確立することができ、Ｘ軸は、車両の長手方向軸に沿って前方を指し、Ｙ軸は、車両の長手方向軸に対して右方向に垂直を指し、Ｚ軸は、車両に対して垂直上向きを指すことができる。世界座標系における物体の位置は、世界座標系における座標により識別することができる。世界座標系の単位は、メートルであることができる。座標系間で次のような変換演算を行う場合には、世界座標系の座標単位をミリメートルに変換して以降の演算を行ってもよい。世界座標系の確立は、実際の状態に適合でき、原点の位置及び世界座標系の各軸の方向は、本開示により限定されるものではない。

図４を参照すると、画素座標系（ｕ，ｖ）の原点Ｏ_０は、画像の左上コーナに確立され、水平座標ｕ及び垂直座標ｖは、それぞれ画像の行と列に対応する。画素座標系は、カメラの感光性要素内の物理的位置を表すことができ、画素座標系の単位は、ミリメートルであることができる。

図５を参照すると、画像座標系（ｘ，ｙ）の原点Ｏ１は、画像座標の中心点であり、水平座標ｘ及び垂直座標ｙは、それぞれ画像の行と列に対応する。画像座標系は、画像内の画素位置に対応し、単位は、画素であってもよい。

画素座標系における画像座標系の原点Ｏ１の座標を（ｕ０，ｖ０）、水平軸ｘ及び垂直軸ｙ上の各画素の物理的な大きさをｄｘ及びｄｙとすると、画像座標系と画素座標系との間の関係は、次の式で表される。

ここで、（ｕ０，ｖ０）は、カメラの感光性要素の物理的中心である。画素座標系の単位をミリメートルとすると、ｄｘの単位は、ミリメートル／画素である。ｘ／ｄｘの単位は、画素であり、画素座標系の単位と互換性がある。

上記の式によれば、画像座標系における座標（ｘ，ｙ）と画素座標系における（ｕ，ｖ）との変換関係が得られる。

（式１）

上記（式１）の逆数によれば、画素座標系における座標（ｕ，ｖ）と画像座標系における（ｘ，ｙ）との変換関係が得られる。

（式２）

図６を参照すると、カメラ座標系の概略図が示されている。カメラ座標系の原点Ｃは、カメラの光学中心であり、Ｚｃは、カメラの光軸であり、像平面に垂直であり、Ｏ−Ｏ１は、カメラの焦点距離である。本実施形態では、カメラは、魚眼カメラ、仮想カメラ、又は他の画像取得装置であってもよく、魚眼カメラ及び仮想カメラは、それぞれのカメラ座標系に配置されてもよい。

カメラ座標系と画像座標系との間の関係は、次の式で表される。

ここで、ｆは、焦点距離である。

上記式によれば、カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）と画像座標系における座標（ｘ，ｙ）との変換関係が得られる。

（式３）

上記（式３）の逆数によれば、画像座標系における座標（ｘ，ｙ）とカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）との変換関係が得られる。

（式４）

図７に示すように、カメラの位置を記述するために世界座標系が導入される。カメラ座標系は、回転及び変換により世界座標系にマッピングすることができ、任意の次元の回転は、座標ベクトルの積と適切な行列により表すことができる。世界座標系では、回転行列Ｒと変換ベクトルＴの２つのパラメータがある。例えば、他の座標系Ｂの回転と変換により座標系Ａを求めることができれば、座標系Ｂの座標は、座標系Ａの対応する座標に回転行列Ｒを掛け、さらに変換行列Ｔを加えることにより得ることができる。変換ベクトルＴは、２つの座標系の原点間のオフセットであってもよい。

したがって、世界座標系の座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラ座標系の座標（Ｘｃ，Ｙｃ，Ｚｃ）との間の変換関係は、次の式で表される。

（式５）

具体的には、空間点は、カメラ座標系における座標Ｐｃ（Ｘｃ，Ｙｃ，Ｚｃ）を有し、世界座標系における座標Ｐ０（Ｘｗ，Ｙｗ，Ｚｗ）を有するものとする。また、世界座標系は、カメラ座標系Ｘ軸周りにθ_１、Ｙ軸周りにθ_２、Ｚ軸周りにθ_３を回転することにより、次いで、Ｔ（Ｘ_０，Ｙ_０，Ｚ_０）変換することにより、得られるものとする。

したがって、空間ジオメトリに基づいて、カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）と世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）との間の変換関係は、次の式で表される。

（式６）

上記式６の逆数によれば、世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）との間の変換関係は、次の式で得られる。

（式７）

画素座標系、画像座標系、カメラ座標系、世界座標系、及びこれら座標系の間の変換関係を上記に示めされる。以下では、ステップ１０１の具体的な実施処理が、上記の説明と合わせて示される。ステップ１０１の実施処理は、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップと、マッピング関係に基づいて原画像を補正画像としてマッピングするステップとを含む。

そして、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップは、以下のステップを含む。

第４のマッピング位置と、補正画像内の画素の位置とに基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップ。

すなわち、原画像のある点の座標系をＰ’（Ｘ’，Ｙ’）とし、補正画像のある点の座標をＰ（Ｘ，Ｙ）とし、仮想カメラの焦点距離をｆ＝１，Ｚｃ＝１とすると、上記式４は、補正画像が用いる画像座標系と仮想カメラが位置する座標系（カメラ座標）との間のマッピング関係となる。式４により、仮想カメラが位置する座標系における第１マッピング位置Ｐｃ（Ｘｃ，Ｙｃ，Ｚｃ）を補正画像における画素位置Ｐ（Ｘ，Ｙ）に対して計算することができる。

仮想カメラの外部パラメータを（θ_１，θ_２，θ_３，Ｘ_０，Ｙ_０，Ｚ_０）とすると、上記式６は、仮想カメラが位置する座標系（カメラ座標）と世界座標系との間のマッピング関係となる。式６により、世界座標系における第２のマッピング位置Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）を補正画像における画素位置Ｐ（ｘ，ｙ）に対してさらに計算することができる。仮想カメラの外部パラメータは、カメラ座標系から世界座標系に変換する際に、回転行列と変換行列を設定する。

魚眼カメラの外部パラメータをθ_１ｆ，θ_２ｆ，θ_３ｆ，Ｘｆ，Ｙｆ，Ｚｆとすると、上記式７は、世界座標系と魚眼カメラが位置する座標系（カメラ座標系）との間のマッピング関係となる。式７により、魚眼カメラが位置する座標系における第３のマッピング位置Ｐｆｃ（Ｘｆｃ，Ｙｆｃ，Ｚｆｃ）を補正画像における画素位置Ｐ（ｘ、ｙ）に対してさらに計算することができる。同様に、魚眼カメラの外部パラメータは、カメラ座標系から世界座標系に変換する際に、回転行列と変換行列を設定する。換言すれば、式７におけるθ_１，θ_２，θ_３，Ｘ_０，Ｙ_０，Ｚ_０は、計算のために魚眼カメラの外部パラメータθ_１ｆ，θ_２ｆ，θ_３ｆ，Ｘｆ，Ｙｆ，Ｚｆにより置き換えることができる。

魚眼カメラの歪みにより、補正画像における画素位置Ｐ（ｘ，ｙ）に対して、原画像が使用する画像座標系における第４のマッピング位置Ｐ’（Ｘ’，Ｙ’）をさらに計算することに以下の式が適用される。魚眼カメラの歪みパラメータをＫ_１，Ｋ_２，Ｋ_３，Ｋ_４，Ｋ_５とすると、以下の式で表される。

（式８）

（式９）

（式１０）

（式１１）

式１１において、（ｕ_０、ｖ_０）は、カメラの感光性要素の物理的中心である。画素座標系の単位をミリメートルとすると、ｄｘの単位は、ミリメートル／画素であり、ｄｙの単位は、ミリメートル／画素であり、ここで、ｄｘ及びｄｙは、画素座標系と画像座標系との間の単位変換のためのパラメータである。

以上の計算ステップから、補正画像における画素の位置と原画像における画素の位置との間の全単射写像関係が取得される。すなわち、補正画像における各画素の位置（ｘ，ｙ）に基づいて、原画像における画素の対応する位置（Ｘ，Ｙ）が得られる。

次に、原画像は、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係に基づいて、補正画像としてマッピングすることができる。図８を参照すると、図８（ａ）に示される原画像は、図８（ｂ）に示される補正画像としてマッピングすることができる。原画像には、歪みが存在し、補正画像には側方の車両について歪みがほとんど存在せず、その後の特徴検出には補正画像を用いることができることが分かる。

図９を参照すると、原画像内の車輪特徴は、楕円形であり、円形検出には使用できず、補正画像の車輪特徴は真円に近く、円検出に使用することができる。

以下では、ステップ１０２の実施処理が示される。

図１０を参照すると、実際の応用では、車両の左前、右前、左後方及び右後方の４つの領域は、側方に他の車両が存在するかどうかを検出するための重要な領域である。例えば、４つの領域の大きさはそれぞれ３メートルｘ３メートルである。右後方領域を例にとると、右後方領域は、車両と平行な方向に沿って６つのセクションに分割され、セクションと車両との間の距離は、それぞれ、０．５メートル、１メートル、１．５メートル、２メートル、２．５メートル、３メートルである。地面に垂直な６つの面の所定の領域は、検出対象のサイドレーンの所定の領域とされ、世界座標系のサイドレーンの所定の領域の位置は、補正画像の画像座標系にマッピングされ、ここで、マッピング処理は、上述の座標系の間の変換関係を使用することができる。

次いで、検出ボックスは、補正画像の検出領域で移動され、予め学習された車輪分類器が、検出ボックス内の車輪特徴を検出するために使用される。車輪特徴を含むサブ画像として、車輪特徴を含む検出ボックスが設定される。そして、補正画像内の車輪特徴を含むサブ画像の位置が取得される。

補正画像内の車輪特徴を含むサブ画像の概略図である、図１１を参照すると、実際の応用では、取得した車両検出結果を車輪リスト（車輪リスト）に保存することができる。車両検出結果は、補正画像内の車輪特徴を含むサブ画像の位置を含む。検出は、検出領域内のウインドウを描画することにより行われるので、複数の検出ボックス内で車輪特徴を検出することができる。したがって、車輪リストは、複数の車輪検出結果を含むことができ、各車輪の検出結果は、ｒｅｃｔ（ｘ，ｙ，ｗｉｄｔｈ，ｈｅｉｇｔｈ）に対応し、ここで、”ｗｉｄｔｈ”及び”ｈｅｉｇｔｈ”は、それぞれ、車輪特徴を含むサブ画像の幅及び高さを表すことができ、ｘ，ｙは、車輪特徴を含むサブ画像内にある点（例えば、左上コーナ）に対して、補正画像内の座標を表すことができる。実際の応用では、補正画像の左上コーナを（ｘ，ｙ）＝（０，０）として設定することができる。

以下では、ステップ１０３の実施処理が示される。

本開示の実施形態のいくつかの可能な実施形態では、車輪特徴を含むサブ画像内の円特徴を検出し、円検出結果を取得する以下のステップを含むことができる。

図１２を参照する。まず、車輪特徴を含むサブ画像がグレイスケール画像に変換され、次に、グレイスケール画像に対してソーベルフィルタリングが実行される。
グレイスケール画像のソーベルカーネルの畳み込みは、次の式で表される。

及び

グレイスケール画像の水平座標軸の傾きＧｒａｄＸ及び垂直座標軸の傾きＧｒａｄＹは、ソーベルフィルタリングにより、それぞれ得られる。

得られる値は、次に表される式を満たす、

グレイスケール画像の各画素の座標（ｘ，ｙ）及び次の式で表される傾き方向の両方である。

図１３を参照する。一例として完全な円をとると、図１３の右側の傾き方向図は、図１３の左側の完全な円画像から生成され、異なる傾き方向は、異なる色により表すことができる。図１３から、円の内側エッジ上にある点の傾き方向は、１８０度方向の円の外側エッジ上の対応する点の傾き方向と同じであること、すなわち、円の傾き方向は、対称であることを見ることができる。

円の傾き方向の対称性により、傾き閾値条件を満たす座標点の傾き方向に円中心投影を行うことができる。

傾き閾値を満たす点ａ（ｘ，ｙ）について、傾き方向をθ、所定の半径をＲｉとすると、傾き方向θに対応する点ａの投影円中心ｏ（ｘ_０，ｙ_０）と、半径Ｒｉは、異なる所定の半径（Ｒｉ＝Ｒ１，Ｒ２，．．．，Ｒｎ）についてそれぞれ計算される。そして、

このようにして、傾き方向に沿った異なる所定の半径に対応する傾き閾値条件を満たす座標点の投影円中心の座標をそれぞれ計算することができる。座標は、グレイスケール画像内の座標であってもよい。

図１４を参照すると、図１４（ａ）〜図１４（ｄ）は、４つの所定の半径Ｒ１，Ｒ２，Ｒ３，Ｒ４にそれぞれ対応する投影円の中心結果に対応する。半径が固定された円中心投影は、投影空間の次元数を３から２に減らし、計算の複雑さを効果的に減らす。

最後に、最大の発生時間を有する投影円中心の座標を投票中心座標として選択し、次に表される発生時間Ｎが成立する場合には円が存在すると考えられる。

補正画像内の車輪特徴を含むサブ画像の位置を記録し、補正画像内の車輪特徴を含むサブ画像を変換することにより、上記グレイスケール画像を取得するので、グレイスケール画像内の円中心座標を補正画像に変換し、補正画像内の円特徴の円中心の位置を取得する。そして、最大の発生時間を有する投影円中心の座標に対応する所定の半径は、円特徴の半径と考えることができる。

最後に、ステップ１０４の実施処理が示されている。

同一円を検出する際に、複数の円検出結果が得られるので、複数の円検出結果をマージすることができる。実際の応用では、円検出結果を円リスト（円リスト）に記録し、円検出結果に対して円リストを検索してマッチング処理を行うことができる。円中心間の距離が所定の閾値よりも小さい円検出結果がマージされる。マージされた円検出結果が結果リスト（結果リスト）に記録することができ、結果リストの円特徴は、最終的に側方の車両測位のために使用される円特徴であると考えられる。図１６を参照すると、本開示の実施形態に係る側方の車両測位結果の概略図が示されている。

また、本発明の実施形態では、原画像の複数フレームからそれぞれ側方の車両測位情報を取得し、側方の車両測位情報に基づいて、側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得する。

すなわち、本開示の実施形態では、原画像の複数フレームを順次取得し、この方法により、本開示の実施形態に係る原画像のフレーム毎に側方の車両測位情報を決定することができる。世界座標系における同一円特徴の取得間隔と位置変動に応じて、側方の車両の速度及び自車両と側方の車両との間の相対速度を取得することができる。

本開示の一実施形態に係る側方の車両測位のための装置を示す図１７を参照する。この装置は以下の構成を含む。

原画像を補正画像に変換するように構成された変換ユニット１７０１、ここで、原画像は、画像取得装置により撮影された画像であり、補正画像は、原画像に対応する仮想カメラの画角の画像である。

補正画像の検出領域内の車輪特徴を検出し、補正画像内のサブ画像の位置を取得するように構成された第１の検出ユニット１７０２、サブ画像は、車輪特徴を含む。

車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するように構成された第２の検出ユニット１７０３、ここで、円検出結果は、補正画像内の円形特徴の中心の位置及び円形特徴の半径を含む。

円検出結果に基づいて側方の車両測位情報を取得するように構成された取得ユニット１７０４。

本開示の実施形態のいくつかの可能な実施形態では、本開示の実施形態に係る側方の車両測位のための装置は、以下の構成をさらに含む。

本開示の実施形態のいくつかの可能な実施形態では、変換ユニットは、以下の構成を含む。

本開示の実施形態のいくつかの可能な実施形態では、画像取得装置は、魚眼カメラであり、第１の確立ユニットは、以下の構成を含む。

本開示の実施形態のいくつかの可能な実施形態では、第１の検出ユニットは、以下の構成を含む。

本開示の実施形態のいくつかの可能な実施形態では、第２の検出ユニットは、以下の構成を含む。

グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標の傾きが所定の条件を満たす、座標点の傾き方向を計算するように構成された第５の計算サブユニット。

本開示の実施形態のいくつかの可能な実施形態では、取得ユニットは、具体的には、以下の構成を含む。

さらに、本開示の一実施形態に係るコンピュータ可読媒体がさらに提供される。命令は、コンピュータ可読媒体に格納され、命令が端末装置により実行されるときに、本開示の実施形態に係る端末装置は、上述の側方の車両測位のための方法を実行する。

本開示の一実施形態に係るコンピュータプログラム製品がさらに提供される。コンピュータプログラムが端末装置により実行されると、端末装置は、本開示の一実施形態に係る上記の側方の車両測位のための方法を実行する。

このようにして、本開示の実施形態によれば、画像取得装置により撮影された原画像は、最初に平面補正画像に変換される。変換補正画像内の車輪が真円に近くなると、補正画像内の車輪特徴を検出し、次に、車輪特徴における円特徴を検出することができる。側方の他の車両は、明示的な円特徴の検出により正確に位置決めされ、それにより、単一のカメラによる側方の車両測位の精度を高める。

なお、本開示の実施形態は、漸進的に記載され、各実施形態は、他の実施形態との差異に重点を置くことに留意されたい。したがって、一実施形態は、同じ又は同様の部分について他の実施形態を参照することができる。実施の形態に開示されたシステム又は装置は、実施の形態に開示された手法に対応するため、そのシステム及び装置の説明は簡単であり、その方法の一部を参照することがある。

本開示において、第１及び第２のような関係用語は、実体または操作を別の実体又は別の操作から区別することのみを意図しており、これらの実体又は操作の中で実際の関係又は順序が存在することを必ずしも要求又は示唆するものではない。さらに”含む”、”含む”又は任意の他の変形などの用語は、非排他的な包含を包含することを意図している。これにより、一連の要素を含む処理、方法、対象、装置は、これらの要素を含むだけでなく、明示的に記載されていない他の要素を含むものであってもよいし、又は処理、方法、又は装置内の固有の要素も含む。それ以上の制約がない場合、”を含む”という単語で限定された要素は、その要素を含む処理、方法、物体、又は装置に存在する別の同じ要素を除外しない。

本明細書に開示された実施形態と併せて、記載された方法又はアルゴリズムのステップは、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は上記２つの組み合わせにより実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、内部メモリ、読み出し専用メモリ（ＲＯＭ）、電気的にプログラム可能なＲＯＭ、電気的に消去可能なプログラム可能なＲＯＭ、レジスタ、ハードディスク、取り外し可能なハードディスク、ＣＤ−ＲＯＭ、又は任意の他の従来の形態の記憶媒体を含むことができる。

開示された実施形態の説明によれば、当業者は本開示を実施又は使用することができる。これらの実施形態に対する様々な修正が当業者には明らかであり、本明細書で定義される一般原則は、本開示の精神又は範囲から逸脱することなく、他の実施形態において実施され得る。したがって、本開示は、本明細書に記載された実施形態に限定されるものではなく、本開示で開示される原理及び新規な特徴に従って最も広い範囲を確認する。

Claims

側方の車両測位のための方法であって、
前記方法は、
原画像を補正画像に変換するステップと、
前記補正画像の検出領域内の車輪特徴を検出して、前記補正画像内のサブ画像の位置を取得するステップと、
前記車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するステップと、
前記円検出結果に基づいて側方の車両測位情報を取得するステップとを含み、
前記原画像は、画像取得装置により撮影された画像であり、前記補正画像は、前記原画像に対応する仮想カメラの画角下の画像であり、
前記サブ画像は、前記車輪特徴を含み、
前記円検出結果は、前記補正画像内の円形特徴の中心の位置及び円形特徴の半径を含む方法。
複数フレームの前記原画像のそれぞれに基づいて前記側方の車両測位情報を取得し、前記側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得するステップをさらに含む請求項１の方法。
前記原画像を前記補正画像に変換するステップは、
前記補正画像内の画素の位置と前記原画像内の画素の位置との間の全単射写像関係を確立するステップと、
マッピング関係に基づいて前記原画像を前記補正画像としてマッピングするステップと、
を含む請求項１の方法。
前記画像取得装置は、魚眼カメラであり、前記補正画像内の画素の位置と前記原画像内の画素の位置との全単射写像関係を確立するステップは、
前記補正画像のある画素の位置を仮定し、
前記補正画像により使用される画像座標系と前記仮想カメラが位置する座標系との間のマッピング関係に基づいて、前記補正画像内の前記画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するステップと、
前記第１のマッピング位置と、前記仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、前記補正画像内の前記画素の位置に対する世界座標系における第２のマッピング位置を計算するステップと、
前記第２のマッピング位置と、世界座標系と前記魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、前記補正画像内の前記画素の位置に対する前記魚眼カメラが位置する座標系における第３のマッピング位置を計算するステップと、
前記第３のマッピング位置と、前記魚眼カメラの歪みパラメータとに基づいて、前記補正画像内の前記画素の位置に対する前記原画像により用いられる画像座標系における第４のマッピング位置を計算するステップと、
前記補正画像内の前記画素の位置に対して計算される前記原画像により用いられる画像座標系における第４のマッピング位置に基づいて、前記補正画像内の画素の位置と前記原画像内の画素の位置との間の全単射写像関係を確立するステップを含む請求項３の方法。
前記補正画像の検出領域内の車輪特徴を検出し、補正画像内の車輪特徴を含むサブ画像の位置を取得するステップは、
サイドレーンの所定領域の位置を前記補正画像にマッピングし、前記補正画像の検出領域を取得するステップと、
前記補正画像の前記検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で前記検出ボックス内の車輪特徴を検出し、前記車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として設定するステップと、
前記補正画像内の車輪特徴を含むサブ画像の位置を取得するステップとを含む請求項１の方法。
前記車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するステップは、
前記車輪特徴を含む前記サブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するステップと、
前記グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するステップと、
所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算するステップと、
前記補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するステップとを含む請求項１の方法。
前記円検出結果に基づいて、側方の車両測位情報を取得するステップは、
複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を前記補正画像にマッピングして世界座標系に変換して、前記側方の車両測位情報を取得するステップを含む請求項１の方法。
側方の車両測位のための装置であって、
前記装置は、
原画像を補正画像に変換するように構成された変換ユニットと、
前記補正画像の検出領域内の車輪特徴を検出し、前記補正画像内のサブ画像の位置を取得するように構成された第１の検出ユニットと、
前記車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するように構成された第２の検出ユニットと、
前記円検出結果に基づいて側方の車両測位情報を取得するように構成された取得ユニットと
を含み、
前記原画像は、画像取得装置により撮影された画像であり、前記補正画像は、前記原画像に対応する仮想カメラの画角下の画像であり、
前記サブ画像は、前記車輪特徴を含み、
前記円検出結果は、前記補正画像内の円形特徴の中心の位置及び円形特徴の半径を含む装置。
複数フレームの前記原画像のそれぞれに基づいて前記側方の車両測位情報を取得し、前記側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得すように構成された追尾ユニットをさらに含む請求項８の装置。
前記変換ユニットは、
前記補正画像内の画素の位置と前記原画像内の画素の位置との間の全単射写像関係を確立するように構成された第１の確立サブユニットと、
マッピング関係に基づいて前記原画像を前記補正画像としてマッピングするように構成された第１のマッピングサブユニットとを含む請求項８の装置。
前記画像取得装置は、魚眼カメラであり、前記第１の確立サブユニットは、
前記補正画像のある画素の位置を仮定し、前記補正画像により使用される画像座標系と前記仮想カメラが位置する座標系との間のマッピング関係に基づいて、前記補正画像内の前記画素の位置に対する前記仮想カメラが位置する座標系における第１のマッピング位置を計算するように構成された第１の計算サブユニットと、
前記第１のマッピング位置と、前記仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、前記補正画像内の前記画素の位置に対する世界座標系における第２のマッピング位置を計算するように構成された第２の計算サブユニットと、
前記第２のマッピング位置と、世界座標系と前記魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、前記補正画像内の画素の位置に対する前記魚眼カメラが位置する座標系における第３のマッピング位置を計算するように構成された第３の計算サブユニットと、
前記第３のマッピング位置と、前記魚眼カメラの歪みパラメータとに基づいて、前記補正画像内の前記画素の位置に対する前記原画像により用いられる画像座標系における第４のマッピング位置を計算するように構成された第４の計算サブユニットと、
前記補正画像内の前記画素の位置に対して計算される前記原画像により用いられる画像座標系における第４のマッピング位置に基づいて、前記補正画像内の前記画素の位置と前記原画像内の画素の位置との間の全単射写像関係を確立するように構成される第２の確立サブユニットとを含む請求項１０の装置。
前記第１の検出ユニットは、
サイドレーンの所定領域の位置を前記補正画像にマッピングし、前記補正画像の検出領域を取得するように構成された第２のマッピングサブユニットと、
前記補正画像の前記検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で検出ボックス内の車輪特徴を検出し、前記車輪特徴を含む検出ボックス画像を、前記車輪特徴を含むサブ画像として設定するように構成された検出サブユニットと、
前記補正画像内の車輪特徴を含むサブ画像の位置を取得するように構成された取得サブユニットとを含む請求項８の装置。
前記第２の検出ユニットは、
前記車輪特徴を含む前記サブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するように構成された変換サブユニットと、
前記グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するように構成された第５の計算サブユニットと、
所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算する第６の計算サブユニットと、
前記補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するように構成された選択サブユニットとを含む請求項８の装置。
前記取得ユニットは、
複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を前記補正画像にマッピングして世界座標系に変換して、前記側方の車両測位情報を取得するように構成される請求項８の装置。
端末装置により実行されたときに、前記端末装置が、請求項１ないし請求項７のうちいずれか１項に係る側方の車両測位のための方法を実行するように構成された命令を記憶するコンピュータ可読記憶媒体。
端末装置により実行されたときに、コンピュータプログラムは、前記端末装置が、請求項１ないし請求項７のうちいずれか１項に係る側方の車両測位のための方法を実行するように構成されるコンピュータプログラム。