JP7422105B2 - 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム - Google Patents

Description

本開示は、コンピュータ応用技術に関し、特に、スマート交通、路車間協調及び自動運転の分野における路側計算装置に用いる障害物3次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラムに関する。

車と外部（V2X、Vehicle-to-Everything）の路側感知場面において、路側カメラを介して見通し外の道路交通情報を取得するために、通常に路側カメラを街灯柱や信号柱に設置し、設置位置が高いほど、取得する視野の范囲が大きくなり、情報量が多くなり、路車間協調スキームの役割を果たすことに有利である。

しかし、設置位置が高いため、風が吹いたり、大型車両が通過したりするとカメラブレが発生し、路側カメラの位置が変化すると、後続で障害物の3次元位置を判定する際に、カメラブレの誤差が生じ、結果が不正確になる恐れがある。

カメラブレを解決する方法としては、光学的なカメラブレ防止、機械的なカメラブレ防止、電子的なカメラブレ防止などがあるが、路側知覚のコストの制約から、余分なコストがかかる光学的なカメラブレ防止、機械的なカメラブレ防止はいずれも大規模には使用できず、電子的なカメラブレ防止は誤差が大きい。

本開示は、路側計算装置に用いる障害物3D位置の取得方法及び装置を提供する。

路側計算装置に用いる障害物3次元位置の取得方法であって、処理待ちピクチャにおける障害物の画素座標を取得し、前記画素座標に基づいて前記障害物の底面中心点座標を特定し、前記処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得し、前記ホモグラフィ変換関係に基づいて前記障害物の底面中心点座標を前記テンプレートピクチャ上の座標に変換し、変換された座標と前記テンプレートピクチャに対応する地面方程式とに基づいて、前記障害物の底面中心点の3D座標を特定することを含む。

路側計算装置に用いる障害物3D位置の取得装置であって、2次元座標取得モジュールと、座標変換モジュールと、3次元座標取得モジュールと、を備え、前記2次元座標取得モジュールは、処理待ちピクチャにおける障害物の画素座標を取得し、前記画素座標に基づいて前記障害物の底面中心点座標を特定し、前記座標変換モジュールは、前記処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得し、前記ホモグラフィ変換関係に基づいて前記障害物の底面中心点座標を前記テンプレートピクチャ上の座標に変換し、前記3次元座標取得モジュールは、変換された座標と前記テンプレートピクチャに対応する地面方程式とに基づいて、前記障害物の底面中心点の3D座標を特定する。

電子デバイスであって、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信接続されたメモリとを備え、前記メモリに、前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに前記の方法を実行させる。

非一時的なコンピュータ可読記憶媒体であって、前記コンピュータに前記の方法を実行させるためのコンピュータコマンドが記憶された。

前記出願の一態様は、以下の利点又は有益な効果を有する。即ち、取得された処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面とのホモグラフィ変換関係等により、処理待ちピクチャにおける障害物の3D座標を確定することができ、ピクチャの視点からカメラブレの問題を解決し、光学的なカメラブレ防止、機械的なカメラブレ防止、電子的なカメラブレ防止などの方法を採用する必要がないため、実現コストを節約するだけでなく、比較的に良い正確性などを有する。

理解すべきなのは、この部分で説明される内容は、本開示の実施形態の肝心又は重要な特徴を識別することを意図しておらず、本開示の範囲を制限することを意図していない。本開示の他の特徴は、以下の説明により容易に理解される。

図面は、本開示をより良く理解するためのものであり、本開示を限定しない。
本開示に記載の路側計算装置に用いる障害物3D位置の取得方法の一実施形態のフローチャートである。 本開示に記載の処理待ちピクチャ及びテンプレートピクチャにおける関心領域の模式図である。 本開示に記載の処理待ち関心領域に対応する第1のオフセットを取得するための方法の一実施形態のフローチャートである。 本開示に記載の方法と既存の方法とを用いてそれぞれ3Dに戻る効果の模式図である。 本開示に記載の路側計算装置に用いる障害物3D位置の取得装置50の一実施形態の構成図である。 本開示の実施形態に記載の方法による電子デバイスのブロック図である。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

また、理解すべきなのは、本願中の専門語である「及び/又は」は、関連対象を描画する関連関係に過ぎず、三つの関係がある可能性を示す。例えば、A及び/又はBは、Aだけが存在すること、AとBが同時に存在すること、Bだけが存在する、という三つの状況を示すことができる。また、本願中の文字である“/”は、一般的に、前後の関連対象が「又は」の関係を有すると示す。

従来技術では、路側カメラを用いて採集された障害物を含む2次元（2D）ピクチャについて、所定の方式により障害物の3D位置を特定し、すなわち、3D空間における障害物の実際の位置を特定することができ、この過程を3Dバックプロセスと呼ぶこともできる。前記路側カメラは、一般に単眼カメラである。

単眼カメラの3Dバックプロセス自体は制約不足の問題なので、他の入力情報がない場合に、2Dピクチャにおけるどの画素座標（ピクセル座標）も3Dに戻ると射線になり、すなわち3D空間におけるこの射線上の点の2Dピクチャにおける画素座標は、すべて同一である。従って、V2Xの具体的な応用場面を考慮した上で、地平面情報、即ちカメラ座標系における既知の地面方程式Ax+By+Cz+D=0を参照として導入し、前記射線と地面方程式との交点を計算すれば、ピクセルの3D座標を取得することができる。

それに応じて、3Dバックプロセスの具体的な実施フローは、2Dピクチャにおける障害物の画素座標を取得する→前記画素座標に基づいて障害物の底面中心点座標を特定する→地面方程式を用いて障害物の底面中心点座標から障害物の底面中心点の3D座標を特定することを含んで良い。

カメラブレは、カメラ座標系も、カメラ座標系における地面方程式も振れていることに相当するため、元の地面方程式をそのまま利用しては行けない。地面は平面なので、本開示では、画像レジストレーションアルゴリズムを利用して、振れ前と振れ後の2つの地面の間のホモグラフィ変換（Homography）関係を取得し、振れ後の障害物の底面中心点座標をホモグラフィ変換関係により振れ前の画素座標に変換し、さらに元の地面方程式を用いて3Dに戻すことができ、即ち振れの影響を除去し、カメラブレにおける障害物の3D位置を補正/最適化することに相当する。

それに応じて、図１は、本開示に記載の路側計算装置に用いる障害物3D位置の取得方法の一実施形態のフローチャートである。図１に示されたように、以下の具体的な実現形態を含む。

101では、処理待ちピクチャにおける障害物の画素座標を取得する。例えば、路側カメラから処理待ちピクチャを取得することができる。処理待ちピクチャは2Dピクチャであり、処理待ちピクチャに対して障害物検出等を行うことにより障害物の画素座標を得ることができる。処理待ちピクチャには、1つの障害物が含まれても良く、複数の障害物が含まれても良く、各障害物について本実施形態で説明したように処理されてもよい。

102では、取得した画素座標に基づいて障害物の底面中心点座標を特定する。障害物は直方体であり、底面中心点座標はこの直方体の底面の中心点の画素座標である。

例えば、1）画像認識アルゴリズムを用いて、ピクチャから認識された車両の種類に基づいて車両の縦横高さを推定し、認識された向き角及び幾何関係に基づいて車両の直方体の座標を推定し、さらに車両底面の中心点である車両の直方体底面の中心点座標を推定する。2）訓練されたディープラーニングニューラルネットワークモデルにピクチャを直接に入力して底面の中心点座標などを得る。

もちろん、以上の説明は例示に過ぎず、本願の技術案を限定するものではなく、処理待ちピクチャにおける障害物の画素座標をどのように取得するか、取得された画素座標に基づいて障害物の底面中心点座標をどのように特定するか等は、実際の必要に応じて決定すれば良い。

103では、処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得する。

すなわち、振れ前と振れ後の2つの地面間のホモグラフィ変換関係を取得する。

テンプレートピクチャと処理待ちピクチャは、車線などの要素を利用してカメラブレやカメラずれを発見することができる。

104では、ホモグラフィ変換関係に従って、障害物の底面中心点座標をテンプレートピクチャ上の座標に変換する。

得られたホモグラフィ変換関係に基づいて、障害物の底面中心点座標をテンプレートピクチャ上の座標に変換し、すなわち、振れ後の障害物の底面中心点座標を、ホモグラフィ変換関係により振れ前の画素座標に変換することができる。

105では、変換された座標とテンプレートピクチャに対応する地面方程式とに基づいて、障害物の底面中心点の3D座標を特定する。

変換された座標を取得した後、テンプレートピクチャに対応する地面方程式に基づいて障害物の底面中心点の3D座標を特定することができる。障害物の底面中心点の3D座標を取得すれば、障害物の3D位置を知ることができる。

以上からわかるように、前記の実施形態では、取得された処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面とのホモグラフィ変換関係等により、処理待ちピクチャにおける障害物の3D座標を特定することができ、ピクチャの視点からカメラブレの問題を解決し、光学的なカメラブレ防止、機械的なカメラブレ防止、電子的なカメラブレ防止などの方法を採用する必要がなくなるため、実現コストを節約するだけでなく、比較的に良い正確性などを有する。

本開示の方法の実行主体は、路側カメラに接続されて路側カメラによる撮影写真を取得する路側計算装置、クラウドコントロールプラットフォーム又はサーバなど、様々な路側装置であってよい。

以下、103において処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得する方法について具体的に説明する。

前記ホモグラフィ変換関係は、8自由度の3*3サイズのホモグラフィ行列で具現化することができ、即ち処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を記述するために、8自由度の3*3サイズのホモグラフィ行列を取得する。

前記のホモグラフィ行列を取得するために、少なくとも4つのマッチングペアが必要であり、そのマッチングペアは2D?2Dマッチングペアである。それに応じて、テンプレートピクチャにおいて選択された4つの関心領域（ROI，Region of Interest）、例えば車線標識を含む4つのエリアなどについて、処理待ちピクチャから対応する関心領域をそれぞれ取得でき、そして、処理待ちピクチャにおけるいずれかの関心領域について、その関心領域の画素中心点とテンプレートピクチャにおける対応する関心領域の画素中心点との対応関係を1つのマッチングペアとしてそれぞれ取得でき、さらに取得された4つのマッチングペアに基づいてホモグラフィ行列を特定することができる。

テンプレートピクチャのピクチャ領域全体を、左上ピクチャサブ領域、右上ピクチャサブ領域、左下ピクチャサブ領域及び右下ピクチャサブ領域を含む4つのピクチャサブ領域に分割することができる。選択された4つの関心領域はそれぞれ4つのピクチャサブ領域内に配置することができる。

4つのピクチャサブ領域は、テンプレートピクチャのピクチャ領域全体を均等に分割したものであってもよく、また、人工による選択などの方法で各ピクチャサブ領域からそれぞれ1つの関心領域を選択することができる。各関心領域の大きさは同じであり、例えば何れも101*101の大きさなどである。選択された関心領域は、一般的に、1）道路の地面にあり、車両や歩行者などの地面以外の要素が含まれていない、2）特徴が明確であり、例えば明確な車線特徴等が含まれている、3）局所的な特徴が唯一であり、例えば近くに非常に類似した場面等が存在しない、という特徴を持つ。

テンプレートピクチャの4つの関心領域について、処理されるピクチャから対応する関心領域をそれぞれ取得することができる。例えば、テンプレートピクチャにおいて左上のピクチャサブ領域に位置する関心領域を第1関心領域、右上のピクチャサブ領域に位置する関心領域を第2関心領域、左下のピクチャサブ領域に位置する関心領域を第3関心領域、右下のピクチャサブ領域に位置する関心領域を第4関心領域と呼ぶ。これにより、処理待ちピクチャにおける第1関心領域に対応する関心領域、第2関心領域に対応する関心領域、第3関心領域に対応する関心領域、第4関心領域に対応する関心領域をそれぞれ取得することができる。

図２は、本開示に記載の処理待ちピクチャ及びテンプレートピクチャにおける関心領域の模式図である。図２に示されたように、左側のピクチャは処理待ちピクチャであり、右側のピクチャはテンプレートピクチャであり、処理待ちピクチャとテンプレートピクチャはいずれもある箇所に位置するカメラが撮影した視野範囲内の道路交通画面であってよく、ピクチャにおける枠は関心領域を示し、テンプレートピクチャはカメラが初期の標準位置にあるときに撮影したものであってよい。

処理待ちピクチャにおける関心領域毎に、その関心領域の画素中心点とテンプレートピクチャにおける対応する関心領域の画素中心点との対応関係をマッチングペアとしてそれぞれ取得することができる。例えば、処理待ちピクチャにおけるいずれかの関心領域について、表現を容易にするためにこの関心領域を処理待ち関心領域と呼び、処理待ち関心領域に対応するホモグラフィ行列を算出するための第1のオフセットを取得し、第1のオフセットを用いて処理待ち関心領域の画素中心点座標を補正し、補正後の処理待ち関心領域の画素中心点座標とテンプレートピクチャにおける対応する関心領域の画素中心点座標との対応関係をマッチングペアとして記録する処理をそれぞれ実行することができる。ここで、如何に第1のオフセットを用いて処理待ち関心領域の画素中心点座標を補正するかは、従来技術である。

処理待ち関心領域に対応する第1のオフセットを取得する方法において、処理待ち関心領域が障害物に遮蔽されていないと判定された場合に、テンプレートピクチャにおける対応する関心領域に対する処理待ち関心領域の第2のオフセットを取得し、第2のオフセットが所定の要件を満たしている場合に、第2のオフセットを処理待ち関心領域に対応する第1のオフセットとすることができる。

第2のオフセットが所定の要件を満たすことは、第2のオフセットを使用して処理待ち関心領域を補正し、補正された処理待ち関心領域とテンプレートピクチャにおける対応する関心領域との類似性チェックを行い、類似性チェックが成功した場合に、第2のオフセットを履歴オフセットキューに追加し、履歴オフセットキューに基づいて第2のオフセットの正当性チェックを行い、類似性チェックが失敗した場合に、第2のオフセットを破棄し、第2のオフセットが所定の要件を満たしていないと判定し、正当性チェックも成功した場合に、第2のオフセットが所定の要件を満たしていると判定し、正当性チェックが失敗した場合に、第2のオフセットが所定の要件を満たしていないと判定することを含んで良い。

ここで、履歴オフセットキューに基づいて第2のオフセットに対して正当性チェックを行うことは、第2のオフセットと履歴オフセットキュー内の最頻値オフセットとの差を取得し、前記差が所定の閾値よりも小さい場合に正当性チェックが成功したと判定し、さもなければ、正当性チェックが失敗したと判定することができる。最頻値オフセットは、履歴オフセットキューの中で出現回数が最も多いオフセットである。

さらに、処理待ち関心領域が障害物により遮蔽されていると判定された場合に、履歴オフセットキューの中の最頻値オフセットを処理待ち関心領域に対応する第1のオフセットとして使用することができる。第2のオフセットが所定の要件を満たしていないと判定された場合に、履歴オフセットキューの中の最頻値オフセットを処理待ち関心領域に対応する第1のオフセットとして使用しても良い。

前記の方式では、類似性チェック及び正当性チェックにより、第2のオフセットが正しく取得されたオフセットであることを確保することができ、さらに、後に生成されるマッチングペアの正確度などを確保することができる。前記のように処理待ち関心領域が障害物に遮蔽されたり、第2のオフセットが所定の要件を満たしていなかったりするような第2のオフセットを正しく取得できなかった場合に、後続で最頻値オフセットに基づいてマッチングペアを生成することができる。ここで、最頻値オフセットは、履歴オフセットキューの中で出現回数が最も多いオフセットであり、最も代表的なオフセットであり、正確である可能性が最も高いオフセットであるため、生成されたマッチングペアの正確度などを可能な限り確保することができる。

前記の説明に基づいて、図３は、本開示に記載された、処理される関心領域に対応する第1のオフセットを取得する方法の一実施形態のフローチャートである。図３に示されたように、以下の具体的な実施形態を含む。

301では、処理待ち関心領域が障害物により遮蔽されているか否かを判定し、肯定の場合に302を実行し、否定の場合に303を実行する。

障害物により遮蔽されることは、全体が障害物により遮蔽されることでも、一部が障害物により遮蔽されることなどでもよい。

302では、履歴オフセットキューの中の最頻値オフセットを処理待ち関心領域に対応する第1のオフセットとして、フローを終了する。

最頻値オフセットとは、履歴オフセットキューの中で出現回数が最も多いオフセットである。初期に作成された履歴オフセットキューは空であってもよく、その後にオフセットがつぎつぎに追加するにつれて、多くのオフセットが蓄積され、出現回数が最も多いオフセットが最頻値オフセットとなる。

303では、テンプレートピクチャにおける対応する関心領域に対する処理待ち関心領域の第2のオフセットを取得する。

すなわち、テンプレートピクチャにおける対応する関心領域に対する処理待ち関心領域のオフセットの度合い情報を取得する。如何に取得するかは従来技術である。

説明を容易にするために、テンプレートピクチャにおける対応する関心領域に対する処理待ち関心領域のオフセットを第2のオフセットと呼ぶ。

304では、第2のオフセットを用いて処理待ち関心領域を補正し、補正された処理待ち関心領域とテンプレートピクチャにおける対応する関心領域との類似性チェックを行う。

例えば、補正後の処理待ち関心領域とテンプレートピクチャにおける対応する関心領域とのピークS/N比及び/又は構造類似性などを比較し、ピークS/N比が近いか、構造類似性が近いか、又は両者が何れも近い場合に、類似性チェックが成功したと見なし、さもなければ、類似性チェックが失敗したと見なすことができる。近いとは、差分値が所定の閾値より小さいなどを意味することができる。

305では、類似性チェックが成功したか否かを判定し、肯定の場合に306を実行し、否定の場合に302を実行する。

類似性チェックが失敗した場合、第2のオフセットを破棄し、302を実行することができる。

306では、第2のオフセットを履歴オフセットキューに追加し、履歴オフセットキューに従って第2のオフセットに対して正当性チェックを行う。

例えば、第2のオフセットと履歴オフセットキューの中の最頻値オフセットとの間の差を取得し、その差が所定の閾値より小さい場合に、正当性チェックが成功したと判定し、さもなければ、正当性チェックが失敗したと判定することができる。

前記閾値の具体的な値は、例えば10画素のように実際の必要に応じて決定することができる。

307では、正当性チェックが成功したか否かを判定し、肯定の場合に308を実行し、否定の場合に302を実行する。

308では、第2のオフセットを処理待ち関心領域に対応する第1のオフセットとして、フローを終了する。

前記のように、処理される関心領域に対応する第1のオフセットを取得した後、第1のオフセットで処理待ち関心領域の画素中心点座標を補正し、補正後の処理待ち関心領域の画素中心点座標とテンプレートピクチャにおける対応する関心領域の画素中心点座標との対応関係をマッチングペアとして記録して良い。

前記の方式によれば、4つのマッチングペアを取得することができ、さらに従来の方式に従って、取得された4つのマッチングペアに基づいてホモグラフィ行列を特定し、即ち処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を特定することができる。

さらに、104、105で説明されたように、ホモグラフィ変換関係に従って障害物の底面中心点座標をテンプレートピクチャ上の座標に変換し、変換された座標とテンプレートピクチャに対応する地面方程式とに基づいて障害物の底面中心点の3D座標等を特定することもできる。

前記の方式では、ピクチャの視点からカメラブレの問題を解決し、光学的なカメラブレ防止、機械的なカメラブレ防止、電子的なカメラブレ防止などの方法を採用する必要がなく、実現コストを節約するだけでなく、良い正確度も有する。また、実現方式が簡単で便利であり、汎用性などがある。

図４は、本願に記載の方式と従来方式をそれぞれ採用して3Dに戻す効果の模式図である。図４に示されたように、右上のピクチャは、本願の方式に従って3Dに戻る効果の模式図であり、下のピクチャは、従来方式に従って3Dに戻る効果の模式図である。図中の行列は、ホモグラフィ行列を示す。

説明すべきなのは、前記の各方法実施例について、説明を簡単にするために、一連の動作の組合せとして記述された。しかし、当業者であればわかるように、本願により幾つかのステップが他の順番を採用し、或いは同時に実行可能であるため、本願は説明された動作の順番に限定されない。次に、当業者であればわかるように、明細書に説明された実施例は何れも好適な実施例であり、関わる動作とモジュールが必ずしも本願に必要なものではない。また、ある実施形態に詳しく説明されていない部分は、他の実施形態における関連説明を参照することができる。

以上は、方法の実施形態に関する説明である。以下で装置の実施形態により本開示に記載された方案をさらに説明する。

図５は、本開示に記載の路側計算装置に用いる障害物3D位置の取得装置50の一実施形態の構成図である。図５に示されたように、2次元座標取得モジュール501、座標変換モジュール502、及び3次元座標取得モジュール503を含む。

2次元座標取得モジュール501は、処理待ちピクチャにおける障害物の画素座標を取得し、前記画素座標に基づいて障害物の底面中心点座標を特定する。

座標変換モジュール502は、処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面とのホモグラフィ変換関係を取得し、前記ホモグラフィ変換関係に従って、障害物の底面中心点座標をテンプレートピクチャ上の座標に変換する。

3次元座標取得モジュール503は、変換された座標とテンプレートピクチャに対応する地面方程式とに基づいて、障害物の底面中心点の3D座標を特定する。

好ましくは、座標変換モジュール502は、8自由度の3*3サイズのホモグラフィ行列を取得することができる。

座標変換モジュール502は、テンプレートピクチャにおいて選択された4つの関心領域について、処理待ちピクチャから対応する関心領域をそれぞれ取得し、処理待ちピクチャの中のいずれかの関心領域について、その関心領域の画素中心点とテンプレートピクチャにおける対応する関心領域の画素中心点との対応関係を1つのマッチングペアとしてそれぞれ取得し、取得された4つのマッチングペアに基づいてホモグラフィ行列を特定することができる。

テンプレートピクチャのピクチャ領域全体は、左上のピクチャサブ領域、右上のピクチャサブ領域、左下のピクチャサブ領域及び右下のピクチャサブ領域を含む4つのピクチャサブ領域に分割することができる。選択された4つの関心領域は、それぞれ4つのピクチャサブ領域内に位置することができる。

座標変換モジュール502は、処理待ちピクチャの中のいずれかの関心領域について、その関心領域を処理待ち関心領域とし、処理待ち関心領域に対応するホモグラフィ行列を算出するための第1のオフセットを取得し、第1のオフセットを用いて処理待ち関心領域の画素中心点座標を補正し、補正された処理待ち関心領域の画素中心点座標とテンプレートピクチャにおける対応する関心領域の画素中心点座標との対応関係をマッチングペアとして記録する処理をそれぞれ実行することができる。

ここで、座標変換モジュール502は、処理待ち関心領域が障害物に遮蔽されていないと判定した場合に、テンプレートピクチャにおける対応する関心領域に対する処理待ち関心領域の第2のオフセットを取得し、第2のオフセットが所定の要件を満たしている場合に、第2のオフセットを処理待ち関心領域に対応する第1のオフセットとすることができる。

例えば、座標変換モジュール502は、第2のオフセットを用いて処理待ち関心領域を補正し、補正後の処理待ち関心領域とテンプレートピクチャにおける対応する関心領域との類似性チェックを行い、類似性チェックが成功した場合に、第2のオフセットを履歴オフセットキューに追加し、履歴オフセットキューに基づいて第2のオフセットに対して正当性チェックを行い、類似性チェックが失敗した場合に、第2のオフセットを破棄し、第2のオフセットが所定の要件を満たしていないと判定し、正当性チェックが成功した場合に、第2のオフセットが所定の要件を満たしていると判定し、正当性チェックが失敗した場合に、第2のオフセットが所定の要件を満たしていないと判定することができる。

正当性チェックを実行する際に、座標変換モジュール502は、第2のオフセットと履歴オフセットキューにおける最頻値オフセットとの間の差分を取得し、前記差分が所定の閾値より小さい場合に、正当性チェックが成功したと判定し、さもなければ、正当性チェックが失敗したと判定することができる。ここで、最頻値オフセットは、履歴オフセットキューの中で出現回数が最も多いオフセットである。

また、座標変換モジュール502は、処理待ち関心領域が障害物により遮蔽されていると判定した場合に、履歴オフセットキューにおける最頻値オフセットを処理される関心領域に対応する第1のオフセットとしてよい。最頻値オフセットは、履歴オフセットキューの中で出現回数が最も多いオフセットである。第2のオフセットが所定の要件を満たしていないと判定された場合であっても、履歴オフセットキューにおける最頻値オフセットを処理待ち関心領域に対応する第1のオフセットとすることができる。

図５に示す装置の実施形態の具体的な作動手順は、前記の方法の実施形態における関連説明を参照でき、ここでは詳しく説明しない。

要約すると、本開示に記載された装置の実施形態によれば、取得された処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係等により、処理待ちピクチャにおける障害物の3D座標を特定することにより、ピクチャの視点からカメラブレの問題を解決し、光学的なカメラブレ防止、機械的なカメラブレ防止、電子的なカメラブレ防止等の方法を採用する必要がないため、実現コストを節約するだけでなく、良い正確度等も有する。

本開示の実施形態によれば、さらに電子デバイス及び可読記憶媒体を提供する。

図６は、本開示の実施形態に記載の方法による電子デバイスのブロック図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、PDA、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、PDA、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本開示の実現を限定することが意図されない。

図６に示すように、この電子デバイスは、一つ又は複数のプロセッサY01、メモリY02、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力/出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図６において、一つのプロセッサY01を例とする。

メモリY02は、本開示で提供される非一時的コンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本願に提供された方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本開示の非一時的コンピュータ可読記憶媒体は、本願に提供された方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

メモリY02は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本開示の実施例における方法に対応するプログラムコマンド/ユニットを記憶するために用いられる。プロセッサY01は、メモリY02に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例における方法を実現する。

メモリY02は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリY02は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリY02は、プロセッサY01に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

電子デバイスは、さらに、入力装置Y03と出力装置Y04とを備えても良い。プロセッサY01、メモリY02、入力装置Y03及び出力装置Y04は、バス又は他の手段により接続されても良く、図６においてバスによる接続を例とする。

入力装置Y03は、入力された数字又はキャラクタ情報を受信し、電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置Y04は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。上記表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、上記記憶システム、上記少なくとも一つの入力装置、及び上記少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス）を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、上記グラフィカルユーザインターフェースもしくは上記ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント-サーバの関係を有するコンピュータプログラムによって生じる。サーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれるクラウドサーバであって良く、クラウドコンピューティングサービスシステムのホスト製品であり、従来の物理ホストとVPSサービスにおいて管理が難しく、ビジネスの拡張性が低いという欠点を解決した。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

上記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。

Claims (18)

1. 路側計算装置に用いる障害物の3次元3D位置の取得方法であって、
   処理待ちピクチャにおける障害物の画素座標を取得することと、
   前記画素座標に基づいて前記障害物の底面中心点座標を特定することと、
   前記処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得することと、
   前記ホモグラフィ変換関係に基づいて前記障害物の底面中心点座標を前記テンプレートピクチャ上の座標に変換することと、
   変換された座標と前記テンプレートピクチャに対応する地面方程式とに基づいて、前記障害物の底面中心点の3D座標を特定することと、
   を含み、
   前記処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得することは、8自由度の3*3サイズのホモグラフィ行列を取得することを含み、
   前記8自由度の3*3サイズのホモグラフィ行列を取得することは、
   前記テンプレートピクチャにおいて選択された4つの関心領域について、前記処理待ちピクチャから対応する関心領域をそれぞれ取得することであって、前記処理待ちピクチャの前記対応する関心領域は、前記障害物に遮蔽されていない、ことと、
   前記処理待ちピクチャにおけるいずれかの関心領域について、前記関心領域の画素中心点とテンプレートピクチャにおける対応する関心領域の画素中心点との対応関係をマッチングペアとしてそれぞれ取得することと、
   取得された4つのマッチングペアに基づいて、前記ホモグラフィ行列を特定することと、を含む、
   方法。
2. 前記テンプレートピクチャのピクチャ領域全体は、左上のピクチャサブ領域、右上のピクチャサブ領域、左下のピクチャサブ領域及び右下のピクチャサブ領域を含む4つのピクチャサブ領域に分割され、
   前記選択された4つの関心領域は、それぞれ前記4つのピクチャサブ領域内に位置する、
   請求項１に記載の方法。
3. 前記処理待ちピクチャにおけるいずれかの関心領域について、前記関心領域の画素中心点と前記テンプレートピクチャにおける対応する関心領域の画素中心点との対応関係をマッチングペアとしてそれぞれ取得することは、
   前記処理待ちピクチャにおけるいずれかの関心領域について、
   前記関心領域を処理待ち関心領域とすることと、
   前記処理待ち関心領域に対応する、ホモグラフィ行列を算出するための第1のオフセットを取得し、前記第1のオフセットを用いて前記処理待ち関心領域の画素中心点座標を補正することと、
   補正された処理待ち関心領域の画素中心点座標とテンプレートピクチャにおける対応する関心領域の画素中心点座標との対応関係をマッチングペアとして記録することと、を含む、
   請求項１に記載の方法。
4. 前記処理待ち関心領域に対応する、ホモグラフィ行列を計算するための第1のオフセットを取得することは、
   前記処理待ち関心領域が障害物により遮蔽されていないと判定された場合、前記テンプレートピクチャにおける対応する関心領域に対する前記処理待ち関心領域の第2のオフセットを取得し、前記第2のオフセットが所定の条件を満たす場合、前記第2のオフセットを前記処理待ち関心領域に対応する前記第1のオフセットとすることを含む、
   請求項３に記載の方法。
5. 前記第2のオフセットが所定の要件を満たすことは、
   前記第2のオフセットを用いて前記処理待ち関心領域を補正することと、
   補正後の処理待ち関心領域と前記テンプレートピクチャにおける対応する関心領域との類似性チェックを行うことと、
   前記類似性チェックが成功した場合、前記第2のオフセットを履歴オフセットキューに追加し、前記履歴オフセットキューに従って前記第2のオフセットに対して正当性チェックを行い、さもなければ、前記第2のオフセットを破棄し、前記第2のオフセットが所定の要件を満たしていないと判定することと、
   前記正当性チェックが成功した場合に、前記第2のオフセットが所定の要件を満たしていると判定し、さもなければ、前記第2のオフセットが所定の要件を満たしていないと判定することと、を含む、
   請求項４に記載の方法。
6. 前記履歴オフセットキューに従って前記第2のオフセットに対して正当性チェックを行うことは、
   前記第2のオフセットと履歴オフセットキューにおける最頻値オフセットとの間の差分を取得し、前記差分が所定の閾値より小さい場合に、前記正当性チェックが成功したと判定し、さもなければ、前記正当性チェックが失敗したと判定することを含み、
   前記最頻値オフセットは、前記履歴オフセットキューの中で出現回数が最も多いオフセットである、請求項５に記載の方法。
7. 前記処理待ち関心領域が障害物により遮蔽されていると判定された場合に、前記履歴オフセットキューにおける最頻値オフセットを前記処理待ち関心領域に対応する前記第1のオフセットとすることと、
   前記第2のオフセットが所定の要件を満たしていないと判定された場合に、前記履歴オフセットキューにおける最頻値オフセットを前記処理待ち関心領域に対応する前記第1のオフセットとすることと、をさらに含み、
   前記最頻値オフセットは、前記履歴オフセットキューの中で出現回数が最も多いオフセットである、
   請求項５に記載の方法。
8. 路側計算装置に用いる障害物の3次元3D位置の取得方法であって、
   路側カメラから処理待ちピクチャを取得することと、
   前記処理待ちピクチャにおける障害物の画素座標を取得することと、
   前記画素座標に基づいて前記障害物の底面中心点座標を特定することと、
   前記処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得することと、
   前記ホモグラフィ変換関係に従って、前記障害物の底面中心点座標を前記テンプレートピクチャ上の座標に変換することと、
   変換された座標と前記テンプレートピクチャに対応する地面方程式とに基づいて、前記障害物の底面中心点の3D座標を特定することと、を含み、
   前記処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得することは、8自由度の3*3サイズのホモグラフィ行列を取得することを含み、
   前記8自由度の3*3サイズのホモグラフィ行列を取得することは、
   前記テンプレートピクチャにおいて選択された4つの関心領域について、前記処理待ちピクチャから対応する関心領域をそれぞれ取得することであって、前記処理待ちピクチャの前記対応する関心領域は、前記障害物に遮蔽されていない、ことと、
   前記処理待ちピクチャにおけるいずれかの関心領域について、前記関心領域の画素中心点とテンプレートピクチャにおける対応する関心領域の画素中心点との対応関係をマッチングペアとしてそれぞれ取得することと、
   取得された4つのマッチングペアに基づいて、前記ホモグラフィ行列を特定することと、を含む、
   方法。
9. 路側計算装置に用いる障害物の3次元3D位置の取得装置であって、2次元座標取得モジュールと、座標変換モジュールと、3次元座標取得モジュールと、を備え、
   前記2次元座標取得モジュールは、処理待ちピクチャにおける障害物の画素座標を取得し、前記画素座標に基づいて前記障害物の底面中心点座標を特定し、
   前記座標変換モジュールは、前記処理待ちピクチャに対応する地面とテンプレートピクチャに対応する地面との間のホモグラフィ変換関係を取得し、前記ホモグラフィ変換関係に基づいて前記障害物の底面中心点座標を前記テンプレートピクチャ上の座標に変換し、
   前記3次元座標取得モジュールは、変換された座標と前記テンプレートピクチャに対応する地面方程式とに基づいて、前記障害物の底面中心点の3D座標を特定し、
   前記座標変換モジュールは、8自由度の3*3サイズのホモグラフィ行列を取得し、
   前記座標変換モジュールは、前記テンプレートピクチャにおいて選択された4つの関心領域について、前記処理待ちピクチャから対応する関心領域をそれぞれ取得し、前記処理待ちピクチャの前記対応する関心領域は、前記障害物に遮蔽されておらず、前記処理待ちピクチャにおけるいずれかの関心領域について、前記関心領域の画素中心点とテンプレートピクチャにおける対応する関心領域の画素中心点との対応関係をマッチングペアとしてそれぞれ取得し、取得された4つのマッチングペアに基づいて、前記ホモグラフィ行列を特定する、
   装置。
10. 前記テンプレートピクチャのピクチャ領域全体は、左上のピクチャサブ領域、右上のピクチャサブ領域、左下のピクチャサブ領域及び右下のピクチャサブ領域を含む4つのピクチャサブ領域に分割され、前記選択された4つの関心領域はそれぞれ前記4つのピクチャサブ領域内に位置する、請求項９に記載の装置。
11. 前記座標変換モジュールは、前記処理待ちピクチャにおけるいずれかの関心領域について、それぞれ、前記関心領域を処理待ち関心領域とし、前記処理待ち関心領域に対応する、ホモグラフィ行列を算出するための第1のオフセットを取得し、前記第1のオフセットを用いて前記処理待ち関心領域の画素中心点座標を補正し、補正された処理待ち関心領域の画素中心点座標とテンプレートピクチャにおける対応する関心領域の画素中心点座標との対応関係をマッチングペアとして記録する、請求項９に記載の装置。
12. 前記座標変換モジュールは、前記処理待ち関心領域が障害物により遮蔽されていないと判定した場合、前記テンプレートピクチャにおける対応する関心領域に対する前記処理待ち関心領域の第2のオフセットを取得し、前記第2のオフセットが所定の条件を満たす場合、前記第2のオフセットを前記処理待ち関心領域に対応する前記第1のオフセットとする、請求項１１に記載の装置。
13. 前記座標変換モジュールは、前記第2のオフセットを用いて前記処理待ち関心領域を補正し、補正後の処理待ち関心領域と前記テンプレートピクチャにおける対応する関心領域との類似性チェックを行い、前記類似性チェックが成功した場合、前記第2のオフセットを履歴オフセットキューに追加し、前記履歴オフセットキューに従って前記第2のオフセットに対して正当性チェックを行い、前記類似性チェックが失敗した場合、前記第2のオフセットを破棄し、前記第2のオフセットが所定の要件を満たしていないと判定し、前記正当性チェックが成功した場合、前記第2のオフセットが所定の要件を満たしていると判定し、前記正当性チェックが失敗した場合、前記第2のオフセットが所定の要件を満たしていないと判定する、請求項１２に記載の装置。
14. 前記座標変換モジュールは、前記第2のオフセットと前記履歴オフセットキューにおける最頻値オフセットとの間の差分を取得し、前記差分が所定の閾値より小さい場合、前記正当性チェックが成功したと判定し、さもなければ、前記正当性チェックが失敗したと判定し、
    前記最頻値オフセットは、前記履歴オフセットキューの中で出現回数が最も多いオフセットである、請求項１３に記載の装置。
15. 前記座標変換モジュールは、さらに、前記処理待ち関心領域が障害物により遮蔽されていると判定した場合、前記履歴オフセットキューにおける最頻値オフセットを前記処理待ち関心領域に対応する前記第1のオフセットとし、前記第2のオフセットが所定の要件を満たしていないと判定した場合、前記履歴オフセットキューにおける最頻値オフセットを前記処理待ち関心領域に対応する前記第1のオフセットとし、
    前記最頻値オフセットは、前記履歴オフセットキューの中で出現回数が最も多いオフセットである、請求項１３に記載の装置。
16. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサと通信接続されたメモリと、を備え、
    前記メモリに前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに請求項１～８の何れか一項に記載の方法を実行させる、
    電子デバイス。
17. コンピュータに請求項１～８の何れか一項に記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体。
18. コンピュータに請求項１～８の何れか一項に記載の方法を実行させるためのコンピュータプログラム。