JP7223072B2

JP7223072B2 - 路側感知方法、路側感知装置、電子デバイス、記憶媒体、路側設備、及びプログラム

Info

Publication number: JP7223072B2
Application number: JP2021116092A
Authority: JP
Inventors: リービンユエン
Original assignee: Apollo Intelligent Connectivity Beijing Technology Co Ltd
Current assignee: Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date: 2020-12-03
Filing date: 2021-07-14
Publication date: 2023-02-15
Anticipated expiration: 2041-07-14
Also published as: CN112565730A; EP4071703A1; JP2021180017A; US20220044560A1; CN112565730B; KR20210144623A

Description

本開示は、インテリジェント交通の分野に関わり、特に車路協調の分野に関する。

新しいインフラ建設の背景の下で、車両用無線通信技術（Ｖ２Ｘ、ｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ）路側感知システムは車路協調における車両に対して見通しを超えた感知情報を提供している。カメラは路側感知システムの最も主要なセンサの１つとして、障害物を３次元（３Ｄ）感知する。従来の路側感知方法では、複数のカメラを使用して全域をカバーしていたが、魚眼カメラなどの広角カメラを追加してハードウェアの数を減らすこともあった。この方式には以下の欠点がある。１つ目は、比較的に多くのカメラを使用しなければならず、カメラの外部参照校正のコストが高く、後続のカメラのメンテナンスコストも比較的に高く、感知システムのロバスト性が低下することである。２つ目は、複数のカメラを使用しているにもかかわらず、見落とした小さな死角が存在し、解決が困難であることである。

路側感知方法、路側感知装置、電子デバイス、コンピュータ可読記憶媒体、及び路側設備を提供する。

本開示の１つ態様は、路側感知方法を提供し、該方法は、
広角カメラによって撮像された広角画像を取得することと、
広角画像に対してディストーション低減処理を施し、広角カメラ直下の画像を得ることと、
広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換して、それぞれが１つの画角に対応する少なくとも１つの平面投影画像を得ることと、を含む。

本開示のもう１つの態様は、路側感知装置を提供し、該装置は、
広角カメラによって撮像された広角画像を取得するための取得モジュールと、
広角画像に対してディストーション低減処理を施し、広角カメラ直下の画像を得るためのディストーション低減モジュールと、
広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換して、それぞれが１つの画角に対応する少なくとも１つの平面投影画像を得るための投影モジュールと、を備える。

本開示のもう１つの態様は、電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
命令が少なくとも１つのプロセッサにより実行される場合、上記の本開示の上述の方法を実行させることを特徴とする。

本開示のもう１つの態様は、コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体を提供し、該コンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体は、上記の本開示の上述の方法をコンピュータに実行させる。

本開示のもう１つの態様は、上述の電子デバイスを含む路側設備を提供する。

本開示によれば、広角画像を取得し、広角画像に対してディストーション低減処理を行い、異なる画角に投影して、広角カメラ直下の画像及び画角の異なる平面投影画像を得ることで、最小数のカメラ構成で死角のない感知を実現し、感知システムのメンテナンスコストの削減とロバスト性の向上を図ることができる。

本実施形態に記載されている内容は、本開示の実施形態のキーまたは重要な特徴を識別することを意図せず、本開示の範囲を制限するものでもないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して説明を促す。

本開示の１つの実施形態による路側感知方法を実現するフローチャートである。魚眼画像の模式図である。魚眼画像にディストーション低減処理を施した画像である。本開示の１つの実施形態による路側感知方法におけるステップＳ１０３を実現するフローチャートである。魚眼カメラの球面モデルの模式図である。魚眼画像の座標系の模式図である。本開示の１つの実施形態による路側感知方法において、平面投影画像の画素座標と広角画像の画素座標との対応関係を決定する方法の模式図である。本開示の１つの実施形態による路側感知方法において、平面投影画像の画素座標と広角画像の画素座標との対応関係に基づいて、広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換する模式図である。魚眼画像を画角１に投影変換して得られたガン型平面投影図である。魚眼画像を画角２に投影変換して得られたガン型平面投影図である。魚眼画像を画角３に投影変換して得られたガン型平面投影図である。魚眼画像を画角４に投影変換して得られたガン型平面投影図である。魚眼画像を画角５に投影変換して得られたガン型平面投影図である。魚眼画像を画角６に投影変換して得られたガン型平面投影図である。本開示の１つの実施形態による路側感知装置９００の模式図である。本開示の他の実施形態による路側感知装置１０００の模式図である。本開示の実施形態における路側感知方法を実現するための電子デバイスのブロック図である。

以下の説明において、本開示の例示的な実施形態を、理解を容易にするために本開示の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施形態に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

路車間協調システムでは、路側に複数のカメラを設置することで全域をカバーする。如何に少ないハードウェア設備を用いて交差点の死角のない、全域をカバーする感知を完成し、コストを下げ、システムの安定性を高める目的を実現するかは、現在車路協調における路側視覚感知研究の重点である。

このような問題に対して、本提案では、交差点に魚眼レンズなどの広角レンズを設置することにより、路車間協調における交差点の死角のない感知を実現している。

魚眼レンズは、焦点距離が６～１６ｍｍ、画角が１８０度以上の極端な広角レンズである。レンズを最大撮像角度にするために、前レンズが放物線状で前方に突出しており、魚の目によく似ていることから魚眼レンズと呼ばれている。魚眼レンズは超広角レンズの中の特殊なレンズで、その画角は人間の目が見える範囲以上になるように設計されている。魚眼レンズと人間の目に映った実世界の鏡像との間には大きな違いがあるが、実際に見られる風景は規則的で固定された形態であり、魚眼レンズによる画像効果はその範疇を超えているからである。

本開示の実施形態では、カメラ、レンズ、ビデオカメラ、カメラ等は、カバーする範囲内の画像を取得することができる装置を指し、同様の意味を有し、かつ交換可能であり、本開示においてこれを制限しないことが理解されるべきである。

本開示の実施形態は、路車間協調システムにおける交差点の死角ない感知に適用可能な路側感知方法を提供することを目的とする。本開示の実施形態は、交差点の死角のない、全域をカバーすることを達成するために最小限の数の魚眼カメラのみを使用し、従来の交差点に対しては、交差点全体の全域的感知を達成するために４つの魚眼カメラ（１方向に１つ）のみが必要である。各魚眼カメラは２つの段階を経て全域の２次元画像を得ることができる。第１段階は、ＯｃａｍモデルまたはＯｐｅｎＣＶモデルを用いて魚眼画像のディストーションを取り除き、魚眼カメラ直下の画像を得る。第２段階では、円形の魚眼カメラ原図を球面投影モデルにより特定画角の平面透視画像に変換する。以下、図面を参照しながら、具体的な実施形態を挙げて詳細に説明する。

図１は、本開示の１つの実施形態による路側感知方法を実現するフローチャートであり、少なくとも次のステップを含む。

ステップＳ１０１において、広角カメラによって撮像された広角画像を取得する。

ステップＳ１０２において、広角画像に対してディストーション低減処理を行い、広角カメラ直下の画像を得る。

ステップＳ１０３において、広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換し、それぞれが１つの画角に対応する少なくとも１つの平面投影画像を得る。

本開示の実施形態では、上記広角カメラは魚眼カメラを含むことができ、上記広角画像は魚眼画像を含むことができる。

図２Ａは魚眼画像の模式図である。図２Ａから分かるように、魚眼画像は、外縁位置に近いほど歪みが激しく、中心位置に近いほど実世界の画像に近い円形の画像となる。

上述したステップＳ１０２では、ＯｃａｍモジュールまたはＯｐｅｎＣＶモデルを用いて魚眼画像に対してディストーション低減を行うことができ、例えば図２Ｂは魚眼画像にディストーション低減処理を施した後の画像の模式図である。

本開示の実施形態は、交差点位置に魚眼カメラを設置することができ、魚眼カメラによって撮像された魚眼画像にディストーション低減処理を施すことにより、魚眼カメラ直下の画像を得ることができる。

図３は、本開示の一実施形態による路側感知方法におけるステップＳ１０３を実現するフローチャートであり、小なくとも以下のステップを含む。

ステップＳ３０１において、平面投影画像の画素座標と広角画像の画素座標との対応関係を決定する。

ステップＳ３０２において、該対応関係に基づいて、広角画像を球面投影モデルにより少なくとも１つの画角に投影変換する。

上述したステップＳ１０３の具体的な実現形態を明確に説明するために、魚眼カメラの球面モデルを参照して以下に詳細に説明する。

図４は、魚眼カメラの球面モデルの模式図である。図４に示すように、魚眼カメラ球面モデルはＸＹＺ３次元空間座標系を用いており、平面投影画像（ガン型平面投影面とも呼ばれる）はｕｖ２次元座標系を用いている。図４に１/８の球面を示し、魚眼カメラの球面投影面の１/４である。完全な魚眼カメラの球面投影面は、ＸＯＹ平面に接する半球状である。

魚眼画像は、魚眼カメラの球面投影面をＸＯＹ平面に投影して得られる円形の画像である。図５は魚眼画像の座標系の模式図であり、図５中の円は魚眼画像を表し、Ｏ点はこの魚眼画像の中心点を表しており、この中心点は魚眼カメラの球面モデルの投影中心であり、ＸＹＺ３次元座標系の原点である。魚眼画像はｕ’ｖ’２次元座標系を採用し、この座標系の原点Ｏ’は魚眼画像の外延領域の左上隅の点であり、図２Ａを参照すると、図２Ａに示す円形の魚眼画像の外側の黒色領域がこの外延領域であり、この黒色領域の左上隅の点が魚眼画像が採用する座標系の原点Ｏ’である。

図４及び図５の画像及び座標系について説明した後、以下では、図４及び図５を基に、円形の魚眼画像のような広角画像を球面投影モデルにより特定の画角に投影変換することで、円形の魚眼画像をある角度の平面投影画像（例えば、ガンタイプ画像）に変換する、本開示の実施形態の具体的な例について説明する。

図４に示すように、点Ｏは魚眼カメラの球面モデルの投影中心、点Ｄはガン型平面投影面の幾何中心であり、ガン型平面投影面と魚眼カメラの球面投影面は点Ｄに正接し、θ₁は^→ＯＤとＺ軸方向のなす角、θ₂はＸ軸方向から、^→ＯＤのＸＯＹ平面上での投影へ反時計回りに回転すべき角度を表す。魚眼画像の半径と球面投影面の半径を共にｒとすると、
^→ＯＤ＝（ｒ・ｓｉｎθ₁・ｃｏｓθ₂，ｒ・ｓｉｎθ₁・ｓｉｎθ₂，ｒ・ｃｏｓθ₁）
と表される。

Ｐをガン型平面投影面上の任意の点、ＰのＸＯＹ平面上への投影点をＱとする。αはＺ軸から^→ＯＰへの角度、βはＸ軸から^→ＯＱへ反時計回りの角度である。校正画像平面座標系における点Ｐと点Ｄの座標は、それぞれ（ｕ_P、ｖ_P）と（ｕ_D、ｖ_D））である。空間座標系におけるＰ点の座標を容易に求めるために、ここでは^→ＤＰを^→ＤＰ_uと^→ＤＰ_vに分解し、この２つのベクトルはそれぞれｕ軸とｖ軸に平行である。幾何学的な関係に基づいて、
^→ＤＰ_u＝（ｕ_P－ｕ_D）・（ｃｏｓθ₁・ｃｏｓθ₂，ｃｏｓθ₁・ｓｉｎθ₂，－ｓｉｎθ₁）
^→ＤＰ_v＝（ｖ_D－ｖ_P）・（－ｓｉｎθ₂，ｃｏｓθ₂，０）
^→ＤＰ＝^→ＤＰ_u＋^→ＤＰ_v
^→ＯＰ＝^→ＯＤ＋^→ＤＰ
が得られる。

直線ＯＰと球面投影面とは１点で交わり、この交点のＸＯＹ平面での投影は点Ｍである。ＸＹＺ３軸の単位ベクトルを^→Ｘ１、^→Ｙ１、^→Ｚ１とすると、
ｃｏｓα＝^→ＯＰ・^→Ｚ１／｜^→ＯＰ｜
｜^→ＯＱ｜＝｜^→ＯＰ｜・ｓｉｎα
ｓｉｎβ＝^→ＯＰ・^→Ｙ１／｜^→ＯＱ｜
ｃｏｓβ＝^→ＯＰ・^→Ｘ１／｜^→ＯＱ｜
と表される。

本実施形態では、魚眼円形画像の半径はｒ＝５９３画素であり、このときθ＝ＰＩ/２であり、等距離投影モデルから魚眼カメラの焦点距離を求めることができる。つまり、等距離投影モデルから、式（１）が存在する。

式（１）：ｒ＝ｆｏｃａｌ×θ
ここで、ｒ、θ及び上記式（１）により、ｆｏｃａｌが得られ、ｆｏｃａｌは魚眼カメラの焦点距離である。

次に、ｆｏｃａｌの値により、その時点での^→ＯＰがｕ’ｖ’座標系に投影された長さｒ_Qに変換する。つまり、
ｒ_Q＝ｆｏｃａｌ×α
である。

すると、点Ｐに対応する魚眼円形画像の画素座標は次のようになる。

ｕ’_Q＝ｒ_Q×ｓｉｎβ＋ｕ’_center
ｖ’_Q＝ｒ_Q×ｃｏｓβ＋ｖ’_center
ここで、（ｕ’_center，ｖ’_center）は魚眼円形画像の中心点画素座標を表す。

これにより、ガン型平面投影面の画素座標と魚眼円形画像の画素座標との対応関係が得られた。

その後、球面モデルにより円形魚眼カメラ原図を特定の画角に投影変換し、すなわち特定のθ₁とθ₂を選択すると、魚眼画像をある角度のガン型画像に等価的に変換することができる。

以上の図に関連して、本実施形態における平面投影画像の画素座標と広角画像の画素座標との対応関係の決定の方法は、図６に示すように、少なくとも以下のステップを含む。

ステップＳ６０１において、広角画像の半径を用いて広角カメラの焦点距離を決定する。

このステップでは、上記式（１）を用いて広角カメラの焦点距離、すなわち上記ｆｏｃａｌを決定することができる。

ステップＳ６０２において、広角カメラの焦点距離と、平面投影画像中の任意の点と空間座標系との角度関係（上述のような角度α）とを用いて、球面投影モデルの投影中心から該任意の点までのベクトル（上述のような^→ＯＰ）が広角画像の座標系に投影される長さ（上述のようなｒ_Q）を決定する。ここで、空間座標系は広角カメラの球面投影面に対応する座標系である（上述のようなＸＹＺ３次元座標系）。

ステップＳ６０３において、該長さと、平面投影画像中の任意の点と空間座標系との角度関係（上述のようなｓｉｎβ、ｃｏｓβ）と、広角画像の中心点画素座標（上述のようｕ’_center、ｖ’_center）とを用いて、広角画像が位置する平面上における、該任意の点の投影点の画素座標（上述のようなｕ’_Q、ｖ’_Q）を決定する。

ステップＳ６０４において、平面投影画像の座標系における任意の点の画素座標と、広角画像が位置する平面における、該任意の点の投影点の画素座標とに基づいて、平面投影画像の画素座標と広角画像の画素座標との対応関係を決定する。

上述した図に関連して、本実施形態において、平面投影画像の画素座標と広角画像の画素座標との対応関係に基づいて、球面投影モデルにより広角画像を少なくとも１つの画角に投影変換する方法は、図７に示すように、少なくとも次のステップを含む。

ステップＳ７０１において、少なくとも１つの画角を選択する。

ステップＳ７０２において、該画角と該空間座標系との角度関係（上述したようなθ₁、θ₂）を決定する。

ステップＳ７０３において、該画角と該空間座標系との角度関係を用いて、平面投影画像中の任意の点と該空間座標系との角度関係（上述のようなα、β）を決定する。

ステップＳ７０４において、平面投影画像の画素座標と広角画像の画素座標との対応関係と、該平面投影画像中の任意の点と空間座標系との角度関係とを用いて、広角画像を該画角に投影変換する。

図８Ａ～図８Ｆは、魚眼画像を異なる画角に投影変換して得られたガン型平面投影図である。ここで、
図８Ａの投影変換画角は、θ₁＝５８°、θ₂＝４５°で、
図８Ｂの投影変換画角は、θ₁＝５８°、θ₂＝９０°で、
図８Ｃの投影変換画角は、θ₁＝５８°、θ₂＝１３５°で、
図８Ｄの投影変換画角は、θ₁＝５８°、θ₂＝２２５°で、
図８Ｅの投影変換画角は、θ₁＝５８°、θ₂＝２７０°で、
図８Ｆの投影変換画角は、θ₁＝５８°、θ₂＝３１５°である。

魚眼画像を異なる画角に投影変換し、異なる画角のガン型平面投影図を得ることで、交差点の死角のない感知を実現することができることが分かる。したがって、本開示の実施形態は、ハードウェアコストを大幅に削減するために、最小数のカメラ装置を使用して、全領域の死角のない全域的感知を行うことができる。カメラが多ければ多いほど、不可抗力によってあるカメラに移動などの状況が発生してしまい、常にカメラをメンテナンスしたり、カメラの外部参照を再校正したりすることが多く、システムの安定性が低下する可能性がある。したがって、本開示の実施形態は、カメラ装置を削減することにより、後続の保守運用コストを大幅に削減することができ、間接的に路側感知の精度及びロバスト性を向上させることができる。

本開示の実施形態はまた、路側感知装置を提供し、図９は、本開示の実施形態の路側感知装置９００の構成の模式図であり、路側感知装置９００は、
広角カメラによって撮像された広角画像を取得するための取得モジュール９１０と、
広角画像に対してディストーション低減処理を施し、広角カメラ直下の画像を得るためのディストーション低減モジュール９２０と、
広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換して、それぞれが１つの画角に対応する少なくとも１つの平面投影画像を得るための投影モジュール９３０と、を備える。

図１０は、本開示の１つの実施形態による路側感知装置１０００の模式図であり、選択的に、上述した投影モジュール９３０は、
平面投影画像の画素座標と広角画像の画素座標との対応関係を決定するための対応関係決定サブモジュール９３１と、
当該対応関係に基づいて、広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換するための投影サブモジュール９３２と、を備える。

選択的に、上述した対応関係決定サブモジュール９３１は、
広角画像の半径を用いて広角カメラの焦点距離を決定することと、
広角カメラの焦点距離と、平面投影画像中の任意の点と空間座標系との角度関係と、を用いて、球面投影モデルの投影中心から任意の点までのベクトルが広角画像の座標系に投影された長さを決定し、ここで、空間座標系は、広角カメラの球面投影面に対応する座標系であることと、
上述の長さと、平面投影画像中の任意の点と空間座標系との角度関係と、広角画像の中心点画素座標とを用いて、広角画像が位置する平面における、任意の点の投影点の画素座標を決定することと、
平面投影画像の座標系における任意の点の画素座標と、広角画像が位置する平面における、任意の点の投影点の画素座標とに基づいて、平面投影画像の画素座標と広角画像の画素座標との対応関係を決定することに用いられる。

選択的に、上述した投影サブモジュール９３２は、
少なくとも１つの画角を選択することと、
画角と空間座標系との角度関係を決定することと、
画角と空間座標系との角度関係を用いて、平面投影画像中の任意の点と空間座標系との角度関係を決定することと、
上述の対応関係と、平面投影画像中の任意の点と空間座標系との角度関係とを用いて、広角画像を画角に投影変換することと、に用いられる。

選択的に、上述の広角カメラは魚眼カメラを含み、広角画像は魚眼画像を含む。

選択的に、上述の広角カメラは道路の交差点に配置され、道路の交差点の各方向には、１つの広角カメラが配置される。

本開示の実施形態による各装置における各モジュールの機能は、上述した方法における対応する記述を参照することができ、ここでは再度言及しない。

本開示の実施形態による路側感知方法及び装置は、交差点、Ｔ字路、Ｌ字路等の様々な道路状況に適用することができ、本開示の実施形態に限定されるものではない。交差点の両側に道路がある場合に、投影変換の方法は、上述の実施形態の方法を参照することができる一方、交差点の片側のみに道路がある場合に、車の流れ方向に応じて投影変換を行うだけで、車の流れ方向のデータ収集を行うことができる。

本開示の実施形態によれば、本開示は、電子デバイス、コンピュータ可読記憶媒体及びプログラムプロダクトをさらに提供し、さらに本開示は上述の電子デバイスを備える路側設備も提供する。

図１１は、本開示の実施形態における路側感知方法を実行するための電子デバイスのブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置をさらに指し、例えば、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。

図１１に示すように、当該電子デバイスは、１つ又は複数のプロセッサ１１０１、メモリ１１０２、及び各部品を接続するためのインターフェースを含み、高速インターフェースと低速インターフェースを含む。各部品が異なるバスによって接続され、共通マザーボードに装着することができ、又は必要に応じて他の方式で装着することもできる。プロセッサは、電子デバイスで実行する命令を実行することができ、メモリに記憶される命令、又は外部入力／出力装置（例えば、インターフェースにカップリングする表示デバイス）に記憶され、ＧＵＩに表示するグラフィック情報の命令を含む。その他の実施形態において、必要があれば、複数のプロセッサ及び／又は複数のバス及び複数のメモリを一緒に使用することができる。同様に、複数の電子デバイスを接続することができ、各デバイスが各自の必要な操作を提供する（例えば、サーバアレイとしての１グループのブレードサーバ、又は、複数のプロセッサシステム）。図１１では１つのプロセッサ１１０１を例としている。

メモリ１１０２は、本開示に提供される非一時的なコンピュータ可読記憶媒体である。ここで、当該メモリに少なくとも１つのプロセッサで実行する命令が記憶され、当該少なくとも１つのプロセッサに、本開示に提供される路側感知方法を実行させる。本開示の非一時的なコンピュータ可読記憶媒体にコンピュータ命令が記憶され、当該コンピュータ命令は、コンピュータに本開示に提供される路側感知方法を実行させる。

メモリ１１０２は、コンピュータ読取可能な非一時的記憶媒体として、非一時的ソフトウェアプログラムを記憶するためのものであってもよく、非一時的コンピュータは、プログラム、及びモジュールを実行することができ、例えば、本開示の実施形態における路側感知方法に対応するプログラム命令／モジュール（例えば、図９に示される取得モジュール９１０、ディストーション低減モジュール９２０、及び投影モジュール９３０）を実行することができる。プロセッサ１１１０は、メモリ１１２０に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの各機能及びデータ処理を実行し、即ち、上記の実施形態における路側感知方法を実現する。

メモリ１１２０は、プログラム記憶領域とデータ記憶領域を含み、ここで、プログラム記憶領域に、オペレーションシステム、少なくとも１つの機能に必要なアプリケーションプログラムが記憶され得、データ記憶領域に、路側感知方法による電子デバイスの使用によって生成されるデータ等が記憶され得る。また、メモリ１１２０は、高速ランダムアクセスメモリを含み得、非一時的メモリも含み得、例えば、少なくとも１つのディスク記憶素子、フラッシュ素子、又はその他の非一時的固体メモリ素子を含む。幾つかの実施形態において、メモリ１１２０はプロセッサ１１１０から遠隔に設置されるメモリを選択的に含み、これらの遠隔メモリは、ネットワークによって、路側感知方法を実行する電子デバイスに接続されることができる。上記のネットワークは、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを例として含むが、それらに限定されない。

路側感知方法を実行する電子デバイスは、入力装置１１３０及び出力装置１１４０をさらに含み得る。プロセッサ１１１０、メモリ１１２０、入力装置１１３０、及び出力装置１１４０は、バス又は他の方式で接続されることができ、図１１ではバスによる接続を例としている。

入力装置１１３０は入力された数字又は文字情報を受け取ることができ、路側感知方法を実行する電子デバイスのユーザ設定及び機能制御に関連するキーボード信号入力を生成し、例えば、タッチスクリーン、テンキー、マウス、トラックプレート、タッチタブレット、インジケーター、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置１１４０は、表示用デバイス、照明補助装置（例えば、ＬＥＤ）及び触覚型フィードバック装置（例えば、振動モーター）等を含み得る。当該表示用デバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むが、それらに限定されない。幾つかの実施形態において、表示用デバイスは、タッチスクリーンであってもよい。

ここで記載されているシステムと技術に関する各実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現されることができる。これらの各実施形態は、１つ又は複数のコンピュータプログラムで実施することを含み得、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラミング可能なプロセッサを含むプログラミング可能なシステムにおいて、実行及び／又は解釈することができ、当該プログラミング可能なプロセッサは、専用又は汎用プログラミング可能なプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置から、データと命令を受け取ることができ、データと命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも称する）はプログラミング可能なプロセッサの機械命令を含み、高級プロシージャ及び／又はオブジェクト指向のプログラム言語、及び／又はアセンブラ／機械語を用いてこれらのコンピュータプログラムを実施する。例えば、本開示に使用される、用語「機械での読取可能な媒体」と「コンピュータ読取可能な媒体」は、機械命令及び／又はデータをプログラミング可能なプロセッサに提供するためのコンピュータプログラム製品、デバイス、及び／又は装置（例えば、ディスク、コンパクトディスク、メモリ、プログラミング可能なロジック装置（ＰＬＤ））を指しており、機械読取可能な信号として機械命令を受け取る機械読取可能な媒体を含む。用語「機械読取可能な信号」は、機械命令及び／又はデータをプログラミング可能なプロセッサに提供するためのいろいろな信号を指している。

ユーザとのインタラクションを提供するために、コンピュータでここに記載されているシステムと技術を実施することができ、当該コンピュータは、ユーザに情報を表示するための表示用装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、及びキーボードとポインティングデバイス（例えば、マウス又はトラックボール）を備え、ユーザは、当該キーボードと当該ポインティングデバイスによって、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることができ、例えば、ユーザに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、いろいろな形式（音入力、音声入力、又は触覚入力）によって、ユーザからの入力を受け取ることができる。

ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバ）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は当該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品をいろいろ組み合せた計算システムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

コンピュータシステムは、クライアントとサーバを含み得る。通常、クライアントとサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント－サーバの関係を有するコンピュータプログラムによってクライアントとサーバの関係を生み出す。サーバは、クラウドサーバであってもよく、クラウド計算サーバ又はクラウドホストとも称し、クラウド計算サービス体系におけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ）でのサービスに存在する管理難度が大きくサービス拡張性が弱い欠点を解決することができる。

理解すべきこととして、上記に記載されている各形式のプロセスを用いて、ステップを再度順序付け、追加又は削除することができる。本開示に開示されている技術案の期待効果を実現することさえできれば、例えば、本開示に記載されている各ステップは、平行して実行してもよく、順序付けて実行してもよく、ランダム的に実行してもよく、本開示は、それらを限定しない。

上記の具体的な実施形態は、本開示の保護範囲に対する制限にならない。当業者が、設計要件と他の要因に基づいて、改修、組合、サブ組合、代替を行うことができることは明らかである。本開示の思想と原理における変更、均等な置換及び改善等は、いずれも本開示の保護の範囲内に含まれるべきである。

Claims

広角カメラによって撮像された広角画像を取得することと、
前記広角画像に対してディストーション低減処理を施し、前記広角カメラ直下の画像を得ることと、
前記広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換して、それぞれが１つの画角に対応する少なくとも１つの平面投影画像を得ることと、を含み、
前記広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換して、それぞれが１つの画角に対応する少なくとも１つの平面投影画像を得ることは、
前記平面投影画像の画素座標と前記広角画像の画素座標との対応関係を決定することと、
前記対応関係に基づいて、前記広角画像を前記球面投影モデルにより、前記少なくとも１つの画角に投影変換することと、を含み、
前記平面投影画像の画素座標と前記広角画像の画素座標との対応関係を決定することは、
前記広角画像の半径を用いて前記広角カメラの焦点距離を決定することと、
前記広角カメラの焦点距離と、前記平面投影画像中の任意の点と空間座標系との角度関係と、を用いて、前記球面投影モデルの投影中心から前記任意の点までのベクトルが前記広角画像の座標系に投影された長さを決定することと、
前記長さと、前記平面投影画像中の任意の点と前記空間座標系との角度関係と、前記広角画像の中心点画素座標とを用いて、前記広角画像が位置する平面における、前記任意の点の投影点の画素座標を決定することと、
前記平面投影画像の座標系における前記任意の点の画素座標と、前記広角画像が位置する平面における、前記任意の点の投影点の画素座標とに基づいて、前記平面投影画像の画素座標と前記広角画像の画素座標との対応関係を決定することと、を含み、
前記空間座標系は、前記広角カメラの球面投影面に対応する座標系である、
路側感知方法。
前記対応関係に基づいて、前記広角画像を前記球面投影モデルにより、前記少なくとも１つの画角に投影変換することは、
少なくとも１つの前記画角を選択することと、
前記画角と前記空間座標系との角度関係を決定することと、
前記画角と前記空間座標系との角度関係とを用いて、前記平面投影画像中の任意の点と前記空間座標系との角度関係を決定することと、
前記対応関係と、前記平面投影画像中の任意の点と前記空間座標系との角度関係とを用いて、前記広角画像を前記画角に投影変換することと、を含む、
請求項１に記載の路側感知方法。
前記広角カメラは魚眼カメラを含み、
前記広角画像は魚眼画像を含む、
請求項１又は２に記載の路側感知方法。
前記広角カメラを、道路の交差点に配置し、
前記道路の交差点の各方向に１つの前記広角カメラを配置する、
請求項１又は２に記載の路側感知方法。
広角カメラによって撮像された広角画像を取得するための取得モジュールと、
前記広角画像に対してディストーション低減処理を施し、前記広角カメラ直下の画像を得るためのディストーション低減モジュールと、
前記広角画像を球面投影モデルにより、少なくとも１つの画角に投影変換して、それぞれが１つの画角に対応する少なくとも１つの平面投影画像を得るための投影モジュールと、を備え、
前記投影モジュールは、
前記平面投影画像の画素座標と前記広角画像の画素座標との対応関係を決定するための対応関係決定サブモジュールと、
前記対応関係に基づいて、前記広角画像を前記球面投影モデルにより、前記少なくとも１つの画角に投影変換するための投影サブモジュールと、を備え、
前記対応関係決定サブモジュールは、
前記広角画像の半径を用いて前記広角カメラの焦点距離を決定することと、
前記広角カメラの焦点距離と、前記平面投影画像中の任意の点と空間座標系との角度関係と、を用いて、前記球面投影モデルの投影中心から前記任意の点までのベクトルが前記広角画像の座標系に投影された長さを決定することと、
前記長さと、前記平面投影画像中の任意の点と前記空間座標系との角度関係と、前記広角画像の中心点画素座標とを用いて、前記広角画像が位置する平面における、前記任意の点の投影点の画素座標を決定することと、
前記平面投影画像の座標系における前記任意の点の画素座標と、前記広角画像が位置する平面における、前記任意の点の投影点の画素座標とに基づいて、前記平面投影画像の画素座標と前記広角画像の画素座標との対応関係を決定することに用いられ、
前記空間座標系は、前記広角カメラの球面投影面に対応する座標系である、
路側感知装置。
前記投影サブモジュールは、
少なくとも１つの画角を選択することと、
前記画角と前記空間座標系との角度関係を決定することと、
前記画角と前記空間座標系との角度関係を用いて、前記平面投影画像中の任意の点と前記空間座標系との角度関係を決定することと、
前記対応関係と、前記平面投影画像中の任意の点と前記空間座標系との角度関係とを用いて、前記広角画像を前記画角に投影変換することに用いられる、
請求項５に記載の路側感知装置。
前記広角カメラは魚眼カメラを含み、
前記広角画像は魚眼画像を含む、
請求項５又は６に記載の路側感知装置。
前記広角カメラは、道路の交差点に配置され、
前記道路の交差点の各方向には、１つの前記広角カメラが配置される、
請求項５又は６に記載の路側感知装置。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項４までのいずれか１項に記載の路側感知方法を実行させる、
電子デバイス。
コンピュータに請求項１から請求項４までのいずれか１項に記載の路側感知方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。
請求項９に記載の電子デバイスを備える、路側設備。
コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項４までのいずれか１項に記載の路側感知方法を実現することを特徴とするプログラム。