JP7069943B2 - 方位検出システム、方位検出方法、及び方位検出プログラム - Google Patents

Description

本発明は、車両の方位を検出する技術に関する。

特開２０１７－１１７１８８号公報には、駐車場内において車両を精度良く誘導する車両誘導システムが開示されている。以下、背景技術において括弧内に付す符号は、参照する文献における参照符号である。駐車場（１０）の床面（地表面）には、駐車場（１０）内の位置を示すマーカー（２０）が複数箇所に設けられている（描かれている）。車両（１）は、進行方向に存在するマーカー（２０）を車載のカメラ（３）によって撮影して位置情報を認識する。車両（１）は、マーカー（２０）との相対位置を算出し、誘導の開始位置である待機枠（１５）を原点として駐車場（１０）内の現在位置を特定する。

マーカー（２０）は、仮想走行ライン（１４）に沿って設けられているが、車両（１）の進行方向が常に仮想走行ライン（１４）に沿って走行するとは限らず、車両（１）の方位も考慮しなければ、位置の誤差が大きくなる可能性がある。従って、マーカー（２０）が写った撮影画像に基づいて車両の方位をより精度よく特定することが好ましい。

特開２０１７－１１７１８８号公報

上記背景に鑑みて、車両に搭載されたカメラの撮影画像を用いて、地表面に存在する指標を検出し、自車両の方位を精度良く特定する技術の提供が望まれる。

１つの態様として、上記に鑑みた方位検出システムは、自車両に搭載された車載カメラにより撮影された前記自車両の周辺の画像である周辺画像を取得する周辺画像取得部と、地表面に位置して互いに平行な複数の直線要素を有する直線状指標を前記周辺画像から検出すると共に、前記周辺画像の画像平面上における前記直線要素の無限遠点である消失点の位置を特定する画像処理部と、前記消失点の位置と前記画像平面上の基準点の位置とに基づいて前記自車両と前記直線状指標との相対方位を演算する方位演算部と、を備える。

方位検出システムの技術的特徴は、後述する実施形態の説明において例示する種々の付加的特徴も含めて、方位検出方法や方位検出プログラムにも適用可能である。例えば、方位検出方法は、上述した方位検出システムの特徴を備えた各種のステップを有することができる。また、方位検出プログラムは、上述した方位検出システムの特徴を備えた各種の機能をコンピュータに実現させることが可能である。当然ながらこれらの方位検出方法及び方位検出プログラムも、方位検出システムと同様の作用効果を奏することができる。

１つの好適な態様として、方位検出方法は、自車両に搭載された車載カメラにより撮影された前記自車両の周辺の画像である周辺画像を取得する周辺画像取得ステップと、地表面に位置して互いに平行な複数の直線要素を有する直線状指標を前記周辺画像から検出すると共に、前記周辺画像の画像平面上における前記直線要素の無限遠点である消失点の位置を特定する画像処理ステップと、前記消失点の位置と前記画像平面上の基準点の位置とに基づいて前記自車両と前記直線状指標との相対方位を演算する方位演算ステップと、を備える。

また、１つの好適な態様として、方位検出プログラムは、自車両に搭載された車載カメラにより撮影された前記自車両の周辺の画像である周辺画像を取得する周辺画像取得機能と、地表面に位置して互いに平行な複数の直線要素を有する直線状指標を前記周辺画像から検出すると共に、前記周辺画像の画像平面上における前記直線要素の無限遠点である消失点の位置を特定する画像処理機能と、前記消失点の位置と前記画像平面上の基準点の位置とに基づいて前記自車両と前記直線状指標との相対方位を演算する方位演算機能と、をコンピュータに実現させる。

車載カメラによる周辺画像は、３次元空間を撮影した画像である。この周辺画像を例えば視点変換して鳥瞰画像等に変換すると周辺画像における位置によって解像度にばらつきが生じて方位の検出精度が低下する可能性がある。上記構成では、３次元空間を撮影した周辺画像をそのまま用いて直線状指標の直線要素の消失点が特定される。従って、上記構成では、視点変換の誤差による影響を受け難く、高い精度で相対方位を演算することができる。周辺画像における基準点と消失点との位置関係は、直線状指標と自車両との相対的な角度に応じた関係となるため、上記構成では、消失点に基づく簡単な幾何学演算によって高精度に相対方位を演算することができる。このように、上述した方位検出システム、方位検出方法、方位検出プログラムによれば、車両に搭載されたカメラの撮影画像を用いて、地表面に存在する指標を検出し、自車両の方位を精度良く特定することができる。

方位検出システム、方位検出方法、及び方位検出プログラムのさらなる特徴と利点は、図面を参照して説明する実施形態についての以下の記載から明確となる。

方位検出システムの構成を模式的に示すブロック図 方位を含む位置情報を特定して更新する処理の一例を示すフローチャート 駐車場内に存在する自車両の一例を示す平面図 直線状指標とカメラとの相対位置を算出する一例を示すフローチャート 撮影画像上で直線状指標とカメラとの相対方位を算出する一例を示す図 撮影画像上で直線状指標とカメラとの相対方位を算出する他の例を示す図 相対方位における偏向角と撮影画像上の画素数との関係を示すグラフ 直線状指標とカメラとの相対方位及び相対位置を示す図 撮影画像上の画素距離を地表面での距離に変換する例を示す図 地表面での距離に基づく相対方位及び相対位置を示す図 直線状指標と自車両との相対方位及び相対位置を示す図 直線状指標と自車両との絶対方位及び絶対位置を示す図 絶対方位及び絶対位置を更新する例を示す図 消失点の信頼度の一例を示す図

以下、方位検出システム、方位検出方法、及び方位検出プログラムの実施形態を、ショッピングセンターやアミューズメントパークなど、多数の駐車枠が地表面に設けられた駐車場において自車両の位置情報（位置座標、及び方位）を検出して特定する形態を例として、図面に基づいて説明する。

図１のブロック図は、方位検出システム１の構成を模式的に示している。図１に示すように、方位検出システム１は、周辺画像取得部３と、画像処理部４と、方位演算部５と、位置演算部６と、自車位置特定部７と、ｔａｎテーブル５１と、変換テーブル６１とを有している。周辺画像取得部３はカメラ２（車載カメラ）に接続され、自車位置特定部７は、自律航行制御部９や、車載システム８に接続されている。方位検出システム１によって特定された自車両の位置情報（位置座標、及び方位）は、ナビゲーションシステム８１や駐車支援システム８２に利用される。方位検出システム１は、例えば、マイクロコンピュータやＤＳＰ（Digital Signal Processor）などのプロセッサを中核として構成され、これらのプロセッサやメモリなどの周辺回路を含むハードウェアと、プログラムやパラメータなどのソフトウェアとの協働によって実現される。

詳細は、図３、図５等を参照して後述するが、周辺画像取得部３は、自車両８０に搭載されたカメラ２により撮影された自車両の周辺の画像である周辺画像ＩＭを取得する。画像処理部４は、地表面に位置して互いに平行な複数の直線要素を有する直線状指標Ｍを周辺画像ＩＭから検出すると共に、周辺画像ＩＭの画像平面上における直線要素の無限遠点である消失点ＶＰの位置を特定する。

方位演算部５は、消失点ＶＰの位置と画像平面上の基準点（Ｘ軸の中心Ｘｃ）の位置とに基づいて自車両８０と直線状指標Ｍとの相対方位Ｄ１を演算する。詳細は図５を参照して後述するが、方位演算部５は、周辺画像ＩＭにおける基準点としての画像中心Ｃ０のＸ軸の値（Ｘｃ）から消失点ＶＰまでの水平距離Ｓ、周辺画像ＩＭの幅方向の距離である水平幅Ｈ、周辺画像ＩＭの画角φに基づいて、相対方位Ｄ１における偏向角θを求め、この偏向角θに基づいて相対方位Ｄ１を求める。偏向角θを求める際に、三角関数の正接の演算を必要とするためにｔａｎテーブル５１が設けられている。位置演算部６は、直線状指標Ｍの画像平面上における自車両８０の側の端点ＴＰと基準点（Ｘ軸の中心Ｘｃ）との位置関係に基づいて自車両８０と直線状指標Ｍとの相対位置（Ｔ１，Ｔ２，Ｔ３，Ｔ４：図５、図８～図１１等を参照して後述する）を演算する。

データベース７１には、直線状指標Ｍを含む地物の地表面における絶対座標及び絶対方位が記憶されている。ここで、絶対座標とは、例えば地球の緯度、軽度に対応した座標など、地球上で１点に特定可能な座標である。また、絶対方位とは、地物の地表面における東西南北の方位に対する向き（姿勢）である。方位演算部５は、相対方位Ｄ１を演算し、位置演算部６は相対位置（Ｔ１等）を演算するが、自車位置特定部７は、自車両８０の絶対座標（Ｐ１，Ｐ２）及び絶対方位（Ｄ２，Ｄ３）を特定する（図１２、図１３等を参照して後述する）。詳細は、後述するが、自車位置特定部７は、方位演算部５により演算された相対方位Ｄ１及び位置演算部６により演算された相対位置（Ｔ４）と、データベース７１に記憶された直線状指標Ｍの絶対座標（Ｔ６）とに基づいて、自車両８０の絶対座標（Ｐ２）及び絶対方位（Ｄ３）を特定する。

方位検出システム１は、ＧＰＳ受信機９１が受信した情報や、方位センサ９２、回転センサ９３（車輪の回転速度や回転量などを検出するセンサ）などが検出した情報に基づいて自車両の自律航行制御を行う自律航行制御部９と協働している。自車位置特定部７は、自律航行制御部９から自車両の位置情報を取得することもできる。本実施形態では、例えば、自律航行制御部９から受け取った位置情報も含め、既に取得した位置情報を方位検出システム１が更新する形態を例示する。

図２のフローチャートは、方位検出システム１が、方位を含む位置情報を特定して更新する処理の一例を示している。方位検出システム１は、自車両８０の周辺の周辺画像ＩＭを取得し（＃１：周辺画像取得ステップ／機能）、直線状指標Ｍを検出し（＃２：画像処理ステップ／機能）、周辺画像ＩＭに基づいて直線状指標Ｍの自車両８０（又はカメラ２）に対する相対的な指標情報（方位及び位置座標）を演算する（＃３）。尚、“＃３”には、方位を演算する方位演算ステップ／機能、並びに、位置座標を演算する位置演算ステップ／機能が含まれる。以下の説明においては、何れか一方のステップ／機能を“＃３”として扱う場合がある。方位検出システム１は、さらに、自車両８０（又はカメラ２）に対する相対的な指標情報を絶対座標系での指標情報に変換する（＃４）。そして、方位検出システム１は、データベース７１から直線状指標Ｍの指標情報を取得し（＃５）、“＃４”における指標情報と“＃５”における指標情報とを比較し（＃６）、その差分に基づいて自車両８０の指標情報（位置座標、方位）を更新する。

以下、駐車場において自車両の位置情報（位置座標、及び方位）を特定して更新する形態を例として説明する。図３は、駐車場Ｅ内に存在する自車両８０の一例を示している。カメラ２は、自車両８０の前後方向に対して側方を撮影する側方カメラである。自車両８０には、前方カメラ、後方カメラ等も搭載されている場合があり、これらをカメラ２として利用してもよい。本実施形態では、側方カメラを用いているが、側方カメラは、前方カメラや後方カメラと比較して、地表面に対する光軸の俯角や仰角が小さい状態でほぼ水平に設置される。従って、周辺画像ＩＭにおける歪みが少なく、種々の画像処理に適している。

図３において、点Ｑは、自車両８０の左方を撮影する左側方カメラの基準位置を示している。尚、図中の点Ｐは、自車両８０の基準位置を示している。図３に示すように、カメラ２は、自車両８０の側方において駐車場Ｅの地表面に設けられた駐車枠Ｗを含む自車両８０の周辺の情景を画角φで撮影する。本実施形態において、カメラ２の画角φは９０°である。駐車枠Ｗは複数の直線状の区画線を有して構成されており、これらの区画線が直線要素を有する直線状指標Ｍである。

尚、本明細書中では、便宜上、カメラ２のレンズに起因する画角、周辺画像ＩＭに示される最大水平範囲に対応する画角、周辺画像ＩＭにおいて地平線に沿った範囲を示す画角の全てについて、“φ＝９０°”として説明する。これらの画角に差がある場合には、それぞれに対応する画角の値を用いることによって本明細書中で説明する事項に容易に適用することができる。

上述したように、“＃１～＃３”では、直線状指標Ｍとカメラ２（自車両８０）との相対位置が演算される。特に方位の演算は、方位検出システム１の中核をなす特徴的な演算であり、以下、図４～図１１も参照して、直線状指標Ｍとカメラ２（自車両８０）との相対位置の演算について説明する。

図４のフローチャートは、直線状指標Ｍとカメラ２（自車両８０）との相対位置を算出する一例を示している。“＃１１”、“＃１２”、“＃１３”は、周辺画像取得ステップ／機能＃１に対応する。例えば、周辺画像取得部３は、自律航行制御部９から取得した位置情報（位置座標）及びデータベース７１から取得した地図情報等に基づいて、自車両８０が駐車場Ｅ内に位置していると判定した場合に、周辺画像ＩＭを取得する（＃１１，＃１２）。また、カメラ２により撮影された周辺画像ＩＭには、レンズの特性などにより歪みが生じている場合がある。このため、周辺画像取得部３は、歪み補正処理を実施すると好適である（＃１３）。図５は、この歪み補正処理が完了した後の撮影画像を例示している。

“＃２１”、“＃２２”、“＃２３”は、画像処理ステップ／機能＃２に対応する。画像処理部４は、周辺画像ＩＭから駐車枠Ｗの区画線である直線状指標Ｍの白線を検出する（＃２１）。画像処理部４は、それぞれの直線要素の延在方向に直交する方向における端縁に基づいてそれぞれの直線要素の延在方向を示す端縁線を演算する。１つの白線（直線状指標Ｍ）がある程度の太さを有する場合、白線は２つの直線要素を有し、それぞれの直線要素に対応する端縁線が演算される。白線が２本以上ある場合（或いは、端縁線が２本以上ある場合）には、画像処理部４は、周辺画像ＩＭの画像平面上において消失点ＶＰの位置を特定する（＃２２，＃２３）。図５には、２本の直線状指標Ｍから４本の端縁線が演算されている形態を例示している。直線要素を周辺画像ＩＭの画像平面（ＸＹ平面）においてＹ方向に延伸させると、Ｙ軸方向で地平線に対応する位置において一点で交わり、無限遠点としての消失点ＶＰが特定される。つまり、画像処理部４は、少なくとも２本の端縁線の交点に基づいて消失点ＶＰを演算する。消失点ＶＰは、周辺画像ＩＭの画像平面（ＸＹ平面）において（Ｘｖｐ，Ｙｖｐ）で示される座標に特定される。

本実施形態では、図３に例示したように、自車両８０（カメラ２）が直線状指標Ｍに対して角度を有して位置している。つまり、カメラ２の光軸が直線状指標Ｍの直線要素と平行ではない。このため、消失点ＶＰは、周辺画像ＩＭの画像平面におけるＸ軸の中心Ｘｃ（画像中心Ｃ０のＸ軸の値に相当：図９参照）からずれた位置に存在している。図６は、自車両８０（カメラ２）が直線状指標Ｍに対して角度を有さずに位置している場合、つまり、カメラ２の光軸が直線状指標Ｍの直線要素と平行な場合の周辺画像ＩＭを例示している。この場合には、消失点ＶＰは、周辺画像ＩＭの画像平面におけるＸ軸の中心Ｘｃに位置することになる。

“＃３１”、“＃３２”、“＃３３”は、“＃３”の方位演算ステップ／機能に対応する。上述したように、周辺画像ＩＭの画像平面（ＸＹ平面）における消失点ＶＰの座標は、（Ｘｖｐ，Ｙｖｐ）である。方位演算部５は、Ｘ座標“Ｘｖｐ”を取得する（＃３１）。次に、周辺画像ＩＭの画像平面におけるＸ軸の中心Ｘｃを基準とした白線（直線状指標Ｍ）とカメラ２との相対方位（偏向角θ）を算出する（＃３２）。尚、偏向角θの基準線は、図５に示すように、Ｘ軸の中心Ｘｃ（画像中心Ｃ０）を通りＹ軸に平行な線である。

ここで、周辺画像ＩＭの画像平面（ＸＹ平面）の幅方向（Ｘ軸方向）の距離（水平幅Ｈ）に相当する画素数を６４０［ｐｘ］とし、縦方向（Ｙ軸方向）の距離（垂直幅Ｖ）に相当する画素数を４８０［ｐｘ］とする。地平線は、周辺画像ＩＭの最下部から“Ｖ１”の位置でＸ軸に平行な線である。地平線上に存在する消失点ＶＰとＸ軸の中心Ｘｃ（画像中心Ｃ０）との水平距離Ｓは、例えば１２０［ｐｘ］である。また、カメラ２の画角φは９０°であるから、Ｘ軸の中心Ｘｃから左右一方側への画角は４５°であり、Ｘ軸の中心Ｘｃから左右一方側への距離は水平幅Ｈの１／２の３２０［ｐｘ］である。ここで、“ｔａｎ４５°”及び“ｔａｎθ”は、下記式(1)、(2)で表すことができる。

ｔａｎ４５°＝３２０［ｐｘ］／Ｖ１［ｐｘ］ ・・・(1)
ｔａｎθ ＝１２０［ｐｘ］／Ｖ１［ｐｘ］ ・・・(2)

上記式(1)、(2)より、下記式(3)の関係が導かれ、ｔａｎθは下記式(4)で表すことができる。

３２０［ｐｘ］／ｔａｎ４５° ＝ １２０［ｐｘ］／ｔａｎθ ・・・(3)
ｔａｎθ ＝ （１２０［ｐｘ］・ｔａｎ４５°）／３２０［ｐｘ］ ・・・(4)

本実施形態では、ｔａｎθは、“０．３７５”となる。図７に示すように、消失点ＶＰとＸ軸の中心Ｘｃ（画像中心Ｃ０）との水平距離Ｓと偏向角θとの関係は線形ではない。このため、方位演算部５はｔａｎテーブル５１を参照して、“偏向角θ＝２０．５６°”を算出する。尚、ｔａｎθは、一般式として下記式(5)によって求められる。

ｔａｎθ ＝ ｛Ｓ×ｔａｎ（φ／２）｝／（Ｈ／２） ・・・(5)

ここでは、カメラ２の光軸に対する水平方向の偏向角θを求めた。自車両８０の方位は、自車両８０の前後方向に対して定義される場合が多い。本実施形態のように、カメラ２が側方カメラであり、カメラ２の光軸が自車両８０の前後方向に対して直交している場合には、図８に示すように、偏向角θに基づいて自車両８０と直線状指標Ｍとの相対方位Ｄ１が求められる。つまり、Ｘ軸の延伸方向（自車両８０の延伸方向に相当）を基準とした直線状指標Ｍとカメラ２（自車両８０）との相対方位Ｄ１が算出される（＃３３）。本実施形態では、相対方位Ｄ１は、“６９．４４°（＝９０－２０．５６）”である。尚、図６に例示したように、自車両８０（カメラ２）が直線状指標Ｍに対して角度を有さずに位置し、カメラ２の光軸が直線状指標Ｍの直線要素と平行な場合には、偏向角θは“０°”であり、相対方位Ｄ１は、“９０°”である。

上述したように、位置演算部６は、直線状指標Ｍの画像平面上における自車両８０の側の端点ＴＰと基準点（Ｘ軸の中心Ｘｃ）との位置関係に基づいて自車両８０と直線状指標Ｍとの相対位置（第一次相対位置Ｔ１）を演算する。図５及び図８に示すように、画像平面上における座標値として、第一次相対位置Ｔ１が（Ｘ１，Ｙ１）と特定される。ここまでに求められた第一次相対位置Ｔ１、相対方位Ｄ１は、図２を参照して上述した「画像に基づく指標情報（＃３）」に相当する。

図９は、周辺画像ＩＭの画像平面における画像中心Ｃ０と直線状指標Ｍとの関係を示している。画像平面における地表面の各地点と、画像中心Ｃ０に対応する地表面の地点との相対位置（実際の地表面での距離）は既知である。従って、周辺画像ＩＭの画像平面における座標値として特定された第一次相対位置Ｔ１は、画像中心Ｃ０を基準とした実際の地表面での距離に対応した相対位置（第二次相対位置Ｔ２）として（Ｘ２，Ｙ２）と規定することができる。第二次相対位置Ｔ２は、画像中心Ｃ０の座標値を（０，０）として、実際の地表面での距離によって表された座標値ということができる。

周辺画像ＩＭの画像平面における各地点と実際の地表面での距離との関係は、変換テーブル６１に格納されている。位置演算部６は、変換テーブル６１を参照して第一次相対位置Ｔ１から第二次相対位置Ｔ２に変換する。尚、相対方位Ｄ１は、距離とは無関係であるため、そのまま維持される。第二次相対位置Ｔ２及び相対方位Ｄ１の組み合わせも、図２を参照して上述した「画像に基づく指標情報（＃３）」に相当する。

ところで、図９では、消失点ＶＰを検出する際と同様の画像平面において、第二次相対位置Ｔ２を求めるように例示した。しかし、例えば、画像処理部４或いは位置演算部６において周辺画像ＩＭを視点変換して俯瞰画像を生成し、俯瞰画像における画像平面において、第二次相対位置Ｔ２を求めてもよい。視点変換に際しても、変換テーブル６１を利用すると演算負荷の増大を抑制することができる。

カメラ２のような車載カメラは、地表面と平行、或いは地面面に対して俯角を有して車両に設置されていることが多い。このような車載カメラによって地表面に設けられた何らかのマーカーを撮影した場合には、斜め上からの撮影となり、マーカーの撮影画像には歪みが生じる。このため、多くの場合、撮影画像に対して視点変換を行い、地表面に対して直交する方向から見下ろした俯瞰画像においてマーカーの認識が行われる。視点変換には、車載カメラの設置状況などのカメラパラメータに基づいた変換係数が必要である。この変換係数は、車両ごと（車載カメラごと）にキャリブレーションが行われて設定されているが、タイヤ等の消耗や振動、使用時のサスペンションの変化量などに応じて、誤差が生じている場合もある。変換係数の誤差は、特に車両の方位の誤差に大きく影響する。

上記においては、位置演算部６による第二次相対位置Ｔ２の演算に際して、視点変換も好適であると説明した。但し、方位演算部５による相対方位Ｄ１の演算では、視点変換を行うと変換時の誤差によって方位の特定精度が低下する場合がある。従って、相対方位の演算は、カメラ２の視点を維持した周辺画像ＩＭに基づいて実行されると好適である。上述したように、視点変換などを行う際の変換係数の誤差は、特に車両の方位の誤差に大きく影響する。従って、車両の方位をより精度よく特定することが望まれる。本実施形態の方位検出システム１は、カメラ２の視点を維持した周辺画像ＩＭを用い、直線状指標Ｍの消失点ＶＰに基づいて相対方位Ｄ１を特定する点に特に特徴を有する。

また、画像中心Ｃ０に対応する地表面の地点と、カメラ２の基準位置（Ｑ点）との距離（相対位置）も既知である。従って、第二次相対位置Ｔ２は、図１０に示すように、カメラ２の基準位置（Ｑ点）を基準とした実際の地表面での距離に対応した相対位置（第三次相対位置Ｔ３）として（Ｘ３，Ｙ３）と規定することができる。第三次相対位置Ｔ３は、カメラ２の基準位置（Ｑ点）の座標値を（０，０）として、実際の地表面での距離によって表された座標値ということができる。尚、相対方位Ｄ１は、基準点の移動とは無関係であるため、そのまま維持される。第三次相対位置Ｔ３及び相対方位Ｄ１の組み合わせも、図２を参照して上述した「画像に基づく指標情報（＃３）」に相当する。

さらに、カメラ２は自車両８０の規定位置に設置されているため、カメラ２の基準位置（Ｑ点）と自車両８０の基準位置（Ｐ点）との相対位置も既知である。従って、第三次相対位置Ｔ３は、図１１に示すように、自車両８０の基準位置（Ｐ点）を基準とした実際の地表面での距離に対応した第四次相対位置Ｔ４として（Ｘ４，Ｙ４）と規定することができる。第四次相対位置Ｔ４は、自車両８０の基準位置（Ｐ点）の座標値を（０，０）として、実際の地表面での距離によって表された座標値ということができる。この場合も、相対方位Ｄ１は、基準点の移動とは無関係であるため、そのまま維持される。第四次相対位置Ｔ４及び相対方位Ｄ１の組み合わせも、図２を参照して上述した「画像に基づく指標情報（＃３）」に相当する。

ところで、自車位置特定部７は、例えば自律航行制御部９からの情報に基づいて、自車両８０の基準位置（Ｐ点）の絶対座標“Ｐ１（ＷＸｐ１，Ｗｙｐ１）”を取得することができる。図１２に示すように、自車両８０の基準位置（Ｐ点）の座標値を（０，０）とした自車両８０との相対位置を示す第四次相対位置Ｔ４は、自車両８０の基準位置（Ｐ点）の絶対座標（第一次絶対座標Ｐ１）を基準とした絶対位置（相対的絶対位置Ｔ５）として（Ｘ５，Ｙ５）と規定することができる。相対的絶対位置Ｔ５は、直線状指標Ｍの絶対位置を直接的に示す絶対座標ではなく、自車両８０の絶対座標（第一次絶対座標Ｐ１）を基準とした相対位置であるため、絶対座標と区別して相対的絶対位置と称している。

自車位置特定部７は、例えば自律航行制御部９から絶対方位の情報も取得することができる。つまり、自車両８０の前後方向が東西南北のどの方向に沿っているか、或いは南北方向などの基準方位から何度偏向しているかの情報を取得することができる。相対方位Ｄ１は、自車両８０の前後方向を基準として規定されていたが、自車両８０の前後方向と実際の方位との偏差により相対方位Ｄ１を補正することで、絶対方位（相対的絶対方位Ｄ２）を規定することができる。相対的絶対方位Ｄ２は、直線状指標Ｍの絶対方位を直接的に示すものではなく、絶対座標系における自車両８０の前後方向を基準とした相対位置であるため、絶対方位と区別して相対的絶対方位と称している。これらの相対的絶対位置Ｔ５及び相対的絶対方位Ｄ２は、図２を参照して上述した「絶対座標系に変換された指標情報（＃４）」に相当する。

自車位置特定部７は、相対的絶対位置Ｔ５に基づいて、データベース７１から直線状指標Ｍの指標情報（この場合は絶対座標及び絶対方位）を取得することができる。つまり、自車位置特定部７は、相対的絶対位置Ｔ５で示される座標値の周辺に存在する同一の直線状指標Ｍを検索し、その直線状指標Ｍの絶対座標（指標絶対座標Ｔ６（ＷＸｔ、ＷＹｔ））及び絶対方位（指標絶対方位Ｄ３）を取得する（図２：＃５）。尚、データベース７１に絶対方位が格納されている形態には、絶対方位の値そのものが格納されている形態に限らない。１つの直線状指標Ｍに、直線要素に沿って２つ以上の端点ＴＰの絶対座標が設定されており、それらの絶対座標から自車位置特定部７が絶対方位を演算できる場合も、データベース７１に絶対方位が格納されているということができる。

図１３に示すように、同じ直線状指標Ｍについて、相対的絶対位置Ｔ５と指標絶対座標Ｔ６とが異なる場合や、相対的絶対方位Ｄ２と指標絶対方位Ｄ３とが異なる場合がある。自車位置特定部７は、相対的絶対位置Ｔ５と指標絶対座標Ｔ６とを比較し、相対的絶対方位Ｄ２と指標絶対方位Ｄ３とを比較して、位置座標と方位の差分を演算する（図２：＃６）。

このような差分が存在する場合、自車両８０と直線状指標Ｍとの相対位置及び相対方位が上述したように精度良く演算されている条件下であれば、自律航行制御部９から取得した自車両８０の絶対座標（第一次絶対座標Ｐ１）や、自律航行制御部９から取得した絶対座標系における方位に基づく絶対方位（相対的絶対方位Ｄ２）に誤差が生じていることになる。従って、自車位置特定部７は、位置座標と方位の差分に基づいて、直線状指標Ｍの絶対方位（相対的絶対方位Ｄ２）、自車両８０の絶対方位（第一次絶対方位ＷＤ１）、第一次絶対座標Ｐ１を修正する（図２：＃７）。

好適には、自車位置特定部７は、まず、方位の差分に基づいて絶対座標系における自車両８０の方位である第一次絶対方位ＷＤ１を第二次絶対方位ＷＤ２に更新する。自車両８０と直線状指標Ｍとの相対関係は相対方位Ｄ１に基づくため、自車位置特定部７は、絶対座標系における自車両８０の方位（例えば前後方向の向きに沿った方位）を修正する次に、自車位置特定部７は、位置座標の差分に基づいて、第一次絶対座標Ｐ１を修正し、第二次絶対座標Ｐ２（ＷＸｐ２，ＷＹｐ２）に更新する。

このように、本実施形態の方位検出システム１は、カメラ２により撮影された周辺画像を用いて、地表面に存在する直線状指標Ｍを検出し、自車両８０の位置情報（位置座標及び方位）を精度良く特定することができる。

ところで、上述したように、画像処理部４は、周辺画像ＩＭにおいて、それぞれの直線要素の延在方向に直交する方向における端縁に基づいてそれぞれの直線要素の延在方向を示す端縁線を演算すると共に、少なくとも２本の端縁線の交点に基づいて消失点ＶＰを演算する。但し、周辺画像ＩＭの解像度や、直線状指標Ｍの鮮明度などによっては、端縁線が精度良く演算されない可能性がある。精度の低い複数の端縁線は、図１４の消失点ＶＰの拡大図“Ａ”のように一点で交わらず、拡大図“Ｂ”のように交点が複数存在する場合がある。交点のばらつきが多いほど、端縁線の演算精度が低いと考えられるので、画像処理部４は、交点の位置のばらつきに基づいて消失点ＶＰの信頼度を演算する。

画像処理部４よりも下流（方位演算部５、位置演算部６、自車位置特定部７など）で行われる種々の演算等において、当該信頼度を考慮した演算が可能となる。例えば、方位演算部５は、信頼度が予め規定された信頼度しきい値以上の場合に、相対方位Ｄ１を演算すると好適である。信頼度の低い消失点ＶＰに基づいて相対方位Ｄ１が演算されても、正確ではない可能性がある。方位演算部５は、信頼度が信頼度しきい値以上の場合に、相対方位Ｄ１を演算することで、精度の高い相対方位Ｄ１を演算することができる。

〔その他の実施形態〕
以下、その他の実施形態について説明する。尚、以下に説明する各実施形態の構成は、それぞれ単独で適用されるものに限られず、矛盾が生じない限り、他の実施形態の構成と組み合わせて適用することも可能である。

（１）上記においては、直線状指標Ｍとして、駐車場Ｅにおける駐車枠Ｗの区画線を例示した。しかし、直線状指標Ｍは、駐車枠Ｗの区画線に限らず、横断歩道や道路上の進入制限領域を示すゼブラゾーンなどでもよい。また、道路上の車両通行帯を示すラインであってもよい。

（２）上記においては、直線状指標Ｍとして、周辺画像ＩＭにおいて手前側から奥行き方向へ延びる平行線を形成する指標を例示した。しかし、周辺画像ＩＭにおいて横方向に延びる平行線を形成する指標であってもよい。

以下、上記において説明した方位検出システム（１）、方位検出方法、及び方位検出プログラムの概要について簡単に説明する。

方位検出システム（１）は、１つの態様として、自車両（８０）に搭載された車載カメラ（２）により撮影された前記自車両（８０）の周辺の画像である周辺画像（ＩＭ）を取得する周辺画像取得部（３）と、地表面に位置して互いに平行な複数の直線要素を有する直線状指標（Ｍ）を前記周辺画像（ＩＭ）から検出すると共に、前記周辺画像（ＩＭ）の画像平面上における前記直線要素の無限遠点である消失点（ＶＰ）の位置を特定する画像処理部（４）と、前記消失点（ＶＰ）の位置と前記画像平面上の基準点（Ｘｃ）の位置とに基づいて前記自車両（８０）と前記直線状指標（Ｍ）との相対方位（Ｄ１）を演算する方位演算部と、を備える。

方位検出システム（１）の技術的特徴は、後述する種々の付加的特徴も含めて、方位検出方法や方位検出プログラムにも適用可能である。例えば、方位検出方法は、上述した方位検出システム（１）の特徴を備えた各種のステップを有することができる。また、方位検出プログラムは、上述した方位検出システム（１）の特徴を備えた各種の機能をコンピュータに実現させることが可能である。当然ながらこれらの方位検出方法及び方位検出プログラムも、方位検出システム（１）と同様の作用効果を奏することができる。

１つの好適な態様として、方位検出方法は、自車両（８０）に搭載された車載カメラ（３）により撮影された前記自車両（８０）の周辺の画像である周辺画像（ＩＭ）を取得する周辺画像取得ステップ（＃１）と、地表面に位置して互いに平行な複数の直線要素を有する直線状指標（Ｍ）を前記周辺画像（ＩＭ）から検出すると共に、前記周辺画像（ＩＭ）の画像平面上における前記直線要素の無限遠点である消失点（ＶＰ）の位置を特定する画像処理ステップ（＃２）と、前記消失点（ＶＰ）の位置と前記画像平面上の基準点（Ｘｃ）の位置とに基づいて前記自車両（８０）と前記直線状指標（Ｍ）との相対方位（Ｄ１））を演算する方位演算ステップ（＃３）と、を備える。

また、１つの好適な態様として、方位検出プログラムは、自車両（８０）に搭載された車載カメラ（３）により撮影された前記自車両（８０）の周辺の画像である周辺画像（ＩＭ）を取得する周辺画像取得機能（＃１）と、地表面に位置して互いに平行な複数の直線要素を有する直線状指標（Ｍ）を前記周辺画像（ＩＭ）から検出すると共に、前記周辺画像（ＩＭ）の画像平面上における前記直線要素の無限遠点である消失点（ＶＰ）の位置を特定する画像処理機能（＃２）と、前記消失点（ＶＰ）の位置と前記画像平面上の基準点（Ｘｃ）の位置とに基づいて前記自車両（８０）と前記直線状指標（Ｍ）との相対方位（Ｄ１）を演算する方位演算機能（＃３）と、をコンピュータに実現させる。

車載カメラ（２）による周辺画像（ＩＭ）は、３次元空間を撮影した画像である。この周辺画像（ＩＭ）を例えば視点変換して鳥瞰画像等に変換すると周辺画像（ＩＭ）における位置によって解像度にばらつきが生じて方位の検出精度が低下する可能性がある。上記構成では、３次元空間を撮影した周辺画像（ＩＭ）をそのまま用いて直線状指標（Ｍ）の直線要素の消失点（ＶＰ）が特定される。従って、上記構成では、視点変換の誤差による影響を受け難く、高い精度で相対方位（Ｄ１）を演算することができる。撮影画像における基準点（Ｘｃ）と消失点（ＶＰ）との位置関係は、直線状指標（Ｍ）と自車両（８０）との相対的な角度に応じた関係となるため、上記構成では、消失点（ＶＰ）に基づく簡単な幾何学演算によって高精度に相対方位（Ｄ１）を演算することができる。このように、上述した方位検出システム（１）、方位検出方法、方位検出プログラムによれば、車両に搭載されたカメラの撮影画像を用いて、地表面に存在する指標を検出し、自車両の方位を精度良く特定することができる。

以下、方位検出システム（１）の付加的な技術的特徴について例示する。方位検出システム（１）の種々の技術的特徴は、方位検出方法や方位検出プログラムにも適用可能である。そして、当該方法及び当該プログラムは、方位検出システム（１）のそれぞれの付加的な技術的特徴に対応する作用効果も奏することができる。

方位検出システム（１）は、前記直線状指標（Ｍ）の前記画像平面上における前記自車両（８０）の側の端点（ＴＰ）と前記基準点（Ｘｃ）との位置関係に基づいて前記自車両（８０）と前記直線状指標（Ｍ）との相対位置（Ｔ４）を演算する位置演算部（６）をさらに備えると好適である。

位置演算部（６）によって、直線状指標（Ｍ）の相対位置（Ｔ４）が演算されることによって、相対方位（Ｄ１）及び相対位置（Ｔ４）により自車両（８０）と直線状指標（Ｍ）との相対関係を特定することができる。

方位検出システム（１）は、前記直線状指標（Ｍ）を含む地物の地表面における絶対座標（Ｔ６）及び絶対方位（Ｄ３）が記憶されたデータベース（７１）と、前記自車両（８０）の絶対座標（Ｐ２）及び絶対方位（ＷＤ２）を特定する自車位置特定部（７）と、を備え、前記自車位置特定部（７）は、前記方位演算部（５）により演算された前記相対方位（Ｄ１（Ｄ２））及び前記位置演算部（６）により演算された前記相対位置（Ｔ４（Ｔ５））と、前記データベース（７１）に記憶された前記直線状指標（Ｍ）の絶対座標（Ｔ６）及び絶対方位（Ｄ３）に基づいて、前記自車両（８０）の絶対座標（Ｐ２）及び絶対方位（ＷＤ２）を特定すると好適である。

例えば、データベース（７１）に記憶された直線状指標（Ｍ）の絶対方位（Ｄ３）に方位演算部（５）により演算された相対方位（Ｄ１（Ｄ２））を合わせることで、自車両（８０）の向きである絶対方位（ＷＤ２）を特定することができる。また、データベース（７１）に記憶された直線状指標（Ｍ）の絶対座標（Ｔ６）に位置演算部（６）により演算された相対位置（Ｔ４（Ｔ５））を合わせることで、自車両（８０）の絶対座標（Ｐ２）を特定することができる。また、予め自車両（８０）の絶対方位（ＷＤ１）や絶対座標（Ｐ１）が既知の場合には、同様の方法で、自車両（８０）の絶対方位（ＷＤ１）や絶対座標（Ｐ１）を修正して、新たな絶対方位（ＷＤ２）や絶対座標（Ｐ２）更新することができる。

ここで、前記方位演算部（５）は、前記周辺画像（ＩＭ）における前記基準点としての画像中心点（Ｘｃ）から前記消失点（ＶＰ）までの水平距離をＳ、前記周辺画像（ＩＭ）の幅方向の距離である水平幅をＨ、前記周辺画像（ＩＭ）の画角をφ、前記相対方位（Ｄ１）における偏向角をθとした以下の等式に基づいて、前記相対方位（Ｄ１）を演算すると好適である。

ｔａｎθ ＝ ｛Ｓ×ｔａｎ（φ／２）｝／（Ｈ／２）

相対方位（Ｄ１）は、偏向角（θ）との間で相関関係があるため、偏向角（θ）を求めることで容易に相対方位（Ｄ１）を求めることができる。また、偏向角（θ）も、上記のような簡単な演算によって求められる。偏向角（θ）を得るためには、“ｔａｎ^－１θ”の演算が必要であるが、これはテーブル参照によって容易に演算することができる。このように、消失点（ＶＰ）に基づく簡単な幾何学演算によって相対方位（Ｄ１）を演算することができる。

また、前記画像処理部（４）は、それぞれの前記直線要素の延在方向に直交する方向における端縁に基づいてそれぞれの前記直線要素の延在方向を示す端縁線を演算すると共に、２本の前記端縁線の交点に基づいて前記消失点（ＶＰ）を演算し、前記交点が複数存在する場合には、複数の前記交点の位置のばらつきに基づいて前記消失点（ＶＰ）の信頼度を演算すると好適である。

周辺画像（ＩＭ）の解像度や、直線状指標（Ｍ）の鮮明度などによっては、端縁線が精度良く演算されない可能性がある。そのため、複数の端縁線が一点で交わらず、交点が複数存在する場合がある。交点のばらつきが多いほど、端縁線の演算精度が低いと考えられるので、画像処理部（４）が交点のばらつきに基づいて消失点（ＶＰ）の信頼度を演算することにより、消失点（ＶＰ）の演算結果を用いて行われる種々の演算等において、当該信頼度を考慮した演算が可能となる。

また、前記画像処理部（４）が、複数の前記交点の位置のばらつきに基づいて前記消失点（ＶＰ）の信頼度を演算する場合、前記方位演算部（５）は、前記信頼度が予め規定された信頼度しきい値以上の場合に、前記相対方位（Ｄ１）を演算すると好適である。

信頼度の低い消失点（ＶＰ）に基づいて相対方位（Ｄ１）が演算されても、正確ではない可能性がある。本構成によれば、方位演算部（５）は、信頼度が信頼度しきい値以上の場合に相対方位（Ｄ１）を演算するため、精度の高い相対方位（Ｄ１）を演算することができる。

また、前記車載カメラ（２）は、前記自車両（８０）の前後方向に対して側方を撮影する側方カメラであり、前記直線状指標（Ｍ）は、駐車場（Ｅ）の地表面に設けられた駐車枠（Ｗ）であると好適である。

方位検出システム（１）は、地表面に位置して互いに平行な複数の直線要素を有する直線状指標（Ｍ）を周辺画像（ＩＭ）に含むことによって、適切に自車両（８０）との相対方位（Ｄ１）を求めることができる。駐車場（Ｅ）の地表面に設けられた駐車枠（Ｗ）は、互いに平行であり、直線状指標（Ｍ）として好適である。また、駐車場（Ｅ）を車両が走行する際には、多くの場合駐車枠（Ｗ）が側方に存在する。車載カメラ（２）が側方カメラであると、適切に駐車枠（Ｗ）を含む周辺画像（ＩＭ）を撮影することができて好適である。

１ ：方位検出システム
２ ：カメラ（車載カメラ）
３ ：周辺画像取得部
４ ：画像処理部
５ ：方位演算部
６ ：位置演算部
７ ：自車位置特定部
７１ ：データベース
８０ ：自車両
Ｃ０ ：画像中心
Ｄ１ ：相対方位
Ｄ２ ：相対的絶対方位
Ｄ３ ：指標絶対方位
Ｅ ：駐車場
Ｈ ：水平幅
ＩＭ ：周辺画像
Ｍ ：直線状指標
Ｐ１ ：第一次絶対座標
Ｐ２ ：第二次絶対座標
Ｓ ：水平距離
Ｔ１ ：第一次相対位置
Ｔ２ ：第二次相対位置
Ｔ３ ：第三次相対位置
Ｔ４ ：第四次相対位置
Ｔ５ ：相対的絶対位置
Ｔ６ ：指標絶対座標
ＴＰ ：端点
ＶＰ ：消失点
Ｗ ：駐車枠
ＷＤ１：第一次絶対方位
ＷＤ２：第二次絶対方位
Ｘｃ ：Ｘ軸の中心
θ ：偏向角
φ ：画角

Claims (7)

1. 自車両に搭載された車載カメラにより撮影された前記自車両の周辺の画像である周辺画像を取得する周辺画像取得部と、
   地表面に位置して互いに平行な複数の直線要素を有する直線状指標を前記周辺画像から検出すると共に、前記周辺画像の画像平面上における前記直線要素の無限遠点である消失点の位置を特定する画像処理部と、
   前記消失点の位置と前記画像平面上の基準点の位置とに基づいて前記自車両と前記直線状指標との相対方位を演算する方位演算部と、を備え、
   前記画像処理部は、それぞれの前記直線要素の延在方向に直交する方向における端縁に基づいてそれぞれの前記直線要素の延在方向を示す端縁線を演算すると共に、２本の前記端縁線の交点に基づいて前記消失点を演算し、前記交点が複数存在する場合には、複数の前記交点の位置のばらつきに基づいて前記消失点の信頼度を演算し、
   前記方位演算部は、前記信頼度が予め規定された信頼度しきい値以上の場合に、前記相対方位を演算する方位検出システム。
2. 前記直線状指標の前記画像平面上における前記自車両の側の端点と前記基準点との位置関係に基づいて前記自車両と前記直線状指標との相対位置を演算する位置演算部をさらに備える請求項１に記載の方位検出システム。
3. 前記直線状指標を含む地物の地表面における絶対座標及び絶対方位が記憶されたデータベースと、
   前記自車両の絶対座標及び絶対方位を特定する自車位置特定部と、を備え、
   前記自車位置特定部は、前記方位演算部により演算された前記相対方位及び前記位置演算部により演算された前記相対位置と、前記データベースに記憶された前記直線状指標の絶対座標及び絶対方位に基づいて、前記自車両の絶対座標及び絶対方位を特定する請求項２に記載の方位検出システム。
4. 前記方位演算部は、前記周辺画像における前記基準点としての画像中心点から前記消失点までの水平距離をＳ、前記周辺画像の幅方向の距離である水平幅をＨ、前記周辺画像の画角をφ、前記相対方位における偏向角をθとした下記の等式、
   ｔａｎθ ＝ ｛Ｓ×ｔａｎ（φ／２）｝／（Ｈ／２）に基づいて、前記相対方位を演算する請求項１から３の何れか一項に記載の方位検出システム。
5. 前記車載カメラは、前記自車両の前後方向に対して側方を撮影する側方カメラであり、前記直線状指標は、駐車場の地表面に設けられた駐車枠である請求項１から４の何れか一項に記載の方位検出システム。
6. 自車両に搭載された車載カメラにより撮影された前記自車両の周辺の画像である周辺画像を取得する周辺画像取得ステップと、
   地表面に位置して互いに平行な複数の直線要素を有する直線状指標を前記周辺画像から検出すると共に、前記周辺画像の画像平面上における前記直線要素の無限遠点である消失点の位置を特定する画像処理ステップと、
   前記消失点の位置と前記画像平面上の基準点の位置とに基づいて前記自車両と前記直線状指標との相対方位を演算する方位演算ステップと、を備え、
   前記画像処理ステップでは、それぞれの前記直線要素の延在方向に直交する方向における端縁に基づいてそれぞれの前記直線要素の延在方向を示す端縁線を演算すると共に、２本の前記端縁線の交点に基づいて前記消失点を演算し、前記交点が複数存在する場合には、複数の前記交点の位置のばらつきに基づいて前記消失点の信頼度を演算し、
   前記方位演算ステップでは、前記信頼度が予め規定された信頼度しきい値以上の場合に、前記相対方位を演算する方位検出方法。
7. 自車両に搭載された車載カメラにより撮影された前記自車両の周辺の画像である周辺画像を取得する周辺画像取得機能と、
   地表面に位置して互いに平行な複数の直線要素を有する直線状指標を前記周辺画像から検出すると共に、前記周辺画像の画像平面上における前記直線要素の無限遠点である消失点の位置を特定する画像処理機能と、
   前記消失点の位置と前記画像平面上の基準点の位置とに基づいて前記自車両と前記直線状指標との相対方位を演算する方位演算機能と、をコンピュータに実現させ、
   前記画像処理機能では、それぞれの前記直線要素の延在方向に直交する方向における端縁に基づいてそれぞれの前記直線要素の延在方向を示す端縁線を演算すると共に、２本の前記端縁線の交点に基づいて前記消失点を演算し、前記交点が複数存在する場合には、複数の前記交点の位置のばらつきに基づいて前記消失点の信頼度を演算し、
   前記方位演算機能では、前記信頼度が予め規定された信頼度しきい値以上の場合に、前記相対方位を演算する方位検出プログラム。

Images