JP5212748B2 - 駐車支援装置 - Google Patents

Description

本発明は、車両の駐車時の運転操作を支援する駐車支援装置に関する。

車両を駐車させる際のドライバーの運転操作の負荷を軽減させるために、様々な駐車支援技術が提案され、実用化されている。車両後部から駐車スペースへ入庫する車庫入れ駐車では、車両は、駐車スペースを一旦通り過ぎて前進して停止し、後退して駐車スペースへ入庫する。この車庫入れ駐車を支援する際には、前進して停止し、後退を開始する後退開始位置を適切に案内することが重要である。特許第４４１４９５９号公報（特許文献１）には、前進時の目標となるガイド情報Ｇ１，Ｇ２（特許文献１：図９〜図１１参照）をモニタに表示させ、これらのガイド情報が枠状の指標Ｈ（同図参照）に収まるように車両を前進させることで、適切な後退開始位置へと誘導する技術が開示されている。

この後退開始位置へ移動は、ドライバーの運転操作によって実施されるが、ステアリングホイールの操作量に過不足が生じるなど、運転操作が適正でない場合には、適切な後退開始位置へ車両が向かわない可能性がある。特許文献１では、ドライバーの運転操作が適正でなかった場合に、自動的に補正する制御が施される。但し、このような自動的な補正には、ガイド情報を表示するための制御システムに留まらず、自動操舵システムなど、さらなる制御システムも必要とする。また、後退開始位置は、ただ一箇所のみが適正というものではなく、後退開始位置から駐車スペースへの後退経路が確保される範囲内で、ある程度のずれが許容されるものである。従って、許容範囲内において適切な後退開始位置への誘導が可能であれば、実際に前進経路が補正されなくても問題はない。追加的な制御システムを必要とせず、より簡易な構成により駐車支援を実現すれば、安価な車両においても駐車支援機能を搭載することができ、多くのドライバーの運転操作の負担を軽減することができる。

特許第４４１４９５９号公報

上記背景に鑑みて、簡単な構成で、後退駐車を支援する際の後退開始位置まで車両を柔軟に誘導することが可能な駐車支援技術の提供が望まれる。

上記課題に鑑みた本発明に係る駐車支援装置の特徴構成は、
少なくとも車両の進行方向が撮影された車載カメラの撮影画像を受け取って前記車両の周辺画像を車両内のモニタ装置に表示させる周辺画像提供部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記車両を後退開始位置まで前進させた後、前記駐車目標まで後退させる誘導経路と前記後退開始位置とを、前記駐車目標に基づいて所定の許容差を含めて演算する経路演算部と、
前記後退開始位置に対応する遠方マーカーと、前記車両が経由すれば前記後退開始位置に到達可能な領域を示し前記遠方マーカーよりも前記車両側に位置する近傍マーカーとを含むマーカー群で構成され、前記遠方マーカーから前記近傍マーカーへ向かうに従って幅が広くなるマーカー群の並びによって前記後退開始位置への前進経路を示す前進誘導マーカーを生成して、前記周辺画像に重畳させるグラフィック制御部と、を備える点にある。

この構成によれば、複数のマーカーで構成されたマーカー群によって前進誘導マーカーが形成されるので、ドライバーに判りやすく前進経路を示すことができる。また、最も車両側に形成される近傍マーカーは、車両が経由すれば後退開始位置に到達可能な領域を示し、遠方マーカーよりも広い幅で描画されるので、ドライバーは比較的大きい自由度を有して車両を後退開始位置へと移動させ始めることができる。即ち、ステアリングホイールの操作量などに多少の誤差が許容されるので、実際の前進経路を補正するような制御システムを用いることなく簡単な構成で駐車支援装置を構成することができる。また、前進誘導マーカーを構成するマーカー群は、遠方マーカーから近傍マーカーへ向かうに従って幅が広くなる。遠方マーカーは後退開始位置に対応するマーカーであるから、後退開始位置へ向かって前進誘導マーカーが収束するような感覚をドライバーに対して与えることができる。従って、本構成によれば、後退駐車を支援する際の後退開始位置まで、簡単な構成で柔軟に車両を誘導することが可能な駐車支援装置を提供することができる。

また、本発明に係る駐車支援装置は、さらに、前記車両の移動状態を検出するセンサの検出結果に基づいて自己位置を推定する自己位置推定部を備え、前記経路演算部が、前記後退開始位置へ向かって移動する前記車両の前記自己位置と、前記駐車目標とに基づいて前記誘導経路及び前記後退開始位置を更新し、前記グラフィック制御部が、更新された前記誘導経路及び前記後退開始位置に基づいて、少なくとも前記遠方マーカーを含む前記前進誘導マーカーを更新して前記周辺画像に重畳させると好適である。近傍マーカーは、車両が経由すれば後退開始位置に到達可能な領域を示す幅の広いマーカーであるが、車両が近傍マーカーに示された場所を通過したとしても、前進開始時に設定されていた後退開始位置へ向かうことが最適とは限らない。後退開始位置は、車両が駐車目標に対して後退を開始する位置であり、駐車目標に到達可能に後退を開始する位置である。従って、必ずしも前進開始時に設定されていた後退開始位置から後退を開始する必要はなく、実際の前進経路に応じて最適な後退開始位置から後退を開始すればよい。本構成によれば、実際の前進経路に応じて、誘導経路及び後退開始位置が更新され、その更新結果に応じて前進誘導マーカーも更新される。従って、前進を開始してからのステアリングホイールの操作量などの誤差は前進誘導マーカーに反映され、車両は、実際の前進経路に応じた後退開始を示す遠方マーカーへと良好に誘導される。

また、本発明に係る駐車支援装置は、前記車載カメラが前記車両に複数個備えられ、前記周辺画像が前記複数の車載カメラからの複数の撮影画像に基づいて合成された俯瞰画像を含み、前記グラフィック制御部が、前記前進誘導マーカーを構成する各マーカーに前記車両が到達した後も、少なくとも前記車両が前記後退開始位置に到達するまでの間、各マーカーを前記俯瞰画像に対して重畳させると好適である。例えば、車載カメラとして、車両の前方を撮影する前方カメラにより撮影されたフロントビューの画像が周辺画像の場合、周辺画像の視点は車両の前端である。従って、前進誘導マーカーの内、車両が到達したマーカーはこの視点よりも後方となって、周辺画像上に重畳することができなくなる。一方、周辺画像が複数の車載カメラの撮影画像を合成して得られる俯瞰画像の場合、周辺画像の視点は車両の上方の仮想点である。視点が車両の上方であるから、車両が既に到達した前進誘導マーカーも視点の後方となることはない。また、周辺画像には車両全体の姿もイラストあるいは予め撮影された写真等によって表現される。従って、車両が既に到達した前進誘導マーカーを踏んで進んでいるように、そのマーカーを車両の下（裏）に表示することができる。前進する車両の進行に伴って、前進誘導マーカーが車両の下に描画されていくことによって、仮想的に車両の履歴を示すことができる。ドライバーは、車両の移動軌跡を確認することができ、利便性が向上する。

車両を一部切り欠いて示す車両の斜視図 カメラの撮影範囲を示す平面図 車両のシステム構成の一例を模式的に示すブロック図 駐車支援装置の機能構成の一例を模式的に示すブロック図 一時停止位置による駐車目標の設定方法の一例を示す図 画像認識による駐車目標の設定方法の一例を示す図 ソナーによる駐車目標の設定方法の一例を示す図 誘導経路の一例を示す図 直進時の前進誘導マーカーの一例を示す図 旋回時の前進誘導マーカーの一例を示す図 前進誘導マーカーが収束する様子を説明する図 旋回を伴う前進中における前進誘導マーカーの一例を示す図 表示画像のレイヤー構造の説明図 旋回方向と前進誘導マーカーの変化との関係を模式的に示す図

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に備えられた複数のカメラの撮影画像を元にして、車両を上方から見下ろした形態となる俯瞰画像を生成してモニタ装置に表示することが可能な駐車支援装置（運転支援装置）を例として説明する。俯瞰画像を用いることにより、ドライバーに対して運転操作の支援や、車両の周辺の障害物などの監視支援を行うことができる。

車両９０には、複数の車載カメラ１が設置されている。図１及び図２に示すように、車両９０の後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドア９２に備えられた左サイドミラー９４の下部には左サイドカメラ１ｂが備えられ、右前部ドア９３に備えられた右サイドミラー９５の下部には右サイドカメラ１ｃが備えられている。また、車両９０の前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。

カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両９０に設置され、車両９０からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９４及び９５の底部に光軸を下方に向けて設置され、車両９０の側面の一部と路面（地面）とが撮影可能である。

カメラ１により撮影された画像は、図３に示すように、スーパーインポーズ部２ａ、グラフィック描画部２ｂ、フレームメモリ２ｃなどを有する画像処理モジュール２を介して、モニタ装置４に表示可能である。各フレームの２次元画像は、フレームメモリ２ｃに格納され、フレームごとに画像処理やグラフィックの重畳を施されることが可能である。また、画像処理モジュール２は、複数のカメラ１により撮影された撮影画像を合成して、より広い視野の合成画像を生成したり、撮影画像や合成画像の視点を変換して俯瞰画像を生成したりすることも可能である。

車両９０の前後位置の角部の外方位置には２つのカメラの撮影画像における重複領域Ｗ（図２を参照）が形成され、この重複領域Ｗにおいて境界部位を目立たなくする画像処理が実施されて合成画像が生成される。また、この合成画像の視点を変換し、車両９０の屋根の外観画像（グラフィック画像）が視点変換後の画像に重畳されて俯瞰画像が生成される。このグラフィック画像は、車両９０の屋根の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両９０の屋根の外観を撮影した写真画像や映像画像でもよい。当然ながら、単一のカメラ１の撮影画像をそれぞれ視点変換し、視点変換された複数のカメラ１の撮影画像を合成してもよい。複数の撮影画像の合成や画像の視点変換に関する画像処理技術は公知であるので詳細な説明は省略する。グラフィック描画部２ｂへの描画指示や、スーパーインポーズ部２ａへのグラフィック重畳指示は、後述するＣＰＵ（central processing unit）５から発せられる。

モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図３に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図３においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール３から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー８を介して報知音を鳴らす場合もある。

ＣＰＵ５は、画像認識や進路予想などの高度な演算処理を行い、駐車支援装置１０の中核を担う。ＣＰＵ５は、プログラムメモリ６に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、ＣＰＵ５は、必要に応じてワークメモリ７に一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ６やワークメモリ７が、ＣＰＵ５とは別のメモリである例を示しているが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。駐車支援装置１０は、ＣＰＵ５やメモリ、その他の周辺回路と共に、駐車支援ＥＣＵ（electronic control unit）９として構成される。本例では、ＣＰＵ５を中核としたが、駐車支援装置１０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。

ＣＰＵ５は、図３において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図１に示すように、駐車支援装
置１０（ＣＰＵ５）は、車内のパワーステアリングシステム３１やブレーキシステム３７と接続される。これら各システムは、駐車支援装置１０と同様にＣＰＵなどの電子回路を中核として構成され、駐車支援ＥＣＵ９と同様に周辺回路と共に構成されたＥＣＵを中核として構成される。

パワーステアリングシステム３１は、電動パワーステアリング（EPS : electric power steering）システムやＳＢＷ（steer-by-wire）システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ４１によりアシストトルクを付加することが可能である。また、ステアリングホイールや操舵輪をアクチュエータ４１により駆動することによって自動操舵を行うことも可能である。ブレーキシステム３７は、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、ＢＢＷ（brake-by-wire）システムである。このシステムは、アクチュエータ４７を介して車両９０に制動力を付加することができる。

図３において、各種センサの一例として、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９がＣＡＮ５０に接続されている。ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置１０は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ２１から取得して各種制御を実行する。

車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置１０は、車輪速センサ２３から取得した情報に基づいて車両９０の移動量などを演算し、各種制御を実行する。車輪速センサ２３は、ブレーキシステム３７に備えられている場合もある。ブレーキシステム３７は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して、各種制御を実行する。車輪速センサ２３がブレーキシステム３７に備えられている場合には、駐車支援装置１０は、ブレーキシステム３７を介して情報を取得する。ブレーキセンサ２７は、ブレーキペダルの操作量を検出するセンサであり、駐車支援装置１０は、ブレーキシステム３７を介して情報を取得する。駐車支援装置１０は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。

シフトレバースイッチ２５は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。例えば、シフトがリバースにセットされた場合に、駐車支援装置１０は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。また、ステアリングホイールへの操作トルクを検出するトルクセンサ２２は、ドライバーがステアリングホイールを握っているか否かについても検出することが可能である。駐車支援装置１０は、自動操舵中にドライバーがステアリングホイールを操作するために強く握った場合などに、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。また、自動操舵時には、一般的にエンジンのアイドリングによる車両９０のクリーピングが利用される。従って、ドライバーがアクセルを操作したことがアクセルセンサ２９により検出された場合、駐車支援装置１０は、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。

図３に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。

上述したように、駐車支援装置１０は、ＣＰＵ５を中核として構成され、プログラムメモリ６に格納されたプログラム（ソフトウェア）と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
（１）車内に搭載されたモニタ上に車両後方の映像を映し出すと共に、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
（２）駐車目標を設定し、音声などによりドライバーの操作を指示して誘導するもの、
（３）さらに、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、などがある。（２）及び（３）では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
（ａ）駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
（ｂ）例えば駐車区画を示す区画線を画像認識して駐車目標を設定するもの、
（ｃ）駐車目標位置を通過した際に、ソナー（クリアランスソナー３３）などで空き領域を検出して自動認識し、駐車目標を設定するもの、
（ｄ）精度向上のために、上記（ｂ）や（ｃ）など複数の手法を複合させたもの、
などがある。（ａ）〜（ｄ）の何れの場合も、運転者の手動によって駐車目標の微調整が可能となっているものが多い。

本実施形態では、上記（２）に示したように、運転操作はドライバーが行い、駐車支援装置１０は音声などにより操作をガイドするものとする。尚、後退開始位置までの移動はドライバーの運転操作によって行い、後退開始位置においてシフトレバーをリバースにセットした後は、上記（３）に示したように自動操舵によって駐車目標へ誘導されてもよい。

駐車支援装置１０は、図４に示すように、周辺画像提供部１１と、駐車目標設定部１２と、経路演算部１３と、自己位置推定部１４と、グラフィック制御部１５と、表示制御部１６との各機能部を備えて構成される。各機能部は、運転支援ＥＣＵ９として構成されたハードウェアとソフトウェアとの協働により実現される。

周辺画像提供部１１は、車両９０の周辺画像を車両内のモニタ装置４に表示させる機能部である。周辺画像は、１つのカメラ１によって撮影された撮影画像でも、複数のカメラ１の撮影画像を合成して得られる俯瞰画像でもよい。つまり、周辺画像提供部１１は、少なくとも車両９０の進行方向が撮影されたカメラ１の撮影画像を受け取って、車両９０の周辺画像をモニタ装置４に表示させる機能部である。尚、車両９０の進行方向とは、シフトレバーの設定位置に応じた進行方向であり、実際に車両９０が移動していなくてもよい。例えば、シフトレバーがドライブ位置である場合には、前方カメラ１ｄによる撮影画像を含み、リバース位置である場合には、後方カメラ１ａによる撮影画像を含んだ周辺画像が表示される。但し、タッチパネル４ｂ上のタッチボタンやその他のスイッチなどに対するドライバーの人為的な操作により、シフトレバーの位置に拘わらず、サイドカメラ１ｂ，１ｃを含む任意のカメラ１による撮影画像や合成画像、俯瞰画像などが表示されてもよい。

駐車目標設定部１２は、車両９０の駐車目標を設定する機能部である。上記（ａ）〜（ｄ）に示したような手法により駐車目標を設定する。詳細については後述する。経路演算部１３は、車両９０を後退開始位置まで前進させた後、駐車目標まで後退させる誘導経路と後退開始位置とを、駐車目標に基づいて演算する機能部である。詳細は後述するが、経路演算部１３は、誘導経路及び後退開始位置を、所定の許容差を含めて演算する。自己位置推定部１４は、ステアリングセンサ２１や車輪速センサ２３など、車両９０の移動状態を検出するセンサの検出結果に基づいて車両９０の自己位置を推定する機能部である。尚、経路演算部１３は、後退開始位置へ向かって移動する車両９０の自己位置と駐車目標とに基づいて誘導経路及び後退開始位置を随時更新する。

グラフィック制御部１５は、後退開始位置までの車両９０の進路を誘導する前進誘導マーカーを生成して、周辺画像に重畳させる機能部である。詳細は後述するが、例えば図１０に示すように、前進誘導マーカーＭは、後退開始位置に対応する遠方マーカーｍｔと、車両９０が経由すれば後退開始位置に到達可能な領域を示し遠方マーカーｍｔよりも車両９０側に位置する近傍マーカーｍｓとを含むマーカー群で構成される。上述したように、後退開始位置は、経路演算部１３によって所定の許容差を含めて演算されているから、近傍マーカーｍｓは、車両９０が経由すれば後退開始位置に到達可能な領域として柔軟に設定される。また、図１０に示すように、前進誘導マーカーＭは、遠方マーカーｍｔから近傍マーカーｍｓへ向かうに従って幅が広くなるマーカー群の並びによって、後退開始位置への前進経路Ｋ１（図８参照）を示すように生成される。グラフィック制御部１５は、自己位置と駐車目標とに基づいて更新された誘導経路及び後退開始位置に基づいて、少なくとも遠方マーカーｍｔを含む前進誘導マーカーＭを更新して周辺画像に重畳させる。表示制御部１６は、周辺画像、前進誘導マーカーＭ、その他のアイコンやメッセージなどを重ね合わせて、１枚の表示画像としてモニタ装置４へ提供する機能部である。

以下、図５〜図１４を用いて、駐車支援装置１０の具体例を説明する。はじめに、図５〜図８を利用して、駐車支援の原理について説明する。図５〜図７は、それぞれ上記（ａ），（ｂ），（ｃ）に対応する駐車目標の設定方法を例示している。各図において、符号１００は既に駐車されている他の車両（駐車車両）を示している。まず、図５〜図７を参照して、駐車目標設定部１２により駐車目標Ｔを設定する具体的な例について説明する。

図５に示すように、駐車支援装置１０は、駐車支援開始時の車両９０の停止位置に基づいて車両９０からの所定位置を駐車目標Ｔの初期位置として設定する。車両９０は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画のほぼ中央が運転席の真横となる位置で一旦停止する。つまり、図５において、ドライバーが駐車区画の中央を助手席の窓を通して目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Ｔが設定される。例えば、車両９０から横方向に距離Ｄだけ離れた位置に、所定の大きさの駐車目標Ｔが設定される。駐車目標Ｔは、車両９０の基準位置Ｑ、例えば、後輪の車輪軸と車両９０の前後を貫く車軸との交点を基準として基準座標（ワールド座標）上において設定される。

図６は、白線などの区画線（路面標示）Ｙで示された駐車区画を画像認識して、駐車区画の中に駐車目標Ｔを設定する例を示している。理想的には、図６において破線Ｒ１で示したように、区画線Ｙを全て含んだ撮影画像を例えば左サイドカメラ１ｂから取得して駐車区画を認識すると好適である。しかし、左サイドカメラ１ｂの側方への視野が遠くまで設定されていない場合には、図６において破線Ｒ２で示すように区画線Ｙの一部を画像認識してもよい。そして、車両９０側における駐車区画の端部を起点として、基準座標上に駐車目標Ｔを設定してもよい。図６では不図示であるが、図５と同様に、車両９０の基準点Ｑを用いて基準座標上に駐車目標Ｔが設定される。

一般的に、路面はアスファルトなどの濃い色であり、区画線Ｙなどの路面標示は白や黄色などの薄い色であるから、区画線Ｙのコントラストは高い。従って、公知のエッジ検出により、路面標示を容易に抽出することができる。そして、実空間上では、区画線Ｙの多くの部分は直線によって形成されているから、公知のハフ（Hough）変換や、ＲＡＮＳＡＣ（random sample consensus）などを用いることによって、区画線Ｙを画像認識することができる。俯瞰画像においては、路面は平面的に表現されるため、路面上の区画線Ｙの直線性も高い。しかし、サイドカメラ（１ｂ，１ｃ）の撮影画像は、画像に歪み等が生じている可能性がある。しかし、歪み等を補正してから画像認識する、歪み等を考慮して直線をマッチングする等の公知の画像処理技術を用いることによって区画線Ｙを認識することが可能である。

図７は、ソナー（クリアランスソナー３３）などで空き領域を検出して駐車区画を自動認識して駐車目標を設定する例を示している。車両９０には、側方に向けてポイントセンサとしてのクリアランスソナー３３（距離センサ）が搭載されている。シングルビームセンサやレーザレーダなど、他の距離センサが搭載されていてもよい。車両９０が駐車中の他の車両１００（以下、駐車車両と称す。）のそばを通過する際に、クリアランスソナー３３によって駐車車両１００までの距離が計測され、駐車支援装置１０は表面形状情報を取得する。そして、駐車支援装置１０は、プログラムメモリ６などに記憶された一般的な車両のバンパー形状と表面形状情報との適合度合いを演算する。所定の基準に応じて、表面形状情報が車両のバンパー形状に相当すると判定された場合には、基準座標上において当該表面形状情報が存在する領域が「既駐車空間」として検出される。反対に、「既駐車空間」に相当しない領域については、「空き空間」として検出される。

尚、隣接する駐車区画に駐車された２台の駐車車両１００の間の空間も空き空間として検出される可能性がある。従って、車両９０の進行方向に沿う所定の長さをしきい値として、そのしきい値以上に長さに亘って既駐車空間ではないことが検出された場合に当該空間が空き空間として検出されると好適である。また、隣接する駐車区画が連続して既駐車空間ではないことが検出された場合には、１台分の空き空間として検出される可能性がある。そのように広い空き空間を検出した後には、当該空き空間を分割して仮想的な境界を設けて複数箇所の空き空間として設定してもよい。図７において、車両９０が輪郭を一点鎖線で示す位置まで移動すると、上述したように空き空間が検出され、その空き空間に駐車目標Ｔが設定される。

尚、上記（ｄ）に示したように、複数の手法を複合させてもよい。つまり、空き空間における区画線Ｙを図６に基づいて上述したように画像認識することによって、さらに精度良く空き空間を検出して、駐車目標Ｔを設定してもよい。つまり、空き空間に対して、関心領域（ＲＯＩ：region of interest）を設定し、画像処理の演算負荷を低減すると共に認識精度を向上させてもよい。

上述したように、種々の方法によって駐車目標Ｔを設定することが可能である。駐車目標Ｔが設定されると、経路演算部１３は、図８に示すように、車両９０を初期位置Ｑ０から後退開始位置Ｑ１まで前進させ、後退開始位置Ｑ１から駐車目標Ｔにおける駐車完了位置Ｑ２まで後退させる誘導経路Ｋと、後退開始位置Ｑ１とを演算する。ここで、Ｑ０〜Ｑ２は、車両９０が初期位置、後退開始位置、駐車完了位置にある時の、車両９０の基準位置Ｑの基準座標上での座標を示している。初期位置とは、図５において車両９０が一旦停止する位置、図６や図７において駐車目標Ｔが設定された時点の位置である。多くの場合、駐車支援の開始時には、ドライバーによる指示入力が専用ボタンやタッチパネル４ｂ上のタッチボタンに対して与えられる。従って、その指示入力が与えられた時点での車両９０の位置を初期位置としてもよい。尚、図５においては、基準位置Ｑを丸印で示したが、図８では車両９０の向きも含めたベクトル座標として表現するために、頂点が方向を示す三角形で基準位置Ｑ（Ｑ０〜Ｑ２）を示している。誘導経路Ｋは、前進誘導経路Ｋ１と後退誘導経路Ｋ２とから構成される。

図９〜図１１は、前進誘導の際のモニタ装置４の画面の一例を示している。ここでは、複数のカメラ１（１ａ〜１ｄ）による撮影画像が合成された俯瞰画像と、何れか単一のカメラ１の撮影画像とが並んで表示されるマルチビュー画面を例示している。駐車目標Ｔが設定され、前進誘導経路Ｋ１に応じて車両９０が前進誘導される際の車両９０の進行方向は前方であるため、図９〜図１１においては、俯瞰画像と前方カメラ１ａによる撮影画像であるフロントビュー画像とが並んで表示される例を示している。俯瞰画像においては、自車両９０はカメラ１により撮影された画像ではなく、事前に撮影された画像や描画された画像に基づくアイコンＪとして表示されている。また、俯瞰画像において、駐車目標Ｔは枠状（矩形状）の目標アイコンＰとして強調表示されている。

俯瞰画像及びフロントビュー画像における符号Ｍは、重畳表示される前進誘導マーカーである。前進誘導マーカーＭは、複数のマーカーｍｓ，ｍｍ，ｍｔを含むマーカー群である。マーカーｍｓは本発明の近傍マーカーに相当し、マーカーｍｔは後退開始位置を示す本発明の遠方マーカーに相当する。マーカーｍｍは、近傍マーカｍｓと遠方マーカーｍｔの間に少なくとも１つ設定される中間マーカーである。

図９は、初期位置において車両９０のステアリングホイールがニュートラル位置で、操舵角がゼロの場合に、モニタ装置４に表示される前進誘導マーカーＭを例示している。フロントビュー画像には、車両９０側に位置する近傍マーカーｍｓから、後退開始位置に対応する遠方マーカーｍｔまでの全ての前進誘導マーカーＭが重畳表示される。前進誘導マーカーＭは、各マーカーの左側が真っ直ぐ前方に延びる形態でフロントビュー画像に重畳される。車両９０の近傍が視野である俯瞰画像には、後退開始位置が含まれないため、全ての前進誘導マーカーＭは重畳されていない。図９では、遠方マーカーｍｔ及び中間マーカーｍｍは俯瞰画像に重畳されず、車両９０の近傍に設定される近傍マーカーｍｓのみが重畳される例を示している。

図１０は、初期位置において車両９０のステアリングホイールが右方向に操作されている際、即ち、操舵角が右方向の値を有している場合に、モニタ装置４に表示される前進誘導マーカーＭを例示している。図９と同様に、フロントビュー画像には、車両９０側に位置する近傍マーカーｍｓから、後退開始位置に対応する遠方マーカーｍｔまでの全ての前進誘導マーカーＭが重畳表示される。前進誘導マーカーＭは、一連のマーカー群が右方向へ曲がっていくような形態でフロントビュー画像に重畳される。上述したように、俯瞰画像は、車両９０の近傍が視野であるため、図１０では、車両９０の近傍に設定される近傍マーカーｍｓのみが重畳される。

前進誘導マーカーＭは、操舵角に拘わらず、図１１に示すように、遠方マーカーｍｔから近傍マーカーｍｓへ向かうに従って各マーカーの幅が広くなるマーカー群の並びによって、前進経路Ｋ１を示す。操舵角がゼロの直進時には、図１１（ａ）に示すように、各マーカーの左端が真っ直ぐに直進する形態で、前進経路Ｋ１の方向を示し、遠方マーカーｍｔへ向かうほど狭くなる各マーカーの幅によって、後退開始位置への収束感を示す。また、右方向に操舵されている場合には、図１１（ｂ）に示すように、一連のマーカー群が右方向へ曲がっていくような形態で前進経路Ｋ１の方向を示し、遠方マーカーｍｔへ向かうほど狭くなる各マーカーの幅によって、後退開始位置への収束感を示す。つまり、操舵方向へ曲がっていくような形態で前進経路Ｋ１の方向が示され、操舵方向に拘わらず遠方マーカーｍｔへ向かうほど狭くなる各マーカーの幅によって、後退開始位置への収束感が示される。

また、それぞれのマーカーに色を付けることによって、各マーカーを区別すると共に、収束感を与えてもよい。例えば、近傍マーカーｍｓは、車両９０の移動範囲が比較的広く許容されるので、緑色や青色で着色され、前進の目標地点である遠方マーカーｍｔは、赤色で着色され、それらの間の中間マーカーｍｍは、黄色で着色されると好適である。尚、着色の際には、半透明に着色され、撮影画像の視認性を妨げないようにすると好適である。また、上記の配色は例示であり、当然ながら、他の配色であってもよい。

特に、俯瞰画像において、近傍マーカーｍｓが、車両９０の車幅よりも幅広に描画され、遠方マーカーｍｔが車両９０の車幅以下に描画されると好適である。後退開始位置として、前進時の目標となる遠方マーカーｍｔは、車両９０の車幅程度に狭い幅で描画された方が、収束感を与え、目標を明確に示す上で好ましい。一方、車両９０が動き始めて直ぐの位置を所定の許容差を有して示す近傍マーカーｍｓは、車両９０の車幅よりも広い幅で描画されることによって、車両９０の進行方向に自由度を与えることができる。また、ドライバーの運転操作に対して心理的な圧迫感を与えることなく、リラックスした運転操作を促すことになる。

例えば、図１１（ａ）において、車両９０は、近傍マーカーｍｓを通る経路を自由に選択可能である。操舵角がゼロのままで前進すれば、近傍マーカーｍｓの最も左側を経由することになり、やや右方向へ旋回すれば、近傍マーカーｍｓのほぼ中央を経由することになり、さらに右方向へ旋回すれば、近傍マーカーｍｓの最も右側を経由することになる。また、図１１（ｂ）においては、車両９０は、右方向への現時点での操舵角を保って前進することもでき、やや左方向へ操舵角を戻して前進することもでき、さらに右方向に操舵角を増やして前進することもできる。このように、近傍マーカーｍｓの幅を広くすることで、車両９０が前進を開始する際に車両９０が向かう方向の自由度が高くなり、ドライバーの選択肢が広がる。但し、何れの場合も、近傍マーカーｍｓから遠方マーカーｍｔへ向かうに従い、各マーカーの幅が狭くなるように描画される。従って、前進時の目標である後退開始位置は、収束感を持って描画され、ドライバーは目標を確実に把握して車両９０を前進させることができる。

尚、広角画像であるフロントビュー画像では、画像の下方ほど、幅方向の視野が狭く、画像の上方ほど、視野が広くなる。例えば、画像の下方における画像の幅いっぱいには、車両９０のバンパー部などが写っている。従って、近傍マーカーｍｓを俯瞰画像と同様に広い幅で描画する場合、描画する位置によってはフロントビュー画像の幅をはみだしてしまうことになる。従って、近傍マーカーｍｓは、フロントビュー画像に重畳された際に、画面の両サイドからはみださずに描画可能な範囲内で、車両９０の近傍に描画されると好適である。一例として、車両９０が初期位置において、近傍マーカーｍｓがモニタ装置４の画面の幅の半分程度（１／３〜２／３程度）の幅で描画されると好適である。

図１２は、車両９０が前進を開始した後の前進誘導マーカーＭを例示している。ここでは、右方向への旋回を伴って前進する場合を例示している。車両９０が前進するに伴い、車両９０は、近傍マーカーｍｓから順に各マーカーに到達する。車両９０の前方を撮影する前方カメラ１ｄにより撮影されたフロントビューの撮影画像が周辺画像の場合、周辺画像の視点は車両９０の前端である。従って、前進誘導マーカーＭの内、車両９０が到達したマーカーはこの視点よりも後方となって、周辺画像上に重畳することができなくなる。図１２に示すように、各マーカーは、近傍マーカーｍｓから順にフロントビュー画像から消えていくことになる。

一方、周辺画像が複数のカメラ１の撮影画像を合成して得られる俯瞰画像の場合、周辺画像の視点は車両９０の上方の仮想点である。視点が車両９０の上方であるから、車両９０が既に到達した前進誘導マーカーＭも視点の後方となることはない。また、周辺画像には車両９０の全体の姿もイラストあるいは予め撮影された写真等による車両アイコンＪとして表現される。従って、俯瞰画像においては、車両９０が到達した後も、既に到達した前進誘導マーカーＭを踏んで車両９０が進んでいるように、そのマーカーを車両９０の下（裏）に表示することができる。前進する車両９０の進行に伴って、前進誘導マーカーＭが車両９０の下に描画されていくことによって、仮想的に車両９０の移動履歴を示すことができる。ドライバーは前進誘導マーカーＭに示された前進経路Ｋ１と実際の車両９０の移動履歴との関係を把握しながら車両９０を前進させることができ、利便性が向上する。

表示制御部１６は、周辺画像、前進誘導マーカー、その他のアイコンやメッセージなどを重ね合わせて、１枚の表示画像としてモニタ装置４へ提供する。図１３は、表示画像のレイヤー構造の一例を示している。例えば、最も下層のレイヤー１には、俯瞰画像Ｆとフロントビュー画像Ｓが含まれる。このレイヤー１の上に、前進誘導マーカーＭが描画されたレイヤー２が重畳される。さらに、このレイヤー２の上に、俯瞰画像において車両９０を示す車両アイコンＪが描画されたレイヤー３が重畳される。車両アイコンＪは、前進誘導マーカーＭよりも上層に描画されるので、前進誘導マーカーＭの上を通過する車両アイコンＪを容易に描画することができる。

上述したように、駐車支援装置１０は、車両９０の移動状態を検出するセンサの検出結果に基づいて自己位置を推定する自己位置推定部１４を備えている。そして、経路演算部１３は、後退開始位置（Ｑ１）へ向かって移動する車両９０の自己位置（Ｑ）と、駐車目標Ｔとに基づいて誘導経路Ｋ及び後退開始位置（Ｑ１）を更新する。グラフィック制御部１５は、更新された誘導経路Ｋ及び後退開始位置（Ｑ１）に基づいて、少なくとも遠方マーカーｍｔを含む前進誘導マーカーＭを更新して周辺画像に重畳させる。

例えば、図１４に示すように、近傍マーカーｍｓを通過した位置に応じて、中間マーカーｍｍ及び遠方マーカーｍｔが更新される。近傍マーカーｍｓの左側を経由した場合には、中間マーカーｍｍがｍｍ１に更新され、遠方マーカーｍｔがｍｔ１に更新される。近傍マーカーｍｓの右側を経由した場合には、中間マーカーｍｍがｍｍ２に更新され、遠方マーカーｍｔがｍｔ２に更新される。図示は省略するが、上記と同様に車両９０が中間マーカーｍｍを通過した位置に応じて、その中間マーカーｍｍよりも遠方マーカーｍｔ側にある別の中間マーカーｍｍや、遠方マーカーｍｔが更新される。

上記説明においては、前進誘導マーカーＭが３つのマーカーｍｓ，ｍｍ，ｍｔからなるマーカー群により構成される場合を例示したが、マーカー群を構成するマーカーの数は３つに限定されるものではない。近傍マーカーｍｓと遠方マーカーｍｔとを含んでいれば、最低２つでもなく、当然ながら４つ以上であってもよい。また、上記説明においては、前進誘導マーカーＭが円形状や楕円形状で描画される例を示したが、当然ながら四角形や扁平な六角形など、他の形状であってもよい。また、四角形や六角形の場合であっても、それぞれの角が面取りされていてもよい。また、上記説明においては、車庫入れ駐車の場合を例示したが、本発明は、車庫入れ駐車に限定されることなく、縦列駐車において適用することを妨げるものではない。

以上説明したように、本発明によって、後退駐車を支援する際の後退開始位置を、簡単な構成で柔軟に誘導することが可能な駐車支援装置を提供することができる。

１：カメラ（車載カメラ、周辺検出装置）
１ａ：後方カメラ（車載カメラ）
１ｂ：左側方カメラ（車載カメラ）
１ｃ：右側方カメラ（車載カメラ）
１ｄ：前方カメラ（車載カメラ）
４：モニタ装置
１１：周辺画像提供部
１２：駐車目標設定部
１３：経路演算部
１４：自己位置推定部
１５：グラフィック制御部
ｍｔ：遠方マーカー
ｍｓ：近傍マーカー
Ｋ：誘導経路
Ｋ１：前進経路
Ｍ：前進誘導マーカー
Ｑ１：後退開始位置
Ｔ：駐車目標

Claims (3)

1. 少なくとも車両の進行方向が撮影された車載カメラの撮影画像を受け取って前記車両の周辺画像を車両内のモニタ装置に表示させる周辺画像提供部と、
   前記車両の駐車目標を設定する駐車目標設定部と、
   前記車両を後退開始位置まで前進させた後、前記駐車目標まで後退させる誘導経路と前記後退開始位置とを、前記駐車目標に基づいて所定の許容差を含めて演算する経路演算部と、
   前記後退開始位置に対応する遠方マーカーと、前記車両が経由すれば前記後退開始位置に到達可能な領域を示し前記遠方マーカーよりも前記車両側に位置する近傍マーカーとを含むマーカー群で構成され、前記遠方マーカーから前記近傍マーカーへ向かうに従って幅が広くなるマーカー群の並びによって前記後退開始位置への前進経路を示す前進誘導マーカーを生成して、前記周辺画像に重畳させるグラフィック制御部と、を備える駐車支援装置。
2. 前記車両の移動状態を検出するセンサの検出結果に基づいて自己位置を推定する自己位置推定部を備え、
   前記経路演算部は、前記後退開始位置へ向かって移動する前記車両の前記自己位置と、前記駐車目標とに基づいて前記誘導経路及び前記後退開始位置を更新し、
   前記グラフィック制御部は、更新された前記誘導経路及び前記後退開始位置に基づいて、少なくとも前記遠方マーカーを含む前記前進誘導マーカーを更新して前記周辺画像に重畳させる請求項１に記載の駐車支援装置。
3. 前記車載カメラが前記車両に複数個備えられ、前記周辺画像は前記複数の車載カメラからの複数の撮影画像に基づいて合成された俯瞰画像を含み、
   前記グラフィック制御部は、前記前進誘導マーカーを構成する各マーカーに前記車両が到達した後も、少なくとも前記車両が前記後退開始位置に到達するまでの間、各マーカーを前記俯瞰画像に対して重畳させる請求項１又は２に記載の駐車支援装置。

Images