以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に備えられた複数のカメラの撮影画像を元にして、車両を上方から見下ろした形態となる俯瞰画像を生成してモニタ装置に表示することが可能な駐車支援装置(運転支援装置・周辺監視装置)を例として説明する。俯瞰画像を用いることにより、ドライバーに対して運転操作の支援や、車両の周辺の障害物(立体物)などの監視支援を行うことができる。
車両90には、複数の車載カメラ1が設置されている。図1及び図2に示すように、車両90の後部、即ちバックドア91には後方カメラ1aが備えられている。左前部ドア92に備えられた左サイドミラー94の下部には左サイドカメラ1bが備えられ、右前部ドア93に備えられた右サイドミラー95の下部には右サイドカメラ1cが備えられている。また、車両90の前部には、前方カメラ1dが備えられている。以下の説明において、適宜、これらのカメラ1a〜1dを総称してカメラ1(車載カメラ)と称する。
カメラ1はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換して動画データ(撮影画像)をリアルタイムに出力するデジタルカメラである。カメラ1は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に140〜190°の視野角が確保されている。後方カメラ1a及び前方カメラ1dは、光軸に約30度程度の俯角を有して車両90に設置され、車両90からおおよそ8m程度までの領域を撮影可能である。左サイドカメラ1b及び右サイドカメラ1cはサイドミラー94及び95の底部に光軸を下方に向けて設置され、車両90の側面の一部と路面(地面)とが撮影可能である。駐車支援や周辺監視を含む運転支援の際には、カメラ1の撮影画像又は撮影画像から生成された画像が周辺画像としてモニタ装置4に表示される。モニタ装置4は、例えば、ナビゲーションシステムのモニタ装置が兼用される。カメラ1により撮影された画像は、図3に示すように、画像処理モジュール2を介してモニタ装置4に出力される。
画像処理モジュール2の詳細な機能に関しては後述するが、例えば、画像処理モジュール2は、複数のカメラ1により撮影された撮影画像を合成して、より広い視野の合成画像を生成する。また、画像処理モジュール2は、撮影画像や合成画像の視点を変換して俯瞰画像を生成する。具体的には、車両90の車体端部(前後位置の角部、コーナー部)の外方位置には、図2に示すように2つのカメラの撮影画像における重複領域Wが形成される。画像処理モジュール2は、この重複領域Wにおいて境界部位を目立たなくする画像処理を実施して合成画像を生成する。また、画像処理モジュール2は、この合成画像の視点を変換し、車両90の屋根の外観画像(グラフィック画像)を視点変換後の画像に重畳させて俯瞰画像を生成する。このグラフィック画像は、車両90の屋根の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両90の屋根の外観を撮影した写真画像や映像画像でもよい。当然ながら、単一のカメラ1の撮影画像をそれぞれ視点変換し、視点変換された複数のカメラ1の撮影画像を合成してもよい。複数の撮影画像の合成や画像の視点変換に関する画像処理技術は公知であるので詳細な説明は省略する。
図3に示すように、車両90の内部には、駐車支援装置を構成する駐車支援ECU(electronic control unit)9が備えられている。駐車支援ECU9は、CPU(central processing unit)5や、画像処理モジュール2、メモリ、その他の周辺回路を有して構成される。CPU5は、画像認識や進路予想などの高度な演算処理を行い、駐車支援装置10の中核を担う。CPU5は、プログラムメモリ6に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、CPU5は、必要に応じてワークメモリ7に一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ6やワークメモリ7が、CPU5とは別のメモリである例を図示しているが、CPU5と同一のパッケージ内に集積されていてもよい。また、本例では、CPU5を中核としたが、駐車支援装置10は、DSP(digital signal processor)など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
CPU5は、図3において符号50で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてCAN(controller area network)50を例示している。図3に示すように、駐車支援ECU9は、パワーステアリングシステム31やブレーキシステム37、ステアリングセンサ21や車輪速センサ23、シフトレバースイッチ25、アクセルセンサ29などと接続される。パワーステアリングシステム31やブレーキシステム37などの各システムは、駐車支援装置10と同様にCPUなどの電子回路を中核として構成され、駐車支援ECU9と同様に周辺回路と共に構成されたECUを中核として構成される。
パワーステアリングシステム31は、電動パワーステアリング(EPS : electric power steering)システムやSBW(steer-by-wire)システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ41によりアシストトルクを付加することが可能である。また、ステアリングホイールや操舵輪をアクチュエータ41により駆動することによって自動操舵を行うことも可能である。ブレーキシステム37は、ブレーキのロックを抑制するABS(anti lock braking system)や、コーナリング時の車両の横滑りを抑制する横滑り防止装置(ESC : electronic stability control)、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、BBW(brake-by-wire)システムである。このシステムは、アクチュエータ47を介して車両90に制動力を付加することができる。
ステアリングセンサ21は、ステアリングホイールの操舵量(回転角度)を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置10は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ21から取得して各種制御を実行する。車輪速センサ23は、車両90の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置10は、車輪速センサ23から取得した情報に基づいて車両90の移動量などを演算し、各種制御を実行する。
また、ブレーキシステム37は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して各種制御を実行する。このため、車輪速センサ23はブレーキシステム37に備えられている場合もある。この場合には、駐車支援装置10はブレーキシステム37を介して情報を取得する。同様に、駐車支援装置10は、ブレーキペダルの操作量を検出するブレーキセンサ27が検出した情報も、ブレーキシステム37を介して取得する。駐車支援装置10は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
図3に示すように、モニタ装置4は、表示部4aと、表示部4aに形成されたタッチパネル4bと、スピーカ4cとを有している。表示部4aは、画像処理モジュール2から提供されるカメラ1の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部4aは液晶ディスプレイによって構成される。タッチパネル4bは、表示部4aと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図3においては、スピーカ4cは、モニタ装置4に備えられている場合を例示しているが、スピーカ4cはドアの内側など、他の場所に備えられても良い。スピーカ4cは、CPU5の指示に応じて音声処理モジュール3から提供される音声を出力する。尚、CPU5は、単純にブザー8を介して報知音を鳴らす場合もある。
図3に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接CAN50に接続されても良いし、種々のシステムを介して接続されてもよい。
上述したように、駐車支援装置10は、CPU5を中核として構成され、プログラムメモリ6に格納されたプログラム(ソフトウェア)と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
(1)車内に搭載されたモニタ上に車両後方の映像を映し出すと共に、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
(2)駐車目標を設定し、音声などによりドライバーの操作を指示して誘導するもの、
(3)さらに、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、などがある。(2)及び(3)では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
(a)駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
(b)例えば駐車区画を示す区画線を画像認識して駐車目標を設定するもの、
(c)駐車目標位置を通過した際に、ソナー(クリアランスソナー33)などで空き領域を検出して自動認識し、駐車目標を設定するもの、
(d)精度向上のために、上記(b)や(c)など複数の手法を複合させたもの、
などがある。(a)〜(d)の何れの場合も、運転者の手動によって駐車目標の微調整が可能となっているものが多い。
本実施形態では、上記(3)に示したように、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するものとする。以下においては、ドライバーがシフトレバーをリバースにセットした後、自動操舵を伴って駐車目標まで誘導する駐車支援を例として説明する。しかし、上記(2)に示したように、運転操作はドライバーが行い、駐車支援装置10は音声などにより操作を案内するものであっても操作を案内するための誘導経路は演算されるので本発明を適用可能である。
CPU5を中核として構成され、プログラムと協働して駐車支援のための種々の演算を実施する駐車支援装置10は、図4に示すような機能部を有して構成される。即ち、駐車支援装置10は、周辺画像生成部11と、駐車目標設定部13と、経路演算部14と、探索領域設定部15と、立体物検出部16と、表示画像生成部18とを備える。以下、各機能部の詳細について順に説明する。
周辺画像生成部11は、車両90の周辺の情景を撮影するカメラ1の撮影画像を受け取り、その撮影画像に基づいて車両90の周辺画像を生成する機能部である。そして、表示画像生成部18は、周辺画像を車両90内のモニタ装置4に表示させるための表示画像を生成する機能部である。周辺画像生成部11及び表示画像生成部18は、画像処理モジュール2を中核として構成される。周辺画像生成部11は、撮影画像メモリ51、画像生成部53、周辺画像メモリ57を含んでいる。カメラ1によって取得された撮影画像はバッファメモリとしての撮影画像メモリ51に展開されて一時保管される。画像生成部53には、通常画像生成部54と俯瞰画像生成部55とマッピングテーブル56とが含まれている。通常画像生成部54は、撮影画像をほぼそのままの形態で周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される周辺画像はカメラ1a〜1dごとに独立しており、表示画像生成部18において任意に選択された画像が表示画像としてモニタ装置4に提供される。
俯瞰画像生成部55は、撮影画像メモリ51に展開されている撮影画像を、マッピングテーブル56に記録されている変換情報に基づいて自車(車両90)の周囲を上方から見たときの俯瞰画像に変換し周辺画像メモリ57に格納する。この際、俯瞰画像の生成に先立って、4つのカメラ1a〜1dによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整して、適切な画像境界線で区分けする前処理が実行されると好適である。マッピングテーブル56は種々の形態で構築することができる。一例として、図5に示すように、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとしてマッピングテーブル56が構築されると好適である。具体的には、1フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたテーブルとして構築されると好適である。
図5には、縦列駐車を開始する際に、4つのカメラ1a〜1dの撮影画像に基づいて俯瞰画像へ変換する様子が模式的に示されている。後方カメラ1aによる撮影画像(後方撮影画像)はマッピングテーブル56によって俯瞰画像の後方領域画像に座標変換される。前方カメラ1dによる撮影画像(前方撮影画像)はマッピングテーブル56によって俯瞰画像の前方領域画像に座標変換される。左サイドカメラ1bによる撮影画像(左サイド撮影画像)はマッピングテーブル56によって俯瞰画像の左領域画像に座標変換される。右サイドカメラ1cによる撮影画像(右サイド撮影画像)はマッピングテーブル56によって俯瞰画像の右領域画像に座標変換される。このように、各カメラ1a〜1dの撮影画像を俯瞰画像に変換するために4つの異なるマッピングテーブル56が備えられる。このような4つの撮影画像を用いた俯瞰画像生成は、車両90が後述する誘導経路Kに沿って走行する間逐次行われ、モニタ装置4に表示される。
駐車目標設定部13は、車両90の駐車目標を設定する機能部である。また、経路演算部14は、駐車目標まで車両90を誘導する誘導経路を演算する機能部である。駐車目標設定部13は、上記(a)〜(d)に示したような手法により駐車目標を設定する。ここでは、代表として上記(a)に対応し、駐車支援開始時の車両90の停止位置に基づいて車両90からの所定位置を駐車目標Tの初期位置として設定する例を図6及び図7を利用して説明する。
車庫入れ駐車の場合、車両90は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画のほぼ中央が運転席の真横となる位置で一旦停止する。つまり、図6において、ドライバーが駐車区画の中央を助手席の窓を通して目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Tが設定される。例えば、車両90から横方向に距離Dだけ離れた位置に、所定の大きさの駐車目標Tが設定される。駐車目標Tは、車両90の基準位置Q、例えば、後輪の車輪軸と車両90の前後を貫く車軸との交点を基準として基準座標(ワールド座標)上において設定される。縦列駐車の場合には、車両90は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画の先頭、例えば目標となる駐車区画の前方に駐車している駐車車両の後端が運転席の真横となる位置で一旦停止する。つまり、図7において、ドライバーが助手席の窓を通して駐車車両の後端を目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Tが設定される。
尚、上記(b)において例示したように、白線などの区画線(路面標示)Yで示された駐車区画を画像認識して、駐車区画の中に駐車目標Tを設定してもよい。この際、例えば、サイドカメラ1bの視野が遠くまで設定されていない場合には、区画線Yの一部を画像認識してもよい。そして、車両90側における駐車区画の端部を起点として、所定の大きさの駐車区画を推定し、基準座標上に駐車目標Tを設定してもよい。また、一旦停止位置をさらに前方に進めて、後方カメラ1aによる撮影画像を用いて区画線Yを認識してもよい。勿論、上述した俯瞰画像を用いて区画線Yを認識してもよい。
また、上記(c)において例示したように、ソナー(クリアランスソナー33)などで空き領域を検出して駐車区画を自動認識して駐車目標を設定してもよい。つまり、図6及び図7に示したように、目標となる駐車区画の横を前進しながら通過する際に、車両90の左右方向に向けて取り付けたクリアランスソナー33で駐車車両との距離を検出する。そして、車輪速センサ23やステアリングセンサ21の検出結果に基づき演算される自車両90の移動軌跡と関連させながら距離データを時系列に記憶する。これにより、駐車車両の位置を路面平面上に設定されるワールド座標上に位置データとして記憶する。距離データの連続性からノイズ除去、グループ化、バンパー形状などの車両形状に対するマッチング、位置補正処理等を実施して、駐車車両の端部を計算して空き空間を推定する。この空き空間に駐車目標Tが設定される。尚、上記(d)に示したように、複数の手法を複合させてもよい。つまり、空き空間における区画線Yを画像認識することによって、さらに精度良く空き空間を検出して、駐車目標Tを設定してもよい。
経路演算部14は、駐車目標Tまで車両90を誘導する誘導経路を演算する機能部である。本実施形態においては、経路演算部14は、車両90を後退開始位置まで前進させた後、駐車目標まで後退させる誘導経路を演算する。駐車目標Tが設定されると、経路演算部14は、図8及び図9に示すように、車両90を初期位置Q0から後退開始位置Q1まで前進させ、後退開始位置Q1から駐車目標Tにおける駐車完了位置Q2まで後退させる誘導経路Kと、折り返し点である後退開始位置Q1を演算する。ここで、Q0〜Q2は、それぞれ車両90が初期位置(Q0)、後退開始位置(Q1)、駐車完了位置(Q2)にある時の、車両90の基準位置Qの基準座標上での座標を示している。初期位置とは、図6及び図7において車両90が一旦停止する位置、即ち駐車目標Tが設定された時点の位置である。多くの場合、駐車支援の開始時には、ドライバーによる指示入力が専用ボタンやタッチパネル4b上のタッチボタンに対して与えられる。従って、その指示入力が与えられた時点での車両90の位置を初期位置としてもよい。尚、誘導経路Kは、前進誘導経路K1と後退誘導経路K2とから構成される。誘導経路Kの生成手法は、特開2003−237511号公報や特開2008−284969号公報等に例示されているように公知であるから詳細な説明は省略する。
誘導経路Kに従って進行する車両90は、特に後退誘導経路K2に従って進行する際に、比較的大きい旋回を伴う。車両90が旋回を伴って進行する際には内輪差や外輪差により、車体が車輪よりも内側、あるいは外側を通る。車体端部(コーナー部)は、ドライバーから死角となり易い場所であるから、車両90の周辺に立体物が存在した場合には、この立体物に車両90が接触する可能性が生じる。尚、ここで、立体物とは、路面に対して立体的な他の物体や構造物をいい、駐車車両や、ガードレール、路側に設けられた歩道と路面との段差や溝等の路肩、等を含む。
探索領域設定部15は、誘導経路K、特に後退誘導経路K2に従って進行する車両90の車体端部が、立体物と近接又は接触する可能性が高い所定の領域を、撮影画像又は周辺画像上における探索領域として設定する。探索領域は、誘導経路Kに沿った駐車走行時においてドライバーが注意すべき注意領域ということもできる。後述するように、立体物検出部16は、探索領域において画像認識を行い、立体物を検出する。
図10は、そのような探索領域Zを例示している。図10の(a)には、車庫入れ駐車時の誘導経路Kに沿って設定される4つの探索領域Z(Z1,Z2,Z3,Z4,Z5)が例示されている。また、図10の(b)には、縦列駐車時の誘導経路Kに沿って設定される3つの探索領域Z(Z5,Z6,Z7)が例示されている。これらの探索領域Zは、車両90の中心が誘導経路Kに沿って移動した際に、車両90の車体端部(コーナー部)が誘導経路Kから大きく振れることにより他の駐車車両100や立体物などに接触する可能性が大きくなる領域である。
立体物検出部16は、これら探索領域Zにおいて画像認識を行い、立体物を検出する。探索領域Zは、画像処理対象領域であり、画像認識における関心領域(ROI:region of interest)に相当する。本実施形態では、撮影画像(通常画像)を含む周辺画像を用いて画像認識により立体物を検出する。立体物検出部16は、特開2010−128939号公報(特許文献1)に開示されたように、視差が生じている2枚の画像の一方から他方の視点に基づく画像に位置補正を施した予測画像を生成する。そして、他方の画像と予測画像との差分を取って立体物を抽出する。位置情報は、車輪速センサ23の検出結果に基づく車両90の移動量と、ステアリングセンサ21で検出されるステアリングホイールの操舵量とに基づいて演算される。
図11は、図5を利用して上述した俯瞰画像が、モニタ装置4に表示される際の表示形態の一例を示している。本実施形態では、モニタ装置4の画面は、俯瞰画像を表示する俯瞰画像表示領域と、何れかのカメラ1による撮影画像(例えば自車進行方向の撮影画像)に基づく通常画像を表示する通常画像領域とに区分けされている。水平方向視の撮影画像から視点変換して俯瞰画像を生成した場合、高さのある立体物は歪んでしまう。俯瞰画像と通常画像とが共に表示されることで、立体物を通常画像で確認することも可能である。図4に示すように、画像処理モジュール2は、表示画像生成部18を備えている。表示画像生成部18は、周辺画像を車両90内のモニタ装置4に表示させるための表示画像を生成する。表示画像生成部18は、俯瞰画像と通常画像とが含まれた表示画像を生成してモニタ装置4に出力する。尚、表示画像生成部18は、俯瞰画像に対して自車両を示すアイコンを重畳させてモニタ装置4に出力する。表示画像生成部18は、自車イメージ提供部64及び画像合成部66を備えており、画像合成部66は、自車イメージ提供部64から提供された自車アイコンを俯瞰画像に合成して出力する。
また、図11に示すように、俯瞰画像はモニタ装置4に表示される範囲よりも広い範囲が含まれる画像として生成される。従って、モニタ装置4に表示される際には、一般的には図11上段に例示されているように、中央部分がトリミング処理されたトリミング画像となる。一方、上述したように、本実施形態では、立体物を検出するための対象領域として探索領域Zが設定されている。従って、例えば図11の下段に例示されているように、探索領域Zが多く含まれるように探索領域Z7,Z8の方へオフセットしてトリミング画像が生成されると好適である。立体物が存在する可能性の多い領域が多く俯瞰画像に含まれることになるので、立体物の確認が容易となる。図11から明らかなように、下段のオフセットされた画像には上段の画像に比べて、探索領域Z7,Z8に対応する領域が多く含まれる。従って、これらの領域に立体物が存在した場合に、ドライバーは、良好に視認することができる。
但し、上述したように、立体物は、俯瞰画像上では歪んでしまう場合がある。このため、表示画像生成部18は、図12に示すように立体物が存在することを報知する報知アイコンGを周辺画像、特に俯瞰画像において立体物が存在する位置に重畳させて表示画像を生成する。この報知アイコンGは、報知イメージ提供部65により生成され、画像合成部66に提供される。画像合成部66は、報知アイコンGを重畳させてモニタ装置4に表示画像を出力する。報知アイコンGは、立体物の形状を示し、ドライバーに立体物を連想させるものでなくてもよい。報知アイコンGは、図12に符号G1として例示するように、文字や記号、イラストなどによって「立体物有り」、「注意」、「!」等と表示するものであってもよい。これにより、俯瞰画像上において立体物が歪んで表示され、一見して何であるかが判らないような場合であっても、ドライバーは注意をすべきことを理解できる。路肩については、さらに、路肩に沿った線や長尺の長方形などの報知アイコンG2(G)を用いて、路肩の存在を報知してもよい。
また、立体物検出部16によって路肩が検出され、路肩と駐車目標Tとが近接して駐車目標T内の車両90が路肩に近づきすぎる可能性があると判定された場合には、経路演算部14は、誘導経路Kを修正する。これにより、駐車目標Tを設定した際の認識結果に拘束されることなく、より適切な位置へ車両90を誘導することが可能となる。
以下、上述のように構成された駐車支援装置10による駐車支援制御の流れを図13のフローチャートを用いて説明する。ここでは、上記(3)に示したように、自動操舵により車両90が誘導される場合を例示する。即ち、CPU5を中核として構成される不図示の誘導部は、車輪速センサ23、ステアリングセンサ21、ブレーキセンサ27等の検出結果並びに誘導経路Kに基づいて、公知のデットレコニング(Dead-Reckoning)技術を用いて車両90を誘導する。具体的には、誘導部によりパワーステアリングシステム31やブレーキシステム37が制御される。当然ながら、自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。また、上記(2)に示したように、操作手順を報知してドライバーに運転操作を行わせることも可能である。
図6及び図7を用いて上述したように、駐車支援の開始時には、ドライバーは、駐車区画の近傍位置で車両90を停車させる。停車時の自車位置は図8及び図9を用いて上述したように、初期位置Q0として設定され(図13#2)、初期位置Q0を基準として駐車目標T(Q2)が設定される(#4)。初期位置Q0と駐車目標Tが設定されると、初期位置Q0から駐車目標T(Q2)までの誘導経路Kが演算される(#6)。誘導経路Kが求められると、この誘導経路の形態、特に経路進行に伴う曲率の変動に基づいて、車両90の一部が立体物と接触する可能性が高い箇所などが探索領域Zとして設定される(#8)。例えば、車両90が誘導経路を移動する際にその周辺に立体物などが存在した場合に、当該立体物に車両90が接触する可能性が高い領域は統計学的に推定することができる。もちろん、より高い信頼度でもって推定を行うためには、後進と前進のどちらで走行しているかという条件や、その車両特性、特に操向特性も考慮する必要がある。いずれにしても、予め多数の誘導経路のパターンを想定して、各誘導経路パターンにおける車両90の経路位置での接触可能性から、立体物を探索すべき周囲領域Zを推定し、その周囲領域を割り当てておくことで、簡単に探索領域Zを決定することができる。探索領域Zは、予めその位置や大きさとともに探索領域リストに記録されていてもよい。
探索領域が設定されると、自車位置が演算され(#10)、撮影画像が取り込まれる(#12)。この撮影画像に基づいて、上述したように通常画像や俯瞰画像による周辺画像が生成される。次いで、周辺画像に探索領域Zが含まれるか否かが判定される(#14)。周辺画像に探索領域Zが含まれる場合には、当該探索領域Zに対して立体物検出処理が施される(#16)。そして、立体物が検出されたか否かが判定され(#18)、立体物が存在する場合には、立体物報知処理が実行される(#20)。立体物が存在する場合には、さらに、誘導経路Kの変更が必要か否かが判定される(#22)。例えば、立体物として路肩が検出され、路肩と駐車目標Tとの関係から、車両90と路肩との距離が所定のしきい値よりも近くなるような場合に、誘導経路Kの変更が必要と判定される。誘導経路Kの変更が必要と判定された場合には、経路演算部14により誘導経路補正処理が実行される(#24)。そして、車両90は、補正された新しい誘導経路Kに従って誘導される(#26)。誘導に伴って再び、自車位置が演算され(#28)、車両90が駐車目標T(Q2)に到達したか否かが判定される(#30)。車両90が、駐車目標T(Q2)に到達していれば、駐車支援が終了され、到達していなければ上述したステップ#10〜#30が繰り返し実行される。
尚、上述した実施形態では、俯瞰画像を周辺画像とし、俯瞰画像上に探索領域Zが設定される例を示したが、当然ながら探索領域Zは俯瞰画像に設定されることに限定されるものではない。撮影画像をほぼそのまま利用した略水平視の画像を周辺画像として、その周辺画像上に探索領域Zを設定してもよい。また、モニタ装置4への表示を前提とした周辺画像を用いることなく、撮影画像に対して探索領域Zを設定してもよい。
また、上述した実施形態では、立体物検出部16が、探索領域Zにおいて画像認識を行い、立体物100を検出する例を用いて説明した。しかし、立体物検出部16による立体物探索は、画像処理に限定されるものではない。立体物検出部16は、探索領域Zに対応する車両90の実際の周辺領域に対してソナーやレーザーなどを用いて立体物探索を行い、立体物を検出してもよい。この際、1つの形態として、車両90の移動に応じてポイントセンサとしてのソナーやレーザーなどによって距離画像データを生成しておき、この距離画像データに探索領域Zに対応する関心領域ROIを設定して立体物探索を行ってもよい。あるいは、比較的視野の広いソナーなどを用いて、探索領域Zに対応する車両90の実際の周辺領域の一部の空間を走査して、立体物探索を行ってもよい。
以上説明したように、本発明によって、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置を提供することが可能となる。