JP6388267B2

JP6388267B2 - 運転支援装置

Info

Publication number: JP6388267B2
Application number: JP2017205423A
Authority: JP
Inventors: 将由道口; 達人流郷; 謙二岡野; 由希子伊藤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2011-08-26
Filing date: 2017-10-24
Publication date: 2018-09-12
Anticipated expiration: 2032-08-24
Also published as: CN107097721A; JP6241687B2; JP2018034794A; EP2750382B1; US10235575B2; WO2013031161A1; US11657618B2; CN107097721B; CN103782591A; US20190163987A1; US20140218531A1; US20210192230A1; CN103782591B; JP2016219025A; EP2750382A4; EP2750382A1; JP5979505B2; US10970562B2; JPWO2013031161A1

Description

本発明は駐車時に障害物との衝突可能性を報知する運転支援装置に関する。

従来から、複数のカメラによって撮像された画像を用いて、俯瞰視点で車両の全周囲を示す全周囲画像を合成、表示して運転を支援する運転支援装置が知られている（例えば特許文献１参照）。

しかし、全周囲画像は路面位置に投影された各カメラ画像を用いて合成されるため、隣り合うカメラの接合境界で立体物の消失（死角）が発生していた。一般に各カメラ画像の接合境界はカメラ取り付け位置やその画角、画素密度などの制約により、車両の四隅付近に設定される。車両の四隅はドライバの目視によっても死角になりやすい。このため、ドライバはこの接合境界付近で立体物を認識できずに運転を継続して、立体物が車両に衝突する可能性がある。

この問題を解決するため、従来はソナーやギア等に連動させてカメラ画像の接合境界の位置や角度を変更していた（例えば特許文献２、特許文献３参照）。

国際公開第００／６４１７５号特開２００７−１０４３７３号公報特開２００６−１２１５８７号公報

しかし、従来の手法では、車両直近（車体から数十センチ以内の距離）で、依然として死角が生じるという問題があった。特に、例えばソナー等によって立体物の存在が検出されているにもかかわらず俯瞰画像上では立体物が消失してしまい、ドライバが立体物の存在を認識できなくなるおそれがあった。

本発明の目的は、立体物が検出されているにもかかわらず俯瞰画像における車両直近で立体物が消失することを防止することができる運転支援装置を提供することである。

本発明の運転支援装置は、自車両周囲を撮像する第１撮像手段と、自車両周囲に存在する立体物を検出するセンサと、前記第１撮像手段とは別に設けられ、前記センサによる検出範囲を画角内に包含して撮像する第２撮像手段と、前記第１撮像手段から入力された自車両周囲の撮像画像を合成した俯瞰画像を表示する表示手段と、を備え、前記表示手段は、前記センサが立体物を検出しないとき、前記第２撮像手段の撮像画像を用いずに、前記第１撮像手段の撮像画像を用いて自車両の全周囲を示す俯瞰画像を表示し、前記表示手段は、前記センサが立体物を検出したとき、前記第１撮像手段の撮像画像と前記第２撮像手段の撮像画像とを用いて自車両の全周囲を示す俯瞰画像を表示する。

本発明の運転支援装置によれば、立体物が検出されているにもかかわらず俯瞰画像における車両直近で立体物が消失することを防止することができるため、ドライバが車両直近の立体物を認識しやすくなるという効果を奏する。

本発明の実施形態１における運転支援装置の構成を示すブロック図本発明の実施形態１における第１、第２撮像手段の車両への取り付け位置をイメージで説明する図本発明の実施形態１におけるソナーの車両への取り付け位置をイメージで説明する図本発明の実施形態１における第２撮像手段の画角とソナーの検出範囲を水平面のイメージで説明する図本発明の実施形態１における立体物をイメージで説明する図本発明の実施形態１における運転支援装置による運転支援処理のフローチャート図同図６のステップＳ６５で作成された俯瞰画像をイメージで説明する図同図７の俯瞰画像に生じる死角領域をイメージで説明する図同図８の死角領域の境界をイメージで説明する図本発明の実施形態２における運転支援装置の構成を示すブロック図本発明の実施形態２における第１、第２撮像手段の車両への取り付け位置をイメージで説明する図本発明の実施形態２におけるソナーの車両への取り付け位置をイメージで説明する図本発明の実施形態２における第２撮像手段の画角とソナーの検出範囲を水平面のイメージで説明する図本発明の実施形態２における運転支援装置による運転支援処理のフローチャート図

（実施形態１）
以下、本発明の実施形態１の運転支援装置について図面を参照しながら説明する。なお、本実施形態において、車両は右ハンドルを一例として説明する。左ハンドルの場合は左右が逆になる。

図１は本発明の実施形態１の運転支援装置の構成を示すブロック図である。

図１において、運転支援装置１は、画像処理を行う画像ＥＣＵ（ＥｌｅｃｔｒｉｃＣｏｎｔｒｏｌＵｎｉｔ）で構成され、揮発性メモリ２と、画像処理手段３と、不揮発性メモリ４と、制御手段５と、これらを互いに接続するバス６とを有する。運転支援装置１は、第１撮像手段７と、入力手段８と、車速センサ９と、ステアリングセンサ１０と、ギア１１と、ソナー１２と、表示手段１３と、第２撮像手段１４と接続する。入力手段８、車速センサ９、ステアリングセンサ１０、ギア１１、ソナー１２、表示手段１３、第２撮像手段１４は運転支援装置１に含まれてもよい。なお、図１に示すステアリングセンサ１０およびステアリング信号は、それぞれ、「舵角センサ１０」および「舵角信号」と換言してもよい。

揮発性メモリ２は、例えばビデオメモリやＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）で構成される。揮発性メモリ２は第１撮像手段７と接続する。また、揮発性メモリ２は第２撮像手段１４と接続する。揮発性メモリ２は、第１撮像手段７、第２撮像手段１４から所定時間毎に入力された撮像画像から得られる画像データを一時記憶する。揮発性メモリ２に記憶された画像データは、バス６を介して画像処理手段３に出力される。

画像処理手段３は、例えばＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＶＬＳＩ（ＶｅｒｙＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）で構成される。画像処理手段３は表示手段１３と接続する。画像処理手段３は、揮発性メモリ２から入力された画像データを視点変換し、不揮発性メモリ４から入力された画像データを重畳した俯瞰画像を所定時間毎に作成する。画像処理手段３は、俯瞰画像に視点変換を施さないノーマル画像を並べた合成画像を作成してもよい。視点変換の手法は、例えば国際公開第００／６４１７５号に開示された技術を用いることができる。画像処理手段３は、この所定時間毎に作成された合成画像を表示画像として表示手段１３に出力する。

不揮発性メモリ４は、例えばフラッシュメモリやＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）で構成される。不揮発性メモリ４は、自車両の画像データ等の各種画像データ、運転状況に応じた表示方法に関するデータテーブルが記憶されている。不揮発性メモリ４に記憶された画像データは、制御手段５の命令によって読み出され、画像処理手段３による各種画像処理に用いられる。

制御手段５は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）で構成される。制御手段５は、入力手段８と、車速センサ９と、ステアリングセンサ１０と、ギア１１と、ソナー１２と接続する。制御手段５は、入力手段８、車速センサ９、ステアリングセンサ１０、ギア１１、ソナー１２から入力された各種信号に基づいて、画像処理手段３の画像処理、揮発性メモリ２や不揮発性メモリ４から読み出すデータ、第１撮像手段７や第２撮像手段１４からの入力や表示手段１３への出力等を制御する。

第１撮像手段７はそれぞれ４つのカメラで構成される。一方、第２撮像手段１４は１つのカメラで構成される。第１撮像手段７、第２撮像手段１４は、所定時間毎に撮像した撮像画像を運転支援装置１の揮発性メモリ２に入力する。第１撮像手段７は、自車両の全周囲を撮像できるように車体に取り付けられる。また、第２撮像手段１４は、車両の左前方コーナに設置されている。この第１撮像手段７、第２撮像手段１４の車体への取り付け位置について説明する。

図２は第１撮像手段７、第２撮像手段１４の車両への取り付け位置をイメージで説明する図である。図２に示すように、第１撮像手段７は前方カメラ７ａ、右側方カメラ７ｂ、左側方カメラ７ｃ、後方カメラ７ｄとで構成される。前方カメラ７ａ、後方カメラ７ｄは例えば車体前後のバンパにそれぞれ取り付けられる。右側方カメラ７ｂ、左側方カメラ７ｃは、例えば自車両の左右ドアミラー下部にそれぞれ取り付けられる。一方、第２撮像手段１４は自車両の左前方コーナに取り付けられる。

入力手段８は、例えばタッチパネルやリモコン、スイッチで構成される。入力手段８は、タッチパネルで構成される場合、表示手段１３に設けられてもよい。

車速センサ９、ステアリングセンサ１０、ギア１１、ソナー１２は、それぞれ自車両の車速を示す車速信号、舵角を示す舵角信号、シフトレバーの状態を示すギア信号、立体物の検出信号や距離信号を制御手段５に出力する。ソナー１２は、８つのソナーで構成され、自車両の車体四隅の四箇所と、車体の前後の四箇所に取り付けられる。このソナー１２の車体への取り付け位置について説明する。

図３はソナー１２の車両への取り付け位置をイメージで説明する図である。図３に示すように、ソナー１２は、左前方コーナソナー１２ａ、右前方コーナソナー１２ｂ、左後方コーナソナー１２ｃ、右後方コーナソナー１２ｄ、左前方ソナー１２ｅ、右前方ソナー１２ｆ、左後方ソナー１２ｇ、右後方ソナー１２ｈで構成される。図３に示すように、左前方ソナー１２ｅ、右前方ソナー１２ｆ、左後方ソナー１２ｇ、右後方ソナー１２ｈのそれぞれの水平面の検出範囲１６ｅ〜１６ｈは、左前方コーナソナー１２ａ、右前方コーナソナー１２ｂ、左後方コーナソナー１２ｃ、右後方コーナソナー１２ｄのそれぞれの水平面の検出範囲１６ａ〜１６ｄよりも狭く設定されている。次に、左前方コーナソナー１２ａの検出範囲と第２撮像手段１４の画角との関係について説明する。

図４は、第２撮像手段１４の画角と左前方コーナソナー１２ａの水平面の検出範囲をイメージで説明する図である。図４に示すように、第２撮像手段１４の画角１７は、水平面で略１８０度に設定されている。そして、左前方コーナソナー１２ａの検出範囲１６ａは、第２撮像手段１４の画角１７内に包含される。すなわち、第２撮像手段１４の画角１７内に左前方コーナソナー１２ａの検出範囲１６ａが全て含まれている。

第２撮像手段１４は左前方コーナソナー１２ａよりも車体上方に取り付けられていることが望ましい。これによって、左前方コーナソナー１２ａの検出範囲１６ａは、第２撮像手段１４の画角１７内に三次元的に包含されやすくなる。また、第２撮像手段１４と左前方コーナソナー１２ａの光軸は略等しいことが望ましい。これによって第２撮像手段１４の画角１７内における左前方コーナソナー１２ａの検出範囲１６ａのずれが小さくなり、左前方コーナソナー１２ａの検出範囲１６ａの一部が第２撮像手段１４の画角１７外にはみ出してしまうおそれを低減することができる。

表示手段１３は、例えばナビゲーション装置やリアシートのディスプレイで構成される。表示手段１３は、画像処理手段３から入力された合成画像を表示する。この合成画像は俯瞰画像のみであってもよいし、俯瞰画像とノーマル画像とを並列に並べた画像であってもよい。この俯瞰画像の境界付近で死角が存在すると立体物が消失する。ここで、本実施形態における立体物について例示する。

図５は、本実施形態における立体物をイメージで説明する図である。図５に示すように、幅、奥行き、高さがそれぞれ約３０ｃｍ、約３０ｃｍ、約５０ｃｍのカラーコーン（登録商標）を本実施形態における立体物と想定する。このカラーコーン（登録商標）が俯瞰画像上で三次元的に半分以上消失したとき、俯瞰画像の境界付近で死角が存在することを意味する。

次に、制御手段５による運転支援処理について説明する。

図６は、制御手段５による運転支援処理のフローチャート図である。

まず、ステップＳ６１に示すように、制御手段５は、ギア１１から入力されたギア信号に基づいてシフトレバーがリバースの状態であるか否かを判定する。

ステップＳ６１でＹＥＳの場合、制御手段５の命令によって、画像処理手段３は、揮発性メモリ２から取得した第１撮像手段７の撮影画像を用いて俯瞰画像を作成する。そして、ステップＳ６２に示すように、表示手段１３はこの作成した俯瞰画像と揮発性メモリ２から取得した後方カメラ７ｄの後方画像とを並列表示する。

次にステップＳ６１でＮＯの場合、ステップＳ６３に示すように、制御手段５の命令によって、画像処理手段３は、揮発性メモリ２から取得した第１撮像手段７の撮影画像を用いて俯瞰画像を作成し、表示手段１３はこの作成した俯瞰画像と揮発性メモリ２から取得した前方カメラ７ａの前方画像とを並列表示する。

次に、ステップＳ６４に示すように、制御手段５は、ソナー１２の検出結果から、自車両の左前方コーナに立体物が存在するか否かを判定する。すなわち、制御手段５は、左前方コーナソナー１２ａが立体物を検出したか否かを判定する。ステップＳ６４でＮＯの場合、ステップＳ６１の処理を再度行う。

一方、ステップＳ６４でＹＥＳの場合、ステップＳ６５に示すように、画像処理手段３は、第１撮像手段７の撮像画像と第２撮像手段１４の撮像画像とを用いて新たに俯瞰画像を作成し、表示手段１３にこの作成した俯瞰画像を表示させる。すなわち、左前方コーナソナー１２ａが立体物を検出したときのみ、画像処理手段３は、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像と、第２撮像手段１４の撮像画像とを用いて俯瞰画像を作成する。逆に言うと、左前方コーナソナー１２ａが自車両の左前方コーナの立体物を検出しなかったとき、画像処理手段３は、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像のみを用いたこれまでの俯瞰画像を作成する。このステップＳ６５で作成される俯瞰画像と、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像によって作成される通常の俯瞰画像との相違点については後述する。

次にステップＳ６６に示すように、制御手段５は、自車両の進行方向が前進しているか否かを判定する。このとき、制御手段５は、ギア１１から入力されたギア信号に基づいて自車両の進行方向を特定する。すなわち、制御手段５は、ギア信号からシフトレバーがフロントであるか否かを判定する。

ステップＳ６６でＹＥＳの場合、ステップＳ６７に示すように、制御手段５は、ステップＳ６２によって表示手段１３に並列表示している後方画像またはステップＳ６３によって表示手段１３に並列表示している前方画像の代わりに、第２撮像手段１４の撮像画像を表示手段１３に表示させる。

ステップＳ６７の処理後、またはステップＳ６６でＮＯの場合、ステップＳ６８に示すように、制御手段５は、運転支援モード終了を検出したか否かを判定する。ステップＳ６８でＹＥＳの場合、制御手段５は運転支援処理を終了する。例えば入力手段８から運転支援モード終了の入力がなされた場合、制御手段５は運転支援処理を終了する。一方、ステップＳ６８でＮＯの場合、制御手段５はステップＳ６１の処理を再度行う。

次に、左前方コーナソナー１２ａが立体物を検出した場合にステップＳ６５で作成される俯瞰画像と、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像によって作成される通常の俯瞰画像との相違点について説明する。図７はステップＳ６５で作成された俯瞰画像をイメージで説明する図である。

図７の左方に示すように、左前方コーナソナー１２ａが立体物を検出する前においては、画像処理手段３は、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像を用いた俯瞰画像４０ａを作成する。俯瞰画像４０ａの中央には自車両のイメージ画像２１が重畳されている。俯瞰画像４０ａの各領域２２〜２５は前方カメラ７ａ、右側方カメラ７ｂ、左側方カメラ７ｃ、後方カメラ７ｄの撮像画像の視点変換画像にそれぞれ対応する。各領域２２〜２５の接合面は合成境界３１〜３４として表されている。自車両近傍で左前方コーナソナー１２ａが立体物４１を検出したとき、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像を用いた俯瞰画像のままでは合成境界３４において死角が生じ、立体物４１が消失してしまう。

そこで、左前方コーナソナー１２ａが立体物を検出した場合、図７の右方に示すように、画像処理手段３は、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像に加え、立体物４１が検出された左前方コーナを撮影する第２撮像手段１４の撮像画像を用いて俯瞰画像４０ｂを作成する。この俯瞰画像４０ｂの各領域２２〜２６は、前方カメラ７ａ、右側方カメラ７ｂ、左側方カメラ７ｃ、後方カメラ７ｄ、第２撮像手段１４の撮像画像の視点変換画像にそれぞれ対応する。前方カメラ７ａと第２撮像手段１４との合成境界３５、左側方カメラ７ｄと第２撮像手段１４との合成境界３６は、第２撮像手段１４の視点変換画像の領域２６が左前方コーナソナー１２ａの検出範囲を包含できる位置に設定される。換言すると、合成境界３５、３６は左前方コーナソナー１２ａの検出範囲外に設定される。これによって、左前方コーナソナー１２ａによって検出された立体物４１は、俯瞰画像４０ｂにおいて合成境界３５、３６近傍で消失せず、領域２６内での立体物４１の視認性が維持される。特に、合成境界近傍で立体物４１の倒れ込み方が急に変動することが無くなるため、ドライバは違和感なく立体物４１を視認することができる。また、立体物４１は車両を基点として放射状に遠ざかる方向に倒れ込むため、立体物４１の位置や方向を直感的に把握することができる。

なお、立体物４１を合成境界３５、３６からできるだけ遠ざけるためには、合成境界３５、３６は、第２撮像手段１４の画角にできるだけ近づけて設定されるのが本来望ましい。一方で、合成境界３５、３６を第２撮像手段１４の画角と略等しくさせてしまうと、第２撮像手段１４が取り付け位置からズレた場合に本来の画角外の映り込みを生じてしまう。そのため、合成境界３５、３６は、第２撮像手段１４の画角に対して数度から十度程度内側の位置に設定されるのが望ましい。

次に、ステップＳ６５で作成される俯瞰画像の死角領域と、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像によって作成される通常の俯瞰画像の死角領域について説明する。図８は、図７の俯瞰画像に生じる死角領域をイメージで説明する図である。

図８の左方は、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像によって作成される通常の俯瞰画像５０ａを示す。図８の右方は、ステップＳ６５で作成される俯瞰画像５０ｂを示す。俯瞰画像５０ａ、５０ｂでは、自車両イメージ５１から一定範囲を死角測定領域５２に設定されている。この一定範囲は、数十ｃｍ程度に設定される。例えば５０ｃｍに設定される。これは、自車両が３ｋｍ／ｈ程度のクリープで進んでいて急ブレーキで止まることができる距離を示す。

図８の左方に示すように、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像によって作成される通常の俯瞰画像５０ａにおいては、左前方コーナソナー１２ａの検出範囲５３は、前方カメラ７ａと左側方カメラ７ｃとの合成境界３４によって生じる死角領域５４と一部重複する。左前方コーナソナー１２ａの検出範囲５３と死角領域５４とが重複すると、この重複範囲内で立体物４１が消失する。そこで、ステップＳ６５で作成される俯瞰画像５０ｂでは、第２撮像手段１４の撮像画像を用いて合成境界３５、３６を左前方コーナソナー１２ａの検出範囲５３から遠ざけている。これによって、図８の右方に示すように、ステップＳ６５で作成される俯瞰画像５０ｂでは、左前方コーナソナー１２ａの検出範囲５３は、第２撮像手段１４と前方カメラ７ａの合成境界３５によって生じる死角領域５５、第２撮像手段１４と左側方カメラ７ｄの合成境界３６によって生じる死角領域５６と離間して重複しなくなっている。これによって前方コーナソナー１２ａの検出範囲に存在する立体物は俯瞰画像５０ｂ上で消失すること無く表示手段１３に表示される。

次に、図８の俯瞰画像の合成境界によって生じる死角領域について説明する。図９は、図８の死角領域の境界をイメージで説明する図である。図９では図８左方の俯瞰画像５０ａを例に説明する。

図９左上方に示す境界線５４ａは、死角領域５４の図８紙面左方の境界を示す。すなわち、境界線５４ａは、死角測定領域５２の外縁を示す。

図９左下方に示す境界線５４ｂは、死角領域５４の図８紙面下方の境界を示す。境界線５４ｂは、領域２５内に立体物４１がある場合に死角が生じる境界を示す。前方カメラ７ａと左側方カメラ７ｄの合成境界３４に向かって立体物４１を図９の紙面上方に移動させたとき、立体物４１が高さ方向に半分以上（２５ｃｍ以上）消失する。このときの立体物４１の図９紙面最下方の位置が境界線５４ｂの構成要素となる。そして、図９の紙面左方に徐々に立体物４１を移動させて同じ処理を繰り返したときの立体物４１の図９紙面最下方の位置の集合が境界線５４ｂを示す。

図９右上方に示す境界線５４ｃは、死角領域５４の図８紙面右方の境界を示す。すなわち、境界線５４ｃは、自車両イメージ５１の外縁を示す。

図９右下方に示す境界線５４ｄは、死角領域５４の図８紙面上方の境界を示す。境界線５４ｄは、領域２２内に立体物４１がある場合に死角が生じる境界を示す。前方カメラ７ａと左側方カメラ７ｄの合成境界３４に向かって立体物４１を図９の紙面下方に移動させたとき、立体物４１が幅方向に半分以上（１５ｃｍ以上）消失する。このときの立体物４１の図９紙面最上方の位置が境界線５４ｄの構成要素となる。そして、図９の紙面左方に徐々に立体物４１を移動させて同じ処理を繰り返したときの立体物４１の図９紙面最上方の位置の集合が境界線５４ｄを示す。

図８右方の俯瞰画像５０ｂの死角領域５５、５６についても境界の判定方法は同様であるので詳細な説明は省略する。

以上、本発明によれば、左前方コーナソナー１２ａの検出範囲は第２撮像手段１４の画角内に包含され、左前方コーナソナー１２ａが立体物を検出したとき、画像処理手段３は、第２撮像手段１４の撮像画像と第１撮像手段の４つのカメラ７ａ〜７ｄの撮像画像とを合成して俯瞰画像４０ｂを作成し、この俯瞰画像４０ｂのうち第２撮像手段１４の撮像画像に基づく俯瞰画像の領域内に左前方コーナソナー１２ａの検出範囲を包含させている。すなわち、画像処理手段３は、立体物の死角を左前方コーナソナー１２ａの検出範囲外へ移動させている。したがって、左前方コーナソナー１２ａが立体物を検出しているにもかかわらず表示手段１３の俯瞰画像上で自車両直近の立体物が消失することを防止することができる。特に、本実施形態では、俯瞰画像上で自車両直近の立体物が消失することを、自車両の四隅全てについて対象とするのではなく、右ハンドルのときにドライバにとって死角になりやすい左前方についてのみ対象としている。これによって、カメラ入力ポート数に制限がある運転支援装置１にセレクタを設けなくてよくなるため、セレクタによる運転支援装置１の制御ＥＣＵの大型化を防止することができる。

なお、本実施形態の図６で示した運転支援処理では、俯瞰画像とノーマル画像（前方画像や後方画像）を並列表示することでドライバに複数の判断基準を提示して立体物の視認性を向上させたが、少なくとも俯瞰画像が表示されればよい。すなわち、少なくとも図６のステップＳ６４、ステップＳ６５の処理がなされればよい。具体的には、画像処理手段３は、第１撮像手段７による撮像画像と第２撮像手段１４による撮像画像とを共通するマッピングデータに基づいて俯瞰画像に合成する。そして、表示手段３はこの俯瞰画像を表示する。これらによって、俯瞰画像の合成境界前後で表示画像の連続性は保たれるため、立体物検知後において、運転者の違和感を抑えつつ俯瞰画像の合成境界における死角の発生や立体物の消失を防ぐことができる。

また、本実施形態では、車両が右ハンドルの場合を想定したため、左前方コーナに設けられた第２撮像手段１４と左前方コーナソナー１２ａとを用いて、ドライバの死角になりやすい左前方コーナ近傍の立体物が俯瞰画像上で消失することを防止したが、車両が左ハンドルの場合は、対象が左前方ではなく右前方になる。すなわち、車両が左ハンドルの場合、本実施形態における第２撮像手段１４の設置位置は右前方コーナに置き換えられ、左前方コーナソナー１２ａは右前方コーナソナー１２ｂに置き換えられる。

すなわち、第２撮像手段１４は、自車両の四隅のうち自車両のハンドル位置と逆方向の前方コーナを撮像する。自車両のハンドル位置と逆方向の前方コーナに存在する立体物を検出するソナー１２による検出範囲は第２撮像手段１４の画角内に包含される。ソナー１２が立体物を検出したとき、画像処理手段３は、第１撮像手段７の撮像画像と第２撮像手段１４の撮像画像とを合成して俯瞰画像を作成し、この俯瞰画像のうち第２撮像手段１４の撮像画像に基づく俯瞰画像の領域内にソナー１２による検出範囲を包含させればよい。一方、ソナー１２が自車両のハンドル位置と逆方向の前方コーナに存在する立体物を検出しなかったとき、画像処理手段３は、第１撮像手段７の撮像画像を合成して俯瞰画像を作成する。

なお、本実施形態では、ソナー１２のうち車両の前後の立体物を検出するソナーは４つのソナー１２ｅ〜１２ｆで構成されたが、少なくとも車両の前後の立体物を検出するためには２つのソナーで構成されればよい。

また、本実施形態では立体物を検出する立体物検出手段としてソナー１２を用いたが、立体物を検出するセンサであれば、赤外線センサ等他の手段を用いてもよい。

（実施形態２）
次に、本発明の実施形態２の運転支援装置について図面を参照しながら説明する。実施形態１と同様の記載については同じ符号を付して詳細な説明を省略する。

図１０は本発明の実施形態２の運転支援装置の構成を示すブロック図である。図１０において、運転支援装置１は、実施形態１の運転支援装置に対して、さらにセレクタ１５を有する。運転支援装置１は、このセレクタ１５を介して第２撮像手段１４と接続する。セレクタ１５も運転支援装置１に含まれてもよい。揮発性メモリ２はセレクタ１５を介して第２撮像手段１４と接続する。制御手段５は、ソナー１２からの入力信号に基づいてセレクタ１５を制御し、第２撮像手段１４を選択する。

第２撮像手段１４はそれぞれ４つのカメラを有する。第１撮像手段７、第２撮像手段１４は、所定時間毎に撮像した撮像画像を運転支援装置１の揮発性メモリ２に入力する。第２撮像手段１４は、自車両の車体四隅に取り付けられる。この第２撮像手段１４の車体への取り付け位置について説明する。

図１１は第１撮像手段７、第２撮像手段１４の車両への取り付け位置をイメージで説明する図である。図１１に示すように、第２撮像手段１４は左前方コーナカメラ１４ａ、右前方コーナカメラ１４ｂ、左後方コーナカメラ１４ｃ、右後方コーナカメラ１４ｄとで構成される。セレクタ１５は、制御手段５の命令に基づいて、この左前方コーナカメラ１４ａ、右前方コーナカメラ１４ｂ、左後方コーナカメラ１４ｃ、右後方コーナカメラ１４ｄのうちから１つのカメラを選択する。この選択されたカメラの撮像画像が所定時間毎に運転支援装置１の揮発性メモリ２に入力される。

ソナー１２は、４つのソナーで構成され、自車両の車体四隅に取り付けられる。このソナー１２の車体への取り付け位置について説明する。

図１２はソナー１２の車両への取り付け位置をイメージで説明する図である。図１２に示すように、ソナー１２は、左前方コーナソナー１２ａ、右前方コーナソナー１２ｂ、左後方コーナソナー１２ｃ、右後方コーナソナー１２ｄとで構成される。図１２に示すように、左前方コーナソナー１２ａ、右前方コーナソナー１２ｂ、左後方コーナソナー１２ｃ、右後方コーナソナー１２ｄのそれぞれの水平面の検出範囲１６ａ〜１６ｄは、１８０度以下に設定されている。

図１３は、左前方コーナカメラ１４ａの画角と左前方コーナソナー１２ａの水平面の検出範囲をイメージで説明する図である。図１３に示すように、このソナー１２の検出範囲と第２撮像手段１４の画角との関係は、実施形態１の図４で示された関係と同様である。すなわち、左前方コーナカメラ１４ａの画角１７ａは、水平面で略１８０度に設定されている。そして、左前方コーナソナー１２ａの検出範囲１６ａは、左前方コーナカメラ１４ａの画角１７ａ内に包含される。すなわち、左前方コーナカメラ１４ａの画角１７ａ内に左前方コーナソナー１２ａの検出範囲１６ａが全て含まれている。実施形態１と同様に、左前方コーナカメラ１４ａは左前方コーナソナー１２ａよりも車体上方に取り付けられていることが望ましい。また、左前方コーナカメラ１４ａと左前方コーナソナー１２ａの光軸は略等しいことが望ましい。

なお、図１３では、一例として、左前方コーナカメラ１４ａの画角と左前方コーナソナー１２ａの検出範囲を用いてソナー１２の検出範囲と第２撮像手段１４の画角との関係について説明したが、他の車両四隅についても同様の関係が成り立つ。すなわち、右前方コーナソナー１２ｂ、左後方コーナソナー１２ｃ、右後方コーナソナー１２ｄの検出範囲は、右前方コーナカメラ１４ｂ、左後方コーナカメラ１４ｃ、右後方コーナカメラ１４ｄの画角内にそれぞれ包含される。

次に、制御手段５による運転支援処理について説明する。

図１４は、制御手段５による運転支援処理のフローチャート図である。ステップＳ７１〜Ｓ７３までは、それぞれ実施形態１の図６において対応するステップＳ６１〜Ｓ６３と同様の処理である。ステップＳ７４では、制御手段５は、ソナー１２の検出結果から、自車両周辺の所定範囲内に立体物が存在するか否かを判定する。ステップＳ７４でＮＯの場合、ステップＳ７１の処理を再度行う。一方、ステップＳ７４でＹＥＳの場合、ステップＳ７５に示すように、制御手段５は、自車両の最短距離に存在する立体物反応箇所を特定する。すなわち、自車両四隅に設けたソナー１２ａ〜ｄのうち立体物を検出したソナーが１つの場合、制御手段５は立体物を検出したソナーが配置されたコーナを立体物反応箇所と判定する。これに対し、自車両四隅に設けたソナー１２ａ〜ｄのうち立体物を検出したソナーが複数あった場合、制御手段５は、ソナー１２から入力された自車両と立体物との距離信号に基づいて最も自車両の近くに位置する立体物を検出したソナーが配置されたコーナを立体物反応箇所と判定する。

次に、ステップＳ７６に示すように、画像処理手段３は、第１撮像手段７の撮像画像に加え、ステップＳ７５で特定した自車両から最短距離の立体物反応箇所付近の撮像画像を用いて新たに俯瞰画像を作成し、表示手段１３にこの作成した俯瞰画像を表示させる。すなわち、画像処理手段３は、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像と、第２撮像手段１４のカメラ１４ａ〜１４ｄのうち、ステップＳ７５で特定したソナー１２の立体物反応箇所に対応するカメラの撮像画像とを用いて俯瞰画像を作成する。このステップＳ７６で作成される俯瞰画像と、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像によって作成される通常の俯瞰画像との相違点については実施形態１で説明した相違点と同様なので詳細な説明を省略する。

次にステップＳ７７に示すように、制御手段５は、自車両の進行方向に車両から最短距離の立体物があるか否かを判定する。このとき、制御手段５は、ギア１１から入力されたギア信号に基づいて自車両の進行方向を特定する。すなわち、制御手段５は、ギア信号からシフトレバーがフロントのとき進行方向が前方、リバースのとき進行方向が後方であると特定する。そして、制御手段５は、この特定した進行方向とステップＳ７５で特定した立体物反応箇所とを比較してステップＳ７７の判定を行う。すなわち、制御手段５は、ギア信号からシフトレバーがフロントで車両の進行方向が前方のとき、ステップＳ７５で特定した立体物反応箇所が左前方または右前方であるか否かを判定する。一方、制御手段５は、ギア信号からシフトレバーがリバースで車両の進行方向が後方のとき、ステップＳ７５で特定した立体物反応箇所が左後方または右後方であるか否かを判定する。

ステップＳ７７でＹＥＳの場合、ステップＳ７８に示すように、制御手段５は、ステップＳ７２によって表示手段１３に並列表示している後方画像またはステップＳ７３によって表示手段１３に並列表示している前方画像の代わりに、第２撮像手段１４のうち、ステップＳ６５で特定された自車両から最短距離の立体物反応箇所付近を撮像するカメラの撮像画像を表示手段１３に表示させる。ステップＳ７８の処理後、またはステップＳ７７でＮＯの場合、ステップＳ７９の処理を行う。このステップＳ７９の処理は、実施形態１の図６のステップＳ６８と同様な処理なので説明を省略する。

以上、本発明によれば、ソナー１２ａ〜ｄの検出範囲はそれぞれコーナカメラ１４ａ〜ｄの画角内に包含され、ソナー１２ａ〜ｄが立体物を検出したとき、車両に最も近い立体物を検出したソナーに対応するコーナカメラがセレクタ１５によって選択される。そして、画像処理手段３は、この選択されたコーナカメラの撮像画像と第１撮像手段７の４つのカメラａ〜７ｄの撮像画像とを合成して俯瞰画像４０ｂを作成し、この俯瞰画像４０ｂのうちコーナカメラの撮像画像に基づく俯瞰画像の領域内にソナーの検出範囲を包含させている。すなわち、画像処理手段３は、立体物の死角をソナー１２の検出範囲外へ移動させている。したがって、ソナー１２が立体物を検出しているにもかかわらず表示手段１３の俯瞰画像上で自車両直近の立体物が消失することを防止することができる。

２０１１年８月２６日出願の特願２０１１−１８４４１６、特願２０１１−１８４４１９の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明の運転支援装置は、特にソナー等によって自車両四隅の立体物を検出した際に俯瞰画像上で立体物を消失せずに表示して、ドライバが立体物を認識することを容易にする点で有用である。

１運転支援装置
３画像処理手段
５制御手段
７第１撮像手段
１２ソナー
１４第２撮像手段

Claims

自車両周囲を撮像する第１撮像手段と、
自車両周囲に存在する立体物を検出するセンサと、
前記第１撮像手段とは別に設けられ、前記センサによる検出範囲を画角内に包含して撮像する第２撮像手段と、
前記第１撮像手段から入力された自車両周囲の撮像画像を合成した俯瞰画像を表示する表示手段と、を備え、
前記表示手段は、前記センサが立体物を検出しないとき、前記第２撮像手段の撮像画像を用いずに、前記第１撮像手段の撮像画像を用いて自車両の全周囲を示す俯瞰画像を表示し、
前記表示手段は、前記センサが立体物を検出したとき、前記第１撮像手段の撮像画像と前記第２撮像手段の撮像画像とを用いて自車両の全周囲を示す俯瞰画像を表示する、
運転支援装置。
前記センサは、自車両の所定の位置に設置された複数のセンサで構成され、
前記第２撮像手段は、前記複数のセンサのそれぞれに対応して設置された複数のカメラで構成され、
前記第２撮像手段は、前記センサが立体物を検出したとき、この立体物を検出したセンサに対応するカメラを選択して撮像し、
前記表示手段は、前記センサが立体物を検出したとき、前記第１撮像手段の撮像画像と、選択された前記カメラの撮像画像とを合成して俯瞰画像を表示し、この俯瞰画像のうち前記カメラの撮像画像に基づく俯瞰画像の領域内に前記センサによる検出範囲を包含させる、
請求項１に記載の運転支援装置。
前記複数のセンサは、自車両の四隅の少なくとも１つのコーナに存在する立体物を検出する位置に配置されたセンサを含む、
請求項２に記載の運転支援装置。
前記第２撮像手段は、前記センサのうち複数のセンサが立体物を検出したとき、車両に最も接近する立体物を検出したセンサに対応するカメラを選択する、
請求項２または３に記載の運転支援装置。