(第1の実施形態)
本実施形態では、車両1は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図1に示されるように、車体2は、乗員(図示されず)が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。本実施形態では、一例として、操舵部4は、ダッシュボード(インストルメントパネル)から突出したステアリングホイールであり、加速操作部5は、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
また、車室2a内には、表示装置8(表示出力部)や、音声出力装置9(音声出力部)が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、一例として、スピーカである。また、本実施形態では、一例として、表示装置8は、透明な操作入力部10(例えば、タッチパネル等)で覆われている。乗員等は、操作入力部10を介して表示装置8の表示画面に表示される映像(画像)を視認することができる。また、乗員等は、表示装置8の表示画面に表示される映像(画像)に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力(指示入力)を実行することができる。また、本実施形態では、一例として、表示装置8や、音声出力装置9、操作入力部10等は、ダッシュボードの車幅方向(左右方向)の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部(図示されず)を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に音声出力装置(図示されず)を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置11は、ナビゲーションシステムやオーディオシステムと兼用されているが、駐車支援装置用のモニタ装置を、これらシステムとは別に設けてもよい。また、音声出力装置9の他に、ブザー24(図3参照)等の音声出力部から、警報音等が出力されるように構成することができる。
また、図1,2に示されるように、本実施形態では、一例として、車両1は、四輪車(四輪自動車)であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。さらに、本実施形態では、これら四つの車輪3は、いずれも操舵されうるように(転舵可能に)構成されている。具体的には、図3に示されるように、車両1は、前輪3Fを操舵する前輪操舵システム12と、後輪3Rを操舵する後輪操舵システム13とを有している。これら前輪操舵システム12および後輪操舵システム13は、駐車支援ECU14(electronic control unit)等によって電気的に制御されて、それぞれのアクチュエータ12a,13aを動作させる。前輪操舵システム12ならびに後輪操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。前輪操舵システム12ならびに後輪操舵システム13は、アクチュエータ12a,13aによって操舵部4にトルク(アシストトルク)を付加して操舵力を補ったり、対応する車輪3(前輪3Fまたは後輪3R)を操舵(自動操舵)したりする。アクチュエータ12a,13aは、一つの車輪3を操舵してもよいし、複数の車輪3を操舵してもよい。また、本実施形態では、一例として、二つの前輪3Fは、互いに同相(同位相、同転舵方向、同回動方向)で略平行に転舵され、二つの後輪3Rは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
また、本実施形態では、一例として、図2に示されるように、車両1(車体2)には、複数(本実施形態では、一例として四つ)の撮像部16(16a〜16d)が設けられている。撮像部16は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部16は、所定のフレームレートで画像データ(動画データ、フレームデータ)を出力することができる。撮像部16は、それぞれ、広角レンズを有し、水平方向には140°〜190°の範囲(視野角)を撮影することができる。また、撮像部16の光軸は下方(斜め下方)に向けて設定されている。よって、撮像部16は、車両1が移動可能な路面を含む車体2の周辺の外部の環境を撮影する。
本実施形態では、一例として、撮像部16aは、車体2の前側(車両前後方向の前方側)の端部2c(平面視での端部)に位置され、フロントバンパー等に設けられている。撮像部16bは、車体2の左側(車幅方向の左側)の端部2dに位置され、左側のドアミラー2g(突出部)に設けられている。撮像部16cは、車体2の後側(車両前後方向の後方側)の端部2eに位置され、リヤトランクのドア2hの下方の壁部に設けられている。撮像部16dは、車体2の右側(車幅方向の右側)の端部2fに位置され、右側のドアミラー2g(突出部)に設けられている。駐車支援ECU14は、複数の撮像部16で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1(車体2)を上方から見た仮想的な俯瞰画像(平面画像)を生成したりすることができる。
また、駐車支援ECU14は、撮像部16の画像から、車両1の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出(抽出)する。
また、本実施形態では、一例として、図1,2に示されるように、車両1(車体2)には、複数(本実施形態では、一例として8つ)の測距部17(17a〜17d)と、長距離用測距部15(15a〜15d)と、が設けられている。測距部17及び長距離用測距部15は、例えば、超音波を発射してその反射波を捉えるソナー(ソナーセンサ、超音波探知器)である。駐車支援ECU14は、測距部17の検出結果により、車両1(車体2)の後方に位置された物体(障害物)の有無や距離を測定することができる。さらには、駐車支援ECU14は、長距離用測距部15の検出結果により、車両1(車体2)の側面の方向に位置された物体(障害物)の有無や距離を測定することができる。すなわち、測距部17、長距離用測距部15は、車両1から、外部の環境に存在する物体を検出する検出部の一例である。
また、本実施形態では、一例として、図3に示されるように、駐車支援システム100では、駐車支援ECU14や、モニタ装置11、前輪操舵システム12、後輪操舵システム13、測距部17等の他、ブレーキシステム18、舵角センサ19(角度センサ)、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、車内ネットワーク23(電気通信回線)を介して電気的に接続されている。車内ネットワーク23は、一例としては、CAN(controller area network)として構成されている。駐車支援ECU14は、車内ネットワーク23を通じて制御信号を送ることで、前輪操舵システム12や、後輪操舵システム13、ブレーキシステム18等を制御することができる。また、駐車支援ECU14は、車内ネットワーク23を介して、トルクセンサ12b、舵角センサ13b(後輪3R用)、長距離用測距部15、測距部17、ブレーキセンサ18b、舵角センサ19(前輪3F用)、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果、ならびに、操作入力部10等の指示信号(制御信号、操作信号、入力信号、データ)を受け取ることができる。
駐車支援ECU14は、一例として、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理や、車両1の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置に記憶された(インストールされた)プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、駐車支援ECU14での演算処理のうち、主として、撮像部16で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの画像処理(一例としては合成等)等を実行する。また、音声制御部14eは、駐車支援ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、駐車支援ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されることができる。また、駐車支援ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、駐車支援ECU14とは別に設けられてもよい。
ブレーキシステム18は、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3(車両1)に制動力を与える。
舵角センサ19は、操舵部4(本実施形態では、一例としてステアリングホイール)の操舵量(回動角度)を検出するセンサであり、一例としては、ホール素子などを用いて構成される。また、舵角センサ13bは、後輪3Rの操舵量(回動角度)を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19,13bから取得して各種制御を実行する。なお、トルクセンサ12bは、運転者が操舵部4に与えるトルクを検出する。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ECU14は、車輪速センサ22から取得したデータに基づいて車両1の移動量などを演算し、各種制御を実行する。車輪速センサ22は、ブレーキシステム18に設けられている場合もある。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。車輪速センサ22がブレーキシステム18に設けられている場合には、駐車支援ECU14は、ブレーキシステム18を介してデータを取得する。ブレーキセンサ18bは、ブレーキペダルの操作量を検出するセンサであり、駐車支援ECU14は、ブレーキシステム18を介して情報を取得する。駐車支援ECU14は、例えば、自動操舵中に制動操作部6が操作されたような場合に、自動操舵には適さない状況にあるとして自動操舵を中断したり中止したりすることができる。
シフトセンサ21は、一例としては、変速操作部7の可動部(レバーや、アーム、ボタン等)の位置を検出するセンサ(スイッチ)であり、変位センサなどを用いて構成される。例えば、駐車支援ECU14は、可動部がリバースにセットされた場合に支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定(変更)することができる。
図4は、車両1が備える各種センサの検出可能な範囲を示した図である。図4に示すように、車両1の後端に設けられた撮像部16cにより範囲301の撮像が可能となる。そして、車両1が後退する際には、撮像部16cが撮像する画像データが、表示装置8に表示される。
また、車両1に備えられた測距部17(17a〜17d)により範囲311、312、313、314の範囲内の物体の検出が可能になると共に、長距離用測距部15(15a〜15d)により範囲302、303、304、305の範囲内の物体の検出が可能となる。そして、車両1が移動することで、長距離用測距部15(15a〜15d)及び測距部17(17a〜17d)が検出を行う範囲を移動し、車両1の周辺にある物体(例えば車両351、353、354、355、356、及び物体352)が検出される。そして、駐車支援ECU14は、これら検出された物体に基づいて、車両1を安全に案内するための駐車支援を行う。
図5は、駐車支援ECU14内に実現される駐車支援部400の構成を示すブロック図である。図5に示す駐車支援部400内の各構成は、図3の駐車支援ECU14として構成されたCPU14aが、ROM14b内に格納されたソフトウェアを実行することで実現される。また、ROM14bは、移動軌跡管理テーブル402を記憶している。
駐車支援部400は、ROM14b内に格納されたソフトウェアを実行することで、操作受付部401と、操舵角取得部403と、軌跡取得部404と、障害物検出部405と、軌跡表示切替部406と、俯瞰画像生成部407と、通常画像生成部408と、画像処理部409と、表示制御部410と、を実現する。
そして、本実施形態にかかる駐車支援部400は、車両1が移動して駐車を行う際に、検出した障害物と、車両1の移動の基準となる基準領域と、の間のマージンを表示することで、運転者の操舵による駐車を支援する。本実施形態は、車両1の移動の基準となる基準領域が、車両を駐車させるための駐車区画の場合について説明する。
本実施形態にかかる駐車支援部400は、検出した障害物と、車両1の移動の基準となる基準領域(駐車区画)と、の間のマージン領域を表示する。例えば、駐車区画内に車両1を駐車させる場合でも、駐車区画外に存在する障害物と近接し、当該障害物と接触する可能性も存在する。そこで、本実施形態にかかる駐車支援部400が、車両1が駐車区画に移動させる前から、駐車区画と障害物との間のマージンとなる領域(以下、マージン領域とも称す)を表示することで、運転手は、障害物に近接しない位置を経由して、駐車区画内に車両1を駐車させることができる。なお、基準領域は、駐車区画に制限するものではなく、車両1を駐車する際に基準となる領域であればよい。
図6は、車両1を後進させて駐車区画510に駐車する際の環境を示した図である。図6は、車両1を後進させて駐車区画510に駐車する例を示している。図6に示す例では、移動予想軌跡501に従って、区画線502及び区画線503の間の駐車区画510に車両1を駐車させる例とする。
図6に示す例では、駐車支援部400が、撮像された画像データから、区画線502及び区画線503を認識したあと、区画線502及び区画線503の間の領域を駐車区画510として認識している例とする。さらには、測距部17及び長距離用測距部15により検出された物体により、駐車支援部400の障害物検出部405は、物体504及び車両505が接触する可能性のある障害物として検出している。
このような場合、本実施形態にかかる駐車支援部400は、駐車区画510と物体504の間のマージン領域512と、駐車区画510と車両505との間のマージン領域511と、を表示する。これにより、運転手は、駐車区画510と障害物との間の余裕が、どの程度存在するか把握できるため、障害物との間のスペースを考慮した上で、駐車区画510内に車両1を駐車することができる。これにより、車両1が障害物に接触する可能性を低減する他、車両1と障害物との間に適切な間隔を開けることができるので、車両1に乗車している人の下車が容易になる。
図5に戻り、操作受付部401は、操作入力部10等の指示信号(制御信号)を受け付ける。操作受付部401は、これら指示信号から、運転者からの操作を受け付けることができる。例えば、操作受付部401は、移動予想軌跡の表示の切り替えを示した指示信号等を受け付ける。
移動軌跡管理テーブル402は、車両1が移動した場合の移動予想軌跡を管理するテーブルである。移動軌跡管理テーブル402は、操舵角に対応する移動予想軌跡を記憶している。本実施形態にかかる移動軌跡管理テーブル402が記憶している移動予想軌跡は、車両1の周囲を上方から俯瞰した場合の俯瞰画像データに重畳するための移動予想軌跡、及び撮像部16で撮像された通常画像データに重畳するための移動予想軌跡とする。
操舵角取得部403は、舵角センサ19から前輪3Fの舵角と、舵角センサ13bから後輪3Rの舵角と、を取得する。
軌跡表示切替部406は、運転者からの切り替え操作に基づいて、表示制御部410により表示される移動予想軌跡を表示するか否かの切り替え制御を行う。軌跡表示切替部406は、当該切り替え制御に従って、軌跡取得部404から移動予想軌跡を取得するか否かを切り替える。
軌跡取得部404は、軌跡表示切替部406からの制御に従って、移動軌跡管理テーブル402から移動予想軌跡を取得する。本実施形態にかかる軌跡取得部404は、操舵角取得部403が取得した操舵角に対応する移動予想軌跡を、移動軌跡管理テーブル402から取得する。
障害物検出部405は、測距部17(17a〜17d)及び長距離用測距部15(15a〜15d)の検出結果に基づいて、車両1周辺に存在する物体、及び当該物体の位置を検出する。なお、物体の検出手法は、従来用いられている手法等を用いてもよいため、説明を省略する。
俯瞰画像生成部407は、撮像部16により撮像された車両1の外部の環境を表した画像データと、(図示しない)マッピングテーブルに記録されている変換情報と、に基づいて、車両1の周囲外部の環境を上方から俯瞰した場合の俯瞰画像データを生成し、画像処理部409に出力する。
通常画像生成部408は、撮像部16により撮像された画像データに対して車両1の外部の環境を表すための調整を行い、通常画像データを生成した後、通常画像データを画像処理部409に出力する。
画像処理部409は、基準領域認識部421と、マージン長算出部422と、合成部423と、を備え、俯瞰画像生成部407により入力された俯瞰画像データ、又は通常画像生成部408により生成された通常画像データに対して、表示装置8に表示するための様々な情報(例えば、マージン領域等)を合成した後、合成された画像データを表示制御部410に出力する。
基準領域認識部421は、撮像部16により撮像された外部の環境を表す画像データから、当該外部の環境で車両1の移動の基準となる基準領域を認識する。本実施形態にかかる基準領域認識部421は、撮像された画像データにおいて、路面に描かれた区画線(例えば白線)を識別し、当該区画線で案内される駐車区画を、基準領域として認識する。
マージン長算出部422は、基準領域認識部421により認識された基準領域と、障害物検出部405により検出された物体と、の間の距離(マージンの長さ)を算出する。なお、本実施形態は、測距部17(17a〜17d)及び長距離用測距部15(15a〜15d)により検出された物体から、基準領域までの距離を、撮像部16により撮像された画像データに対する画像解析で導き出す。なお、本実施形態はこのような手法に制限するものではなく、検出された物体から基準領域までの距離を導き出す手法として、どのような手法を用いても良い。
合成部423は、マージン長算出部422により算出された基準領域と物体との間の距離に基づいて、認識された基準領域から、検出された障害物までのマージンとなる領域を表したマージン領域を、画像データに表された外部の環境のうち、路面として表された領域に合成する。また、本実施形態にかかる合成部423は、他の様々な情報(例えば、障害物の位置を認識するための面データ)も合成する。
また、合成部423が合成するデータとして透過パターンを用いる。これにより、撮像した映像が隠れるのを抑止する。
表示制御部410は、画像処理部409により合成された画像データを、表示装置8に表示する。なお、本実施形態では行っていないが、軌跡取得部404が取得した移動予想軌跡を、画像データに合成しても良い。
図7は、本実施形態にかかる表示装置8に表示された画像データの例を示した図である。図7に示す例では、車両1の後端に設けられた撮像部16cにより撮像された画像データに対して、様々な情報が合成されている。
図7に示す画像データでは、車両505と、物体504と、が外部の環境に存在する障害物として検出されている。そこで、表示制御部410が表示する画像データでは、車両505の位置を認識するための平面602と、物体504の位置を認識するための平面601と、が合成されている。
その上で、表示制御部410が表示する画像データにおいて、駐車区画510から、物体504までのマージンを表したマージン領域512と、駐車区画510から、車両505までのマージンを表したマージン領域511と、が合成されている。
図7に示す様に、マージン領域511、512が表示されることで、駐車区画510から障害物までの幅が一目で視認することが可能となる。これにより、運転手は、駐車区画510に対して、左右のどちら側がより狭いか認識することができる。さらには、どちら側により注意を払わなければいけないのか把握できるので、障害物に接触する可能性を抑止できるほか、障害物との間を空けて駐車することが容易となり、車両1からの乗り降りが容易となる。
次に、本実施の形態にかかる車両1の駐車支援部400における、外部の環境の表示制御について説明する。図8は、本実施の形態にかかる駐車支援部400における上述した処理の手順を示すフローチャートである。
まず、障害物検出部405が、測距部17(17a〜17d)及び長距離用測距部15(15a〜15d)よりの検出結果に基づいて、車両1周辺に存在する物体、及び当該物体の位置を検出する(ステップS701)。
次に、通常画像生成部408が、撮像部16により撮像された画像データに基づいて、通常画像データを生成する(ステップS702)。
さらに、基準領域認識部421が、撮像部16により撮像された画像データに基づいて、外部の環境に存在する基準領域を認識する(ステップS703)。
さらに、マージン長算出部422が、基準領域認識部421により認識された基準領域と、障害物検出部405により検出された物体と、の間の距離(マージンの長さ)を算出する(ステップS704)。
合成部423は、マージンの長さに基づいて、画像データに表された外部の環境のうち、路面として表された領域に、マージンとなる領域を合成する(ステップS705)。
そして、表示制御部410は、マージン領域が示された画像データを表示する(ステップS706)。表示される画像データは、図7で示したため説明を省略する。
上述した処理手順により表示される画像データでは、どの程度余裕があるのかグラフィカルに表示される。これにより、運転手が当該画像データを参照することで、基準領域(駐車区画)に対して左右のどちら側がより狭く、注意をしなければならないかを確認できる。さらに、運転手は、どちらをより注意すべきか認識できるので、操舵の負担を軽減できる。
(第1の実施形態の変形例1)
第1の実施形態では、マージンを領域としてのみ表示した例について説明した。しかしながら、第1の実施形態は、マージン領域のみ表示することに制限するものではない。そこで、第1の実施形態の変形例1は、マージン長算出部422が算出したマージンの距離も表示する例について説明する。
図9は、第1の実施形態の変形例1にかかる表示装置8に表示された画像データの例を示した図である。図9に示す例では、図7で示した情報に加えて、マージン領域毎に、駐車区画510と障害物との間の距離を示した数値801、802が表示される。なお、本変形例にかかる数値801、802は、マージン領域のうち、駐車区画510と障害物との間で最も近接した場所における距離を示したものとするが、平均値などの他の数値であっても良い。
本変形例では、マージン領域毎に、基準領域と障害物との間の距離を数値として表示することで、運転手が、障害物までの余裕を定量的に把握することが可能となる。
(第1の実施形態の変形例2)
第1の実施形態の変形例2では、基準領域から障害物までのマージンの長さ(換言すれば、障害物までの余裕の度合い)に応じて、マージン領域の表示態様を変更する例について説明する。本実施形態では、表示態様として色を変更する例とする。
図10は、第1の実施形態の変形例2にかかる合成部423がマージンの長さに応じて異ならせるマージン領域の表示色の例を示した表である。図10に示す様に、マージンの長さが小さいときは、警告として、マージン領域を赤色で表示し、マージンの長さが中程度のときは、注意喚起として、マージン領域を黄色で表示し、マージンの長さが大きいときは、通常どおりとして、マージン領域を緑色で表示する。このように変形例では、ユーザに対して喚起させたい内容と、色とを対応付けて管理しておく。
ところで、マージンの距離の基準は実施態様に応じて異ならせても良いが、例えば、0.1m以下の場合にマージン長さ‘小’、0.1mより大きく0.25mより小さい場合にマージン長さ‘中’、0.25m以上の場合にマージン長さ‘大’とする等が考えられる。
図11は、本変形例にかかる表示装置8に表示された画像データの例を示した図である。図11に示す例では、図10で示した画像データと比べて、障害物との距離に応じてマージン領域の表示色を異ならせている。本変形例では、マージン領域1001の表示色が赤であり、マージン領域1002の表示色が緑である。
本変形例では、接触する危険性の高い領域について、表示態様を異ならせて表示することで、運転手は危険度合いを容易に視認することができる。また、色を異ならせることに制限するものではなく、領域の輪郭線の形状を異ならせても良い。
さらには、色を異ならせるのではなく、危険度合いに応じて、マージン領域を点滅させても良い。例えば、障害物までの距離が通常の場合、マージン領域を点滅させず、障害物までの距離について注意喚起が必要な場合に、マージン領域を点滅させる。当該点滅も距離が短くなるほど、点滅する速度を早めても良い。
本変形例では、障害物までの距離に応じてマージン領域の表示態様を異ならせることで、運転手は障害物までの危険度合いを容易に認識することができる。
(第1の実施形態の変形例3)
一つのマージン領域の表示態様を場所毎に異ならせても良い。例えば、駐車の目的である駐車区画の隣の駐車区画に駐車している車が、駐車区画に対して少し斜め方向に駐車する場合もある。
第1の実施形態の変形例3では、マージン長算出部422により算出された駐車区画と障害物との間隔の距離の変化に応じて、合成部423が合成するマージン領域の色を異ならせる。これにより、例えば、表示制御部410は、駐車区画と障害物との間が所定以上空いている場合には当該マージン領域を緑色で表示し、当該間隔が狭まるについて緑、黄色から赤にグラデーションのように変化させて表示する。
さらに、マージン領域の色が障害物との間隔により変化することで、運転手は駐車区画が奥になるほど障害物との間の余裕が少なくなる等を認識できるため、駐車区画を移動させる際に、安全性を確保することが容易となる。
(第1の実施形態の変形例4)
上述した実施形態では、車両1の後端に設けられた撮像部16cにより撮像された画像データに対して、マージン領域等を合成する場合について説明した。しかしながら、マージン領域等を合成する画像データを、後端に設けられた撮像部16cで撮像された画像データに制限するものではない。そこで、第1の実施形態の変形例4では、車両1の側面部に設けられた撮像部16bで撮像する場合について説明する。
図12は、第1の実施形態の変形例4にかかる車両1の撮像部16bが撮像する領域1101を俯瞰的に示した図である。図12に示す様に側面部に設けられた撮像部16bで撮像を行う。これにより、領域1101内の外部の環境が撮像される。撮像された画像データから、区画線1111、1112で囲まれた駐車区画1120を認識する。さらに、長距離用測距部15b、15aで障害物の検出を行う。これにより、障害物1121と車両1122とが検出される。
そして、上述した実施形態及び変形例と同様の処理を行うことで、駐車支援部400の表示制御部410は、マージン領域1131、1132が示された画像データを表示できる。そして、運転手は、当該画像データを参照することで、駐車区画に駐車を開始する前である、駐車区画を横切るタイミングで、当該駐車区画がどの程度余裕があるか判断できる。当該駐車区画に容易に駐車できるか否かを判断できるため、駐車区画に駐車する際の運転負担を軽減できる。
(第2の実施形態)
第1の実施形態及びその変形例では、基準領域が駐車区画の場合について説明した。しかしながら、駐車する際に基準となる領域は、駐車区画に限られない。そこで、本実施形態では、基準領域が、車両1の移動予想軌跡の場合について説明する。なお、駐車支援部400の構成は、第1の実施形態と同様として説明を省略する。
なお、駐車支援部400における、基準領域の駐車区画と移動予想軌跡との間の切り替えは、操作受付部401が受け付けた操作に応じて行われるものとする。
本実施形態においては、操舵角取得部403が操舵角を取得し、軌跡取得部404が、取得した操舵角に対応する移動予想軌跡を、移動軌跡管理テーブル402から取得し、画像処理部409に出力する。
そして、基準領域認識部421が、軌跡取得部404が取得した移動予想軌跡に基づいて、撮像部16が撮像した外部の環境のうち、当該移動予想軌跡に対応する領域を、基準領域として認識する。
そして、マージン長算出部422は、基準領域である移動予想軌跡と、障害物との間のマージンの長さを算出する。そして、合成部423が算出されたマージンの長さに基づいたマージン領域を、画像データに対して合成する。第2の実施形態にかかるマージン領域は、移動予想軌跡と障害物(例えば車両505、物体504)との間のマージンとなる領域とする。
図13は、本実施形態にかかる表示装置8に表示された画像データの第1の例を示した図である。図13に示す例では、車両505と、物体504と、が外部の環境に存在する障害物として検出されている。その上で、移動予想軌跡1201から、物体504までのマージンを表したマージン領域1211と、移動予想軌跡1202から、車両505までのマージンを表したマージン領域1212と、が合成されている。
さらにマージンの長さを示した数値を表示しても良い。図13に示す例では、移動予想軌跡1201と物体504との間で最も近接している場所の距離を示す数値1221と、移動予想軌跡1202と車両505との間で最も近接している場所の距離を示す数値1222と、が表示されている。
本実施形態では、さらに、操舵角が切り替えられた場合に、当該操舵角に基づいて、表示される予想移動軌跡が切り替わると共に、表示されるマージン領域も切り替わる。
図14は、本実施形態にかかる表示装置8に表示された画像データの第2の例を示した図である。図14に示す例は、図13に示す例から操舵量の切り替えが行われた後に、表示される画像データとする。
図14に示す例では、操舵量の切り替えに応じて、移動予想軌跡1301、1302が、図13に示された移動予想軌跡1201、1202から変更されている。これに伴い、マージン領域1311、1312の表示も変更され、数値1321、1322も変更された。
図14に示す例では、移動予想軌跡1301、1302が変更されたことで、マージン領域1311における障害物の間の距離が短くなっている。これにより数値1321も警告表示を行うと共に、マージン領域1311の表示色も警告を示す赤色に変更されている。このように、操舵量の切り替えに応じて、表示態様を異ならせることで、ユーザに対して注意喚起を促すことができる。
表示されるマージン領域は、測距部15が障害物を検出可能な領域に基づいて定められる。例えば、車両1の後端から3mまでをマージン領域の表示可能な範囲とすることが考えられる。
この場合、車両1が移動する毎に、駐車支援部400の表示制御部410が表示するマージン領域が更新される。例えば、車両1が駐車区画に移動するにつれて、障害物と駐車区画との間の距離が狭まる場合、表示制御部410が表示するマージン領域の色が切り替わることも考えられる。
(第3の実施形態)
第1の実施形態では基準領域が駐車区画の例であり、第2の実施形態では基準領域が移動予想軌跡の例について説明した。しかしながら、基準領域をいずれか一方に制限するものではなく、基準領域を駐車区画と移動予想軌跡とを組み合わせても良い。
組み合わせ手法については、周知の手法を問わず、様々な手法を用いても良い。例えば、表示制御部410は、駐車区画として識別された領域と、移動予想軌跡とを、表示する。その際に、表示制御部410は、駐車区画に基づくマージン領域であり、且つ移動予想軌跡に基づくマージン領域である領域のみ表示する等が考えられる。または、表示制御部410は、駐車区画に基づくマージン領域と、移動予想軌跡に基づくマージン領域との積となる領域を表示してもよい。
他の態様としては、例えば、表示制御部410が、認識された駐車区画に基づくマージン領域を表示し、当該マージン領域に重なった移動予想軌跡の表示態様を異ならせて表示するなどが考えられる。例えば、通常の移動予想軌跡を緑色で表示し、マージン領域に重なっている移動予想軌跡を黄色又は赤色で表示するなどが考えられる。
本実施形態では、複数の基準領域を組み合わせて、マージン領域を表示することで、ユーザが障害物との間のマージンの識別が容易になり、運転負担を軽減できる。なお、組み合わせ態様は、上述した手法に制限するものではなく、他の態様を用いても良い。
(第4の実施形態)
上述した実施形態及び変形例では、通常画像生成部408が生成する画像データに対して、マージン領域を合成する例について説明した。しかしながら、マージン領域の合成対象を、通常画像生成部408が生成する通常画像データに制限するものではない。そこで、第4の実施形態では、俯瞰画像生成部407が生成する俯瞰画像データに対して、マージン領域を合成する例について説明する。なお、本実施形態では、基準領域が、駐車区画の例について説明するが、基準領域が、移動予想軌跡など他の領域であってもよい。
本実施形態では、俯瞰画像生成部407が、俯瞰画像データを生成する。一方で、障害物検出部405が、長距離用測距部15b、15aにより検出された物体に基づいて、車両1の側面方向における障害物を検出する。
さらには、基準領域認識部421が、生成された俯瞰画像データから、基準領域を認識する。本実施形態にかかる基準領域認識部421は、俯瞰画像データに写っているガイドライン(例えば白線)に基づいて、駐車区画である駐車区画を認識する。
そして、マージン長算出部422が、認識された駐車区画と、障害物検出部405で検出された物体との間のマージンの長さを算出し、合成部423が、算出されたマージンの長さに基づいたマージン領域を、俯瞰画像データに合成する。
図15は、本実施形態にかかる表示装置8に表示された画像データの例を示した図である。図15に示す例は、俯瞰画像生成部407により生成された俯瞰画像データに対して、マージン領域が合成された例とする。図15に示す例では、説明を容易にするために、長距離用測距部15、及び測距部17で検出された物体の位置を‘×’で示している。
図15に示す例では、基準領域認識部421により、駐車区画1401、1402が認識されている。このように、駐車支援部400は、複数の基準領域を認識することができる。
さらに、障害物検出部405により、物体1411と車両1412、1413等が検出されている。これにより、表示制御部410は、物体1411及び駐車区画1402の間のマージン領域1421と、車両1412及び駐車区画1402の間のマージン領域1422と、車両1413及び駐車区画1401の間のマージン領域1423と、を表示する。
また、操作受付部401が、複数の駐車区画から選択を受け付けてもよい。操作受付部401が、複数の駐車区画からいずれか一つの選択を受け付けた場合、表示制御部410が、選択を受け付けた駐車区画についてより詳細な物体検出を行い、より詳細なマージン領域を表示しても良い。
(第4の実施形態の変形例1)
第4の実施形態では、俯瞰画像データを表示する際に、複数の駐車区画を表示する例について説明した。しかしながら、単に複数の駐車区画を表示することに制限するものではなく、複数の駐車区画から推奨する駐車区画を提示しても良い。そこで、第4の実施形態の変形例1にかかる駐車支援部400は、駐車区画毎にマージン領域を算出し、複数の駐車区画のうち、マージン領域が最も広い駐車区画を推奨領域として表示する。マージン領域の算出手法は、上述した実施形態と同様とする。そして、マージン長算出部422が、複数の駐車区画毎に、隣接するマージン領域の面積を算出し、最も隣接するマージン領域が広い駐車区画を、推奨の対象として特定する。
表示制御部410が、推奨する駐車区画を、他の駐車区画と表示態様が異なるように表示する。これにより、運転手は、マージンが広い駐車区画を認識できるため、車両1を駐車する際の運転負担を軽減できる。
(第4の実施形態の変形例2)
上述した実施形態及び変形例では、車両1を駐車区画等に駐車させる際に、手動で運転する運転手の運転負担を軽減する例について説明した。しかしながら、手動の運転することに制限するものではなく、車両1が自動で駐車区画まで移動する制御を行っても良い。そこで、第4の実施形態の変形例2では、駐車支援ECU14が車両1を自動で駐車区画に移動する制御を行う例について説明する。
本変形例では、第4の実施形態と同様に、表示制御部410が、複数の駐車区画を表示する。その際に第4の実施形態と同様にマージン領域を表示する。
そして、操作受付部401が複数の駐車区画から、いずれか一つの選択を受け付ける。これにより、駐車支援ECU14が、選択を受け付けた駐車区画に、車両1を移動制御を行う。所望する領域まで車両1を移動制御する手法は、周知の手法を問わず、どのような手法を用いても良い。
当該移動制御を行うことで、当該駐車区画に余裕があるか否かを予め確認してから、運転手が所望する領域に車両1を移動制御できるため、運転負担を軽減すると共に、安全性の向上を図ることができる。
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。