以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
図1に例示されるように、本実施形態において、周辺表示装置(周辺表示システム)を搭載する車両1は、例えば、不図示の内燃機関を駆動源とする自動車であってもよいし、不図示の電動機を駆動源とする電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。
車体2は、乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールであり、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。
また、車室2a内には、表示出力部としての表示装置8や、音声出力部としての音声出力装置9が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、例えば、スピーカである。また、表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置で手指等により操作入力部10を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置8や、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24の車幅方向の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。なお、モニタ装置11は、例えば、ナビゲーション装置やオーディオ装置と兼用されうる。
また、図1、図2に例示されるように、車両1は、例えば、前輪3Fと後輪3Rを備える四輪自動車である。図3に例示されるように、車両1は、少なくとも二つの車輪3を操舵する操舵システム13を有している。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。操舵システム13は、ECU14(electronic control unit)等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。
また、図1、図2に例示されるように、車体2には、複数の撮像部15として、例えば四つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレートで動画データ(撮像画像データ)を出力することができる。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜220°の範囲を撮影することができる。また、撮像部15の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部15は、車両1が移動可能な路面や路面に付された停止線や駐車枠線、区画線等の非立体物、および車両1の周辺に存在する物体(例えば、壁、樹木、人間、自転車、車両等の立体的な障害物)を含む車両1の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
撮像部15aは、例えば、車体2の後側の端部2eに位置され、リアハッチのドア2hのリアウインドウの下方の壁部に設けられている。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部2cに位置され、フロントバンパやフロントグリル等に設けられている。撮像部15dは、例えば、車体2の左側、すなわち車幅方向の左側の端部2dに位置され、左側のドアミラー2gに設けられている。ECU14は、複数の撮像部15で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な俯瞰画像を生成したりする。また、ECU14は、撮像部15で得られた広角画像のデータ(湾曲した画像のデータ)に演算処理や画像処理を施して歪みを補正する歪み補正処理を実行したり、特定の領域を切り出した画像を生成したりする切出し処理を実行することができる。ECU14は、取得した画像データを表示装置8に表示することで、例えば、車両1の前方や後方、右側方や左側方等の安全確認を行わせることができる。また、車両1を俯瞰する俯瞰画像を表示装置8に表示することにより、車両1の周辺の状況を客観的に視認させて周囲の安全確認を行わせることができる。
図1、図2に例示されるように、車体2には、複数の測距部16,17として、例えば四つの測距部16a〜16dと、八つの測距部17a〜17hとが設けられている。測距部16,17は、例えば、超音波を発射してその反射波を捉えるソナー(ソナーセンサ、超音波探知器、超音波ソナー)である。本実施形態において、測距部16,17は、車両1の車高方向において低い位置、例えば前後のバンパに設けられる。そして、ECU14は、測距部16,17の検出結果により、車両1の周囲に存在する障害物等の物体の有無や当該物体までの距離を測定することができる。なお、測距部17は、例えば、比較的近距離の物体の検出に用いられ、測距部16は、例えば、測距部17よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部17は、例えば、車両1の前方および後方の物体の検出に用いられ、測距部16は、車両1の側方の物体の検出に用いられうる。
また、図3に例示されるように、周辺表示システム100(周辺表示装置)では、ECU14や、モニタ装置11、操舵システム13、測距部16,17等の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、測距部16,17、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。
ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理の演算処理および制御を実行することができる。例えば、CPU14aは、撮像部15が撮像した撮像画像データに基づき、車両1を示す自車画像を例えば中心位置に表示する俯瞰画像(周辺画像)を生成する。また、CPU14aは、周辺画像に、車両1の進行方向の端部から進行方向に離間した注目位置(例えば、50cm離間した位置や1m離間した位置)と対応する周辺画像上の位置に注目指標を表示する。また、CPU14aは、注目指標の表示に対応した情報として、車両1の進行方向の端部から注目位置までの距離を示す距離情報を周辺画像に示すことができる。注目指標と距離情報とは、互いに対応付けられて例えば、ROM14bやSSD14f等の記憶部に保持されている。また、CPU14aは、車両1が現在の舵角で走行した場合の状態を示す仮想車両画像を周辺画像に表示することが可能で、将来(未来)における車両1と当該車両1の周囲に存在する例えば、障害物や駐車枠線、区画線等との位置関係を直感的に把握しやすい態様で表示することができる。なお、俯瞰画像の作成は、周知の技術を利用可能であり、その説明は省略する。
CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、表示装置8で表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されうる。また、ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。
ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。CPU14aはブレーキセンサ18bの検出結果に基づき算出した制動力の大きさと、車両1の現在の車速とから制動距離を算出することができる。
舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。舵角センサ19には、基準位置(例えば、舵角の操舵中立位置)が設定され、現在の舵角が操舵中立位置であるか否かを示す信号を出力してもよいし、舵角センサ19が出力する検出信号に基づきCPU14a側で操舵中立位置か否かを判定して、各種処理に利用してもよい。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。
アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。
シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。シフトセンサ21の出力する検出信号に基づき、CPU14aは、現在、車両1が前進走行可能状態か後退走行可能状態か等を判定して各種制御を実行し得る。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、各車輪3に配置され、各車輪3で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量、車速、各車輪3の回転状態等を演算して各種制御を実行する。なお、車輪速センサ22は、図示を省略したブレーキシステム18に設けられている場合もある。その場合、CPU14aは、車輪速センサ22の検出結果をブレーキシステム18を介して取得してもよい。
上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。
周辺表示システム100を実現するECU14は、一例として、車両1の周囲を俯瞰態様で表示する周辺画像を生成するとともに、この周辺画像に、車両1を俯瞰態様で表示する自車画像と、車両の進行方向の端部から進行方向に離間した注目位置と対応する位置に注目指標を表示する。なお、本実施形態において、注目指標は、例えば、車両1の舵角が操舵中立位置の場合に、車両1の端部と平行な線(距離表示ライン)で表現され、舵角が操舵中立位置以外の場合には非表示とされる。注目指標が非表示の場合、周辺画像には、例えば、車両1が現在の舵角のままで移動した場合の車両状態(移動位置や車体の向き等)を示す仮想車両画像が表示されてもよい。
まず、本実施形態において、表示装置8に表示される画像の一例を図4に示す。表示装置8は、ナビゲーション画面やテレビ画面、オーディオ画面等が表示可能であるが、運転者等による手動切替または車両の動作状態に基づく自動切替により、図4に示すような俯瞰画像8aが表示可能である。表示装置8の表示画面は、例えば、周辺画像である俯瞰画像8aを表示する第一の表示領域と、距離情報画像8bやメッセージ画像8c等を表示する第二の表示領域とのような分割画面で構成されている。
前述したように、俯瞰画像8aを表示する場合、CPU14aは、車両1の前後左右に配置された撮像部15a〜15dを用いて、視点が自車上空に設定されて地面を見下ろしたような俯瞰画像を生成するとともに、例えば俯瞰画像8aの中央位置にROM14b等に予め保持された自車画像30(自車アイコン)を重畳表示する。その結果、俯瞰画像8aに表示される自車画像30とその周辺に表示される表示物との位置関係、例えば、他車両32、縁石、壁、植え込み等の立体物や路面に描かれた駐車区画線34、停止線等の平面物等と自車画像30との位置関係を直感的に理解しやすい画像が提供できる。また、俯瞰画像8aには、車両1の進行方向の端部から進行方向に離間した注目位置と対応する位置を示す注目指標36a,36bが表示される。図5の場合、車両1は後退走行可能状態(変速操作部7がRレンジ)である場合が示され、注目指標36a,36bは、自車画像30の後端部から離間した位置に表示される。注目指標36aは、俯瞰画像8a上で車両1の端部2e(後端部)から50cm離間した注目位置に対応する位置に表示される線状の指標(距離表示ライン)である。同様に、注目指標36bは、車両1の端部2eから1m離間した注目位置に対応する位置に表示される線状の指標(距離表示ライン)である。
注目指標36aと注目指標36bは、互いに識別できるように表示態様を異ならせることができる。例えば、自車画像30(車両1)により近い位置に表示される注目指標36aは、「赤色」で示され、注目指標36bは「青色」で示される。また、注目指標36aは50cmに対応する位置が最も濃い色で表示され、自車画像30に近づくのに連れて表示色が薄くなるグラデーション処理が施されている。つまり、注目指標36aは、太い表示幅の強調表示されたラインとなる。グラデーション処理がなされているため、仮に注目指標36aの表示位置と俯瞰画像8aに含まれる表示物(例えば、他車両32や駐車区画線34等)の表示位置とが重なった場合でもそれぞれの視認性の低下が抑制可能となる。つまり、視認性の維持ができる。車両1の端部2eから1mに対応する位置に表示される注目指標36bも同様に、グラデーション処理が施され、同様に強調表示効果と視認性の維持効果を備える。
距離情報画像8bには、俯瞰画像8aに表示される注目指標36aおよび注目指標36bの具体的な説明となる距離情報が数値表示される。図4の場合、俯瞰画像8aに表示された注目指標36aおよび注目指標36bに対して距離情報が隣接して表示されるように、距離情報画像8bは俯瞰画像8aの右横に表示(配置)される。そして、俯瞰画像8aに表示される注目指標36aと同様な表示態様の参照マーク36cが距離情報画像8b上で注目指標36aの真横に表示され、さらに右横の接近した位置に具体的な距離情報36d、例えば「50cm」が表示される。同様に、俯瞰画像8aに表示される注目指標36bに対応する参照マーク36eと距離情報36f、例えば「1m」が距離情報画像8b上に表示される。
このように、俯瞰画像8aに表示される注目指標36aおよび注目指標36bの具体的な説明が隣接する距離情報画像8bに表示されることにより、俯瞰画像8aの表示内容を車両1の運転者に容易に理解させることができる。例えば、レンタカーやカーシェアリング等で不慣れな車両1を運転する場合でも、表示装置8の表示内容を取扱説明書等を参照させることなく、直感的に容易に理解させることができる。また、参照マーク36c,36eおよび距離情報36d,36fは、自車画像30や他車両32、駐車区画線34等が表示される第一の表示領域(俯瞰画像8a)ではなく、隣接する別領域である第二の表示領域(距離情報画像8b)に表示される。その結果、参照マーク36c,36eや距離情報36d,36f等が他車両32や駐車区画線34と重なることがなく、それぞれの情報の認識性の低下が抑制できる。なお、参照マーク36c,36eの表示は省略してもよい。
図4に示す例の場合、第二の表示領域の一部を利用して、メッセージ画像8cを表示している。メッセージ画像8cには、図4に示すように、例えば、俯瞰画像8aが表示された場合の注意事項等のメッセージを表示してもよい。図4の場合、一例として「車両周辺を直接確認してください」等が表示される。また、撮像部15が撮像した撮像画像データや測距部16,17が取得した検出信号に基づき、例えば車両1に接近する障害物を検出した場合には、その障害物の接近を通知するメッセージや接触を回避するためのメッセージ等を表示してもよい。その際、注意を喚起するためにメッセージ画像8cの背景を通常のメッセージ表示時の例えば「黒色」から「赤色」に変更したり、メッセージを点滅表示したりしてもよい。
前述したように、本実施形態の場合、車両1の舵角が操舵中立位置の場合に、注目指標36a,36bおよび参照マーク36c,36e、距離情報36d,36fが表示される。そして、車両1の舵角が操舵中立位置以外の場合には図5に示すように、注目指標36a,36bおよび参照マーク36c,36e、距離情報36d,36fが非表示とされる。そして、代わりに、現在の車両1の舵角で走行した場合の将来の車両1の移動位置(移動軌跡)を示す仮想車両画像38(仮想アイコン)が表示される。図5は、一例として、車両1が停止状態で、操舵部4(ステアリングホイール)を操作して車両1の舵角が操舵中立位置以外の状態になった場合の俯瞰画像8aの表示例である。図5に示す例の場合、車両1の現在の舵角で、自車画像30の位置から例えば3m後退走行する仮想車両画像38の移動軌跡を表示する。この場合、仮想車両画像38は例えば一定間隔で像を残しながら表示される。このように、残像表示態様で、仮想車両画像38を表示することで車両1が将来どのように移動して行くかを直感的により認識させやすくなる。また、車両1(自車画像30)の周囲に障害物が存在する場合には、仮想車両画像38の残像と障害物との位置関係が各位置においてより容易に認識可能となる。さらに、仮想車両画像38が障害物に接近して行く場合、その接近の様子が詳細に表示できる。つまり、残像として表示される複数の仮想車両画像38と障害物との位置関係が表示され続ける。その結果、例えば、障害物に接近し過ぎないようにするためには、事前にどの辺りで進路の修正(舵角の修正)をしたらよいかの検討が容易になる。この場合、図4に示すような注目指標36a,36bおよび参照マーク36c,36e、距離情報36d,36fを非表示とすることで、残像表示される仮想車両画像38の視認性が向上する。この場合、距離情報画像8bの背景は、例えば「黒色」に変更できる。また別の実施形態では、距離情報画像8bに他の情報、例えば、後方の実画像を表示してもよい。この場合、実画像が仮想車両画像38の真横に表示されるため、仮想車両画像38と実画像の関連性の理解が容易になる。また、メッセージ画像8cは、仮想車両画像38の表示中も必要となるので、その表示を維持してもよいし、他のメッセージを表示してもよい。
このように、俯瞰画像8aの表示状態および距離情報画像8bの表示状態を車両1の舵角に応じて変化させることにより、例えば、現在の舵角がどのような状態かを直感的に運転者に理解させることができる。例えば、車両1が停止している状態で舵角が操舵中立位置か否かの判断は、通常、操舵部4のステアリングスポークの位置によって推測したり、窓から顔を出して実際に前輪3Fの状態を確認したりして行う場合がある。一方、本実施形態によれば、俯瞰画像8aの表示状態を確認することにより現在の舵角が操舵中立位置か否かを容易に判断できる。なお、本実施形態において操舵中立位置とは、実質的に車両1が直進走行できる舵角であり、操舵システム13の機械的な遊び(ステアリングホイールの遊び等)を考慮した角度範囲である。したがって、「舵角=0°」であることに限定されない。また、本実施形態の場合、二本の注目指標36a,36bを表示する例を示したが、表示数は適宜変更可能であり、例えば一本でもよいし、三本以上でもよい。
図5に示す仮想車両画像38の表示態様は一例であり、車両1が現在の舵角で例えば3m後退走行した位置に対応する位置に、一つの仮想車両画像38が連続的または間欠的に走行移動するように表示されてもよい。
図4や図5に示すような画面を表示させる制御モードを俯瞰表示モードと称する。この他、CPU14aは、撮像部15で撮影した実画像を表示する実画像表示モードや、車両1の前方や後方または側方の離れた位置に視点を置いた視点変更表示モードでの画像を表示装置8に表示するようにしてもよい。
図6は、図5の俯瞰画像8aが示されたときの舵角のまま車両1が後退走行した場合を示す俯瞰画像8aが示されている。本実施形態の場合、仮想車両画像38は例えば常時俯瞰画像8aの中央に表示されるように設定されているため、図6の表示過程では、仮想車両画像38に対して周辺画像側(他車両32や駐車区画線34)が回転したり上下左右に移動したりする画像が表示される。なお、車両1が後退走行する過程で舵角が変更された場合、その舵角に伴い仮想車両画像38の表示位置が変化する。また、後退走行の過程で、舵角が操舵中立位置になると、図7に示すように、俯瞰画像8aに注目指標36a,36bが表示され、距離情報画像8bに注目指標36a,36bに対応する参照マーク36c,36e、距離情報36d,36fが表示される。この表示により運転者は、現在の舵角が操舵中立位置になったことを直感的に認識できる。そして、駐車区画線34で規定される駐車領域の最適な位置に車両1を駐車するためには、あとどれ位後退したらよいか等を容易に認識させることができる。同様に、車両1の後方に物体(例えば、車輪止めや壁等)が存在する場合には、その物体と車両1との間隔を容易に認識させることができる。なお、現在の舵角が操舵中立位置であるので、仮想車両画像38が非表示になった場合でも、車両1の将来の移動位置は容易に認識させることができる。図6の場合、距離情報画像8bには、何も表示されない例が示されているが、上述したように車両1の後方を示す実画像を表示してもよい。また、メッセージ画像8cは継続的に注意を促すメッセージを表示してもよい。この場合、測距部16,17により車両1の周囲に新たに障害物(例えば、歩行者等)が検出された場合には、その旨を通知するメッセージを表示してもよい。また、図7においても同様である。また、CPU14aは、他車両32と自車画像30との表示位置の比較結果により、移動停止を示すメッセージ、例えば、「隣接車両と同じような位置に移動できました」等の駐車完了メッセージを表示するようにしてもよい。
ECU14に含まれるCPU14aは、上述したような俯瞰態様の表示を実現するために、図8に示されるように、取得部40、制御部42、表示切替部44、報知部46、出力部48等を含む。取得部40は、主として、車両1に設けられた撮像部15から出力された撮像画像データに基づき車両1の周辺の状況を俯瞰態様で表示する周辺画像(俯瞰画像8a)と、周辺画像に俯瞰態様で表示される自車画像30を取得する。そのため、取得部40は、表示要求取得部40a、周辺画像生成部40b、車両指標取得部40c、シフト情報取得部40d、舵角取得部40e、注目指標取得部40f等を含む。また、制御部42は、主として、注目指標36a,36bと距離情報36d,36fとを自車画像30とともに表示装置に表示させる。そのため、制御部42は、表示態様制御部42a、舵角判定部42b、注目指標表示制御部42c、距離情報表示制御部42d、仮想車両表示位置制御部42e等を含む。CPU14aは、これらのモジュールを、ROM14b等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。なお、ROM14bやSSD14fは、注目指標36a,36bと距離情報36d,36fとを対応付けて保持する記憶部として機能する。
表示要求取得部40aは、運転者が操作入力部10や操作部14gを介して入力する、表示装置8に表示させる画像の切替要求、例えば周縁画像を表示させる表示要求信号や周辺画像の表示終了を要求する終了要求信号等の取得を行う。なお、ECU14は、車両1の状態に応じて望ましいと判定した画像を自動的に表示装置8に表示してもよい。例えば、車両1の状態に基づいて俯瞰態様の周縁画像を表示することが望ましいと判定した場合、表示要求取得部40aが周辺画像の表示要求を取得したと見なして制御を実行してもよい。
周辺画像生成部40bは、俯瞰態様の周辺画像(俯瞰画像8a)を撮像部15a〜15dで得られる撮像画像データに周知の視点変換処理及び歪み補正処理等を施すことにより得ることができる。俯瞰画像8aは、撮像部15a〜15dが撮像する撮像画像データを用いるため、基本画像として、車両1を中心とする画像を生成することができる。別の実施形態では、視点変換処理を実行する際に、視点位置を変更し、車両1の位置を俯瞰画像8aの上端位置に移動させた画像、つまり、主として車両1の後方の領域を俯瞰態様で表示して視認性を向上する後方俯瞰画像を生成してもよい。同様に、車両1の位置を俯瞰画像8aの下端位置に移動させた画像、つまり、主として車両1の前方の領域を俯瞰態様で表示して視認性を向上する前方俯瞰画像を生成してもよい。後方俯瞰画像を生成するか前方俯瞰画像を生成するかは、車両1の進行方向(変速操作部7の操作方向)に基づいて決めてもよいし、運転者の操作によって決めてもよい。
車両指標取得部40cは、車両指標として、車両1の俯瞰態様の自車画像30(自車アイコン)、仮想車両画像38(仮想アイコン)等をROM14bやSSD14fから取得する。なお、自車画像30および仮想車両画像38の形状は、実際の車両1の形状に対応させることが望ましい。この場合、俯瞰画像8a上で撮像画像データに基づいて表示される物体、例えば他車両32や壁等に対する距離感や相対関係をより正確に表現し、運転者に認識させやすくなる。なお、自車画像30と仮想車両画像38とは、識別できればよく、表示態様を変化させた同じデータを用いてもよい。例えば、仮想車両画像38を表示する場合の透過度を自車画像30を表示する場合より高くすることで識別してもよい。また、仮想車両画像38と自車画像30との表示色を異ならせたり、点灯表示と点滅表示とで異ならせたりすることで識別してもよい。
シフト情報取得部40dは、シフトセンサ21の検出信号を取得する。このシフト情報に基づき、注目指標36a,36bの表示位置を自車画像30の後方か前方かを決める。
舵角取得部40eは、舵角センサ19から出力される操舵部4(ステアリングホイール)の操作状態(舵角)を取得する。つまり、運転者がこれから車両1を走行させようとしている方向を取得する。なお、舵角取得部40eは、変速操作部7の可動部の位置に基づき、前進時の舵角と後退時の舵角を区別して取得してもよい。
注目指標取得部40fは、舵角取得部40eが取得した舵角が操舵中立位置の場合に俯瞰画像8a上に表示する注目指標36a,36bをROM14b(SSD14f)から読み出す。また、このとき注目指標36a,36bに対応付けられて保持されている、参照マーク36c,36eと距離情報36d,36fを読み出す。
表示態様制御部42aは、俯瞰画像8aにおける自車画像30の表示位置を決定するとともに、主として、車両1の舵角に基づき注目指標36a,36bの表示と仮想車両画像38の表示を切り替える。また、注目指標36a,36bを表示している場合に、周囲の状況、例えば障害物の接近状況に応じて注目指標36aや注目指標36bの表示態様を変化させる。例えば、注目指標36aや注目指標36bに対して障害物が所定距離以内に接近した場合、注目指標36aや注目指標36bの表示色を変更したり、定常時の点灯表示から注意喚起時の点滅表示等に変更したりする。また、仮想車両画像38を表示している場合も同様に、周囲の状況に応じて仮想車両画像38の表示態様を変化させる。例えば、仮想車両画像38に対して障害物が所定距離以内に接近した場合、仮想車両画像38の表示色を変更したり、定常時の点灯表示から注意喚起時の点滅表示等に変更したりする。
舵角判定部42bは、舵角取得部40eが取得した車両1の舵角に基づき、現在の舵角が操舵中立位置か否かの判定を行い、表示態様制御部42aに判定結果を提供する。
注目指標表示制御部42cは,注目指標36a,36bを表示する場合、シフト情報取得部40dの取得結果に基づき、俯瞰画像8aにおいて、注目指標36a,36bを自車画像30の後方の位置に表示するか前方の位置に表示するかを決定する。
距離情報表示制御部42dは、注目指標36a,36bが表示される場合、距離情報画像8bに表示する参照マーク36c,36eと距離情報36d,36fの表示位置を決定する。
仮想車両表示位置制御部42eは、仮想車両画像38の表示位置を舵角取得部40eが取得した車両1の舵角にしたがって決定する。本実施形態の場合、図5、図6に示すように、自車画像30の表示位置を基準にして、車両1がそのときの舵角で例えば3m後退走行した場合の移動軌跡を複数の仮想車両画像38を用いて残像表示となるような表示位置を決定する。このように、複数の仮想車両画像38を表示する(残像表示をする)ことにより車両1が将来どのように移動して行くかを直感的に認識させやすくすることができる。また、車両1(自車画像30)の周囲に障害物が存在する場合には、仮想車両画像38の残像と障害物との位置関係を各位置においてより容易に認識させることができる。さらに、仮想車両画像38が障害物に接近して行く場合、その接近の様子が詳細に表示できる。つまり、残像として表示される複数の仮想車両画像38と障害物との位置関係が表示され続ける。その結果、例えば、障害物に接近し過ぎないようにするためには、事前にどの辺りで進路の修正(舵角の修正)をしたらよいかの検討を容易に行わせることができる。なお、別の実施形態において、仮想車両表示位置制御部42eは、一つの仮想車両画像38を連続的または間欠的に移動するように俯瞰画像8a上で表示するようにしてもよい。この場合、俯瞰画像8a上における表示がシンプル化され、障害物等の視認性を向上させることができる。複数の仮想車両画像38を用いて残像態様で表示させるか、一つの仮想車両画像38を連続的または間欠的に表示させるかは、操作入力部10や操作部14gを介して運転者に選択させることができる。
表示切替部44は、表示要求取得部40aが俯瞰態様の周辺画像(俯瞰画像8a)の表示要求を受け付けた場合に、それまで表示装置8に表示していたナビゲーション画面やオーディオ画面、テレビ画面等から俯瞰画像8aに切り替える。また、俯瞰画像8aの表示状態から元の画面、例えばナビゲーション画面に戻したり、表示装置8の表示内容を適宜切り替えたりする。例えば、撮像部15により撮像された撮像画像データに基づく実画像を表示したり、車両1の設定状態を表示するメンテナンス画面を表示したり、各種画面への切り替えを実行する。
報知部46は、図4や図5でメッセージ画像8cに表示するようなメッセージの他、車両1と周囲の状況とに応じたメッセージの表示制御を行う。出力部48は、測距部16,17が障害物を検出した場合で、車両1に対して所定距離以内に接近した場合等には、注意を喚起するためのメッセージの表示や音声メッセージ、警告音等の出力制御を行う。
出力部48は、制御部42が決定した表示内容や表示切替部44が決定した表示装置8の表示切替内容、報知部46が決定した報知内容等を表示制御部14dや音声制御部14eに向けて出力する。
上述したように構成される周辺表示システム100による表示処理の一例を図9のフローチャートを用いて説明する。なお、以下に示す例の場合、表示装置8は、定常時は、ナビゲーション画面やオーディオ画面、テレビ画面、または、車両1の前方領域を示す実画面等が全面に表示されているものとする。
まず、ECU14は、表示要求取得部40aが俯瞰画像8aの表示要求(指標表示要求)を受け付けたか否かを確認し(S100)、俯瞰画像8aの表示要求を受け付けていない場合(S100のNo)、一旦このフローを終了する。一方、俯瞰画像8aの表示要求を受け付けた場合(S100のYes)、周辺画像生成部40bは、撮像部15a〜15dが撮像した撮像画像データに基づき、俯瞰画像8aを生成する(S102)。続いて、車両指標取得部40cは、自車画像30(自車画像30を表示するためのデータ)をROM14bやSSD14fから取得する(S104)。このとき、車両指標取得部40cは、仮想車両画像38(仮想車両画像38を表示するためのデータ)を併せたROM14bやSSD14fから取得する。そして、表示切替部44は、表示装置8の表示画面を例えばナビゲーション画面から周辺画像生成部40bが生成した俯瞰画像8aに切り替える(S106)。
表示態様制御部42aは、シフト情報取得部40dの取得結果を確認し(S108)、シフトレンジが「Rレンジ」(後退レンジ)の場合(S108のYes)、注目指標36a,36bを表示する場合は自車画像30の後方に注目指標36a,36bを表示し、仮想車両画像38を表示する場合は自車画像30の後方へ仮想車両画像38が移動して行くような表示を行う後退表示モードに切り替える(S110)。後退表示モードは、図4〜図7に示すような表示であり、例えば、注目指標36a,36bを表示する場合には、図4や図7の状態になる。また、仮想車両画像38を表示する場合は、図5、図6の状態になる。
一方、シフトレンジが「Rレンジ」ではない場合(S108のNo)、注目指標36a,36bを表示する場合は自車画像30の前方に注目指標36a,36bを表示し、仮想車両画像38を表示する場合は自車画像30の前方へ仮想車両画像38が移動して行くような表示を行う前進表示モードに切り替える(S112)。前進表示モードは、図10、図11に示すような表示であり、例えば、注目指標36a,36bを表示する場合には、図10の状態になる。この場合も自車画像30の前端に近い側に注目指標36aが表示され、自車画像30の前端から遠い側に注目指標36bが表示される。また、注目指標36a,36bのグラデーションは、自車画像30の先端に近い側が薄くなるように設定されている。この場合、後退表示モードで自車画像30の後方に注目指標36a,36bが表示される図4の場合と比べると、距離情報画像8bとメッセージ画像8cとの配置が逆になる。その結果、参照マーク36cと距離情報36dは、注目指標36aの真横に表示され、参照マーク36eと距離情報36fは、注目指標36bの真横に表示される。その結果、それぞれの対応関係が正しく表示され、車両1を前進走行する際の前方の距離感を運転者に容易に理解させる表示ができる。また、図11は、車両1が出庫する場合の一例が示され、仮想車両画像38が自車画像30の右前方に移動して行く状態が示されている。この場合、仮想車両画像38が他車両32と接触しないような舵角を運転者に容易に選択させることができる。距離情報画像8bは図11に示すように非表示(背景が例えば黒色)でもよいし、車両1の前方の状態を示す実画像が表示されてもよい。この場合も距離情報画像8bとメッセージ画像8cの表示位置が図5の場合と比べて逆になるため、実画像が仮想車両画像38の真横に表示され、仮想車両画像38と実画像の関連性の理解が容易になり、車両1を出庫させる場合の周囲との位置関係を運転者に容易に理解させる表示ができる。
続いて、舵角取得部40eは現在の車両1の舵角を取得する(S114)。そして、舵角判定部42bが舵角取得部40eの取得した舵角が操舵中立位置に対応する舵角であると判定した場合(S116のYes)、注目指標取得部40fは、例えばROM14bから注目指標36a,36b、およびそれに対応する参照マーク36c,36e、距離情報36d,36fを表示するためのデータを取得する。そして、注目指標表示制御部42cは、車両1の進行方向に車両1と干渉するような障害物があるか否かの判定を行い(S118)、俯瞰画像8aの表示態様を決定する。例えば、測距部16,17の検出結果または撮像部15が撮像した撮像画像データの画像処理の結果、車両1と干渉するような障害物が存在しない場合(S118のNo)、注目指標表示制御部42cは注目指標の通常表示を実行する(S120)。例えば、自車画像30に近い注目指標36aを「赤色」で点灯表示させ、自車画像30から遠い注目指標36bを「青色」で点灯表示させる。一方、車両1と干渉するような障害物が存在する場合(S118のYes)、注目指標表示制御部42cは、注目指標の特殊表示を行う(S122)。例えば、障害物との距離が所定距離以内になったり、接触したりする注目指標36aや注目指標36bがある場合、注目指標36aや注目指標36bの表示色を通常表示色とは異なる表示色に変更したり、表示状態を点灯状態から点滅状態に変更する。そして、距離情報表示制御部42dは、俯瞰画像8aに表示した注目指標36aや注目指標36bに対応する距離情報画像8b上の位置に参照マーク36cと距離情報36dおよび参照マーク36eと距離情報36fを表示する(S124)。例えば、図4に示すように、俯瞰画像8aに表示される注目指標36aの右位置に参照マーク36cと距離情報36dを並べて表示する。同様に、注目指標36bの右位置に参照マーク36eと距離情報36fを並べて表示する。
S116において、現在の車両1の舵角が操舵中立位置に対応する舵角ではない場合(S116のNo)、仮想車両表示位置制御部42eは、車両指標取得部40cが取得した仮想車両画像38の表示位置を舵角取得部40eの取得した現在の車両1の舵角にしたがい取得する(S126)。例えば、現在の舵角で0.5m、1.0m、2.0m、3.0m走行した場合の位置に対応する位置を仮想車両画像38の表示位置(残像表示位置)とする。そして、仮想車両表示位置制御部42eは、決定されたそれぞれの表示位置に仮想車両画像38を表示させることで、残像表示を完成する(S128)。
そして、ECU14は所定の制御周期ごとに表示要求取得部40aが指標表示終了要求を受け付けたかを確認し(S130)、表示要求取得部40aが指標表示終了要求を受け付けていない場合(S130のNo)、S108に戻り、上述した制御を繰り返し実行する。例えば、前回の制御周期で後退表示モードにより表示が実行されていたが、今回の制御周期では、変速操作部7の操作によりシフト位置が例えば「D」レンジ(前進レンジ)に切り替わった場合は、注目指標36a,36bや仮想車両画像38を自車画像30の前方に表示する前進表示モードに切り替える。また、前回制御周期で、舵角が操舵中立位置で注目指標36a,36bが表示されていたが、運転者が操舵状態を変化させ、非操舵中立位置になった場合には、仮想車両画像38が表示されるようになる。
S130において、指標表示の終了要求を受け付けた場合(S130のYes)、表示切替部44は、表示装置8の俯瞰画像8aの表示を終了させ、定常時の表示画面、例えばナビゲーション画面に切り替えて、このフローを一旦終了する。
このように、俯瞰画像8aを表示する場合、表示される注目指標36aの右位置に参照マーク36cと距離情報36dを並べて表示し、注目指標36bの右位置に参照マーク36eと距離情報36fを並べて表示することにより、俯瞰画像8aの表示内容を直感的に運転者に理解させやすくすることができる。例えば、レンタカーやカーシェアリング等で不慣れな車両1を運転する場合でも、車両1の取扱説明書等を参照させることなく、表示装置8の表示内容である注目指標36aや注目指標36bの意味を容易に理解させることができる。また、注目指標36a,36bの表示領域(第一の表示領域)と距離情報36d,36fの表示領域(第二の表示領域)を分けることにより、それぞれの表示内容の視認性の低下を回避することができる。さらに、注目指標36aの表示と距離情報36dの表示および注目指標36bと距離情報36fの表示を並べることにより、それぞれの対応関係を明確にすることができる。また、本実施形態の場合、車両1の舵角が操舵中立位置の場合に、俯瞰画像8a上に注目指標36a,36bを表示し、操舵中立位置以外の場合は、俯瞰画像8a上に仮想車両画像38を表示する。その結果、現在の舵角が操舵中立位置か否か(直進可能な状態か否か)を直感的に運転者に理解させることが可能になり、運転者の運転操作の負担を軽減することができる。
図12は、周辺表示システム100による他の表示態様を示す図である。上述した実施形態の場合、車両1の舵角が操舵中立位置の場合に、注目指標36aと距離情報36dおよび注目指標36bと距離情報36fを表示し、操舵中立位置以外の場合は、代わりに仮想車両画像38を表示する例を示した。図12の場合は、操舵中立位置以外の場合も注目指標36aと距離情報36dおよび注目指標36bと距離情報36fが継続的に表示される。この場合、俯瞰画像8aが表示される場合に、仮想車両画像38に比べてシンプルな表示内容である注目指標36a,36bが常時表示されるので視認性を優先させた場合に有効な表示となる。なお、この場合でも、自車画像30から離間した位置に離間距離の異なる注目指標36aおよび注目指標36bが表示されるので、他車両32に対する接近状態や位置関係を運転者に理解させやすくなる。そして、図12のような表示の場合も注目指標36aの表示と距離情報36dの表示および注目指標36bと距離情報36fの表示が並べて行われるので、それぞれの対応関係を明確にすることができる。
図13は、後退走行可能時に表示される俯瞰画像8aの変形例であり、俯瞰画像8a上で注目指標36aと距離情報36dおよび注目指標36bと距離情報36fが隣接して表示されている例である。この場合、俯瞰画像8a上に表示する情報量が多くなるため、俯瞰画像8aに表示される他車両32や駐車区画線34と重なる可能性が高まり視認性の低下が生じる場合がある。その反面、俯瞰画像8a上で注目指標36aと距離情報36dおよび注目指標36bと距離情報36fが隣接して表示されることにより、注目指標36aと距離情報36dとの対応関係、および注目指標36bと距離情報36fとの対応関係が、図5のように別領域で表示される場合に比べてさらに認識しやすくなるという効果を奏する。また、距離情報画像8bに実画像等の他の情報の表示が可能になり、表示情報の選択の自由度が向上する。なお、図12や図13の表示は運転者が操作入力部10や操作部14g等を操作することにより、選択可能であり、運転者の好みに応じたカスタマイズが可能である。
上述した各表示例では、注目指標36aおよび注目指標36bを「線」で表示する場合を示したが、車両1(自車画像30)と距離情報に対応する位置が認識できれば、表示形状は適宜変更可能であり、「線」以外のマークを用いてもよく同様の効果を得ることができる。
本実施形態のCPU14aで実行される表示処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、上述した表示処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される表示処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。