JP7354649B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

撮像部によって車両の周辺を撮像して得られる撮像画像に基づく周辺画像に、車両の車両画像を合成した合成画像を生成し、生成した合成画像を含む表示画面を表示部に表示させることによって、車両の周辺の状況を利用者（運転者等）に提供する技術が開発されている。このような技術において、例えば、車両の周囲に存在する物体（歩行者、他車両、障害物等）を検出した際にその物体を囲むような枠を表示し、物体の存在を利用者に報知する技術が提案されている。

特開２０１７－１６１０６０号公報

しかしながら、上述したように物体を枠で囲んで表示する技術において、物体の状況（位置等）が変化しない場合、例えば、移動しない場合、枠は同じ表示が続けられることになり、利用者に認識され難いという問題があった。

そこで、実施形態の課題の一つは、車両の周囲で注目すべき領域(物体が存在する位置や目標とする位置等)を、その領域の移動の有無に拘わらず、より認識し易い表示を可能とし、車両周辺の状況を認識させやすくする周辺監視装置を提供することである。

本実施形態の周辺監視装置は、例えば、車両の周辺を撮像する撮像部からの撮像画像と、上記車両の周囲で設定される注目領域に関する位置情報と、を取得する取得部と、上記撮像画像に基づく俯瞰視した周辺画像に、上記車両の位置を示す自車画像と、上記位置情報に基づく上記注目領域の位置を示唆する指標とを重畳表示させ、上記指標の表示態様が時間経過に伴い変化するように表示させる制御部と、を備え、上記制御部は、上記指標の輪郭線の表示態様が時間経過に伴い変化するように表示するとともに、上記指標として上記注目領域の移動する方向を示すように上記輪郭線が時間経過に伴い所定の表示領域内で移動する方向指標を表示し、当該方向指標は、上記注目領域に移動体が存在しない場合、移動体が存在する場合に比べて表示透過度を高めた半透明の状態で表示される。この構成によれば、例えば、指標が、注目領域の移動の有無に拘わらず、時間経過に伴い表示態様を変化させるので、利用者に注目領域の存在や位置をより認識させやすい表示ができる。また、指標の表示態様が時間経過に伴い変化していることがより明確に表示され、注目領域の存在や位置をより認識し易く表示することができるとともに、注目領域の存在や注目領域が移動していること、その移動方向等を方向指標によりイメージさせ易い表示を行うことができる。また、移動体が検出されない場合でも移動体の検出が可能であることを示唆可能となり、利用者に安心感を与えることに寄与できる。

本実施形態の周辺監視装置の上記制御部は、例えば、上記注目領域に表示態様が時間経過に伴い変化する仮想立体物を表示してもよい。この構成によれば、例えば、立体化され仮想立体物で表示されるので、利用者に注目領域の存在や位置をさらに認識させやすい表示ができる。

本実施形態の周辺監視装置の上記制御部は、例えば、上記車両が移動すべき目標位置を示唆する目標指標を表示するとともに、上記目標位置と上記自車画像の表示位置との間隔が所定値以下になった場合、上記仮想立体物を上記目標位置に表示するようにしてもよい。この構成によれば、車両を所望の位置に移動させる場合、例えは、駐車のために、駐車目標位置に移動させる場合や駐車のための切り返しを行う場合等に、まず、車両を移動させて停止させるべき、概ねの位置を示唆する目標指標が表示される。そして、目標位置に接近した場合に、仮想立体物が目標位置に表示される。その結果、車両が目標位置から遠い場合には、位置合わせ精度にとらわれずにスムーズかつ容易に車両の移動を行わせることができる。また、車両が目標位置に接近した場合には、目標位置を明確に示す仮想立体物を表示するので、目標位置への位置合わせをより正確に行わせることができる。また、目標位置に接近した時点で仮想立体物が表示されることで、目標位置に接近していることを利用者により認識させやすい表示ができる。

本実施形態の周辺監視装置の上記制御部は、例えば、上記目標位置に上記自車画像が到達した場合、上記仮想立体物を非表示とするようにしてもよい。この構成によれば、例えば、目標位置に車両が到達したことを、利用者に直感的に認識させやすい表示ができる。

本実施形態の周辺監視装置の上記制御部は、例えば、上記仮想立体物の表示態様を時間経過に伴い上下に変化させるようにしてもよい。この構成によれば、例えば、仮想立体物と現実の立体物との区別が容易な表示を行うことができる。

本実施形態の周辺監視装置の上記制御部は、例えば、上記注目領域に立体物が存在すると見なせる場合、上記立体物の最下部と見なせる部分に表示態様が時間経過に伴い変化する足元指標を表示するようにしてもよい。この構成によれば、例えば、立体物の最下部（足下、基部）を認識させやすく、また、その最下部の位置（例えば、路面に接触している位置）と車両（自車画像）との間隔（距離）をイメージさせやすく、注目領域（立体物）と車両との相対位置関係をより認識させやすい表示ができる。

本実施形態の周辺監視装置の上記制御部は、例えば、上記足元指標の上記輪郭線の大きさを時間経過に伴い拡縮するようにしてもよい。この構成によれば、例えば、立体物の最下部（足下、基部）をより認識させやすい表示ができる。

図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態を示す例示的かつ模式的な斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の例示的かつ模式的な平面図である。 図３は、実施形態にかかる周辺監視装置を含む車両の制御システムの機能構成を示す例示的かつ模式的なブロック図である。 図４は、実施形態にかかる周辺監視装置をＣＰＵで実現する場合の構成を例示的かつ模式的に示すブロック図である。 図５は、第１実施形態にかかる周辺監視装置による表示画面を示す例示的かつ模式的な図である。 図６は、第１実施形態にかかる周辺監視装置により表示される指標の表示態様として輪郭線の位置が時間経過とともに移動（変化）することを示す例示的かつ模式的な図である。 図７は、第１実施形態にかかる周辺監視装置により表示される指標の表示態様として輪郭線の位置が時間経過とともに移動（変化）することを示す、他の例示的かつ模式的な図である。 図８は、第１実施形態にかかる周辺監視装置により表示される指標の表示態様として輪郭線の位置が時間経過とともに移動（変化）することを示す、他の例示的かつ模式的な図である。 図９は、第１実施形態にかかる周辺監視装置により表示される指標の表示態様として輪郭線の位置が時間経過とともに移動（変化）することを示す、他の例示的かつ模式的な図である。 図１０は、第１実施形態にかかる周辺監視装置により表示される他の指標の表示態様として輪郭線の半径が時間経過とともに変化することを示す例示的かつ模式的な図である。 図１１は、第２実施形態にかかる周辺監視装置による表示画面を示す例示的かつ模式的な図である。 図１２は、第２実施形態にかかる周辺監視装置により表示される指標の表示態様として輪郭線の位置が時間経過とともに移動（変化）することを示す例示的かつ模式的な図である。 図１３は、第３実施形態にかかる周辺監視装置による表示画面の一例であり、駐車のために切り返し位置まで前進走行する場合に表示される表示画面の例示的かつ模式的な図である。 図１４は、第３実施形態にかかる周辺監視装置による表示画面の一例であり、図１３に続き、駐車位置まで後退走行する場合に表示される表示画面の例示的かつ模式的な図である。 図１５は、第３実施形態にかかる周辺監視装置による表示画面の一例であり、図１４に続く表示画面の例示的かつ模式的な図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

(全体システムの説明)
図１は、実施形態にかかる周辺監視装置を搭載する車両１の車室２ａの一部が透視された状態の例示的かつ模式的な斜視図である。車両１は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両１における車輪３の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

図１に例示されるように、車両１の車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

また、車室２ａ内には、表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員(利用者)は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

図２は、本実施形態にかかる周辺監視装置を搭載する車両１の例示的かつ模式的な平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力することができる。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられて、車両１の後方領域の状況を撮像する。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられて、車両１の右前方、右側方、右後方を含む領域の状況を撮像する。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパ等に設けられて、車両１の前方領域の状況を撮像する。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられて、車両１の左前方、左側方、左後方を含む領域の状況を撮像する。周辺監視装置を構成するＥＣＵ１４(図３参照)は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。

また、車両１は、車両１の外部に存在する物体との距離を計測可能な測距部として、複数のレーダー１６を有する。レーダー１６は、例えば、ミリ波レーダー等であり、車両１の進行方向に存在する物体との距離を計測可能である。本実施形態では、車両１は、複数のレーダー１６ａ～１６ｄを有する。レーダー１６ａは、例えば、車両１のリアバンパの左側の端部に設けられ、車両１の左後方に存在する物体との距離を計測可能である。また、レーダー１６ｂは、車両１のリアバンパの右側の端部に設けられ、車両１の右後方に存在する物体との距離を計測可能である。レーダー１６ｃは、車両１のフロントバンパの右側の端部に設けられ、車両１の右前方に存在する物体との距離を計測可能である。また、レーダー１６ｄは、車両１のフロントバンパの左側の端部に設けられ、車両１の左前方に存在する物体との距離を計測可能である。

また、車両１は、車両１から比較的近距離に存在する外部の物体との距離を超音波を用いて計測可能なソナー１７を有する。本実施形態では、車両１は、複数のソナー１７ａ～１７ｈを有する。ソナー１７ａ～１７ｄは、車両１のリアバンパに設けられ、車両の後方に存在する物体との距離を計測可能である。ソナー１７ｅ～１７ｈは、車両１のフロントバンパに設けられ、車両１の前方に存在する物体との距離を計測可能である。

図３は、本実施形態にかかる周辺監視装置を含む車両１の制御システム１００の機能構成を示す例示的かつ模式的なブロック図である。図３に例示されるように、制御システム１００は、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、レーダー１６、ソナー１７等の他、ブレーキシステム１８、駆動システム２６、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、ＧＰＳ受信機２５等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８、駆動システム２６等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、レーダー１６、ソナー１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、ＧＰＳ受信機２５等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。ＧＰＳ受信機２５は、人工衛星から受信した電波に基づいて、車両１の現在位置を取得する。

駆動システム２６は、駆動源としての内燃機関（エンジン）システムやモータシステムである。駆動システム２６は、アクセルセンサ２０により検出された運転者の要求操作量（例えばアクセルペダルの踏み込み量）にしたがいエンジンの燃料噴射量や吸気量の制御やモータの出力値を制御する。また、運転者の操作に拘わらず、車両１の走行状態に応じて、操舵システム１３やブレーキシステム１８の制御と協働してエンジンやモータの出力値を制御しうる。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理の演算処理および制御を実行することができる。また、ＣＰＵ１４ａは、撮像部１５で得られた広角画像の撮像画像データ（湾曲した画像のデータ）に演算処理や画像処理を施し歪みを補正する歪み補正処理を実行したり、撮像部１５が撮像した撮像画像データに基づき、車両１を示す自車画像（自車アイコン）を例えば中心位置に表示する俯瞰画像（周辺画像）を生成して、表示装置８に表示させたりすることができる。また、ＣＰＵ１４ａは、俯瞰画像を生成する際に、仮想視点の位置を変更し、真上から自車画像を臨むような俯瞰画像や斜め方向から自車画像を臨むような俯瞰画像を生成することができる。

また、ＣＰＵ１４ａは、表示装置８に表示する表示画像に各種指標を重畳表示して、車両１の周囲の状況、例えば、周囲に存在する注目領域（例えば、移動体や静止物の存在する位置等）を認識し易くする処理を実行することができる。ＣＰＵ１４ａが重畳表示する指標は、レーダー１６やソナー１７で検出した物体（歩行者等の移動体や他車両、壁、柱等の静止物等）やＥＣＵ１４が自動的に設定したり、運転者が設定したりする目標位置等の運転者が注目すべき注目領域を認識し易くするためのものである。ＣＰＵ１４ａは、指標を表示する場合に、指標の表示態様が時間経過とともに変化するような、例えばアニメーション表示を実行することで、指標の存在、すなわち、注目領域の存在や移動状況等を運転者により認識させやすく表示する処理を実行することができる。

また、ＣＰＵ１４ａは、撮像部１５の撮像した撮像画像データに基づき、区画（例えば、駐車区画線等）を検出（抽出）して、車両１が移動可能な目標領域（例えば、駐車完了位置等の目標位置）を設定したり、その目標位置に車両１を誘導するための誘導経路を取得したりすることができる。また、ＣＰＵ１４ａは、取得した誘導経路にしたがい、車両１を完全自動(操舵、走行、制動等の自動制御)、半自動(一部の自動制御)、手動（例えば音声による操作ガイドにより運転者に操作させる制御）により目標領域に誘導する誘導制御を実行することができる。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

図４は、実施形態にかかる周辺監視装置をＣＰＵ１４ａで実現する場合の構成を例示的かつ模式的に示すブロック図である。ＣＰＵ１４ａは、ＲＯＭ１４ｂから読み出した周辺監視プログラムを実行することにより、図４に示すように周辺監視部２８（周辺監視装置）や、走行支援部３０等を実現する。なお、図４では、図示を省略しているが、ＣＰＵ１４ａは、周辺監視部２８や走行支援部３０の他にも走行に必要な各種モジュールを実現することができる。

周辺監視部２８は、その機能を実現するための各種モジュールを含む。周辺監視部２８は、例えば、取得部３２、俯瞰画像生成部３４、指標取得部３６、制御部３８等の詳細モジュールを含む。なお、取得部３２、俯瞰画像生成部３４、指標取得部３６、制御部３８等の一部または全部を回路等のハードウェアによって構成してもよい。また、走行支援部３０は、経路取得部３０ａ、誘導制御部３０ｂ等の詳細モジュールを含む。経路取得部３０ａや誘導制御部３０ｂも一部または全部を回路等のハードウェアによって構成してもよい。

取得部３２は、表示制御部１４ｄを介して取得される撮像部１５が撮像した車両１の周辺情報を示す撮像画像と取得する。また、取得部３２は、レーダー１６、ソナー１７の検知結果に基づき、車両１の周囲において運転者（利用者）に注目させるべき注目領域に関する位置情報を取得する。例えば、車両１の周囲に存在する可能性のある物体（例えば、歩行者等の移動体や他車両、壁や柱等の静止物等）の有無やその物体までの距離等の位置情報を取得する。

俯瞰画像生成部３４は、撮像部１５が撮像した各撮像画像（後方画像、右側方画像、前方画像、左側方画像）に対して視点変換処理を実行するとともに、隣接する領域を繋ぎ合わせる合成処理を実行し俯瞰画像を生成する。なお、合成処理を行う場合、各撮像部１５（１５ａ～１５ｄ）の取付位置や撮像（撮影）方向、撮影時間帯、前照灯の点灯の有無、撮像部１５ごとの絞り調整の程度差等により各撮像部１５で撮像される撮像画像の明るさ（輝度）にずれが生じる場合がある。この場合、繋ぎ合わせて生成した俯瞰画像は、元画像に応じて明るさが異なる場合がある。その結果、繋ぎ合わせた位置で輝度差が目立ち、違和感のある画像になってしまう場合がある。そこで、俯瞰画像生成部４２は、俯瞰画像を生成する際に、各画像の輝度調整を行うようにしてもよい。

指標取得部３６は、俯瞰画像生成部３４が生成した俯瞰画像に重畳表示する指標を、俯瞰画像における注目領域（例えば、歩行者等の移動体や他車両、壁や柱等の静止物等）の存在する位置や、注目領域の移動の有無、移動の状態（方向や接離）等に基づき決定する。指標取得部３６は、決定した指標をＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶部から読み出し取得する。指標取得部３６は、取得部３２が取得した撮像画像や注目領域に関する位置情報に対してディープラーニング等の手法を適用することにより、車両１の周囲に存在する物体の種別を特定することができる。例えば、人間、自動車、自転車、壁、柱、街路樹等の識別を行うことができるので、指標取得部３６は、識別した物体に対応した指標を取得することができる。例えば、人間（歩行者等）を検知した場合、人間の接近を示唆するような指標を取得する。また、人間、自動車、自転車等の移動体であることを検知した場合、移動体であることを示唆するような指標を取得する。また、駐車車両や壁、柱、街路樹等の静止物であることを示唆するような指標を取得する。なお、指標取得部３６は、俯瞰画像上で車両１の位置や姿勢を示す自車画像（自車アイコン）をＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶部から読み出し取得する。自車画像は、車両１を例えば上方から見た俯瞰画像である。自車画像を表示することにより、車両１とその周辺の物体との位置関係を正確に把握させることができる。自車画像は、ビットマップ形式の画像であってもよいし、複数のポリゴンで構成される車両１の形状を示す画像であってもよい。ここで、複数のポリゴンで構成される自車画像とは、複数のポリゴン（例えば、三角形のポリゴン）により表現された立体的な車両１の形状とすることができる。なお、指標は、俯瞰画像に限らず、撮像部１５が撮像した実画画像に重畳表示してもよい。

制御部３８は、俯瞰画像生成部３４が生成した俯瞰画像や撮像部１５が撮像した実画像に、車両１の位置を示す自車画像と、指標取得部３６が取得した注目領域の位置を示唆する指標と、を重畳表示させる。そして、制御部３８は、指標を表示する場合、指標の表示態様が時間経過に伴い変化するように表示させる。

例えば、取得部３２が取得した撮像画像や注目領域に関する位置情報等に基づいて、車両１に接近してくる移動体が検知された場合、制御部３８は、移動体が存在することを示唆する指標の表示を行う。この場合、制御部３８は、指標として、例えば、矢印形状の指標を俯瞰画像や実画像に重畳表示するとともに、その指標(矢印)の輪郭線の位置が移動体の移動方向(接近方向)を示唆するように、時間経過に伴い所定の表示領域内（例えば、自車画像の前方１ｍの位置に相当する領域）で移動（変化）するように表示する。この場合、例えば、アニメーション表示の技法を用いて、指標を時間経過とともにスクロール表示するようにしてもよい。このようなアニメーション表示を行うことで、注目領域である移動体（立体物）の存在、移動体が移動していること、移動体の移動方向等をよりイメージさせやすい表示を行うことができる。

また、制御部３８は、取得部３２が取得した撮像画像に対して、ディープラーニング等の手法を適用することにより、移動体（歩行者等の立体物）の最下部（足下、基部等）の位置を推定することができる。その場合、制御部３８は、移動体の最下部と見なせる位置に、例えば略円形や略半円形の指標を重畳表示する。移動体の最下部は、路面に接触していると見なせるため、最下部に指標を表示することにより、移動体（例えば歩行者）の表示画像上での位置(立ち位置)や自車画像等との間隔(距離)をイメージさせやすくすることができる。その結果、注目領域（立体物）と自車画像（車両１）との相対位置関係を運転者がより認識させ易い状態で表示することができる。また、制御部３８は、最下部を示唆する略円形や略半円形の指標の輪郭線の表示態様が時間経過に伴い変化するように表示することができる。例えば、指標の輪郭線の大きさを時間経過に伴い拡縮するようにしてもよい。また、指標の表示色を変化させたり、指標を点滅させたりしてもよい。この場合、移動体（立体物）の最下部（足下、基部）をより認識させやすい表示ができる。

また、取得部３２が取得した撮像画像や注目領域に関する位置情報等に基づいて、車両１の周辺に、駐車車両や壁、柱、街路樹等の静止物が検知された場合、制御部３８は、注目領域に静止物が存在することを示唆する指標を表示する。より具体的には、静止物が存在する位置または、その位置より所定量手前の位置に指標としての仮想立体物を表示する。この場合、制御部３８は、仮想立体物（指標）として、運転者が注目し易い、例えば、「三角コーン」等を表示する。仮想立体物として三角コーンを表示する場合、三角コーンの位置が時間経過に伴い例えば上下に移動するように表示することができる。この場合も、例えば、アニメーション表示の技法を用いて、仮想立体物を時間経過とともにスクロール表示するようにしてもよい。このように、指標を立体化した仮想立体物で表示することで、運転者に注目領域の存在や位置をさらに認識させやすい表示ができる。また、注目領域における静止物の存在を示唆する仮想立体物（指標）としての三角コーンの位置が時間経過に伴い移動するように表示されることで、非現実の物体であることを認識させやすく、仮想的な物体と現実の物体との区別（識別）をさせ易い表示ができる。なお、仮想立体物の表示態様を時間経過とともに変化させる場合、輪郭線の移動に加え、または代えて、例えば、表示色の変更や点滅表示等によって行うようにしてもよい。

制御部３８は、また、車両１が走行する場合に障害物の有無に拘わらず、注目させるべき領域が存在する場合、例えば、車両１を停止させる必要がある場合に、その停止位置を注目領域として、指標を表示するようにしてもよい。例えば、車両１を所定の位置に駐車させる場合、その駐車目標位置を注目領域として、例えば、仮想立体物（指標）を表示する。また、駐車の場合、現在の車両１の位置と駐車目標位置との関係によっては、切り返し走行を行う必要があり、駐車目標位置とは異なる位置に移動し一旦停止する必要がある場合がある。その場合も一旦停止が必要な位置を注目領域として、仮想立体物（指標）を表示するようにしてもよい。

例えば、ＣＰＵ１４ａにおいて実現される走行支援部３０は、前述したように経路取得部３０ａと誘導制御部３０ｂを含む。経路取得部３０ａは、取得部３２が取得した撮像画像に基づき、車両１の周囲の状況に応じた駐車領域の候補を算出し、自動的に最適な駐車領域を決定したり、運転者に選択させたりすることができる。また、外部の管理システムから指定される駐車領域を取得したり、運転者が指定する駐車領域を取得したりすることができる。そして、経路取得部３０ａは、車両１の現在の位置から駐車領域に車両１を移動させるための推奨移動経路を取得するこができる。推奨移動経路は、経路取得部３０ａにおいて、車両１の現在の位置と駐車領域の位置とに基づいて算出してもよいし、車両１の現在の位置と駐車領域の位置を外部のシステムに送信し、算出された結果を取得してもよい。この場合、車両１の現在の位置は、ＧＰＳ受信機２５を介して取得してもよいし、基準位置、例えば駐車場のゲート位置からの走行距離、舵角の推移等に基づいて取得してもよい。

誘導制御部３０ｂは、経路取得部３０ａが取得した推奨移動経路に基づき、車両１を駐車領域（駐車完了位置）まで誘導する。例えば、車両１を完全自動で駐車完了位置まで誘導する場合、誘導制御部３０ｂは、操舵システム１３、ブレーキシステム１８、駆動システム２６等を連携して制御する。また、半自動で車両１を駐車完了位置まで誘導する場合、誘導制御部３０ｂは、操舵システム１３、ブレーキシステム１８、ブレーキシステム１８等の制御のうち少なくとも一つを自動で制御し、他の制御を運転者の操作に委ねる。例えば、音声等により操作ガイドを行う。また、手動で車両１を駐車完了位置まで誘導する場合、誘導制御部３０ｂは、例えば音声による操作ガイドを行い、運転者の操作支援を行う。

この場合、制御部３８は、車両１(自車画像)が停止すべき位置、すなわち、注目領域に指標を表示し、運転者の認識性を向上させる。例えば、完全自動や半自動で走行する場合には、車両１が停止することを運転者が認識し易いように指標の表示を行う。同様に、半自動や手動で走行する場合には、車両１を停止させるべき位置を運転者が認識し易いように指標の表示を行う。なお、この場合、制御部３８は、推奨移動経路が切り返し走行を含む場合、駐車完了位置で停止する他、切り返し走行時に停止する位置も注目領域、すなわち、目標位置と見なし、指標の表示を行うようにしてもよい。

さらに、制御部３８は、車両１の位置と目標位置との間隔が所定値（所定距離）を超えている場合、車両１が移動すべき概ねの目標位置を示唆する目標指標(例えば、マーカ等)を表示し、その後、車両１(自車画像)の位置と目標位置との間隔が所定値以下になった場合に、停止する目標位置をより正確に示す仮想立体物(指標)を目標位置に表示する。その結果、例えば、目標位置から遠い場合には、位置合わせ精度にとらわれずにスムーズかつ容易に車両１の移動を行わせることができる。また、目標位置に接近した場合には、目標位置を明確に示す仮想立体物(指標)を表示するので、目標位置への位置合わせをより正確に行わせることができる。また、目標位置に接近した時点で仮想立体物(指標)が表示されることで、目標位置に接近していることを利用者により認識させやすい表示ができる。

なお、制御部３８は、目標位置に車両１（自車画像）が到達した場合、仮想立体物を非表示とするようにしてもよい。この場合、目標位置に車両１が到達したことを、運転者に直感的に認識させやすい表示ができる。

上述した周辺監視部２８による表示画像の具体的な表示例を以下に示す。

(第１実施形態)
図５は、第１実施形態にかかる周辺監視部２８による表示画面を示す例示的かつ模式的な図である。図５は、シフトセンサ２１の検出結果に基づき車両１が前進走行可能状態（シフトがＤレンジ）で、車輪速センサ２２の検出結果に基づき車両１が所定速度以下（例えば、１２ｋｍ／ｈ以下）の場合、または、駐車状態（シフトがＰレンジ）の場合に表示装置８に表示される表示画像の例示的かつ模式的な図である。具体的には、運転者が注目すべき注目領域の一例として、車両１に接近してくる移動体（例えば歩行者Ｄ１）が、取得部３２の取得した撮像画像や位置情報に基づき検知された場合の指標の表示例である。

図５に示すように、表示装置８に示される表示画像Ｇは、俯瞰画像生成部３４が生成した車両１を直上から俯瞰した俯瞰画像が表示される第１画像Ｇ１と、例えば、撮像部１５ａが撮像した車両１の前方の状況を示す実画像が表示された第２画像Ｇ２とを含む。なお、図５では、第１画像Ｇ１と第２画像Ｇ２との２画面を並べて表示しているが、いずれか一方で表示画像Ｇを構成してもよいし、表示画像Ｇが３以上の画面を含んでもよい。また、図５の場合、第１画像Ｇ１より第２画像Ｇ２を大きく表示しているが、第２画像Ｇ２より第１画像Ｇ１を大きく表示してもよく、表示画像Ｇのレイアウトは適宜変更可能である。

第１画像Ｇ１には、周辺画像Ｇ３と自車画像Ｇ４が含まれる。周辺画像Ｇ３は、俯瞰画像生成部３４により生成された、撮像部１５ａ～１５ｄの撮像した撮像画像に基づく俯瞰視された画像であり、自車画像Ｇ４は、指標取得部３６がＲＯＭ１４ｂやＳＳＤ１４ｆから取得した車両１を俯瞰視した画像である。また、周辺画像Ｇ３には、自車画像Ｇ４の前方の所定位置、例えば、１ｍ前方に相当する位置に移動体(例えば歩行者Ｄ１)の接近および接近方向を示唆する指標としての方向指標Ｇ５が制御部３８によって重畳表示されている。さらに、周辺画像Ｇ３の表示領域内に移動する立体物（例えば歩行者Ｄ１）が存在すると見なせる場合、立体物の最下部（足下）と見なせる部分に指標としての足下指標Ｇ６が制御部３８によって重畳表示されている。

第２画像Ｇ２は、上述したように、撮像部１５ａが撮像した車両１の前方の状況を示す実画像が周辺画像Ｇ７として表示されている。周辺画像Ｇ７にも、第１画像Ｇ１と同様に方向指標Ｇ５が重畳表示されている。周辺画像Ｇ７は、魚眼レンズを介して撮像部１５ａで撮像された実画像なので、湾曲した画像となるため、方向指標Ｇ５の表示姿勢も同様に湾曲した結果となっているが、第１画像Ｇ１に示すように、自車画像Ｇ４の前方の所定位置の例えば、１ｍ前方に相当する位置に車幅方向に所定の間隔で配置される。つまり、第１画像Ｇ１の方向指標Ｇ５と周辺画像Ｇ７の方向指標Ｇ５は対応する位置に表示されている。

方向指標Ｇ５は、車輪速センサ２２によって検出される車両１の車速が低速（例えば、１２ｋｍ／ｈ以下）の場合で、レーダー１６およびソナー１７が動作中の場合に周辺画像Ｇ３および周辺画像Ｇ７の所定位置に表示される。上述したように、シフトセンサ２１の検出結果が例えば、「Ｄレンジ」(前進)または「Ｐレンジ」(駐車)の場合は、車両１の前方の例えば１ｍに相当する前方位置に表示される。また、シフトセンサ２１の検出結果が例えば、「Ｒレンジ」(後退)の場合は、車両１の後方の例えば１ｍに相当する後方位置に表示される。図５の場合、方向指標Ｇ５は、移動体の接近を示唆できるように、自車画像Ｇ４（車両１）に向かうような矢印形状で構成されている。したがって、自車画像Ｇ４（車両１）の右側の方向指標Ｇ５は、自車画像Ｇ４（車両１）に対して右からの接近を示唆するように左向きの矢印となっている。同様に、自車画像Ｇ４（車両１）の左側の方向指標Ｇ５は、自車画像Ｇ４（車両１）に対して左からの接近を示唆するように右向きの矢印となっている。制御部３８は、レーダー１６やソナー１７により接近する移動体が検知されない場合、方向指標Ｇ５を例えば、透過度が高い状態（半透明の状態）で停止の表示態様で表示し、移動体の検出が可能であることを示唆するようにしている。

一方、図５に示すように、例えば、自車画像Ｇ４（車両１）の右側から移動体（歩行者Ｄ１）が接近してきた場合、制御部３８は、右側の方向指標Ｇ５の透過度を低くするとともに、例えば黄色等の表示態様に変化させた上で、時間経過とともに、方向指標Ｇ５全体が所定の表示領域（範囲）内で移動するような、例えばアニメーション表示を実行する。図６は、方向指標Ｇ５のアニメーション表示の一例を説明する例示的かつ模式的な図である。図６において、表示態様（ａ）、表示態様（ｂ）、表示態様（ｃ）の順番で方向指標Ｇ５を構成する例えば矢印形状の個別指標４０(輪郭線)が、移動体の接近方向Ａ１に移動する。表示態様（ａ）は、移動体（例えば歩行者Ｄ１）を非検知のときの表示態様で、透過度が高い状態で停止して表示されている。図６の場合、３つの個別指標４０は、等間隔で、移動体（例えば歩行者Ｄ１）の移動方向（接近方向Ａ１：上流（右）から下流（左）に向かう方向）を示すように、矢頭を移動方向（例えば車幅方向左側）に向けて、方向指標Ｇ５の表示領域ＧＡに表示されている例である。

次に、レーダー１６やソナー１７によって移動体（例えば歩行者Ｄ１）が検知されると、制御部３８は、各個別指標４０の透過度を下げるとともに、例えば黄色等の強調色に表示態様を変化させる。そして、制御部３８は、表示態様（ａ）に示すように、時刻ｔ１で最後尾に表示されていた個別指標４０を、表示態様（ｂ）に示すように、時刻ｔ２で、接近方向Ａ１に移動させて表示させる。続いて、表示態様（ｃ）に示すように、時刻ｔ３で、さらに、接近方向Ａ１に移動させて表示させる。等間隔で配置されている他の個別指標４０も同様に、接近方向Ａ１に輪郭線を移動させる。つまり、表示態様（ｂ）では、表示態様（ａ）において上流側（最後尾）の個別指標４０が存在していた位置に向かって新たな個別指標４０が徐々に表示され始める。一方、下流側（先頭）に表示されていた個別指標４０は、上流側で表示されだした個別指標４０に対応する部分が表示領域ＧＡから押し出されるかたちで消える。表示態様（ｃ）は、さらにその状態が進み、上流側で新たな個別指標４０の大部分現れ、逆に下流側の個別指標４０の大部分が消えた状態になる。したがって、表示領域ＧＡには、２つに分割された個別指標４０が存在する場合があるものの、常に３個の個別指標４０が表示されることになる。そして、制御部３８は、表示態様（ａ），（ｂ），（ｃ）の順で連続的な表示を行うことにより、常に３つの個別指標４０（方向指標Ｇ５）がスクロールするようなアニメーション表示を実行することができる。なお、制御部３８は、方向指標Ｇ５のアニメーション表示を、レーダー１６やソナー１７を中心とする所定範囲に移動体が検知された場合に実行する。この場合、移動体が停止している場合でもその移動体が所定範囲に存在する場合、アニメーション表示を継続させる。その結果、移動体の移動の有無に拘わらず、運転者に移動体の存在と接近方向を認識させやすい表示ができる。

方向指標Ｇ５を構成する個別指標４０の形状や数は、移動体の移動方向が示唆できればよく、適宜変更可能である。図７～図９は、方向指標Ｇ５を構成する個別指標４０の他の形状を例示的かつ模式的に示す図である。

図７は、図６の例と同様に、方向指標Ｇ５の表示領域ＧＡ内に３個の長方形状の個別指標４０ａを表示する例である。図７の場合も、表示態様（ａ）において、時刻ｔ１で最後尾に表示されていた個別指標４０ａが、表示態様（ｂ）で示すように、時刻ｔ２で接近方向Ａ１に移動すると、上流側に新たな個別指標４０ａが現れだす。一方、下流側では、表示態様（ａ）において、時刻ｔ１で先頭に表示されていた個別指標４０ａが、表示態様（ｂ）に示すように、消え始める。表示態様（ｃ）では、さらにその状態が進み、上流側で新たな個別指標４０ａが完全に現れ、逆に下流側の個別指標４０ａが完全に消える。したがって、表示領域ＧＡには、２つに分割された個別指標４０ａが存在する場合があるものの、常に３個の個別指標４０ａが表示されることになる。その結果、図６の場合と同様に、運転者に移動体の存在と接近方向を認識させやすい表示ができる。

図８は、方向指標Ｇ５の表示領域ＧＡ内に３個の傾いた四角形状の個別指標４０ｂを表示する例である。図８の場合も、表示態様（ａ）において、時刻ｔ１で最後尾に表示されていた個別指標４０ｂが、表示態様（ｂ）で示すように、時刻ｔ２で接近方向Ａ１に移動すると、上流側に新たな個別指標４０ｂが現れだす。一方、下流側では、表示態様（ａ）において、時刻ｔ１で先頭に表示されていた個別指標４０ｂが、表示態様（ｂ）に示すように、消え始める。表示態様（ｃ）では、さらにその状態が進み、上流側で新たな個別指標４０ｂの略半分が現れ、逆に下流側の個別指標４０ｂの略半分が消えた状態になる。したがって、表示領域ＧＡには、２つに分割された個別指標４０ｂが存在する場合があるものの、常に３個の個別指標４０ｂが表示されることになる。その結果、図６、図７の場合と同様に、運転者に移動体の存在と接近方向を認識させやすい表示ができる。なお、図７のように、傾いた形状の個別指標４０ｂが順次アニメーション表示されることにより、図７の場合より移動方向をイメージさせ易い表示ができる。

図９は、方向指標Ｇ５の表示領域ＧＡ内に１個の三角形状の個別指標４０ｃを表示する例である。図９の場合、表示態様（ａ）において、時刻ｔ１で個別指標４０ｃの全体が表示されている。個別指標４０ｃが接近方向Ａ１に移動すると、表示態様（ｂ）に示すように、時刻ｔ２で、下流側で個別指標４０ｃの一部が消えだす。一方、上流側では、表示態様（ｂ）において下流側で消えた部分に対応する個別指標４０ｃの先頭部分が表示されだす。表示態様（ｃ）では、さらにその状態が進んでいる。したがって、表示領域ＧＡには、２つに分割された個別指標４０ｃが存在する場合があるものの、常に１個の個別指標４０ｃが表示されることになる。その結果、図６～図８の場合と同様に、運転者に移動体の存在と接近方向を認識させやすい表示ができる。なお、図９のように、他の例の個別指標に比べて大きな１つの個別指標４０ｃがスクロールによるアニメーション表示されることで、メリハリのある注視されやすい表示が可能になり、移動体の存在や移動方向をイメージさせ易い表示ができる。

図６～図９に示すように、時間経過とともに個別指標４０，４０ａ，４０ｂ，４０ｃをスクロールさせて表示する場合、表示態様（ａ），（ｂ），（ｃ）の間で補間処理を実行することにより、よりスムーズに動くように見える個別指標の表示を実現することができる。

なお、移動体が、自車画像Ｇ４（車両１）から遠ざかる場合、方向指標Ｇ５は、透過度が高い停止した状態に戻る。その結果、運転者に移動体（歩行者Ｄ１）が車両１から遠ざかり、接触の危険性が低下したことを認識させることができる。また、図５では、自車画像Ｇ４（車両１）の側方から移動体が接近する場合に、移動体の有無や接近方向を認識しやすいように方向指標Ｇ５を車幅方向の左右に配置した例を示した。別の実施例では、自車画像Ｇ４（車両１）の前方から移動体が接近する場合に、移動体の有無や接近方向を認識しやすいように方向指標Ｇ５を車両前後方向の向きに配置してもよい。また、方向指標Ｇ５を車幅方向と前後方向、またはその他の方向とを組み合わせて配置してもよい。また、検出された移動体の接近方向に応じて、方向指標Ｇ５の表示位置が変化するようにしてもよい。

このように、方向指標Ｇ５の輪郭線の表示態様が時間経過に伴い変化（移動）するような表示を行うことにより、例えば、指標を単に点滅させたり表示色を変更させたりする場合に比べ、方向指標Ｇ５が移動していることがより明確に表現される。また、方向指標Ｇ５の輪郭線の表示態様が時間経過に伴い変化（移動）するような表示を行うことにより、移動体の移動の有無に拘わらず、移動体(注目領域)の存在やその移動方向(接近方向)を運転者に、より認識し易い状態で表示することができる。

また、周辺画像Ｇ３（周辺画像Ｇ７）の表示領域内に移動する立体物（例えば歩行者Ｄ１）が存在すると見なせる場合、立体物の最下部（足下）と見なせる部分に表示される足下指標Ｇ６は、例えば、赤色の略円形または略半円形の指標として表示することができる。足下指標Ｇ６は、移動体（歩行者Ｄ１）の移動に追従して移動体の最下部（歩行者Ｄ１の足下）で表示される。また、方向指標Ｇ５と同様に、足下指標Ｇ６の輪郭線の表示態様が時間経過に伴い変化する。具体的には、略円形の足下指標Ｇ６の半径が拡縮表示される。例えば、図１０において、足下指標Ｇ６は、時刻ｔ１で半径Ｒ１の小径指標４２ａであり、時刻ｔ２で半径Ｒ２の中径指標４２ｂに輪郭線が拡大変化する。続いて、時刻ｔ３で最大径の半径Ｒ３の大径指標４２ｃになり、時刻ｔ４で半径Ｒ２の中径指標４２ｂに輪郭線が縮小変化し、時刻ｔ５で、元の半径Ｒ１の小径指標４２ａに戻る。足下指標Ｇ６は、周辺画像Ｇ３の表示領域内に立体物（歩行者Ｄ１等の移動体）が検知された場合に、移動の有無に拘わらず、その最下部（足下）に表示されて、時間経過とともに拡縮表示を継続的に行う。その結果、立体物（歩行者Ｄ１等の移動体）の移動の有無に拘わらず、立体物(注目領域)の存在を運転者に、より認識し易い状態で表示することができる。また、立体物（歩行者Ｄ１等の移動体）の足下に足下指標Ｇ６を表示することにより、立体物（歩行者Ｄ１等の移動体）と路面との接触位置（立ち位置）の認識が行い易くなり、運転者に立体物(注目領域)と自車画像Ｇ４（車両１）との相対位置関係をより認識させ易い状態で表示することができる。

なお、俯瞰画像である第１画像Ｇ１では、足下指標Ｇ６の形状を例えば略円形として表示したが、実画像を表示している第２画像Ｇ２では、足下指標Ｇ６の形状は、例えば、略半円形として、立体物（歩行者Ｄ１等の移動体）の最下部に表示して、視認性を向上するようにしてもよい。なお、この場合、第１画像Ｇ１で表示される足下指標Ｇ６と同様に、第２画像Ｇ２で表示される略半円形の足下指標Ｇ６の半径を拡縮させてもよい。また、第１画像Ｇ１の場合、俯瞰画像に変換しているため、立体物（例えば歩行者Ｄ１）は伸びて表示されることがあり、第２画像Ｇ２に実画像で表示される移動体（例えば歩行者Ｄ１）との一致認識性が低下してしまう場合がある。そこで、第１画像Ｇ１と第２画像Ｇ２とに足下指標Ｇ６を表示する場合、足下指標Ｇ６の表示色を同じ表示色（例えば、赤色）で表示して、対応していることを認識し易いようにしてもよい。また、車両１の周囲に複数の立体物（歩行者Ｄ１等の移動体）が存在する場合には、各立体物を識別することなく、注目すべき立体物であることを示すという観点で同一の表示色で表示してもよい。別の実施例では、立体物ごとに、例えば、個別ＩＤを付して識別するとともに、例えば、表示色を異ならせてもよい。なお、足下指標Ｇ６の形状は一例であり、立体物の最下部（足下）が示唆できればよく、適宜変更可能であり、同様の効果を得ることができる。

このように第１実施形態によれば、周辺監視部２８は、方向指標Ｇ５、足下指標Ｇ６の表示態様を注目領域(移動体、立体物)の移動の有無に拘わらず、時間経過に伴い表示態様を変化させるので、利用者に注目領域(移動体、立体物)の存在や位置、移動方向等をより認識させやすい表示ができる。

（第２実施形態）
図１１は、第２実施形態にかかる周辺監視部２８による表示画面を示す例示的かつ模式的な図である。図１１は、シフトセンサ２１の検出結果に基づき車両１が前進走行可能状態（シフトがＤレンジ）で、車輪速センサ２２の検出結果に基づき車両１が所定速度以下（例えば、１２ｋｍ／ｈ以下）の場合、または、駐車状態（シフトがＰレンジ）の場合に表示装置８に表示される表示画像の例示的かつ模式的な図である。具体的には、運転者が注目すべき注目領域の一例として、車両１の前方に、静止物（例えば他車両Ｄ２）が、取得部３２の取得した撮像画像や位置情報に基づき検知された場合の指標の表示例である。

図１１に示すように、表示装置８に示される表示画像Ｇは、俯瞰画像生成部３４が生成した車両１を直上から俯瞰した俯瞰画像が周辺画像Ｇ３として表示される第１画像Ｇ１と、車両１を後方斜め上方から俯瞰した、第１画像Ｇ１より拡大された俯瞰画像が周辺画像Ｇ７として表示された第２画像Ｇ２とを含む。なお、図１１では、第１画像Ｇ１と第２画像Ｇ２との２画面を並べて表示しているが、いずれか一方で表示画像Ｇを構成してもよいし、表示画像Ｇが３以上の画面を含んでもよい。また、図１１の場合、第１画像Ｇ１より第２画像Ｇ２を大きく表示しているが、第２画像Ｇ２より第１画像Ｇ１を大きく表示してもよく、表示画像Ｇのレイアウトは適宜変更可能である。

第１画像Ｇ１には、第１実施形態で示した図５と同様に、周辺画像Ｇ３と自車画像Ｇ４が含まれる。また、車両１の前方の領域でレーダー１６やソナー１７を中心として所定領域内に静止物（他車両Ｄ２等）が検知された場合に、運転者が注目すべき領域（注目領域）が存在すると見なした場合に表示される、指標の一例としの仮想立体物４４（例えば、三角コーン）が制御部３８によって重畳表示されている。また、第２画像Ｇ２における周辺画像Ｇ７にも、他車両Ｄ２に対応する位置に仮想立体物４４が制御部３８によって重畳表示されている。

仮想立体物４４としての三角コーンは、通常の運転環境においても運転者に注意喚起させやすい形状であるため、注目領域を認識させる指標として有効であるが、他の立体物、例えば、ポールや旗、誘導員等の形状でもよい。なお、仮想立体物４４が非現実の物体であることを容易に運転者に認識させられるように、指標としての仮想立体物４４の輪郭線の表示態様が時間経過に伴い変化（移動）するように表示させている。例えば、図１２に示すように、仮想立体物４４は時間経過に伴い、矢印Ａ－Ｂ方向に移動するようにしてもよい。仮想立体物４４（三角コーン）の表示位置（高さ）Ｈは、例えば以下の式によって変化させることができる。
Ｈ＝基準高さ×（１．０―ｓｉｎθ）
θ＝２π×（経過時間ｍｓ／周期ｍｓ）
このように、仮想立体物４４（三角コーン）の表示位置（高さ）Ｈを三角関数を用いて変化させることにより、移動の上端や下端で変極点が存在しなくなるため、滑らかな仮想立体物４４の上下移動を実現することができる。別の実施例では、のこぎり波のような変極点を持つ波形を用いて仮想立体物４４の上下移動を実現してもよい。この場合、移動動作に特有の特徴が表れ、運転者に認識させ易い表示ができる。

このように第２実施形態によれば、周辺監視部２８は、注目領域が静止物である場合でも、指標である仮想立体物４４の表示態様を時間経過に伴い表示態様を変化させるので、利用者に注目領域(静止物)の存在や位置をより認識させやすい表示ができる。なお、制御部３８は、仮想立体物４４を表示する場合、時間経過に伴う輪郭線の移動と併せて、または輪郭線の移動に代えて、仮想立体物４４の表示色を時間経過に伴い変化させたり、仮想立体物４４を時間経過に伴い点滅表示させたりしてもよい。仮想立体物４４の表示色を例えば赤色と黒色とで時間経過に伴い変化させてもよいし、例えば赤色と黒色とで点滅させてもよい。

(第３実施形態）
図１３～図１５は、第３実施形態にかかる周辺監視部２８による表示画面を示す例示的かつ模式的な図である。図１３～図１５は、シフトセンサ２１の検出結果に基づき車両１が前進走行可能状態（シフトがＤレンジ）で、車輪速センサ２２の検出結果に基づき車両１が所定速度以下（例えば、１２ｋｍ／ｈ以下）の場合に表示装置８に表示される表示画像の例示的かつ模式的な図である。第３実施形態における表示画像の例では、制御部３８は、車両の周囲で設定される注目領域の位置を示す指標として、車両１を停止させるべき位置を注目位置として、その位置に仮想立体物を表示することができる。具体的には、駐車の際の走行支援において、経路取得部３０ａによって取得された推奨移動経路にしたがい車両１を走行させる場合に、車両１の周囲で設定される駐車完了位置や前進完了位置（折り返し走行時の停止位置）等の目標位置を、運転者が注目すべき注目領域の一例とする。図１３～図１５の例では、経路取得部３０ａによって推奨移動経路が取得された後に表示される表示画像の例を示す。

第３実施形態において、表示装置８に示される表示画像Ｇは、第１画像Ｇ１と第２画像Ｇ２を含む。第１画像Ｇ１には、第２実施形態と同様に、俯瞰画像生成部３４が生成した車両１を直上から俯瞰した周辺画像Ｇ３に自車画像Ｇ４が重畳表示される。また、第２画像Ｇ２は、シフトセンサ２１の検出結果に基づき車両１が前進走行可能状態（シフトがＤレンジ）の場合、車両１を後方斜め上方から俯瞰した、周辺画像Ｇ３より拡大された周辺画像Ｇ７が自車画像Ｇ４とともに表示される。なお、シフトセンサ２１の検出結果に基づき車両１が後退走行可能状態（シフトがＲレンジ）の場合、撮像部１５ａにより撮像された車両１の後方を示す実画像が周辺画像Ｇ７として表示される。なお、図１３～図１５においても、第１画像Ｇ１と第２画像Ｇ２との２画面を並べて表示しているが、いずれか一方で表示画像Ｇを構成してもよいし、表示画像Ｇが３以上の画面を含んでもよい。また、図１３～図１５の場合、第１画像Ｇ１より第２画像Ｇ２を大きく表示しているが、第２画像Ｇ２より第１画像Ｇ１を大きく表示してもよく、表示画像Ｇのレイアウトは適宜変更可能である。以下、車両１を駐車完了位置に、切り返し走行を伴う前進走行と後退走行で移動させる例を、図１３のタイミング（ａ）～図１５のタイミング（ｈ）における表示内容を参照して説明する。

図１３のタイミング（ａ）において、経路取得部３０ａが取得した推奨移動経路にしたがい、まず、制御部３８は、車両１が移動すべき目標位置を示唆する目標指標を表示画像Ｇ上に表示する。具体的には、目標位置（駐車完了位置）を含む駐車領域Ｐ（駐車枠線Ｐａで規定される領域）に車両１を誘導する過程で、切り返しのために行う前進走行の前進完了位置に対応する周辺画像Ｇ３および周辺画像Ｇ７上の位置に目標指標４６として、例えば略円形のマーカ４６ａを表示する。また、同様な略円形のマーカ４６ｂを目標位置（駐車完了位置）に対応する周辺画像Ｇ３および周辺画像Ｇ７上の位置を表示する。なお、図１３に示す周辺画像Ｇ７の例では、駐車完了位置が表示領域外なので、マーカ４６ｂの表示は省略されている。目標指標４６は、おおよその位置であることを示すように、表示色が例えば青色で表示される。目標指標４６は、第１実施形態で説明した足下指標Ｇ６と同様に、輪郭線が時間経過とともに拡縮するように表示されてもよいし、仮想立体物４４と同様に時間経過とともに表示色が変化したり点滅したりするように表示されてもよいし、固定表示でもよい。目標指標４６が表示されると、誘導制御部３０ｂは推奨移動経路にしたがい、車両１をまずマーカ４６ａに誘導する。この場合の誘導は、完全自動でも半自動でも手動でもよい。なお、駐車領域Ｐを示す駐車枠線Ｐａは、撮像部１５が撮像した撮像画像データを解析することにより、認識可能であり、制御部３８は、認識した駐車枠線Ｐａを示す指標を表示してもよい。例えば、駐車枠線Ｐａに重なる線状の指標を表示してもよい。

続いて、図１３のタイミング（ｂ）に示すように、目標指標（マーカ４６ａ）の表示位置と自車画像Ｇ４の表示位置との間隔が所定値以下(例えば実距離で２ｍ以下)になった場合、制御部３８は、仮想立体物４４を目標位置（停止位置）に表示する。仮想立体物４４は、第２実施形態と同様に、例えば、三角コーンとすることができる。なお、仮想立体物４４は、運転者に注意喚起ができればよく、例えば、ポールや旗、誘導員等を示す指標でもよい。この場合、仮想立体物４４は、時間経過とともに表示色が変化するように表示されてもよい。例えば、仮想立体物４４の色（Ｒ，Ｇ，Ｂ）において、（Ｒ＝０，Ｇ＝０，Ｂ＝０）を黒とする。Ｒ，Ｇ，Ｂは、それぞれ０～１．０で変化可能とすると、仮想立体物４４を赤色から黒色に変化させる場合、ＧとＢは０に固定し、Ｒを例えば以下の式によって変化させる。
Ｒ＝０．５×（１．０－ｓｉｎθ）
θ＝２π×（経過時間ｍｓ／周期ｍｓ）
その結果、仮想立体物４４の基準色を（０．５，０，０）とし、時間経過とともに色を（１，０，０）と（０，０，０）の間で、違和感なくリニアに変化させることができる。その結果、完全自動で車両１を走行させている場合、半自動または手動で走行させている場合、いずれの場合でも、運転者に停止するべき目標位置を認識させやすい状態で表示できる。なお、仮想立体物４４が表示された時点で、目標指標４６（マーカ４６ａ）を非表示としてもよい。この場合、表示画像がシンプルになり、仮想立体物４４で示される停止位置の視認性の向上に寄与できる。

図１３のタイミング（ｃ）は、誘導制御部３０ｂの誘導により車両１が切り返し走行時の目標位置（仮想立体物４４の表示位置）に到達する直前の表示画像Ｇの表示状態が示されている。このように、目標位置に仮想立体物４４が表示されていることにより、完全自動で走行している場合、半自動または手動で走行している場合、いずれの場合でも、運転者に停止するべき目標位置を認識させやすい表示ができる。

続いて、図１４のタイミング（ｄ）は、車両１が切り返し走行時の目標位置（仮想立体物４４の表示位置）に到達した場合の表示画像Ｇの表示状態を示している。タイミング（ｄ）で示すように、制御部３８は、目標位置（仮想立体物４４の表示位置）に自車画像Ｇ４が到達した場合、仮想立体物４４を非表示とする。このように、仮想立体物４４を非表示とすることにより、切り返し走行時の目標位置（停止位置）に車両１が到達したことを、運転者に直感的に認識させやすい表示ができる。

図１４のタイミング（ｅ）は、誘導制御部３０ｂの誘導によって、変速操作部７が前進走行から後退走行に切り替えられた場合の表示画像Ｇの表示状態である。変速操作部７の切替状態は、シフトセンサ２１の検出結果に基づいて判定できる。車両１の走行状態が後退可能状態に切り替えられると、第２画像Ｇ２の周辺画像Ｇ７は、例えば、撮像部１５ａが撮像する車両１の後方領域を示す実画像に切り替わる。後方領域を示す実画像の下部領域には、車両１のリアバンパ(端部２ｅ)が写り込んでいるとともに、車両１の端部２ｅからの後方距離の目安を示すガイド線４８が、例えば、端部２ｅから０．５ｍ、１．０ｍ、２．５ｍの位置に表示される。車両１が完全自動で誘導されている場合は、ガイド線４８とマーカ４６ｂとが一致するように車両１が走行制御される。また、車両１が半自動または手動で走行している場合には、運転者は、誘導制御部３０ｂの誘導にしたがい、ガイド線４８とマーカ４６ｂとが一致するように走行操作を行うことになる。

続いて、図１４のタイミング（ｆ）に示すように、駐車完了位置を示す目標指標（マーカ４６ｂ）の表示位置と自車画像Ｇ４の表示位置との間隔が所定値以下(例えば実距離で２ｍ以下)になった場合、制御部３８は、仮想立体物４４を目標位置（駐車完了位置）に表示する。仮想立体物４４は、前進時の目標位置（停止位置）で示した仮想立体物４４と同様の三角コーンとすることができる。また、駐車完了位置であること強調するために、他の形状の仮想立体物としてもよい。駐車完了位置に表示される仮想立体物４４は、前進時の目標位置で示した仮想立体物４４と同様に、時間経過とともに表示色が変化したり点滅したりするように表示されてもよい。なお、仮想立体物４４が表示された時点で、目標指標４６（マーカ４６ｂ）を非表示としてもよい。この場合、表示画像がシンプルになり、仮想立体物４４で示される停止位置の視認性の向上に寄与できる。

図１５のタイミング（ｇ）は、誘導制御部３０ｂの誘導により車両１が目標位置（仮想立体物４４が表示される駐車完了位置）に到達する直前の表示画像Ｇの表示状態が示されている。このように、目標位置（駐車完了位置）に仮想立体物４４が表示されていることにより、完全自動で走行している場合、半自動または手動で走行している場合、いずれの場合でも、運転者に停止するべき目標位置を認識させやすい表示ができる。

続いて、図１５のタイミング（ｈ）は、目標位置（駐車完了位置）に到達した場合の表示画像Ｇの表示状態を示している。タイミング（ｈ）で示すように、制御部３８は、目標位置（駐車完了位置）に自車画像Ｇ４が到達した場合、仮想立体物４４を非表示とする。このように、仮想立体物４４を非表示とすることにより、目標位置（駐車完了位置）に車両１が到達したことを、運転者に直感的に認識させやすい表示ができる。なお、仮想立体物４４を非表示にした後、例えば、所定期間経過後に表示画像Ｇは、通常画面（例えば、ナビゲーション画面やオーディオ画面）に復帰するようにしてもよい。

なお、図１５のタイミング（ｈ）の場合、壁Ｄ３は、静止物であるが、車両１が仮想立体物４４に基づいて停止するため、壁Ｄ３に対する指標は表示されないようにしてもよい。別の実施形態では、壁Ｄ３をより認識させやすいように、目標位置（駐車完了位置）を示す仮想立体物４４とは別の表示態様、例えば、第２実施形態で示したように、壁Ｄ３に対する仮想立体物の輪郭線の表示態様が時間経過に伴い変化（例えば上下に移動）するように表示したり、異なる表示色で表示したりしてもよい。

このように、第３実施形態によれば、周辺監視部２８は、運転者に注目させる注目領域として、移動体や静止物等が存在する領域以外の目標位置にも指標（仮想立体物４４）を設定する。そして、その指標（仮想立体物４４）の表示態様を時間経過に伴い変化するようにすることで、運転者が目標位置をより認識し易い表示を実現することができる。また、上述したように、車両１を所望の位置に移動させる場合、例えは、駐車のために、駐車完了位置（目標位置）に移動させる場合や駐車のための切り返し走行を行うために前進停止位置（目標位置）に移動させる場合等に、制御部３８は、まず、車両１を移動させて停止させるべき、概ねの位置を示唆する目標指標（マーカ４６ａ，４６ｂ）が表示する。その結果、目標位置から遠い場合には、位置合わせ精度にとらわれずにスムーズかつ容易に車両１の移動を実行させることができる。また、車両１が目標位置に接近した場合に、制御部３８は、時間経過とともに表示態様がアニメーション表示技法により変化する仮想立体物４４を目標位置に表示する。その結果、仮想立体物４４によって目標位置が明確にされるので、目標位置への車両１の位置合わせをより正確に行わせることができる。また、車両１が目標位置に接近した時点で仮想立体物が表示されることで、目標位置に接近していることを運転者により認識させやすい表示ができる。さらに、目標位置に自車画像Ｇ４が到達した場合、仮想立体物４４を非表示とすることで、目標位置に車両１が到達したことを、運転者に直感的に認識させやすい表示ができる。

なお、上述した第２実施形態で説明した、静止物に対する指標である仮想立体物４４を表示する際に、第１実施形態で説明した、移動体に対する指標である方向指標Ｇ５や足下指標Ｇ６を表示可能としてもよい。例えば、仮想立体物４４を表示中に移動体が車両１に接近した場合には、方向指標Ｇ５や足下指標Ｇ６の表示を実行してもよいし、仮想立体物４４の表示に代えて方向指標Ｇ５や足下指標Ｇ６を表示するようにしてよい。その結果、車両１の周囲の注目領域をより明確に運転者に認識させることができる。同様に、第３実施形態における指標の表示中でも、車両１に移動体が接近した場合には、方向指標Ｇ５や足下指標Ｇ６の表示を行ってもよい。また、静止物が検知された場合には、目標位置を示す仮想立体物４４に加え、静止物を示す仮想立体物４４を表示してもよい。この場合、目標位置を示す仮想立体物４４と、静止物を示す仮想立体物４４とは、表示態様を異ならせて識別できるようにしてもよい。

本実施形態のＣＰＵ１４ａで実行される周辺監視プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、１６…レーダー、１７…ソナー、２８…周辺監視部、３０…走行支援部、３０ａ…経路取得部、３０ｂ…誘導制御部、３２…取得部、３４…俯瞰画像生成部、３６…指標取得部、３８…制御部、４０，４０ａ，４０ｂ，４０ｃ…個別指標、４４…仮想立体物、４６…目標指標、４６ａ，４６ｂ…マーカ、１００…制御システム、Ｄ１…歩行者、Ｄ２…他車両、Ｇ…表示画像、Ｇ１…第１画像、Ｇ２…第２画像、Ｇ３…周辺画像、Ｇ４…自車画像、Ｇ５…方向指標、Ｇ６…足下指標、Ｇ７…周辺画像。

Claims (7)

1. 車両の周辺を撮像する撮像部からの撮像画像と、前記車両の周囲で設定される注目領域に関する位置情報と、を取得する取得部と、
   前記撮像画像に基づく俯瞰視した周辺画像に、前記車両の位置を示す自車画像と、前記位置情報に基づく前記注目領域の位置を示唆する指標とを重畳表示させ、前記指標の表示態様が時間経過に伴い変化するように表示させる制御部と、
   を備え、
   前記制御部は、前記指標の輪郭線の表示態様が時間経過に伴い変化するように表示するとともに、前記指標として前記注目領域の移動する方向を示すように前記輪郭線が時間経過に伴い所定の表示領域内で移動する方向指標を表示し、当該方向指標は、前記注目領域に移動体が存在しない場合、移動体が存在する場合に比べて表示透過度を高めた半透明の状態で表示される、周辺監視装置。
2. 前記制御部は、前記注目領域に表示態様が時間経過に伴い変化する仮想立体物を表示する、請求項１に記載の周辺監視装置。
3. 前記制御部は、前記車両が移動すべき目標位置を示唆する目標指標を表示するとともに、前記目標位置と前記自車画像の表示位置との間隔が所定値以下になった場合、前記仮想立体物を前記目標位置に表示する、請求項２に記載の周辺監視装置。
4. 前記制御部は、前記目標指標に前記自車画像が到達した場合、前記仮想立体物を非表示とする、請求項３に記載の周辺監視装置。
5. 前記制御部は、前記仮想立体物の表示態様を時間経過に伴い上下に変化させる、請求項２から請求項４のいずれか１項に記載の周辺監視装置。
6. 前記制御部は、前記注目領域に立体物が存在すると見なせる場合、前記立体物の最下部と見なせる部分に表示態様が時間経過に伴い変化する足下指標を表示する、請求項１に記載の周辺監視装置。
7. 前記制御部は、前記足下指標の前記輪郭線の大きさを時間経過に伴い拡縮する、請求項６に記載の周辺監視装置。

Images