JP6806156B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車載カメラで撮像した車両の周辺映像を車室内に配置された表示装置に表示するとともに、その周辺画像の内容がいずれの方向を示す画像かを判断させやすくするために、架空の前走車両や後続車両等の付加情報を表示する技術が提案されている。また、路面の状態を解析して、その情報を表示する技術が提案されている。

特開２００５−１５０９３８号公報 特開平１１−２２２８０８号公報

しかしながら、路面状態（例えば、凹凸状態）が複雑な場合、提供される情報だけでは路面状態の把握や自車が路面上を移動した場合の路面と車両の関係の把握が困難な場合があった。また、提供される情報の内容の理解に時間がかかってしまう場合があった。

そこで、本発明の課題の一つは、路面状態の把握や走行した場合の車両状態の把握をより容易に（直感的に）行わせることができる周辺監視装置を提供することである。

本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向の路面の凹凸状態を検出する検出部と、上記車両の進行方向を含む周辺領域を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、上記路面の凹凸状態に倣うような表示態様の上記車両の進行方向における案内指標を取得する取得部と、上記凹凸状態に倣うような表示態様の上記案内指標を上記画像に重畳させて表示装置に表示させる制御部と、を備え、上記取得部は、上記案内指標として、上記車両の進行方向の領域に重畳する、上記路面の凹凸状態に応じて車両姿勢を変化させる仮想車両を取得する。この構成によれば、例えば、路面の凹凸状態に倣うような表示態様で案内指標が周辺領域を示す画像に重畳表示されるので、その案内指標によって画像内の路面状態（例えば凹凸状態）が把握しやすくなる。また、路面状態が把握しやすくなるため、その路面を走行した場合の車両の状態が把握しやすくなる。また、例えば、車両を走行させた場合に、車両がどのような姿勢になるかを仮想車両の姿勢によって事前に提示することができるので、路面状況および車両を走行させた場合の状況（揺れの状態や傾きの状態）を、より直感的に把握させることができる。

また、上記周辺監視装置の上記制御部は、例えば、上記画像の上記案内指標を重畳する領域に、凹凸強調処理を施してもよい。この構成によれば、例えば、撮像部が取得した撮像画像データに基づく画像のうち案内指標を重畳する領域に凹凸強調処理を施せばよく、処理負荷を軽減することができる。

また、上記周辺監視装置の上記制御部は、例えば、所定閾値以上の上記路面の上記凹凸状態を示す領域に強調処理を施すようにしてもよい。この構成によれば、例えば、所定閾値以上の領域、例えば、車両が通過する際により注意を必要とする領域や通過を避けた方が好ましい領域の識別が容易になり、走行の是非判断がより容易になる。

また、上記周辺監視装置の上記取得部は、例えば、上記仮想車両として、上記車両の進行方向の前側の車輪に対応する位置まで上記仮想車両の上記車両に近い側の車輪の位置が進んだときの、上記車両の進行方向の前側の車輪から遠い側の車輪を含む部分仮想車両を取得してもよい。この構成によれば、例えば、仮想車両の姿勢を表示する場合、仮想車両の後輪の状態は、車両（自車）の前輪の状態と同様と見なすことができる。したがって、仮想車両の姿勢を定める場合、仮想車両の左右の前輪の位置を示す情報を取得すればよく、仮想車両の全輪の位置を示す情報を取得する場合に比べて、仮想車両を表示するための処理負荷を軽減することができる。また、仮想車両が車両（自車）の直前に位置するため、車両の姿勢の変化がどのように変化していくかを容易に把握させることができる。

また、上記周辺監視装置の上記制御部は、例えば、上記車両の進行方向へ所定距離先行した位置に上記仮想車両が存在するときの、上記仮想車両の位置を視点とする周辺画像を上記表示装置に表示させてもよい。この構成によれば、例えば、車両（自車）が現在の位置から仮想車両の位置に移動したときの周辺状況（未来の周辺状況）を把握させやすくなる。そのため、例えば、走行の是非判断をより容易に、早い段階で行わせやすくなる。
また、上記周辺監視装置の上記制御部は、例えば、路面の凹凸状態に倣うような表示態様で上記案内指標を表示する場合に、上記案内指標とともに上記路面が平坦の場合にその平坦状態を示す基準指標を表示してもよい。この構成によれば、例えば、平坦状態を示す基準指標と案内指標とを比較することで、案内指標の状態、例えば、凹凸状態や傾き状態等をより把握させやすくなり、路面状態の直感的な把握をより行わせやすくなる。

また、本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向を含む周辺領域を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、上記車両の進行方向における案内指標を取得する取得部と、上記案内指標を上記画像に重畳させて表示装置に表示させる制御部と、を備え、上記制御部が、上記案内指標として上記車両に対応する仮想車両を表示装置に重畳させて表示させる場合、上記取得部は、上記仮想車両として、上記車両の進行方向の上記の車輪に対応する位置まで上記仮想車両の上記車両に近い側の車輪の位置が進んだときの、上記車両の進行方向の上記の車輪から遠い側の車輪を含む部分仮想車両を取得する。この構成によれば、例えば、車両（自車）の大きさ（車高、車幅、長さ等）を考慮した車両の移動予測状況を直感的に把握させやすくすることができる。また、例えば、仮想車両を表示する場合、仮想車両の後輪の状態は、車両（自車）の前輪の状態と同様と見なすことができる。したがって、仮想車両を表示する位置を決定する場合、仮想車両の左右の前輪の位置を示す情報を取得すればよく、仮想車両の全輪の位置を示す情報を取得する場合に比べて、仮想車両を表示するための処理負荷を軽減することができる。また、仮想車両が車両（自車）の直前に位置するため、車両の状態（例えば姿勢）がどのように変化していくかを容易に把握させることができる。

また、本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向を含む周辺領域を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、上記車両の進行方向における案内指標を取得する取得部と、上記案内指標を上記画像に重畳させて表示装置に表示させる制御部と、を備え、上記制御部が、上記案内指標として上記車両に対応する仮想車両を表示装置に重畳させて表示させる場合、上記車両の進行方向へ所定距離先行した位置に上記仮想車両が存在するときの、上記仮想車両の位置を視点とする周辺画像を上記表示装置に表示させる。この構成によれば、例えば、車両（自車）の大きさ（車高、車幅、長さ等）を考慮した車両の移動予測状況を直感的に把握させやすくすることができる。また、例えば、車両（自車）が現在の位置から仮想車両の位置に移動したときの周辺状況（未来の周辺状況）を把握させやすくなる。そのため、例えば、走行の是非判断をより容易に、早い段階で行わせやすくなる。
また、上記周辺監視装置の上記取得部は、例えば、上記案内指標として、上記仮想車両に加え、上記車両の舵角に基づく車輪の進行推定方向を示す進路指標を取得してもよい。この構成よれば、例えば、車両の進行推定方向の路面形状やその路面を通過する際の車両の状態や車両の推定進行方向が把握しやすくなる。

また、上記周辺監視装置の上記制御部は、例えば、上記車両が進むと予想される予想進路に沿って上記仮想車両が所定距離を移動する過程を上記表示装置に表示させてもよい。この構成によれば、例えば、車両（自車）から所定距離だけ離れた位置における姿勢だけでなく、仮想車両がその位置に到達するまでの車両の移動状態（走行姿勢等）を直感的に把握させやすくなる。

また、上記周辺監視装置の上記制御部は、例えば、上記車両が進むと予想される方向に走行していくような表示態様で上記仮想車両を上記表示装置に表示してもよい。この構成によれば、例えば、仮想車両の移動状態を理解させやすい表示ができる。

また、上記周辺監視装置の上記制御部は、例えば、上記車両の現在位置を示す自車画像を上記表示装置に表示するとともに、上記自車画像から分離して走行していくような表示態様で上記仮想車両を上記表示装置に表示するようにしてもよい。この構成によれば、自車画像と仮想車両とが同時に表示されるので、例えば、仮想車両は、車両（自車）の位置を基準にした移動状態を予測して表示されていることを理解させやすくすることができる。

また、上記周辺監視装置の上記制御部は、例えば、所定の停止条件が満たされた場合に、その位置で上記仮想車両の移動を停止するようにしてもよい。この構成によれば、例えば、移動表示中の仮想車両が途中で停止することにより、その停止位置における路面や周囲状況に対する仮想車両の相対関係や姿勢を利用者により認識させることが可能になり、将来の移動位置における状況把握をより実行させやすくできる。

また、上記周辺監視装置の上記制御部は、例えば、停止操作入力信号を受け付けた場合に、上記所定の停止条件が満たされたとしてもよい。この構成によれば、例えば、仮想車両が移動表示されているときに、利用者が気になる位置で仮想車両を停止させ、そのときの路面や周囲状況に対する仮想車両の相対関係や姿勢の検討を実行しやすくすることができる。

また、上記周辺監視装置の上記制御部は、例えば、上記仮想車両の走行方向に存在する上記車両と接触する物体に関する情報に基づいて、上記所定の停止条件が満たされたか否かを判定してもよい。この構成によれば、例えば、走行方向に存在する物体に関する情報に基づき、その物体と接触する可能性があるか否かの判定が行われ、仮想車両の移動を停止させるか否かが決まる。その結果、仮想車両が停止表示された位置以降の走行が望ましいか否かを認識させやすくなる。また、仮想車両が停止表示された場合には、停止位置における路面や周囲状況と仮想車両との相対関係や姿勢の検討を実行しやすくすることができる。

また、上記周辺監視装置は、例えば、さらに、上記車両の進行方向の路面の凹凸状態を検出する検出部を備え、上記制御部は、上記仮想車両を上記路面の凹凸状態に応じた姿勢で上記表示装置に表示させてもよい。この構成によれば、例えば、車両を走行させた場合に、車両がどのような姿勢になるかを仮想車両の姿勢によって事前に提示することができるので、路面状況および車両を走行させた場合の状況（揺れの状態や傾きの状態）を、より直感的に把握させることができる。
また、上記周辺監視装置の上記制御部は、例えば、路面の凹凸状態に倣うような表示態様で上記案内指標を表示する場合に、上記案内指標とともに上記路面が平坦の場合にその平坦状態を示す基準指標を表示してもよい。この構成によれば、例えば、平坦状態を示す基準指標と案内指標とを比較することで、案内指標の状態、例えば、凹凸状態や傾き状態等をより把握させやすくなり、路面状態の直感的な把握をより行わせやすくなる。

図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの一例が示されたブロック図である。 図４は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される案内指標を表示するため制御部（ＣＰＵ）の構成の一例を示すブロック図である。 図５は、実施形態にかかる周辺監視装置において、案内指標として進路指標を表示する場合の表示態様を説明する表示例を示す図である。 図６は、実施形態にかかる周辺監視装置において、案内指標として進路指標を表示する場合に、所定閾値以上の凹凸状態を示す領域に強調処理を施す表示態様を説明する表示例を示す図である。 図７は、実施形態にかかる周辺監視装置において、案内指標として仮想車両を表示する場合の表示態様を説明する表示例で、仮想車両が車両（自車）の直前に表示されている表示例を示す図である。 図８は、実施形態にかかる周辺監視装置において、案内指標として仮想車両を表示する場合の表示態様を説明する表示例で、仮想車両が図７の状態より遠方の位置に移動した状態が表示されている表示例を示す図である。 図９は、実施形態にかかる周辺監視装置において、案内指標として仮想車両を表示する場合の表示態様を説明する表示例で、仮想車両が図８の状態よりさらに遠方の位置に移動した状態が表示されている表示例を示す図である。 図１０は、実施形態にかかる周辺監視装置において、仮想車両が図９の位置に移動したときに、その移動位置を視点とする場合の周辺画像の表示態様を説明する表示例を示す図である。 図１１は、実施形態にかかる周辺監視装置において、案内指標を表示する場合の処理手順の前半部分を説明するフローチャートである。 図１２は、実施形態にかかる周辺監視装置において、案内指標を表示する場合の処理手順の後半部分を説明するフローチャートである。 図１３は、実施形態にかかる周辺監視装置において、案内指標として走行を推奨する進路指標を示す表示態様を説明する表示例を示す図である。 図１４は、周辺監視装置において、案内指標として仮想車両を表示する場合の別の表示態様を説明する表示例で、自車画像および仮想車両が俯瞰表示されている図である。 図１５は、実施形態にかかる周辺監視装置において、案内指標として仮想車両を表示する場合に、車両の前輪に対応する位置と仮想車両の後輪に対応する位置とがほぼ一致した状態で表示される態様を説明する模式図である。 図１６は、実施形態にかかる周辺監視装置において、仮想車両が図１５で示される位置に存在する場合の表示装置の表示例を示す図である。 図１７は、実施形態にかかる周辺監視装置において、仮想車両が図１５で示される位置に存在する場合に、仮想車両（案内指標）と基準指標とが同一画面上に表示される例を示す表示例を示す図である。 図１８は、実施形態にかかる周辺監視装置において、案内指標として進路指標を表示する場合に、所定閾値以上の凹凸状態を示す領域に強調処理を施す別の表示態様を説明する表示例を示す図である。 図１９は、実施形態にかかる周辺監視装置において、案内指標として進路指標を表示する場合に、所定閾値以上の凹凸状態を示す領域に施された強調処理と、その領域を越える走行が望ましくないことを示す進路指標を示す表示態様を説明する表示例を示す図である。 図２０は、実施形態にかかる周辺監視装置において、走行を推奨する推奨経路の算出例と、推奨経路の算出範囲の設定例を説明する模式図を示す図である。 図２１は、実施形態にかかる周辺監視装置において、案内指標を表示する場合の表示装置における表示領域の他のレイアウト例を説明する説明図を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。車両１は、例えば、いわゆる「オンロード」（主として舗装された道路やそれと同等の道路）の走行に加え、「オフロード」（主として舗装されていない不整地路等）の走行も好適に行える車両である。駆動方式としては、４つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。例えば、「オンロード」の走行を主目的とする車両でもよい。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

本実施形態の周辺監視装置（周辺監視システム）は、一例として、車両１の進行方向を含む周辺領域を撮像する撮像部１５から出力された撮像画像データに基づく画像に、路面の凹凸状態に倣うような表示態様の案内指標を重畳表示する。案内指標は、例えば、車両１の舵角に基づく車輪３の進行推定方向を示す進路指標（タイヤ軌跡線、予想進路）や車両１の前方の路面を先行して走行するように見える仮想車両等である。周辺監視装置は、車両１の進行方向の路面の凹凸（勾配）状態の情報（三次元情報）を取得して、案内指標としての進路指標の形状や仮想車両の姿勢等を決定して表示装置８に表示することで、利用者（ユーザ、運転者）に、これから走行しようとする路面の形状や、そこを通過する際の車両１の姿勢等を直感的に把握させやすくする。なお、本実施形態において、路面の凹凸状態とは、例えば、オフロードのように岩や窪みが存在し凹凸の変化が顕著に表れているような場合や、オンロードのように凹凸の変化が僅かしか表れていない場合等を含むものとする。

図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面やその周辺の物体（障害物、岩、窪み等）を含む外部環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。なお、撮像部１５ｃは、車室２ａの内部の例えばルームミラーの裏面（フロントガラスに対向する面）に配置してもよい。この場合、撮像部１５ｃの撮像範囲は、ワイパーの払拭領域内に入るように設置することが望ましい。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。周辺監視システム１００を構成するＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したり、特定の領域のみが強調されたような画像データを生成したりする。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる視点（仮想視点）から撮像したような仮想画像データに変換（視点変換）することができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供することができる。

上述したように、本実施形態のＥＣＵ１４は、路面の凹凸状態（三次元形状）に倣うような表示態様の案内指標を表示装置８に表示する。路面の三次元形状の検出は、種々の手法によって可能である。例えば、ステレオカメラを用いて、２台の撮像部（カメラ）で物体を同時に撮影し、各カメラで得られた物体の画像上での位置の違い（視差）から、その物体の位置や立体的な形状を検出する。したがって、車両１の前方の路面の凹凸情報を取得する場合には、撮像部１５ｃをステレオカメラとしてもよい。この場合、撮像部１５ｃは、案内指標を重畳する周辺画像を撮像するとともに、その周辺画像に含まれる路面の形状情報（三次元情報）を取得することができる。なお、路面の凹凸状態（立体情報、三次元情報）を検出する他の実施例としてレーザスキャナ２８を利用することができる。この場合、撮像部１５ｃは単眼のカメラとしてもよく、案内指標を重畳する周辺画像を撮像する。そして、単眼カメラである撮像部１５ｃが取得した画像にレーザスキャナ２８が取得した路面の凹凸情報に基づいて決定された案内指標が重畳される。

なお、レーザスキャナ２８が取得した路面の凹凸情報に基づいて単眼カメラの撮像部１５ｃが取得した画像を加工して、路面の一部または全体を三次元表示するようにしてもよい。また、車両１の後方の路面の凹凸状態（立体情報、三次元情報）を検出する場合は、撮像部１５ａをステレオカメラにしたり、車両１の後方を検出範囲とするレーザスキャナ２８を設けたりすればよい。また、レーザスキャナ２８とステレオカメラとを併用してもよく、この場合、路面の凹凸状態をより高精度で検出できる。

図３に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６（２６ａ，２６ｂ）等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果や、操作入力部１０等の操作信号を、受け取ることができる。なお、撮像部１５ｃを単眼カメラとする場合は、車内ネットワーク２３にレーザスキャナ２８を接続し、ＥＣＵ１４は、レーザスキャナ２８の検出結果に基づき路面の凹凸状態の検出を行いうる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の進行推定方向の路面状態やその路面を走行するときの車両１の姿勢を示す案内指標（進路指標、仮想車両）の演算、路面の凹凸（勾配）状態の算出、路面の凹凸状態に対して注意喚起を行うための案内（報知）処理等の各種演算や各種処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。なお、ＣＰＵ１４ａ、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視用のＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部（例えば、ブレーキペダル）の位置を検出するセンサである。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。なお、舵角センサ１９の検出結果は、案内指標としての進路指標を表示する場合、進路指標の方向を決定する際にも利用される。

アクセルセンサ２０は、例えば、加速操作部５の可動部（例えば、アクセルペダル）の位置を検出するセンサである。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、各車輪３に配置され、各車輪３で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。ＥＣＵ１４は、各車輪速センサ２２のセンサ値に基づいて車両１の車速を算出する場合、４輪のうち最も小さなセンサ値の車輪３の速度に基づき車両１の車速を決定し、各種制御を実行する。また、ＥＣＵ１４は、４輪の中で他の車輪３に比べてセンサ値が大きな車輪３が存在する場合、例えば、他の車輪３に比べて単位期間（単位時間や単位距離）の回転数が所定数以上多い車輪３が存在する場合、その車輪３はスリップ状態（空転状態）であると見なし、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

加速度センサ２６（２６ａ，２６ｂ）は、例えば車両１に２個設けられている。ＥＣＵ１４は、加速度センサ２６（２６ａ，２６ｂ）からの信号に基づき、車両１の前後方向の傾き（ピッチ角）や左右方向の傾き（ロール角）を算出する。ピッチ角は、車両１の左右軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ピッチ角が０度となる。また、ロール角は、車両１の前後軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ロール角が０度となる。つまり、車両１が、水平な路面に存在するか否か、傾斜面（上り勾配の路面または下り勾配の路面）に存在するか否か等が検出できる。なお、車両１がＥＳＣを搭載する場合、ＥＳＣに従来から搭載されている加速度センサを用いてもよい。本実施形態は、加速度センサ２６を制限するものではなく、車両１の前後左右方向の加速度を検出可能なセンサであればよい。

路面の凹凸状態を検出するために、レーザスキャナ２８を備える場合がある。レーザスキャナ２８は、例えば、車体２の前端（車両前後方向の前方側の端部２ｃ）に設けられ、車両１の進行方向における路面の状態を示す状態情報を取得する。レーザスキャナ２８は、センサ内部の光源（レーザダイオード等）から照射されたレーザ光が、測定対象物（例えば、路面や立体物）にあたると反射され、受光素子で受光される。このとき受光した反射光を評価、演算することで、レーザ光が反射した位置までの距離を算出する。その結果、ＥＣＵ１４は、路面の状態、例えば凹凸（勾配）の有無や凹凸が存在する位置（凹凸位置）、凹凸の大きさ（勾配値）、凹凸（勾配）の状態（上り勾配、下り勾配）等の車両１が存在する路面を基準として当該車両１の前方の路面の相対的な状態情報（凹凸情報、相対的な傾き等）を取得する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような案内指標の表示を実現するために、図４に示されるように、周辺情報取得部３０、凹凸状態検出部３２、舵角取得部３４、指標取得部３６、指標制御部３８、経路算出部４０、出力部４２等を含む。そして、指標取得部３６は、進路指標取得部５０、仮想車両取得部５２、基準指標取得部５４等を含む。また、指標制御部３８は、強調処理部５６、指標処理部５８、周辺画像処理部６０、重畳部６２、案内処理部６４等を含む。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

周辺情報取得部３０は、車両１の進行方向における周辺領域に関する情報を取得し、例えば、ＲＡＭ１４ｃ等に一時的に保持する。この場合、車両１の前方に配置される撮像部１５ｃがステレオカメラの場合、周辺情報取得部３０は表示制御部１４ｄを介して撮像部１５ｃから周辺画像を示す撮像画像データおよび撮像領域に含まれる三次元情報を取得する。このとき、周辺情報取得部３０は、ステレオカメラで撮像された視差を有する二枚の二次元画像（撮像画像データ）を取得するとともに、二枚の二次元画像の視差に基づいて撮像領域の三次元情報を取得する。また、撮像部１５ｃが単眼カメラであり、レーザスキャナ２８を備える場合、周辺情報取得部３０は、表示制御部１４ｄを介して撮像部１５ｃから周辺画像を示す撮像画像データを取得するとともに、車内ネットワーク２３を介してレーザスキャナ２８から車両１の前方の検出領域における三次元情報を取得する。なお、表示装置８に車両１の周囲の画像を表示するのみの場合、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８に出力してもよい。また、ＣＰＵ１４ａは、操作入力部１０や操舵部４の周辺等に配置された操作部１４ｇ等の入力装置を用いて利用者に希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作入力部１０や操作部１４ｇの操作により選択された画像を表示することができる。例えば撮像部１５ａで撮像した車両１の後方画像を表示装置８に表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。

凹凸状態検出部３２は、周辺情報取得部３０が取得した三次元情報に基づいて車両１の例えば前方の領域（例えば路面）の凹凸状態を検出する。撮像部１５ｃがステレオカメラの場合、取得された撮像画像データには、当該撮像画像データ上の所定領域ごとに、高さ情報を有する三次元情報が含まれているので、凹凸状態検出部３２は、領域ごとに対応付けられた高さ情報を抽出して、例えば、ＲＡＭ１４ｃに保持する。この場合、撮像画像データに基づく画像は、三次元画像であり、撮像部１５ｃが単眼カメラの場合に取得される撮像画像データに基づく二次元画像より路面の凹凸（岩や構造物による凹凸）が確認しやすい状態で表示できる。また、撮像部１５ｃが単眼カメラでレーザスキャナ２８を備える場合、レーザスキャナ２８から取得された三次元情報に基づき、凹凸状態検出部３２は、車両１の前方領域（例えば、路面）の高さ情報を撮像部１５ｃが取得した撮像画像データに基づく画像（二次元画像）上の所定領域ごとに対応付けて、例えばＲＡＭ１４ｃに保持する。

舵角取得部３４は、舵角センサ１９から出力される操舵部４（ステアリングホイール）の操作状態に関する情報（舵角）を取得する。つまり、運転者がこれから車両１を走行させようとしている方向の舵角を取得する。なお、舵角取得部３４は、シフトセンサ２１から取得される変速操作部７の可動部の位置に基づき、車両１が前進可能状態か後退可能状態かを取得して、舵角が前進状態の舵角か後退状態の舵角かを識別できるようにしてもよい。

指標取得部３６は、進路指標取得部５０、仮想車両取得部５２、基準指標取得部５４等を備える。進路指標取得部５０、仮想車両取得部５２、基準指標取得部５４等は、車両１の例えば前方の路面の凹凸状態を認識しやすくするために、凹凸状態に倣うような表示態様で表示される前の基本形状の各案内指標に関するデータを取得する。

進路指標取得部５０は、舵角取得部３４が取得した車両１の現在の舵角に基づく方向（前輪３Ｆの向く方向）に延びる進路指標（タイヤ軌跡線）をＲＯＭ１４ｂやＳＳＤ１４ｆから取得する。この場合、進路指標は、略直線形状で、車両１の遠方で交わるような態様の線とすることができる。

仮想車両取得部５２は、車両１が進路指標に沿って走行した場合の車両姿勢をシミュレーションする仮想車両に関するデータをＲＯＭ１４ｂやＳＳＤ１４ｆから取得する。仮想車両は、車両１の例えば前方の所定距離（例えば３ｍ先）に対応する位置に、車両１との相対位置を変化させることなく表示される。この場合、仮想車両取得部５２は、表示する前方の位置（距離）に応じた所定サイズの仮想車両を一種類選択するようにしてもよい。また、別の実施形態では、仮想車両は、車両１をスタート位置として、例えば、前方に遠ざかるように、車両１との相対位置を変化させながら表示されることができる。この場合、仮想車両取得部５２は、仮想車両が車両１から遠ざかるように見えるように、移動開始からの経過時間（移動距離）に対応してサイズが小さくなる仮想車両を複数種類選択して順次表示することができる。なお、一種類の仮想車両を選択し、経過時間（移動距離）に応じて、指標処理部５８が仮想車両のサイズを小さくする処理を施してもよい。

なお、ＲＯＭ１４ｂやＳＳＤ１４ｆに保持されている仮想車両のデータは、画面８ａ上で、車両１（自車）画像とともに表示されたときに車両１と仮想車両との識別が容易にできることが望ましく、仮想車両の色は車両１とは異なる色とすることができる。例えば、車両１が青色の場合、仮想車両を薄青色にしたり、車両１が白色の場合、仮想車両を黄色にしたりする。なお、仮想車両の色は、これに限らず車両１の色に応じて適宜変更可能である。また、操作入力部１０等を介して利用者によって選択できるようにしてもよい。同様に、車両１と仮想車両との識別が容易にできるように、仮想車両は、外形（車両フレーム）のみを線図で表現されてもよい。この場合、仮想車両であることを認識させやすくすることができるとともに、仮想車両により車両１の周辺領域が隠されてしまうことなく、路面状態や障害物の有無等を利用者に認識させやすくすることができる。

仮想車両取得部５２は、進路指標の表示の有無に拘わらず、画面８ａ上で、車両１(自車の車高、車幅、長さ等）に対応する形状（大きさ）の仮想車両を取得してもよい。そして、取得した仮想車両を画面８ａに表示される周辺画像に重畳するようにしてもよい。このような仮想車両を表示することで車両１（自車）のサイズ感を考慮した車両１の移動予測状態を示すことができる。この場合、例えば、車両１が現在の位置から３ｍ先に進んだ場合に、車両１の各車輪３が路面のどの辺りに存在するかを示すことが可能になる。その結果、車両１(自車)の移動予測状態を直感的に利用者に把握させやすくすることができる。なお、この場合も仮想車両の画面８ａ上での表示サイズは、車両１(自車)からの距離に応じて変化させることが望ましい。

基準指標取得部５４は、路面の凹凸状態に倣うような表示態様で表示される案内指標とともに周辺画像上に重畳される基準指標に関するデータをＲＯＭ１４ｂやＳＳＤ１４ｆから取得する。基準指標は、路面が平坦の場合にその平坦状態を示す指標である。基準指標は、進路指標取得部５０が取得した進路指標や仮想車両取得部５２が取得した仮想車両を路面の凹凸状態に倣うような表示態様で表示したときに、形状や姿勢の変化の程度を理解しやすくする比較基準となる指標である。基準指標は、例えば、車両１の位置を基準にして遠方に延びる直線形状の指標であり、舵角取得部３４が取得する舵角に拘わらず変化しない固定の指標とすることができる。この場合、舵角の変化に応じて表示位置が変化する進路指標や仮想車両と基準指標とが連動して動くことが避けられるので、それぞれの指標の視認性が向上できる。また、別の実施形態では、舵角取得部３４が取得する舵角に対応した方向に延びる基準指標を選択するようにしてもよい。この場合、基準指標と進路指標や仮想車両とが常に連動して移動するので、基準指標と進路指標や仮想車両とが接近して表示できる。その結果、基準指標と進路指標や仮想車両との比較が容易になり、路面の凹凸状態による進路指標や仮想車両の変化の程度を認識させやすくすることができる。

指標制御部３８は、指標取得部３６が取得した案内指標（進路指標や仮想車両）に関する処理を実行する。

強調処理部５６は、所定閾値以上の凹凸状態を示す路面の領域に強調処理を実行する。例えば、車両１が現在存在する位置を基準として、路面の勾配が所定閾値（例えば、３０°以上）の場合に、その領域に対する注意を喚起するように、その領域を例えば、赤色のマークで囲んだり、その領域を囲むマークを点滅させたり、その領域の輝度を周囲の領域より高くしたりする強調処理を行う。この強調処理は、撮像部１５ｃが取得した撮像画像データに基づく画像に対して施してもよいし、進路指標取得部５０が取得した進路指標に対して施してもよい。例えば、進路指標が所定の閾値を超える勾配領域を通過する場合、その部分の進路指標の表示色を注意喚起するような赤色で表示したり、その領域を通過する進路指標の部分を点滅表示したりするようにしてもよい。なお、強調処理は、凹凸状態検出部３２の検出した三次元情報に基づき、強調処理部５６が自動的に実行してもよいし、操作入力部１０や操作部１４ｇを介して利用者からの強調表示要求があった場合に強調処理部５６が実行するようにしてもよい。

また、強調処理部５６は、仮想車両取得部５２が取得した仮想車両に対して強調処理を実行する。例えば、車両１が現在存在する位置を基準として、注意喚起が必要な場所が存在する場合、例えば、路面の勾配が所定閾値以上（例えば、３０°以上）の場合に、その領域に対する注意を喚起する。また、左右の車輪３のうち一方が岩に乗り上げたりした場合、左右の車輪３の高さに差が生じて車両１が大きくロール方向に傾斜する場合がある。同様に、前後の車輪３のうち一方が岩に乗り上げたりした場合、前後の車輪３の高さに差が生じて車両１が大きくピッチ方向に傾斜する場合がある。このように車輪の接地状態により車両が傾斜し、車両の傾斜角度が所定閾値以上（例えば、３０°以上）になる場合でも強調処理部５６は、仮想車両に対して強調処理を実行して注意喚起を行うようにしてもよい。例えば、仮想車両が注意喚起領域に対応する位置に存在する場合やその領域を通過する場合、仮想車両が大きく傾く場合、仮想車両を強調表示する。強調処理部５６は、例えば、仮想車両に対して赤色表示を実行したり、点滅表示を実行したり、高輝度表示を実行したりする。その結果、注意を必要とする領域が存在することが利用者に認識されやすくなる。なお、強調処理部５６は、仮想車両が車両１（自車）の前方の所定位置で固定表示されている場合、車両１の移動に伴い仮想車両の固定表示位置が移動して注意喚起領域を外れた場合には、強調表示を解除する。同様に、強調処理部５６は、仮想車両が車両１（自車）から遠ざかるように走行表示されている場合、仮想車両が注意喚起領域を通過した（外れた）場合には、強調表示を解除する。この場合、強調表示の表示期間の長さから注意喚起領域の大きさを認識させることが可能になる。例えば、勾配が急な部分が一瞬で通過できるか、しばらく続くか等の判断を利用者にさせやすくすることができる。また、強調処理部５６は、仮想車両が障害物と接触する、または接触する可能性のある場合にも同様に強調表示してもよい。この場合、事前に危険を利用者に認識させることができる。また、別の実施形態では、仮想車両を強調表示した位置で当該仮想車両を二つに分離し、一方を固定表示させ、他方は移動表示を継続させるようにしてもよい。この場合、移動を継続する仮想車両の表示色を固定表示される仮想車両の表示色と異ならせてもよい。このような分離表示を行うことにより、注意を必要とする部分をより認識させやすくすることができるとともに、さらに走行した場合の状況を判断させやすくすることができる。なお、固定表示された仮想車両は、表示したままでもよいし、所定期間（時間）経過後に非表示としてもよい。この場合、徐々に非表示としてもよいし、即座に非表示としてもよい。

また、強調処理部５６は、仮想車両が車両１（自車）から離間した位置に表示された場合に、そのときの周囲との関係（例えば、障害物との関係）にしたがって、仮想車両の少なくとも一部を強調表示するようにしてもよい。例えば、仮想車両が車両１に対して先行して移動した場所でドアを利用できない（利用しにくい）場合、例えば、障害物と干渉したり、接近し過ぎている場合には、そのドアを強調表示する。例えば、ドアの赤色表示を実行したり、点滅表示を実行したり、高輝度表示を実行したりする。仮想車両のドアと周囲、例えば障害物の存在や障害物までの距離は、例えば、撮像部１５が撮像した撮像画像データ（ステレオ画像データ）を解析したり、レーザスキャナ２８の検出結果を解析したりすることで認識できる。この場合、利用できない（利用しにくい）ドアが存在することを事前に利用者に認識させやすくなり、利用者に駐車位置の選定等をさせやすくすることができる。上述のように、ドアの強調表示は、ドアの開閉が必要な場合にのみ実行されることが望ましい。したがって、強調処理部５６は、操作入力部１０等を介して、駐車位置の指定等が行われた場合に、ドアの強調表示を実行可能としてもよい。なお、ドアには、車両側面の乗員の乗降用のドアの他、リアハッチのドア２ｈ（図１参照）等を含む。また、ドア形式には、ヒンジ式のドアの他スライドドア等を含んでもよい。

指標処理部５８は、進路指標取得部５０が取得した進路指標を舵角取得部３４が取得した舵角に基づく方向に表示する場合に、進路指標を路面の凹凸状態に倣うように変化させる。この場合、指標処理部５８は、撮像部１５ｃ（ステレオカメラ）やレーザスキャナ２８が取得した三次元情報のうち、撮像部１５ｃが取得した画像上で進路指標が重畳される位置に対応する例えば高さ情報（勾配情報）と進路指標の表示情報とを組み合わせる。また、路面が捻れている場合には、その情報も加えうる。その結果、進路指標は、重畳する位置の路面の凹凸状態に倣うような形状になる。別の実施形態において、指標処理部５８は、平面のテクスチャ上に進路指標取得部５０が取得した進路指標を貼り付けたものを、三次元情報に基づく路面の凹凸面に重ねることで、路面の凹凸状態に倣うような表示態様の進路指標を得ることができる。指標処理部５８は、舵角取得部３４が取得する舵角が変化するごとにこの処理を実行することで、路面の凹凸状態に倣うような進路指標を前輪３Ｆの向く方向に移動させることができる。なお、舵角が変更される場合、進路指標を直ちに更新してもよいし、所定期間だけ舵角更新前に表示していた進路指標の残像を表示して、その残像を徐々に消去するようにしてもよい。この場合、車輪３の幅より広い範囲の領域に関して、路面の凹凸状態が表示可能になり、より広範囲の路面の凹凸状態が把握しやすくなる。

また、指標処理部５８は、仮想車両取得部５２が取得した仮想車両を路面の凹凸状態に倣うような姿勢で傾けて表示することができる。この場合、指標処理部５８は、仮想車両の各車輪に対応する部分が路面と接触する部分の高さ情報を撮像部１５ｃ（ステレオカメラ）やレーザスキャナ２８が取得した三次元情報から取得する。そして、仮想車両の姿勢を各車輪と路面が接触する位置の高さ情報に基づいて変化させる。その結果、仮想車両は、重畳する位置の路面の凹凸状態に倣うような姿勢で表示可能となる。別の実施形態では、指標処理部５８は、平面のテクスチャ上に仮想車両取得部５２が取得した仮想車両を貼り付けたものを、三次元情報に基づく路面の凹凸面に重ねることで、路面の凹凸状態に倣うような表示態様（姿勢）の仮想車両を得ることができる。なお、この場合、仮想車両は姿勢を変化させるのみで、車体形状の変形（歪み）は生じないようにする。また、仮想車両を車両１から遠ざかるように表示する場合、指標処理部５８は、仮想車両を表示してからの経過時間（距離）に応じた表示サイズの仮想車両を、経過時間（距離）に応じた位置における姿勢に変更して重畳する。また、舵角取得部３４が取得する舵角が変化する場合、仮想車両の重畳位置が車幅方向に移動するため、その位置における姿勢を変更して重畳する処理を実行することで、路面の凹凸状態に倣うような姿勢の仮想車両を前輪３Ｆの向く方向に移動させることができる。なお、本実施形態において、案内指標（進路指標や仮想車両）を路面の凹凸状態に倣うような表示態様で表示するとは、進路指標の形状や仮想車両の傾きが完全に路面の凹凸状態に倣う必要はない。例えば、路面の凹凸状態に応じた形状の変化や姿勢の変化が区別できる程度に倣っていればよいとしてもよい。

また、指標処理部５８は、仮想車両が車両１（自車）から遠ざかるように表示される場合、仮想車両が移動していることを明確にするための表示処理を実行することができる。例えば、仮想車両が車両１（自車）から遠ざかる場合、移動距離（時間）に応じて徐々に透過度を高めることができる。この場合、仮想車両の表示は徐々に薄くなり、最終的には、透過度１００％で消えるように表示されてもよい。また、仮想車両の表示が移動していることを示すために、例えば、仮想車両の車輪が回転するようなアニメーション表示を行ってもよい。このように仮想車両の表示に変化をもたせることにより、仮想車両が車両１（自車）に対して所定距離離間した位置に固定表示されているのか、移動表示されているのかを利用者に認識させやすくすることが可能で、表示内容をより適切に利用者に認識させることができる。

また、指標処理部５８は、表示中の仮想車両の表示態様を変化させることができる。例えば、車両１（自車）が進むと予想される方向に、つまり、将来到達することが予想される位置に向かい走行するように走行表示される場合で、所定の停止条件が満たされた場合に、仮想車両を停止表示してもよい。停止条件として、例えば、利用者が操作入力部１０や操作部１４ｇを介して停止要求を行った場合であり、停止条件が満たされた場合に、指標処理部５８は、移動表示中の仮想車両を停止させる。その結果、利用者は、停止表示させたときの仮想車両の姿勢や周囲の障害物（例えば、岩や路面の凹凸等）との関係を詳細に検討することができる。なお、強調処理部５６は、仮想車両が車両１から離間した位置で固定表示される場合、操作入力部１０や操作部１４ｇの操作により所定距離ずつ間欠的に移動（例えば前進）するように表示してもよい。例えば、操作入力部１０を短時間（例えば１秒以下）の押下を行った場合、仮想車両が所定単位距離、例えば０．１ｍずつ移動するようにしてもよい。また、例えば操作入力部１０を長押し（例えば３秒以上）した場合、所定長距離（例えば０．５ｍ）移動するようにしてもよい。また、操作入力部１０を例えば長押し操作している間は、仮想車両が移動し続け、長押し操作を終了すると、その位置で仮想車両が停止するようにしてもよい。このように、仮想車両の表示位置の調整を可能にすることで、利用者が注目する位置での車両１（仮想車両）の姿勢や周囲の障害物との相対位置関係等を予め詳細に検討することが可能になる。なお、この場合、指標処理部５８は、仮想車両の移動距離の詳細を画面８ａ（例えば、図８等参照）等に表示してもよい。例えば、「１．４ｍ前方位置に移動」等を表示してもよく、注目位置までの実際の距離をイメージさせやすくすることができる。また、別の実施形態では、強調処理部５６は、車両１から遠ざかるように移動表示される仮想車両を操作入力部１０や操作部１４ｇを用いて、任意の位置で停止させることができる。この場合も、利用者が注目する位置での車両１（仮想車両）の姿勢や周囲の障害物との相対位置関係等を停止表示された仮想車両によって詳細に検討することが可能になる。その結果、車両１の進路の検討を事前に詳細に行わせることが可能になり、より効率的でより安全な走行を実行させやすくなる。

さらに、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データ（ステレオ画像データ）やレーザスキャナ２８の検出結果の解析に基づき、移動表示される仮想車両が障害物（岩、壁、人、動物、他車等）と干渉（例えば接触）する可能性があるか否かを検出できる。強調処理部５６は、仮想車両が、障害物等と干渉する可能性があると判定する場合、その障害物（走行方向に存在する物体）に関する情報に基づき、所定の停止条件が満たされたと判定して、干渉直前に移動表示を停止して固定表示に切り替えてもよい。この場合、移動表示されていた仮想車両の停止により、現在の舵角のまま走行した場合に障害物と干渉する可能性があることを利用者に事前に認識させやすくなる。その結果、利用者に進路の選択や変更を早い段階で行わせやすくなる。また、画面８ａ上でも仮想車両と障害物との干渉（接触）が回避され、利用者に違和感を与えにくくすることができる。なお、強調処理部５６は、仮想車両を停止する場合（固定表示に切り替えた場合）に、仮想車両の表示を強調表示に切り替えてもよい。例えば、赤色表示や、点滅表示、高輝度表示等を実行して、利用者が認識しやすくなるようにしてもよい。なお、他の実施形態では、指標処理部５８は、仮想車両と障害物とが接触した時点で固定表示に切り替えるようにしてもよい。このように、接触したことを表示することにより、利用者により強い印象を与え、注意喚起させることができる。

また、指標処理部５８は、予め設定した駐車スペースに向けて仮想車両が移動表示される場合、仮想車両の車側のドアやリアハッチのドア２ｈを開いた状態（通常の使用時に開放するような状態）で駐車スペースに移動するように表示してもよい。この場合、車両１を実際に駐車したときに、車側のドアやリアハッチのドア２ｈが周囲の障害物と接触することなく開放されて利用可能か否かを事前に利用者に判断させやすくすることができる。例えば、仮想車両の開放されたドアが接触したり、十分な利用スペースが確保できなかったりする場合には、駐車場所の変更等を事前に検討させやすくなる。なお、他の実施形態では、操作入力部１０等の操作により、給油口を開放した状態の仮想車両を表示するようにしてもよい。この場合、給油スペースに向けて走行した場合に、給油がスムーズにできるか否かを事前に検討させることができるとともに、仮想車両の移動位置にしたがい、移動経路の修正を早期に実施しやすくすることができる。なお、この場合、給油口が開放されたことをトリガとして、画面８ａに表示する画像を車両１の上方から真下を見た俯瞰画像に切り替えて表示し、給油スペースと車両１との位置関係を確認しやすくしてもよい。この場合、俯瞰画像に表示される仮想車両にも給油口の状態が反映されるようにしてもよい。つまり、給油口が開放された状態の仮想車両が表示されてもよい。

周辺画像処理部６０は、撮像部１５ｃが単眼カメラの場合、撮像部１５ｃが取得した二次元画像をレーザスキャナ２８が取得した三次元情報を用いて、三次元画像に変換する処理（凹凸強調処理）を実行する。この場合、周辺画像処理部６０は、撮像領域全体を三次元画像に変換してもよいし、案内指標、特に進路指標を重畳する領域のみを対象に三次元画像に変換するようにしてもよい。この場合、凹凸強調処理を撮像領域全体に施す場合に比べて、処理負荷を軽減することができる。なお、凹凸強調処理は、周知の手法、例えば座標変換による三次元化、輝度調整、コントラスト調整、エッジ処理等により実施することができる。

また、周辺画像処理部６０は、仮想車両が車両１から遠方に離れた場合（先行して走行した場合）に、その移動位置において例えば運転席から見た周辺画像を表示装置８に表示するように、撮像部１５ｃが撮像した撮像画像データに基づく画像を処理することができる。この場合、移動先の仮想車両で見える前方方向の風景は、車両１の現在の位置で見える前方方向の風景と拡大率が違うのみで実質的に同じ内容が見えるものと考えられる。つまり、周辺画像処理部６０は、移動先の仮想車両において例えば運転席から見た周辺画像を表示装置８に表示する場合、撮像部１５ｃが取得した撮像画像データに基づく画像を車両１から仮想車両までの離間距離に応じて拡大すればよい。なお、周辺画像処理部６０は、仮想車両の移動先における姿勢に応じて画像をロール方向やピッチ方向に傾けるようにしてもよい。このように、仮想車両が移動した先で見える画像（先行視点画像、未来画像）を表示することにより、車両１を仮想車両の位置まで走行させた場合の車両状態が把握しやすくなり、進路選択を早い段階でより適切に行わせやすくなる。なお、仮想車両が移動した先で見える画像（先行視点画像、未来画像）は、例えば、周知の視点変換処理を用いて生成してもよい。

重畳部６２は、指標処理部５８が表示態様を変化させた案内指標（進路指標、仮想車両、基準指標等）を舵角取得部３４が取得する舵角の変化に合わせて、撮像部１５ｃが撮像した撮像画像データに基づく画像に重畳する。

案内処理部６４は、案内指標が表示される際に注意喚起が必要なときに表示するメッセージや出力する音声メッセージ、警告音等に関するデータを例えばＲＯＭ１４ｂ、ＳＳＤ１４ｆから選択する。また、案内指標にしたがい走行を行わせる場合や、逆に案内指標とは異なる経路で走行することを推奨する場合等の車両１の操作方法（操舵部４、加速操作部５、制動操作部６等の操作指示等）を出力するためのデータを例えばＲＯＭ１４ｂ、ＳＳＤ１４ｆから選択する。また、案内処理部６４は、強調処理部５６による強調表示が実行された場合、例えば、通過を避けた方がよい領域が提示された場合、その領域より容易に通過できる領域を示すようなマーク、またはその領域の方向を示すようなマーク（例えば、矢印等）を表示してもよい。このようなマークを表示することで、走行可能な経路の探索がより容易になる。

経路算出部４０は、凹凸状態検出部３２が検出した路面の凹凸状態を利用して、車両１がより容易に走行できる推奨経路を算出する。経路算出部４０は、例えば車両１が所定角度以上傾くような領域の通過回数が最も少なくなるような推奨経路を算出する。経路算出部４０は、最も条件のよい推奨経路を算出してもよいし、最も条件のよい推奨経路とともに、それに準じる条件を満たす複数の推奨経路を算出して、利用者に選択させるようにしてもよい。なお、経路算出部４０は、推奨経路を、車両１の移動方向を示す一本の経路線で示してもよいし、進路指標と同様に左右の前輪３Ｆの向かう方向として二本の進路線で示してもよい。なお、経路算出部４０が算出する推奨経路を表示装置８に表示する場合は、進路指標とは異なる表示色、例えば青色等で表示することで、両者の識別性を向上することができる。また、経路算出部４０が算出した推奨経路に沿って走行するように表示される仮想車両を表示してもよい。つまり、推奨経路のシミュレーションを行うようにしてもよい。推奨経路が複数提示される場合は、それぞれの推奨経路で仮想車両の走行シミュレーションを実施して、推奨経路の選択を行えるようにしてもよい。

出力部４２は、強調処理部５６による案内指標の強調結果や指標処理部５８による案内指標の表示態様、周辺画像処理部６０による周辺画像の表示態様、重畳部６２による案内指標の重畳結果、案内処理部６４による注意を喚起するメッセージや操作手順情報等を表示制御部１４ｄに向けて出力する。また、案内処理部６４が音声によるメッセージを選択した場合は、音声制御部１４ｅに向けてメッセージデータを出力する。

上述したように構成される周辺監視装置（周辺監視システム１００）に基づく案内指標の具体的な表示例を図５〜図１０を用いて説明する。なお、図５〜図１０は、表示装置８に表示される画面８ａを示している。

図５は、岩が多数存在する路面７０を車両１が走行している場合で、車両１の前方に案内指標として左の前輪３Ｆ用の進路指標ＲＬと右の前輪３Ｆ用の進路指標ＲＲが重畳表示されている画面８ａの表示例である。この画面８ａの場合、進路指標ＲＬ，ＲＲが路面７０と容易に識別できるように、例えば、赤色で表示されている。なお、進路指標取得部５０は、周辺情報取得部３０が取得する撮像画像データに基づき、路面７０の色を検出し、進路指標ＲＬ，ＲＬの表示色が路面７０と同系色の色にならないように、適宜選択することができる。また、別の実施形態では、進路指標ＲＬ，ＲＲの認識性をさらに向上するために、進路指標ＲＬ，ＲＲを立体的に表示してもよい。つまり、進路指標ＲＬ，ＲＲを厚みのある帯状の指標として表示してもよい。進路指標ＲＬ，ＲＲを立体的に表示することにより路面７０の凹凸状態がさらに顕著化される。また、画面８ａに車両１の一部（先端部）に対応する自車画像Ｊを映り込ませることにより車両１と前方領域の物体（例えば、岩）との距離感の把握がより容易になり、車両１と路面７０の凹凸との関係をより把握させやすくなる。

このように、車両１の前方を示す画像に、路面７０の凹凸状態に倣うような表示態様の案内指標（進路指標ＲＬ，ＲＲ）を重畳表示することにより、案内指標の形状により路面７０の凹凸状態がより明確になり、利用者に認識させやすくなる。

図６は、図５と同様に路面７０の凹凸状態に倣うような表示態様で重畳された進路指標ＲＬ，ＲＲにおいて、特に注意を必要とする部分に強調表示を施した表示例である。強調処理部５６は、凹凸状態検出部３２が検出した路面７０の凹凸状態に基づき、車両１の存在する位置に対して所定の閾値以上の高さまたは勾配が存在する領域が抽出され、かつ進路指標ＲＬまたは進路指標ＲＲとその領域が重なる場合、その領域に強調処理を施す。強調表示としては、例えば、強調すべき領域の表示色を進路指標ＲＬ，ＲＲと異なる表示色で表示したり、その領域を点滅表示したり、その領域の輝度を変化させたり、表示透過度を変化させたりする。図６において、領域７２は、例えば車両１の底面を擦ってしまうような高さの突起部分である。このように車両１を進路指標ＲＬ，ＲＲに沿って移動させる場合に特に注意が必要な領域を明示することにより、その領域を通過する際に車速を落させて安全性を向上させたり、転舵させてより容易に走行できる他の経路を探索させたりすることが容易にできる。なお、強調処理部５６により強調表示が実行される場合、案内処理部６４により注意喚起のメッセージを出力させるようにしてもよい。例えば、「進路指標上に、起伏の激しい部分が存在します。注意して走行してください。」や「進路指標上に、起伏の激しい部分が存在します。他の経路を検討する場合、ハンドルを回してください。」等のメッセージを表示装置８に表示したり、音声出力装置９から出力したりすることができる。

図７〜図９は、利用者により車両１の前方に仮想車両を表示する仮想車両表示モードが選択された場合の表示例である。ＥＣＵ１４は、操作入力部１０や操作部１４ｇを介して利用者により仮想車両７４の表示要求を受け付けた場合、仮想車両取得部５２がＲＯＭ１４ｂやＳＳＤ１４ｆから仮想車両を示す表示情報を選択する。仮想車両７４は車両１の形状に対応した同じ形状の車両でもよいし、他の形状の車両でもよい。仮想車両７４の形状を車両１の形状に対応させることにより、車両１が仮想車両７４が表示された位置に移動した場合の移動予測状態が把握しやすくなる。例えば、車両１が移動したときの状態を現在、画面８ａに表示されている路面７０と仮想車両７４の相対関係から把握しやすくなる。

仮想車両７４は、例えば透過度を高めた半透明で表示され、路面７０や進路指標ＲＬ，ＲＲ等の視認の妨げにならないようにすることができる。なお、車両１の現在の位置を示す自車画像Ｊと仮想車両７４を同時に表示する場合、自車画像Ｊの表示状態より予想進路に沿った位置に表示される仮想車両７４の透過度を高くしてもよい。このように仮想車両７４の透過度を高くして表示することにより、自車画像Ｊから離間して表示される仮想車両７４が車両１の移動予測状態を示す画像であることをより印象づけることが可能で、画面８ａの内容を把握しやすくすることができる。また、仮想車両７４の透過度を高くして表示することにより、画面８ａに仮想車両７４とともに表示されている周辺画像の表示の妨げになりにくくすることが可能で、周辺画像の把握をより容易に行わせることができる。

また、仮想車両７４を表示させる仮想車両表示モードは、例えば、仮想車両７４を車両１から前方の所定距離だけ先行させた位置に固定するように固定表示してもよい。この固定モードでは、車両１と仮想車両７４との相対距離が変化しない。固定モードの場合、仮想車両７４の表示位置は、規定値、例えば、車両１の前方３ｍに相当する位置に表示されてもよいし、利用者に表示位置を選択させるようにしてもよい。このとき、仮想車両７４は、表示位置の路面７０の凹凸状態に応じた車両姿勢で表示される。したがって、車両１が進路指標ＲＬ，ＲＲにしたがい移動した場合、仮想車両７４も同様に移動するとともに、移動先の路面７０の凹凸状態に応じて車両姿勢が変化することになる。このように、仮想車両７４を固定モードで表示することにより、車両１を低速で移動させながら近い将来の車両１の姿勢を容易に把握させることができる。例えば３ｍ先での車両１の姿勢を利用者に容易に想像させることができて、路面７０の状態に応じた運転操作をより正確に実行させやすくなる。

また、別の表示モードとして、仮想車両７４が車両１から遠ざかるように連続的または間欠的に移動するように表示される走行モードがある。走行モードは、画面８ａの下端に表示される車両１を示す自車画像Ｊから仮想車両７４が分離して走行していくような表示態様で、図７、図８、図９で示すように連続的に前方に移動するモードである。すなわち、車両１が進むと予想される予想進路に沿って仮想車両７４が所定距離を移動する過程を表示装置８に表示させるモードである。走行モードが選択された場合、仮想車両７４は路面７０の凹凸状態にしたがい車両姿勢を変化させながら、例えば１０秒間（または、例えば３０ｍ）前方に移動していく。このような走行モードで仮想車両７４を現在の車両１の位置から徐々に移動していくように表示することにより、車両１が進路指標ＲＬ，ＲＲに沿って移動した場合に、走行中の車両１の傾きがどの程度になるか、揺れがどの程度になるか等を各移動位置において示すことが可能になる。その結果、車両１の移動予測状態を直感的に把握しやすいシミュレーションが可能になる。また、車両１の現在位置を示す自車画像Ｊを表示した状態で、当該自車画像Ｊから離脱するような表示態様の仮想車両７４を表示することにより、仮想車両７４は、車両１の位置を基準として、車両１のこれからの移動状態を予測的に示す架空の車両であることを印象付けやすくなり、画面８ａの表示内容をより把握させやすくなる。なお、仮想車両７４を走行モードで表示する場合、上述したように連続的に表示してもよいし、図７、図８、図９で個別に示すように所定間隔で間欠的に表示してもよい。仮想車両７４を連続的に表示する場合、仮想車両７４の姿勢変化の推移をより詳細に表示することができる。一方、仮想車両７４を間欠的に表示する場合は、仮想車両７４の姿勢変化を連続的に表示するよりは簡易的ではあるが表示しつつ、仮想車両７４の表示のための処理負荷を軽減することができる。

なお、走行モードにおいて、図６で説明した例と同様に、注意喚起をする領域が進路指標ＲＬ上や進路指標ＲＲ上に存在する場合、強調表示（例えば、赤色表示、点滅表示、高輝度表示等）を施してもよい。また、指標処理部５８は、強調表示を施した領域の通過が困難であると判定した場合、その位置で仮想車両７４を停止させるようにしてもよい。例えば、撮像部１５が撮像した撮像画像データ（ステレオ画像データ）やレーザスキャナ２８の検出結果を解析した結果、路面７０の勾配が車両１が越えられる値を超えている場合や接触する障害物等が存在する場合、仮想車両７４を停止させる。また、強調処理部５６は、仮想車両７４が停止した状態で、当該仮想車両７４の強調表示（赤色表示、点滅表示、高輝度表示等）を実行し、注意喚起するようにしてもよい。また、走行不能を示す例として、仮想車両７４の姿勢を過剰に大きく崩すように表示して、さらに利用者の注意を喚起するようにしてもよい。このように、走行モードで仮想車両７４を表示することにより、現在の車両１の位置から遠方位置まで連続的に路面７０の凹凸状態の明確な表示が可能になり、進路指標ＲＬ，ＲＲにしたがう走行の是非判断や、他の経路の選択の是非判断をより早い段階で利用者に行わせることができる。したがって、例えば、走行不能な領域の回避を余裕をもって事前に行わせやすくなる。また、走行不能な領域の回避を早く行わせることができるので、その領域の回避のための経路の選択肢が多い段階で進路指標ＲＬ，ＲＲの再検索を実行できる。なお、走行モードにおける仮想車両７４の移動距離は、固定でもよいし、利用者によって、例えば見通しのきく領域内で適宜設定できるようにしてもよい。

他の実施形態では、指標制御部３８は、仮想車両７４を走行モードで表示する場合、仮想車両７４が予想進路に沿って所定距離移動した後に、現在の車両１の位置（自車画像Ｊの位置）まで戻り、再び予想進路に沿って所定距離移動をするようにしてもよい。例えば、仮想車両７４は、図７〜図９に示すように、自車画像Ｊから遠ざかるように移動表示された後、自車画像Ｊの位置に一旦戻り、再度図７〜図９に示すように、自車画像Ｊから遠ざかるように移動表示される。そして、この動作を複数回繰り返してもよい。このように、車両１の現在の位置（自車画像Ｊの位置）と所定距離だけ離間した位置との間で仮想車両７４の移動を繰り返し実施することで、車両１（自車）がこれから移動する場合の挙動を繰り返し利用者に提示することが可能になる。その結果、仮想車両７４が移動した進路を選択して車両１（自車）を走行させる場合の走行イメージをより明確に把握させることが可能になり走行時の安心感を向上させることができる。

また、他の実施形態では、仮想車両７４は、車両１が停車中のみ表示されるようにしてもよい。仮想車両７４の表示は、停車中に利用者による表示要求を受け付けたときのみ実行されるようにしてもよい。また、仮想車両７４が表示されている状態で車両１が移動を開始した場合、例えば、移動開始と同時または所定速度を越えた場合に仮想車両７４を非表示としてもよい。仮想車両７４の表示を停車中のみまたは所定速度以下のときのみとすることにより、車両１の走行中に提供する情報を制限して、車両１の進行方向の画像の視認性をより向上させることができる。

図１０は、仮想車両７４が例えば図９で示す位置に移動したときに、例えば運転席から見た周辺画像を示す表示例である。仮想車両７４が表示されている場合に、例えば利用者により操作入力部１０や操作部１４ｇを介して、先行視点画像（未来画像）の表示要求がなされた場合、周辺画像処理部６０は、表示装置８に表示する画面８ａを図１０に示す例のように切り替える。図１０の表示例の場合、画面８ａの下端側に仮想車両７４の前端部が半透明の状態で表示され、当該仮想車両７４の運転席に相当する位置から見た周辺画像が表示されている。半透明で仮想車両７４が表示されることにより、表示装置８に先行視点画像（未来画像）が表示中であることを利用者に理解させやすくなる。前述したように、このとき画面８ａに表示される画像は、例えば、車両１から仮想車両７４までの離間距離に応じて、車両１の現在の位置で撮像部１５ｃが取得した撮像画像データに基づく画像を拡大したものとすることができる。画像が拡大されることにより、車両１の位置では遙か遠方に小さく見えていた風景が大きく表示され、遠方に移動した仮想車両７４の位置で見たような風景を表示することができる。また、進路指標ＲＬ，ＲＲも遠方に移動した仮想車両７４の位置を起点としてさらに遠方まで延びているように見せることができる。その結果、仮想車両７４の位置まで移動した後、さらに先の路面７０の凹凸状態を利用者に認識させやすくすることができる。なお、画像の拡大処理を行う場合、画質が低下する場合がある。その場合は、周知の画像補正手法を用いて、適宜補正してもよい。また、先行視点画像（未来画像）は、仮想車両７４がいずれの位置に存在しても表示させることができる。例えば、固定モードで仮想車両７４が表示されている場合に表示要求に応じて先行視点画像（未来画像）を表示してもよい。また、走行モードで仮想車両７４を表示している場合に表示要求がなされた場合、図１０で示す表示状態に切り替えるとともに、先行視点画像（未来画像）を表示したまま、視点をさらに前方に移動する（拡大表示を連続的に行う）ようにしてもよい。つまり、先行した位置で走行しつつ、周囲を見ているような画像を表示してもよい。

上述したような案内指標の表示処理の一例を図１１および図１２のフローチャートを用いて説明する。なお、図１１は、処理の前半部分を説明するフローチャートで、図１２が処理の後半部分を説明するフローチャートである。

まず、ＥＣＵ１４は、案内指標（進路指標ＲＬ，ＲＲや仮想車両７４）に関する情報提供を許可する条件が成立していることを示す信号の有無を検出する（Ｓ１００）。例えば、表示装置８の表示モードとして、ナビゲーション画面表示モードやオーディオ画面表示モードが選択されている場合や、車両１の速度が所定速度以上（例えば２０ｋｍ／ｈ以上）の場合、案内指標の表示要求はされていない、または案内指標の表示が望ましくない走行状態であると判定して、ＥＣＵ１４は、一旦このフローを終了する（Ｓ１００のＮｏ）。なお、情報提供条件は、利用者等によって適宜変更可能とすることができる。

情報提供条件が満たされた場合（Ｓ１００のＹｅｓ）、例えば、利用者が操作入力部１０や操作部１４ｇを操作して案内指標を表示することを要求し、かつ車両１の車速が所定速度未満の場合、周辺情報取得部３０は車両１の進路方向の情報を取得する（Ｓ１０２）。例えば、周辺情報取得部３０は、変速操作部７が「後退」を示す位置以外の場合、撮像部１５ｃにより車両１の前方の周辺領域を撮像範囲とする撮像画像データを取得する。撮像部１５ｃがステレオカメラの場合、同時に撮像範囲の三次元情報も取得する。また、撮像部１５ｃが単眼カメラの場合、周辺情報取得部３０は撮像部１５ｃから車両１の前方の周辺領域を撮像範囲とする撮像画像データを取得するとともに、レーザスキャナ２８から車両１前方の三次元情報を取得する。また、舵角取得部３４は、舵角センサ１９の検出結果から現在の車両１の舵角を取得する（Ｓ１０４）。

続いて、凹凸状態検出部３２は、撮像部１５ｃ(ステレオカメラ)またはレーザスキャナ２８の取得した三次元情報に基づき路面７０の凹凸状態を検出する（Ｓ１０６）。そしてＣＰＵ１４ａは、路面７０の凹凸状態に倣うような表示態様の進路指標ＲＬ，ＲＲを算出する（Ｓ１０８）。具体的には、進路指標取得部５０は、舵角取得部３４の取得した舵角に基づき前輪３Ｆの向いている方向に延びる扁平な基準形状の進路指標を取得する。そして、指標処理部５８は、取得された基準形状の進路指標の形状を凹凸状態検出部３２が検出した路面７０の凹凸状態を示す三次元情報に基づき変化させて、凹凸状態に倣うような進路指標ＲＬ，ＲＲとする。そして、指標処理部５８は、算出された進路指標ＲＬ，ＲＲを撮像部１５ｃが撮像した画像の対応する位置に重畳して表示装置８に表示する（Ｓ１１０）。

また、強調処理部５６は、表示装置８に表示された進路指標ＲＬ，ＲＲに対して、注意を必要とする領域の表示を実行する強調表示の要求を示す信号の有無を検出する（Ｓ１１２）。進路指標ＲＬ，ＲＲに対して、強調表示の要求があった場合（Ｓ１１２のＹｅｓ）、強調処理部５６は、凹凸状態検出部３２の検出した路面７０の凹凸状態に応じて、凹凸の大きさが所定値を越える部分や車両１と干渉する可能性のある障害物が存在する部分等を特定し、対応する進路指標ＲＬ，ＲＲ上の領域７２に図６に示すような強調表示を実行する（Ｓ１１４）。また、強調処理部５６は、強調表示の要求信号が検出できない場合（Ｓ１１２のＮｏ）、Ｓ１１４の処理をスキップする。なお、強調表示が自動的に実行される場合、Ｓ１０８で進路指標ＲＬ，ＲＲの算出を行うときに、強調処理部５６により強調表示処理が行われるようにしてもよい。

続いて、仮想車両取得部５２は、仮想車両７４の表示要求を示す信号の有無を検出する（Ｓ１１６）。仮想車両取得部５２は、仮想車両７４の表示要求があり（Ｓ１１６のＹｅｓ）、走行モードの要求がなされた場合（Ｓ１１８のＹｅｓ）、例えば、図７〜図９に示すような表示を実行するために仮想車両７４の表示データをＥＣＵ１４やＳＳＤ１４ｆから取得する。そして、指標処理部５８および重畳部６２は、車両１の前方へ遠ざかるように移動する表示形態の仮想車両７４の表示処理を実行する（Ｓ１２０）。

周辺画像処理部６０は、走行モードの実行中または、仮想車両７４が遠方の所定位置で停止表示されたとき、または固定モードで仮想車両７４が表示されているときに、先行視点画像（未来画像）の表示要求（画像切替要求）信号が入力されるか否かを検出する（Ｓ１２２）。画像切替要求信号が検出された場合（Ｓ１２２のＹｅｓ）、周辺画像処理部６０は、仮想車両７４の移動位置に対応する視点から見た図１０に示すような先行視点画像（未来画像）を生成して、出力部４２を介して表示装置８に表示させる（Ｓ１２４）。

経路算出部４０は、案内指標（進路指標ＲＬ，ＲＲや仮想車両７４）が表示装置８に表示されている間に、推奨経路の算出（表示）要求信号が入力されるか否かを検出する（Ｓ１２６）。推奨経路の算出（表示）要求信号が検出されない場合（Ｓ１２６のＮｏ）、ＣＰＵ１４ａは、所定期間、案内指標が表示装置８に表示された後、例えば２０秒の間に、舵角取得部３４が取得する舵角が所定角Ｙ以上変更されたか否かを検出する（Ｓ１２８）。舵角が所定角度、例えば舵角が１０°以上変更された場合（Ｓ１２８のＹｅｓ）、ＣＰＵ１４ａは、利用者が現在表示されている案内指標（進路指標ＲＬ，ＲＲ，仮想車両７４）とは異なる方向に向く案内指標の表示を要求していると判定して、Ｓ１００に移行し、再度、案内指標の表示（更新）処理を実行する。

一方、ＣＰＵ１４ａは、所定期間、例えば２０秒の間に、舵角取得部３４が取得する舵角が所定角Ｙ以上変更されない場合（Ｓ１２８のＮｏ）、情報提供解除条件が成立していることを示す信号の有無を検出する（Ｓ１３０）。例えば、表示装置８の表示モードとして、ナビゲーション画面表示モードやオーディオ画面表示モードが選択された場合や、車両１の速度が所定速度以上（例えば２０ｋｍ／ｈ以上）になった場合、案内指標の表示要求が解除、または案内指標の表示が望ましくない走行状態に移行して情報提供解除条件が成立したと判定する（Ｓ１３０のＹｅｓ）。そして、ＥＣＵ１４は、表示装置８の表示を要求されたナビゲーション画面やオーディオ画面、または走行中に表示されていても特に支障のない通常画面を表示して（Ｓ１３２）、このフローを一旦終了する。

また、Ｓ１３０において、ＣＰＵ１４ａが、情報提供解除条件が成立していないと判定した場合（Ｓ１３０のＮｏ）、利用者が案内指標の表示の継続を要求していると判定して、Ｓ１００に移行して、案内指標の表示（更新）処理を実行する。

Ｓ１２６において、経路算出部４０が、操作入力部１０や操作部１４ｇを介して入力された推奨経路の算出（表示）要求信号を検出した場合（Ｓ１２６のＹｅｓ）、凹凸状態検出部３２の検出した路面７０の凹凸状態を参照して、推奨経路を算出し（Ｓ１３４）、出力部４２を介して表示装置８に表示する（Ｓ１３６）。推奨経路は、案内指標の一例であり、例えば車両１が所定角度以上傾くような領域の通過回数が最も少なくなるように算出することができる。この場合、経路算出部４０は、最も条件のよい推奨経路を一種類だけ算出してもよいし、最も条件のよい推奨経路とともに、それに準じる条件を満たす複数の推奨経路を算出して、利用者に選択させるようにしてもよい。指標処理部５８は、推奨経路が算出された場合、進路指標ＲＬ，ＲＲと同様に凹凸状態検出部３２が検出した路面７０の凹凸状態に倣うような表示態様になるように推奨経路を変形する。図１３は、推奨経路ＳＲＬ，ＳＲＲの表示例である。推奨経路ＳＲＬ，ＳＲＲを表示する場合も、画面８ａに車両１の一部（先端部）を示す自車画像Ｊを映り込ませることにより車両１と前方領域の物体（例えば、岩）との距離感の把握がより容易になり、車両１と路面７０の凹凸との関係や推奨経路ＳＲＬ，ＳＲＲの向かう方向をより把握させやすくなる。図１３は、推奨経路ＳＲＬ，ＳＲＲのみを表示する例を示しているが、進路指標ＲＬ，進路指標ＲＲと併せて表示してもよい。推奨経路ＳＲＬ，ＳＲＲのみを表示する場合、推奨経路ＳＲＬ，ＳＲＲの認識度、注目度を高めることができる。一方、進路指標ＲＬ，ＲＲと推奨経路ＳＲＬ，ＳＲＲとを同時に表示する場合は、進路指標ＲＬ，ＲＲと推奨経路ＳＲＬ，ＳＲＲとの比較が容易になり、推奨経路ＳＲＬ，ＳＲＲを選択すべきか否かの判断をより容易に利用者に行わせやすくなる。進路指標ＲＬ，ＲＲと推奨経路ＳＲＬ，ＳＲＲとを同時に表示する場合は、両者の識別性を高めるために、進路指標ＲＬ，ＲＲは例えば赤色表示、推奨経路ＳＲＬ，ＳＲＲは例えば青色表示にするなど異なる表示態様で表示することが望ましい。また、進路指標ＲＬ，ＲＲの表示透過度を高くして目立たなくし、推奨経路ＳＲＬ，ＳＲＲの表示透過度を低くして目立つようにして、両者の識別が容易になるようにしてもよい。

ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇを介して、提示された推奨経路ＳＲＬ，ＳＲＲを採用する旨を示す信号を取得した場合（Ｓ１３８のＹｅｓ）、案内処理部６４により、選択された推奨経路ＳＲＬ，ＳＲＲを用いた経路案内処理を実行する（Ｓ１４０）。例えば、操舵部４の操作案内等を行う。なお、推奨経路ＳＲＬ，ＳＲＲの案内が開始されるときに進路指標ＲＬ，ＲＲが表示されていた場合は、進路指標ＲＬ，ＲＲを非表示とすることが望ましい。推奨経路ＳＲＬ，ＳＲＲに基づく経路案内が終了した場合（Ｓ１４２のＹｅｓ）、ＥＣＵ１４は、Ｓ１３２の処理に移行して、このフローを一旦終了する。また、経路案内が終了していない場合（Ｓ１４２のＮｏ）、Ｓ１４０に戻り、推奨経路案内処理を継続する。また、Ｓ１３８において、提示した推奨経路ＳＲＬ，ＳＲＲが利用者によって採用されなかった場合（Ｓ１３８のＮｏ）、Ｓ１２８に移行して、それ以降の処理を継続する。また、Ｓ１２２において、画像切替要求信号が検出されない場合（Ｓ１２２のＮｏ）、Ｓ１２８に移行して、それ以降の処理を継続する。

また、Ｓ１１８において、仮想車両７４の表示モードとして、走行モードが選択されなかった場合（Ｓ１１８のＮｏ）、固定モードの表示処理を実行する（Ｓ１４４）。この場合、指標処理部５８および重畳部６２は、仮想車両７４を車両１の前方の所定距離（例えば、３ｍ先）に相当する位置に固定して表示して、Ｓ１２８に移行して、以降の処理を実行する。

Ｓ１１６において、指標取得部３６は、操作入力部１０または操作部１４ｇを介して利用者からの仮想車両７４の表示要求を示す信号が取得できない場合（Ｓ１１６のＮｏ）、Ｓ１２８に移行して、以降の処理を実行する。

このように、本実施形態の周辺監視システム１００は、路面７０の凹凸状態に倣うような表示態様の案内指標を表示装置８に表示することにより、車両１がこれから走行する路面７０の状態がより把握しやすくなり、より走行しやすい経路を容易に選択させ、効率的な走行を実現させることができる。また、本実施形態の周辺監視システム１００によれば、険しい経路（悪路）を意図的に選択して、不整地路（オフロード）の走行を楽しませるという走行形態も提供することができる。また、その際にも路面７０の凹凸状態に応じた経路を適宜選択させることができるので、オフロード走行の楽しさを向上させることができる。このとき、選択した経路（悪路）に沿って移動する仮想車両７４を表示して、悪路シミュレーションを行うようにしてもよい。このとき、路面７０の凹凸状態によっては、例えば、仮想車両７４が転倒するような失敗シミュレーションを提供するようにしてもよい。

図１４は、仮想車両７４の走行モードにおける他の表示例を説明する図である。図１４の場合、自車画像Ｊおよび仮想車両７４が俯瞰画像（３Ｄ画像）で表示され、自車画像Ｊから仮想車両７４が分離していくように表示される例である。俯瞰画像で表示される場合、自車画像Ｊのデータは、ＲＯＭ１４ｂやＳＳＤ１４ｆから取得することができる。そして、仮想車両７４を走行モードで表示する場合、自車画像Ｊから遠ざかるのにしたがい、仮想車両７４は、仮想車両７４ｍ１、仮想車両７４ｍ２、仮想車両７４ｍ３で示すように、徐々に透過度を高めてもよい。そして、最終的には仮想車両７４の透過度を１００％として消失するようにしてもよい。このように透過度を変化させることにより、自車画像Ｊと仮想車両７４との区別を容易にできるようにするとともに、移動している車両（仮想車両７４）が仮想的な車両であり、移動状態を表示されていることを認識させやすくしている。なお、自車画像Ｊと仮想車両７４とは、表示色を異ならせて容易に識別できるようにしてもよい。例えば、自車画像Ｊは、車両１の車体色に対応して例えば、青色とし、仮想車両７４は薄青色としてもよい。また、仮想車両７４は、自車画像Ｊと異なる色としてもよく、利用者が選択できるようにしてもよい。仮想車両７４は、移動に伴いその表示色を順次変更（例えば、徐々に薄く変更）して、遠方に移動していくことを表現してもよい。なお、仮想車両７４は、外形（車両フレーム）のみを線図で表現することにより、仮想的な車両であることを認識させやすくすることができる。また、線図で表現することで、仮想車両７４の周辺領域を隠してしまうことなく、路面状態や障害物の有無等を利用者に認識させやすくすることができる。

図１４の場合、説明のために、仮想車両７４ｍ１、仮想車両７４ｍ２、仮想車両７４ｍ３を図示しているが、走行モードの場合は、一つのの仮想車両７４が連続的または間欠的に表示されることになる。また、固定モードの場合は、図示される仮想車両７４ｍ１、仮想車両７４ｍ２、仮想車両７４ｍ３のいずれかの位置で自車画像Ｊからの距離に対応した透過度で表示される。この場合、固定表示される仮想車両７４は、一つでも複数でもよい。走行モードで、仮想車両７４が表示される場合、指標処理部５８は、仮想車両７４の前輪７４ａおよび後輪７４ｂが回転しているようなアニメーション表示を行い、仮想車両７４が走行表示されていることを認識しやすいようにしてもよい。なお、固定モードの場合は、仮想車両７４の前輪７４ａおよび後輪７４ｂは非回転とされ、この点においても走行モードと固定モードを識別できるようにしている。

また、強調処理部５６は、仮想車両７４の移動経路上に、利用者に注意させるべき領域が存在する場合、例えば、路面７０の凹凸の大きさが所定値を越えて、通過には十分な注意が必要な場合、その位置に対応する例えば仮想車両７４ｍ２に対して強調表示（例えば、赤色表示、点滅表示、高輝度表示等）を実行する。このような強調表示を行うことにより、通過に注意を払うべき位置を利用者に客観的に認識させやすく、車両１の操縦負担の低減に寄与できる。なお、強調表示された仮想車両７４は、その位置で停止するようにしてもよい。この場合、注意喚起すべき位置の認識性を向上させることができる。また別の例では、強調表示された位置で、仮想車両７４を二つに分離して、一方は停止表示させ、他方は移動を継続させてもよい。このような表示を行うことにより、注意喚起すべき位置の認識性を向上させることができるとともに、その先の状況を引き続き観察可能として、利用者に進路選択の是非判断を行わせやすくすることができる。また、注意すべき領域で表示されている仮想車両７４に強調表示を施すことにより、自車画像Ｊとの区別が容易になるという効果もある。

また、図１４において、仮想車両７４ｍ３の表示位置では、側方ドアの近くに大きな岩７０ａが存在する例が示されている。つまり、車両１が仮想車両７４ｍ３の位置で停止した場合、ドアを開けることが困難になる。例えば、撮像部１５が撮像した撮像画像データ（ステレオ画像データ）やレーザスキャナ２８の検出結果の解析に基づいて、ドアの開放を困難にする障害物を検出した場合、強調処理部５６は、図１４に示すように、開放が困難なドア７４ｐを強調表示してもよい。強調処理部５６は、例えば、赤色表示や点滅表示、高輝度表示等を実行する。また、仮想車両７４が、例えば岩７０ａと接触するような場合には、仮想車両７４ｍ３をその位置（接触直前の位置）で停止させて、仮想車両７４ｍ３全体を強調表示してもよい。このような表示を行うことにより、運転者は事前に移動方向を変更する等の対応を取りやすくなる。このようなドア開放が困難になる場合の報知や接触の可能性がある場合の報知は、例えば、車両１が駐車スペースに後退走行する場合にも利用可能であり、車両１の良好な駐車を実現するための支援をすることができる。また、指標処理部５８は、車側のドアやリアハッチのドア２ｈが開放された状態の仮想車両７４を表示してもよい。この場合、開放したときにドアが周囲の障害物（壁や他車等）と接触せず、また十分な利用スペースを確保できるか否かを事前に利用者に通知可能となり、車両１の良好な停止位置について事前に検討させることができる。

また、指標処理部５８は、図１４のような俯瞰表示を行う場合（図１４のように、車両の斜め後ろ上方から当該車両を見下ろしたときの三次元的な俯瞰画像にて俯瞰表示を行う場合）も、仮想車両７４を任意の位置で停止することができる。例えば、利用者が操作入力部１０や操作部１４ｇを用いて、仮想車両７４の停止を希望した場合に停止処理を実行できる。このような表示を可能にすることで、その位置での仮想車両７４の傾きや、岩の乗り上げ状態等を詳細に観察可能となり、進路の選択等の検討を事前に利用者に行わせやすくなる。また、固定モードにおいて、指標処理部５８は、操作入力部１０や操作部１４ｇを介して指定された移動量だけ、仮想車両７４を移動させることが可能である。操作入力部１０や操作部１４ｇの操作の仕方により、例えば、０．１ｍずつ移動させたり、０．５ｍずつ移動させたりすることが可能で、各移動位置における仮想車両７４の姿勢等の詳細観察が可能になり、利用者において、進路の選択等の検討が事前に行い易くなる。なお、仮想車両７４は、図１４のように車両の斜め後ろ上方から当該車両を見下ろしたような三次元的な俯瞰画像を表示する場合でも、図７〜図９で説明したように、路面７０の状態（凹凸や勾配等）に倣うような車両姿勢で表示されてもよい。例えば、走行モードの場合、指標処理部５８は、仮想車両７４を路面７０の形状にしたがい車両姿勢を変化させながら（揺れながら）走行するように表示する。また、固定モードの場合、指標処理部５８は、仮想車両７４が固定表示される路面７０の形状にしたがう車両姿勢で表示する。

また、図１４において、自車画像Ｊや仮想車両７４を表示する場合、車両の状態を示す情報を併せて表示してもよい。例えば、車両１の各タイヤの空気圧の状態を自車画像Ｊや仮想車両７４に表示してもよい。具体的には、空気圧が所定値以下となっているタイヤに対応する自車画像Ｊや仮想車両７４のタイヤの表示色を所定の表示色（例えば、黄色等）で表示して、空気圧が所定値以下であることを運転者に通知するようにしてもよい。この場合、表示色は、上述したように仮想車両７４が物体（例えば岩７０ａ等）と接触するような場合の表示色（警報色）、例えば赤色と異なる報知色（例えば、黄色）として、報知内容を容易に識別できるようにすることが望ましい。また、自車画像Ｊや仮想車両７４のタイヤの形状を空気圧が低下しているときの形状で表示してもよい。また、この空気圧低下時のタイヤ形状の表示と報知色での表示を併せて行ってもよい。このように、自車画像Ｊや仮想車両７４を用いて，車両の状態（例えば、タイヤの空気圧の低下状態）を表示することで、その車両の状態変化を利用者（運転者）に容易に認識させるとことができる。なお、車両に状態として、例えば、ブレーキパッドの摩耗状態や、ライトバルブの状態等を表示してもよい。

なお、図１４の場合、車両１（自車）の位置を示す自車画像Ｊを表示して、当該自車画像Ｊから仮想車両７４が分離して走行するような表示態様で表示する例を示している。他の実施形態では、車両１（自車）の位置を示す自車画像Ｊを表示した後、仮想車両７４の表示を開始するときに、自車画像Ｊを仮想車両７４に置き換え、仮想車両７４を車両１が進むと予想される方向に移動表示するようにしてもよい。また、他の実施形態では、車両１（自車）の位置を示す自車画像Ｊを表示した後、仮想車両７４の表示を開始すると同時、または仮想車両７４の移動開始から僅かに遅れて自車画像Ｊを非表示として、仮想車両７４のみを移動表示するようにしてもよい。このように、仮想車両７４を表示する際に、自車画像Ｊを非表示とすることで、画面８ａ上に複数の車両画像が表示されることを回避して、画面８ａの表示内容を認識させやすくすることができる。つまり、図１４のような自車画像Ｊと仮想車両７４の同時表示を行う場合は、車両１と仮想車両７４との関係を把握しやすい表示となる。一方、別の実施形態の表示態様のように、仮想車両７４のみを表示するシンプルな表示の場合は、仮想車両７４の挙動や移動位置での姿勢、周囲との関係等に注目しやすい表示となる。これらの表示態様の切り替えは、利用者による操作入力部１０等の操作によって選択できるようにされてもよいし、規定モードとして設定されていてもよい。

図１５〜図１７は、仮想車両７４を固定モードで表示する場合の他の実施形態を説明する図である。図７〜図９で表示例を示した仮想車両７４は、主として仮想車両７４の後ろ姿が表示され、車両１から前方に離間した位置で走行しているような表示態様で示された。このような表示態様の仮想車両７４の車両姿勢を再現する場合、一例として、仮想車両７４の各車輪（４輪）が路面７０と接触すると推定される位置の路面７０の三次元情報を用いて、仮想車両７４の車両姿勢を算出した。一方、図１５〜図１７で説明する仮想車両７４は、車両１より先行する位置に表示されるが、図１５に模式的に示されるように、仮想車両７４の位置は、車両１の進行方向の前側の車輪（前輪３Ｆ）に対応する位置まで仮想車両７４の車両１に近い側の車輪（後輪７４ｂ）の位置が進んだ状態で表示される。つまり、車両１の前輪３Ｆと仮想車両７４の後輪７４ｂとが実質的に重なったような表示形態で仮想車両７４が表示される。この場合、仮想車両７４の後輪７４ｂの状態は、車両１の前輪３Ｆの状態と同等と見なすことができる。つまり、仮想車両７４の後輪７４ｂの位置を示すための情報は、車両１の前輪３Ｆの実際の状態を示す情報を用いることができる。したがって、仮想車両７４の車両姿勢を定める場合、仮想車両７４の左右の前輪７４ａが路面７０と接触する場合の三次元情報を取得すればよくなる。その結果、図７〜図９で示す仮想車両７４のように、全ての車輪の表示位置に関する演算を行う場合に比べて、仮想車両７４を表示するための演算負荷が軽減できる。

図１６は、図１５で説明したような車両１との位置関係で仮想車両７４が存在する場合に、表示装置８に表示される画面８ａの一例である。この場合、仮想車両７４の表示透過度が高く設定され半透明の状態で表示されて、路面７０の凹凸状態および進路指標ＲＬ，ＲＲ等が認識しやすいように表示される。また、仮想車両７４は、車両１（自車画像Ｊ）の直前に存在するため、仮想車両７４は、進行方向の前側の車輪（前輪７４ａ）含む部分的な表示（部分仮想車両）の態様で表示される。図１６の例の場合、前輪７４ａと後輪７４ｂの一部および仮想車両７４の骨格の一部が表示されている。なお、図１６の場合、画面８ａ上で、車両１の位置を示す自車画像Ｊは、前輪３Ｆに相当する前輪７６を表示できるように、図５等で示す例より表示範囲が大きく確保されている。また、図１６の場合、説明のため、仮想車両７４の後輪７４ｂと自車画像Ｊの前輪７６とはずれた状態で示しているが、よりズレ量の少ない状態、または完全に重なった状態で表示されてもよい。このように、車両１の前輪（自車画像Ｊの前輪７６）と仮想車両７４の後輪７４ｂを重ねて表示することにより、ＣＰＵ１４ａの処理負荷が軽減できるとともに、仮想車両７４が車両１（自車画像Ｊ）の直前に位置するため、車両１が前進するのに連れて当該車両１の姿勢が今後どのように変化していくかを容易に利用者に把握させることができる。

図１７は、図１６の画面８ａに、路面７０が平坦の場合にその平坦状態を示す基準指標７８を、案内指標としての進路指標ＲＬ，ＲＲや仮想車両７４とともに重畳した例である。基準指標取得部５４は、操作入力部１０や操作部１４ｇを介して利用者から表示要求があった場合に、ＲＯＭ１４ｂやＳＳＤ１４ｆから基準指標７８を取得する。そして、基準指標７８が重畳部６２により路面７０を示す画像に重畳される。このように、進路指標ＲＬ，ＲＲや仮想車両７４と基準指標７８とを同時に表示して、比較させやすい態様で表示することで、案内指標（進路指標ＲＬ，ＲＲや仮想車両７４）の状態、例えば、凹凸状態や傾き状態等をより把握させやすくなり、路面７０の凹凸状態をより容易に、直感的に把握させやすくすることができる。なお、基準指標７８は、図５、図６で示すような路面７０に進路指標ＲＬ，ＲＲのみを表示する場合や、図７〜図９で示すような仮想車両７４を車両１から離間させた状態で表示する場合に表示してもよく、同様の効果を得ることができる。なお、図１６、図１７に示す固定モードの表示例においても、図１４に示す走行モードの表示例と同様に、強調処理部５６は、周囲の状況に応じて強調表示を実行してもよい。また、指標処理部５８は、仮想車両７４の表示態様を変化させてもよい。いずれの場合も図１４で示した走行モードの場合と同様な効果を得ることができる。

図１８、図１９は、図６で説明した、強調表示の他の実施形態の表示例を説明する図である。図６の強調表示は、進路指標ＲＬ，ＲＲにおいて、特に注意を必要とする部分に強調表示を施した表示例である。一方、図１８の例は、車両１の前方の領域に特に注意を必要とする領域８０が存在する場合、その領域８０全体に強調表示を施している。強調処理部５６は、凹凸状態検出部３２が検出した路面７０の凹凸状態に基づき、車両１の存在する位置に対して所定の閾値以上の高さまたは勾配が存在する領域８０が抽出された場合、その領域に強調処理を施す。強調表示としては、例えば、強調すべき領域の表示色を路面７０の色彩と異なるような表示色で表示したり、その領域８０を点滅表示したり、その領域８０の輝度を変化させたりする。図１８において、領域８０は、例えば車両１の底面を擦ってしまうような高さの突起部分である。このように車両１の通過が望ましくない領域が明示されるので、操舵部４を操作して、より走行しやすい他の方向を向く進路指標ＲＬ，ＲＲを探索する場合の効率を向上することができる。

図１９は、図１８の変形例である。強調処理部５６が領域８０の強調処理を施した場合、指標処理部５８は、進路指標ＲＬ，ＲＲが領域８０を越えて前方に延びるように設定される場合、その部分を非表示とする。このように、進路指標ＲＬ，ＲＲを途中で非表示とすることにより、強調表示された領域８０より先の走行を避けることが望ましいというメッセージを明確に使用者に提示することができる。なお、この場合、領域８０より先の進路指標ＲＬ，ＲＲを完全に非表示とするのではなく、表示態様を変えることで識別できるようにしてもよい。例えば、領域８０より先の進路指標ＲＬ，ＲＲを赤色で点滅表示したり、表示透過度をさらに高くしたりして目立たなくしてもよく、同様の効果を得ることができる。

図２０は、経路算出部４０により推奨経路の算出する場合の応用例を説明する模式図である。なお、図１３に示した例の場合、推奨経路ＳＲＬ，ＳＲＲを進路指標ＲＬ，ＲＲと同様の表示態様で左右の前輪３Ｆごとに示したが、図２０の場合は、車両１の向かう方向として一本の推奨経路８２で示している。経路算出部４０が推奨経路８２を算出する場合、経路算出部４０は、車両１が所定角度以上傾くような場所（上下動作が所定値以上大きくなるような場所）の通過回数が最も少なくなるように推奨経路８２を算出する。また、別の例では、経路算出部４０は、例えば車両１を基準として車両前後方向と平行な複数の仮想直進線８４を車両１の前方方向に設定する。そして、経路算出部４０は、凹凸状態検出部３２が検出した路面７０の凹凸状態を参照して、仮想直進線８４上で、車両１が所定角度以上傾く（上下動作が所定値以上大きくなる）凹凸位置８６を抽出する。次に、経路算出部４０は、凹凸位置８６が存在する位置で仮想直進線８４を一旦分割する。続いて、経路算出部４０は、舵角をできるだけ変化させないで済むように、分割した仮想直進線８４を繋ぎ直す。このような処理を行うことで、車両１が所定角度以上傾くような場所（上下動作が所定値以上大きくなるような場所）を避けた推奨経路８２を容易に算出することができる。このような推奨経路８２で走行させることにより、車両１の揺れ軽減が可能で、車酔いが軽減できたり、車両１に対するダメージを軽減できたりするという利点がある。

ところで、上述のように推奨経路８２の算出を行う場合、路面７０の凹凸状態によっては、例えば車両１の前方右側に通過を回避することが望ましい凹凸位置８６が集中している場合があり、経路算出部４０が例えば左方向に向く進路ばかりを選択してしまう場合がある。この場合、利用者が向かおうとしている方向から大きく逸れた方向に向く推奨経路８２を算出してしまうことがある。そこで、経路算出部４０は、推奨経路８２を算出する場合に、車両１の位置を基準として、推奨経路８２の検索可能範囲を設定できるようにしてもよい。例えば、図２０に示すように、車両１を基準にして、車幅方向の左右１５ｍの位置に限界線ＧＬ，ＧＲを設定する。つまり、推奨経路８２は、検索幅Ｌ（例えば３０ｍ）の範囲以内で設定されることになる。この場合、限界線ＧＬ，ＧＲを設定しない場合に比べて、車両１が所定角度以上傾くような領域（上下動作が所定値以上大きくなるような領域）の通過回数が増加する可能性があるが、利用者が望む方向に概ね進むような推奨経路８２が提示されやすくなり、より実用性の高い推奨経路８２の提示ができる。なお、ＥＣＵ１４は、推奨経路８２が確定した後、推奨経路８２にしたがい車両１を自動走行させてもよい。

なお、図２０の場合、車両１の前後方向と同じ方向に延び、車両１から車幅方向への距離が同じとなるような限界線ＧＬ，ＧＲを設定する例を示した。限界線ＧＬ，ＧＲの設定は、このように固定値でもよいし、操作入力部１０や操作部１４ｇを介して適宜設定変更できるようにしてもよい。例えば、車両１の左方向は１０ｍ、右方向は２０ｍのように、左右不均等としてもよい。また、限界線ＧＬ，ＧＲの設定方向を変更できるようにしてもよい。例えば、車両１の正面を基準に右方向に３０°傾いた方向に限界線ＧＬ，ＧＲが向くようにしてもよい。また、限界線ＧＬは、車両１を基準に正面方向を向き、限界線ＧＲは、車両１の正面を基準に右方向に３０°傾く方向に設定できるようにしてもよい。また、限界線ＧＬと限界線ＧＲとのいずれか一方のみを設定できるようにしてもよい。

図２１には、表示装置８において、他の付加情報が含まれる表示例が示されている。上述した各表示例では、画面８ａが車両１の前方領域（一領域のみ）の情報を示している。一方、図２１に示す変形例の場合、表示装置８は、表示領域を複数に分割して種々の方向の画像や車両１の姿勢を示す傾斜計８８等を表示している。例えば、表示装置８の表示領域の中央上部に前方表示領域ＦＶが配置され、その左斜め下に左側表示領域ＳＶＬ、前方表示領域ＦＶの右斜め下に右側表示領域ＳＶＲが配置されている。また、前方表示領域ＦＶの下方に、傾斜計８８を表示する姿勢表示領域ＰＶが配置されている。前方表示領域ＦＶには、図５〜図１０、図１３、図１６〜図１９等で示した画面８ａが表示可能である。また、前方表示領域ＦＶには、進路指標ＲＬ，ＲＲに加え、車体２の前方側の端部２ｃからの距離の目安を示す前方参考線Ｑａ、車体２の側方の端部２ｄ，２ｆからの距離の目安を示す側方参考線Ｐａ等が重畳表示されることができる。また、左側表示領域ＳＶＬ、右側表示領域ＳＶＲにも前方参考線Ｑａ、側方参考線Ｐａが重畳されてもよい。また、左側表示領域ＳＶＬには、撮像部１５ｄで取得した撮像画像データに基づく車両１の左側方画像（例えば、左側方見下ろし画像）が表示され、右側表示領域ＳＶＲには、撮像部１５ｂで取得した撮像画像データに基づく車両１の右側方画像（例えば、右側方見下ろし画像）が表示される。左側方画像および右側方画像には、車両１の側方の路面７０とそれぞれの車輪３の一部を映り込ませることができる。

このような表示により、車両１の周囲の路面７０の状態はより理解しやすくなる。また、前方表示領域ＦＶと左側表示領域ＳＶＬおよび右側表示領域ＳＶＲとの対応関係がより理解しやすいように表示される。なお、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲの側方参考線Ｐａには、前輪３Ｆの接地位置を示す接地線Ｐａｂが付され、前輪３Ｆの位置が容易に理解できるようになっている。また、図２１では、側方参考線Ｐａや前方参考線Ｑａは、固定線として直線またはレンズの湾曲特性に対応した湾曲形状で表示された例を示しているが、側方参考線Ｐａや前方参考線Ｑａも進路指標ＲＬ，ＲＲと同様に路面７０の凹凸状態に倣うような表示態様で表示してもよい。この場合、側方参考線Ｐａや前方参考線Ｑａの形状からも路面７０の凹凸形状を把握しやすくなる。

なお、傾斜計８８は、加速度センサ２６（２６ａ、２６ｂ）からの信号に基づき、車両１の左右方向の傾き（ロール角）や前後方向の傾き（ピッチ角）をシンボル９０の姿勢で表示する。シンボル９０の姿勢と路面７０の凹凸状態に倣うような表示態様の案内指標とを同一画面に表示することにより、車両１の周囲の路面７０の状況をより把握させやすくすることができる。なお、前方表示領域ＦＶに、図１４に示すような俯瞰画像を表示してもよく、上述した例と同様の効果を得ることができる。

図２１に示す表示装置８の表示領域のレイアウトは一例であり、種々のレイアウトが採用できる。例えば、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲの上下方向のサイズを拡大して、前方表示領域ＦＶの側方まで延ばしてもよい。このように、前方表示領域ＦＶを囲むように左側表示領域ＳＶＬおよび右側表示領域ＳＶＲを配置することにより、運転席を中心とする車両１の周囲の状況がより把握しやすい状態で表示装置８に表示できる。

なお、上述した実施形態の場合、進路指標ＲＬ，ＲＲ等は、舵角センサ１９により検出された舵角に応じて表示が更新されるので、路面７０の凹凸状態を広範囲に亘り、また利用者の希望する方向の凹凸状況を把握しやすいように表示することができる。このとき、舵角センサ１９の検出結果が異常となった場合、進路指標ＲＬ，ＲＲの表示をデフォルト表示するようにしてもよい。例えば、車両１の真正面方向に向く進路指標ＲＬ，ＲＲを固定表示してもよい。この場合、少なくとも車両１の正面の路面７０の凹凸形状は把握しやすくできるという利点がある。

また、撮像部１５ｃをステレオカメラで構成している場合、二つ設けられたカメラのうち片方のカメラに不都合が生じた場合、三次元情報を取得できなくなる。この場合、周辺情報取得部３０は、撮像部１５ｃを周辺画像取得専用とし、少なくとも車両１の周辺画像を提供できるように切り替えてもよい。

上述した実施形態では、仮想車両７４の表示要求を受け付けた場合、路面７０の凹凸状態に倣うような表示態様で仮想車両７４が表示される例を示したが、路面７０の凹凸状態に応じて、仮想車両７４の表示態様を変えてもよい。例えば、指標処理部５８は、車両１の進行方向の路面７０の凹凸状態（車両１の存在する位置を基準とする高さや勾配）が所定の閾値以上であった場合、路面７０の凹凸状態に倣うような表示態様の案内指標を画面８ａに重畳させて表示装置８に表示させてもよい。つまり、路面７０の凹凸状態が所定の閾値未満の場合、仮想車両７４は例えばデフォルト状態の姿勢（平坦路上に存在する時の姿勢）で表示される。このような表示を行うことにより、仮想車両７４を表示するための処理が簡略化され処理負荷が軽減できる。

また、上述した実施形態では、仮想車両７４を走行モードで表示するとき、当該仮想車両７４は、連続的に移動するように表示する例を示した。別の実施形態では、走行モードの実行中（予想進路に沿って仮想車両が移動中）に、利用者の指示（操作入力部１０や操作部１４ｇを介した指示）により、仮想車両７４を所定の位置（予想進路上の任意の位置）で停止するようにしてもよい。また、走行モードの実行中に予め設定した位置で仮想車両７４を停止するようにしてもよい。このように、走行モードの動作と固定モードの動作を組み合わせることにより、仮想車両７４が移動することによる車両姿勢の変化の推移が確認しやすくなる。また、仮想車両７４が停止することにより停止位置における仮想車両７４の状態を十分（詳細）に確認させることが可能になる。このとき、利用者は、操舵部４を操作することにより、仮想車両７４の移動経路を変更することで、仮想車両７４が停止したときの姿勢を変化させることができる。例えば、車両１を所望の位置に所望の姿勢で移動させたい場合（例えば駐車させたい場合）がある。この場合に、走行モードの実行中に仮想車両７４をその所望の位置で停止させたり、車両１の現在の位置を基準に所望の位置で停止するように走行モードの実行前に移動距離等を設定したりする。そして、仮想車両７４を所望の位置で停止させることにより、停止時の仮想車両７４の姿勢を容易に把握することができる。利用者は操舵部４を微調整して、仮想車両７４が所望の姿勢になるように、前輪３Ｆの向きを選択することにより、容易に車両１を所望の位置に所望の姿勢で移動（例えば駐車）させることができる。

なお、上述した実施形態では、主として、車両１が前進する場合を示したが、車両１が後退する場合にも本実施形態は適用可能で、同様の効果を得ることができる。例えば、車両１を駐車スペースに後退しながら移動させる場合でも、路面の凹凸状態を把握させやすくしたり、駐車スペースに所望の姿勢（例えば、駐車スペースに平行な姿勢）で移動する仮想車両７４を表示させたりして、適切な操舵部４の操作を行わせやすくすることができる。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、３…車輪、３Ｆ…前輪、４…操舵部、８…表示装置、８ａ…画面、１０…操作入力部、１１…モニタ装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１５…撮像部、１９…舵角センサ、２６…加速度センサ、３０…周辺情報取得部、３２…凹凸状態検出部（検出部）、３４…舵角取得部、３６…指標取得部（取得部）、３８…指標制御部（制御部）、４０…経路算出部、４２…出力部、５０…進路指標取得部、５２…仮想車両取得部、５４…基準指標取得部、５６…強調処理部、５８…指標処理部、６０…周辺画像処理部、６２…重畳部、６４…案内処理部、７０…路面、７４…仮想車両、７８…基準指標、１００…周辺監視システム、ＲＬ，ＲＲ…進路指標。

Claims (17)

1. 車両の進行方向の路面の凹凸状態を検出する検出部と、
   前記車両の進行方向を含む周辺領域を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、前記路面の凹凸状態に倣うような表示態様の前記車両の進行方向における案内指標を取得する取得部と、
   前記凹凸状態に倣うような表示態様の前記案内指標を前記画像に重畳させて表示装置に表示させる制御部と、
   を備え、
   前記取得部は、前記案内指標として、前記車両の進行方向の領域に重畳する、前記路面の凹凸状態に応じて車両姿勢を変化させる仮想車両を取得する、周辺監視装置。
2. 前記制御部は、前記画像の前記案内指標を重畳する領域に、凹凸強調処理を施す、請求項１に記載の周辺監視装置。
3. 前記制御部は、所定閾値以上の前記路面の前記凹凸状態を示す領域に強調処理を施す、請求項１または請求項２に記載の周辺監視装置。
4. 前記取得部は、前記仮想車両として、前記車両の進行方向の前側の車輪に対応する位置まで前記仮想車両の前記車両に近い側の車輪の位置が進んだときの、前記車両の進行方向の前側の車輪から遠い側の車輪を含む部分仮想車両を取得する、請求項１から請求項３のいずれか１項に記載の周辺監視装置。
5. 前記制御部は、前記車両の進行方向へ所定距離先行した位置に前記仮想車両が存在するときの、前記仮想車両の位置を視点とする周辺画像を前記表示装置に表示させる、請求項１から請求項４のいずれか１項に記載の周辺監視装置。
6. 前記制御部は、路面の凹凸状態に倣うような表示態様で前記案内指標を表示する場合に、前記案内指標とともに前記路面が平坦の場合にその平坦状態を示す基準指標を表示する、請求項１から請求項５のいずれか１項に記載の周辺監視装置。
7. 車両の進行方向を含む周辺領域を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、前記車両の進行方向における案内指標を取得する取得部と、
   前記案内指標を前記画像に重畳させて表示装置に表示させる制御部と、
   を備え、
   前記制御部が、前記案内指標として前記車両に対応する仮想車両を表示装置に重畳させて表示させる場合、前記取得部は、前記仮想車両として、前記車両の進行方向の前側の車輪に対応する位置まで前記仮想車両の前記車両に近い側の車輪の位置が進んだときの、前記車両の進行方向の前側の車輪から遠い側の車輪を含む部分仮想車両を取得する、周辺監視装置。
8. 車両の進行方向を含む周辺領域を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、前記車両の進行方向における案内指標を取得する取得部と、
   前記案内指標を前記画像に重畳させて表示装置に表示させる制御部と、
   を備え、
   前記制御部が、前記案内指標として前記車両に対応する仮想車両を表示装置に重畳させて表示させる場合、前記車両の進行方向へ所定距離先行した位置に前記仮想車両が存在するときの、前記仮想車両の位置を視点とする周辺画像を前記表示装置に表示させる、周辺監視装置。
9. 前記取得部は、前記案内指標として、前記仮想車両に加え、前記車両の舵角に基づく車輪の進行推定方向を示す進路指標を取得する、請求項１から請求項８のいずれか１項に記載の周辺監視装置。
10. 前記制御部は、前記車両が進むと予想される予想進路に沿って前記仮想車両が所定距離を移動する過程を前記表示装置に表示させる請求項７から請求項９のいずれか１項に記載の周辺監視装置。
11. 前記制御部は、前記車両が進むと予想される方向に走行していくような表示態様で前記仮想車両を前記表示装置に表示する、請求項７から請求項１０のいずれか１項に記載の周辺監視装置。
12. 前記制御部は、前記車両の現在位置を示す自車画像を前記表示装置に表示するとともに、前記自車画像から分離して走行していくような表示態様で前記仮想車両を前記表示装置に表示する、請求項７から請求項１１のいずれか１項に記載の周辺監視装置。
13. 前記制御部は、所定の停止条件が満たされた場合に、その位置で前記仮想車両の移動を停止する、請求項１０から請求項１２のいずれか１項に記載の周辺監視装置。
14. 前記制御部は、停止操作入力信号を受け付けた場合に、前記所定の停止条件が満たされたとする、請求項１３に記載の周辺監視装置。
15. 前記制御部は、前記仮想車両の走行方向に存在する前記車両と接触する物体に関する情報に基づいて、前記所定の停止条件が満たされたか否かを判定する、請求項１３に記載の周辺監視装置。
16. さらに、前記車両の進行方向の路面の凹凸状態を検出する検出部を備え、
    前記制御部は、前記仮想車両を前記路面の凹凸状態に応じた姿勢で前記表示装置に表示させる、請求項１０から請求項１５のいずれか１項に記載の周辺監視装置。
17. 前記制御部は、路面の凹凸状態に倣うような表示態様で前記案内指標を表示する場合に、前記案内指標とともに前記路面が平坦の場合にその平坦状態を示す基準指標を表示する、請求項１６に記載の周辺監視装置。

Images