JP6776702B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車載カメラで撮像した車両の周辺映像を車室内に配置された表示装置に表示するとともに、前輪の舵角によって推定される車輪軌跡を表示することで車両が進もうとしている方向を表示する技術が知られている。

国際公開第２０１１／０１０３４６号 特開２０１６−２１６５３号公報

しかしながら、従来の表示の場合、車両が進む方向である予想進路は提示されるものの、その方向に進んでも大丈夫か否かは、運転者が車輪軌跡とともに表示されている周辺画像から判断する必要があった。そのため、不慣れな運転者は進路選択を誤り、例えば泥濘にはまって走行不能（スリップ状態）になってしまったり、路面と車両底部を接触させてしまったりする場合があった。

そこで、本発明の課題の一つは、路面状況に基づく新たな情報を運転者に提供して、走行進路の選択を容易に行わせることができる周辺監視装置を提供することである。

本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向を含む周辺画像を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、上記車両の舵角に基づく車輪の進行推定方向を示す進路指標の重畳位置を決定する指標決定部と、上記画像から所定の条件を満たす路面領域である特定領域を検出する検出部と、上記特定領域と上記進路指標の重畳位置との位置関係に応じて決定された表示態様で、上記進路指標を上記画像に重畳して表示装置に表示させる制御部と、を備える。この構成によれば、例えば、所定の条件を満たす路面領域である特定領域と重畳される進路指標との位置関係に応じて決定された表示態様の進路指標が表示装置に表示される。その結果、進路指標の表示態様によりユーザ（運転者、搭乗者）に現在の進路の是非を容易に判断させやすく、適切な進路の選択を行わせやすくすることができる。

本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向を含む周辺画像を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、上記車両の舵角に基づく車輪の進行推定方向を示す進路指標の重畳位置を決定する指標決定部と、上記画像から所定の条件を満たす特定領域を検出する検出部と、上記特定領域と上記進路指標の重畳位置との位置関係に応じて決定された表示態様で、上記進路指標を上記画像に重畳して表示装置に表示させる制御部と、を備える。そして、上記指標決定部は、上記車両の車輪ごとに上記進路指標を決定し、上記制御部は、上記車輪ごとの上記進路指標の上記表示態様を決定する。この構成によれば、例えば、車輪毎に進路選択の是非が表示されるので、好ましい進路を選択する際に、どの程度の舵角調整が必要になるか判断させやすくすることができる。

本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向を含む周辺画像を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、上記車両の舵角に基づく車輪の進行推定方向を示す進路指標の重畳位置を決定する指標決定部と、上記画像から所定の条件を満たす特定領域を検出する検出部と、上記特定領域と上記進路指標の重畳位置との位置関係に応じて決定された表示態様で、上記進路指標を上記画像に重畳して表示装置に表示させる制御部と、を備える。そして、上記制御部は、上記特定領域からの上記進路指標のはみ出し程度が所定値未満の場合に上記進路指標を第１表示態様で表示させ、上記はみ出し程度が上記所定値以上の場合に上記進路指標を第１表示態様とは異なる第２表示態様で表示させてもよい。例えば、第１表示態様の進路指標は、通過が推奨されることを示す進路指標で、第２表示態様の進路指標は、通過が好ましくないことを示す進路指標とすることができる。この構成によれば、例えば、検出された特定領域は通過することが好ましい領域で、進路指標がその特定領域からはみ出す程度が所定値以上の場合、当該進路指標が第２表示態様で表示される。その結果、ユーザに、このまま進むと通過が好ましい領域から外れてしまうという注意喚起をすることができる。

また、上記周辺監視装置において、例えば、上記制御部は、上記特定領域と上記進路指標が非接触の場合に上記進路指標を第１表示態様で表示させ、上記特定領域に上記進路指標の少なくとも一部が重なる場合に上記進路指標を第１表示態様とは異なる第２表示態様で表示させてもよい。例えば、第１表示態様の進路指標は、通過が推奨されることを示す進路指標で、第２表示態様の進路指標は、通過が好ましくないことを示す進路指標とすることができる。この構成によれば、例えば、検出された特定領域は通過することが好ましくない領域で、進路指標がその特定領域と重なる場合、当該進路指標が第２表示態様で表示される。その結果、ユーザに、このまま進むと通過が好ましくない領域に向かってしまうという注意喚起をすることができる。

また、上記周辺監視装置において、例えば、上記検出部は、上記車両の進行方向の路面に存在する轍を上記特定領域として検出してもよい。この構成によれば、例えば、既に走行実績があり、より安全と見なすことができる轍を通過するように進路案内をすることができる。

また、上記周辺監視装置において、例えば、上記指標決定部は、表示中の上記進路指標と上記特定領域との上記位置関係が、上記表示態様の変更条件が満たされなくなった場合に上記表示態様を変更前の態様に戻すようにしてもよい。この構成によれば、舵角の変更に伴い、重畳される進路指標と特定領域との位置関係が変化し、例えば、通過が好ましくない特定領域と進路指標との重なりが解消された場合、注意喚起を必要とする第２表示態様から注意喚起を必要としない第１表示態様に戻す。また、例えば、通過が推奨される特定領域から進路指標のはみ出し程度が所定値未満になった場合、注意喚起を必要とする第２表示態様から注意喚起を必要としない第１表示態様に戻す。その結果、ユーザに進路選択（舵角方向の選択）の是非を提示可能となり、安心感を与えやすくなる。

また、上記周辺監視装置において、例えば、上記制御部は、上記特定領域の種類に応じて表示態様を異ならせてもよい。この構成によれば、例えば、通過を避けるべき領域であることや十分な注意を払いながら通過可能な領域であることをユーザに認識させやすくなり、進路選択の自由度を広げることが可能になり、よりスムーズに走行させることができる。

図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図３は、実施形態にかかる周辺監視装置を含む制御システムの一例が示されたブロック図である。 図４は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される進路指標の表示態様の変更を実現するための制御部（ＣＰＵ）の構成の一例を示すブロック図である。 図５は、実施形態にかかる周辺監視装置において、特定領域と進路指標との位置関係と進路指標の表示態様を説明する表示例を示す図である。 図６は、実施形態にかかる周辺監視装置において、進路指標の表示態様を変更する場合の処理手順を説明するフローチャートである。 図７は、実施形態にかかる周辺監視装置において、雪道の轍に進路指標を重畳している表示例を示す図である。 図８は、実施形態にかかる周辺監視装置において、山道の轍に進路指標を重畳している表示例を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。車両１は、例えば、いわゆる「オンロード」（主として舗装された道路やそれと同等の道路）の走行に加え、「オフロード」（主として舗装されていない不整地路等）の走行も好適に行える車両である。駆動方式としては、４つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。例えば、「オンロード」の走行を主目的とする車両でもよい。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面やその周辺の物体（障害物、岩、窪み、水たまり、轍等）を含む車両１の周辺の外部環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。周辺監視システム１００を構成するＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したり、特定の領域のみ強調されるような画像データを生成したりする。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換（視点変換）することができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。

また、図３に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６（２６ａ，２６ｂ）等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データに演算処理や画像処理を実行して、車両１の予測進路上に、注意すべき特定領域が存在する否か検出したり、注意すべき特定領域の存在を例えば、車両１の進行推定方向を示す進路指標（予測進路線）の表示態様を変化させることでユーザ（運転者や搭乗者）に報知したりする。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視用のＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

加速度センサ２６（２６ａ，２６ｂ）は、例えば車両１に２個設けられている。ＥＣＵ１４は、加速度センサ２６（２６ａ，２６ｂ）からの信号に基づき、車両１の前後方向の傾き（ピッチ角）や左右方向の傾き（ロール角）を算出する。ピッチ角は、車両１の左右軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ピッチ角が０度となる。また、ロール角は、車両１の前後軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ロール角が０度となる。つまり、車両１が、水平な路面に存在するか否か、傾斜面（上り勾配の路面または下り勾配の路面）に存在するか否か等が検出できる。なお、車両１がＥＳＣを搭載する場合、ＥＳＣに従来から搭載されている加速度センサ２６（２６ａ，２６ｂ）を用いる。なお、本実施形態は、加速度センサ２６を制限するものではなく、車両１の前後左右方向の加速度を検出可能なセンサであればよい。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したように撮像画像データに基づく画像から車両１の予測進路上に、注意すべき特定領域が存在する否か検出したり、注意すべき特定領域の存在を例えば、予測進路を示す進路指標の表示態様を変化させたりすることでユーザに報知する。この機能を実現するために、ＣＰＵ１４ａは、図４に示すような種々のモジュールを含む。ＣＰＵ１４ａは、例えば、周辺画像取得部３０、舵角取得部３２、特定領域検出部３４（検出部）、進路指標決定部３６（指標決定部）、表示制御部３８（制御部）、報知部４０、出力部４２等を含む。また、表示制御部３８は、表示態様決定部４４、重畳部４６等を含む。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

周辺画像取得部３０は、車両１の進行方向における路面の状態を示す情報を取得する。例えば、撮像部１５ｃから出力される撮像画像データを表示制御部１４ｄを介して取得する。なお、周辺画像取得部３０は、後述する図５に例示されるように、車両１の前方を示す画像とともに車両１の側方の情報を表示する場合、車両１の側方画像用の撮像画像データを撮像部１５ｂ，１５ｄから取得してもよい。なお、表示装置８に車両１の周囲の画像を表示するのみの場合、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８に出力してもよい。また、ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇ等の入力装置を用いて運転者に希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作入力部１０や操作部１４ｇの操作により選択された画像を選択的に表示することができる。例えば撮像部１５ａで撮像した車両１の後方画像を表示装置８に表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。

舵角取得部３２は、舵角センサ１９から出力される操舵部４（ステアリングホイール）の操作状態に関する情報を取得する。つまり、運転者がこれから車両１を走行させようとしている方向を定めるための情報を取得する。

特定領域検出部３４は、周知の技術を用いて、撮像部１５が撮像した撮像画像データに基づく画像から所定の条件を満たす特定領域を抽出する。例えば、特定領域として、画像内に存在する「水たまり」、「泥濘」、「ポットホール（甌穴）」、「轍」等を抽出する場合、画像の画質の均一性に基づく分類、例えば、画像の濃度、色、テクスチャ、輝度、光の反射程度の違い等に基づいて複数の個別領域に分類する。そして、個別領域ごとに特徴点を抽出し、ＲＯＭ１４ｂやＳＳＤ１４ｆ等に記憶されたデータベースと比較することにより所定の条件、「水たまり」の条件、「泥濘」の条件、「ポットホール（甌穴）」の条件、「轍」の条件等を満たす領域を抽出する。特定領域検出部３４は、特定領域に対して例えばエッジ処理を施すことにより輪郭線を示すことが可能で画像上で特定領域以外の部分と区別することができる。

進路指標決定部３６は、舵角取得部３２が車内ネットワーク２３を介して取得した舵角センサ１９の検出結果（車両１の舵角（操舵角））に基づき、車両１の左右の前輪３Ｆごとに進行推定方向を示す進路指標を算出する。進路指標は、例えば前輪３Ｆの舵角に基づき車両１の向いている方向（前輪３Ｆが通過する方向）を取得し、その方向に沿って前輪３Ｆから例えば２ｍ先まで延びる誘導線である。後述するが、進路指標は、進路に関して特に注意喚起を必要としない場合（主として予測進路を示す場合）は、第１表示態様（通常状態の表示）として、例えば「黄色」で表示される。進路指標は、操舵部４の操舵方向および操舵角度（舵角センサ１９の検出結果）に連動して移動するので、操舵部４によって指定された車両１の進行方向を指すことができる。また、進路指標は、車輪３の幅と略同じ幅としてもよい。この場合、進路指標にしたがって車両１が移動する場合、進路指標が重畳された画像上の位置（路面）を実際の車輪３が通過することになる。したがって、進路指標を表示することにより、車輪３のこれからの通過状態を運転者にイメージさせやすくすることができる。

表示制御部３８の表示態様決定部４４は、特定領域検出部３４が検出した特定領域の位置と進路指標決定部３６が決定した左右の進路指標ごとに当該進路指標の重畳位置との位置関係に基づいて、進路指標ごとの表示態様、例えば、「表示色」を決定する。例えば、特定領域検出部３４が検出した特定領域が、車両１の車輪３が通過するのには好ましくない領域である場合、例えば、「水たまり」や「泥濘」と見なされる場合、そのまま車輪３が移動するとスリップして走行不能になる可能性がある。また、特定領域が、例えば「ポットホール（甌穴）」と見なされる場合、車輪３がポットホールの段差等を通過することにより、車体２を破損したり、車両１の搭乗者に衝撃や揺れ等の不快感を与えてしまったりする場合がある。そこで、表示態様決定部４４は、撮像画像データに基づく画像上において、車輪３が通過することを避けた方が好ましい特定領域の位置（例えば、泥濘の位置）と操舵部４の舵角に基づく進路指標の重畳位置とを取得する。そして、表示態様決定部４４は、例えば特定領域に進路指標の少なくとも一部が重なる場合、このまま車両１（車輪３）が移動した場合、特定領域に進入して走行不能になったり、破損や衝撃が生じたりする可能性があると判定し、進路指標の表示色を注意喚起を促す表示色、例えば「赤色」に変更することを決定する。すなわち、進路に関して特に注意を必要としない第１表示態様（例えば、表示色「黄色」）から通過を避けるべきである（好ましい）ことを示す第２表示態様（例えば、表示色「赤色」）に変更することを決定する。つまり、表示態様決定部４４は、特定領域に進路指標の少なくとも一部が重なる場合に、進路指標を第２表示態様で表示する変更条件が満たされたと判定して、表示色の変更を決定する。したがって、表示態様決定部４４は、変更条件が満たされなくなった場合、つまり、特定領域と進路指標とが非接触となった場合、進路指標の表示態様を変更前の態様（第１表示態様）に戻す決定を行う。重畳部４６は、表示態様が決定された進路指標と、特定領域または特定領域を示す輪郭線を撮像画像データに基づく画像に重畳する。

別の例では、例えば、特定領域検出部３４が検出した特定領域が、車両１の車輪３が通過することを推奨する領域である場合、例えば、先行車両等によって形成された「轍」と見なされる場合、その轍に沿って車輪３が進むことによって、安全に走行できる確率が向上する。逆に「轍」からはみ出して走行した場合、ステアリング（ハンドル）がとられて操舵（舵角の修正）を頻繁に強いられ、疲労感が増したり、車両の揺れが増大したりする可能性がある。そこで、表示態様決定部４４は、撮像画像データに基づく画像上において、車輪３の通過を推奨する特定領域の位置（轍の位置）と操舵部４の舵角に基づく進路指標の重畳位置とを取得する。そして、表示態様決定部４４は、例えば特定領域（轍）からの進路指標のはみ出し程度が所定値以上になった場合、このまま車両１（車輪３）が移動した場合、特定領域（轍）から大きく外れ操舵にさらなる労力を有する可能性があると判定し、進路指標の表示色を注意喚起を促す、例えば「オレンジ色」に変更することを決定する。すなわち、轍に沿った走行であり進路に関して特に注意を必要としない第１表示態様（例えば、表示色「黄色」）から通過を避けることが望ましいことを示す第２表示態様（例えば、表示色「オレンジ色」）に変更することを決定する。つまり、表示態様決定部４４は、特定領域からの進路指標のはみ出し程度が所定値以上の場合に、進路指標を第２表示態様で表示する変更条件が満たされたと判定して、表示色の変更を決定する。したがって、表示態様決定部４４は、変更条件が満たされなくなった場合、つまり、特定領域からの進路指標のはみ出し程度が所定値未満になった場合、進路指標の表示態様を変更前の態様（第１表示態様）に戻す決定を行う。重畳部４６は、表示態様が決定された進路指標と、特定領域または特定領域を示す例えば輪郭線を撮像画像データに基づく画像に重畳する。

なお、上述したように表示態様決定部４４は、特定領域の種類に応じて、進路指標の表示態様を変えることで、ユーザに特定領域に対する注意喚起の程度を認識させやすくなる。その結果、進路選択の自由度を広げることが可能になり、車両１をよりスムーズに走行させるように案内することができる。例えば、進路指標の表示態様が「赤色」の場合、通過を避けるべき領域であると運転者に容易に認識させることができる。また、進路指標の表示態様が「オレンジ色」の場合、周囲の路面状況を確認しながら進路修正を行うことが可能な領域である等を運転者に認識させやすくなる。また、別の例では、第２表示態様の「赤色」表示でも注意喚起の必要性の程度に応じて、別の表示態様で表示してもよい。例えば、「オフロード」を走行中の場合に「水たまり」や「泥濘」と見なせる特定領域を検出した場合は、「水たまり」や「泥濘」が深い場合や底の凹凸が激しい場合がある。そのため、進路指標の表示態様を「実線」の「赤色」表示として回避を強く勧めるような表示としてもよい。一方、同じ「水たまり」と見なせる特定領域を検出した場合でも「オンロード」の走行中の場合、浅い場合や路面が舗装路のため凹凸が少ない可能性がある。そのため、進路指標の表示態様を「破線」の「赤色」表示として回避を強く勧めない表示としてもよい。なお、表示態様決定部４４は、「オンロード」と「オフロード」との識別を、例えば、ナビゲーションシステムからの位置情報と地図情報に基づいて判定してもよい。また、オフロード走行中の場合、オンロード走行中に比べて車両１の傾き状態が大きかったり、車速が低速であったりするため、これらの情報に基づいて、オフロード走行中か否かを判定してもよい。

表示態様決定部４４は、進路指標の表示態様として、第１表示態様と第２表示態様とで「表示色」を変える例を示したが、第１表示態様と第２表示態様とで識別ができればよく、これに限定されない。例えば、上述したように進路指標の「線種」を変えて識別させたり、点灯表示または点滅表示の違いにより識別させたりしてもよい。

報知部４０は、進路指標が第２表示態様で表示されている場合に、そのことを音声等で報知する。例えば、「現在の進路上に通過が望ましくない領域が存在します。ステアリングを操作して進路を変更してください。」や「現在の進路のままだと、轍からはみ出す可能性があります。ステアリングを操作して進路を修正して轍に戻してください。」等の音声メッセージを出力するようにしてもよい。また、報知部４０は、進路指標の修正方向を示す音声メッセージを出力するようにしてもよい。また、重畳部４６に対して進路指標の修正方向を示す矢印を重畳するように指令を出してもよい。なお、報知部４０による報知は、過剰になるとユーザに煩わしい印象を与えてしまう場合がある。そのため、数回（２〜３回程度）の報知で中止するようにしたり、ユーザの選択により音声による報知を中止できるようにしたりしてもよい。

出力部４２は、特定領域検出部３４が検出した特定領域と、進路指標決定部３６が決定した重畳位置に表示制御部３８が決定した表示態様で表示される進路指標と、を表示制御部１４ｄに向けて出力する。

図５は、周辺監視システム１００において、特定領域との位置関係に基づいて表示態様が決定される進路指標が表示される表示装置８の画面８ａの表示例である。表示装置８には、進路指標Ｒ（右側の前輪３Ｆに対応する進路指標ＲＲ、左側の前輪３Ｆに対応する進路指標ＲＬ）を含む画面８ａが示されている。図５に示すように、表示装置８は、表示領域を複数に分割して種々の方向の画像や車両１の姿勢を示す傾斜計５０等を表示する。例えば、表示装置８の表示領域の中央上部に前方表示領域ＦＶが配置され、その左斜め下に左側表示領域ＳＶＬ、前方表示領域ＦＶの右斜め下に右側表示領域ＳＶＲが配置されている。また、前方表示領域ＦＶの下方に、傾斜計５０を表示する姿勢表示領域ＰＶが配置されている。前方表示領域ＦＶには、車両１の進行推定方向を示す進路指標Ｒや車体２の前方側の端部２ｃからの距離の目安を示す前方参考線Ｑａ、車体２の側方の端部２ｄ，２ｆからの距離の目安を示す側方参考線Ｐａ等が重畳表示されている。また、左側表示領域ＳＶＬ、右側表示領域ＳＶＲにも前方参考線Ｑａ、側方参考線Ｐａが重畳され、前方表示領域ＦＶと左側表示領域ＳＶＬおよび右側表示領域ＳＶＲとの対応が理解しやすいように表示されている。なお、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲの側方参考線Ｐａには、前輪３Ｆの接地位置を示す接地線Ｐａｂが付され、前輪３Ｆの位置が容易に理解できるようになっている。傾斜計５０は、加速度センサ２６（２６ａ、２６ｂ）からの信号に基づき、車両１の左右方向の傾き（ロール角）や前後方向の傾き（ピッチ角）をシンボル５２の姿勢で表示する。

図６は、上述した周辺監視システム１００で特定領域との位置関係に基づいて表示態様が決定される進路指標を表示する場合の処理手順の一例を説明するフローチャートである。

ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇを介してユーザ（運転者、搭乗者）から進路指標を表示させる要求スイッチ（進路指標ＳＷ）がＯＮされているか否か確認して（Ｓ１００）、進路指標ＳＷがＯＮされていない場合（Ｓ１００のＮｏ）、図６のフローを一旦終了する。

Ｓ１００において、ＣＰＵ１４ａは、進路指標ＳＷがＯＮされていると判定した場合（Ｓ１００のＹｅｓ）、周辺画像取得部３０を介して撮像部１５ｃが撮像した車両１の前方を撮像した撮像画像データを取得する（Ｓ１０２）。なお、周辺画像取得部３０は、撮像部１５ｂから出力される右側方領域ＳＶＲ用の撮像画像データと、撮像部１５ｄから出力される左側方領域ＳＶＬ用の撮像画像データとを併せて取得してもよい。また、舵角取得部３２は、舵角センサ１９が出力する現在の操舵部４（ステアリング）の舵角を取得する（Ｓ１０４）。

続いて、進路指標決定部３６は、舵角取得部３２の取得した舵角に基づいて撮像画像データに基づく画像上に重畳する左右の進路指標の形状と重畳位置を決定する（Ｓ１０６）。また、特定領域検出部３４は、前述したように周知の技術を用いて撮像画像データに基づく画像から所定の条件を満たす特定領域を検出（抽出）する（Ｓ１０８）。表示制御部３８の表示態様決定部４４は、撮像画像データに基づく画像から所定の条件を満たす特定領域が検出されたと判定した場合（Ｓ１１０のＹｅｓ）、検出された特定領域が「轍」と見なせるか否か判定する（Ｓ１１２）。表示態様決定部４４は、検出された特定領域が「轍」とは見なせないと判断した場合（Ｓ１１２のＮｏ）、つまり、特定領域は、「水たまり」、「泥濘」、「ポットホール」等であると見なした場合、Ｓ１０６で決定した左右の進路指標と検出した特定領域とが重なる部分があるか否か判定する（Ｓ１１４）。表示態様決定部４４は、判定の結果、進路指標と特定領域との間で重なる部分が存在すると判定した場合（Ｓ１１４のＹｅｓ）、通過を避けるべき特定領域に車輪３が向かっていると判定する。そして、表示態様決定部４４は、進路指標の表示態様を通過が好ましくない、通過を回避すべきであると注意喚起する第２表示態様である「赤色」表示とすることを決定する（Ｓ１１６）。そして、重畳部４６は、撮像画像データに基づく画像上に進路指標を重畳処理する。この重畳画像データは、出力部４２を介して出力され、表示装置８上で表示される。

一方、撮像画像データに基づく画像から所定の条件を満たす特定領域が検出されなかった場合（Ｓ１１０のＮｏ）、車両１を現在のステアリングの舵角に基づいて移動させるときに、その進路上に特別に注意すべき領域は存在しないと見なすことができる。その結果、表示態様決定部４４は、通過を推奨する第１表示態様として、例えば「黄色」表示で進路指標を撮像画像データに基づく画像に重畳することを決定する（Ｓ１１８）。そして、重畳部４６で画像上に進路指標が重畳処理され、出力部４２を介して出力され、表示装置８上で表示される。

図５は、前方表示領域ＦＶに表示される画面８ａ中に特定領域５４として「泥濘」が検出され、右側の前輪３Ｆに対応する進路指標ＲＲと特定領域５４とが重なっている例が示されている。この場合、進路指標ＲＲは、第２表示態様の「赤色」で表示される。なお、図５の場合、第２表示態様の「赤色」表示は便宜上太線で示されている。一方、特定領域５４と非接触である進路指標ＲＬは、第１表示態様の「黄色」で表示される。なお、図５の場合、第１表示態様の「黄色」表示は、便宜上進路指標ＲＲより細い細線で示されている。

図５に示されるような画面８ａをユーザ（運転者）に提供することにより、現在のステアリングの舵角のまま前進した場合、右側の前輪３Ｆが通過が好ましくない特定領域５４（泥濘等）に進入してしまうということを容易にユーザに認識させることができる。また、注意すべき車輪３は、右側の前輪３Ｆであることが第２表示態様（赤色表示）で明確に表示されるので、右側の進路指標ＲＲを特定領域５４と非接触にするためにステアリングをいずれの方向に転舵することが望ましいかユーザに直感的に把握させやすくなる。なお、この場合、表示制御部３８は、特定領域５４の位置と進路指標Ｒ（ＲＲ，ＲＬ）の重畳位置の位置関係を取得しているので、報知部４０は、いずれの方向にステアリングを転舵すれば、特定領域５４と進路指標Ｒ（ＲＲ，ＲＬ）とを非接触状態にできるか取得することができる。したがって、報知部４０は、例えば転舵方向を示唆する矢印等を画面８ａ上に表示してもよいし、その矢印の長さで転舵量を報知するようにしてもよい。

また、Ｓ１１２において、表示態様決定部４４が、検出された特定領域は「轍」と見なせると判定した場合（Ｓ１１２のＹｅｓ）、表示態様決定部４４は、特定領域である「轍」からのはみ出し量（程度）が所定値以上か否か判定する（Ｓ１２０）。例えば、表示する進路指標の１０％以上が、「轍」と見なされた特定領域からはみ出していた場合（Ｓ１２０のＹｅｓ）、表示態様決定部４４は、このままの舵角で走行を継続した場合、通過が推奨される「轍」から外れてしまい運転操作がしにくくなると判定して、進路指標の表示態様を注意を促す第２表示態様の「オレンジ色」表示とすることを決定する（Ｓ１２２）。そして、重畳部４６で画像上に進路指標が重畳処理され、出力部４２を介して出力され、表示装置８上で表示される。

一方、Ｓ１２０において、表示態様決定部４４は、特定領域である「轍」からのはみ出し量（程度）が、所定値未満、例えば、表示する進路指標の１０％未満の場合（Ｓ１２０のＮｏ）、表示態様決定部４４は、このままの舵角で走行を継続すれば、通過が推奨させる「轍」から外れず、運転操作が比較的容易になると判定して、Ｓ１１８に移行して進路指標の表示態様を特に注意を必要としない第１表示態様の「黄色」表示とすることを決定する。そして、重畳部４６で画像上に進路指標が重畳処理され、出力部４２を介して出力され、表示装置８上で表示される。なお、特定領域である「轍」からのはみ出し量（程度）の閾値の一例として１０％を示したが、適宜変更可能である。例えば、閾値を小さくすれば、特定領域（轍）からのはみ出しを敏感に検出して、第２表示態様の表示を行うことができる。逆に、閾値を大きくすれば、特定領域（轍）からのはみ出しに鈍感になり過剰な警告（第２表示態様の表示）を抑制できる。

図７には、図５の前方表示領域ＦＶに表示される画面８ａの例として、車両１が雪道上に存在する場合の表示例が示されている。この場合、特定領域検出部３４は、周知の画像処理技術を用いて、撮像画像データに基づく画像からエッジ６０ａ，６０ｂで規定される特定領域６２Ｒ（右側の前輪３Ｆに対応する轍）と、エッジ６０ｃ，６０ｄで規定される特定領域６２Ｌ（左側の前輪３Ｆに対応する轍）とを検出する。図７の場合、舵角取得部３２が取得する舵角センサ１９の出力値に基づく舵角を用いて、進路指標決定部３６が進路指標Ｒ（ＲＲ，ＲＬ）を画面８ａ上に重畳している。この場合、右側の前輪３Ｆに対応する進路指標ＲＲは、特定領域６２Ｒ（轍）に沿い、はみ出していないので、第１表示態様である、「黄色」表示として重畳されている。なお、図７では便宜上、第１表示態様である「黄色」表示の進路指標ＲＲを細線で表している。一方、左側の前輪３Ｆに対応する進路指標ＲＬは、特定領域６２Ｌ（轍）から所定値以上はみ出している場合であり、第２表示態様である、「オレンジ色」表示として重畳されている。なお、図７では便宜上、第２表示態様である「オレンジ色」表示の進路指標ＲＬを第１表示態様の進路指標ＲＲより太い太線で表している。

図７に示されるような画面８ａをユーザに（運転者）に提供することにより、現在のステアリングの舵角のまま前進した場合、左側の前輪３Ｆは通過が推奨される特定領域６２Ｌ（轍）からはみ出してしまうということを容易にユーザに認識させることができる。また、図７に示されるように、画面８ａには、特定領域６２Ｒ，６２Ｌと進路指標ＲＲ，ＲＬとの位置関係が明確に表示されている。その結果、左側の進路指標ＲＬを特定領域６２Ｌからはみ出させず、また、右側の進路指標ＲＲを特定領域６２Ｒ内に留めるためにステアリングをいずれの方向にどの程度転舵することが望ましいか直感的に把握させやすくなる。なお、この場合、表示制御部３８は、特定領域６２Ｒ，６２Ｌの位置と進路指標Ｒ（ＲＲ，ＲＬ）の重畳位置の位置関係を取得しているので、報知部４０は、いずれの方向にステアリングを転舵すれば、特定領域６２Ｒ，６２Ｌからはみ出さずに進路指標Ｒ（ＲＲ，ＲＬ）を位置させることができるかを取得できる。したがって、報知部４０は、例えば転舵方向を示唆する矢印等を画面８ａ上に表示してもよいし、その矢印の長さで転舵量を報知するようにしてもよい。

図６のフローチャートに戻り、ＣＰＵ１４ａは、進路指標ＳＷがＯＦＦされたかを確認し（Ｓ１２４）、進路指標ＳＷがＯＦＦされていない場合（Ｓ１２４のＮｏ）、Ｓ１０２の処理に移行し、次の処理周期における画像取得処理や進路指標決定処理を実行する。その結果、撮像画像データに基づく画像および舵角に基づく進路指標の向き、進路指標の表示態様は更新され、実質的にリアルタイムで、進路指標で示される方向が走行に適しているか否か、ステアリング操作（舵角）が適切か否かの情報をユーザに提供することができる。例えば、現在、第１表示態様で進路指標が表示されていても、車両１の移動に伴い、進路が不適切になった場合には、進路指標が直ちに第２表示態様に変更されるので、ユーザに迅速に舵角修正を行わせることができる。逆に現在第２表示態様で進路指標が表示されていても、車両１の移動や舵角の修正に伴い、進路が適切になった場合には、直ちに第１表示態様に変更されるので、ユーザに安心感を抱かせることができる。

なお、Ｓ１２４で、進路指標ＳＷがＯＦＦされた場合（Ｓ１２４のＹｅｓ）、ユーザの要求により進路指標の表示は不要になったと判定して、ＣＰＵ１４ａは、表示装置８の画面８ａを車両１の周辺画像のみの表示に切り替えたり、ナビゲーション画面やオーディオ画面に切り替えたりして、このフローを一旦終了する。

なお、図８は、特定領域が「轍」と見なすことができる別の例で、車両１が山道上に存在する場合を示す画面８ａの表示例である。この場合も、特定領域検出部３４は、周知の画像処理技術を用いて、撮像画像データに基づく画像からエッジ６４ａ，６４ｂで規定される特定領域６６Ｒ（右側の前輪３Ｆに対応する轍）と、エッジ６４ｃ，６４ｄで規定される特定領域６６Ｌ（左側の前輪３Ｆに対応する轍）とを検出する。図８の場合、舵角取得部３２が取得する舵角センサ１９の出力値に基づく舵角を用いて、進路指標決定部３６が進路指標Ｒ（ＲＲ，ＲＬ）を画面８ａ上に重畳している。この場合、右側の前輪３Ｆに対応する進路指標ＲＲおよび左側の前輪３Ｆに対応する進路指標ＲＬは、いずれも特定領域６６Ｒ，６６Ｌ（轍）の中に位置し、轍からはみ出していないので、第１表示態様である、「黄色」表示として重畳されている。なお、図８において、「黄色」で表示される第１表示態様の進路指標ＲＲは、便宜上細線で表している。

図８に示されるような画面８ａをユーザに（運転者）に提供することにより、現在のステアリングの舵角のまま前進した場合、通過が推奨される特定領域６６Ｒ，６６Ｌ（轍）に沿った安定した走行が可能であることを直感的にユーザに認識させることができる。また、車両１の移動に伴い進路指標Ｒ（ＲＲ，ＲＬ）のうち少なくともいずれか一方の進路指標Ｒのはみ出し程度が所定値以上となった場合、直ちに、特定領域（６６Ｒ，６６Ｌ）からはみ出した側の進路指標Ｒの表示態様が「オレンジ色」に変更されるので、ユーザは、直ちにステアリングの修正（舵角の修正）の必要性を認識し、適切な轍走行を容易に継続することができる。図８の場合も図７の場合と同様に、報知部４０は、第２表示形態の進路指標Ｒが表示された場合、例えば転舵方向を示唆する矢印等を画面８ａ上に表示してもよいし、その矢印の長さで転舵量を報知するようにしてもよい。

なお、上述した実施形態では、前輪３Ｆに対応する進路指標が重畳表示される場合に、検出された特定領域の位置との位置関係に応じて進路指標の表示態様を決定する例を示した。別の実施形態において、例えば、前輪３Ｆに加え、後輪３Ｒに対応する進路指標が重畳表示される場合に、後輪用の進路指標の重畳位置と検出された特定領域の位置との位置関係に応じて、後輪用の進路指標の表示態様を決定するようにしてもよい。例えば、車両１が旋回するような場合、内輪差に起因して、前輪３Ｆと後輪３Ｒの通過位置が異なる。そのため、前輪３Ｆは特定領域と接触しない、または、特定領域からはみ出さないとされる場合でも、後輪３Ｒが特定領域と接触する、または、特定領域からはみ出す場合がある。このような場合、前輪３Ｆ用の進路指標の重畳位置、および後輪３Ｒ用の進路指標の重畳位置と、特定領域の位置関係に応じて、それぞれの進路指標の表示態様を決定するようにしてもよい。この場合、四輪全てに対して、適切な進路の選択を行わせやすくなる。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、３…車輪、３Ｆ…前輪、４…操舵部、８…表示装置、８ａ…画面、１０…操作入力部、１１…モニタ装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１５…撮像部、１９…舵角センサ、２６…加速度センサ、３０…周辺画像取得部、３２…舵角取得部、３４…特定領域検出部（検出部）、３６…進路指標決定部（指標決定部）、３８…表示制御部（制御部）、４０…報知部、４２…出力部、４４…表示態様決定部、４６…重畳部、５４，６２Ｒ，６２Ｌ，６６Ｒ，６６Ｌ…特定領域、１００…周辺監視システム、Ｒ，ＲＲ，ＲＬ…進路指標。

Claims (7)

1. 車両の進行方向を含む周辺画像を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、前記車両の舵角に基づく車輪の進行推定方向を示す進路指標の重畳位置を決定する指標決定部と、
   前記画像から所定の条件を満たす路面領域である特定領域を検出する検出部と、
   前記特定領域と前記進路指標の重畳位置との位置関係に応じて決定された表示態様で、前記進路指標を前記画像に重畳して表示装置に表示させる制御部と、
   を備える周辺監視装置。
2. 車両の進行方向を含む周辺画像を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、前記車両の舵角に基づく車輪の進行推定方向を示す進路指標の重畳位置を決定する指標決定部と、
   前記画像から所定の条件を満たす特定領域を検出する検出部と、
   前記特定領域と前記進路指標の重畳位置との位置関係に応じて決定された表示態様で、前記進路指標を前記画像に重畳して表示装置に表示させる制御部と、
   を備え、
   前記指標決定部は、前記車両の車輪ごとに前記進路指標を決定し、
   前記制御部は、前記車輪ごとの前記進路指標の前記表示態様を決定する、周辺監視装置。
3. 車両の進行方向を含む周辺画像を撮像する撮像部から出力された撮像画像データに基づく画像に重畳する、前記車両の舵角に基づく車輪の進行推定方向を示す進路指標の重畳位置を決定する指標決定部と、
   前記画像から所定の条件を満たす特定領域を検出する検出部と、
   前記特定領域と前記進路指標の重畳位置との位置関係に応じて決定された表示態様で、前記進路指標を前記画像に重畳して表示装置に表示させる制御部と、
   を備え、
   前記制御部は、前記特定領域からの前記進路指標のはみ出し程度が所定値未満の場合に前記進路指標を第１表示態様で表示させ、前記はみ出し程度が前記所定値以上の場合に前記進路指標を第１表示態様とは異なる第２表示態様で表示させる、周辺監視装置。
   
4. 前記制御部は、前記特定領域と前記進路指標が非接触の場合に前記進路指標を第１表示態様で表示させ、前記特定領域に前記進路指標の少なくとも一部が重なる場合に前記進路指標を第１表示態様とは異なる第２表示態様で表示させる請求項１または請求項２に記載の周辺監視装置。
5. 前記検出部は、前記車両の進行方向の路面に存在する轍を前記特定領域として検出する請求項３に記載の周辺監視装置。
6. 前記指標決定部は、表示中の前記進路指標と前記特定領域との前記位置関係が、前記表示態様の変更条件が満たされなくなった場合に前記表示態様を変更前の態様に戻す請求項１から請求項５のいずれか１項に記載の周辺監視装置。
7. 前記制御部は、前記特定領域の種類に応じて表示態様を異ならせる請求項１から請求項６のいずれか１項に記載の周辺監視装置。

Images