JP7009785B2

JP7009785B2 - 周辺監視装置

Info

Publication number: JP7009785B2
Application number: JP2017110336A
Authority: JP
Inventors: 一矢渡邊; 哲也丸岡
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2017-06-02
Filing date: 2017-06-02
Publication date: 2022-01-26
Anticipated expiration: 2037-06-02
Also published as: CN110959289A; WO2018220915A1; JP2018207286A; US20200193183A1; US11475676B2; CN110959289B

Description

本発明の実施形態は、周辺監視装置に関する。

従来から、車載カメラで周辺環境を撮像し、その周辺画像を車両内の表示部に表示する技術が知られている。また、車載カメラの死角になる車両の床下や床下付近を表示するために、例えば、車両が前進している場合には、車両のフロントカメラが撮像した過去の画像（以下、「過去画像」ともいう。）を用いて車両の床下や床下付近を含む周辺画像を生成し、表示する技術もある。運転者は、このような周辺画像を見ることで、運転時の各種判断の参考にすることができる。

国際公開第２０１４／１５６２２０号

しかしながら、上述の車両の床下や床下付近を含む周辺画像を表示する技術では、過去画像を用いるので、現在、その周辺画像の領域内に人や車両などの移動物が存在していても表示されないという問題がある。

そこで、本発明は、このような事情に鑑みてなされたものであって、車両の床下や床下付近を含む周辺画像を表示するとともに、その周辺画像の領域内における現在の移動物も併せて表示できる周辺監視装置を提供することを課題とする。

上記課題を解決するため、実施形態の周辺監視装置は、車両の進行方向の路面、および、前記路面から上方の領域を含む領域を撮像する撮像部から撮像画像データを取得する取得部と、前記撮像画像データを記憶する記憶部と、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記車両の床下または床下付近の路面を含む第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、前記路面から上方の領域を含む第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示する画像処理部と、前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部と、を備える。前記画像処理部は、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記移動物判定部によって前記移動物が存在すると判定されていないときには、前記第１の領域および前記第２の領域の両方について、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、前記移動物判定部によって前記移動物が存在すると判定されたときには、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替える。この構成によれば、例えば、車両の床下または床下付近を含む周辺画像を表示する場合に、車両の床下または床下付近の路面を含む第１の領域については過去画像を用いて表示し、路面から上方の領域を含む第２の領域については現在画像を用いて表示することで、周辺画像の領域内における現在の移動物も併せて表示できる。また、例えば、移動物が存在しないときは、第１の領域および第２の領域の両方について過去画像を用いて表示することで、つなぎ目のない連続した画像とすることができる。また、移動物が存在すると判定されると、第２の領域については、現在画像を用いて表示するように切り替えることで、周辺画像の領域内における現在の移動物も併せて表示できる。

また、前記画像処理部は、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を、三次元仮想空間上で前記路面に対応する平面として設定された第１仮想投影面に投影することで表示し、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を、前記三次元仮想空間上で前記第１仮想投影面の端部またはその付近から立ち上がるように設定された第２仮想投影面に投影することで表示し、前記第１仮想投影面と前記第２仮想投影面との間の境界を識別可能に表示するようにしてもよい。この構成によれば、例えば、過去画像を用いて表示される第１仮想投影面と、現在画像を用いて表示される第２仮想投影面と、の間の境界を識別可能に表示することで、運転者は、表示における過去画像の部分と現在画像の部分とを明確に識別することができる。

また、実施形態の周辺監視装置は、車両の進行方向の路面、および、前記路面から上方の領域を含む領域を撮像する撮像部から撮像画像データを取得する取得部と、前記撮像画像データを記憶する記憶部と、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記車両の床下または床下付近の路面を含む第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、前記路面から上方の領域を含む第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示する画像処理部と、前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部と、を備える。前記画像処理部は、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記移動物判定部によって前記移動物が存在すると判定されていないときには、前記第１の領域および前記第２の領域の両方について、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、前記移動物判定部によって前記移動物が存在すると判定されたときには、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えることを乗員に促す画面を表示する。この構成によれば、例えば、車両の床下または床下付近を含む周辺画像を表示する場合に、車両の床下または床下付近の路面を含む第１の領域については過去画像を用いて表示し、路面から上方の領域を含む第２の領域については現在画像を用いて表示することで、周辺画像の領域内における現在の移動物も併せて表示できる。また、例えば、移動物が存在しないときは、第１の領域および第２の領域の両方について過去画像を用いて表示することで、つなぎ目のない連続した画像とすることができる。また、移動物が存在すると判定されると、第２の領域については、現在画像を用いて表示するように切り替えることを乗員に促す画面を表示することで、乗員はその画面切り替えをするか否かを自由に選択することができる。

また、前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部を、さらに備え、前記画像処理部は、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記移動物判定部によって前記移動物が存在すると判定されたときには、前記周辺画像における前記移動物の位置に基づいて前記第１仮想投影面と前記第２仮想投影面の境界部分を移動させるようにしてもよい。この構成によれば、例えば、移動物が存在すると判定されたときに、周辺画像における移動物の位置に基づいて第１仮想投影面と第２仮想投影面の境界部分を移動させることで、移動物の存在を乗員により気づかせやすくすることができる。

図１は、第１実施形態の車両の車室の一部が透視された状態を示す斜視図である。図２は、第１実施形態の車両の平面図（俯瞰図）である。図３は、第１実施形態の車両のダッシュボードの構成を示す図である。図４は、第１実施形態の周辺監視装置の構成を示すブロック図である。図５は、第１実施形態の周辺監視装置のＥＣＵの構成等を示すブロック図である。図６は、第１実施形態の周辺監視装置における撮像画像の仮想投影面への投影を説明するための模式図である。図７は、第１実施形態の周辺監視装置における撮像画像の仮想投影面への投影を説明するための模式図である。図８は、第１実施形態の画像処理部による周辺画像の生成を説明するための模式図である。図９は、第１実施形態において車両の側面から見た場合の第１仮想投影面と第２仮想投影面とを示す模式図である。図１０は、第１実施形態における車両前方の三次元仮想空間を示す模式図である。図１１は、第１実施形態における表示例を示す模式図である。図１２は、第１実施形態の周辺監視装置による周辺画像の生成処理を示すフローチャートである。図１３は、第２実施形態の周辺監視装置のＥＣＵの構成等を示すブロック図である。図１４は、第２実施形態の周辺監視装置による周辺画像の生成処理を示すフローチャートである。図１５は、第３実施形態の周辺監視装置のＥＣＵの構成等を示すブロック図である。図１６は、第３実施形態の周辺監視装置による周辺画像の生成処理を示すフローチャートである。図１７は、第４実施形態の周辺監視装置による周辺画像の生成処理を示すフローチャートである。図１８は、第４実施形態における第１仮想投影面と第２仮想投影面との境界部分の移動を説明するための模式図である。

以下、本発明の例示的な実施形態（第１実施形態～第４実施形態）が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうちの少なくとも一つを得ることが可能である。

（第１実施形態）
まず、第１実施形態について説明する。第１実施形態の車両１（図１）は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１は、第１実施形態の車両１の車室２ａの一部が透視された状態を示す斜視図である。図２は、第１実施形態の車両１の平面図（俯瞰図）である。以下、両図を参照して説明する。車体２は、不図示の乗員が乗車する車室２ａ（図１）を構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７等が設けられている。

操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイール（ハンドル）である。加速操作部５は、例えば、運転者の足下に配置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に配置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらに限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。ここで、図３は、第１実施形態の車両１のダッシュボード２４の構成を示す図である。図３に例示されるように、表示装置８は、ダッシュボード２４の中央に配置されている。

図１、図３に示す表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electro-Luminescence Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これらの表示装置８、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に配置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有していてもよい。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けてもよいし、また、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力するようにしてもよい。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されてもよい。

また、図１および図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成される。

ここで、図４は、第１実施形態の周辺監視装置１００の構成を示すブロック図である。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（Electronic Control Unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～１９０°の範囲を撮像することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮像し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに配置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに配置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに配置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに配置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。

また、図２に例示されるように、車体２には、複数の測距部１６、１７（測距センサ）として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６、１７は、例えば、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）である。ＥＣＵ１４は、測距部１６、１７の検出結果（検出データ）により、車両１の周囲に配置された障害物等の物体の有無や当該物体までの距離を測定することができる。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられる。また、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられる。また、測距部１６は、車両１の側方の物体の検出に用いられる。

また、図４に例示されるように、周辺監視装置１００では、ＥＣＵ１４、モニタ装置１１、操舵システム１３、測距部１６、１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。

車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central Processing Unit）、ＲＯＭ１４ｂ（Read Only Memory）、ＲＡＭ１４ｃ（Random Access Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid State Drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の制御等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される撮像画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａ、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されてもよい。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等を備える。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、変速操作部７の可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されてもよい。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果を、ブレーキシステム１８を介して取得する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

本実施形態では、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、周辺監視装置１００としての機能の少なくとも一部を実現する。図５は、第１実施形態の周辺監視装置１００のＥＣＵ１４の構成等を示すブロック図である。ＥＣＵ１４は、図５に示すように、制御部１４１、記憶部１４２として機能する。記憶部１４２は、制御部１４１が実行するプログラムやプログラムの実行に必要なデータ等を格納する。制御部１４１は、取得部１４１１、表示判定部１４１２、画像処理部１４１３、および、更新判定部１４１４を備える。

取得部１４１１は、車両１の進行方向の路面、および、路面から上方の領域を含む領域を撮像する撮像部１５から撮像画像データを継続的に取得し、取得した撮像画像データを記憶部１４２に随時格納する。また、取得部１４１１は、測距部１６、測距部１７、車輪速センサ２２等から各種データを取得する。

表示判定部１４１２は、周辺画像を表示装置８に表示するか否かを判定する。表示判定部１４１２は、例えば、車輪速センサ２２から取得したセンサ値に基づいて算出した車速が予め定められた閾値車速未満か否かによって、周辺画像を表示するか否かを判定する。閾値車速の一例は、１０ｋｍ／ｈである。表示判定部１４１２は、例えば、車速が閾値車速未満の場合、周辺画像を表示すると判定する。なお、表示判定部１４１２は、操作入力部１０を介して受け付けた乗員の操作指示に基づいて、当該周辺画像を表示するか否かを判定してもよい。

画像処理部１４１３は、車両１の進行方向の周辺画像を表示装置８に表示する場合に、車両１の床下または床下付近の路面を含む第１の領域（撮像対象領域）については、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、路面から上方の領域を含む第２の領域（撮像対象領域）については、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を用いて表示する。

より具体的には、画像処理部１４１３は、第１の領域については、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を、三次元仮想空間上で路面に対応する平面として設定された第１仮想投影面に投影することで表示する。また、画像処理部１４１３は、第２の領域については、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を、三次元仮想空間上で第１仮想投影面の端部またはその付近から立ち上がるように設定された第２仮想投影面に投影することで表示する。また、画像処理部１４１３は、第１仮想投影面と第２仮想投影面との間の境界を識別可能に表示する。詳細は後述する。

更新判定部１４１４は、第１仮想投影面に投影した過去画像を更新するか否かを、例えば、車両１が所定距離（例えば数メートル）移動したか否かにより判定する。また、更新判定部１４１４は、第２仮想投影面に投影した現在画像を更新するか否かを、例えば、所定時間（例えば数十ミリ秒）経過したか否かにより判定する。

図６は、第１実施形態の周辺監視装置１００における撮像画像の仮想投影面への投影を説明するための模式図である。画像処理部１４１３は、撮像部１５によって得られた撮像画像データに基づいて視点画像を生成する。視点画像とは、撮像画像が投影された仮想投影面を仮想視点から見た画像であって、例えば、仮想投影変換や視点変換された画像である。画像処理部１４１３は、撮像部１５による撮像画像データに対して座標変換や投影変換等の画像処理を行うことにより、視点画像のデータを得る。

図６の例では、仮想投影面Ｓｐは、地面Ｇｒ（路面）に沿った底面Ｓｐｇ（第１仮想投影面）と、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓ（第２仮想投影面）と、を有している。地面Ｇｒは、車両１の上下方向Ｚと直交する水平面であり、タイヤの接地面でもある。底面Ｓｐｇは、略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接した曲面である。図６に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の上下方向Ｚに沿う中心線ＣＬ周りの回転面として構成され、車両１の周囲を取り囲んでいる。

画像処理部１４１３は、撮像画像を仮想投影面Ｓｐに投影した場合の仮想投影画像を算出する。撮像画像Ｉｃを地面Ｇｒに投影すると、撮像部１５から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図６からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。

なお、図６では、撮像画像を車両１の側方の仮想投影面Ｓｐに投影する場合について説明したが、撮像画像を車両１の前方（または後方）の仮想投影面Ｓｐに投影する場合についても同様である。

図７は、第１実施形態の周辺監視装置１００における撮像画像の仮想投影面への投影を説明するための模式図である。図７に示されるように、画像処理部１４１３は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ（図７には不図示。図６参照）を、所定の視点Ｅｐから斜め下方を見た視点画像に変換する。視点Ｅｐは、例えば、車両１の床下や床下付近の路面を臨む位置に設定される。

図８は、第１実施形態の画像処理部１４１３による周辺画像の生成を説明するための模式図である。図８は、仮想空間２０３において、撮像位置ＰＴ０から太線矢印ＡＲ１に沿って仮想位置ＰＴ１まで移動した状態における車両１および車両１の周辺の概略の平面図である。なお、図８では、撮像位置ＰＴ０の車両１を点線で示す。

画像処理部１４１３は、図８に示すように、実空間（例えば、ワールド座標）における車両１の現在位置に応じた車両１の仮想位置ＰＴ１を仮想空間２０３内に設定する。画像処理部１４１３は、第１仮想投影面２０１（図６、図７の底面Ｓｐｇに対応）と第２仮想投影面２０２（図６、図７の側面Ｓｐｓに対応）からなる仮想投影面２００に投影した撮像画像を、車両１の仮想位置ＰＴ１に基づいて設定された仮想視点ＶＶ１（図７の視点Ｅｐに対応）から見た画像を周辺画像として生成する。例えば、画像処理部１４１３は、仮想視点ＶＶ１を起点とし、当該起点から進行方向（例えば、前方）に沿った方向として定められる仮想視線の両側の領域から予め定められた設定角度の領域（例えば、図８のドット領域）で見える画像を周辺画像として生成する。なお、画像処理部１４１３は、仮想視点ＶＶ１の位置を車両１の現在位置または仮想位置ＰＴ１に応じて任意で設定してよい。

なお、図８では、図示の都合上、第１仮想投影面２０１と第２仮想投影面２０２が図８の横方向に延びた形状としたが、図６、図７と同様、それらが車両１の中心Ｇｃ（図６）を通り車両１の上下方向に沿う中心線ＣＬ（図６）周りの回転面として構成され、車両１の周囲を取り囲んでいてもよい。

画像処理部１４１３は、生成した周辺画像に、例えば、車両１の画像である車両画像を重畳させてもよい。この車両画像は、例えば、撮像部１５によって撮像された画像ではなく、予め記憶部１４２に記憶されている画像である。

図９は、第１実施形態において車両１の側面から見た場合の第１仮想投影面２０１と第２仮想投影面２０２とを示す模式図である。図１０は、第１実施形態における車両前方の三次元仮想空間を示す模式図である。図１１は、第１実施形態における表示例を示す模式図である。

上述の図６、図７を参照して説明した内容や、図９～図１１からわかるように、周辺画像全体として立体感を増すためには、第２仮想投影面２０２を車両１からなるべく近い位置から立ち上げることが好ましい。また、第１仮想投影面２０１は、移動物が存在する可能性が低いエリアである。一方、第２仮想投影面２０２は、移動物が存在する可能性が高いエリアである。そのような第２仮想投影面２０２に現在画像を投影することで、周辺画像に移動物をリアルタイムに表示することができる。なお、第１仮想投影面２０１を平坦にすることで、車両１の車輪３と路面との位置関係を正しく表示することができる。

また、図１０、図１１に示すように、画像処理部１４１３は、周辺画像における第１仮想投影面２０１と第２仮想投影面２０２との間の境界を識別可能に表示する一例として、第１仮想投影面２０１と第２仮想投影面２０２との間に境界線２０４を表示する。これにより、乗員は、表示における過去画像の部分と現在画像の部分とを明確に識別することができる。また、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２との間の境界を識別可能に表示する他の例として、第１仮想投影面２０１と第２仮想投影面２０２とを分離して表示したり、第１仮想投影面２０１と第２仮想投影面２０２との輝度や色などの表示態様を異ならせて表示したりしてもよい。なお、このような第１仮想投影面２０１と第２仮想投影面２０２との間の境界を識別可能に表示する処理は、第１仮想投影面２０１に過去画像を表示するとともに第２仮想投影面２０２に現在画像を表示する場合にのみ行う。つまり、第１仮想投影面２０１と第２仮想投影面２０２の両方について、所定時刻に撮影した一枚の過去画像を用いて表示する場合は、つなぎ目のない連続した画像となり、より見やすい画像表示とすることができる。

また、画像処理部１４１３は、第２仮想投影面２０２をカラー表示とし、第１仮想投影面２０１をモノクロ表示やセピア表示としてもよい。そうすることで、第１仮想投影面２０１が過去画像であることを乗員に対して強調することができる。また、第１仮想投影面２０１を単一色にすることで、乗員が当該部分の画像を鮮明に感じるという効果もある。

次に、図１２を参照して、第１実施形態の周辺監視装置１００による周辺画像の生成処理について説明する。図１２は、第１実施形態の周辺監視装置１００による周辺画像の生成処理を示すフローチャートである。

まず、表示判定部１４１２は、表示装置８に対する周辺画像の表示を開始するか否かを判定し（ステップＳ１）、Ｙｅｓの場合はステップＳ２に進み、Ｎｏの場合はステップＳ１に戻る。このステップＳ１では、表示判定部１４１２は、例えば、車輪速センサ２２から取得したセンサ値に基づいて算出した車速が予め定められた閾値車速未満の場合、周辺画像の表示を開始すると判定する。

ステップＳ２において、画像処理部１４１３は、第１仮想投影面２０１に、記憶部１４２に記憶された過去の撮像画像データ（例えば数メートル前に撮像された画像データ）における対応する画像（過去画像）を投影する。

次に、ステップＳ３において、取得部１４１１は、撮像部１５から現在の撮像画像データを取得する。

次に、ステップＳ４において、画像処理部１４１３は、第２仮想投影面２０２に、ステップＳ３で取得した現在の撮像画像データにおける対応する画像（現在画像）を投影する。

次に、ステップＳ５において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２による周辺画像を表示装置８に表示する（図１１参照）。このステップＳ５において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２の間に境界線２０４を表示する処理も併せて行う。

次に、ステップＳ６において、更新判定部１４１４は、ステップＳ２の後に車両１が所定距離（例えば数メートル）移動したか否かを判定し、Ｙｅｓの場合はステップＳ２に戻り、Ｎｏの場合はステップＳ７に進む。ステップＳ６でＹｅｓの場合、ステップＳ２で第１仮想投影面２０１の過去画像が更新されることになる。

ステップＳ７において、更新判定部１４１４は、ステップＳ４の後に所定時間（例えば数十ミリ秒）経過したか否かを判定し、Ｙｅｓの場合はステップＳ３に戻り、Ｎｏの場合はステップＳ８に進む。ステップＳ７でＹｅｓの場合、ステップＳ３以降で第２仮想投影面２０２の現在画像が更新されることになる。

ステップＳ８において、表示判定部１４１２は、表示装置８に対する周辺画像の表示を終了するか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ６に戻る。このステップＳ８では、表示判定部１４１２は、例えば、車輪速センサ２２から取得したセンサ値に基づいて算出した車速が予め定められた閾値車速以上の場合、周辺画像の表示を終了すると判定する。

このように、第１実施形態の周辺監視装置１００によれば、車両１の床下や床下付近を含む周辺画像を表示する場合に、車両１の床下または床下付近の路面を含む第１の領域については過去画像を用いて表示し、路面から上方の領域を含む第２の領域については現在画像を用いて表示することで、周辺画像の領域内における現在の移動物も併せて表示できる。したがって、乗員は、このような現在の移動物も併せて表示できる周辺画像を見ることで、現在の移動物も含めて運転時の各種判断の参考にすることができる。

また、過去画像を用いて表示される第１仮想投影面２０１と、現在画像を用いて表示される第２仮想投影面２０２との間の境界を識別可能に表示することで、乗員は、表示における過去画像の部分と現在画像の部分とを明確に識別することができ、使いやすい。

（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。図１３は、第２実施形態の周辺監視装置１００のＥＣＵ１４の構成等を示すブロック図である。図１３のＥＣＵ１４は、図５のＥＣＵ１４と比較して、制御部１４１に移動物判定部１４１５が追加されている点で相違する。

移動物判定部１４１５は、取得部１４１１によって取得された、撮像部１５からの撮像画像データ、および、測距部１６や測距部１７からの検出データの少なくともいずれかに基づいて、車両１の進行方向に移動物が存在するか否かを判定する。

そして、画像処理部１４１３は、車両１の進行方向の周辺画像を表示装置８に表示する場合に、移動物判定部１４１５によって移動物が存在すると判定されていないときには、第１の領域および第２の領域の両方について、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を用いて表示する。

また、画像処理部１４１３は、移動物判定部１４１５によって移動物が存在すると判定されたときには、第１の領域（第１仮想投影面２０１）については、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、第２の領域（第２仮想投影面２０２）については、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替える。

図１４は、第２実施形態の周辺監視装置１００による周辺画像の生成処理を示すフローチャートである。まず、表示判定部１４１２は、表示装置８に対する周辺画像の表示を開始するか否かを判定し（ステップＳ１０１）、Ｙｅｓの場合はステップＳ１０２に進み、Ｎｏの場合はステップＳ１０１に戻る。

ステップＳ１０２において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２に、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像（過去画像）を投影する。

次に、ステップＳ１０３において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２による周辺画像を表示装置８に表示する。このステップＳ１０３において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２の間に境界線を表示する処理は行わない。

次に、ステップＳ１０４において、移動物判定部１４１５は、取得部１４１１によって取得された、撮像部１５からの撮像画像データ、および、測距部１６や測距部１７からの検出データの少なくともいずれかに基づいて、車両１の進行方向に移動物が存在するか否かを判定し、Ｙｅｓの場合はステップＳ１０７に進み、Ｎｏの場合はステップＳ１０５に進む。

ステップＳ１０５において、更新判定部１４１４は、ステップＳ１０２の後に車両１が所定距離（例えば数メートル）移動したか否かを判定し、Ｙｅｓの場合はステップＳ１０２に戻り、Ｎｏの場合はステップＳ１０６に進む。ステップＳ１０５でＹｅｓの場合、ステップＳ１０２で第１仮想投影面２０１と第２仮想投影面２０２の過去画像が更新されることになる。

ステップＳ１０６において、表示判定部１４１２は、表示装置８に対する周辺画像の表示を終了するか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ１０４に戻る。

ステップＳ１０７において、画像処理部１４１３は、第１仮想投影面２０１に、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像（過去画像）を投影する。

次に、ステップＳ１０８において、取得部１４１１は、撮像部１５から現在の撮像画像データを取得する。

次に、ステップＳ１０９において、画像処理部１４１３は、第２仮想投影面２０２に、ステップＳ１０８で取得した現在の撮像画像データにおける対応する画像（現在画像）を投影する。

次に、ステップＳ１１０において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２による周辺画像を表示装置８に表示する（図１１参照）。このステップＳ１１０において、画像処理部１４１３は、第１仮想投影面２０１と第２仮想投影面２０２の間に境界線２０４（図１１）を表示する処理も併せて行う。

次に、ステップＳ１１１において、移動物判定部１４１５は、移動物が存在しなくなってから第２所定時間（例えば１分）経過したか否かを判定し、Ｙｅｓの場合はステップＳ１０２に戻り、Ｎｏの場合はステップＳ１１２に進む。ステップＳ１１１でＹｅｓの場合、ステップＳ１０２以降で第１仮想投影面２０１と第２仮想投影面２０２の両方に過去画像が表示される状態に戻ることになる。

ステップＳ１１２において、更新判定部１４１４は、ステップＳ１０７の後に車両１が所定距離（例えば数メートル）移動したか否かを判定し、Ｙｅｓの場合はステップＳ１０７に戻り、Ｎｏの場合はステップＳ１１３に進む。ステップＳ１１２でＹｅｓの場合、ステップＳ１０７で第１仮想投影面２０１の過去画像が更新されることになる。

ステップＳ１１３において、更新判定部１４１４は、ステップＳ１０９の後に所定時間（例えば数十ミリ秒）経過したか否かを判定し、Ｙｅｓの場合はステップＳ１０８に戻り、Ｎｏの場合はステップＳ１１４に進む。ステップＳ１１３でＹｅｓの場合、ステップＳ１０８以降で第２仮想投影面２０２の現在画像が更新されることになる。

ステップＳ１１４において、表示判定部１４１２は、表示装置８に対する周辺画像の表示を終了するか否かを判定し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合はステップＳ１１１に戻る。

このように、第２実施形態の周辺監視装置１００によれば、移動物が存在しないときは、第１の領域（第１仮想投影面２０１）および第２の領域（第２仮想投影面２０２）の両方について、所定時刻に撮影した一枚の過去画像を用いて表示することで、つなぎ目のない連続した画像とすることができる。また、移動物が存在すると判定されると、第２の領域（第２仮想投影面２０２）については、現在画像を用いて表示するように切り替えることで、周辺画像の領域内における現在の移動物も併せて表示できる。

（第３実施形態）
次に、第３実施形態について説明する。第１実施形態、第２実施形態の少なくともいずれかと同様の事項については、説明を適宜省略する。図１５は、第３実施形態の周辺監視装置１００のＥＣＵ１４の構成等を示すブロック図である。図１５のＥＣＵ１４は、図１３のＥＣＵ１４と比較して、制御部１４１に画像切替判定部１４１６が追加されている点で相違する。

この第３実施形態では、画像処理部１４１３は、移動物判定部１４１５によって移動物が存在すると判定されたときには、第１の領域（第１仮想投影面２０１）については、記憶部１４２に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、第２の領域（第２仮想投影面２０２）については、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えることを乗員に促す画面を表示する。この乗員に促す画面は、例えば、第２の領域（第２仮想投影面２０２）について、輝度を下げる等により暗くする、あるいは、赤く表示、点滅させる等により実現できる。

画像切替判定部１４１６は、この乗員に促す画面において乗員が画面切替操作を行ったか否かを判定する。画像切替判定部１４１６は、例えば、表示装置８の表示画面に表示される画像に対応した位置において乗員が手指等によって操作入力部１０を触れたり押したり動かしたりする操作を行ったか否かにより当該判定を行う。

図１６は、第３実施形態の周辺監視装置１００による周辺画像の生成処理を示すフローチャートである。図１６のフローチャートは、図１４のフローチャートと比較して、ステップＳ１２１とステップＳ１２２が追加している点でのみ相違するので、同様の点については説明を省略する。

ステップＳ１０４でＹｅｓの場合、ステップＳ１２１において、画像処理部１４１３は、第２の領域（第２仮想投影面２０２）について、取得部１４１１によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えることを乗員に促す画面を表示する。

次に、ステップＳ１２２において、画像切替判定部１４１６は、当該画面において乗員が画面切替操作を行ったか否かを判定し、Ｙｅｓの場合はステップＳ１０７に進み、Ｎｏの場合はステップＳ１０５に進む。

このように、第３実施形態の周辺監視装置１００によれば、移動物が存在しないときは、第１の領域（第１仮想投影面２０１）および第２の領域（第２仮想投影面２０２）の両方について、所定時刻に撮影した一枚の過去画像を用いて表示することで、つなぎ目のない連続した画像とすることができる。また、移動物が存在すると判定されると、第２の領域（第２仮想投影面２０２）については、現在画像を用いて表示するように切り替えることを乗員に促す画面を表示することで、乗員はその画面切り替えをするか否かを自由に選択することができる。

（第４実施形態）
次に、第４実施形態について説明する。第１実施形態～第３実施形態の少なくともいずれかと同様の事項については、説明を適宜省略する。ＥＣＵ１４の構成としては、図１３に示したものとなる。

この第４実施形態では、画像処理部１４１３は、車両１の進行方向の周辺画像を表示装置８に表示する場合に、移動物判定部１４１５によって移動物が存在すると判定されたときには、周辺画像における移動物の位置に基づいて第１仮想投影面２０１と第２仮想投影面２０２の境界部分（境界線２０４、分離部分等）を移動させる。

図１７は、第４実施形態の周辺監視装置１００による周辺画像の生成処理を示すフローチャートである。図１２のフローチャートと同様の処理（ステップ）については説明を適宜省略する。

ステップＳ５の後、ステップＳ３１において、移動物判定部１４１５は、取得部１４１１によって取得された、撮像部１５からの撮像画像データ、および、測距部１６や測距部１７からの検出データの少なくともいずれかに基づいて、車両１の進行方向に移動物が存在するか否かを判定し、Ｙｅｓの場合はステップＳ３２に進み、Ｎｏの場合はステップＳ３４に進む。

ステップＳ３２において、画像処理部１４１３は、２つの仮想投影面（第１仮想投影面２０１、第２仮想投影面２０２）の境界部分を移動させる必要があるか否かを判定し、Ｙｅｓの場合はステップＳ３３に進み、Ｎｏの場合はステップＳ６に進む。このステップＳ３２では、画像処理部１４１３は、例えば、周辺画像における移動物の面積の所定割合以上が第１仮想投影面２０１に入っていれば、当該境界部分を移動させる必要があると判定するが、これに限定されない。

ステップＳ３３において、画像処理部１４１３は、２つの仮想投影面の境界部分を移動させる。このステップＳ３３では、画像処理部１４１３は、例えば、周辺画像における移動物の第１仮想投影面２０１に入っている面積の割合が所定未満になるように、当該境界部分を移動させる。ここで、図１８は、第４実施形態における第１仮想投影面２０１と第２仮想投影面２０２との境界部分の移動を説明するための模式図である。図１８に示すように、画像処理部１４１３は、当該境界部分を、車両１に近付くように、または、車両１から遠ざかるように移動させる。

図１７に戻って、ステップＳ３４において、移動物判定部１４１５は、移動物が存在しなくなってから第２所定時間（例えば１分）経過したか否かを判定し、Ｙｅｓの場合はステップＳ３５に進み、Ｎｏの場合はステップＳ６に進む。

ステップＳ３５において、画像処理部１４１３は、当該境界部分を再設定する（例えば初期設定に戻す）。ステップＳ３５の後、ステップＳ６に進む。

このように、第４実施形態の周辺監視装置１００によれば、移動物が存在すると判定されたときに、周辺画像における移動物の位置に基づいて第１仮想投影面２０１と第２仮想投影面２０２の境界部分を移動させることで、移動物の存在を乗員により気づかせやすくすることができる。なお、画像処理部１４１３は、周辺画像を生成する場合の仮想視点を、移動物を見やすい位置に変えてもよい。

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、８…表示装置、１４…ＥＣＵ、１００…周辺監視装置、１４１…制御部、１４２…記憶部、１４１１…取得部、１４１２…表示判定部、１４１３…画像処理部、１４１４…更新判定部、１４１５…移動物判定部、１４１６…画像切替判定部、１５…撮像部、１６…測距部、１７…測距部、２２…車輪速センサ、２０１…第１仮想投影面、２０２…第２仮想投影面、２０３…仮想空間、２０４…境界線。

Claims

車両の進行方向の路面、および、前記路面から上方の領域を含む領域を撮像する撮像部から撮像画像データを取得する取得部と、
前記撮像画像データを記憶する記憶部と、
前記車両の進行方向の周辺画像を表示部に表示する場合に、
前記車両の床下または床下付近の路面を含む第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、
前記路面から上方の領域を含む第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示する画像処理部と、
前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部と、を備え、
前記画像処理部は、
前記車両の進行方向の周辺画像を表示部に表示する場合に、
前記移動物判定部によって前記移動物が存在すると判定されていないときには、前記第１の領域および前記第２の領域の両方について、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、
前記移動物判定部によって前記移動物が存在すると判定されたときには、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替える、周辺監視装置。
前記画像処理部は、
前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を、三次元仮想空間上で前記路面に対応する平面として設定された第１仮想投影面に投影することで表示し、
前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を、前記三次元仮想空間上で前記第１仮想投影面の端部またはその付近から立ち上がるように設定された第２仮想投影面に投影することで表示し、
前記第１仮想投影面と前記第２仮想投影面との間の境界を識別可能に表示する、請求項１に記載の周辺監視装置。
車両の進行方向の路面、および、前記路面から上方の領域を含む領域を撮像する撮像部から撮像画像データを取得する取得部と、
前記撮像画像データを記憶する記憶部と、
前記車両の進行方向の周辺画像を表示部に表示する場合に、
前記車両の床下または床下付近の路面を含む第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、
前記路面から上方の領域を含む第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示する画像処理部と、
前記取得部によって取得された、前記撮像部からの撮像画像データ、および、前記車両に設けられた測距センサからの検出データの少なくともいずれかに基づいて前記車両の進行方向に移動物が存在するか否かを判定する移動物判定部と、を備え、
前記画像処理部は、
前記車両の進行方向の周辺画像を表示部に表示する場合に、
前記移動物判定部によって前記移動物が存在すると判定されていないときには、前記第１の領域および前記第２の領域の両方について、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示し、
前記移動物判定部によって前記移動物が存在すると判定されたときには、前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を用いて表示するとともに、前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を用いて表示するように切り替えることを乗員に促す画面を表示する、周辺監視装置。
前記画像処理部は、
前記第１の領域については、前記記憶部に記憶された過去の撮像画像データにおける対応する画像を、三次元仮想空間上で前記路面に対応する平面として設定された第１仮想投影面に投影することで表示し、
前記第２の領域については、前記取得部によって取得された現在の撮像画像データにおける対応する画像を、前記三次元仮想空間上で前記第１仮想投影面の端部またはその付近から立ち上がるように設定された第２仮想投影面に投影することで表示し、
前記第１仮想投影面と前記第２仮想投影面との間の境界を識別可能に表示する、請求項３に記載の周辺監視装置。
前記画像処理部は、前記車両の進行方向の周辺画像を表示部に表示する場合に、前記移動物判定部によって前記移動物が存在すると判定されたときには、前記周辺画像における前記移動物の位置に基づいて前記第１仮想投影面と前記第２仮想投影面の境界部分を移動させる、請求項２または請求項４に記載の周辺監視装置。