以下、実施形態を図面に基づいて説明する。
まず、図1〜図3を参照して、実施形態による車両1の全体構成について説明する。
実施形態による車両1は、たとえば、エンジンなどの内燃機関を駆動源DSとする車両(内燃機関自動車)であってもよいし、モータなどの電動機を駆動源DSとする車両(電気自動車、燃料電池自動車など)であってもよい。また、車両1は、これらの双方を駆動源とする車両(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品など)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式、数、レイアウトなどは、種々に設定することができる。
図1に示すように、実施形態による車両1は、乗員(図示せず)が乗車する車室2aを構成する車体2を備える。車室2a内には、乗員としての運転者の座席2bに対応するように、操舵部4と、加速操作部5と、制動操作部6と、変速操作部7とが設けられている。たとえば、操舵部4は、ダッシュボード(インストルメントパネル)から突出したステアリングホイールであり、加速操作部5は、運転者の足下に位置されたアクセルペダルである。また、たとえば、制動操作部6は、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、センターコンソールから突出したシフトレバーである。なお、実施形態による操舵部4、加速操作部5、制動操作部6、変速操作部7は、ここで挙げた構成に限定されるものではない。
また、車室2a内には、表示装置8と、音声出力装置9とが設けられている。表示装置8は、たとえば、液晶ディスプレイや、有機EL(Electroluminescent)ディスプレイなどである。また、音声出力装置9は、たとえば、スピーカである。ここで、実施形態による表示装置8は、タッチパネルなどの操作入力部10を備える。車両1の乗員は、操作入力部10を手指などでタッチすることにより、表示装置8に表示される画像(映像)に対して種々の操作入力(指示入力)を実行することができる。なお、図1に示した例では、表示装置8(操作入力部10)と、音声出力装置9とは、ダッシュボードの車幅方向(左右方向)の中央部に位置するモニタ装置11に設けられている。モニタ装置11は、ナビゲーションシステムやオーディオシステムなどとして用いられ、スイッチ、ダイヤル、ジョイスティック、押しボタンなどの操作入力部(図示せず)を有することができる。
図1〜図3に示すように、実施形態による車両1は、四輪の自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。前輪3Fのタイヤ角は、たとえば操舵部4(ステアリングホイール)の操作に応じて変化(転舵)する。実施形態で用いられる操舵システム12(図4参照)は、たとえば、電動パワーステアリングシステムや、SBW(steer by wire)システムなどである。図4に示すように、操舵システム12は、アクチュエータ12aによって操舵部4にトルク(アシストトルク)を付加して操舵力を補い、前輪3Fを操舵する。
ここで、実施形態による車両1には、複数のカメラ16が設けられている。カメラ16は、たとえば、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を備えた撮像デバイスである。カメラ16は、所定のフレームレートで撮像画像データ(動画データ、フレームデータ)を出力することができる。カメラ16は、広角レンズを有し、水平方向にたとえば140°〜220°の範囲(視野角)を撮像することができる。ここで、実施形態によるカメラ16の光軸は、鉛直方向や斜め下方などの下方に向けて設定されている。これにより、実施形態によるカメラ16は、車両1が移動可能な路面と、当該路面から上方の領域とを含む車体2の周辺の状況を撮像することができる。
図1〜図3に示した例では、フロントカメラ16aと、サイドカメラ16bと、リアカメラ16cと、サイドカメラ16dとの4つのカメラ16が設けられている。フロントカメラ16aは、車体2の前側(車両前後方向の前方側)の端部2c(平面視での端部)に位置し、車体2のフロントグリルなどに設けられている。また、サイドカメラ16bは、車体2の左側(車幅方向の左側)の端部2dに位置し、左側のサイドミラー2gに設けられている。また、リアカメラ16cは、車体2の後側(車両前後方向の後方側)の端部2eに位置し、リヤトランクのドア2hの下方の壁部などに設けられている。また、サイドカメラ16dは、車体2の右側(車幅方向の右側)の端部2fに位置し、右側のサイドミラー2gに設けられている。なお、カメラ16の設置位置は、これらに制限されるものではなく、車両に対してフロント方向の撮像画像データ、左右サイド方向の撮像画像データ、リア方向の撮像画像データを取得できれば、カメラ16がどのような位置に設置されてもよい。
ここで、図2および図3に示すように、実施形態によるサイドミラー2gは、手動または自動で開閉可能に構成されている。サイドカメラ16bおよび16dは、サイドミラー2gに固定されているので、サイドカメラ16bおよび16dの視野は、サイドミラー2gの開閉に応じて変化する。つまり、サイドミラー2gが開いた状態(図2参照)と、サイドミラー2gが閉じた状態(図3参照)とでは、サイドカメラ16bおよび16dの視野が異なる。図2には、サイドミラー2gが開いた状態におけるサイドミラー2gの視野V1の例を示し、図3には、サイドミラー2gが閉じた状態におけるサイドカメラ16dの視野V2の例を示している。
次に、図4を参照して、実施形態による周辺監視装置100の構成について説明する。
図4に示すように、周辺監視装置100は、モニタ装置11と、周辺監視ECU(electronic control unit)14と、ブレーキシステム18と、舵角センサ(角度センサ)19と、アクセルセンサ20と、シフトセンサ21と、車輪速センサ22と、加速度センサ26とを備える。これらのモジュールは、CAN(controller area network)などの車内ネットワーク23を介して電気的に接続されている。
周辺監視ECU14は、車内ネットワーク23を介して制御信号を送ることで、周辺監視装置100の各部を制御するように構成されている。また、周辺監視ECU14は、車内ネットワーク23を介して、トルクセンサ12b、ブレーキセンサ18b、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22、加速度センサ26などによる検出結果を受信することが可能なように構成されている。また、周辺監視ECU14は、操作入力部10などから出力される、乗員の操作入力に対応した信号(制御信号、指示信号、操作信号、入力信号、データなど)を受信することが可能なように構成されている。なお、図4に示した例では、加速度センサ26は、2個設けられている。2個の加速度センサ26aおよび26bは、それぞれ、車両1の前後方向の加速度および左右方向の加速度を検出するように構成されている。このような2個の加速度センサ26aおよび26bは、ESC(electronic stability control)を搭載した車両に一般的に設けられている。つまり、実施形態による車両1は、ESC搭載車両であるものとする。
周辺監視ECU14は、通常のコンピュータを利用したハードウェア構成を有する。つまり、周辺監視ECU14は、ハードウェア構成として、CPU(central processing unit)14aと、ROM(read only memory)14bと、RAM(random access memory)14cとを備える。また、周辺監視ECU14は、表示制御部14dと、音声制御部14eと、EEPROM(electrically erasable programmable read only memory)14fとを備える。なお、RAM14cと、EEPROM14fとは、後述する俯瞰画像を記憶するための俯瞰画像メモリ14gとして機能する。EEPROM14fは、「第1メモリ」の一例であり、RAM14cは、「第2メモリ」の一例である。
CPU14aは、各種コンピュータプログラムを実行することにより、各種制御処理を実行するように構成された制御部である。CPU14aは、たとえば、車両1の移動経路の演算や、車両1と物体との干渉の有無の判断などを実行するように構成されている。また、ROM14bは、CPU14aが実行する各種コンピュータプログラムなどを記憶するように構成された不揮発性のメモリである。CPU14aは、ROM14bから各種コンピュータプログラムを読み出して実行することにより、上記の各種制御処理を実行するように構成されている。なお、RAM14cは、CPU14aが各種コンピュータプログラムを実行する際の作業領域を提供するメインメモリである。
表示制御部14dは、周辺監視ECU14での制御処理のうち、主として、カメラ16で得られた撮像画像データを用いた画像処理や、表示装置8に出力する表示データ(画像データ、映像データ)に関連した表示処理などを実行するように構成されている。また、音声制御部14eは、周辺監視ECU14での制御処理のうち、主として、音声出力装置9に出力する音声データに関連した音声処理を実行するように構成されている。また、EEPROM14fは、書き換え可能な不揮発性のメモリであり、車両1の駆動源DS(図2および図3参照)がオフになって周辺監視ECU14の電源がオフになった場合でもデータを記憶することが可能なように構成されている。なお、実施形態では、CPU14a、ROM14b、およびRAM14cは、同一パッケージ内に集積されることができる。また、実施形態では、CPU14aに替えて、DSP(digital signal processor)などの他の論理演算プロセッサや論理回路が用いられてもよい。また、実施形態では、EEPROM14fに替えて、HDD(hard disk drive)やSSD(solid state drive)などのストレージデバイスが設けられてもよい。この場合、ストレージデバイスは、周辺監視ECU14とは別個に設けられてもよい。
次に、図5〜図10を参照して、実施形態による周辺監視ECU14内に実現される周辺監視部400の機能的構成について説明する。
図5に示すように、周辺監視部400は、機能的構成として、取得部401と、画像処理部402と、保存処理部403と、読出処理部404と、比較処理部405と、出力部406とを備える。これらの各モジュールは、周辺監視ECU14のCPU14aが所定のコンピュータプログラムを実行した結果としてRAM14c上に生成される。ここで実行される所定のコンピュータプログラムは、ROM14bに予め組み込まれた状態で提供されてもよいし、コンピュータで読み取り可能な他の記録媒体を介して提供されてもよいし、ネットワーク経由で提供されてもよい。
取得部401は、複数のカメラ16によって撮像された複数の撮像画像を、車両1の周辺の状況を示す周辺情報として取得するように構成されている。画像処理部402は、取得部401により取得された複数の撮像画像を視点変換して合成することにより、車両1の周辺を上方から俯瞰した俯瞰画像(図6および図7参照)を生成するように構成されている。
ここで、車両1が停車(駐車)する時と、車両1が停車から発進する時とで時間間隔が空いている場合、車両1の周辺の状況が変化する場合がある。たとえば、車両1が縦列停車を行った場合では、車両1の前方または後方に停車する車両の入れ替わりなどが発生すると、車両1と、当該車両1の前方または後方に停車している車両との間の車両間隔が停車時よりも狭くなる場合がある。この場合、過去の(停車時の)感覚で車両1を発進させると、車両1が前方または後方に停車している車両に接触してしまうおそれがある。また、たとえば、停車中の車両1から乗員が離れている時に車両1の周辺の気づきにくい位置に障害物が置かれると、戻ってきた乗員が、障害物を見落とす場合がある。さらに、たとえば、信号待ちなどでの停車中に車両の側方に人やバイクなどの障害物が接近した場合、停車中に運転者がテレビなどを見ていると、運転者が障害物の接近に気付かない場合がある。これらの場合、過去の(停車時の)感覚で車両1を発進させると、車両1が障害物に接触してしまうおそれがある。
そこで、実施形態では、停車時における車両1の周辺の状況と、停車からの発進時における車両1の周辺の状況との差異を乗員に通知することが可能な構成を提供することにした。以下、このような効果を実現するための構成についてより具体的に説明する。
実施形態による取得部401は、複数の撮像画像を、車両1の停車時に取得するように構成されている。そして、画像処理部402は、停車時に取得された複数の撮像画像を合成することにより、停車時における車両1の周辺の状況を示す第1の周辺情報に対応する第1の合成画像として、停車時の俯瞰画像(図6参照)を生成するように構成されている。図6の俯瞰画像IM1には、一例として、車両1を示すマーク(表示、シンボル)M1が表示されている。保存処理部403は、画像処理部402により生成された停車時の俯瞰画像を、俯瞰画像メモリ14g(RAM14c、EEPROM14f)に保存するように構成されている。
ここで、保存処理部403は、停車時に車両1が満たしている条件に応じて、停車時の俯瞰画像の保存先を、揮発性のRAM14cと、不揮発性のEEPROM14fとで切り替えるように構成されている。より具体的には、保存処理部403は、停車時に車両1の駆動源DSがオフになる場合、停車時の俯瞰画像を不揮発性のEEPROM14fに保存し、停車時に車両1の駆動源DSがオンのまま維持される場合、停車時の俯瞰画像を揮発性のRAM14cに保存するように構成されている。なお、俯瞰画像の信頼性を担保するために、俯瞰画像を生成して保存する条件(保存条件)として、カメラ16の位置が所定の位置に保たれた状態であること、つまり車両1の全てのドアが閉じた状態(または施錠された状態)であることを要求してもよい。
また、実施形態による取得部401は、複数の撮像画像を、車両1の停車からの発進時にも取得するように構成されている。そして、画像処理部402は、発進時に取得された複数の撮像画像を合成することにより、発進時における車両1の周辺の状況を示す第2の周辺情報に対応する第2の合成画像として、発進時の俯瞰画像(図7参照)を生成するように構成されている。図7の俯瞰画像IM2には、一例として、車両1を示すマークM1に加えて、図6の俯瞰画像IM1には存在しない、停車時に車両1の周辺に置かれた障害物を示すマークM2が表示されている。
読出処理部404は、車両1の停車からの発進時において所定の画像提示条件が満たされた場合に、俯瞰画像メモリ14g(RAM14c、EEPROM14f)から過去の俯瞰画像(停車時の俯瞰画像、図6参照)を読み出すように構成されている。そして、比較処理部405は、俯瞰画像メモリ14gから読み出された過去の俯瞰画像(停車時の俯瞰画像、図6参照)と、発進時に生成した現在の俯瞰画像(発進時の俯瞰画像、図7参照)とを比較するように構成されている。画像提示条件としては、たとえば、駆動源DSがオフからオンになったことや、駆動源DSがオンになった状態で車両1のギアが停車用のギアから走行用のギアに切り替わったことなどが考えられる。このような画像提示条件においても、上記の保存条件と同様に、俯瞰画像の信頼性を担保するために、カメラ16の位置が所定の位置に保たれていること、つまり車両1の全てのドアが閉じている(または施錠されている)ことが要求されてもよい。
ここで、実施形態では、上記のように、サイドミラー2gが開いた状態と、サイドミラー2gが閉じた状態とでは、サイドカメラ16bおよび16dの視野が異なる。そこで、実施形態による画像処理部402は、サイドカメラ16bおよび16dにより撮像された撮像画像(サイド画像)が、サイドミラー2gが開いた状態で撮像されたもの(第1のサイド画像、図2の視点V1に対応)と、サイドミラー2gが閉じた状態で撮像されたもの(第2のサイド画像、図3の視点V2に対応)との2種類存在する場合、第1のサイド画像を利用した俯瞰画像と、第2のサイド画像を利用した俯瞰画像との、2種類の俯瞰画像を生成するように構成されている。そして、比較処理部405は、過去の俯瞰画像と現在の俯瞰画像とを比較する場合、第1のサイド画像に基づいて生成されたもの同士を比較するとともに、第2のサイド画像に基づいて生成されたもの同士を比較するように構成されている。なお、第1のサイド画像と、第2のサイド画像とは、視点変換などの処理により、視点を揃えることも可能である。したがって、実施形態では、第1のサイド画像に基づいて生成された俯瞰画像と、第2のサイド画像に基づいて生成された俯瞰画像とを比較することも可能である。
出力部406は、比較処理部405による比較結果に基づいて、停車時における車両1の周辺の状況を示す第1の周辺情報と、停車からの発進時における車両1の周辺の状況を示す第2の周辺情報との差異を出力するように構成されている。より具体的には、出力部406は、第1の周辺情報としての過去の俯瞰画像(図6参照)と、第2の周辺情報としての現在の俯瞰画像(図7参照)との差分に基づく差分画像(図8参照)を表示装置8に表示するように構成されている。図8の差分画像IM3には、一例として、過去の俯瞰画像としての図6の俯瞰画像IM1と、現在の俯瞰画像としての図7の俯瞰画像IM2との差異、すなわち車両1の周辺に置かれた障害物を示すマークM2が表示されている。このような差分画像IM3を生成する方法としては、俯瞰画像IM1およびIM2の画素値の差の総和(SSD; sum of squared differences)を利用する方法や、俯瞰画像IM1およびIM2の画素値の絶対値の差の総和(SAD; sum of absolute differences)を利用する方法や、俯瞰画像IM1およびIM2のHOG(histogram of gradient)特徴量の差を利用する方法などが考えられる。
実施形態による出力部406は、上記の差分画像(図8参照)を、たとえば図9および図10の画像IM10(IM10aおよびIM10b)のような表示形式で表示装置8に表示させるように構成されている。図9および図10の画像IM10においては、一例として、図7の現在の俯瞰画像IM2が所定のフレームF内に表示されており、このフレームF内の俯瞰画像IM2上に、図8の差分画像IM3に対応する障害物のマークM2が表示されている。また、画像IM10には、一例として、俯瞰画像IM2とは異なる視点の画像IM4が表示されている。なお、画像IM4とは、障害物を含むような視点の画像である。つまり、画像IM4にも、俯瞰画像IM2と同様に、障害物に対応するマークM3が表示されている。
また、実施形態による出力部406は、上記の差分画像(図8参照)を、現在の俯瞰画像(図7参照)上で強調表示するように構成されている。強調表示の方法としては、差分画像に対応する領域(差分が抽出された領域)を点滅させる方法が考えられる。ここでいう点滅には、対象物の強調表示と非表示を所定の時間で交互に切り替えることの他、対象物を表示させたままで表示色を所定の時間で繰り返し変化させることも含まれる。たとえば、実施形態による出力部406は、図8の差分画像IM3に対応するマークM2を強調表示するために、マークM2が通常の色で(カメラ16が撮像した通りの色で)表示された図9の画像IM10aと、マークM2が図9の色とは異なる色で(図9の色を反転させた色やグレースケールなどで)表示された図10の画像IM10bとを短い時間で交互に切り替えるように構成されている。
ここで、強調表示の方法としての、差分画像に対応する領域を点滅させる方法において、差分画像に対応する領域を、カメラ16が撮像した通りの通常の色とは異なる色で表示する方法なども考えられる。この方法は、差分画像に対応する領域に含まれる複数の色成分のうちの特定の色成分を強めることなどによって実現される。たとえば、色成分がR(赤)、G(緑)、およびB(青)の3つである場合において、差分画像に対応する領域の平均色が赤に近い場合、青の色成分を最も強めた色で差分画像に対応する領域を表示すれば、差分画像に対応する領域をユーザの目に付きやすくすることができる。
なお、上記の図9および図10には、差分画像に対応するマークM2のみを強調表示する例を示したが、実施形態では、図11に示すように、マークM2とあわせてフレームFも強調表示してもよい。図11の例では、フレームFが複数(4個)の分割フレームF1〜F4に分割されており、それら複数の分割フレームF1〜F4のうちのマークM2に最も近い分割フレームF1が、マークM2にあわせて強調表示されている。これにより、マークM2をさらに強調することが可能である。
また、上記では、駆動源DSがオフからオンになったことや、駆動源DSがオンになった状態で車両1のギアが停車用のギアから走行用のギアに切り替わったことなどを条件(画像提示条件)として、比較処理を実行して差分画像を表示する例を示したが、実施形態による画像提示条件はこれに限らない。つまり、実施形態では、停車時から発進時までの経過時間、すなわち駆動源DSがオフになってからオンになるまでの経過時間が大きくなり過ぎると、たとえば昼から夜までの時間経過などによって主に周囲の光環境に大きな変化が発生する。このように周囲の光環境に大きな変化が発生すると、過去の俯瞰画像と現在の俯瞰画像との差異が大きくなり過ぎて、上記の比較処理による差分の抽出が困難になり、精度の維持が困難になる。したがって、実施形態では、駆動源DSがオフになってからオンになるまでの経過時間が所定時間以下の場合に上記の比較処理を実行するような構成であってもよい。ただし、周囲の光環境に大きな変化が発生しても適切に(精度よく)差異を抽出できるような構成であれば、上記のような時間制限をなくしてもよい。また、実施形態では、乗員の都合により、駆動源DSがオンになってから実際に出発するまでに一定以上の時間間隔が空くことも考えられる。したがって、実施形態では、駆動源DSがオンになってから所定時間が経過した後に上記の比較処理を再度実行し、比較結果を再度乗員に通知するような構成であってもよい。
次に、図12を参照して、実施形態による周辺監視装置100(周辺監視部400)が車両1の停車時に実行する処理について説明する。
図12の処理フローでは、まず、S1において、取得部401は、複数のカメラ16によって撮像された複数の撮像画像を取得する。
次に、S2において、画像処理部402は、S1において取得された複数の撮像画像に視点変換処理や合成処理を施して、停車時における車両1の周辺の状況を示す俯瞰画像(図6参照)を生成する。
次に、S3において、保存処理部403は、車両1の駆動源DSがオフになるか否かを判断する。
S3において、駆動源DSがオフになると判断された場合、S4に処理が進む。そして、S4において、保存処理部403は、S2において生成された俯瞰画像を不揮発性のEEPROM14fに保存する。そして、処理が終了する。
一方、S3において、駆動源DSがオフにならない、つまり駆動源DSがオンのまま維持されると判断された場合、S5に処理が進む。そして、S5において、保存処理部403は、S2において生成された俯瞰画像を揮発性のRAM14cに保存する。そして、処理が終了する。
上記のS4またはS5の処理が完了すると、処理が終了する。なお、実施形態では、S3において、車両1の駆動源DSがオフになるか否かの判断に加えて、車両1の全てのドアが閉じた状態(または施錠された状態)であるか否かの判断が実行されてもよい。
次に、図13を参照して、実施形態による周辺監視装置100(周辺監視部400)が車両の停車からの発進時に実行する処理について説明する。
図13の処理フローでは、まず、S11において、周辺監視部400は、画像提示条件が満たされているか否かを判断する。実施形態では、前述のように、画像提示条件が満たされる場合として、たとえば、駆動源DSがオフからオンになった場合や、駆動源DSがオンになった状態で車両1のギアが停車用のギアから走行用のギアに切り替わった場合などが考えられる。また、実施形態では、前述のように、画像提示条件が満たされる場合として、駆動源DSがオフになってからオンになるまでの経過時間が所定時間以下である場合や、駆動源DSがオンになってから所定時間が経過した後である場合なども考えられる。なお、これらの場合では、車両1の全てのドアが閉じている(または施錠されている)ことが前提条件となっていてもよい。
上記のS11の判断処理は、画像提示条件が満たされていると判断されるまで繰り返される。S11において、画像提示条件が満たされていると判断された場合、S12に処理が進む。
S12において、取得部401は、複数のカメラ16によって撮像された複数の撮像画像(現在の撮像画像)を取得する。
次に、S13において、画像処理部402は、S12において取得された複数の撮像画像に視点変換処理や合成処理を施して、現在の(つまり、停車からの発進時における)車両1の周辺の状況を示す現在の俯瞰画像(図7参照)を生成する。
次に、S14において、読出処理部404は、図12のS4またはS5によって俯瞰画像メモリ14g(EEPROM14fまたはRAM14c)に保存された過去の俯瞰画像(図6参照)を読み出す。
次に、S15において、比較処理部405は、S13において生成された現在の俯瞰画像(図7参照)と、S14において読み出された過去の俯瞰画像(図6参照)とを比較する。
次に、S16において、出力部406は、S15における比較処理の結果を表示装置8に出力する。つまり、出力部406は、S16において、現在の俯瞰画像(図7参照)と、過去の俯瞰画像(図6参照)との差分を示す差分画像(図8参照)を、たとえば図9および図10に示すような表示形式で表示装置8に表示させる。そして、処理が終了する。
以上説明したように、実施形態では、比較処理部405は、停車時における車両1の周辺の状況を示す第1の周辺情報と、停車からの発進時における車両1の周辺の状況を示す第2の周辺情報とを比較するように構成され、出力部406は、比較処理部405による比較結果に基づいて、第1の周辺情報と第2の周辺情報との差異を出力するように構成されている。より具体的には、比較処理部405は、上記の第1の周辺情報に対応する過去の俯瞰画像(第1の合成画像、図6参照)と、上記の第2の周辺情報に対応する現在の俯瞰画像(第2の合成画像、図7参照)とを比較するように構成され、出力部406は、比較処理部405による比較結果に基づいて、過去の俯瞰画像と現在の俯瞰画像との差異を示す差分画像(図8参照)を表示装置8に表示するように構成されている。これにより、たとえば、停車してから発進するまでの間に車両1の周辺の状況に変化があった場合に、その変化を車両1の乗員に通知することができる。また、車両1の周辺の状況の変化を、乗員が認識しやすい視覚的な方法を用いて通知することができる。
また、実施形態では、保存処理部403は、停車時に車両1の駆動源DSがオフになる場合、過去の俯瞰画像(図6参照)を、不揮発性のEEPROM14fに保存し、停車時に車両1の駆動源DSがオンのまま維持される場合、過去の俯瞰画像を、揮発性のRAM14cに保存するように構成されている。これにより、停車時における車両1の周辺の状況を、車両1の駆動源のオンオフの状態に応じて適切な記憶媒体に保存することができる。
また、実施形態による比較処理部405は、取得部401により取得される撮像画像が、開いた状態のサイドミラー2gのサイドカメラ16bおよび16dにより撮像された第1のサイド画像と、閉じた状態のサイドミラー2gのサイドカメラ16bおよび16dにより撮像された第2のサイド画像との2種類のサイド画像を含む場合、過去の俯瞰画像(図6参照)と現在の俯瞰画像(図7参照)とを比較する際に、第1のサイド画像が合成された俯瞰画像同士を比較し、第2のサイド画像が合成された俯瞰画像同士を比較する。これにより、2種類のサイド画像を用いて比較対象を増やすことができるので、車両1の周辺の状況の変化を精度よく検出することができる。
また、実施形態による出力部406は、たとえば図9〜図11に示したような表示形式で、差分画像(図8参照)を、現在の俯瞰画像(図7参照)上で強調表示する。これにより、車両1の周辺の状況の変化を容易に乗員に通知することができる。
なお、上記の説明では、図5の各モジュールが、ソフトウェア(コンピュータプログラム)とハードウェア(周辺監視ECU14のCPU14a)との協働により実現される例を示したが、実施形態では、図5の各モジュールが、ハードウェアのみによって実現されてもよい。つまり、実施形態では、図5の各モジュールに対応する専用のハードウェア(回路)が周辺監視装置100に設けられてもよい。
また、上記の説明では、ナビゲーションシステムやオーディオシステムなどとして用いられるモニタ装置11が、周辺監視装置100による監視結果の通知用として兼用される例を示したが、実施形態では、周辺監視装置100による監視結果を通知するための専用のモニタ装置が、モニタ装置11とは別個に設けられてもよい。
以上、本発明の実施形態を説明したが、上記の実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上記の実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記の実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。