JP6340969B2 - 周辺監視装置、及びプログラム - Google Patents

周辺監視装置、及びプログラム Download PDF

Info

Publication number
JP6340969B2
JP6340969B2 JP2014144422A JP2014144422A JP6340969B2 JP 6340969 B2 JP6340969 B2 JP 6340969B2 JP 2014144422 A JP2014144422 A JP 2014144422A JP 2014144422 A JP2014144422 A JP 2014144422A JP 6340969 B2 JP6340969 B2 JP 6340969B2
Authority
JP
Japan
Prior art keywords
image
vehicle
current
display
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014144422A
Other languages
English (en)
Other versions
JP2016021653A (ja
Inventor
渡邊　一矢
一矢 渡邊
哲也 丸岡
哲也 丸岡
いつ子 大橋
いつ子 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2014144422A priority Critical patent/JP6340969B2/ja
Priority to EP15176232.5A priority patent/EP2974909B1/en
Priority to US14/797,535 priority patent/US9902323B2/en
Priority to CN201510408282.3A priority patent/CN105282499B/zh
Publication of JP2016021653A publication Critical patent/JP2016021653A/ja
Application granted granted Critical
Publication of JP6340969B2 publication Critical patent/JP6340969B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明の実施形態は、周辺監視装置、及びプログラムに関する。
従来、車両の駐車を支援する技術として、車両に設置されたカメラで、車両の周辺環境を撮像し、撮像結果である撮像画像データを表示することで、運転者に対して運転を支援する技術が提案されている。
特許第４８１５９９３号明細書 特許第５１３３３４０号明細書
しかしながら、従来技術に示すように車両に設置されたカメラで撮像された撮像画像データを表示する場合、表示画像を適宜切り替えることがあるが、表示される表示画面が利用者に違和感を与えないような表示態様となることが望まれている。
本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向の路面と当該路面から上方の領域とを含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、前記記憶部に記憶された撮像画像データのうち現在の車両の床下領域に対応する撮像画像データに基づく過去画像と、前記撮像部により撮影されて出力される新たな撮像画像データに基づく現在画像とのいずれか一方を選択的に表示する表示部と、前記表示部に前記現在画像を表示中に前記過去画像の表示を許可する許可条件が成立した場合に前記過去画像に切り替え、前記過去画像の表示中に前記現在画像に復帰させる復帰条件が成立した場合に前記現在画像に切り替える制御部と、を備える。これにより、床下領域を含む過去画像を表示する場合、過去画像を表示しても運転への影響が少ないように、許可条件が成立した場合に、表示中の現在画像を過去画像に切り替える。同様に、過去画像の表示中に復帰条件が成立した場合に現在画像に切り替える。つまり、現在画像から過去画像または過去画像から現在画像へ表示画面を切り替えたとしても、許可条件または復帰条件で定める画像、つまり現在の条件に適合した画面が表示されるので、現在表示されている画面に関して利用者に違和感を与えないようにできるという効果を奏する。
また、上記周辺監視装置では、例えば、前記制御部は、前記復帰条件が成立した場合、利用者の前記過去画像の表示要求操作の有無に拘わらず前記現在画像に切り替える。よって、例えば、制御部が現在画像に復帰させるべきであると判定した場合は、速やかに現在画像に切り替え、現在の車両周囲の状況を利用者に提示することができるという効果を奏する。
また、上記周辺監視装置では、例えば、前記制御部は、前記過去画像の表示中に車両速度が所定速度を超えた場合に前記復帰条件が成立したと見なして前記現在画像に切り替える。よって、例えば、車両が走行を開始したことにより現在の車両周囲の状況変化に注意を払う必要が生じた場合は、速やかに現在画像に切り替え、現在の車両周囲の状況を利用者に速やかに提示することができるという効果を奏する。
また、上記周辺監視装置では、例えば、前記制御部は、前記過去画像を表示する場合、前記撮像部から出力された新たな前記撮像画像データと前記記憶部に記憶された前記撮像画像データとに基づいて現在の車両位置を推定して当該車両位置を示す画像を前記過去画像に重畳表示する一方、前記車両位置の推定精度が所定値以下の場合に前記復帰条件が成立したと見なして前記現在画像に切り替える。よって、例えば、推定される現在の車両位置を過去画像に重畳することで、利用者の視界から外れている床下の状況を把握し易くすると共に、その床下と現在の車両の位置が把握し易くなる。逆に現在の車両位置の推定精度が低下した場合は、床下と現在の車両の位置が把握し難くなり違和感を与えてしまう虞がある。そこで、推定精度が低下した場合は、速やかに現在画像に切り替えることで、利用者へ与える違和感を抑制すると共に、現在の車両周囲の状況を速やかに利用者に提示することができるという効果を奏する。
また、上記周辺監視装置では、例えば、前記制御部は、前記現在画像を第１表示態様で表示し、前記過去画像を前記第１表示態様と異なる第２表示態様で表示する。よって、例えば、表示中の画像が、現在画像であるか過去画像であるかの識別が容易になるという効果を奏する。
また、上記周辺監視装置では、例えば、前記表示部は、車両の車幅方向左右の側方領域をそれぞれ撮影する側方撮像部から出力された側方撮像画像データに基づく現在側方画像を前記現在画像と前記過去画像の切り替え制御に拘わらず前記現在画像または前記過去画像と共に表示する。よって、例えば、現在側方画像を表示することで、現在画像または過去画像の表示中でも車両側方のリアルタイムの状況変化を利用者に提供できる。その結果、車両側方の状況（物体の存在や接近）を速やかに利用者に提供することができるという効果を奏する。
また、上記周辺監視装置では、例えば、前記制御部は、前記現在画像と前記過去画像として、視点及び画角が略同一の画像を表示する。よって、例えば、現在画像として撮影した撮像画像データをそのまま過去画像として利用することができるので、画像表示処理を簡易にできるという効果を奏する。また、現在画像の内容と過去画像の内容の対応付けが容易になり、利用者の現在画像と過去画像の把握向上に寄与できるという効果を奏する。
本発明の実施形態にかかる別の周辺監視装置は、例えば、車両の進行方向の路面と当該路面から上方の領域とを含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、前記記憶部に記憶された撮像画像データのうち現在の車両の床下領域に対応する撮像画像データに基づく過去画像と、前記撮像部により撮影されて出力される新たな撮像画像データに基づく現在画像とのいずれか一方を選択的に表示する表示部と、前記現在画像を表示する場合は第１表示態様で表示し、前記過去画像を表示する場合は前記現在画像と視点及び画角が略同一で前記第１表示態様とは異なる態様の第２表示態様で表示する制御部と、を備える。よって、例えば、表示中の画像が、現在画像であるか過去画像であるかの識別が容易になるという効果を奏する。また、現在画像として撮影した撮像画像データをそのまま過去画像として利用することができるので、画像表示処理を簡易にできるという効果を奏する。また、現在画像の内容と過去画像の内容の対応付けを容易に利用者に行わせることが可能で、利用者の現在画像と過去画像の把握向上に寄与できるという効果を奏する。
また、本発明の実施形態にかかるプログラムでは、例えば、車両の進行方向の路面と当該路面から上方の領域とを含む領域を撮像する撮像部から出力された撮像画像データを記憶部に記憶させるステップと、前記撮像部により撮影されて出力される新たな撮像画像データに基づく現在画像の表示中に、前記記憶部に記憶された撮像画像データのうち現在の車両の床下領域に対応する撮像画像データに基づく過去画像の表示を許可する許可条件が成立したか否か、または前記過去画像の表示中に前記現在画像に復帰させる復帰条件が成立したか否かを判定する判定ステップと、前記判定の結果にしたがい前記現在画像と前記過去画像とのいずれか一方を選択的に表示装置に出力する出力ステップを、コンピュータに実行させる。これにより、床下領域を含む過去画像を表示する場合、過去画像を表示しても運転への影響が少ないように、許可条件が成立した場合に、表示中の現在画像を過去画像に切り替える。同様に、過去画像の表示中に復帰条件が成立した場合に現在画像に切り替える。つまり、現在画像から過去画像または過去画像から現在画像へ表示画面を切り替えたとしても、許可条件または復帰条件で定める画像、つまり現在の条件に適合した画面が表示されるので、現在表示されている画面に関して利用者に違和感を与えないようにできるという効果を奏する。
図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの一例が示されたブロック図である。 図４は、実施形態にかかる周辺監視装置の周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図５は、実施形態にかかる周辺監視装置を搭載する車両の撮像部による撮像領域を示した図である。 図６は、実施形態にかかる周辺監視装置のオプティカルフロー算出部により算出されるオプティカルフローの概念を示した図である。 図７は、実施形態にかかる周辺監視装置のリングバッファの構造を示した図である。 図８は、実施形態にかかる周辺監視装置の表示処理部により表示処理された現在画像を含む画面例を示した図である。 図９は、実施形態にかかる周辺監視装置の表示処理部により表示処理される過去画像（床下画像）を含む画面例を示した図である。 図１０は、実施形態にかかる周辺監視装置の画像選択部が選択する撮像画像データを説明する図である。 図１１は、実施形態にかかる周辺監視装置の周辺監視部における、撮像画像データの保存処理の手順を示すフローチャートである。 図１２は、実施形態にかかる周辺監視装置の周辺監視部における、表示処理の手順を示すフローチャートである。 図１３は、実施形態にかかる周辺監視装置の周辺監視部における、過去画像の表示処理の手順を示すフローチャートである。 図１４は、実施形態にかかる周辺監視装置において、現在画像から過去画像に切り替える際に表示するメッセージの一例を示す画面例を示した図である。 図１５は、実施形態にかかる周辺監視装置において、過去画像から現在画像に切り替える際に表示するメッセージの一例を示す画面例を示した図である。 図１６は、実施形態にかかる周辺監視装置において、現在画像から過去画像への切り替えが不可となる際に表示するメッセージの一例を示す画面例を示した図である。 図１７は、実施形態にかかる周辺監視装置の表示処理部により表示処理された現在画面を含む画面の変形例を示した図である。 図１８は、実施形態にかかる周辺監視装置の表示処理部により表示処理される過去画像（床下画像）を含む画面の変形例を示した図である。
後述する実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良い。また、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図１に示されるように、実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、例えば、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルである。また、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーである。ただし、これらには限定されない。
また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、本実施形態では、例えば、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、例えば、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、例えば、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。
また、図１、図２に示されるように、本実施形態では、例えば、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２（図３参照）は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１２は、図３に示すように、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、前輪３Ｆを操舵する。
また、本実施形態では、例えば、図２に示されるように、車両１（車体２）には、複数（本実施形態では、例えば４つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで撮像画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（視野角）を撮影（撮像）することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面と当該路面から上方の領域とを含む車体２の周辺の外部の環境を撮影することができる。
本実施形態では、例えば、第１撮像部として機能する撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントグリル等に設けられている。第２撮像部として機能する撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。また、第１撮像部として機能する撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。第２撮像部として機能する撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の撮像画像データ、左右サイド方向の撮像画像データ、リア方向の撮像画像データを取得できるように設置されればよい。
周辺監視ＥＣＵ１４（図３参照）は、複数の撮像部１６で得られた撮像画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた撮像画像データを表示装置８に表示できる。なお、後述するが、例えば車両前方を撮影（撮像）する撮像部１６ａが撮影した撮像画像データは、そのまま現在の車両周囲の状況を示す現在画像として利用する。そして、その撮像画像データを記憶しておくことにより、現在画像に利用した撮像画像データをそのまま過去の車両周囲の状況を示す撮像画像データとして利用して、過去画像を表示する。過去画像は、後述するが、例えば、現在の車両の位置における床下の領域を示す画像である。
また、本実施形態では、例えば、図３に示されるように、周辺監視システム（周辺監視装置）１００では、周辺監視ＥＣＵ１４（electronic control unit）や、モニタ装置１１等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果を受け取ることができる、また、周辺監視ＥＣＵ１４は、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。
本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic stability control）搭載車両とする。そして、ＥＳＣ（electronic stability control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。
周辺監視ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。
ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた撮像画像データを用いた画像処理や、表示装置８で表示される撮像画像データの画像処理（例えば合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。
図４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部４００の構成を示すブロック図である。図３の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、図４に示される、取得部４０１と、角度算出部４０２と、保存処理部４０３と、受付部４０５と、表示処理部４０６と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。また、周辺監視部４００は、ＲＡＭ１４ｃ上にリングバッファ４０４を実現する。
図５は、本実施形態にかかる車両１の撮像部１６ａによる撮像領域を示した図である。図５に示されるように、撮像部１６ａは、車両１の進行方向の路面と、当該路面から上方（重力方向の反対方向）の領域であり、少なくとも地平線を含む領域を撮像している。しかしながら、車両１の前輪３Ｆ付近の路面５０１は、撮像部１６ａが現在撮像している撮像領域５０２に含まれていない。また、撮像領域を前輪３Ｆ付近の床下まで含めるのも、車両１のバンパーの配置等の影響（車両１の構造的に）で難しい。
このため、運転者（利用者）は、現在撮像されている撮像画像データを視認しても、車両１の前輪３Ｆ付近に障害物等が存在するか否かを確認するのが難しい。そこで、本実施形態において、制御部として機能する周辺監視部４００は、運転者の要望に応じて、撮像部１６ａが過去に撮像した撮像画像データを表示可能とした。過去に撮像した撮像画像データとは、換言すれば、車両１の現在の位置より後方の位置で撮像した撮像画像データを意味し、例えば、図５の例において車両１の現在位置における床下領域に対応する撮像画像データとすることができる。
例えば、周辺監視部４００が、車両１の後方の位置（現在の車両１の位置に至る前の位置）で撮像部１６ａが撮像した撮像画像データとして、撮像領域５０３を撮像した撮像画像データを、運転者に提示することが考えられる。撮像領域５０３には、路面５０１が含まれているため、運転者は前輪３Ｆ付近の路面５０１を確認することができる。これにより、運転者は路面５０１の状況を確認した上で運転できるため、運転の負担を軽減できる。次に、図４に戻り、周辺監視部４００の構成について説明する。
取得部４０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部４０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。取得部４０１は、取得した情報を角度算出部４０２及び保存処理部４０３に出力する。
また、取得部４０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。
角度算出部４０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とし、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。
また、角度算出部４０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。
保存処理部４０３は、回転制御部４１１と、鳥瞰図画像生成部４１２と、オプティカルフロー算出部４１３と、位置推定部４１４と、保存部４１５と、を備え、表示装置８に表示するための補助的な画像データを生成し、撮像部１６が撮影（撮像）した撮像画像データと共に保存する。
回転制御部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、回転補正を行う。
本実施形態にかかる回転制御部４１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。
鳥瞰図画像生成部４１２は、回転制御された後の撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルを用いて変換しても良い。
鳥瞰図画像データの生成は、撮像画像データを取得する毎に行われる。換言すれば、鳥瞰図画像生成部４１２は、回転制御部４１１により回転制御された第１の撮像画像データに基づいて第１の鳥瞰図画像データを生成した後に、当該第１の撮像画像データを撮影（撮像）してから車両１が移動した後に撮像部１６により撮像され且つ回転制御部４１１により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成する。
オプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により算出された鳥瞰図画像データに基づいて、オプティカルフローを算出する。オプティカルフローは、鳥瞰図画像データに映っている物体の動きをベクトルで示した情報とする。オプティカルフローを算出することで、車両１の移動量を推定することができる。
本実施形態にかかるオプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、オプティカルフローを算出する。
しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかるオプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。
具体的には、本実施形態にかかるオプティカルフロー算出部４１３は、前回更新した際に用いた第１の鳥瞰図画像データ及び、第１の鳥瞰図画像データより後に生成された第２の鳥瞰図画像データのそれぞれから、予め定められたエリアを切り出して、オプティカルフローを算出する。また、予め定められたエリアのみ鳥瞰図を作成してもよい。
図６は、オプティカルフロー算出部４１３により算出されるオプティカルフローの概念を示した図である。図６の（Ａ）を、前回更新した際に用いた第１の鳥瞰図画像データから予め定められた範囲で切り出された画像データとし、図６の（Ｂ）を、今回、鳥瞰図画像生成部４１２により生成された第２の鳥瞰図画像データから予め定められた範囲で切り出された画像データとする。
そして、オプティカルフロー算出部４１３は、図６の（Ａ）で示した画像データと、図６の（Ｂ）で示した画像データとの間で、表示された物体（の特徴点）の遷移をベクトルで示したオプティカルフローを算出する。図６の（Ｃ）が算出されたオプティカルフローの例を示している。図６の（Ｃ）で示す例では、図６の（Ａ）内で示された特徴点（“×”で示される）が、図６の（Ｂ）内で示された特徴点（“×”で示される）まで移動したベクトルの長さが示されている。
そして、位置推定部４１４は、オプティカルフロー算出部４１３により算出されたオプティカルフローの平均値から、車両１の移動量を算出し、車両１の現在の位置を推定する。また、検出した各オプティカルフローから直接移動量を算出してもよい。
ところで、本実施形態では、オプティカルフローで車両１の現在の位置を推定している。これは、車両１の前輪３Ｆ付近などの車両１の床下の状況を把握したい場合、オフロード走行していることが多い。オフロード走行では、荒れた路面等の影響により車輪３の空転等が生じることが考えられる。この場合、車輪３の回転数に基づいて車両１の移動量を推定すると誤差が生じる可能性が大きい。そこで、本実施形態では、オプティカルフローに基づいて車両１の移動量、及び位置を推定することとした。車輪３がスリップしていない場合は、車輪３の回転と操舵角から移動量と方向を算出し、現在の位置を推定してもよい。
保存部４１５は、前回保存してから車両１の移動量が所定の距離以上、及び車両１の移動角が所定の角度以上のいずれか１つの条件を満たした場合に、回転制御部４１１に回転制御された後の撮像画像データを、車両１の位置情報と共に、リングバッファ４０４に保存する。本実施形態は、所定の距離を制限するものではないが、例えば、０．３ｍ、０．５ｍ等が考えられる。所定の角度は、例えば、２ｄｅｇ等が考えられる。
リングバッファ４０４は、撮像部１６ａから出力された現在の撮像画像データを、撮像時の情報と対応付けて保存する。図７は、リングバッファ４０４の構造を示した図である。図７に示されるように、リングバッファ４０４は、撮像画像データと、当該撮像画像データの撮像時の車両１の傾き（進行方向）、及び車両１の位置情報と、を対応付けて記憶する。
図７に示されるように、リングバッファ４０４は、論理的にリング状に配置されたバッファとする。そして、リングバッファ４０４においては、保存部４１５の保存要求に応じて、最も古く更新された領域に対して、当該保存要求の撮像画像データ等を上書き保存していく。
受付部４０５は、操作入力部１０等の指示信号（制御信号）を受け付ける。本実施形態にかかる受付部４０５は、これら指示信号から、現在の撮像部１６ａが撮像した撮像画像データ（現在画像）、及びリングバッファ４０４に記憶されている過去の撮像画像データ（換言すれば車両１の床下表示；過去画像）のうち、どちらを表示装置８に表示するかの切り替え操作を受け付ける。なお、後述するが、周辺監視ＥＣＵ１４は、現在画像から過去画像への切り替えを許可する許可条件が成立していないと判定した場合、例えば操作入力部１０等の操作が行われて過去画像の表示要求がなされても現在画像から過去画像への切り替えを行わない。一方、周辺監視ＥＣＵ１４は、過去画像から現在画像に復帰させる復帰条件が成立したと判定した場合、例えば操作入力部１０等の操作が行われて過去画像の表示要求が継続していても過去画像から現在画像に切り替える。つまり、周辺監視ＥＣＵ１４は、復帰条件が成立した場合、利用者の過去画像の表示要求操作の有無に拘わらず現在画像を強制的に表示する（現在画像に強制復帰させる）。
表示処理部４０６は、画像選択部４２１と、出力部４２２と、を備え、受付部４０５が受け付けた操作に従って、表示装置８に対する表示処理を行う。
図８は、表示処理部４０６により表示処理された現在画像の表示（現在画像モード）の画面例を示した図である。図８に示す様に、現在画像モードの画面例では、撮像部１６ａが現在撮像している撮像画像データに基づく現在画像８０１の他に、車両１の側方の現在の状態を示す画像が表示される。この車両１の側方の画像は、撮像部１６ｄが現在撮像している車両１の右側の前輪３Ｆ周辺を含む側方撮像画像データに基づく現在側方画像８０２と、撮像部１６ｂが現在撮像している車両１の左側の前輪３Ｆ周辺を含む側方撮像画像データに基づく現在側方画像８０３である。また、表示領域８０４には、車両１のピッチ角及びロール角が認識可能な情報として表示されている。つまり、車両１を示したアイコン８０５の傾きでロール角を示す一方、当該アイコン８０５を通る中心線と、水平線との間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。例えば、表示領域８０４を表示装置８以外の表示装置で表示してもよい。この場合、表示装置８で利用可能な表示領域が増加するので、例えば、現在画像８０１（後述する過去画像８０８）の表示領域を拡大することができる。この場合、利用者（運転者）により多くの車両周辺情報を提供できる。また、このように表示領域８０４を表示する表示モードと表示しない非表示モードは、利用者（運転者）の選択操作により選べるようにしてもよい。
また、現在画像８０１には、舵角センサ１９から取得した操舵角に応じた前輪３Ｆの進行方向を示した車輪軌跡８０６、８０７（走行予定軌跡）が表示される。これにより、運転者は、車両１の進行方向を確認した上で運転することが可能となる。
しかしながら、図８に示す画面例では、車両１の床下付近の状況を確認するのは難しい。そこで、本実施形態にかかる周辺監視部４００の表示処理部４０６では、表示装置８の表示画像を車両１の床下付近の表示に切り替えることができる。具体的には、図９に示すように、現在画像８０１に代えて過去画像８０８を表示している（過去画像モード）。過去画像８０８は、撮像部１６ａが過去に撮影（撮像）した撮像画像データを表示するもので、本実施形態の場合、車両１の現在の位置において、当該車両１の床下の位置を示す画像である。つまり、車両１の移動（走行）によって、利用者（運転者）の死角に入ってしまった床下領域の画像である。また、表示処理部４０６は、過去画像８０８として、過去に撮影（撮像）した現在画像８０１用の撮像画像データを加工（領域の合成や回転、縮小等）を行わない状態で表示する。つまり、現在画像８０１と過去画像８０８は、視点及び画角が略同一の画像として表示される。このように、現在画像８０１として撮影（撮像）した撮像画像データをそのまま過去画像８０８として利用することで、画像表示処理が簡易にできる。また、現在画像８０１の内容と過去画像８０８の内容の対応付けが容易になり、利用者の現在画像８０１と過去画像８０８の把握向上に寄与できる。
図４に戻り、表示処理部４０６の構成について説明する。画像選択部４２１は、受付部４０５により、過去画像８０８である床下表示への切り替えを受け付けた場合に、表示する撮像画像データを、リングバッファ４０４に記憶されている撮像画像データから選択する。
本実施形態にかかる画像選択部４２１は、過去画像８０８の表示のために、リングバッファ４０４から、撮像部１６ａにより過去に撮像された撮像画像データであり、且つ現在の車両１に対応する路面を含む撮像画像データを選択する。つまり、撮像されている路面に、現在の車両の位置として考えられる（に対応する）路面が含まれている撮像画像データを表示すれば、車両１の床下表示（過去画像８０８の表示）を実現できる。
図１０は、本実施形態にかかる画像選択部４２１が選択する撮像画像データを説明する図である。図１０に示す例では、車両１は、位置１００１、位置１００２、位置１００３、位置１００４の順に移動しているものとし、現在の車両１は位置１００４に存在している。そして、位置１００４で、運転者から、床下表示への切り替え要求を受け付けたものとする。
この場合、本実施形態にかかる画像選択部４２１は、現在の車両１の後輪３Ｒ間の中心１０６１を基準に、リングバッファ４０４に記憶されている撮像画像データから、表示する撮像画像データを選択する。本実施形態では、画像選択部４２１は、撮影（撮像）された際の撮像部１６ａの位置が、中心１０６１付近若しくは中心１０６１より後方で有り、現在の車両１の進行方向と比べて、撮影時（撮像時）の車両１の傾き（進行方向）が所定の角度内となる条件を満たす撮像画像データを選択する。このような条件を満たす位置として、画像選択部４２１は、位置１００２で撮像された撮像画像データを選択する。位置１００２で撮像された撮像画像データの撮像領域１０５１には、現在の車両１の前輪３Ｆ付近の路面も含まれている。すなわち、車両１の床下領域を示す過去画像８０８となる。なお、過去画像８０８を表示する場合、単に現在画像８０１に代えて過去画像８０８を表示するだけでもよいが、図９に示すように、過去画像８０８上に現在の車両１の位置を示す輪郭線８０９を重畳表示してもよい。このように、表示処理部４０６が、過去画像８０８に、現在の車両１の位置を示した輪郭線を重畳表示することで、運転者は現在の車両１の前輪３Ｆ付近の路面状況を容易に認識できる。
ところで、過去画像８０８に対応する撮像画像データを撮像してから現在画像８０１に対応する撮像画像データを撮影（撮像）するまでの車両１の移動量を算出することにより、過去画像８０８における現在の車両１の位置、すなわち輪郭線８０９の重畳位置を決定できる。車両１の所定部位を特定可能な識別情報としての輪郭線８０９は、例えば、車両１の外形を示す車体輪郭線８０９ａと、車両１の前輪３Ｆの外形を示す車輪輪郭線８０９ｂと、左右の前輪３Ｆを接続する車軸の位置を示す車軸輪郭線８０９ｃを含むことができる。
前輪３Ｆの外形を示す車輪輪郭線８０９ｂは、舵角センサ１９により検出された現在の操舵角に基づいた輪郭線とすることができる。これにより、運転者は、車輪輪郭線８０９ｂを視認することで、車両１の現在のタイヤの向きと位置を認識できる。過去画像８０８では、車体輪郭線８０９ａと、車輪輪郭線８０９ｂと、車軸輪郭線８０９ｃ等が重畳表示されているため、運転者は、路面と、車両１の前輪３Ｆや車軸付近を含む床下の路面状況が認識できる。これにより、周辺監視部４００は、運転者に対して、前輪３Ｆ付近の障害物を避ける等の運転を行うための環境を提供できる。このように、本実施形態は、運転負担の軽減、及び運転する際の利便性を向上させることができる。
なお、過去画像８０８に重畳する情報は、車両１の所定部位を特定可能な識別情報（例えば、車体輪郭線８０９ａ、車輪輪郭線８０９ｂ、車軸輪郭線８０９ｃ）に制限するものではない。本実施形態にかかる表示処理部４０６は、運転者の要求に応じて、過去画像８０８に対して、車両１の現在の操舵角に基づく進行方向の軌跡（走行予定軌跡、車輪軌跡８０６，８０７）等を表示しても良い。
なお、本実施形態は、撮像画像データの選択手法を図１０で説明するような手法に制限するものではなく他の手法を用いても良い。例えば、画像選択部４２１は、車両１の傾き（進行方向）が、現在の車両１の進行方向から所定の角度内であって、リングバッファ４０４に記憶されている撮像画像データのうち、最も古い撮像画像データを選択しても良い。この場合も車両１の移動量を算出することにより、選択した撮像画像データに基づく過去画像８０８上の適切な位置に輪郭線８０９を重畳することができる。
出力部４２２は、床下表示の選択を受け付けた場合に、画像選択部４２１により選択された撮像画像データを、表示装置８に出力する。これにより、出力部４２２は、リングバッファ４０４に記憶された撮像画像データのうち、撮像部１６ａにより過去に撮像された撮像画像データであり、且つ現在の車両１が位置する領域（床下領域）を含む撮像画像データを、過去画像８０８として表示装置８に出力できる。さらに、出力部４２２は、図９に示すように、右側の前輪３Ｆ周辺の現在側方画像８０２と、車両１の左側の前輪３Ｆ周辺の現在側方画像８０３と、ロール角及びピッチ角を認識可能に表示している表示領域８０４と、を表示装置８に出力する。
図９に示す例では、過去画像８０８が表示されている場合でも現在側方画像８０２，８０３は、現在の車両１の状況を表している。つまり、撮像部１６ｂ，１６ｄが現在撮影(撮像）している現在の車両１の側方状況を示す画像を、そのままの状態で表示している。つまり、車両１の車幅方向左右の側方領域をそれぞれ撮影（撮像）する撮像部１６ｂ，１６ｄ（側方撮像部）から出力された側方撮像画像データに基づく現在側方画像８０２，８０３は、現在画像８０１と過去画像８０８の切り替え制御に拘わらず表示される。その結果、現在の周囲状況と異なる状況を表示する可能性がある過去画像８０８の表示中でも、例えば、車両１の側方から歩行者や障害物が接近する場合でも、その接近をリアルタイムで迅速に利用者（運転者）に認識させることができる。なお、過去画像８０８が表示されている場合、現在の車両１に関するロール角及びピッチ角を認識可能に表示するアイコン８０５が表示されている。したがって、過去画像８０８を表示する一方、現在の車両１の周囲状況を現在側方画像８０２、現在側方画像８０３、アイコン８０５等を示すことで、現在の車両周囲の状況把握を容易にできるようにしている。
なお、前述したように、現在側方画像８０２，８０３の撮影領域（撮像領域）は、車両１の前輪３Ｆが含まれるように設定されている。つまり、過去画像８０８の表示中でも車両１の前輪３Ｆの状態が画面上で確認可能になっている。さらに、過去画像８０８には、車輪輪郭線８０９ｂが現在側方画像８０２，８０３に表示された前輪３Ｆと対応するように重畳表示されている。その結果、自車（車両１）の前輪３Ｆの位置を基準に現在画像８０１及び過去画像８０８の表示内容を利用者（運転者）に把握させやすくすることができる。
なお、図９の場合、過去画像８０８に重畳する車輪輪郭線８０９ｂの車輪の向きと、現在側方画像８０２，８０３の車輪の向き（現在の実際の前輪３Ｆの向き）とが対応する例が示されている。別の実施形態においては、過去画像８０８に重畳する車輪輪郭線８０９ｂの車輪の向きを固定（例えば直進状態）として、過去画像８０８上の車輪輪郭線８０９ｂの位置と現在側方画像８０２，８０３上の車輪の位置との対応を示すものでもよい。この場合、重畳表示する車輪輪郭線８０９ｂのために画像処理が簡略化され、表示処理の負担軽減に寄与できる。
前述したように、表示処理部４０６は、現在画像８０１と過去画像８０８との表示切替を行う制御部として機能する。そして、表示処理部４０６は、現在画像８０１の表示中に過去画像８０８への切り替えを利用者から要求された場合（操作入力部１０等を介した要求操作がなされた場合）に、画面の切り替えを許可するか否かを判定するための許可条件を有している。また、表示処理部４０６は、過去画像８０８の表示中に利用者による過去画像８０８の表示要求操作の有無に拘わらず、現在画像８０１に復帰させる復帰条件を有している。
許可条件は、例えば、車両状態で規定される条件と、利用者（運転者）による切替要求操作とで規定される条件の両方が満たされた場合に、当該許可条件が成立したと見なすことができる。過去画像８０８を表示するための車両状態として、例えば車両停止状態（車速＝０Ｋｍ／ｈ）がある。過去画像８０８は、撮像部１６ａが比較的近い過去に撮影した画像なので、その画面内容は現在画像８０１と類似する。ただし、過去の画像であるので、車両１の現在の周囲状況とは異なる画像を表示している場合がある。現在画像８０１及び過去画像８０８は共に車両１の進行方向の路面とその路面から上方の領域とを含む領域を撮像している。その結果、現在画像８０１上には存在している物体（例えば、歩行者や障害物）が過去画像８０８上には存在していない場合がある。特に過去画像８０８の撮影後に車両１が移動している場合は、車両１が停止している場合より周囲の物体の存在状態が変化する可能性が増加する。例えば、利用者（運転者）が過去画像８０８を現在画像８０１と誤認していた場合、実際には存在する物体が過去画像８０８には存在しないので、物体の存在認識が遅れる可能性がある。このような場合、車両１が停止していれば、仮に物体の存在認識が遅れた場合でも少なくとも車両１から物体に接近することは回避できるので、物体の存在認識の遅れによる不都合の発生は抑制できる。したがって、表示処理部４０６は、車輪速センサ２２の検出結果に基づき車両１が停止していることが確認できている状態で、利用者が操作入力部１０を介して過去画像８０８の表示を要求した場合に、現在画像８０１から過去画像８０８に切り替える。言い換えれば、周辺監視ＥＣＵ１４は、車両状態で規定される条件の成立状態で、切替要求操作で規定される条件が成立した場合（複数の条件が満たされた場合）に、画像切替のための許可条件が成立したと判定して、表示処理部４０６に現在画像８０１から過去画像８０８に切り替える処理を実行させる。
なお、上述の例では、車両状態で規定される条件を「車両停止状態」として説明した。別の実施形態では、例えば物体の存在認識（現在の周囲状況の認識）が十分にできる車速（例えば、３Ｋｍ／ｈ以下）であれば、車速が低速の場合でも、車両状態で規定される条件が成立したと見なして、許可条件が成立するようにしてもよい。また、リングバッファ４０４に過去画像８０８の蓄積がある場合（リングバッファ４０４の有効時）でなければ、過去画像８０８の表示ができない。そこで、車両状態で規定される条件として、「リングバッファ４０４が有効」という条件を加えてもよい。また、利用者（運転者）による切替要求操作は、操作入力部１０を介した操作の他、操作入力部１０とは別に設けられた例えば画像切替スイッチの操作や、スマートフォンやリモコンの操作などによって実行されてもよい。例えば、車速が所定速度以下（例えば車速＝０Ｋｍ／ｈ）であり、リングバッファ４０４が有効である、という車両状態で規定される条件が成立している場合に、操作入力部１０またはその他のスイッチ操作による切替要求操作で規定される条件が成立した場合に、周辺監視ＥＣＵ１４は許可条件が成立したと判定して、表示処理部４０６に現在画像８０１から過去画像８０８に切り替える処理を実行させるようにしてもよい。
また、他の実施形態においては、車速が所定速度以下（例えば車速＝０Ｋｍ／ｈ）で、リングバッファ４０４が有効である、という車両状態で規定される条件が成立している場合に、周辺監視ＥＣＵ１４は、画像切替に対応する操作入力部１０またはその他のスイッチ（プッシュスイッチ、ロッカスイッチ等）をアクティブ（有効化）にしてもよい。つまり、周辺監視ＥＣＵ１４は、車両状態で規定される条件が成立していない場合は、表示装置８上で画像切替のための操作入力部１０をインアクティブ（無効化）にしておく。例えば、表示装置８上で画像切替のための操作入力部１０を半透明の表示にしたり、切り替えに対応する操作入力部１０の表示自体を行わないようにする。また、切り替えに対応するスイッチがプッシュスイッチやロッカスイッチ等のメカニカルなスイッチの場合は、入力を受け付けないようにすると共に、操作入力が不可であることを示すために、スイッチの照明を消灯させたり、点滅させたりしてもよい。一方、車両状態で規定される条件が成立した場合には、周辺監視ＥＣＵ１４は切り替えに対応する操作入力部１０またはその他のスイッチをアクティブ化して、切替要求操作を受け付け可能とする。この状態で、切替要求操作が実行されて、当該切替要求操作で規定される条件が成立した場合に、周辺監視ＥＣＵ１４は許可条件が成立したと判定して、表示処理部４０６に現在画像８０１から過去画像８０８に切り替える処理を実行させる。このように、車両状態で規定される条件の成立の是非によって、操作入力部１０をアクティブ化するか否かを決定することで、利用者に、切替要求操作の前に画像切替が可能であるかを判断させることができる。その結果、操作をしたにも拘わらず画面が切り替わらないという違和感を利用者に与えないようにすることができる。
一方、復帰条件には、例えば、車両状態で規定される条件や利用者（運転者）による切替要求操作で規定される条件がある。しかし、復帰条件の場合は、複数ある復帰条件のうちいずれか１つが成立した場合、過去画像８０８から現在画像８０１に復帰するように構成されている。
例えば、過去画像８０８の表示中に車両１の速度が所定速度を超えた場合に、表示処理部４０６は、その事実のみで復帰条件が成立したと見なして現在画像８０１に切り替える。なお、所定速度とは、例えば３Ｋｍ／ｈ等を設定可能である。この場合、例えば、停車中の車両１が路面からの振動や路面の凹凸の影響により僅かに移動して速度が発生してしまった場合でも、過敏に画面切り替えが実行されてしまうことが防止できる。このように、車両１が走行（移動）を開始して、現在の車両１の周囲状況の変化にさらに注意を払う必要が生じた場合は、速やかに現在画像８０１に切り替える。その結果、現在の車両周囲の状況を利用者に速やかに提示することができる。
また、過去画像８０８として床下画像を表示する場合、図９に示すように、輪郭線８０９を重畳することで、利用者の視界から外れている床下の状況に対する現在の車両１の位置を把握し易くしている。前述したように輪郭線８０９は、現在画像８０１と過去画像８０８の比較、具体的には、特徴点の移動態様により算出する移動量に基づいて、その重畳位置を決定している。そのため、現在画像８０１と過去画像８０８との間で、特徴点の移動態様が正確に把握できない場合、輪郭線８０９の配置精度（車両１の位置の推定精度）が低下する。つまり、過去画像８０８の表示価値が低下する。例えば、過去画像８０８に対応する撮像画像データの取得後に、車両１の前輪３Ｆが路面の凸部に乗り上げて傾いた場合、撮像部１６ａが上方を向いてしまう場合がある。この場合、最新の撮像画像データに過去画像８０８に含まれる特徴点が含まれない場合がある。この場合、車両１の移動量の演算が不正確になる。その結果、輪郭線８０９が精度よく重畳配置できなくなる。このように、車両位置の推定精度が所定値以下の場合、表示処理部４０６は、復帰条件が成立したと見なして、表示装置８の表示を過去画像８０８から現在画像８０１に切り替える。車両位置の推定精度が所定値以下の場合とは、例えば、車両１の移動量を算出するための特徴点の不一致が全特徴点の３０％を超えた場合等とすることができる。このように、車両１の位置の推定精度（輪郭線８０９の重畳精度）が低下した場合は、速やかに現在画像８０１に切り替えることで、利用者へ与える違和感（表示価値の低下した画像の表示）を抑制すると共に、現在の車両１の周囲状況を速やかに利用者に提示することができる。なお、復帰条件が成立したと見なす条件は、上述したように、推定精度の低下（推定不可能）と判定した場合でもよいし、車両１の傾斜変化が所定閾値以上（例えば、５°や１０°）になった場合に復帰条件が成立したと見なしてもよい。この傾斜変化は、予め試験等により設定しておくことができる。この傾斜変化は、角度算出部４０２が算出した角度やアイコン８０５の表示角度に基づいて検出してもよい。
このように、復帰条件が成立した場合に、利用者の過去画像８０８の表示要求操作の有無に拘わらず、強制的に過去画像８０８から現在画像８０１に復帰させることにより、利用者（運転者）に車両１の周囲状況を迅速に把握させるフェールセーフ効果を提供可能となる。
ところで、本実施形態の表示処理部４０６は、現在画像８０１が表示されているのか過去画像８０８が表示されているのかを利用者（運転者）が容易に理解できるように表示態様を切り替えている。例えば、現在画像８０１を第１表示態様で表示し、過去画像８０８を第１表示態様と異なる第２表示態様で表示している。具体的には、現在画像８０１の表示時の第１表示態様は、表示装置８の表示領域の背景をカラー表示とし、過去画像８０８の表示時の第２表示態様は、表示装置８の表示領域の背景を白黒表示とすることができる。図８の場合、現在画像８０１、現在側方画像８０２，８０３、表示領域８０４以外の部分である背景領域８１０をカラー（図面上では白抜きで表現）としている。一方、図９の場合、過去画像８０８、現在側方画像８０２，８０３、表示領域８０４以外の部分である背景領域８１０を白黒（図面上ではハッチングで表現）としている。また、本実施形態の場合、図８に示すように、現在画像８０１の表示中は、当該現在画像８０１の周囲背景（枠部分）８１０ａを際だち表示（高輝度表示、図面上では太線で表現）している。一方、過去画像８０８の表示中は、当該過去画像８０８の周囲背景（枠部分）８１０ａには、際だち表示（高輝度表示）を実行しないようにしている（図面上では細線で表現）。このように、現在画像８０１と過去画像８０８とを表示する時に、それぞれ異なる表示態様とすることで、直感的にいずれの画面が表示されているか利用者（運転者）に認識させやすくしている。なお、上述した第１表示態様と第２表示態様は一例であり、利用者（運転者）が現在画像８０１が表示されているか過去画像８０８が表示されているかの判断が容易にできれば、表示態様は適宜選択可能で同様な効果を得ることができる。また、上述した背景領域８１０による差別化と周囲背景（枠部分）８１０ａによる差別化は両方採用してもよいし、いずれか一方のみを採用しても同様な効果を得ることができる。
次に、本実施形態にかかる周辺監視部４００における、撮像画像データの保存処理について説明する。図１１は、本実施形態にかかる周辺監視部４００における保存処理の手順を示すフローチャートである。
まず、撮像部１６が、車両１の周辺環境を撮像する（Ｓ１１０１）。特に撮像部１６ａは、車両１の進行方向のうち、路面と地平線とを含む領域（路面から上方の領域を含む領域）を撮像する。
次に、取得部４０１が、撮像部１６から撮像画像データを、加速度センサ２６から加速度データを取得する（Ｓ１１０２）。
そして、角度算出部４０２が、加速度データから、車両１のロール角及びピッチ角を算出する（Ｓ１１０３）。
そして、回転制御部４１１が、撮像画像データに対して、ロール角に応じた回転制御を行う（Ｓ１１０４）。
次に、鳥瞰図画像生成部４１２が、回転制御をした後の撮像画像データから、車両１の進行方向であり且つ当該車両１の周辺に存在する所定の領域を俯瞰的に示した鳥瞰図画像データを生成する（Ｓ１１０５）。
そして、オプティカルフロー算出部４１３が、生成された鳥瞰図画像データに基づいて、オプティカルフローを算出する（Ｓ１１０６）。
次に、位置推定部４１４が、算出されたオプティカルフローに基づいて、車両１の移動量を算出すると共に、車両１の現在位置を推定する（Ｓ１１０７）。
そして、保存部４１５は、前回保存した位置から、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度（例えば２ｄｅｇ）のうちいずれか１つ以上変化したか否かを判定する（Ｓ１１０８）。所定の距離及び所定の角度のいずれも変化していないと判定した場合（Ｓ１１０８のＮｏ）、処理を終了する。なお、本実施形態では、所定の距離及び所定の角度のうちいずれか一つ以上変化した場合に保存を行う例について説明するが、このような保存手法に制限するものではなく、所定時間毎に保存等をおこなっても良い。
一方、保存部４１５が、前回保存した位置から、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度のうちいずれか一つ以上変化したと判定した場合（Ｓ１１０８のＹｅｓ）、保存部４１５が、リングバッファ４０４の最も古くに更新された領域に対して、回転処理した後の現在の撮像画像データを、上書き保存する（Ｓ１１０９）。その際に、保存部４１５は、当該撮像画像データの撮像時の傾き（進行方向）、及び位置情報を対応付けて保存する。
次に、保存部４１５は、リングバッファ４０４に記憶されている撮像画像データの撮像時の位置情報を、現在の位置を基準（原点）とした位置情報に更新する（Ｓ１１１０）。当該更新により、リングバッファ４０４をオーバーフローすることなく、継続して位置情報を保持することができる。
そして、本実施形態にかかる周辺監視部４００は、リングバッファ４０４に記憶された撮像画像データを、床下表示の際の画像データ（過去画像８０８）として提供できる。
次に、本実施形態にかかる周辺監視部４００における、表示処理について説明する。図１２は、本実施形態にかかる周辺監視部４００における現在画像８０１及び過去画像８０８を切り替える表示処理の手順を示すフローチャートである。
まず、周辺監視部４００の表示処理部４０６は、受付部４０５等を介して、車両１の周辺監視表示要求操作を受け付けたか否か判定する（Ｓ１２０１）。周辺監視表示要求操作を受け付けていない場合（Ｓ１２０１のＮｏ）、表示処理部４０６は、表示装置８で通常表示、例えばナビゲーション画面やオーディオ画面等の表示を実行して（Ｓ１２０２）、このフローを一旦終了する。
Ｓ１２０１において、表示処理部４０６が周辺監視表示要求操作を受け付けた場合（Ｓ１２０１のＹｅｓ）、表示処理部４０６は、現在画像８０１を表示中であるか否か確認する（Ｓ１２０３）。現在画像８０１が表示中の場合で（Ｓ１２０３のＹｅｓ）、表示処理部４０６は、受付部４０５を介して過去画像表示要求操作を受け付けたか否か判定する（Ｓ１２０４）。Ｓ１２０４において、表示処理部４０６が過去画像表示要求操作を受け付けた場合で（Ｓ１２０４のＹｅｓ）、過去画像８０８を表示するための許可条件が成立している場合（Ｓ１２０５のＹｅｓ）、過去画像８０８の表示処理を実行する（Ｓ１２０６）。
図１３は、Ｓ１２０６における過去画像８０８の表示処理の詳細を示すフローチャートである。過去画像８０８への切り替えが許可状態になった場合、例えば、車両１が停止状態であり、受付部４０５を介して過去画像８０８の要求がなされた場合、表示処理部４０６は、表示中の現在画像８０１の表示画面上に過去画像８０８へ切り替える旨のメッセージを挿入すると共に、表示装置８を介して表示する（Ｓ１３０１）。表示処理部４０６は、例えば、図１４に示すように、現在画像８０１上に、「！過去画像に切替えます。ご注意ください。」、「過去画像表示中は背景が白黒になります。」等の切替メッセージを表示する。なお、図１４の例では、現在画像８０１を半透明（図中では点線で表現）で表示しているが、現在画像８０１は表示せずに、切替メッセージのみを表示するようにしてもよい。また、切替メッセージを点滅させる等して際だち表示させてもよい。また、切替メッセージの表示と共に、音声により同様の内容のメッセージを音声出力装置９を介して出力してもよい。このように、切替メッセージを提供することにより、利用者（運転者）の注意を喚起することができる。上述した切替メッセージは、数秒、例えば２秒表示後に消してもよい。また、利用者（運転者）の操作により消えるようにしてもよい。この場合、利用者はメッセージの消去を行う動作が要求されるので、利用者に画面の切り替わりを確実に認識させることができる。
この切替メッセージの提供中または提供に先立ち、画像選択部４２１は、車両１の現在の位置に基づき、過去画像８０８として表示する撮像画像データをリングバッファ４０４に記憶された撮像画像データの中から選択する（Ｓ１３０２）。続いて、表示処理部４０６は、選択した撮像画像データ（過去画像８０８）上に、現在の車両１の位置を示すシンボル（輪郭線８０９）を重畳する（Ｓ１３０３）。この場合、舵角センサ１９から提供される現在の前輪３Ｆの向き（蛇角）に基づき車輪輪郭線８０９ｂの向きを変化させるようにしてもよい。そして、出力部４２２は、表示装置８の表示内容を現在画像８０１からシンボル（輪郭線８０９）を重畳済みの過去画像８０８（床下画像）に切り替えると共に、背景画面（背景領域８１０）を所定の画面、例えば白黒画面に切り替える（Ｓ１３０４）。なお、表示処理部４０６は、過去画像８０８に切り替える場合でも、現在側方画像８０２，８０３、アイコン８０５を含む表示領域８０４は、現在画像８０１を表示していた場合と同じ画像（現在の周囲状況及び車両１の状況を示す画像）を表示する。これにより、利用者（運転者）は、現在の車両周囲（側方状況）を認識しつつ床下に関する情報を容易に取得することができる。
図１２に戻り、過去画像８０８の表示が完了したら、表示処理部４０６は、現在画像８０１への復帰条件が成立するか否か判定する（Ｓ１２０７）。前述したように、車両１の速度が所定速度以上になったり、車両１の位置の推定が十分に行えなくなったりした場合等、そのいずれかの復帰条件が成立した場合に（Ｓ１２０７のＹｅｓ）、表示処理部４０６は、現在画像８０１へ復帰させる旨を示す切替メッセージを表示すると共に（Ｓ１２０８）、現在画像８０１を表示する（Ｓ１２０９）。図１５は、現在画像８０１へ復帰させる旨を示す切替メッセージの一例であり、「！現在画像に復帰しました。」等の切替メッセージを半透明の現在画像８０１（図中では点線で表現）上に重畳表示する。この場合も切替メッセージの表示と共に、音声により同様の内容のメッセージを音声出力装置９を介して出力してもよい。また、別の例では、現在画像８０１の切替表示に先立ち、切替メッセージのみを表示するようにしてもよい。上述した切替メッセージは、数秒、例えば２秒表示後に消してもよい。また、利用者（運転者）の操作により消えるようにしてもよい。この場合、利用者はメッセージの消去を行う動作が要求されるので、利用者に画面の切り替わりを確実に認識させることができる。
出力部４２２が現在画像８０１を出力した後、車両１が移動した場合に、出力部４２２は、車両１の移動に併せて、前輪３Ｆの推定される車輪軌跡８０６，８０７を舵角センサ１９から提供される検出情報に基づいて変化（アニメーション表示）させる。これにより、運転者は、現在の車両１の位置を認識及びこれから走行する方向等を認識できる。
Ｓ１２０７において、現在画像８０１への復帰条件が成立していない場合（Ｓ１２０７のＮｏ）、表示処理部４０６は過去画像８０８の表示を維持したまま、一旦このフローを終了して次の切替タイミングに備える。
Ｓ１２０５において、過去画像８０８へ切り替える許可条件が成立していない場合（Ｓ１２０５のＮｏ）、表示処理部４０６は、現在画像８０１上に過去画像８０８の表示許可条件が不成立であることを示す不成立メッセージを重畳表示して（Ｓ１２１０）、現在画像８０１の表示を維持したまま、一旦このフローを終了する。図１６は、不成立メッセージの表示例である。例えば、「！車両が停止していないため過去画像は表示できません。」等のメッセージを半透明の現在画像８０１（図中では点線で表現）上に重畳表示する。この場合も不成立メッセージの表示と共に、音声により同様の内容のメッセージを音声出力装置９を介して出力してもよい。この場合の不成立メッセージも数秒、例えば２秒表示後に消してもよい。また、利用者（運転者）の操作により消えるようにしてもよい。この場合、利用者はメッセージの消去を行う動作が要求されるので、過去画像８０８が表示されていないことを確実に認識させることができる。
Ｓ１２０４において、表示処理部４０６が過去画像８０８の表示要求操作を受け付けていないと判定した場合（Ｓ１２０４のＮｏ）、表示処理部４０６は現在画像８０１の表示を維持したまま、一旦このフローを終了する。
また、Ｓ１２０３において、現在画像８０１が表示中でない場合（Ｓ１２０３のＮｏ）、つまり、過去画像８０８が表示中の場合、Ｓ１２０７に移行し、Ｓ１２０７以降の処理を実行する。なお、Ｓ１２０３で現在画像８０１が表示中でない場合として、過去画像８０８が表示されている場合の他に、通常表示実行中（ナビゲーション現在画像画面やオーディオ画面の表示中）がある。この場合もＳ１２０７に移行する。表示処理部４０６は、Ｓ１２０７の処理で、現在画像復帰条件と共に、現在画像表示条件を有することができる。例えば、通常表示実行中に周辺監視表示要求操作が受け付けられた場合に、現在画像８０１の表示を許可するようにしてもよい。なお、通常表示実行中に現在画像８０１に切り替える条件として、切り替え要求時に車両１が所定速度以下または停止していることを含んでもよい。
このように、本実施形態によれば、現在画像８０１から過去画像８０８に切り替える場合、逆に過去画像８０８から現在画像８０１に切り替える場合、それぞれに異なる条件を設け、所定の条件が成立した場合のみに表示切り替えが行われるようにしている。その結果、現在画像８０１及び過去画像８０８をそれぞれ適切な環境（車両１の状態）で表示可能となり、利用者（運転者）に提供することができる。特に、過去画像８０８から現在画像８０１に切り替える場合は、復帰条件が成立した場合、利用者（運転者）の操作に拘わらず強制的に現在画像８０１に復帰させることで、現在の車両１の周囲を示す現在画像８０１を表示装置８に表示して利用者（運転者）に適切に利用させることができる。つまり、車両１の周囲状況の把握性の向上と表示画像の取扱性の向上を両立させることができる。また、現在画像８０１から過去画像８０８または過去画像８０８から現在画像８０１へ表示画面を切り替えたとしても、許可条件または復帰条件で定める画像、つまり現在の条件に適合した画面が表示されるので、現在表示されている画面に関して利用者に違和感を与えないようにすることができる。
本実施形態では、上述した撮像画像データの表示処理を行うことで、現在の車両１の位置における死角領域（例えば床下領域）を、表示装置８に表示することができる。これにより、運転者は周辺の状況を把握できるため、運転負担を軽減できる。
本実施形態では、路面と地平線とを含む領域を撮影（撮像）した、いわゆる斜め視点の撮像画像データを表示することとした。この場合、鳥瞰図画像データを表示する場合と比べて、凹凸がある路面の走行、いわゆるオフロード走行の際に、路面の状況を把握できるため、運転の負担を軽減できる。
本実施形態では、算出されたオプティカルフローに従って車両１の位置を推定することとした。これにより、オフロード等を走行している際に、車輪３が空転した場合でも、車両１の位置を精度良く推定できる。
上述した実施形態では、出力部４２２が出力する床下表示用の撮像画像データは、現在の車両１の位置に対応する路面が含まれていれば、撮像を行う車両１の位置を制限するものではなく、任意の位置で撮像されたものでよい。また、床下表示には、任意の（１つの）位置でのみ撮像された撮像画像データを用い、複数の位置で撮像された複数の画像データを合成したものを用いないようにしている。例えば、撮像部１６ａは、そのまま加工することなく、現在画像８０１として表示している。同様に、撮像部１６ａは、そのまま加工することなくリングバッファ４０４に記憶して過去画像８０８として利用する。これにより、画像処理負担を軽減できる。
本実施形態においては、リングバッファ４０４に複数の撮像画像データを記憶し、複数の撮像画像データから表示する撮像画像データを選択する例について説明したが、前回撮像した撮像画像データを表示するだけでもよい。この場合、撮像画像データを１つのみ記憶すればよいため、記憶容量を削減できる。
図１７は、周辺監視装置の表示処理部４０６により表示処理される現在画像８０１を含む画面の変形例を示した図である。同様に、図１８は、周辺監視装置の表示処理部４０６により表示処理される過去画像８０８を含む画面の変形例を示した図である。図１７は図８に対応し、図１８は図９に対応し、実質的な表示内容は同じであるが、現在画像８０１、過去画像８０８、現在側方画像８０２，８０３の表示領域の大きさが異なる。なお、図１７と図８及び図１８と図９の表示領域の大きさが異なるのみで、表示内容は同じなので、図１７と図８及び図１８と図９において、それぞれ同じ符号を付し、その説明は省略する。
図１７、図１８に示すように、現在側方画像８０２，８０３の表示領域の縦方向の長さを短縮することにより、現在画像８０１、過去画像８０８の表示領域の横方向の長さを拡大している。この結果、現在画像８０１及び過去画像８０８の視認性を向上させることができる。なお、図８、図９のように現在側方画像８０２，８０３の表示領域を拡大した場合は、側方の視認性を向上させることができる。
上述した実施形態では、周辺監視部４００がオプティカルフローに基づいて車両１の位置を推定する例について説明した。しかしながら、オプティカルフローによる位置の推定に制限するものではなく、例えば車輪３の回転数を検出し、移動量を推定するセンサを用いても良いし、ＧＰＳ等を用いて車両１の位置及び移動量を検出しても良い。この場合も本実施形態と同様の効果を得ることができる。
また、図８、図９等では、車両１がオフロードを走行（停車）している場合を示したが、オンロードを走行（停車）している場合に本実施形態を適用してもよく、同様の効果を得ることができる。
上述した実施形態において、前方領域を示す表示領域（図８，９参照）は、いずれも、中央上段に短辺を下側にした略台形形状（台形形状、略台形表示領域、台形表示領域）としている。このように、短辺を下側にした形状で表示することで、前方表示領域を奥行き感のある起立画面のように見せる表示が可能となる。その結果、実際に利用者（運転者、乗員）が視認する周囲状況に近い表示が可能になる。また、車幅方向の左側および右側を撮影（撮像）した画像を表示する側方表示領域（各実施形態では、略長方形の表示領域）と前方表示領域の形状を異ならせている。その結果、同じ画面に表示された側方領域を表示する領域と前方領域を表示する領域とが異なる視点（前方領域は起立画面、側方領域は見下ろし画面）であるように強調できるため、利用者の視認性の向上に寄与することができる。
なお、実施形態において、側方表示領域には、路面から上空の領域が含まれないものとなっている。なお、略台形表示領域とは、各辺が直線で構成される台形表示領域でもよいし、いずれかの辺が曲線で構成されていてもよい。例えば、図８における現在画像８０１を表示する領域の長辺側が領域外側に向かい凸の曲線で構成されていてもよい。同様に短辺側が領域外側に向かい凸の曲線で構成されていてもよい。また、現在画像８０１を表示する領域の側辺（斜辺）が外側に凸の曲線で構成されていてもよい。逆に領域内側に向かい凸の曲線で構成されていてもよい。例えば、長辺側が領域外側に凸の曲線で、短辺側が領域内側に凸の曲線で構成される扇形形状も、本実施形態における略台形形状に含まれるものとする。また、前述したような曲線は略台形形状の一部に採用されてもよいし、複数箇所で採用されていてもよい。略台形形状を構成する辺を曲線とすることで、表示領域の形状に様々な意匠性を持たせることができる。また、側方表示領域の略長方形の表示領域との識別性をさらに向上させることができる。
上述した実施形態にかかる周辺監視部４００では、床下表示の選択を受け付けた場合に、過去のある車両１の位置から撮像部１６ａにより撮影された撮像画像データのみを表示している。すなわち、上述した実施形態では、例えば、現在の撮像画像データと、過去の撮像画像データのような、時系列の異なる複数の撮像画像データの合成を行わない例について説明した。このように時系列の異なる複数の画像データの合成を行わないため、処理負担を軽減することが可能となった。
上述したように、本実施形態の周辺監視装置において、例えば、表示処理部４０６（制御部）は、現在画像８０１を表示する場合は、現在側方画像８０２，８０３に含まれる車輪画像に対応する車輪３の車輪軌跡８０６，８０７（走行予定軌跡）を現在画像８０１に表示し、過去画像８０８を表示する場合は現在側方画像８０２，８０３に含まれる車輪画像に対応する車輪位置を過去画像８０８に表示する。この構成によれば、例えば、自車の車輪の位置を基準に現在画像８０１及び過去画像８０８の表示内容を利用者に把握させやすくすることができる。
上述したように、本実施形態の周辺監視装置において、例えば、周辺監視ＥＣＵ１４（制御部）は、車両車速が所定速度以下の場合に、現在画像８０１から過去画像８０８へ切り替えを許可する許可条件を成立させるためのうち一つが成立したと見なす。この構成によれば、車両が所定速度を超えて動いている場合に、過去画像８０８に切り替わることを抑制できる。
上述したように、本実施形態の周辺監視装置において、例えば、周辺監視ＥＣＵ１４（制御部）は、車両状態で規定される条件と切替要求操作で規定される条件とが成立した場合に、現在画像８０１から過去画像８０８への切り替えを許可する許可条件が成立したと見なす一方、車両状態で規定される条件が成立したことを条件に、切替要求操作で規定される条件を成立させるために操作する操作入力部１０（操作部）をアクティブ化（有効化）する。このように、車両状態で規定される条件の成立の是非によって、操作入力部１０をアクティブ化するか否かを決定することで、利用者に、切替要求操作の前に画像切替が可能であるかを判断させることができる。その結果、操作をしたにも拘わらず画面が切り替わらないという違和感を利用者に与えないようにすることができる。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…車両、１６…撮像部、１００…周辺監視システム、４００…周辺監視部、４０１…取得部、４０２…角度算出部、４０３…保存処理部、４０４…リングバッファ、４０５…受付部、４０６…表示処理部、４１１…回転制御部、４１２…鳥瞰図画像生成部、４１３…オプティカルフロー算出部、４１４…位置推定部、４１５…保存部、４２１…画像選択部、４２２…出力部、８０１…現在画像、８０２，８０３…現在側方画像、８０４…表示領域、８０５…アイコン、８０８…過去画像。

Claims (9)

  1. 車両の進行方向の路面と当該路面から上方の領域とを含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、
    前記記憶部に記憶された撮像画像データのうち現在の車両の床下領域に対応する撮像画像データに基づく過去画像と、前記撮像部により撮影されて出力される新たな撮像画像データに基づく現在画像とのいずれか一方を選択的に表示する表示部と、
    前記表示部に前記現在画像を表示中に前記過去画像の表示を許可する許可条件が成立した場合に前記過去画像に切り替え、前記過去画像の表示中に前記現在画像に復帰させる復帰条件が成立した場合に前記現在画像に切り替える制御部と、
    を備える周辺監視装置。
  2. 前記制御部は、前記復帰条件が成立した場合、利用者の前記過去画像の表示要求操作の有無に拘わらず前記現在画像に切り替える請求項１に記載の周辺監視装置。
  3. 前記制御部は、前記過去画像の表示中に車両速度が所定速度を超えた場合に前記復帰条件が成立したと見なして前記現在画像に切り替える請求項１または請求項２に記載の周辺監視装置。
  4. 前記制御部は、前記過去画像を表示する場合、前記撮像部から出力された新たな前記撮像画像データと前記記憶部に記憶された前記撮像画像データとに基づいて現在の車両位置を推定して当該車両位置を示す画像を前記過去画像に重畳表示する一方、前記車両位置の推定精度が所定値以下の場合に前記復帰条件が成立したと見なして前記現在画像に切り替える請求項１または請求項２に記載の周辺監視装置。
  5. 前記制御部は、前記現在画像を第１表示態様で表示し、前記過去画像を前記第１表示態様と異なる第２表示態様で表示する請求項１から請求項４のいずれか１項に記載の周辺監視装置。
  6. 前記表示部は、車両の車幅方向左右の側方領域をそれぞれ撮影する側方撮像部から出力された側方撮像画像データに基づく現在側方画像を前記現在画像と前記過去画像の切り替え制御に拘わらず前記現在画像または前記過去画像と共に表示する請求項１から請求項５のいずれか１項に記載の周辺監視装置。
  7. 前記制御部は、前記現在画像と前記過去画像として、視点及び画角が略同一の画像を表示する請求項１から請求項６のいずれか１項に記載の周辺監視装置。
  8. 車両の進行方向の路面と当該路面から上方の領域とを含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、
    前記記憶部に記憶された撮像画像データのうち現在の車両の床下領域に対応する撮像画像データに基づく過去画像と、前記撮像部により撮影されて出力される新たな撮像画像データに基づく現在画像とのいずれか一方を選択的に表示する表示部と、
    前記現在画像を表示する場合は第１表示態様で表示し、前記過去画像を表示する場合は前記現在画像と視点及び画角が略同一で前記第１表示態様とは異なる態様の第２表示態様で表示する制御部と、
    を備える周辺監視装置。
  9. 車両の進行方向の路面と当該路面から上方の領域とを含む領域を撮像する撮像部から出力された撮像画像データを記憶部に記憶させるステップと、
    前記撮像部により撮影されて出力される新たな撮像画像データに基づく現在画像の表示中に、前記記憶部に記憶された撮像画像データのうち現在の車両の床下領域に対応する撮像画像データに基づく過去画像の表示を許可する許可条件が成立したか否か、または前記過去画像の表示中に前記現在画像に復帰させる復帰条件が成立したか否かを判定する判定ステップと、
    前記判定の結果にしたがい前記現在画像と前記過去画像とのいずれか一方を選択的に表示装置に出力する出力ステップを、
    コンピュータに実行させるためのプログラム。
JP2014144422A 2014-07-14 2014-07-14 周辺監視装置、及びプログラム Active JP6340969B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014144422A JP6340969B2 (ja) 2014-07-14 2014-07-14 周辺監視装置、及びプログラム
EP15176232.5A EP2974909B1 (en) 2014-07-14 2015-07-10 Periphery surveillance apparatus and program
US14/797,535 US9902323B2 (en) 2014-07-14 2015-07-13 Periphery surveillance apparatus and program
CN201510408282.3A CN105282499B (zh) 2014-07-14 2015-07-13 周边监视装置及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014144422A JP6340969B2 (ja) 2014-07-14 2014-07-14 周辺監視装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016021653A JP2016021653A (ja) 2016-02-04
JP6340969B2 true JP6340969B2 (ja) 2018-06-13

Family

ID=53969086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014144422A Active JP6340969B2 (ja) 2014-07-14 2014-07-14 周辺監視装置、及びプログラム

Country Status (4)

Country Link
US (1) US9902323B2 (ja)
EP (1) EP2974909B1 (ja)
JP (1) JP6340969B2 (ja)
CN (1) CN105282499B (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
CN107251120B (zh) * 2015-01-09 2020-06-19 金泰克斯公司 具有单摄像头停车辅助的可训练收发器
US10798600B2 (en) 2015-11-02 2020-10-06 Telefonaktiebolaget Lm Ericsson (Publ) Adapting D2D operation on non-serving carrier frequency
DE102016201932A1 (de) * 2016-02-09 2017-08-10 Conti Temic Microelectronic Gmbh Verfahren zur Assistenz für einen Parkvorgang und Parkassistenzvorrichtung
EP3437948A4 (en) * 2016-03-29 2019-11-27 Kyocera Corporation DEVICE FOR DETECTING THE ORIENTATION OF A VEHICLE, IMAGE PROCESSING SYSTEM, VEHICLE AND METHOD FOR DETECTING THE EQUIPMENT OF A VEHICLE
KR101861523B1 (ko) * 2016-06-17 2018-07-05 주식회사 와이즈오토모티브 차량 운전 보조 장치 및 방법
EP3263405B1 (en) * 2016-06-27 2019-08-07 Volvo Car Corporation Around view monitoring system and method for vehicles
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
JP2018001901A (ja) 2016-06-30 2018-01-11 アイシン精機株式会社 走行支援装置
JP6729077B2 (ja) * 2016-06-30 2020-07-22 アイシン精機株式会社 車両周辺監視装置
JP2018020724A (ja) * 2016-08-05 2018-02-08 アイシン精機株式会社 周辺監視装置
JP6766557B2 (ja) * 2016-09-29 2020-10-14 アイシン精機株式会社 周辺監視装置
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
KR20180062820A (ko) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법
KR20180069380A (ko) * 2016-12-15 2018-06-25 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
JP6729409B2 (ja) * 2017-01-16 2020-07-22 アイシン精機株式会社 周辺監視装置
US10671873B2 (en) * 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
JP6825500B2 (ja) * 2017-06-30 2021-02-03 株式会社Ｊｖｃケンウッド ドライブレコーダ運用システム、ドライブレコーダ、運用方法および運用プログラム
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
JP6972938B2 (ja) 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
CN109934076A (zh) * 2017-12-19 2019-06-25 广州汽车集团股份有限公司 视觉盲区的场景图像的生成方法、装置、系统及终端设备
DE112018006931T5 (de) * 2018-02-27 2020-10-08 Mitsubishi Electric Corporation Fahrzeugbildschirmsteuerungssystem und bildschirmsteuerungsverfahren
JP7217090B2 (ja) * 2018-03-16 2023-02-02 株式会社デンソーテン 情報提供装置及び情報提供方法
JP7039133B2 (ja) * 2018-04-17 2022-03-22 マレリ株式会社 画像表示装置
JP2019193031A (ja) * 2018-04-23 2019-10-31 シャープ株式会社 車両周辺表示装置
JP2019207617A (ja) * 2018-05-30 2019-12-05 日本電気株式会社 情報処理システム
JP2019207618A (ja) * 2018-05-30 2019-12-05 日本電気株式会社 情報処理システム
JP7184591B2 (ja) * 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
JP7202195B2 (ja) * 2019-01-23 2023-01-11 本田技研工業株式会社 表示システム、走行制御装置、表示制御方法およびプログラム
CN112622761B (zh) * 2019-09-24 2022-07-29 博泰车联网科技(上海)股份有限公司 一种倒车显示方法、装置及计算机存储介质
JP7319593B2 (ja) * 2020-02-13 2023-08-02 トヨタ自動車株式会社 車両周辺監視装置
USD947893S1 (en) * 2020-03-05 2022-04-05 Jaguar Land Rover Limited Display screen or portion thereof with icon
JP7213565B2 (ja) * 2021-02-16 2023-01-27 株式会社ユピテル 装置及びプログラム
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置
JP2023023873A (ja) * 2021-08-06 2023-02-16 トヨタ自動車株式会社 車両周辺監視装置
CN114355952B (zh) * 2022-03-17 2022-06-17 北京理工大学 一种无人车可通行性评估方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796417B2 (ja) * 2001-06-27 2006-07-12 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP2004142595A (ja) * 2002-10-24 2004-05-20 Nippon Seiki Co Ltd 路面表示方法およびその装置
JP4561470B2 (ja) * 2005-05-19 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援装置
JP4696691B2 (ja) * 2005-05-27 2011-06-08 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4815993B2 (ja) 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP2007102798A (ja) * 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
JP5133340B2 (ja) 2007-05-22 2013-01-30 株式会社オートネットワーク技術研究所 自動車用撮影装置
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
US20130278771A1 (en) * 2011-06-10 2013-10-24 Flir Systems, Inc. Systems and methods for monitoring vehicle wheel assembly
JP2013101242A (ja) * 2011-11-09 2013-05-23 Sony Corp 画像処理装置、表示制御方法及びプログラム
JP6015314B2 (ja) 2012-09-28 2016-10-26 アイシン精機株式会社 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム

Also Published As

Publication number Publication date
EP2974909B1 (en) 2017-09-13
US9902323B2 (en) 2018-02-27
US20160009225A1 (en) 2016-01-14
CN105282499B (zh) 2019-07-09
JP2016021653A (ja) 2016-02-04
EP2974909A1 (en) 2016-01-20
CN105282499A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
JP6340969B2 (ja) 周辺監視装置、及びプログラム
JP6156486B2 (ja) 周辺監視装置、及びプログラム
US10363872B2 (en) Periphery monitoring device
JP6806156B2 (ja) 周辺監視装置
JP6801787B2 (ja) 駐車支援方法及び駐車支援装置
JP6380002B2 (ja) 周辺監視装置
JP7069548B2 (ja) 周辺監視装置
JP6281289B2 (ja) 周辺監視装置、及びプログラム
JP6642306B2 (ja) 周辺監視装置
JP6760122B2 (ja) 周辺監視装置
WO2018070298A1 (ja) 表示制御装置
CN112477758A (zh) 周边监视装置
WO2018061261A1 (ja) 表示制御装置
JP2021043815A (ja) 画像処理装置
JP6720729B2 (ja) 表示制御装置
JP2018020724A (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180430

R151 Written notification of patent or utility model registration

Ref document number: 6340969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151