WO2016158984A1 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
WO2016158984A1
WO2016158984A1 PCT/JP2016/060196 JP2016060196W WO2016158984A1 WO 2016158984 A1 WO2016158984 A1 WO 2016158984A1 JP 2016060196 W JP2016060196 W JP 2016060196W WO 2016158984 A1 WO2016158984 A1 WO 2016158984A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
underfloor
information
unit
Prior art date
Application number
PCT/JP2016/060196
Other languages
English (en)
French (fr)
Inventor
久保田　尚孝
渡邊　一矢
欣司 山本
孝之 中所
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US15/562,979 priority Critical patent/US10363872B2/en
Priority to CN201680019578.9A priority patent/CN107431787B/zh
Priority to EP16772865.8A priority patent/EP3280137B1/en
Publication of WO2016158984A1 publication Critical patent/WO2016158984A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • FIG. 5 is a side view showing an imaging region by the imaging unit 16a of the vehicle 1 according to the present embodiment.
  • FIG. 6 is a plan view illustrating an imaging region by the imaging unit 16 of the vehicle 1 equipped with the periphery monitoring system 100 according to the present embodiment for each time.
  • the acquisition unit 401 associates captured image data and acceleration data in which the time when the image is captured and the time when the acceleration is detected substantially coincide with each other.
  • the optical flow calculation unit 413 includes the first bird's-eye view image data used after the previous update and the second bird's-eye view image data generated after the first bird's-eye view image data.
  • An optical flow is calculated by cutting out a predetermined area from each. Alternatively, a bird's eye view may be created only in a predetermined area.
  • FIG. 9 is a diagram illustrating an example of an image displayed on the display device 8 by the periphery monitoring system 100 according to the embodiment.
  • dot hatching is given to the underfloor image 520.
  • the periphery monitoring unit 400 displays a past image 500 that is a combination of the underfloor image 520 and the past surrounding images 522, 524, 526, and 528.
  • the information is displayed on the display device 8 and provided to the driver.
  • the underfloor image 520 is an example of underfloor information.
  • the underfloor image 520 is an image of the underfloor region 530 on the road surface 501 below the parked vehicle 1.
  • the image generation unit 412 generates the surrounding image 522 of the front area 532 from the captured image data of the imaging area 502e. Based on the position information of the vehicle 1, the image generation unit 412 combines the captured image data of the imaging regions 504 a to 504 e to generate the surrounding image 526 of the right region 536. Based on the position information of the vehicle 1, the image generation unit 412 combines the captured image data of the imaging regions 506 a to 506 e to generate the surrounding image 524 of the left region 534. Based on the position information of the vehicle 1, the image generation unit 412 combines the captured image data of the imaging regions 508 a to 508 e to generate the surrounding image 528 of the rear region 538.
  • the image generation unit 412 generates the past image 500 by synthesizing the underfloor image 520 and the surrounding images 522, 528, 524, and 526.
  • the area size ARa of the past surrounding images 522, 528, 524, and 526 is, for example, 50 cm from the periphery of the actual vehicle 1.
  • the image generation unit 412 may add a condition that the speed of the vehicle 1 is less than a threshold, for example, a speed of less than several km, as a generation condition for the underfloor image 520 and the past image 500. Thereby, the image generation unit 412 can omit unnecessary image generation processing other than when the vehicle 1 is parked.
  • the periphery monitoring unit 400 sets the images of almost the entire region under the floor of the vehicle 1 as the underfloor images 520 and 550, but the underfloor image is not limited to this.
  • the surroundings monitoring unit 400 obtains an underfloor image relating to an underfloor area of the vehicle 1 including at least a partial area of all the wheels 3 of the plurality of wheels 3 in a state where the driving state is turned on from captured image data that is road surface information. It may be generated.
  • the periphery monitoring unit 400 displays, as the underfloor information, the underfloor image 620 regarding the underfloor region of the vehicle 1 including the region from the rear end of the front wheel 3F to the front end of the rear wheel 3R with respect to the traveling direction of the vehicle 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

　後輪から後方の領域の画像しか表示しないので、運転者への支援が十分でない。　周辺監視装置は、例えば、複数の車輪を有する車両の進行方向の路面情報を記憶する第１記憶部と、全ての車輪の少なくとも一部の領域を含む車両の床下領域に関する床下情報を、路面情報から生成する制御部と、車両の駆動が終了すると、床下情報を記憶する不揮発性の第２記憶部と、車両の駆動が開始すると、床下情報を表示する表示部と、を備え、制御部は、車両の進行方向に関して、前輪の後端部の領域から後輪の前端部の領域までを含む車両の床下領域に関する床下情報、及び、全ての車輪が接地した領域を含む車両の床下領域に関する床下情報のいずれか一方を少なくとも表示部に表示させる。

Description

周辺監視装置
　本発明は、周辺監視装置に関する。
　従来、自動車等の車両の床下の一部、例えば、後輪から後方の領域の画像を床下情報として表示装置に表示して、運転を支援する技術が知られている。
特許第３７９７３４３号公報 特許第４７２４５２２号公報 特許第５０６７６３２号公報
　しかしながら、従来技術では、後輪から後方の領域の画像しか表示しないので、運転者への支援が十分でないといった課題がある。
　本発明の実施形態にかかる周辺監視装置は、例えば、複数の車輪を有する車両の進行方向の路面情報を記憶する第１記憶部と、全ての車輪の少なくとも一部の領域を含む車両の床下領域に関する床下情報を、路面情報から生成する制御部と、車両の駆動が終了すると、床下情報を記憶する不揮発性の第２記憶部と、車両の駆動が開始すると、床下情報を表示する表示部と、を備える。
　上述したように、周辺監視装置は、車両の全ての車輪の領域を含む床下情報を表示する。これにより、周辺監視装置は、運転者に全ての車輪の近辺の床下情報を提供できる。また、周辺監視装置は、駆動が終了すると不揮発性の第２記憶部に床下情報を記憶させている。これにより、周辺監視装置では、駆動が開始した後、画像処理等の情報処理をほとんど必要とすることなく、床下情報を迅速に提供することができる。
　また、上記周辺監視装置は、例えば、制御部は、車両の駆動が開始した後に、床下情報と、車両の現在の周囲の情報に対応する現在周囲情報とを合成した合成情報を表示部に表示させてもよい。これにより、周辺監視装置は、駆動が開始した後の現在情報の提供時に取得できない床下情報の提供を実現しつつ、車両の周囲の情報については現在の状況を提供できる。
　また、上記周辺監視装置は、例えば、制御部は、床下情報と現在周囲情報とを異なる形式で表示部に表示させてもよい。これにより、周辺監視装置は、床下情報と現在周囲情報とが異なる状況によるものであることを運転者に認識させることができる。
　また、上記周辺監視装置は、例えば、路面情報は、路面の撮像画像であり、現在の周囲の情報は、現在の車両の周囲を撮像した撮像画像であり、制御部は、白黒画像、灰色画像及びセピア色画像の画像形式からなる群より選択された一の画像形式による床下情報の画像と、カラー画像の形式による現在周囲情報の画像とを合わせて表示部に表示させてもよい。このように、周辺監視装置は、床下情報の画像と、現在周囲情報の画像とを色の異なる画像形式で表示するので、運転者に両画像が異なる状況によるものであることを容易に認識させることができる。
　また、上記周辺監視装置は、例えば、第２記憶部は、車両の駆動が終了する前の車両の周囲の情報に対応する過去周囲情報を記憶して、制御部は、路面情報及び過去周囲情報を合わせて表示部に表示させてもよい。これにより、周辺監視装置は、第２記憶部から床下情報及び過去周囲情報を取得することによって、駆動が開始してから周囲の情報を取得することなく、運転者に周囲情報を迅速に提供することができる。
　また、上記周辺監視装置は、例えば、制御部は、車両の進行方向に関して、前輪の後端部の領域から後輪の前端部の領域までを含む車両の床下領域に関する床下情報を表示部に表示させてもよい。これにより、周辺監視装置は、前輪の後端部の領域から後輪の前端部の領域までを含む床下情報を運転者に提供できる。
　また、上記周辺監視装置は、例えば、制御部は、全ての車輪が接地した領域を含む車両の床下領域に関する床下情報を表示部に表示させてもよい。周辺監視装置は、全ての車輪が接地した領域を含む床下情報を運転者に提供できる。
図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図（鳥瞰図）である。 図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの一例が示されたブロック図である。 図４は、実施形態にかかる周辺監視装置の周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図５は、実施形態にかかる車両の撮像部による撮像領域を示した側面図である。 図６は、本実施形態にかかる周辺監視装置を搭載する車両の撮像部による撮像領域を時刻毎に示した平面図である。 図７は、実施形態にかかる周辺監視装置のオプティカルフロー算出部により算出されるオプティカルフローの概念を示した図である。 図８は、実施形態にかかる周辺監視装置のリングバッファの構造を示した図である。 図９は、実施形態にかかる周辺監視装置が表示装置に表示させる画像の一例を示す図である。 図１０は、実施形態にかかる周辺監視装置が表示装置に表示させる画像の別例を示す図である。 図１１は、実施形態にかかる周辺監視装置における生成処理の手順を示すフローチャートである。 図１２は、本実施形態にかかる周辺監視装置における画像の表示処理の手順を示すフローチャートである。 図１３は、実施形態にかかる周辺監視装置が表示装置に表示させる床下画像の別例を示す図である。 図１４は、実施形態にかかる周辺監視装置が表示装置に表示させる床下画像の別例を示す図である。
　後述する実施形態では、複数の車輪（例えば、四輪）を有する車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良い。また、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
　図１に示されるように、実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、例えば、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルである。また、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーである。ただし、これらには限定されない。
　また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置９は、例えば、スピーカである。また、本実施形態では、例えば、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、例えば、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、例えば、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。
　また、図１、図２に示されるように、本実施形態では、例えば、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２（図３参照）は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer　by　wire）システム等である。操舵システム１２は、図３に示すように、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、前輪３Ｆを操舵する。
　また、本実施形態では、例えば、図２に示されるように、車両１（車体２）には、複数（本実施形態では、例えば４つ）の撮像部１６（１６ａ～１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで撮像画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°～２２０°の範囲（視野角）を撮影（撮像）することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面と当該路面から上方の領域とを含む車体２の周辺の外部の環境を撮影することができる。
　本実施形態では、例えば、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントグリル等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。また、第１撮像部として機能する撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の撮像画像データ、左右サイド方向の撮像画像データ、リア方向の撮像画像データを取得できるように設置されればよい。
　周辺監視ＥＣＵ１４（図３参照）は、複数の撮像部１６で得られた撮像画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた撮像画像データを表示装置８に表示できる。なお、後述するが、例えば車両前方を撮影（撮像）する撮像部１６ａが撮影した撮像画像データは、そのまま現在の車両周囲の状況を示す現在の画像として利用する。そして、その撮像画像データを記憶しておくことにより、現在の画像に利用した撮像画像データをそのまま過去の車両の床下及び周囲の状況を示す撮像画像データとして利用して、過去の画像を表示する。
　また、本実施形態では、例えば、図３に示されるように、周辺監視システム（周辺監視装置）１００では、周辺監視ＥＣＵ１４（electronic　control　unit）や、モニタ装置１１等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果を受け取ることができる、また、周辺監視ＥＣＵ１４は、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。
　本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic　stability　control）搭載車両とする。そして、ＥＳＣ（electronic　stability　control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。
　周辺監視ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central　processing　unit）や、ＲＯＭ１４ｂ（read　only　memory）、ＲＡＭ１４ｃ（random　access　memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid　state　drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＡＭ１４ｃは、第１記憶部の一例である。ＳＳＤ１４ｆは、不揮発性の第２記憶部の一例である。
　ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた撮像画像データを用いた画像処理や、表示装置８で表示される撮像画像データの画像処理（例えば合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えて不揮発性の第２記憶部としてＨＤＤ（hard　disk　drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。
　図４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部４００の構成を示すブロック図である。図３の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、図４に示される、取得部４０１と、角度算出部４０２と、保存処理部４０３と、受付部４０５と、表示処理部４０６と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。また、周辺監視部４００は、ＲＡＭ１４ｃ上にリングバッファ４０４を実現する。
　図５は、本実施形態にかかる車両１の撮像部１６ａによる撮像領域を示した側面図である。図６は、本実施形態にかかる周辺監視システム１００を搭載する車両１の撮像部１６による撮像領域を時刻毎に示した平面図である。尚、図６における時刻ｔ＝４は、車両１が駐車した状態を示している。従って、図６における時刻ｔ＝４の状態は、駐車した車両１の過去の状態ともいえ、駐車した状態から発進する現在の車両１の状態ともいえる。また、図６における時刻ｔ＝０～３は、前方に進行している車両１の駐車直前の状態である。
　図５及び図６に示されるように、撮像部１６ａは、車両１の進行方向の路面と、当該路面から上方（重力方向の反対方向）の領域であり、少なくとも地平線を含む領域を撮像している。しかしながら、駐車または停車している車両１の車輪３付近の路面５０１は、撮像部１６ａが現在撮像している撮像領域５０２ｅに含まれていない。また、撮像領域を前輪３Ｆ付近の床下まで含めるのも、車両１のバンパーの配置等の影響（車両１の構造的に）で難しい。
　このため、運転者（利用者）は、駐車している車両１において、現在撮像されている撮像画像データを視認しても、車両１の前輪３Ｆ付近に障害物５６０（図９参照）等が存在するか否かを確認するのが難しい。そこで、本実施形態において、制御部として機能する周辺監視部４００は、撮像部１６ａが過去に撮像した撮像画像データから生成した画像を表示可能とした。過去に撮像した撮像画像データとは、換言すれば、車両１の現在の位置より後方の位置で撮像した撮像画像データを意味し、例えば、図５及び図６の例において車両１の現在位置（例えば、駐車位置）における床下領域または床下領域の一部に対応する撮像画像データとすることができる。床下領域とは、車両１の鉛直下方の領域であって、換言すれば、車両１を路面に投影した領域である。従って、車両１が前方に進行している場合、撮像部１６ａが、路面を含む領域を撮像して生成した過去の撮像画像データは車両の進行方向の路面の情報である路面情報及び路面の撮像画像の一例である。
　例えば、周辺監視部４００は、駐車直前に前方に進行している車両１の後方の位置（ｔ＝４で駐車している車両１の位置に至る前の位置）で撮像部１６ａが撮像した撮像画像データの画像として、時刻ｔ＝２の撮像領域５０２ｃの画像を、運転者に提示することが考えられる。撮像領域５０２ｃには、路面５０１ｃが含まれているため、運転者は前輪３Ｆ付近の路面５０１ｃを確認することができる。周辺監視部４００は、前方に進行している車両１の更に後方の位置で撮像部１６ａが撮像した撮像画像データの画像として、時刻ｔ＝０の撮像領域５０２ａの画像を、運転者に提示することが考えられる。撮像領域５０２ａには、路面５０１ａが含まれているため、運転者は後輪３Ｒ付近の路面５０１ａを確認することができる。周辺監視部４００は、前方に進行している車両１の後方の位置で撮像部１６ａが撮像した撮像画像データの画像として、時刻ｔ＝１の撮像領域５０２ｂの画像を、運転者に提示することが考えられる。撮像領域５０２ｂには、路面５０１ｂが含まれているため、運転者は前輪３Ｆと後輪３Ｒとの間の路面５０１ｂを確認することができる。周辺監視部４００は、前方に進行している車両１の後方の位置で撮像部１６ａが撮像した撮像画像データの画像として、時刻ｔ＝３の撮像領域５０２ｂの画像を、運転者に提示することが考えられる。撮像領域５０２ｂには、路面５０１ｄが含まれているため、運転者は前輪３Ｆの前方の路面５０１ｄを確認することができる。
　また、周辺監視部４００は、左右の側方の周囲画像においても、駐車直前に前方に進行している車両１の過去の撮像画像データから画像を生成して、運転者に提供してもよい。周辺監視部４００は、前方に進行している車両１の後方の位置（駐車している車両１の位置に至る前の位置）で撮像部１６ｄが撮像した右方周辺の撮像画像データの画像として、時刻ｔ＝０、１、２、３、４の各時刻で撮像した撮像領域５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ、５０４ｅの画像を、運転者に提示することが考えられる。撮像領域５０４ａから５０４ｅには、撮像部１６ｄが一度に撮像できない領域も含まれるので、周辺監視部４００は、運転者に広い領域の周囲画像を提供できる。同様に、周辺監視部４００は、左方周辺の撮像画像データの画像として、時刻ｔ＝０、１、２、３、４の各時刻で撮像した撮像領域５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ、５０６ｅの画像を、運転者に提示することが考えられる。ただし、処理負荷低減が必要な場合、撮像領域５０４ｅの画像のみを表示してもよい。
　周辺監視部４００は、後方の周囲画像においても、駐車直前に前方に進行している車両１の過去の撮像画像データから画像を生成して、運転者に提供してもよい。周辺監視部４００は、前方に進行している車両１の後方の位置（駐車している車両１の位置に至る前の位置）で撮像部１６ｃが撮像した車両１の後方周辺の撮像画像データの画像として、時刻ｔ＝０、１、２、３、４の各時刻で撮像した撮像領域５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ、５０６ｅの画像を、運転者に提示することが考えられる。撮像領域５０６ａから５０６ｅには、撮像部１６ｄが一度に撮像できない領域も含まれるので、周辺監視部４００は、運転者に広い領域の撮像画像データの画像を提供できる。これにより、運転者は路面５０１及び周辺の状況を確認した上で運転できるため、障害物５６０等を容易に認識して、運転者の負担を軽減できる。
　次に、図４に戻り、周辺監視部４００の構成について説明する。取得部４０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部４０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ～１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。取得部４０１は、取得した情報を角度算出部４０２及び保存処理部４０３に出力する。
　また、取得部４０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。
　角度算出部４０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とし、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。
　また、角度算出部４０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。
　保存処理部４０３は、回転制御部４１１と、画像生成部４１２と、オプティカルフロー算出部４１３と、位置推定部４１４と、保存部４１５と、を備え、表示装置８に表示するための画像データを生成し、撮像部１６が撮影（撮像）した撮像画像データと共に保存する。
　回転制御部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、回転補正を行う。
　本実施形態にかかる回転制御部４１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。
　画像生成部４１２は、撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した床下画像等の鳥瞰図画像データを生成する。尚、画像生成部４１２は、回転補正された撮像画像データを用いて鳥瞰図画像データを生成してもよい。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルを用いて変換しても良い。また、画像生成部４１２は、鳥瞰図画像データから床下画像の平面画像データを合わせて作成してもよい。
　鳥瞰図画像データの生成は、撮像画像データを取得する毎に行ってもよい。換言すれば、画像生成部４１２は、回転制御部４１１により回転補正された第１の撮像画像データに基づいて第１の鳥瞰図画像データを生成した後に、当該第１の撮像画像データを撮影（撮像）してから車両１が移動した後に撮像部１６により撮像され且つ回転制御部４１１により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成してもよい。
　オプティカルフロー算出部４１３は、画像生成部４１２により算出された鳥瞰図画像データに基づいて、オプティカルフローを算出する。オプティカルフローは、鳥瞰図画像データに映っている物体の動きをベクトルで示した情報とする。オプティカルフローを算出することで、車両１の移動量を推定することができる。
　本実施形態にかかるオプティカルフロー算出部４１３は、画像生成部４１２により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、オプティカルフローを算出する。また、撮像部１６からの画像データまたはその一部を比較して、オプティカルフローを算出してもよい。
　しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかるオプティカルフロー算出部４１３は、画像生成部４１２により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。
　具体的には、本実施形態にかかるオプティカルフロー算出部４１３は、前回更新した際に用いた第１の鳥瞰図画像データ及び、第１の鳥瞰図画像データより後に生成された第２の鳥瞰図画像データのそれぞれから、予め定められたエリアを切り出して、オプティカルフローを算出する。また、予め定められたエリアのみ鳥瞰図を作成してもよい。
　図７は、オプティカルフロー算出部４１３により算出されるオプティカルフローの概念を示した図である。図７の（Ａ）を、前回更新した際に用いた第１の鳥瞰図画像データから予め定められた範囲で切り出された画像データとし、図７の（Ｂ）を、今回、画像生成部４１２により生成された第２の鳥瞰図画像データから予め定められた範囲で切り出された画像データとする。
　そして、オプティカルフロー算出部４１３は、図７の（Ａ）で示した画像データと、図７の（Ｂ）で示した画像データとの間で、表示された物体（の特徴点）の遷移をベクトルで示したオプティカルフローを算出する。図７の（Ｃ）が算出されたオプティカルフローの例を示している。図７の（Ｃ）で示す例では、図７の（Ａ）内で示された特徴点（“×”で示される）が、図７の（Ｂ）内で示された特徴点（“×”で示される）まで移動したベクトルの長さが示されている。
　そして、位置推定部４１４は、オプティカルフロー算出部４１３により算出されたオプティカルフローの平均値から、車両１の移動量を算出し、車両１の現在の位置を推定する。また、検出した各オプティカルフローから直接移動量を算出してもよい。
　ところで、本実施形態では、オプティカルフローで車両１の現在の位置を推定している。これは、車両１の前輪３Ｆ付近などの車両１の床下の状況を把握したい場合、オフロード走行していることが多い。オフロード走行では、荒れた路面等の影響により車輪３の空転等が生じることが考えられる。この場合、車輪３の回転数に基づいて車両１の移動量を推定すると誤差が生じる可能性が大きい。そこで、本実施形態では、オプティカルフローに基づいて車両１の移動量、及び位置を推定することとした。車輪３がスリップしていない場合は、車輪３の回転と操舵角から移動量と方向を算出し、現在の位置を推定してもよい。
　保存部４１５は、前回保存してから車両１の移動量が閾値距離以上の条件を満たした場合に、回転制御部４１１に補正された撮像画像データを、車両１の位置情報と共に、リングバッファ４０４に保存する。本実施形態は、閾値距離を制限するものではないが、例えば、０．３ｍ、０．５ｍ等が考えられる。
　リングバッファ４０４は、撮像部１６から出力された現在の撮像画像データを、撮像時の情報と対応付けて記憶する。図８は、リングバッファ４０４の構造を示した図である。図８に示されるように、リングバッファ４０４は、撮像画像データと、当該撮像画像データの撮像時の車両１の傾き（進行方向）、及び車両１の位置情報と、を対応付けて各撮像部１６ａから１６ｄの撮像画像データ毎に記憶する。
　図８に示されるように、リングバッファ４０４は、論理的にリング状に配置されたバッファとする。そして、リングバッファ４０４においては、保存部４１５の保存要求に応じて、最も古く更新された領域に対して、当該保存要求の撮像画像データ等を上書き保存していく。
　図４に戻り、受付部４０５は、操作入力部１０等の指示信号（制御信号）を受け付ける。指示信号の一例は、後述する過去画像の表示と、現在画像の表示との切り替え指示に関する信号である。
　表示処理部４０６は、画像選択部４２１と、出力部４２２と、を備え、受付部４０５が受け付けた操作に従って、表示装置８に対する表示処理を行う。
　画像選択部４２１は、受付部４０５により、現在画像の表示を受け付けていない場合、表示する画像として、ＳＳＤ１４ｆに記憶されている過去画像を選択する。画像選択部４２１は、受付部４０５により、現在画像の表示を受け付けている場合、表示する画像として、ＳＳＤ１４ｆに記憶されている床下画像、及び、現在撮像中の撮像画像データから生成された現在画像を選択する。
　出力部４２２は、画像選択部４２１によって選択された過去画像または現在画像を表示装置８に表示させる。
　図９は、実施形態にかかる周辺監視システム１００が表示装置８に表示させる画像の一例を示す図である。尚、図９において、床下画像５２０には、ドットハッチングを付与している。図９に示すように、例えば、周辺監視部４００は、車両１の駆動状態がオンになると、床下画像５２０、及び、過去の周囲画像５２２、５２４、５２６、５２８とを合わせた過去画像５００を表示装置８に表示させて運転者に提供する。床下画像５２０は、床下情報の一例である。床下画像５２０は、駐車中の車両１の下方の路面５０１の床下領域５３０の画像である。過去の周囲画像５２２、５２４、５２６、５２８は、車両１の駆動状態がオフになる前の車両１の周囲の情報に対応する画像である。過去の周囲画像５２２、５２４、５２６、５２８は、過去周囲情報の一例である。図９に示す例では、床下画像５２０は、駐車中の現在の複数の車輪３の全ての領域を含む床下領域の画像である。車輪３の全ての領域とは、例えば、全ての車輪３を路面５０１に投影した領域のことである。図９に示す例では、周辺監視部４００は鳥瞰図による床下画像５２０を表示させているが、平面図等の他の図法による床下画像５２０を表示させてもよい。
　駆動状態がオンとは、車両１の駆動が開始することの一例である。駆動状態がオンになるとは、例えば、車両１の各種メータ、ライト、エアコンディショナー及びカーナビゲーションシステム等の電子機器全般に電源を供給可能な状態であってイグニッションスイッチ等のスイッチをオンに設定した状態である。尚、駆動状態がオンになるとは、例えば、内燃機関（例えば、エンジン）または電動機（例えば、モータ）等の車両１を移動させる駆動源がオンになった状態であってもよい。
　駆動状態がオフとは、車両１の駆動が終了することの一例である。駆動状態がオフになるとは、例えば、車両１の各種メータ、ライト、エアコンディショナー、及び、カーナビゲーションシステム等の電子機器全般への電源供給の停止を開始した状態であってイグニッションスイッチ等のスイッチをオフに設定した状態である。尚、駆動状態がオフになるとは、例えば、内燃機関（例えば、エンジン）または電動機（例えば、モータ）等の車両１を移動させる駆動源がオフになった状態であってもよい。
　例えば、周辺監視部４００では、画像生成部４１２が、車両１の位置情報に基づいて、異なる時刻に撮像された複数の撮像領域５０２ａ～５０２ｄの撮像画像データの画像を合成して、車両１の床下領域の全域が含まれる１枚の床下画像５２０を生成する。尚、周辺監視部４００は、車両１の位置情報と合わせて、舵角センサ１９から取得した操舵角のデータ等に基づいて、床下画像５２０を生成してもよい。ここで、画像生成部４１２は、床下画像５２０の領域内の現在の車輪３の位置に、当該車輪３の位置を示す車輪画像５１３を重ね合わせてもよい。図９に示す例では、車輪画像５１３Ｆが、前輪３Ｆの画像に対応して、車輪画像５１３Ｒが、後輪３Ｒの画像に対応する。車輪画像５１３Ｆは、舵角センサ１９により取得した情報に基づいて左右に傾けてもよい。
　画像生成部４１２は、撮像領域５０２ｅの撮像画像データから前方の領域５３２の周囲画像５２２を生成する。画像生成部４１２は、車両１の位置情報に基づいて、撮像領域５０４ａから５０４ｅの撮像画像データを合成して、右方の領域５３６の周囲画像５２６を生成する。画像生成部４１２は、車両１の位置情報に基づいて、撮像領域５０６ａから５０６ｅの撮像画像データを合成して、左方の領域５３４の周囲画像５２４を生成する。画像生成部４１２は、車両１の位置情報に基づいて、撮像領域５０８ａから５０８ｅの撮像画像データを合成して、後方の領域５３８の周囲画像５２８を生成する。画像生成部４１２は、床下画像５２０と前後左右の周囲画像５２２、５２８、５２４、５２６とを合成して過去画像５００を生成する。尚、過去の周囲画像５２２、５２８、５２４、５２６の領域の大きさＡＲａは、例えば、実際の車両１の周囲から５０ｃｍである。画像生成部４１２は、床下画像５２０及び過去画像５００の生成条件として、車両１の速度が閾値未満、例えば、時速が数ｋｍ未満という条件を追加してもよい。これにより、画像生成部４１２は、車両１が駐車するとき以外の不要な画像生成処理を省略できる。
　周辺監視部４００では、保存部４１５は、画像生成部４１２が生成した床下画像５２０及び過去画像５００を、ＲＡＭ１４ｃに記憶させる。保存部４１５は、車両１の駆動状態がオフになると、ＲＡＭ１４ｃに記憶させた床下画像５２０及び過去画像５００を、ＳＳＤ１４ｆに記憶させる。保存部４１５は、床下画像５２０及び過去画像５００をＳＳＤ１４ｆに記憶させた後、撮像画像データを消去してもよい。これにより、周辺監視部４００は、床下画像の生成等に必要な記憶容量を低減できる。
　図１０は、実施形態にかかる周辺監視システム１００が表示装置８に表示させる画像の別例を示す図である。周辺監視部４００は、車両１の駆動状態がオンになった後に、床下画像５５０と、撮像部１６が現在撮像している周囲の撮像画像データに対応する現在の周囲画像５５２、５５４、５５６、５５８とを合成した画像を現在画像５４０として、表示装置８に表示させてもよい。撮像部１６が現在撮像している周囲の撮像画像データは、車両１の現在の周囲の情報の一例である。現在の周囲画像５５２、５５４、５５６、５５８は、現在周囲情報の一例である。現在画像５４０は、合成情報の一例である。尚、図１０に示す例では、周辺監視部４００は平面図による床下画像５５０を表示させているが、鳥瞰図等の他の図法による床下画像を表示させてもよい。床下画像５５０及び車輪画像５１４は、上述した床下画像５２０及び車輪画像５１３をそれぞれ平面図に変換した画像である。
　図１０に示す現在画像５４０の例では、画像生成部４１２は、撮像部１６ａが現在撮像している周囲の撮像画像データから前方の領域の周囲画像５５２を生成している。画像生成部４１２は、撮像部１６ｄ、１６ｂが現在撮像している周囲の撮像画像データから、左右の側方の領域の周囲画像５５４、５５６を生成している。画像生成部４１２は、撮像部１６ｃが現在撮像している周囲の画像から後方の領域の周囲画像５５８を生成している。画像生成部４１２は、床下画像５５０と、周囲画像５５２、５５４、５５６、５５８とを合成して現在画像５４０を生成する。尚、周囲画像５５２、５５４、５５６、５５８の領域の大きさＡＲｂは、例えば、車両１の周囲から２ｍである。
　図１０に示す現在画像５４０において、周辺監視部４００は、過去の画像である床下画像５５０と、現在の画像である周囲画像５５２、５５４、５５６、５５８とを異なる形式で表示装置８に表示させてもよい。例えば、周辺監視部４００は、表示する画像の色を変えることによって形式を異ならせてもよい。この場合、周辺監視部４００は、白黒画像、灰色画像、及び、セピア色画像の群から選択された一の画像形式による床下画像５５０を表示して、現在の周囲画像５５２、５５４、５５６、５５８をカラー画像（例えば、撮像された色を維持したカラー画像）の形式で表示する。
　また、周辺監視部４００は、過去画像５００を表示している場合と、現在画像５４０を表示している場合で表示形式を異ならせてもよい。例えば、周辺監視部４００は、上述したように過去画像５００を表示する場合には鳥瞰図の画像を表示して、現在画像５４０を表示する場合には平面図で表示することが考えられる。また、別の例では、周辺監視部４００は、画像を表示する色を変えてもよい。例えば、周辺監視部４００は、白黒画像、灰色画像、及び、セピア色画像の群から選択された一の画像形式によって、過去画像５００を表示してもよい。
　本実施形態にかかる周辺監視部４００における過去画像５００の生成処理について説明する。図１１は、実施形態にかかる周辺監視システム１００における生成処理の手順を示すフローチャートである。
　図１１に示すように、過去画像５００の生成処理では、保存部４１５が、撮像部１６の撮像画像データをリングバッファ４０４に保存する（Ｓ１０１０）。
　次に、保存部４１５は、車両１の速度が閾値速度未満か否かを判断する（Ｓ１０２０）。換言すれば、Ｓ１０２０の処理では、保存部４１５は、車両１が駐車直前か否かを判断している。保存部４１５は、車両１の速度が閾値速度未満でないと判断、即ち、まだ駐車直前でないと判断すると（Ｓ１０２０：Ｎｏ）、前回の撮像画像データを保存した位置から車両１が閾値距離以上移動したか否かを判断する（Ｓ１０３０）。閾値距離の一例は、少なくとも撮像部１６に撮像領域の進行方向の長さ以上である。保存部４１５は、例えば、オプティカルフロー算出部４１３が算出したオプティカルフローから推定される移動量と閾値距離とを比較して、Ｓ１０３０の判断を実行してもよい。
　保存部４１５は、車両１が閾値距離以上移動したと判断するまで待機状態となる（Ｓ１０３０：Ｎｏ）。保存部４１５は、車両１が閾値距離以上移動したと判断すると（Ｓ１０３０：Ｙｅｓ）、再度ステップＳ１０１０に戻って、新たな撮像画像データを保存する。ここで、閾値距離は撮像部１６に撮像領域の進行方向の長さ以上なので、保存部４１５は、進行方向において、一部の領域が互いに重複する複数の撮像画像データを保存できる。保存部４１５は、既にリングバッファ４０４の全容量に撮像画像データが保存されている場合、最も古い撮像画像データを消去して、新たな撮像画像データを保存する。尚、保存部４１５は、閾値距離以外に、車両１の操舵角と予め定められた閾値角度（例えば、２ｄｅｇ）との比較結果を合わせて考慮して、新たな撮像画像データを保存してもよい。この後、保存部４１５は、速度が閾値速度未満と判断するまで、ステップＳ１０１０を繰り返す。
　保存部４１５が、車両１の速度が閾値速度未満と判断、即ち、駐車直前であると判断すると（Ｓ１０２０：Ｙｅｓ）、画像生成部４１２は、リングバッファ４０４に保存されている複数の撮像画像データを取得する（Ｓ１０４０）。
　次に、画像生成部４１２は、撮像部１６ａが撮像した時刻の異なる複数の路面５０１の撮像画像データを鳥瞰図に変換した後、当該複数の画像を合成して床下画像５２０を生成する（Ｓ１０５０）。次に、画像生成部４１２は、撮像部１６ａ～１６ｄが撮像した撮像画像データを合成した画像を過去の周囲画像５２２、５２８、５２４、５２６として生成する（Ｓ１０６０）。画像生成部４１２は、床下画像５２０と過去の周囲画像５２２、５２８、５２４、５２６とを合成して、図９に示すような過去画像５００を生成する（Ｓ１０７０）。保存部４１５は、床下画像５２０及び過去画像５００を揮発性のＲＡＭ１４ｃに保存する（Ｓ１０８０）。
　次に、保存部４１５は、駆動状態がオフか否かを判断する（Ｓ１０９０）。保存部４１５は、駆動状態がオフでないと判断すると（Ｓ１０９０：Ｎｏ）、Ｓ１０３０と同様に前回の撮像画像データを保存した位置から車両１が閾値距離以上移動したか否かを判断する（Ｓ１０９５）。保存部４１５は、車両１が閾値距離以上移動したと判断すると（Ｓ１０９５：Ｙｅｓ）、ステップＳ１０１０以降を繰り返す。一方、保存部４１５は、車両１が閾値距離以上移動していないと判断すると（Ｓ１０９５：Ｎｏ）、ステップＳ１０９０を繰り返す。保存部４１５は、駆動状態がオフであると判断すると（Ｓ１０９０：Ｙｅｓ）、ＲＡＭ１４ｃに保存した床下画像５２０及び過去画像５００を取得して、不揮発性のＳＳＤ１４ｆに床下画像５２０及び過去画像５００を保存する（Ｓ１１００）。
　次に、本実施形態にかかる周辺監視部４００における床下画像５２０、５５０を含む画像の表示処理について説明する。図１２は、本実施形態にかかる周辺監視システム１００における画像の表示処理の手順を示すフローチャートである。
　図１２に示すように、画像の表示処理では、画像選択部４２１は、駆動状態がオンか否かを判断する（Ｓ２０００）。画像選択部４２１は、駆動状態がオンであると判断すると（Ｓ２０００：Ｙｅｓ）、受付部４０５が現在の画像の表示を受け付けているか否かを判断する（Ｓ２０１０）。画像選択部４２１は、受付部４０５が現在の画像の表示を受け付けていないと判断すると（Ｓ２０１０：Ｎｏ）、ＳＳＤ１４ｆに保存されている過去画像５００を取得して、出力部４２２へ出力する（Ｓ２０２０）。出力部４２２は、取得した過去画像５００を表示装置８に表示させて（Ｓ２０３０）、表示処理を終了する。
　一方、画像選択部４２１は、受付部４０５が現在の画像の表示を受け付けていると判断すると（Ｓ２０１０：Ｙｅｓ）、現在画像５４０を選択して表示させるために、画像生成部４１２から現在の撮像画像データを取得させる（Ｓ２０４０）。画像生成部４１２は、取得した撮像画像データから現在の周囲画像５５２、５５４、５５６、５５８を生成する（Ｓ２０５０）。画像生成部４１２は、ＳＳＤ１４ｆに保存されている床下画像５２０を取得して（Ｓ２０６０）、床下画像５２０と現在の周囲画像５５２、５５４、５５６、５５８とを合成して、図９に示すような現在画像５４０を生成して、出力部４２２へ出力する（Ｓ２０７０）。ここで、画像生成部４１２は、現在画像５４０に含まれる過去の画像である床下画像５５０の画像形式を周囲画像５５２、５５４、５５６、５５８とは異ならせた画像形式としてもよい。出力部４２２は、取得した現在画像５４０を表示装置８に表示させて（Ｓ２０３０）、表示処理を終了する。
　上述したように、周辺監視システム１００は、車両１の全ての車輪３の少なくとも一部の領域を含む床下画像５２０、５５０を表示する。これにより、周辺監視システム１００は、運転者に広い領域の床下画像５２０、５５０を提供できる。特に、周辺監視システム１００は、床下画像５２０、５５０に全ての車輪３の全ての領域を含ませることで、車輪３の近傍の輪留め、フラップ、路面のくぼみ等の位置を運転者に提供することができる。
　周辺監視システム１００では、駆動状態がオフになると、床下画像５２０をＳＳＤ１４ｆに記憶させている。これにより、周辺監視システム１００は、駆動状態がオンになると、ＳＳＤ１４ｆから床下画像５２０を取得して、床下画像５２０、５５０を含む画像を迅速に提供できる。
　周辺監視システム１００は、過去の画像である床下画像５５０と、現在の画像である周囲画像５５２、５５４、５５６、５５８とを含む現在画像５４０を運転者に提供できる。これにより、周辺監視システム１００は、提供時に撮像できない床下画像５５０の提供を実現しつつ、周囲画像５５２、５５４、５５６、５５８については最新の状況を提供できる。
　周辺監視システム１００では、過去の画像である床下画像５５０と、現在の画像である周囲画像５５２、５５４、５５６、５５８とが混在する現在画像５４０を表示する場合、床下画像５５０を周囲画像５５２、５５４、５５６、５５８と異なる画像形式で表示させるので、運転者に床下画像５５０が過去の状態であることを容易に認識させることができる。
　周辺監視システム１００では、駆動状態がオフになる前の床下画像５２０と周囲画像５２２、５２４、５２６、５２８とを含む過去画像５００を生成して、駆動状態がオフになるとＳＳＤ１４ｆに記憶させている。これにより、周辺監視システム１００では、駆動状態がオンになった後、現在の周囲の情報を取得することなく、床下画像５２０を含む過去画像５００を迅速に提供することができる。
　周辺監視システム１００では、車両１が駐車する前の撮像画像データから床下画像５２０、５５０を生成している。これにより、周辺監視システム１００は、床下画像５２０、５５０のみを撮像するための撮像部を別途設ける必要がないので、構成を簡略化できる。
　上述した実施形態を部分的に変更した変形例について説明する。
　上述した周辺監視システム１００では、周辺監視部４００が、車両１の床下の略全領域の画像を床下画像５２０、５５０としたが、床下画像はこれに限定されない。周辺監視部４００は、駆動状態がオンになった状態における複数の車輪３の全ての車輪３の少なくとも一部の領域を含む車両１の床下領域に関する床下画像を、路面情報である撮像画像データから生成してもよい。例えば、周辺監視部４００は、車両１の進行方向に関して、前輪３Ｆの後端部の領域から後輪３Ｒの前端部の領域までを含む車両１の床下領域に関する床下画像６２０を床下情報として表示装置８に表示させてもよい。この場合であっても、図１３に示すように、前輪の車輪画像５１３Ｆの後端部と後輪の車輪画像５１３Ｒの前端部との間の領域の床下画像６２０を運転者に提供できる。また、周辺監視部４００は、全ての車輪３が接地した領域を含む車両１の床下領域に関する床下画像６２１を床下情報として表示装置８に表示させてもよい。この場合であっても、図１４に示すように、全ての車輪３が接地した領域として車輪画像５１３の前後方向の中央部の領域を含む床下画像６２１を床下情報として運転者に提供できる。
　上述した周辺監視システム１００は、撮像部１６によって撮像した撮像画像データから床下画像５２０、５５０等を含む過去画像５００及び現在画像５４０を生成したが、撮像部１６以外のセンサ等が生成した路面情報及び周囲の情報に基づいて、過去画像５００及び現在画像５４０を生成してもよい。センサの一例は、ソナーまたはレーダ等である。これらのセンサが生成した路面情報に基づいて、床下画像及び周囲画像を生成して表示してもよい。この場合、例えば、周辺監視システム１００は、輪留め、フラップ、路面のくぼみ等の路面の凹凸を線画、ポリゴン画像、及び、３Ｄマップ画像のいずれかによって床下画像５２０、５５０等を表示してもよい。路面情報及び周囲の情報を生成する他の装置の例は、周辺のＶ２Ｘ等の通信可能なモジュールであってもよい。更に、撮像部１６、レーダ、ソナー、及び、通信モジュールから選択された複数の装置によって、路面情報及び周囲の情報を生成してもよい。この場合、例えば、周辺監視システム１００は、撮像部１６によって撮像された撮像画像データから生成された床下画像５２０、５５０等に含まれる障害物５６０を、レーダ等によって検出して、当該障害物５６０の画像を強調表示してもよい。また、複数のセンサが路面情報及び周囲の情報を生成する場合、車両１の側方へ視点変換した床下画像、または、進行方向の周囲画像を拡大した画像等を、過去画像５００から切り替え可能に表示してもよい。
　上述した周辺監視システム１００は、撮像画像データから生成した床下画像５２０及び過去画像５００を保存する例を示したが、床下画像５２０及び過去画像５００を、エッジまたは２値化した線画、もしくは、コーデックのストリーム等に変換して保存してもよい。これにより、周辺監視システム１００は、床下画像５２０及び過去画像５００に対応する情報の保存容量を低減できる。
　上述した周辺監視システム１００は、現在画像５４０を表示する形態において、過去の画像である床下画像５５０を白黒画像等に変換して、現在の周囲画像５５２、５５４、５５６、５５８と異なる表示形式で表示する例を示したが、他の表示形式によって床下画像５５０を表示してもよい。例えば、床下画像５５０は、線画、透明画像、半透明画像、及び、コンピュータグラフィック情報等の表示形式で表示してもよい。
　周辺監視システム１００は、車両１が開錠されたことを条件として、スマートフォンまたはタブレット端末等の携帯型高性能端末に、床下画像５２０または床下画像５２０を含む過去画像５００を提供してもよい。また、周辺監視システム１００は、予め（例えば、床下画像５２０及び過去画像５００をＳＳＤ１４ｆに保存するタイミング）床下画像５２０及び過去画像５００を携帯型端末へと提供してもよい。
　上述した周辺監視システム１００は、運転者の指示に従って、床下画像５２０と過去の周囲画像５２２、５２４、５２６、５２８とを含む過去画像５００と、床下画像５５０と現在の周囲画像５５２、５５４、５５６、５５８とを含む現在画像５４０とを切り替え表示できる例を示したが、いずれか一方のみを表示するように構成してもよい。
　上述した周辺監視システム１００は、床下画像５５０の保存とともに、駐車開始時刻または駆動状態がオフになった時刻を保存してもよい。この場合、周辺監視システム１００は、前回の駆動状態から長い時間（例えば、数年）経過していると、駆動状態がオンになっても、過去画像５００及び現在画像５４０の表示処理を省略してもよい。周辺監視システム１００は、前回の駆動状態から短い時間しか経過していないと、駆動状態がオンになったときの輝度情報を取得して、輝度情報を更新した過去画像５００を表示してもよく、床下画像５５０と現在の周囲画像５５２、５５４、５５６、５５８とを含む現在画像５４０を表示してもよい。
　上述した周辺監視システム１００は、異なる時刻に撮像された複数の撮像画像データから車両１の床下領域の全域が含まれる１枚の床下画像を生成したが、撮像部１６の撮像領域が広い場合、１つの撮像画像データから１枚の床下画像を生成してもよい。
　上述の周辺監視システム１００は、車両１の速度が閾値速度未満になると、床下画像５２０及び過去画像５００を生成する例を示したが、駆動状態がオフになってから床下画像５２０及び過去画像５００を生成してもよい。
　本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (7)

  1. 　複数の車輪を有する車両の進行方向の路面情報を記憶する第１記憶部と、
    　全ての前記車輪の少なくとも一部の領域を含む前記車両の床下領域に関する床下情報を、前記路面情報から生成する制御部と、
    　前記車両の駆動が終了すると、前記床下情報を記憶する不揮発性の第２記憶部と、
    　前記車両の駆動が開始すると、前記床下情報を表示する表示部と、
    を備える周辺監視装置。
  2. 　前記制御部は、前記車両の駆動が開始した後に、前記床下情報と、前記車両の現在の周囲の情報に対応する現在周囲情報とを合成した合成情報を前記表示部に表示させる
    　請求項１に記載の周辺監視装置。
  3. 　前記制御部は、前記床下情報と前記現在周囲情報とを異なる形式で前記表示部に表示させる
    　請求項２に記載の周辺監視装置。
  4. 　前記路面情報は、路面の撮像画像であり、
    　現在の周囲の情報は、現在の前記車両の周囲を撮像した撮像画像であり、
    　前記制御部は、
    　白黒画像、灰色画像及びセピア色画像の画像形式からなる群より選択された一の画像形式による前記床下情報の画像と、カラー画像の形式による前記現在周囲情報の画像とを合わせて前記表示部に表示させる
    　請求項１から３のいずれか１項に記載の周辺監視装置。
  5. 　前記第２記憶部は、前記車両の駆動が終了する前の前記車両の周囲の情報に対応する過去周囲情報を記憶して、
    　前記制御部は、前記路面情報及び前記過去周囲情報を合わせて前記表示部に表示させる
    　請求項１から４のいずれか１項に記載の周辺監視装置。
  6. 　前記制御部は、
    　前記車両の進行方向に関して、前輪の後端部の領域から後輪の前端部の領域までを含む前記車両の床下領域に関する前記床下情報を前記表示部に表示させる
    　請求項１から５のいずれか１項に記載の周辺監視装置。
  7. 　前記制御部は、
    　全ての前記車輪が接地した領域を含む前記車両の床下領域に関する前記床下情報を前記表示部に表示させる
    　請求項１から６のいずれか１項に記載の周辺監視装置。
PCT/JP2016/060196 2015-04-02 2016-03-29 周辺監視装置 WO2016158984A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/562,979 US10363872B2 (en) 2015-04-02 2016-03-29 Periphery monitoring device
CN201680019578.9A CN107431787B (zh) 2015-04-02 2016-03-29 周边监控装置
EP16772865.8A EP3280137B1 (en) 2015-04-02 2016-03-29 Periphery monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-076236 2015-04-02
JP2015076236A JP6609970B2 (ja) 2015-04-02 2015-04-02 周辺監視装置

Publications (1)

Publication Number Publication Date
WO2016158984A1 true WO2016158984A1 (ja) 2016-10-06

Family

ID=57004349

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060196 WO2016158984A1 (ja) 2015-04-02 2016-03-29 周辺監視装置

Country Status (5)

Country Link
US (1) US10363872B2 (ja)
EP (1) EP3280137B1 (ja)
JP (1) JP6609970B2 (ja)
CN (1) CN107431787B (ja)
WO (1) WO2016158984A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018220915A1 (ja) * 2017-06-02 2018-12-06 アイシン精機株式会社 周辺監視装置
US20220009514A1 (en) * 2020-07-08 2022-01-13 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding monitoring apparatus
US11999342B2 (en) 2021-05-26 2024-06-04 Panasonic Automotive Systems Co., Ltd. Display control device, parking assist apparatus and display control method

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6561824B2 (ja) * 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
JP7259914B2 (ja) * 2017-05-11 2023-04-18 株式会社アイシン 周辺監視装置
JP6740991B2 (ja) * 2017-11-10 2020-08-19 株式会社デンソー 表示処理装置
WO2019216393A1 (ja) * 2018-05-10 2019-11-14 パナソニックＩｐマネジメント株式会社 路面状態推定方法、路面状態推定装置および路面状態推定システム
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
KR102639078B1 (ko) * 2018-08-07 2024-02-22 현대자동차주식회사 노면상으로 정보를 표시하는 자동차 및 그 제어 방법
CN111222521B (zh) * 2018-11-23 2023-12-22 汕尾比亚迪汽车有限公司 汽车及用于其的车轮受困判断方法及装置
JP2020085848A (ja) * 2018-11-30 2020-06-04 株式会社デンソーテン スリップ判定装置
DE102019203522A1 (de) * 2019-03-15 2020-09-17 Robert Bosch Gmbh Verfahren zur Überwachung eines Lenksystems
CN109866780B (zh) * 2019-04-02 2020-09-22 合肥工业大学 一种汽车初始安全自检系统的自检方法
JP7319593B2 (ja) * 2020-02-13 2023-08-02 トヨタ自動車株式会社 車両周辺監視装置
JP7424582B2 (ja) * 2020-06-03 2024-01-30 株式会社ニフコ 車載機器用ブラケット
CN112124201B (zh) * 2020-10-10 2021-06-22 深圳道可视科技有限公司 一种画面盲区可见的全景泊车系统及其方法
JP7491194B2 (ja) 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法
JP2023023873A (ja) * 2021-08-06 2023-02-16 トヨタ自動車株式会社 車両周辺監視装置
CN113642494A (zh) * 2021-08-20 2021-11-12 浙江吉利控股集团有限公司 停车位置信息处理的方法、装置、设备及存储介质
JP2024010758A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 表示処理装置、表示処理方法、及び表示処理プログラム
US20240022826A1 (en) * 2022-07-18 2024-01-18 Ford Global Technologies, Llc Illumination control for vehicle sensors
US11989926B1 (en) * 2022-12-05 2024-05-21 Gm Global Technology Oeprations Llc Method to monitor wheel health and alignment using camera system for proactive vehicle maintenance
JP2024124080A (ja) * 2023-03-02 2024-09-12 キヤノン株式会社 撮像システム、車両、撮像システムの制御方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04224433A (ja) * 1990-12-25 1992-08-13 Nissan Shatai Co Ltd 車両用防犯監視装置
JP2006279752A (ja) * 2005-03-30 2006-10-12 Denso Corp 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP2007112317A (ja) * 2005-10-21 2007-05-10 Fujitsu Ten Ltd 接触回避支援装置
JP2008168714A (ja) * 2007-01-10 2008-07-24 Alpine Electronics Inc 車両状況監視装置及び画像処理装置
JP2013110571A (ja) * 2011-11-21 2013-06-06 Sony Corp 撮像システムおよび撮像装置
WO2014132680A1 (ja) * 2013-02-28 2014-09-04 アイシン精機株式会社 車両の制御装置、及びプログラム
JP2014209713A (ja) * 2013-03-28 2014-11-06 アイシン精機株式会社 周辺監視装置、及びプログラム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6131965A (en) * 1995-09-27 2000-10-17 Trammell, Jr.; Earl M. Child-key-guard unit
JPH09175272A (ja) * 1995-12-28 1997-07-08 Ichikoh Ind Ltd 車両用監視カメラ
JP2000225970A (ja) * 1998-11-30 2000-08-15 Tuner Kk 車載用画像記録システム
US6847394B1 (en) * 1999-05-14 2005-01-25 Snap-On Incorporated Video inspection device
US7439847B2 (en) * 2002-08-23 2008-10-21 John C. Pederson Intelligent observation and identification database system
US6856344B2 (en) * 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
US7102665B1 (en) * 2002-12-10 2006-09-05 The United States Of America As Represented By The Secretary Of The Navy Vehicle underbody imaging system
JP3797343B2 (ja) 2003-05-12 2006-07-19 株式会社デンソー 車両周辺表示装置
DE602004023313D1 (de) * 2003-09-30 2009-11-05 Kenwood Corp Führungsroutensuchverfahren
JP2005138720A (ja) * 2003-11-07 2005-06-02 Denso Corp 障害物検出装置、障害物検出プログラム、及び記憶媒体
GB0327339D0 (en) * 2003-11-25 2003-12-31 Fortkey Ltd Inspection apparatus and method
US7474205B2 (en) * 2004-03-24 2009-01-06 Richard Steven Trela Stand-off vehicle under-carriage inspection and detection system for deterring vehicle bombers from a safe stand-off distance
JP4722433B2 (ja) * 2004-08-25 2011-07-13 アルパイン株式会社 車載用ナビゲーション装置
JP4724522B2 (ja) 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
US20070040911A1 (en) * 2005-01-31 2007-02-22 Riley Larry E Under vehicle inspection system
US7349007B2 (en) * 2005-02-23 2008-03-25 Gatekeeper, Inc. Entry control point device, system and method
CA2599856A1 (en) * 2005-02-24 2006-09-08 Perceptics, Llc Apparatus and method for capturing and displaying images of the undercarriage of vehicles
US20080100741A1 (en) * 2005-03-17 2008-05-01 Yuka Fujita Image Processing Device
JP4853135B2 (ja) * 2006-06-27 2012-01-11 株式会社デンソー 車両周辺表示装置
SG139579A1 (en) * 2006-07-20 2008-02-29 Cyclect Electrical Engineering A foreign object detection system
DE102008038642A1 (de) * 2007-08-16 2009-02-19 Continental Teves Ag & Co. Ohg System und Verfahren zum Stabilisieren eines Kraftfahrzeugs
DE102008038615A1 (de) * 2007-09-18 2009-03-19 Continental Teves Ag & Co. Ohg Sensoreinrichtung und Verfahren zum Erfassen der Bewegung eines Fahrzeugs
US8054182B2 (en) * 2008-04-16 2011-11-08 The Johns Hopkins University Remotely directed vehicle inspection method and apparatus
JP5067632B2 (ja) 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
JP4973809B2 (ja) * 2009-05-29 2012-07-11 三菱電機株式会社 ナビゲーション装置
WO2011043195A1 (en) * 2009-10-09 2011-04-14 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device
TWI409718B (zh) * 2009-12-04 2013-09-21 Huper Lab Co Ltd 移動中車輛之車牌定位方法
CA2823944C (en) * 2011-01-04 2016-08-30 Ppg Industries Ohio, Inc. Web-based architectural color selection system
US9244133B2 (en) * 2011-01-13 2016-01-26 Icove And Associates, Llc Handheld devices and structures to detect sticky devices having magnets
US20130278771A1 (en) * 2011-06-10 2013-10-24 Flir Systems, Inc. Systems and methods for monitoring vehicle wheel assembly
US20130093583A1 (en) * 2011-10-14 2013-04-18 Alan D. Shapiro Automotive panel warning and protection system
US8874367B2 (en) * 2011-10-14 2014-10-28 Equilateral Technologies, Inc. Method for estimating and displaying range of a vehicle
US9415754B2 (en) * 2012-12-05 2016-08-16 Florida Institute For Human And Machine Cognition, Inc. User display providing obstacle avoidance
KR101510338B1 (ko) * 2013-11-22 2015-04-07 현대자동차 주식회사 차량용 차선 이탈 경보 시스템의 검사 장치
KR101526424B1 (ko) * 2013-12-18 2015-06-05 현대자동차 주식회사 차량용 헤드 업 디스플레이 검사장치 및 그 방법
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
US9371133B2 (en) * 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04224433A (ja) * 1990-12-25 1992-08-13 Nissan Shatai Co Ltd 車両用防犯監視装置
JP2006279752A (ja) * 2005-03-30 2006-10-12 Denso Corp 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP2007112317A (ja) * 2005-10-21 2007-05-10 Fujitsu Ten Ltd 接触回避支援装置
JP2008168714A (ja) * 2007-01-10 2008-07-24 Alpine Electronics Inc 車両状況監視装置及び画像処理装置
JP2013110571A (ja) * 2011-11-21 2013-06-06 Sony Corp 撮像システムおよび撮像装置
WO2014132680A1 (ja) * 2013-02-28 2014-09-04 アイシン精機株式会社 車両の制御装置、及びプログラム
JP2014209713A (ja) * 2013-03-28 2014-11-06 アイシン精機株式会社 周辺監視装置、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3280137A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018220915A1 (ja) * 2017-06-02 2018-12-06 アイシン精機株式会社 周辺監視装置
JP2018207286A (ja) * 2017-06-02 2018-12-27 アイシン精機株式会社 周辺監視装置
CN110959289A (zh) * 2017-06-02 2020-04-03 爱信精机株式会社 周边监控装置
CN110959289B (zh) * 2017-06-02 2021-04-20 爱信精机株式会社 周边监控装置
JP7009785B2 (ja) 2017-06-02 2022-01-26 株式会社アイシン 周辺監視装置
US11475676B2 (en) 2017-06-02 2022-10-18 Aisin Corporation Periphery monitoring device
US20220009514A1 (en) * 2020-07-08 2022-01-13 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding monitoring apparatus
US11673571B2 (en) * 2020-07-08 2023-06-13 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding monitoring apparatus
US11999342B2 (en) 2021-05-26 2024-06-04 Panasonic Automotive Systems Co., Ltd. Display control device, parking assist apparatus and display control method

Also Published As

Publication number Publication date
EP3280137A4 (en) 2018-04-04
EP3280137A1 (en) 2018-02-07
CN107431787A (zh) 2017-12-01
JP6609970B2 (ja) 2019-11-27
EP3280137B1 (en) 2024-03-13
US20180111553A1 (en) 2018-04-26
US10363872B2 (en) 2019-07-30
CN107431787B (zh) 2020-06-26
JP2016197785A (ja) 2016-11-24

Similar Documents

Publication Publication Date Title
JP6609970B2 (ja) 周辺監視装置
US9902323B2 (en) Periphery surveillance apparatus and program
JP6156486B2 (ja) 周辺監視装置、及びプログラム
JP6361382B2 (ja) 車両の制御装置
JP7222254B2 (ja) 周辺表示制御装置
WO2014132680A1 (ja) 車両の制御装置、及びプログラム
JP2016119570A (ja) 車両周辺監視装置
WO2018070298A1 (ja) 表示制御装置
JP2018144526A (ja) 周辺監視装置
JP2019133416A (ja) 駐車領域検出装置
WO2018150642A1 (ja) 周辺監視装置
US10970812B2 (en) Image processing device
US10540807B2 (en) Image processing device
JP6876236B2 (ja) 表示制御装置
JP2020001576A (ja) 運転支援装置
JP6720729B2 (ja) 表示制御装置
JP2018207286A (ja) 周辺監視装置
JP6772716B2 (ja) 周辺監視装置
JP2023069562A (ja) 制御装置、表示切替方法、及び表示切替プログラム
CN114945083A (zh) 周边图像显示装置
JP2017211814A (ja) 駐車支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772865

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016772865

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15562979

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE