JP5344227B2 - 車両用周辺監視装置 - Google Patents

車両用周辺監視装置 Download PDF

Info

Publication number
JP5344227B2
JP5344227B2 JP2009074667A JP2009074667A JP5344227B2 JP 5344227 B2 JP5344227 B2 JP 5344227B2 JP 2009074667 A JP2009074667 A JP 2009074667A JP 2009074667 A JP2009074667 A JP 2009074667A JP 5344227 B2 JP5344227 B2 JP 5344227B2
Authority
JP
Japan
Prior art keywords
image
vehicle
viewpoint
generation unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009074667A
Other languages
English (en)
Other versions
JP2010221980A (ja
Inventor
欣司 山本
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2009074667A priority Critical patent/JP5344227B2/ja
Priority to EP10156874.9A priority patent/EP2233359B1/en
Priority to US12/728,477 priority patent/US8866905B2/en
Publication of JP2010221980A publication Critical patent/JP2010221980A/ja
Application granted granted Critical
Publication of JP5344227B2 publication Critical patent/JP5344227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両の周辺を監視する車両用周辺監視装置に関する。
車両には、周囲の状況を確認するためにサイドミラーやルームミラーが備えられているが、これらのミラーを用いても車両の構造上、運転席から情景を確認することができない死角が存在する。このような死角を極力少なくするために、車体（例えばボンネット近傍やリアゲート近傍）にミラーを備えている車両がある。しかしながら、この種のミラーを用いても死角を完全になくすことは容易ではなく、また、このようなミラーを配設した場合には車両のデザインを損なわせることになる。このような問題を鑑みて、近年においては、車両の各部に配設されたカメラにより取得された撮像画像を用いて車両の周囲の状況を確認する技術が利用されている（例えば非特許文献１及び２等）。
非特許文献１及び２に記載の技術は、例えば車両を後退させる場合に、車両の後方の情景を撮影して取得された撮像画像と、車両の周囲に配設される４つのカメラにより撮影して取得された撮像画像を用いて生成された車両の周囲を含む鳥瞰画像と、を左右に並べてディスプレイに表示している。
しかしながら、非特許文献１及び２に記載の技術では、４つのカメラにより取得された撮像画像を用いて鳥瞰画像を生成しているので、鳥瞰画像に含まれる立体物が撮影されたカメラから放射線状に伸びて表示され不自然なものとなる。また、鳥瞰画像に含まれる立体物が放射状に伸びて表示されることから、ユーザが当該立体物を路面の描画物であると勘違いする可能性がある。このため、車両が立体物に衝突するおそれがある。また、鳥瞰画像において表示される撮像画像が、夫々のカメラが撮影する領域毎に分けられて用いられるので、当該領域の境界部分において立体物が消滅してしまうことがある。このため、ユーザが困惑する可能性もある。このような問題を改善するための技術として、下記に出典を示す特許文献１−３に記載の技術がある。
特許文献１に記載の車両周囲監視装置は、車両に８つのカメラを備え、これらのカメラにより取得された撮像画像を用いて車両の全周囲を含む鳥瞰画像を生成する。これらのカメラは、各カメラの撮影範囲の境界部分で垂直に立っている立体物が鳥瞰画像において消滅しないように、当該境界部分で立体物が同じ方向に伸びるような角度で配設される。
特許文献２に記載の車両後方モニタシステムは、車両の後方の情景を撮影する後方カメラと、車両の左右両側方に備えられる側方カメラとを備えて構成される。この車両後方モニタシステムは、後方カメラにより取得された撮像画像を用いて俯瞰画像を生成し、当該俯瞰画像と側方カメラにより取得された撮像画像とを組み合わせて一つの画面に表示する。
特許文献３に記載の車両用映像表示装置は、車両に複数のカメラを備えて構成される。この車両用映像表示装置は、複数のカメラにより取得された撮像画像に基づいて車両上空の所定の視点から車両を投射した投射映像を生成し、当該作成された投射映像に車両上空の視点からの車両のグラフィックデータを重畳させて表示する。
特開２００３−２０４５４７号公報 特許第３９１６９５８号明細書 特開２００３−３４６１８９号公報
技術紹介（アラウンドビューモニター 日産自動車株式会社）［平成２１年２月４日検索］、インターネット＜URL：http://www.nissan-global.com/JP/TECHNOLOGY/INTRODUCTION/DETAILS/AVM/＞ 技術紹介（四輪製品ニュース 本田技研工業株式会社）［平成２１年２月４日検索］、インターネット＜URL：http://www.honda.co.jp/news/2008/4080918b.html＞
特許文献１に記載の車両周囲監視装置は、カメラが撮影する領域の境界部分において立体物が消滅してしまうことは少ないが、４つのカメラで車両の全周囲の鳥瞰画像を生成できるところ、８つのカメラを使用するため余計なコストを要する。また、立体物が不自然に伸びることは解消されていない。このため、ユーザが立体物を路面の描画物と勘違いする可能性があるため、車両が立体物に接触する可能性がある。
また、特許文献２に記載の車両後方モニタシステムは、側方カメラはサイドミラー越しに見た映像として表示し、俯瞰画像は画面下部が遠方になるように表示される。このため、ユーザが俯瞰画像と側方カメラにより取得された撮像画像との間で視点を切り替えた場合に、夫々の進行方向が異なるので直感的に分かりにくいものとなっている。また、側方カメラは車両の後方に向けて配設されており、車両の側方前端部を表示するには更に２つの側方カメラが必要となり、コストを要してしまう。
また、特許文献３に記載の車両用映像表示装置は、車両上空の視点からの画像を表示することが開示されているが、具体的にディスプレイに表示させる方法については何ら開示されていない。
非特許文献１及び２に記載の技術は、後退走行時は車両の後方画像と鳥瞰画像とを左右に並べて表示する。後方画像は進行方向遠方部が画面の上方になり、鳥瞰画像は進行方向遠方部が画面の下方になる。このように夫々の画像において進行方向が異なるので、ユーザは困惑してしまい、結果いずれか一方の画像しか参照しない（見ない）ケースが多々ある。
本発明の目的は、上記問題に鑑み、ユーザを困惑させることなく、低コストで実現可能な車両用周辺監視装置を提供することにある。
上記目的を達成するための本発明に係る車両用周辺監視装置の特徴構成は、車両が有するサイドミラーに備えられ、当該サイドミラーの鉛直下方を含む前記車両の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラと、前記車両の後方上部から前記車両の前方下部を望む前記車両の前進走行用の視点と、前記車両の前方上部から前記車両の後方下部を望む前記車両の後進走行用の視点とを選択的に設定する視点設定部と、前記視点設定部で設定された前記視点に基づいて、前記車両の後方上部から当該車両の前方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像、或いは前記車両の前方上部から当該車両の後方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像を生成するイメージ画像生成部と、前記左側方の情景を撮影した撮像画像に基づいて、前記車両の車内に備えられるモニタに表示される前記イメージ画像の左側に描画される当該イメージ画像に応じた左側方画像を生成し、前記右側方の情景を撮影した撮像画像に基づいて、前記モニタに表示される前記イメージ画像の右側に描画される当該イメージ画像に応じた右側方画像を生成する側方画像生成部と、を備える点にある。
このような特徴構成とすれば、モニタには、車両を後方上部或いは前方上部から見下ろした視点での表示画像が表示されるので、車両の周辺に存在する物体が不自然に伸びることがない。また、モニタに表示されるイメージ画像は、撮像画像には含まれないサイドミラーを含んで生成されるので、ユーザは車両とその周囲に存在する物体との位置関係を把握し易い。したがって、ユーザは困惑することなく、車両の周囲の状況を把握することができる。また、左右のサイドミラーに夫々１つずつのサイドカメラを備えるだけで良いので、車両用周辺監視装置を低コストで実現することが可能となる。
また、前記車両の前方の情景を撮影した撮像画像を取得するフロントカメラが備えられ、前記車両が有するシフトレバーのシフト位置が少なくとも前進走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記フロントカメラにより取得された撮像画像に基づいて生成される前方画像が表示されると好適である。
このような構成とすれば、車両の移動に合わせて変化する前方画像に表示される情景の移動方向と、車両の移動に合わせて変化する左側方画像及び右側方画像に表示される情景の移動方向とを同じにすることができる。したがって、ユーザは前方画像と、左側方画像及び右側方画像とのつながりを把握し易い。したがって、ユーザは困惑することなく車両の周囲の状況を把握することが可能となる。
また、前記車両の後方の情景を撮影した撮像画像を取得するリアカメラが備えられ、前記車両が有するシフトレバーのシフト位置が少なくとも後退走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記リアカメラにより取得された撮像画像に基づいて生成される後方画像が表示されると好適である。
このような構成とすれば、車両の移動に合わせて変化する後方画像に表示される情景の移動方向と、車両の移動に合わせて変化する左側方画像及び右側方画像に表示される情景の移動方向とを同じにすることができる。したがって、ユーザは後方画像と、左側方画像及び右側方画像とのつながりを把握し易い。したがって、ユーザは困惑することなく車両の周囲の状況を把握することが可能となる。
また、前記シフト位置が前記後退走行用の位置である場合の前記イメージ画像が鏡像であると好適である。
一般的に後方画像は、ルームミラーに表示されるが如く鏡像画像として表示されるが、それと同様に、左側方画像及び右側方画像も鏡像で表示することで、後方画像と左側方画像及び右側方画像とのつながりを分かり易くすることができる。また、鏡像とすることで、実空間における車両の左右の位置関係と、モニタに表示される表示画像における車両の左右の位置関係とを同じにすることができるので、ユーザは車両の周囲に存在する物体の位置関係を直感的に理解し易くなる。
また、前記左側方画像及び前記右側方画像の視点角度が、前記後方画像の視点角度と略等しいと好適である。
このような構成とすれば、夫々の画像の視点角度が略等しいので、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザが夫々の画面間にわたって視点を切り替えた場合でも困惑することがなくなる。
また、前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記前方画像に含まれる前記車両に最も近い側の領域と重複するように生成されると好適である。
このような構成とすれば、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザは車両の周囲の状況を容易に理解することが可能となる。
また、前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記後方画像に含まれる前記車両に最も近い側の領域と重複するように生成されると好適である。
このような構成とすれば、夫々の画像間におけるつながりをスムーズにすることができる。したがって、ユーザは車両の周囲の状況を容易に理解することが可能となる。
また、前記一対のサイドカメラは、鉛直下方向を向いて備えられてあると好適である。
このような構成において、例えば魚眼レンズを供えたサイドカメラを用いれば、１つのサイドカメラで車両の前方から後方までを撮像可能な側方画像を取得することができる。このため、車両の左右夫々に１つずつサイドカメラを備えればよいので、低コストで車両用周辺監視装置を実現することが可能となる。
本発明に係る車両用監視装置を備えた車両の概略を示す図である。 本発明に係る車両用監視装置の概略を示すブロック図である。 視点について示す図である。 前進走行時の斜め上方を視点とした場合の表示画像の例を示す図である。 前進走行時の鉛直上方を視点とした場合の表示画像の例を示す図である。 前進走行時の車両前方のみの表示画像の例を示す図である。 後退走行時の斜め上方を視点とした場合の表示画像の例を示す図である。 後退走行時の鉛直上方を視点とした場合の表示画像の例を示す図である。 後退走行時の車両後方のみの表示画像の例を示す図である。
以下、本発明の実施の形態について、詳細に説明する。図１は、本発明に係る車両用周辺監視装置５０を備える車両１００の概略を示す鳥瞰図である。車両１００には、カメラデバイス１としてフロントカメラ１１、サイドカメラ１２、リアカメラ１３が備えられる。フロントカメラ１１は、車両１００の前方の情景を撮影した撮像画像ＣＧを取得する。フロントカメラ１１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ１１は、図１に示されるように、車両１００のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ１１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＡで示される領域の情景を含む撮像画像ＣＧが取得される。
サイドカメラ１２は、車両１００が有するサイドミラー６０に備えられる。また、当該サイドカメラ１２は、サイドミラー６０の鉛直下方を含む車両１００の左側方の情景及び右側方の情景を撮影した撮像画像ＣＧを取得する一対のサイドカメラ１２ａ、１２ｂ（左サイドカメラ１２ａ及び右サイドカメラ１２ｂ）から構成される。本実施形態では、図１に示されるように、車両１００の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ１２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ１２ｂとして説明する。また、特に左サイドカメラ１２ａ及び右サイドカメラ１２ｂのいずれかを限定する必要がない場合には、サイドカメラ１２として記載する。
左サイドカメラ１２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両１００の左側方の情景を撮影し、撮像画像ＣＧを取得する。上述のフロントカメラ１１と同様に、サイドカメラ１２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ１２ａにより少なくとも図１のＢで示される領域の情景を撮影した撮像画像ＣＧが取得される。右サイドカメラ１２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両１００の右側方の情景を撮影し、撮像画像ＣＧを取得する。右サイドカメラ１２ｂにより少なくとも図１のＣで示される領域の情景を撮影した撮像画像ＣＧが取得される。
リアカメラ１３は、車両１００の後方の情景を撮影した撮像画像ＣＧを取得する。リアカメラ１３は、図１に示されるように、車両１００のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ１３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＤで示される領域の情景を撮影した撮像画像ＣＧが取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ−Ｄは、夫々重複する領域を有さないように構成することも可能である。
本発明に係る車両用周辺監視装置５０は、このような車両１００に備えられるフロントカメラ１１、サイドカメラ１２、リアカメラ１３により取得された撮像画像ＣＧを用いて、ユーザが好適に車両１００の周囲を監視する機能を備えている。図２は、本車両用周辺監視装置５０の概略構成を模式的に示すブロック図である。
車両用周辺監視装置５０は、カメラデバイス１、センサデバイス２、ＥＣＵ（電子制御ユニット）３、モニタ４１、視点切替スイッチ４２を備えて構成される。カメラデバイス１は、フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３を備えて構成される。センサデバイス２は、ステアリングセンサ２１、車輪速センサ２２、シフト位置センサ２３を備えて構成される。ＥＣＵ３は、撮像画像取得部３１、視点設定部３２、前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６、予測進路線生成部３７、表示画像生成部３８の各機能部を備えて構成される。このように構成される本車両用周辺監視装置５０は、ＣＰＵを中核部材として車両１００の周辺を監視する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３は、夫々が少なくとも領域Ａ−Ｄ（図１参照）を含む情景を撮影した撮像画像ＣＧを取得する。このように取得された撮像画像ＣＧは、後述の撮像画像取得部３１に伝達される。
ステアリングセンサ２１は、車両５０が有するステアリング６１（図１参照）の舵角を検出する。舵角とは、中立状態からステアリング６１を時計方向又は反時計方向に回転させた際の回転角に相当するものである。中立状態とは、車両１００が備える車輪６２の操舵輪（例えば前輪）の方向が車幅と平行となる状態、すなわち車両１００が直進可能となる状態である。このようなステアリング６１の回転角を検出するステアリングセンサ２１は、ホール素子を用いて構成することが可能である。ホール素子は電流が流れている導体に磁界を加えた場合に、導体内部の電荷が横方向に動かされるように受ける力に応じて起電力を生じるホール効果を利用して磁束を検出する素子である。
このようなホール素子を用いる場合には、ステアリング６１の回転軸の周囲に永久磁石を配設し、ステアリング６１の回転に応じて変化する磁界をホール素子により検出すると好適である。また、ホール素子から出力される検出結果は電気信号であるので、ステアリングセンサ２１は当該検出結果に基づいてステアリング６１の舵角を演算する。ステアリングセンサ２１により演算された舵角は舵角情報として、後述の予測進路線生成部３７に伝達される。
車輪速センサ２２は、車両１００が有する車輪６２（図１参照）の回転速度の検出を行う。車輪速センサ２２も上述のステアリングセンサ２１と同様にホール素子を用いて構成することが可能であり、適切に車輪６２の回転速度を検出することができる。車輪速センサ２２は、例えば左前輪の回転軸及び右前輪の回転軸に夫々備えると好適である。このように左右両輪の回転軸に備えることにより、直進及び旋回の別を検出することが可能となる。即ち、左右両輪の回転速度が同じであれば直進であると判定することができ、左右両輪の回転速度が異なっていれば回転速度の遅い方に旋回をしていると判定することができる。なお、車輪速センサ２２は車両１００が備える前輪の回転軸及び後輪の回転軸の少なくともいずれか一方に備えていれば良い。車輪速センサ２２により検出された車輪速度の検出結果は、後述する予測進路線生成部３７に伝達される。
シフト位置センサ２３は、車両１００が有するシフトレバー６３（図１参照）のシフト位置の検出を行う。シフトレバー６３は、本実施形態においては、ＡＴ（Automatic Transmission）機構が備えるギヤの切り替えを行うレバーである。このようなＡＴ機構は変速機内部で駆動系が固定され、主に駐車時に使用する〔Ｐ〕レンジ、後退時に使用する〔Ｒ〕レンジ、変速機内部がフリー状態となり、エンジンからの動力を駆動系に伝達しないようにする〔Ｎ〕レンジ、通常走行時に使用する〔Ｄ〕レンジ、下り坂等エンジンブレーキを使用する際に使用し、シフトアップの上限を２速に固定する〔２〕レンジ、急な下り坂等、強力なエンジンブレーキを使用する際に使用し、ギヤが１速に固定される〔１〕レンジを有している。ＡＴ機構は、このようなシフトレンジに対応するシフト位置毎に出力電圧が出力可能に設定され、シフト位置センサ２３は当該出力電圧を検出することにより現在のシフト位置の検出が可能となる。シフト位置センサ２３により検出されたシフト位置の検出結果は、後述する視点設定部３２及び予測進路線生成部３７に伝達される。
撮像画像取得部３１は、各カメラ１１−１３から伝達される撮像画像ＣＧを取得する。撮像画像取得部３１により取得される撮像画像ＣＧは、撮像画像取得部３１が備える一次記憶領域（図示しない）に一次記憶され、必要に応じて後述する前方画像生成部３３、側方画像生成部３４、後方画像生成部３５により読み出されて（抽出されて）使用される。なお、撮像画像取得部３１に一次記憶された撮像画像ＣＧは、一次記憶されてから所定時間が経過する毎に消去する構成とすることも可能であるし、ユーザのスイッチ操作等により消去する構成とすることも可能である。或いは、一次記憶領域の容量を所定の固定値で設定し、所謂先入れ先出し方式で一次記憶と消去とを行う構成とすることも可能である。
視点設定部３２は、詳細は後述するが、車両１００の車内に備えられるモニタ４１に表示される車両１００の周囲の情景や車両１００のイメージ画像ＩＧ（後述する）の視点を設定する。この視点の設定は、シフト位置センサ２３から伝達されるシフトレバー６３のシフト位置の検出結果や、ユーザによる視点切替スイッチ４２の操作に応じて設定される。例えば、シフト位置センサ２３の検出結果に基づいて視点の設定を行う場合には、シフトレバー１１の位置が少なくとも前進走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｄ〕レンジ、〔２〕レンジ、〔１〕レンジのいずれかの位置にある場合には前進走行用の視点に設定し、シフトレバー１１の位置が少なくとも後退走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｒ〕レンジの位置にある場合には後退走行用の視点に設定する。
ここで、本車両用周辺監視装置５０は、詳細は後述するが、車両１００の斜め上方から斜め下方を望む視点とする当該車両１００の周囲の情景と、車両１００の鉛直上方を視点とする当該車両１００の周囲の情景とを選択的に切り替えてモニタ４１に表示することが可能である。この切り替えは、ユーザが視点切替スイッチ４２を押下することにより行うことが可能である。本実施形態では、車両１００の斜め上方からの視点がデフォルトとして設定されているとして説明する。したがって、視点設定部３８は、シフトレバーが前進走行用の位置にある場合には、前進走行用の斜め上方からの視点として設定し、シフトレバーが後退走行用の位置にある場合には、後退走行用の斜め上方からの視点として設定する。
前進走行用の斜め上方からの視点とは、図３（ａ）の矢印で示されるような車両１００の後方上部から当該車両１００の前方下部を望む形態とした場合の視点である。なお、上述の視点切替スイッチ４２を押下すると、このような視点から図３（ｂ）の矢印で示されるように車両１００を鉛直方向で見下ろした場合の視点に変更することが可能である。また、後退走行用の斜め上方の視点とは、図３（ｃ）の矢印で示されるような車両１００の前方上部から当該車両１００の後方下部を望む形態とした場合の視点である。なお、上述の視点切替スイッチ４２を押下すると、前進走行用の斜め上方からの視点から視点切替スイッチ４２が押下された場合と同様に、このような視点から図３（ｂ）の矢印で示されるように車両１００を鉛直方向で見下ろした場合の視点に変更することが可能である。視点設定部３２により設定された視点を示す情報は、後述の前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６、予測進路線生成部３７に伝達される。
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じた車両１００のイメージ画像ＩＧを生成する。詳細は後述するが、イメージ画像ＩＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合のイメージ画像ＩＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向から見下ろした場合のイメージ画像ＩＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合のイメージ画像ＩＧ１Ｂと、からなる。したがって、視点設定部３２により斜め上方からの視点が設定されている場合には、イメージ画像生成部３６は、車両１００の後方上部から当該車両１００の前方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ１Ｆ、或いは車両１００の前方上部から当該車両１００の後方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ１Ｂを生成する。
即ち、視点設定部３２により前進走行用の斜め上方からの視点が設定されている場合には、イメージ画像ＩＧ１Ｆが生成される。このイメージ画像ＩＧ１Ｆには、少なくとも車両の前方部とサイドミラー６０とが含まれるように生成される。一方、視点設定部３２により後退走行用の斜め上方からの視点が設定されている場合には、イメージ画像ＩＧ１Ｂが生成される。このイメージ画像ＩＧ１Ｂには、車両の後方部とサイドミラー６０とが含まれるように生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧは、後述する表示画像生成部３８に伝達される。
前方画像生成部３３は、車両１００が有するシフトレバー６３の位置が少なくとも前進走行用の位置である場合に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて前方画像ＦＧを生成する。シフトレバー６３の位置が少なくとも前進走行用の位置とは、上述のＡＴ機構が有するレンジの〔Ｄ〕レンジ、〔２〕レンジ、〔１〕レンジが相当する。シフトレバー６３がこのような位置にあるか否かは、上述のシフト位置センサ２３により検出される。この検出結果に基づいて、上述の視点設定部３２がモニタ４１に表示する画像の視点を前進走行用の視点に設定する。
また、詳細は後述するが、前方画像ＦＧは、図３（ａ）のように車両１００の後方上部から前方下部を見下ろした場合の前方画像ＦＧ１と、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の前方画像ＦＧ２と、からなる。前方画像生成部３３は視点設定部３２により設定された視点を示す情報が伝達されると、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出する。前方画像生成部３３は抽出された撮像画像ＣＧを用いて、モニタ４１への表示に適した前方画像ＦＧを生成する。このように生成された前方画像ＦＧは、後述する表示画像生成部３８に伝達される。前方画像ＦＧについては後述する。
後方画像生成部３５は、車両１００が有するシフトレバー６３の位置が少なくとも後退走行用の位置である場合に、リアカメラ１３により取得された撮像画像ＣＧに基づいて後方画像ＢＧを生成する。シフトレバー６３の位置が少なくとも後退走行用の位置とは、上述のＡＴ機構が有するレンジの〔Ｒ〕レンジが相当する。シフトレバー６３がこのような位置にあるか否かは、上述のシフト位置センサ２３により検出される。この検出結果に基づいて、上述の視点設定部３２がモニタ４１に表示する画像の視点を後退走行用の視点に設定する。
また、詳細は後述するが、後方画像ＢＧは、図３（ｃ）のように車両１００の前方上部から後方下部を見下ろした場合の後方画像ＢＧ１と、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の後方画像ＢＧ２と、からなる。後方画像生成部３５は視点設定部３２により設定された視点を示す情報が伝達されると、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出する。後方画像生成部３５は抽出された撮像画像ＣＧを用いて、モニタ４１への表示に適した後方画像ＢＧを生成する。このように生成された後方画像ＢＧは、後述する表示画像生成部３８に伝達される。後方画像ＢＧについては後述する。
側方画像生成部３４は、左側方の情景を撮影した撮像画像ＣＧに基づいて、車両１００に備えられるモニタ４１に表示されるイメージ画像ＩＧの左側に描画されるイメージ画像ＩＧに応じた左側方画像ＬＧを生成し、右側方の情景を撮影した撮像画像ＣＧに基づいて、モニタ４１に表示されるイメージ画像ＩＧの右側に描画されるイメージ画像ＩＧに応じた右側方画像ＲＧを生成する。左側方の情景を撮影した撮像画像ＣＧとは、左サイドカメラ１２ａにより取得された撮像画像ＣＧである。側方画像生成部３４は、視点設定部３２により設定される視点が、前進走行用の視点或いは後退走行用の視点のいずれであっても、左側方の情景が必要である場合には撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出する。
側方画像生成部３４は、抽出された左サイドカメラ１２ａによる撮像画像ＣＧを用いて、モニタ４１に表示されるイメージ画像ＩＧの左側に描画されるイメージ画像ＩＧに応じた左側方画像ＬＧを生成する。モニタ４１に表示されるイメージ画像ＩＧとは、イメージ画像生成部３６により生成されたイメージ画像ＩＧであり、イメージ画像ＩＧの左側とは、前進走行用の視点或いは後退走行用の視点に拘らず、モニタ４１に表示されたイメージ画像ＩＧの左側を意味する。イメージ画像ＩＧに応じた左側方画像ＬＧとは、イメージ画像ＩＧが車両１００の前方上部から後方下部を望むイメージ画像ＩＧである場合には、前方上部から後方下部を望む左側方画像ＬＧであり、イメージ画像ＩＧが車両１００の後方上部から前方下部を望むイメージ画像ＩＧである場合には、後方上部から前方下部を望む左側方画像ＬＧであることを意味する。
また、右側方の情景を撮影した撮像画像ＣＧとは、右サイドカメラ１２ｂにより取得された撮像画像ＣＧである。側方画像生成部３４は、視点設定部３２により設定される視点が、前進走行用の視点或いは後退走行用の視点のいずれであっても、右側方の情景が必要である場合には撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出する。側方画像生成部３４は、抽出された右サイドカメラ１２ｂによる撮像画像ＣＧを用いて、モニタ４１に表示されるイメージ画像ＩＧの右側に描画されるイメージ画像ＩＧに応じた右側方画像ＲＧを生成する。モニタ４１に表示されるイメージ画像ＩＧとは、イメージ画像生成部３６により生成されたイメージ画像ＩＧであり、イメージ画像ＩＧの右側とは、前進走行用の視点或いは後退走行用の視点に拘らず、モニタ４１に表示されたイメージ画像ＩＧの右側を意味する。イメージ画像ＩＧに応じた右側方画像ＲＧとは、イメージ画像ＩＧが車両１００の前方上部から後方下部を望むイメージ画像ＩＧである場合には、前方上部から後方下部を望む右側方画像ＲＧであり、イメージ画像ＩＧが車両１００の後方上部から前方下部を望むイメージ画像ＩＧである場合には、後方上部から前方下部を望む右側方画像ＲＧであることを意味する。
なお、詳細は後述するが、左側方画像ＬＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合の左側方画像ＬＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の左側方画像ＬＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合の左側方画像ＬＧ１Ｂと、からなる。また、同様に、右側方画像ＲＧは、図３（ａ）のように車両１００の後方上部から当該車両１００の前方下部を望む場合の右側方画像ＲＧ１Ｆと、図３（ｂ）のように車両１００を鉛直方向で見下ろした場合の右側方画像ＲＧ２と、図３（ｃ）のように車両１００の前方上部から当該車両１００の後方下部を望む場合の右側方画像ＲＧ１Ｂと、からなる。
したがって、前進走行時のモニタ４１にはイメージ画像ＩＧは正像で表示され、後退走行時のモニタ４１にはイメージ画像ＩＧは鏡像で表示される。即ち、シフト位置が後退走行用の位置である場合のイメージ画像ＩＧは鏡像となる。側方画像生成部３４により生成される左側方画像ＬＧと右側方画像ＲＧとは、後述する表示画像生成部３８に伝達される。
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成する。舵角を示す情報はステアリングセンサ２１から伝達される。また、車輪速は車輪速センサ２２から伝達される。シフト位置はシフト位置センサ２３から伝達される。これらの情報を用いて、予測進路線生成部３７は予測進路線ｇを生成する。ここで、本車両用周囲監視装置１００は、車両１００が当該車両１００の周囲に存在する物体に接触することを防止することを目的とするため、予測進路線ｇは例えば車両１００が前進走行で左旋回をしようとしている場合には、車両１００の右前端及び左後端の軌跡を示すものであれば好適であり、車両１００が前進走行で右旋回をしようとしている場合には、車両１００の左前端及び右後端の軌跡を示すものであれば好適である。更に、車両１００が後退走行で左旋回をしようとしている場合には、車両１００の右前端及び左後端の軌跡を示すものであれば好適であり、車両１００が後退走行で右旋回をしようとしている場合には、車両１００の左前端及び右後端の軌跡を示すものであれば好適である。予測進路線生成部３７は、このような予測進路線ｇを生成し、後述の表示画像生成部３８に伝達する。
表示画像生成部３８は、モニタ４１に表示される表示画像ＤＧを生成する。表示画像ＤＧの基となる画像は、上述の前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６から伝達される画像である。これらの画像を用いて表示画像生成部３８は、モニタ４１への表示に適した表示画像ＤＧを生成する。また、予測進路線ｇは生成されている場合には、前方画像生成部３３、側方画像生成部３４、後方画像生成部３５、イメージ画像生成部３６から伝達される画像に予測進路線ｇを重畳して表示画像ＤＧを生成する。表示画像生成部３８は、このような表示画像ＤＧをモニタ４１に伝達する。
モニタ４１は、表示画像生成部３８により生成された表示画像ＤＧを表示し、ユーザは当該モニタ４１に表示される画像を参照することにより車両１００の周囲を確認することが可能となる。
次に、モニタ４１に表示される表示画像ＤＧを用いて説明する。図４は、車両１００の前進走行時における斜め上方を視点とする表示画像ＤＧの一例である。シフト位置センサ２３によりシフトレバー６３のシフト位置が前進走行用の位置にあることが検出されると、視点設定部３２は当該検出結果に応じてモニタ４１に表示する表示画像ＤＧの視点を車両１００の後方上部から前方下部を見る視点に設定する。この場合には、図３（ａ）に示されるような視点となる。
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、少なくとも車両１００の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成する。図４においては、符号ＩＧ１Ｆで示される画像が相当する。イメージ画像ＩＧ１Ｆには、ユーザがイメージし易いようにユーザを示すイメージＩＵＦも生成される。なお、この場合、イメージ画像ＩＧ１Ｆは、ユーザの後方から車両１００の前方下部を見下ろした正像の画像が生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧ１Ｆ（ユーザのイメージＩＵＦが生成された場合にはイメージＩＵＦも含む）は、表示画像生成部３８に伝達される。
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図４においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
また、前方画像ＦＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図４においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図４においては、符号ＬＧ１Ｆで示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図４においては、符号ＲＧ１Ｆで示される画像が相当する。
モニタ４１には、左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆが車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ２を表示すると好適である。図４においては、縮小された車両の図において左側方の領域及び右側方の領域の色等を変更することにより明示する場合の例を示している。
ここで、一対のサイドカメラ１２は、鉛直下方向を向いてサイドミラー６０に備えられる。したがって、サイドカメラ１２により取得された撮像画像ＣＧは、サイドミラー６０の鉛直下方を中心として撮像された撮像画像ＣＧである。このため、側方画像生成部３４が、撮像画像取得部３１から抽出した左サイドカメラ１２ａ及び右サイドカメラ１２ｂにより取得された撮像画像ＣＧを単にモニタ４１に表示するだけではユーザが違和感を持つこととなる。このため、側方画像生成部３３は、視点設定部３２により車両１００の後方上部から当該車両１００の前方下部を望む視点が設定された場合には、撮像画像取得部３１から抽出された撮像画像ＣＧから車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆを生成する。この生成は、周知の画像処理技術を用いて行うことが可能であるので、説明は省略する。側方画像生成部３４により生成された車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆは表示画像生成部３８に伝達される。
表示画像生成部３８は、イメージ画像生成部３６から伝達される車両１００の後方上部から当該車両１００の前方下部を望む視点とするイメージ画像ＩＧ１Ｆと側方画像生成部３４から伝達される車両１００の後方上部から当該車両１００の前方下部を望む視点とする左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆとの上方に、前方画像生成部３３から伝達される前方画像ＦＧ１を表示する。また、表示画像生成部３８は、モニタ４１に表示される左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端が、少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域と重複するように生成する。
左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端とは、モニタ４１に表示した際の上端である。少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域とは、図４に示される前方画像ＦＧ１においては下端付近の領域である。このように、表示画像生成部３８は、左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端と、前方画像ＦＧ１の下端付近の領域とが、重複するように表示画像ＤＧを生成する。このように生成された表示画像ＤＧをモニタ４１に表示した場合には、前方画像ＦＧ１、左側方画像ＬＧ１Ｆ、右側方画像ＲＧ１Ｆにおいて車両１００の進行方向が一致しているため、左側方画像ＬＧ１Ｆと前方画像ＦＧ１とを連続的な画像とすることができ、また、右側方画像ＲＧ１Ｆと前方画像ＦＧ１とを連続的な画像とすることができる。したがって、ユーザは夫々の画像間における視点の切り替えをスムーズに行うことができる。
本車両用周辺監視装置５０によれば、図３（ａ）に示されるような車両１００の斜め上方からの視点から、図３（ｂ）に示されるような車両１００の鉛直上方からの視点に切り替えることも可能である。このような視点の切り替えは、ユーザが視点切替スイッチ４２を押下することにより実現される。ユーザが視点切替スイッチ４２を押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の鉛直上方からの視点に設定する。このような視点における表示画像ＤＧについて図５を用いて説明する。
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、鉛直上方からの車両１００のイメージ画像ＩＧを生成する。図５においては、符号ＩＧ２で示される画像が相当する。イメージ画像生成部３６により生成されたイメージ画像ＩＧ２は、表示画像生成部３８に伝達される。
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図５においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
また、前方画像ＦＧ１の近傍（例えば上方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図５においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
また、前方画像生成部３３はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の上方に表示する車両１００の鉛直上方からの視点の前方画像ＦＧを生成する。図５においては、符号ＦＧ２で示される画像が相当する。前方画像生成部３３により生成された鉛直上方からの視点の前方画像ＦＧ２は表示画像生成部３８に伝達される。
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図５においては、符号ＬＧ２で示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図５においては、符号ＲＧ２で示される画像が相当する。側方画像生成部３４により生成された左側方画像ＬＧ２はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の左側に表示され、側方画像生成部３４により生成された右側方画像ＲＧ２は前記イメージ画像ＩＧ２の右側に表示される。側方画像生成部３４により生成された左側方画像ＬＧ２及び右側方画像ＲＧ２は表示画像生成部３８に伝達される。
後方画像生成部３５はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の下方に表示する車両１００の鉛直上方からの視点の後方画像ＢＧを生成する。図５においては、符号ＢＧ２で示される画像が相当する。後方画像生成部３５により生成された鉛直上方からの視点の後方画像ＢＧ２は表示画像生成部３８に伝達される。
表示画像生成部３８は、前方画像ＦＧ１の右側に、車両１００の鉛直上方からの視点で示された車両１００の周囲の情景を示す画像をモニタ４１に表示する。即ち、イメージ画像生成部３６から伝達されるイメージ画像ＩＧ２の周囲に、前方画像ＦＧ２、左側方画像ＬＧ２、右側方画像ＲＧ２、及び後方画像ＢＧ２を表示する。
更に、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に車両１００の前方画像ＦＧのみを表示することも可能である。この場合の例を図６に示す。ユーザが視点切替スイッチ４２を更に押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の前方方向への視点に設定する。
前方画像生成部３３は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているフロントカメラ１１により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて前方画像ＦＧを生成する。図６においては、符号ＦＧ１で示される画像が相当する。ここで、前方画像ＦＧ１は、ユーザがモニタ４１を見た際、モニタ４１に前方画像ＦＧ１が表示されていると認識し易くするために、撮像画像取得部３１から取得した撮像画像ＣＧのうち中央上部の領域をマスクＭで表示しないようにすると好適である。
また、前方画像ＦＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている前方画像ＦＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図６においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。前方画像生成部３３により生成された前方画像ＦＧ１は表示画像生成部３８に伝達される。
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成し、表示画像生成部３８に伝達する。図６においては、前方画像ＦＧ１に予測進路線ｇが表示されることから、前方予測進路線と称される。特に、図６においては、符号ｇＬで示される線が、車両１００が走行する際の左端の前方予測進路線である。また、符号ｇＲで示される線が、車両１００が走行する際の右端の前方予測進路線である。また、車両１００の端部を明示するようにしても良い。このような前方予測進路線は、表示画像生成部３８に伝達される。
表示画像生成部３８は、前方画像ＦＧ１に前方予測進路線を重畳してモニタ４１に表示させる。ユーザは、この表示画像ＤＧを見ることにより、車両１００の周囲の情景を容易に把握することができるので、車両１００を適切に操舵することが可能となる。このように、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に表示させる画像を適宜、状況に応じて切り替えることが可能である。なお、モニタ４１に図６の表示画像ＤＧが表示されている状態において、ユーザが更に視点切替スイッチ４２を押下した場合には、図４の表示画像ＤＧに切り替える構成とすると好適である。或いは、視点切替スイッチ４２を図４、図５及び図６の夫々の表示画像ＤＧに対応する３段切替タイプで構成することも可能である。
次に、車両１００の後退走行時における斜め上方を視点とする表示画像ＤＧの一例について図を用いて説明する。シフト位置センサ２３によりシフトレバー６３のシフト位置が後退走行用の位置にあることが検出されると、視点設定部３２は当該検出結果に応じてモニタ４１に表示する表示画像ＤＧの視点を車両１００の前方上部から後方下部を見る視点に設定する。この場合には、図３（ｃ）に示されるような視点となる。このような視点での表示画像ＤＧを図７に示す。
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、少なくとも車両１００の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成する。図７においては、符号ＩＧ１Ｂで示される画像が相当する。イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢも生成される。なお、この場合、イメージ画像ＩＧ１Ｂは、ユーザの前方から車両１００の後方下部を見下ろした画像が生成され、この場合には鏡像の画像が生成される。イメージ画像生成部３６により生成されたイメージ画像ＩＧ１Ｂ（ユーザのイメージＩＵＢが生成された場合にはイメージＩＵＢも含む）は、表示画像生成部３８に伝達される。
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図７においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図７においては、縮小された車両の図において後方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図７においては、符号ＬＧ１Ｂで示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図７においては、符号ＲＧ１Ｂで示される画像が相当する。
モニタ４１には、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂが車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ２を表示すると好適である。図７においては、縮小された車両の図において左側方の領域及び右側方の領域の色等を変更することにより明示する場合の例を示している。
ここで、一対のサイドカメラ１２は、鉛直下方向を向いてサイドミラー６０に備えられる。したがって、サイドカメラ１２により取得された撮像画像ＣＧは、サイドミラー６０の鉛直下方を中心として撮像された撮像画像ＣＧである。このため、側方画像生成部３４が、撮像画像取得部３１から抽出した左サイドカメラ１２ａ及び右サイドカメラ１２ｂにより取得された撮像画像ＣＧを単にモニタ４１に表示するだけではユーザが違和感を持つこととなる。このため、側方画像生成部３３は、視点設定部３２により車両１００の前方上部から当該車両１００の後方下部を望む視点が設定された場合には、撮像画像取得部３１から抽出された撮像画像ＣＧから車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂを生成する。この生成は、周知の画像処理技術を用いて行うことが可能であるので、説明は省略する。側方画像生成部３４により生成された車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂは表示画像生成部３８に伝達される。
この場合、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度が、後方画像ＢＧ１の視点角度と略等しくなるように生成されると好適である。視点角度とは、水平面に対する視点の角度である。即ち、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの水平面に対する視点の角度が、後方画像ＢＧ１の水平面に対する視点の角度と略等しくなるように生成される。ここで、略等しいとは、完全同一に限定されるものではなく、近い角度であっても良いことを示す。
表示画像生成部３８は、イメージ画像生成部３６から伝達される車両１００の前方上部から当該車両１００の後方下部を望む視点とするイメージ画像ＩＧ１Ｂと側方画像生成部３４から伝達される車両１００の前方上部から当該車両１００の後方下部を望む視点とする左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂとの上方に、後方画像生成部３５から伝達される後方画像ＢＧ１を表示する。また、表示画像生成部３８は、モニタ４１に表示される左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端が、少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域と重複するように生成する。左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端とは、モニタ４１に表示した際の上端である。少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域とは、図７に示される後方画像ＢＧ１においては下端付近の領域である。このように、表示画像生成部３８は、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端と、後方画像ＢＧ１の下端付近の領域とが、重複するように表示画像ＤＧを生成する。このように生成された表示画像ＤＧをモニタ４１に表示した場合には、後方画像ＢＧ１、左側方画像ＬＧ１Ｂ、右側方画像ＲＧ１Ｂにおいて車両１００の進行方向が一致しているため、左側方画像ＬＧ１Ｂと後方画像ＢＧ１とを連続的な画像とすることができ、また、右側方画像ＲＧ１Ｂと後方画像ＢＧ１とを連続的な画像とすることができる。したがって、ユーザは夫々の画像間における視点の切り替えをスムーズに行うことができる。
本車両用周辺監視装置５０によれば、図３（ｃ）に示されるような車両１００の斜め上方からの視点から、図３（ｂ）に示されるような車両１００の鉛直上方からの視点に切り替えることも可能である。このような視点の切り替えは、ユーザが視点切替スイッチ４２を押下することにより実現される。ユーザが視点切替スイッチ４２を押下すると、視点設定部３２はモニタ４１に表示する表示画像ＤＧの視点を車両１００の鉛直上方からの視点に設定する。このような視点における表示画像ＤＧについて図８を用いて説明する。
イメージ画像生成部３６は、視点設定部３２により設定された視点に応じて、鉛直上方からの車両１００のイメージ画像ＩＧを生成する。図８においては、符号ＩＧ２で示される画像が相当する。イメージ画像生成部３６により生成されたイメージ画像ＩＧ２は、表示画像生成部３８に伝達される。
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図８においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図８においては、縮小された車両の図において前方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
また、後方画像生成部３５はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の下方に表示する車両１００の鉛直上方からの視点の後方画像ＢＧを生成する。図８においては、符号ＢＧ２で示される画像が相当する。後方画像生成部３５により生成された鉛直上方からの視点の後方画像ＢＧ２は表示画像生成部３８に伝達される。
側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている左サイドカメラ１２ａにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて左側方画像ＬＧを生成する。図８においては、符号ＬＧ２で示される画像が相当する。また、側方画像生成部３４は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されている右サイドカメラ１２ｂにより取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて右側方画像ＲＧを生成する。図８においては、符号ＲＧ２で示される画像が相当する。側方画像生成部３４により生成された左側方画像ＬＧ２はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の左側に表示され、側方画像生成部３４により生成された右側方画像ＲＧ２は前記イメージ画像ＩＧ２の右側に表示される。側方画像生成部３４により生成された左側方画像ＬＧ２及び右側方画像ＲＧ２は表示画像生成部３８に伝達される。
前方画像生成部３３はイメージ画像生成部３６により生成された車両１００のイメージ画像ＩＧ２の上方に表示する車両１００の鉛直上方からの視点の前方画像ＦＧを生成する。図８においては、符号ＦＧ２で示される画像が相当する。前方画像生成部３３により生成された鉛直上方からの視点の前方画像ＦＧ２は表示画像生成部３８に伝達される。
表示画像生成部３８は、後方画像ＢＧ１の右側に、車両１００の鉛直上方からの視点で示された車両１００の周囲の情景を示す画像をモニタ４１に表示する。即ち、イメージ画像生成部３６から伝達されるイメージ画像ＩＧ２の周囲に、前方画像ＦＧ２、左側方画像ＬＧ２、右側方画像ＲＧ２、及び後方画像ＢＧ２を表示する。
更に、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に車両１００の後方画像ＢＧのみを表示することも可能である。この場合の例を図９に示す。ユーザが視点切替スイッチ４２を更に押下すると、視点設定部３８はモニタ４１に表示する表示画像ＤＧの視点を車両１００の後方方向への視点に設定する。
後方画像生成部３５は、視点設定部３２により設定された視点に応じて、撮像画像取得部３１に一次記憶されているリアカメラ１３により取得された撮像画像ＣＧを抽出し、当該抽出された撮像画像ＣＧを用いて後方画像ＢＧを生成する。図９においては、符号ＢＧ１で示される画像が相当する。後方画像ＢＧ１の近傍（例えば右下方の領域）には、モニタ４１に表示されている後方画像ＢＧ１が車両１００の周囲のどの領域のものであるかを分かり易くするために、車両全体を縮小した図に対して対応する領域を明示する明示画像ＭＧ１を表示すると好適である。図９においては、縮小された車両の図において後方の領域の色等を変更することにより明示する場合の例を示している。後方画像生成部３５により生成された後方画像ＢＧ１は表示画像生成部３８に伝達される。
予測進路線生成部３７は、車両１００の舵角と車輪速とシフト位置とに応じて演算された予測進路線ｇを生成し、表示画像生成部３８に伝達する。図９においては、後方画像ＢＧ１に予測進路線ｇが表示されることから、後方予測進路線ｇＢと称される。後方予測進路線ｇＢは、後退する車両１００の舵角に応じた車両１００の後端の予測軌跡等を示す指標である。本実施形態では、後方予測進路線ｇＢは、車両１００の後端の予測軌跡を示す後端予測軌跡線ｇ１及び車両５０の後方の距離目安線ｇ２、ｇ３、ｇ４から構成される。距離目安線は、本例では、５ｍ目安線ｇ２、３ｍ目安線ｇ３、１ｍ注意線ｇ４である。後方予測進路線は、基本的に黄色で描画される。但し、１ｍ注意線ｇ４及び、ｇ４よりも車両３０側の後端予測進路線ｇ５については、運転者に注意を喚起するために、赤色で描画される。このような後方予測進路線ｇＢは、表示画像生成部３８に伝達される。
表示画像生成部３８は、後方画像ＢＧ１に後方予測進路線ｇＢを重畳してモニタ４１に表示させる。ユーザは、この表示画像ＤＧを見ることにより、車両１００の周囲の情景を容易に把握することができるので、車両１００を適切に操舵することが可能となる。このように、本車両用周辺監視装置５０によれば、ユーザが視点切替スイッチ４２を押下することにより、モニタ４１に表示させる画像を適宜、状況に応じて切り替えることが可能である。なお、モニタ４１に図９の表示画像ＤＧが表示されている状態において、ユーザが更に視点切替スイッチ４２を押下した場合には、図７の表示画像ＤＧに切り替える構成とすると好適である。或いは、視点切替スイッチ４２を図７、図８及び図９の夫々の表示画像ＤＧに対応する３段切替タイプで構成することも可能である。
〔その他の実施形態〕
上記実施形態では、イメージ画像生成部３６が、車両１００の後方上部から当該車両１００の前方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧ、或いは車両１００の前方上部から当該車両１００の後方下部を望む、少なくとも車両の一部とサイドミラー６０とを含む車両１００のイメージ画像ＩＧを生成するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車両１００の一部とサイドミラー６０とが少なくとも含まれていれば良く、例えば車両１００全体を含むイメージ画像ＩＧを生成するように構成することも当然に可能である。この場合には、車両１００の全体のイメージ画像ＩＧであるので、サイドミラー６０は当然に含まれる。サイドミラー６０を含ませてイメージ画像ＩＧを生成するので、ユーザは車両１００と周囲に存在する物体との位置関係を把握し易くすることが可能となる。
上記実施形態では、一対のサイドカメラ１２は、鉛直下方を向いて備えられるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。サイドカメラ１２が、鉛直下方以外の方向を向いて備えることも当然に可能である。このように備えた場合であっても、側方画像生成部３４が視点設定部３２により設定された視点に応じて、サイドカメラ１２により取得された撮像画像ＣＧを基に、左側方画像ＬＧ及び右側方画像ＲＧを生成することは当然に可能である。
上記実施形態では、車両１００が有するシフトレバー６３のシフト位置が少なくとも前進走行用の位置である場合に、イメージ画像ＩＧ１Ｆと左側方画像ＬＧ１Ｆと右側方画像ＲＧ１Ｆとの上方に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて生成される前方画像ＦＧ１が表示されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフトレバー６３のシフト位置が後退走行用の位置である場合にも、イメージ画像ＩＧ１Ｆと左側方画像ＬＧ１Ｆと右側方画像ＲＧ１Ｆとの上方に、フロントカメラ１１により取得された撮像画像ＣＧに基づいて生成される前方画像ＦＧ１が表示するように構成することも可能である。また、係る場合には、ユーザによる視点切替スイッチ４２の押下に応じて視点を切り替える構成とすると好適である。
上記実施形態では、車両１００が有するシフトレバー６３のシフト位置が少なくとも後退走行用の位置である場合に、イメージ画像ＩＧ１Ｂと左側方画像ＬＧ１Ｂと右側方画像ＲＧ１Ｂとの上方に、リアカメラ１３により取得された撮像画像ＣＧに基づいて生成される後方画像ＢＧ１が表示されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフトレバー６３のシフト位置が前進走行用の位置である場合にも、イメージ画像ＩＧ１Ｂと左側方画像ＬＧ１Ｂと右側方画像ＲＧ１Ｂとの上方に、リアカメラ１３により取得された撮像画像ＣＧに基づいて生成される後方画像ＢＧ１が表示するように構成することも可能である。また、係る場合には、ユーザによる視点切替スイッチ４２の押下に応じて視点を切り替える構成とすると好適である。
上記実施形態では、シフト位置が後退走行用の位置である場合のイメージ画像ＩＧ１Ｂが鏡像であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。シフト位置が後退走行用の位置である場合でも、イメージ画像ＩＧ１Ｂを正像で表示する構成とすることも当然に可能である。
上記実施形態では、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度が、後方画像ＢＧ１の視点角度と略等しいとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの視点角度と、後方画像ＢＧ１の視点角度とを全く異なる角度に設定して生成することも当然に可能である。
上記実施形態では、モニタ４１に表示される左側方画像ＬＧ１Ｆ及び右側方画像ＲＧ１Ｆの上端が、少なくとも前方画像ＦＧ１に含まれる車両１００に最も近い側の領域と重複するように生成されるとして説明した。また、モニタ４１に表示される左側方画像ＬＧ１Ｂ及び右側方画像ＲＧ１Ｂの上端が、少なくとも後方画像ＢＧ１に含まれる車両１００に最も近い側の領域と重複するように生成されるとして説明した。この場合には、夫々の画像の接続部分が滑らかになるように、公知のモーフィング処理を行うと好適である。或いは、夫々の画像が重複しないように生成することも当然に可能である。
上記実施形態では、視点切替スイッチ４２により、表示画像ＤＧの視点が切り替えられるとして説明した。この視点切替スイッチ４２は物理的なスイッチでなくても良く、モニタ４１をタッチディスプレイとして構成することにより、モニタ４１に表示されるタッチボタンで構成することも当然に可能である。
上記実施形態では、予測進路線ｇが、図６の前方画像ＦＧ１のみの表示の際、及び図９の後方画像ＢＧ１のみの表示の際に重畳されているとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。図４の前方画像ＦＧ１、図５の前方画像ＦＧ１、図７の後方画像ＢＧ１、図８の後方画像ＢＧ１においても、予測進路線ｇを重畳して表示することも当然に可能である。また、左側方画像ＬＧや右側方画像ＲＧに予測進路線ｇを重畳することも当然に可能である。
上記実施形態では、イメージ画像ＩＧ１Ｆには、ユーザがイメージし易いようにユーザを示すイメージＩＵＦが生成され、イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢが生成されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。イメージＩＵＦ、ＩＵＢを生成しない構成とすることも当然に可能である。
上記実施形態では、イメージ画像ＩＧ１Ｂには、ユーザがイメージし易いようにユーザを示すイメージＩＵＢが生成されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。イメージ画像ＩＧ１ＢにイメージＩＵＢを生成することなく、左側方画像ＬＧ１Ｂに「Ｌ」の鏡像文字や右側方画像ＲＧ１Ｂに「Ｒ」の鏡像文字を付与して表示させることも当然に可能である。このような表示を行うことで、後退走行時にモニタ４１に表示される表示画像ＨＧが鏡像であることを明示することが可能となる。
本発明は、ユーザを困惑させることなく、低コストで実現可能な車両用周辺監視装置に利用可能である。
１：カメラデバイス
２：センサデバイス
３：ＥＣＵ（電子制御ユニット）
１１：フロントカメラ
１２：サイドカメラ
１２ａ：左サイドカメラ
１２ｂ：右サイドカメラ
１３：リアカメラ
２１：ステアリングセンサ
２２：車輪速センサ
２３：シフト位置センサ
３１：撮像画像取得部
３２：視点設定部
３３：前方画像生成部
３４：側方画像生成部
３５：後方画像生成部
３６：イメージ画像生成部
３７：予測進路線生成部
３８：表示画像生成部
４１：モニタ
４２：視点切替スイッチ
５０：車両用周辺監視装置
ＢＧ：後方画像
ＣＧ：撮影画像
ＤＧ：表示画像
ＦＧ：前方画像
ＩＧ：イメージ画像
ＬＧ：左側方画像
ＲＧ：右側方画像

Claims (8)

  1. 車両が有するサイドミラーに備えられ、当該サイドミラーの鉛直下方を含む前記車両の左側方の情景及び右側方の情景を撮影した撮像画像を取得する一対のサイドカメラと、
    前記車両の後方上部から前記車両の前方下部を望む前記車両の前進走行用の視点と、前記車両の前方上部から前記車両の後方下部を望む前記車両の後進走行用の視点とを選択的に設定する視点設定部と、
    前記視点設定部で設定された前記視点に基づいて、前記車両の後方上部から当該車両の前方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像、或いは前記車両の前方上部から当該車両の後方下部を望む、少なくとも車両の一部とサイドミラーとを含む前記車両のイメージ画像を生成するイメージ画像生成部と、
    前記左側方の情景を撮影した撮像画像に基づいて、前記車両の車内に備えられるモニタに表示される前記イメージ画像の左側に描画される当該イメージ画像に応じた左側方画像を生成し、前記右側方の情景を撮影した撮像画像に基づいて、前記モニタに表示される前記イメージ画像の右側に描画される当該イメージ画像に応じた右側方画像を生成する側方画像生成部と、
    を備える車両用周辺監視装置。
  2. 前記車両の前方の情景を撮影した撮像画像を取得するフロントカメラが備えられ、
    前記車両が有するシフトレバーのシフト位置が少なくとも前進走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記フロントカメラにより取得された撮像画像に基づいて生成される前方画像が表示される請求項１に記載の車両用周辺監視装置。
  3. 前記車両の後方の情景を撮影した撮像画像を取得するリアカメラが備えられ、
    前記車両が有するシフトレバーのシフト位置が少なくとも後退走行用の位置である場合に、前記イメージ画像と前記左側方画像と前記右側方画像との上方に、前記リアカメラにより取得された撮像画像に基づいて生成される後方画像が表示される請求項１又は２に記載の車両用周辺監視装置。
  4. 前記シフト位置が前記後退走行用の位置である場合の前記イメージ画像が鏡像である請求項３に記載の車両用周辺監視装置。
  5. 前記左側方画像及び前記右側方画像の視点角度が、前記後方画像の視点角度と略等しい請求項３又は４に記載の車両用周辺監視装置。
  6. 前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記前方画像に含まれる前記車両に最も近い側の領域と重複するように生成される請求項２に記載の車両用周辺監視装置。
  7. 前記モニタに表示される前記左側方画像及び前記右側方画像の上端が、少なくとも前記後方画像に含まれる前記車両に最も近い側の領域と重複するように生成される請求項３から５のいずれか一項に記載の車両用周辺監視装置。
  8. 前記一対のサイドカメラは、鉛直下方向を向いて備えられてある請求項１から７のいずれか一項に記載の車両用周辺監視装置。
JP2009074667A 2009-03-25 2009-03-25 車両用周辺監視装置 Active JP5344227B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009074667A JP5344227B2 (ja) 2009-03-25 2009-03-25 車両用周辺監視装置
EP10156874.9A EP2233359B1 (en) 2009-03-25 2010-03-18 Surroundings monitoring device for a vehicle
US12/728,477 US8866905B2 (en) 2009-03-25 2010-03-22 Surroundings monitoring device for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009074667A JP5344227B2 (ja) 2009-03-25 2009-03-25 車両用周辺監視装置

Publications (2)

Publication Number Publication Date
JP2010221980A JP2010221980A (ja) 2010-10-07
JP5344227B2 true JP5344227B2 (ja) 2013-11-20

Family

ID=42236899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009074667A Active JP5344227B2 (ja) 2009-03-25 2009-03-25 車両用周辺監視装置

Country Status (3)

Country Link
US (1) US8866905B2 (ja)
EP (1) EP2233359B1 (ja)
JP (1) JP5344227B2 (ja)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477464B2 (en) * 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
KR100959347B1 (ko) * 2010-02-24 2010-05-20 조성호 자동차의 좌우후방 시야확보 장치
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
US9321400B2 (en) * 2010-06-15 2016-04-26 Aisin Seiki Kabushiki Kaisha Drive assist device
JP2012096688A (ja) * 2010-11-02 2012-05-24 Aisin Seiki Co Ltd 車室内カメラ装置
JP5644477B2 (ja) * 2010-12-22 2014-12-24 日産自動車株式会社 運転支援表示装置
TWI421624B (zh) * 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
KR101803973B1 (ko) * 2011-05-09 2017-12-01 엘지이노텍 주식회사 주차용 카메라 시스템과 그의 구동 방법
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
US20130127620A1 (en) 2011-06-20 2013-05-23 Cerner Innovation, Inc. Management of patient fall risk
US9489820B1 (en) 2011-07-12 2016-11-08 Cerner Innovation, Inc. Method for determining whether an individual leaves a prescribed virtual perimeter
US10546481B2 (en) 2011-07-12 2020-01-28 Cerner Innovation, Inc. Method for determining whether an individual leaves a prescribed virtual perimeter
US9741227B1 (en) 2011-07-12 2017-08-22 Cerner Innovation, Inc. Method and process for determining whether an individual suffers a fall requiring assistance
US20150009329A1 (en) * 2011-10-18 2015-01-08 Hitachi Construction Machinery Co., Ltd. Device for monitoring surroundings of machinery
WO2013112016A1 (ko) * 2012-01-27 2013-08-01 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
KR101283383B1 (ko) 2012-02-01 2013-07-08 주식회사 텔레칩스 멀티카메라 통합 영상처리 시스템
EP2629506A1 (en) 2012-02-15 2013-08-21 Harman Becker Automotive Systems GmbH Two-step brightness adjustment in around-view systems
US9516277B2 (en) * 2012-05-02 2016-12-06 GM Global Technology Operations LLC Full speed lane sensing with a surrounding view system
JP2013253397A (ja) * 2012-06-06 2013-12-19 Hitachi Constr Mach Co Ltd 作業機械の運転支援装置
JP5911775B2 (ja) * 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
KR101366112B1 (ko) * 2012-09-04 2014-02-24 전자부품연구원 카메라 네트워크를 분리하여 운용하는 차량용 ａｖｍ 시스템 및 방법
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
TWI517992B (zh) * 2012-11-13 2016-01-21 義晶科技股份有限公司 車用影像系統及其影像之顯示控制方法
TWM463215U (zh) * 2013-02-26 2013-10-11 Chao-Chih Hsu 具有前後指向視角之攝像裝置
CN105009574B (zh) * 2013-03-28 2018-07-17 爱信精机株式会社 周边监视装置及周边监视方法、记录介质
US9674490B2 (en) 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
JP6036548B2 (ja) * 2013-05-22 2016-11-30 株式会社デンソー 車両用の映像制御装置
WO2014189166A1 (ko) * 2013-05-24 2014-11-27 Cho Sung-Ho 자동차의 좌우후방 시야확보 장치
FR3007613A1 (fr) * 2013-06-20 2014-12-26 Eurekam Dispositif de prise de vue pour l'elaboration securisee de preparations medicamenteuses, support de positionnement d'objets associe, et systeme incluant un tel dispositif et un tel support
KR101515717B1 (ko) * 2013-08-30 2015-05-04 김동근 차량 사각지대 감시장치
US10096223B1 (en) 2013-12-18 2018-10-09 Cerner Innovication, Inc. Method and process for determining whether an individual suffers a fall requiring assistance
US10078956B1 (en) * 2014-01-17 2018-09-18 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections
US10225522B1 (en) 2014-01-17 2019-03-05 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections
US9729833B1 (en) 2014-01-17 2017-08-08 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections along with centralized monitoring
JP6384053B2 (ja) * 2014-01-28 2018-09-05 アイシン・エィ・ダブリュ株式会社 後写鏡角度設定システム、後写鏡角度設定方法および後写鏡角度設定プログラム
US9598012B2 (en) 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
KR101603609B1 (ko) * 2014-07-15 2016-03-28 현대모비스 주식회사 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US10090068B2 (en) 2014-12-23 2018-10-02 Cerner Innovation, Inc. Method and system for determining whether a monitored individual's hand(s) have entered a virtual safety zone
US10524722B2 (en) 2014-12-26 2020-01-07 Cerner Innovation, Inc. Method and system for determining whether a caregiver takes appropriate measures to prevent patient bedsores
US10091463B1 (en) 2015-02-16 2018-10-02 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using 3D blob detection
DE102015208343B4 (de) * 2015-05-06 2023-09-07 Robert Bosch Gmbh Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
US10342478B2 (en) 2015-05-07 2019-07-09 Cerner Innovation, Inc. Method and system for determining whether a caretaker takes appropriate measures to prevent patient bedsores
JP2016215725A (ja) * 2015-05-15 2016-12-22 株式会社デンソー 死角表示装置、死角表示方法
US9892611B1 (en) 2015-06-01 2018-02-13 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection
TWI564185B (zh) * 2015-06-03 2017-01-01 Chun-Hsien Kuo Multi - mode switch car rearview mirror
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6623729B2 (ja) * 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
US9787951B2 (en) * 2015-12-18 2017-10-10 Serge Kannon Vehicle proximity warning system
JP6561824B2 (ja) * 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
US9892310B2 (en) 2015-12-31 2018-02-13 Cerner Innovation, Inc. Methods and systems for detecting prohibited objects in a patient room
CN106961585B (zh) * 2016-05-05 2019-11-05 威盛电子股份有限公司 行车辅助方法及装置
WO2017192144A1 (en) * 2016-05-05 2017-11-09 Harman International Industries, Incorporated Systems and methods for driver assistance
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
JP6868805B2 (ja) * 2016-06-07 2021-05-12 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム
US10501018B2 (en) * 2016-07-18 2019-12-10 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up side view mirror
EP3305597B1 (en) * 2016-10-04 2020-12-09 Ficomirrors, S.A.U. Vehicle driving assist system
KR102005944B1 (ko) 2016-10-19 2019-08-01 주식회사 만도 주차 보조 시스템 및 그 제어 방법
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
US10147184B2 (en) 2016-12-30 2018-12-04 Cerner Innovation, Inc. Seizure detection
US10893262B2 (en) * 2017-02-07 2021-01-12 Siemens Healthcare Gmbh Lightfield rendering based on depths from physically-based volume rendering
US10643446B2 (en) 2017-12-28 2020-05-05 Cerner Innovation, Inc. Utilizing artificial intelligence to detect objects or patient safety events in a patient room
US10482321B2 (en) 2017-12-29 2019-11-19 Cerner Innovation, Inc. Methods and systems for identifying the crossing of a virtual barrier
DE102018100211A1 (de) * 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
JP7063652B2 (ja) * 2018-02-19 2022-05-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
FR3079054B1 (fr) 2018-03-13 2020-02-14 Eurekam Dispositif de prise de vue et systeme adaptables pour l'elaboration securisee de preparations medicamenteuses
US10922936B2 (en) 2018-11-06 2021-02-16 Cerner Innovation, Inc. Methods and systems for detecting prohibited objects
US10497232B1 (en) * 2019-03-01 2019-12-03 Motorola Solutions, Inc. System and method for dynamic vehicular threat detection perimeter modification for an exited vehicular occupant
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
BR112022005281A8 (pt) * 2019-09-19 2023-03-21 Humax Co Ltd Método e aparelho de processamento de sinal de vídeo usando processo de escala
US11225153B2 (en) * 2020-02-03 2022-01-18 GM Global Technology Operations LLC Intelligent vehicles with advanced vehicle camera systems for underbody hazard and foreign object detection
KR102473404B1 (ko) * 2020-02-25 2022-12-02 삼성전기주식회사 탑뷰 제공 장치
JP7228614B2 (ja) * 2021-03-24 2023-02-24 本田技研工業株式会社 画像表示システム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JPH1059068A (ja) * 1996-08-23 1998-03-03 Yoshihisa Furuta 車両の死角確認装置
US6320612B1 (en) * 1998-05-12 2001-11-20 Jan J. Young Vehicular camera system with plural perspectives
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
EP1303140A4 (en) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd MONITORING SYSTEM
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
JP3652678B2 (ja) 2001-10-15 2005-05-25 松下電器産業株式会社 車両周囲監視装置およびその調整方法
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP3607994B2 (ja) * 2001-11-12 2005-01-05 トヨタ自動車株式会社 車両用周辺監視装置
DE10253378B4 (de) * 2001-11-16 2010-07-01 AutoNetworks Technologies, Ltd., Nagoya Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem
JP3916958B2 (ja) 2002-01-24 2007-05-23 クラリオン株式会社 車両後方モニタシステムおよびモニタ装置
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP2003346189A (ja) 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP4005456B2 (ja) * 2002-09-10 2007-11-07 株式会社オートネットワーク技術研究所 カメラ装置及び車両周辺視認装置
JP4247066B2 (ja) * 2003-08-01 2009-04-02 株式会社オートネットワーク技術研究所 車両周辺視認装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP2006287826A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4847051B2 (ja) * 2005-06-09 2011-12-28 クラリオン株式会社 車両周囲監視方法およびシステム
US8885045B2 (en) * 2005-08-02 2014-11-11 Nissan Motor Co., Ltd. Device and method for monitoring vehicle surroundings
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4662832B2 (ja) * 2005-09-26 2011-03-30 アルパイン株式会社 車両用画像表示装置
JP4579145B2 (ja) * 2005-11-30 2010-11-10 アルパイン株式会社 車両周辺画像表示装置
JP5058491B2 (ja) * 2006-02-09 2012-10-24 日産自動車株式会社 車両用表示装置および車両用映像表示制御方法
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
CN101438590B (zh) * 2006-05-09 2011-07-13 日产自动车株式会社 车辆周围图像提供装置和车辆周围图像提供方法
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP2009017020A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 画像処理装置及び表示画像生成方法
JP4924896B2 (ja) 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit

Also Published As

Publication number Publication date
EP2233359B1 (en) 2013-09-18
EP2233359A1 (en) 2010-09-29
JP2010221980A (ja) 2010-10-07
US8866905B2 (en) 2014-10-21
US20100245577A1 (en) 2010-09-30

Similar Documents

Publication Publication Date Title
JP5344227B2 (ja) 車両用周辺監視装置
JP5500369B2 (ja) 車両周辺画像生成装置
JP5376223B2 (ja) 運転支援装置
CN110027552B (zh) 图像显示装置
KR101266734B1 (ko) 표시장치
JP4900326B2 (ja) 駐車支援装置及び駐車支援方法
JP3947375B2 (ja) 駐車補助装置
US9308863B2 (en) Vehicle peripheral observation device
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
JP5158051B2 (ja) 運転支援装置
JP5251804B2 (ja) 運転支援装置
JP6597415B2 (ja) 情報処理装置及びプログラム
JP5071738B2 (ja) 表示装置
CN110895443A (zh) 显示控制装置
JP5821622B2 (ja) 障害物警報装置
JP4924770B2 (ja) 駐車支援装置及び駐車支援方法
JP2005035542A (ja) 駐車補助装置
JP5765575B2 (ja) 撮影領域明示装置
JP5825091B2 (ja) 撮影領域明示装置
JP2012030797A (ja) 駐車支援装置及び駐車支援方法
WO2013094345A1 (ja) 撮影領域明示装置
JP2012051392A (ja) 表示装置、及び、表示方法
JP2012168752A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130731

R151 Written notification of patent or utility model registration

Ref document number: 5344227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151