JP5347257B2 - 車両用周辺監視装置および映像表示方法 - Google Patents

車両用周辺監視装置および映像表示方法 Download PDF

Info

Publication number
JP5347257B2
JP5347257B2 JP2007249476A JP2007249476A JP5347257B2 JP 5347257 B2 JP5347257 B2 JP 5347257B2 JP 2007249476 A JP2007249476 A JP 2007249476A JP 2007249476 A JP2007249476 A JP 2007249476A JP 5347257 B2 JP5347257 B2 JP 5347257B2
Authority
JP
Japan
Prior art keywords
vehicle
video
image
blind spot
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007249476A
Other languages
English (en)
Other versions
JP2009081666A (ja
Inventor
柳　　拓良
聡 知野見
健 赤塚
勉 川野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2007249476A priority Critical patent/JP5347257B2/ja
Priority to US12/202,710 priority patent/US8058980B2/en
Priority to EP08164852A priority patent/EP2045133B1/en
Priority to DE602008001229T priority patent/DE602008001229D1/de
Priority to KR1020080093548A priority patent/KR100936558B1/ko
Priority to CN2008101683325A priority patent/CN101396989B/zh
Publication of JP2009081666A publication Critical patent/JP2009081666A/ja
Application granted granted Critical
Publication of JP5347257B2 publication Critical patent/JP5347257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、車両後方や車両後側方の映像を表示して車両運転者に提示する車両用周辺監視装置および映像表示方法に関する。
従来、自動車のルームミラーやドアミラーの死角となる領域の視界を確保しつつ、少ない視線移動で車両後方や車両後側方の状況を車両運転者が的確に把握できるようにするために、車両後方や車両後側方の映像を車載カメラで撮影して、車両内部に設置したディスプレイに表示させることが提案されている（例えば、特許文献１参照。）。
特許文献１には、車両後端部に設置した後方カメラと車両の左右ドアミラーに設置した２台の側方カメラとを用いて車両後方および車両後側方の映像を撮影し、これら後方カメラと２台の側方カメラで撮影した映像を横方向に並べて車両内部の１つのディスプレイに表示するようにした車両用周辺監視装置が記載されている。
この特許文献１に記載の車両用周辺監視装置では、後方カメラおよび２台の側方カメラで撮影した映像を並べてディスプレイに表示するようにしているので、車両後方の後続車両の接近によって当該後続車両の側方に後方カメラで撮影できない死角領域が発生した場合であっても、側方カメラで撮影した映像によって、死角領域となる後続車両の側方の状況を車両運転者に提示することができる。
特開２００３−８１０１４号公報
しかしながら、車両内部のディスプレイは表示領域の大きさが限られており、後続車両の接近によって当該後続車両の側方に死角領域が生じたときには、この死角領域となる後続車両の側方の状況が把握できなかった。
本発明は、以上のような従来技術の問題点を解消すべく創案されたものであって、後続車両の接近によって当該後続車両の側方に死角領域が発生した場合は、この死角領域となる後続車両の側方の状況も車両運転者に提示できるようにした車両用周辺監視装置および映像表示方法を提供することを目的としている。
本発明は、車両後方の後続車両の接近によって当該後続車両の側方に映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、死角領域が発生していないと判定した場合は、映像撮影手段により撮影された映像から後方映像を切り出し、拡大して映像表示手段に表示し、死角領域が発生していると判定した場合に、映像撮影手段とは異なる視点位置から映像を撮影する他の映像撮影手段で撮影した死角領域の後側方映像を、前記映像撮影手段で撮影した後方映像に合成して車両内部の映像表示手段に表示することで、上述した課題を解決する。
また、本発明は、車両後方の後続車両の接近によって当該後続車両の側方に映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、死角領域が発生していないと判定した場合には、映像撮影手段で撮影した映像から車両後方の映像を切り出し、拡大して車両内部の映像表示手段に表示し、死角領域が発生していると判定した場合には、映像撮影手段で撮影した車両後方の映像に車両後側方の映像を合成して車両内部の映像表示手段に表示することで、上述した課題を解決する。
本発明によれば、後続車両の接近によって当該後続車両の側方に死角領域が生じたときには、この死角領域となる後続車両の側方の状況も車両運転者に提示することができる。
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。
［第１実施形態］
まず、本発明の第１実施形態について説明する。本実施形態は、車両に搭載された３つの車載カメラで映像を撮影する構成の車両用周辺監視装置への適用例である。図１は本実施形態の車両用周辺監視装置の構成を示すブロック図、図２は３つの車載カメラの配置例を示す図である。
図１に示すように、本実施形態の車両用周辺監視装置は、車両（以下、自車両Ｖという。）の後部に設置されたリアカメラ１と、自車両Ｖの右側部に設置された右サイドカメラ２と、自車両Ｖの左側部に設置された左サイドカメラ３の３台の車載カメラを備えている。また、この車両用周辺監視装置は、これら３台の車載カメラ１，２，３の撮影映像を用いて表示用の映像を生成する映像処理ユニット１０と、映像処理ユニット１０で生成された表示用映像を表示するディスプレイ（映像表示手段）４とを備えている。
図２に示すように、リアカメラ１は、例えばルーフスポイラーなどの自車両Ｖ後部の所定位置に設置されており、例えば図２中Ａ１で示す車両後方および車両後側方の比較的広い領域の映像を撮影することが可能とされている。また、右サイドカメラ２は、例えば右側ドアミラーなどの自車両Ｖ右側部の所定位置に設置されており、例えば図２中Ａ２で示す自車両Ｖ右側から車両後側方にかけての比較的広い領域の映像を、リアカメラ１とは異なる視点位置から撮影することが可能とされている。また、左サイドカメラ３は、例えば左側ドアミラーなどの自車両Ｖ左側部の所定位置に設置されており、例えば図２中Ａ３で示す自車両Ｖ左側から車両後側方にかけての比較的広い領域の映像を、リアカメラ１とは異なる視点位置から撮影することが可能とされている。ここで、車両後方の領域とは、自車両Ｖの前後軸を車両後方に伸ばした延長線を中心とした所定範囲の領域であり、例えば自車両Ｖの運転者がルームミラーで確認できる範囲の領域である。また、車両後側方の領域とは、以上のような車両後方の領域よりも左右外側に位置する領域であり、例えば自車両Ｖの運転者がドアミラーで確認できる範囲の領域である。
これら３台の車載カメラ１，２，３は、それぞれ、レンズおよび受光素子で構成される光学系を持ち、レンズを通して入射される光をＣＣＤやＣＭＯＳなどの受光素子で受光して電気信号に変換し、撮影した映像を画素ごとに数値化した映像信号として出力する。これら３台の車載カメラ１，２，３から出力された映像信号は、映像処理ユニット１０に入力される。
映像処理ユニット１０は、３台の車載カメラ１，２，３の撮影映像を用いて表示用映像を生成し、生成した表示用映像を自車両Ｖの内部に設置されたディスプレイ４に表示させる。特に本実施形態では、自車両Ｖの後方を走行している後続車両が自車両Ｖに接近していない状況では、リアカメラ１で撮影された車両後方の映像を拡大した表示用映像を生成してディスプレイ４に表示させる。一方、自車両Ｖの後方を走行している後続車両が自車両Ｖに接近したことによって後続車両の側方に死角領域が発生している状況では、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２或いは左サイドカメラ３により撮影された死角領域の映像を合成して、その合成画像を表示用映像としてディスプレイ４に表示させる。本実施形態では、ディスプレイ４に表示させる表示用映像を、後続車両の接近による死角領域の有無に応じて以上のように切替えることにより、車両後方の映像を自車両Ｖの運転者が正しい距離感で把握できるように表示させながら、後続車両の接近による死角発生にも対応させて、必要な情報を自車両Ｖの運転者に的確に提示できるようにしている。
ここで、具体的な走行シーンを例に挙げながら、映像処理ユニット１０における処理の概要について簡単に説明する。
まず、図３に示すように、自車両Ｖが片側３車線の道路の中央の車線を走行しており、その自車両Ｖの後方の離れた位置に後続車両Ｖ１が走行しているシーンを考える。この図３に示す走行シーンにおいて、リアカメラ１で撮影される車両後方の映像は図４（ａ）のようになり、右サイドカメラ２で撮影される右側の車両後側方の映像は図４（ｂ）のようになり、左サイドカメラ３で撮影される左側の車両後側方の映像は図４（ｃ）のようになる。ここで、これら図４（ａ）〜（ｃ）の映像を横方向に並べ、ディスプレイ４の表示領域の大きさに合わせて表示用映像を生成したとすると、ディスプレイ４に表示される表示用映像は図５のようになる。この図５に示す表示用映像は、車両後方から左右後側方の広い領域の状況を車両運転者に提示できる反面、表示用映像の中の後続車両Ｖ１の大きさがルームミラーのミラー反射像で確認した場合と比べて小さくなりすぎるために、自車両Ｖの運転者が後続車両Ｖ１までの距離感を見誤る要因となるといった問題がある。
すなわち、図３に示す走行シーンにおいて、自車両Ｖのルームミラーに映る車両後方の領域のミラー反射像は、例えば図６のようになる。自車両Ｖの運転者は、このルームミラーのミラー反射像を普段から見慣れており、ミラー反射像に現われる物体の大きさからその物体までの距離を感覚的に認識している。このため、表示用映像の中の後続車両Ｖ１の大きさがルームミラーのミラー反射像で確認した場合と比べて小さいと、自車両Ｖの運転者は、この表示用映像を見たときに、後続車両Ｖ１が実際よりも遠くに存在するものと誤って認識してしまう場合がある。
このような問題を回避するためには、表示用映像としてディスプレイ４に表示する映像をリアカメラ１で撮影された映像のみとし、例えば図７に示すように、リアカメラ１で撮影された車両後方の映像を、ルームミラーのミラー反射像と同等の映像サイズとなるように拡大してディスプレイ４に表示させることが有効であると考えられる。これにより、後続車両Ｖ１との車間距離の判断が容易となる。また、単独の視点の映像の方が、図５に示したように複数の視点の映像を同時に表示するよりも、車両後方の状況を瞬時に理解しやすいというメリットもある。しかしながら、この図７に示したような表示用映像では、例えば図８に示すような走行シーンにおいては、自車両Ｖの運転者に対して必要な情報を適切に提示できなくなるといった新たな問題が生じる。
図８に示す走行シーンは、自車両Ｖの後方に大型の後続車両Ｖ２が接近しており、また、自車両の走行車線の右隣りの車線を、後続車両Ｖ２の側方に併走するようにして他の後続車両Ｖ３が走行している走行シーンである。この場合、後続車両Ｖ２の接近によって後続車両Ｖ２の側方にリアカメラ１では撮影できない死角領域が生じるため、図７に示した表示用映像と同様にリアカメラ１で撮影された車両後方の映像を拡大してディスプレイ４に表示させるようにすると、ディスプレイ４に表示される表示用映像は図９のようになり、後続車両Ｖ２の側方を走行している他の後続車両Ｖ３を視認しづらくなってしまう。図８に示すような走行シーンでは、自車両Ｖの運転者が右隣りの車線への車線変更を判断する上で、右隣りの車線を後続車両Ｖ３が走行しているという状況は非常に重要な情報である。しかしながら、ディスプレイ４に表示される表示用映像が図９に示したような映像であると、自車両Ｖの運転者はこの表示用映像から後続車両Ｖ３の存在を的確に認識できずに、車線変更の判断を誤る場合がある。
そこで、本実施形態の車両用周辺監視装置では、映像処理ユニット１０において、後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かを判定する。そして、このような死角領域が発生していない間は、図７に示したように、リアカメラ１で撮影された車両後方の映像をルームミラーのミラー反射像と同等の映像サイズとなるように拡大してディスプレイ４に表示させる。一方、死角領域が発生していると判定した場合には、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２または左サイドカメラ３で撮影された死角領域の映像を合成することで、例えば図１０あるいは図１１に示すような表示用映像を生成して、ディスプレイ４に表示させるようにしている。なお、図１０は、リアカメラ１の撮影映像上における死角領域となる位置に、右サイドカメラ２で撮影された死角領域の映像を重畳した表示用映像の例であり、図１１は、リアカメラ１で撮影された車両後方の映像の右隣りに右サイドカメラ２で撮影された死角領域の映像を並べた表示用映像の例である。
ここで、以上のような映像処理ユニット１０による表示用映像の生成処理について、さらに詳しく説明する。この映像処理ユニット１０は、図１に示すように、映像入力部１１、死角判定部（判定手段）１２、表示用映像生成部（表示制御手段）１３、映像出力部１４を備えている。
映像入力部１１は、リアカメラ１、右サイドカメラ２、左サイドカメラ３の３台の車載カメラで撮影された映像をそれぞれ入力するものであり、ＲＡＭにより構成される３つの入力映像フレームメモリ２１，２２，２３を備えている。入力映像フレームメモリ２１はリアカメラ１に対応したフレームメモリであり、入力映像フレームメモリ２２は右サイドカメラ２に対応したフレームメモリであり、入力映像フレームメモリ２３は左サイドカメラ３に対応したフレームメモリである。リアカメラ１、右サイドカメラ２、左サイドカメラ３で撮影された映像は、それぞれ入力映像フレームのサイズに合わせてデジタル化され、フレーム単位で入力映像フレームメモリ２１，２２，２３に各々格納される。
死角判定部１２は、後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かを判定する。具体的には、死角判定部１２は、映像入力部１１の入力映像フレームメモリ２１に格納されたリアカメラ１の撮影映像に対してエッジ検出やパターン認識処理などの画像処理を施して、自車両Ｖの走行車線上で自車両Ｖの後方に接近している後続車両を検出する。そして、自車両Ｖの後方に接近している後続車両が検出された場合は、図１２に示すように、その後続車両の形状を矩形の枠Ｆで近似し、リアカメラ１の撮影映像中における枠Ｆの位置およびその大きさから、後続車両の位置と大きさを計算する。つまり、車両後方の領域における実際の位置とリアカメラ１の撮影映像における座標系の位置との関係は、リアカメラ１の設置位置や設置角度、画角などから一意に特定できるので、リアカメラ１の撮影映像中における枠Ｆの下端の位置から、車両後方の領域における後続車両の位置（自車両Ｖと後続車両との間の車間距離）を求めることができる。また、このように求めた後続車両の位置と、リアカメラ１の撮影映像中における枠Ｆの左右の幅とから、後続車両の大きさ（車幅）を求めることができる。
なお、ここでは、リアカメラ１で撮影された車両後方の映像に対して画像処理を行うことで後続車両の位置や大きさを求めるようにしているが、車載用ミリ波レーダやレーザレーダなどの物体検出装置を自車両Ｖに搭載している場合には、この物体検出装置で検出された情報に基づいて、或いはリアカメラ１の撮影映像に対する画像処理の結果と物体検出装置で検出された情報との双方に基づいて、後続車両の位置や大きさを求めるようにしてもよい。
死角判定部１２は、以上のように求めた後続車両の位置と大きさとをもとに、この後続車両の接近によってこの後続車両の側方にリアカメラ１では撮影できない死角領域が発生しているか否かを判定する。具体的には、例えば図１３に示すように、自車両Ｖと後続車両Ｖ２との間の車間距離Ｌ１と、後続車両Ｖ２の車幅Ｗとから、車両後方の隣接車線においてリアカメラ１で撮影できる距離（視認可能距離）Ｌ２を幾何学的に計算する。そして、この視認可能距離Ｌ２が所定の閾値以下の場合に、後続車両Ｖ２の側方に死角領域が発生していると判定する。あるいは、自車両Ｖと後続車両Ｖ２との間の車間距離Ｌ１が所定の閾値以下となった場合に、後続車両Ｖ２の側方に死角領域が発生していると判定するようにしてもよい。なお、自車両Ｖの後方に後続車両が存在する状況では多少なりともリアカメラ１で撮影できない死角が発生するが、軽微な死角は車両周辺監視の目的からは無視できるので、ここでは、隣接車線を走行する他の後続車両や二輪車などが隠れる程度の大きさの死角を、死角領域と呼ぶ。
死角判定部１２は、以上のような手法で後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かを判定し、死角領域が発生していると判定した場合には、死角領域が発生している旨の情報を表示用映像生成部１３に対して出力する。
表示用映像生成部１３は、死角判定部１２から死角領域が発生している旨の情報が出力されていない間は、リアカメラ１の撮影映像を用いて、例えば図７に示したように、車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大した表示用映像を生成する。なお、ディスプレイ４の表示領域が十分な大きさを持つ場合は、車両後方の映像だけでなく車両後側方の映像も加えて表示用映像を生成するようにしてもよい。
この表示用映像の生成は、例えば、映像入力部１１の入力映像フレームメモリ２１にフレーム単位で格納されたリアカメラ１の撮影映像のピクセルデータを、定義テーブルに従って、映像出力部１４の出力映像フレームメモリ２４に再配置することで実現できる。ここで使用する定義テーブルは、リアカメラ１で撮影された車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大する場合に、出力映像フレームメモリ２４に格納する各ピクセルが、入力映像フレームメモリ２１の座標系（カメラ座標系）のどの場所に対応するかの対応関係を規定している。
また、表示用映像生成部１３は、死角判定部１２から死角領域が発生している旨の情報が出力されると、リアカメラ１の撮影映像と、右サイドカメラ２または左サイドカメラ３の撮影映像とを用いて、例えば図１０あるいは図１１に示したように、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２または左サイドカメラ３で撮影された死角領域の映像を合成した表示用映像を生成する。この表示用映像の生成は、例えば、上述した定義テーブルを用いてリアカメラ１の撮影映像のピクセルデータを映像出力部１４の出力映像フレームメモリ２３に再配置するとともに、入力映像フレームメモリ２２に格納された右サイドカメラ２の撮影映像や入力映像フレームメモリ２３に格納された左サイドカメラ３の撮影映像から死角領域に相当する映像部分のピクセルデータを取り出して、この死角領域に相当する映像部分のピクセルデータを映像出力部１４の出力映像フレームメモリ２４上の所定位置にコピーすることで実現できる。
右サイドカメラ２の撮影映像や左サイドカメラ３の撮影映像から取り出した死角領域に相当する映像部分のコピー先は、例えば、リアカメラ１で撮影された車両後方の映像の死角領域となる位置、あるいはリアカメラ１で撮影された車両後方の映像の左右に隣接した位置である。この死角領域に相当する映像部分のコピー先を予め定めておけば、コピー元の入力映像フレームメモリ２２，２３の各ピクセルと、コピー先となる出力映像フレームメモリ２４の位置との対応関係が特定されるので、この対応関係を予め死角領域用の定義テーブルに規定しておくことで、図１０あるいは図１１に示したような表示用映像を簡便に生成できる。
なお、図１０や図１１に示した表示用映像の例は、自車両Ｖの右側の追越車両に注目して、死角領域発生時に右サイドカメラ２で撮影された死角領域の映像のみをリアカメラ１で撮影した車両後方の映像に合成したものであるが、勿論、右サイドカメラ２で撮影された死角領域の映像と左サイドカメラ３で撮影された死角領域の映像の双方をリアカメラ１で撮影した車両後方の映像に合成するようにしてもよいし、自車両Ｖが現在走行している車線や走行速度などの走行状況に応じて、右サイドカメラ２で撮影された死角領域の映像と左サイドカメラ３で撮影された死角領域の映像のどちらを合成するかを自動的に判断する構成としてもよい。また、自車両Ｖの運転者による車線変更などの意図に応じて、合成する映像を切替える構成としてもよい。ただし、いずれの場合も表示用映像を切替えるトリガとなるのは、後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かの判定結果である。
映像出力部１４は、表示用映像生成部１３で生成された表示用映像をディスプレイ４に対して出力するものであり、ＲＡＭにより構成される出力映像フレームメモリ２４を備える。この出力映像フレームメモリ２４には、上述したように、表示用映像生成部１３により生成された表示用映像の映像データが格納される。映像出力部１４は、この出力映像フレームメモリ２４に格納された表示用映像の映像データを、ディスプレイ４に随時出力する。これにより、自車両Ｖの後方に後続車両が接近していない状況では、例えば図７に示したように、車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大した表示用映像がディスプレイ４に表示され、後続車両が自車両Ｖに接近したことによって後続車両の側方に死角領域が発生している状況では、例えば図１０あるいは図１１に示したように、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２または左サイドカメラ３で撮影された死角領域の映像を合成した表示用映像がディスプレイ４に表示される。
ところで、死角発生時に図１０あるいは図１１に示したような表示用映像をディスプレイ４に表示させるようにした場合、例えば図１４に示す走行シーンのように、後続車両Ｖ２よりも自車両Ｖ近傍の位置に二輪車などの障害物Ｍが存在する状況では、合成した映像によってこの障害物Ｍが隠れてしまい、表示用映像上でこの障害物Ｍを確認できなくなることも懸念される。例えば、図１４に示す走行シーンにおいて、後続車両Ｖ２の接近により後続車両Ｖ２の側方に死角領域が発生していると判定され、リアカメラ１で撮影された車両後方の映像の右隣りに右サイドカメラ２で撮影された死角領域の映像を合成して表示用映像を生成すると、ディスプレイ４には図１５（ａ）に示す表示用映像が表示されることになり、二輪車などの障害物Ｍの存在を認識しづらくなる。
そこで、自車両Ｖの近傍に存在する二輪車などの障害物Ｍを検知する手段を映像処理ユニット１０に設けるようにして、死角発生時にこの検知手段により障害物Ｍが検知されたときには、表示用映像生成部１３が、この障害物Ｍの存在を認識できる表示用映像を生成してディスプレイ４に表示させることが望ましい。具体的には、表示用映像生成部１３は、死角発生時に自車両Ｖ近傍の障害物Ｍが検知されると、例えば図１５（ｂ）に示すように、障害物Ｍの存在を確認できる程度にリアカメラ１で撮影された車両後方の映像範囲を拡大して表示用映像を生成する、あるいは図１５（ｃ）に示すように、生成した表示用映像上で障害物Ｍの位置に障害物Ｍが存在することを表すアイコンなどを重畳して、ディスプレイ４に表示させる。これにより、二輪車などの障害物Ｍが自車両Ｖ近傍に存在していることを自車両Ｖの運転者に認識させることができる。なお、上述した障害物Ｍの検知は、例えば、死角判定部１２における死角領域の判定処理と同様に、リアカメラ１の撮影映像に対してエッジ検出やパターン認識処理などの画像処理を行う、あるいは車載用ミリ波レーダやレーザレーダなどの物体検出装置を備える場合にはその検出結果を用いることで実現できる。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用周辺監視装置によれば、自車両Ｖの後方に後続車両が接近していない状況では、車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大した表示用映像がディスプレイ４に表示されるので、自車両Ｖの運転者に対して車両後方の映像を正しい距離感で把握させることができる。また、本実施形態の車両用周辺監視装置によれば、後続車両が自車両Ｖに接近したことによって後続車両の側方にリアカメラ１で撮影できない死角領域が発生している状況では、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２または左サイドカメラ３で撮影された死角領域の映像を合成した表示用映像がディスプレイ４に表示されるので、死角領域となる後続車両の側方の状況も自車両Ｖの運転者に提示することができる。
［第２実施形態］
次に、本発明の第２実施形態について説明する。本実施形態は、映像撮影手段としてリアカメラ１のみを備える構成の車両用周辺監視装置への適用例である。図１６は本実施形態の車両用周辺監視装置の構成を示すブロック図、図１７はリアカメラ１の撮影範囲と表示用映像に用いる映像範囲との関係を示す図である。
本実施形態の車両用周辺監視装置では、自車両Ｖの後部に設置されたリアカメラ１により車両後方および車両後側方の映像を撮影し、自車両Ｖの後方を走行している後続車両が自車両Ｖに接近していない状況では、リアカメラ１で撮影された映像から車両後方の映像のみを拡大してディスプレイ４に表示させ、自車両Ｖの後方を走行している後続車両が自車両Ｖに接近したことによって後続車両の側方に車両後方の映像として撮影できない死角領域が発生している状況では、リアカメラ１で撮影された車両後方および車両後側方の映像をディスプレイ４に表示させる。なお、車両周辺監視装置の構成としては、図１６に示すように、右サイドカメラ２および左サイドカメラ３と、これら右サイドカメラ２および左サイドカメラ３の撮影映像が格納される入力映像フレームメモリ２２，２３とが設けられていない以外は、上述した第１実施形態と同様であるので、以下、第１実施形態と同様の構成については同一の符号を用いて説明する。
リアカメラ１は、第１実施形態で説明したように、例えばルーフスポイラーなどの車両後部の所定位置に設置され、例えば図１７中Ａ１で示す車両後方および車両後側方の比較的広い領域の映像を撮影することが可能とされている。ここで、車両後方の領域とは、自車両Ｖの前後軸を車両後方に伸ばした延長線を中心とした所定範囲の領域であり、例えば自車両Ｖの運転者がルームミラーで確認できる範囲の領域（図１７中Ｂ１で示す領域）である。また、車両後側方の領域とは、以上のような車両後方の領域よりも左右外側に位置する領域であり、例えば自車両Ｖの運転者がドアミラーで確認できる範囲の領域（図１７中Ｂ２，Ｂ３で示す領域）である。
このリアカメラ１で撮影された車両後方および車両後側方の映像はデジタル化され、フレーム単位で映像処理ユニット１０の映像入力部１１に設けられた入力映像フレームメモリ２１に格納される。
映像処理ユニット１０の死角判定部１２は、後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かを、第１実施形態と同様の手法により判定する。すなわち、死角判定部１２は、リアカメラ１の撮影映像に対してエッジ検出やパターン認識処理などの画像処理を行うことで、あるいは車載用ミリ波レーダやレーザレーダなどの物体検出装置を備える場合にはその検出結果を用いて、後続車両の位置や大きさを求める。そして、後続車両の位置や大きさに基づいて、車両後方の隣接車線においてリアカメラ１で撮影できる視認可能距離を求め、この視認可能距離が所定の閾値以下となっているか否か、あるいは自車両Ｖと後続車両との間の車間距離が所定の閾値以下となっているか否かにより、死角領域の発生有無を判定する。そして、死角領域が発生していると判定した場合には、死角領域が発生している旨の情報を表示用映像生成部１３に対して出力する。
表示用映像生成部１３は、死角判定部１２から死角領域が発生している旨の情報が出力されていない間は、リアカメラ１で撮影された映像から車両後方の映像（図１７中Ｂ１で示す領域の映像）を切り出して、この車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大して表示用映像を生成する。この表示用映像の生成は、第１実施形態と同様に、映像入力部１１の入力映像フレームメモリ２１にフレーム単位で格納されたリアカメラ１の撮影映像のピクセルデータを、定義テーブルに従って、映像出力部１４の出力映像フレームメモリ２４に再配置することで実現できる。
また、表示用映像生成部１３は、死角判定部１２から死角領域が発生している旨の情報が出力されると、リアカメラ１で撮影された車両後方および車両後側方の映像（図１７中Ｂ１，Ｂ２，Ｂ３で示す領域の映像）を、ディスプレイ４の表示領域に合わせた映像サイズに変換して表示用映像を生成する。この表示用映像の生成も、車両後方と車両後側方とを含む広域映像に対応した定義テーブルを用いて、入力映像フレームメモリ２１に格納されたリアカメラ１の撮影映像のピクセルデータを出力映像フレームメモリ２４に再配置することで実現できる。
本実施形態では、以上のように、表示用映像生成部１３で生成する表示用映像を、死角発生の有無に応じて、車両後方の拡大映像と車両後方及び車両後側方の広域映像とで切替えることにより、車両後方の映像を自車両Ｖの運転者が正しい距離感で把握できるように表示させながら、後続車両の接近による死角発生にも対応させて、必要な情報を自車両Ｖの運転者に的確に提示できるようにしている。
ここで、図１８に示す走行シーンを例に挙げて、本実施形態における表示用映像の切替えについて説明する。図１８に示す走行シーンは、自車両Ｖの後方に大型の後続車両Ｖ２が接近しており、また、自車両の走行車線の右隣りの車線を、後続車両Ｖ２の側方に併走するようにして他の後続車両Ｖ３が走行している走行シーンである。また、図１８中のＢ１がリアカメラ１で撮影される車両後方の領域であり、Ｂ２，Ｂ３がリアカメラ１で撮影される車両後側方の領域である。
この図１８に示す走行シーンでは、後続車両Ｖ２が自車両Ｖに接近することによって後続車両Ｖ２の側方に死角領域が発生するが、右隣りの車線を走行している他の後続車両Ｖ３は一部が死角領域の外側に位置するため、この後続車両Ｖ３の一部はリアカメラ１により撮影可能である。このとき、リアカメラ１で撮影された車両後方の映像（図１８中Ｂ１で示す領域の映像）のみを拡大して表示用映像とすると、後続車両Ｖ３はリアカメラ１で撮影可能であるにも拘わらず表示用映像としては表示されないことになり、自車両Ｖの運転者はこの表示用映像から後続車両Ｖ３の存在を的確に認識できなくなる。そこで、本実施形態では、後続車両Ｖ２が自車両Ｖに接近することによって後続車両Ｖ２の側方に死角領域が発生した場合に、表示用映像として表示する映像を車両後方の拡大映像から車両後方および車両後側方を含む広域映像（図１８中Ｂ１，Ｂ２，Ｂ３で示す領域の映像）に切替えることで、後続車両Ｖ３の存在を自車両Ｖの運転者が認識できるようにしている。
映像出力部１４は、第１の実施形態と同様に、表示用映像生成部１３で作成されて出力映像フレームメモリ２４に格納された表示用映像の映像データを、ディスプレイ４に随時出力する。これにより、自車両Ｖの後方に後続車両が接近していない状況では、例えば図７に示したように、車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大した表示用映像がディスプレイ４に表示される。また、後続車両が自車両Ｖに接近したことによって後続車両の側方に死角領域が発生している状況では、例えば図１９に示すように、車両後方および車両後側方の広域映像がディスプレイ４に表示される。この図１９に示す表示用映像は、図１８に示した走行シーンにおいてディスプレイ４に表示される映像である。自車両Ｖの運転者は、この図１９に示す表示用映像から、自車両Ｖに接近している後続車両Ｖ２の側方に他の後続車両Ｖ３が存在することを認識できる。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用周辺監視装置によれば、自車両Ｖの後方に後続車両が接近していない状況では、車両後方の拡大映像がディスプレイ４に表示されるので、自車両Ｖの運転者に対して車両後方の映像を正しい距離感で把握させることができる。また、本実施形態の車両用周辺監視装置によれば、後続車両が自車両Ｖに接近したことによって後続車両の側方に死角領域が発生している状況では、車両後方および車両後側方の広域映像がディスプレイ４に表示されるので、後続車両の接近による死角発生にも対応させて、必要な情報を自車両Ｖの運転者に提示することができる。
なお、以上説明した第１および第２の実施形態は本発明の一適用例であり、本発明の技術的範囲が以上の各実施形態で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の各実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。
第１実施形態の車両用周辺監視装置の構成を示すブロック図である。 第１実施形態の車両用周辺監視装置が備える車載カメラの配置例を示す図である。 自車両の後方の離れた位置に後続車両が走行している走行シーンを示す模式図である。 図３の走行シーンにおいて３台の車載カメラにより撮影される映像の具体例を示す図であり、（ａ）はリアカメラの撮影映像を示す図、（ｂ）は右サイドカメラの撮影映像を示す図、（ｃ）は左サイドカメラの撮影映像を示す図である。 図４に示した３台の車載カメラの撮影映像を横に並べてディスプレイに表示した場合の映像表示例を示す図である。 図３の走行シーンにおいて自車両のルームミラーに映る車両後方の領域のミラー反射像を示す図である。 第１実施形態の車両用周辺監視装置において、死角領域が発生していない状況でディスプレイに表示される表示用映像の一例を示す図である。 自車両の後方に大型の後続車両が接近している走行シーンを示す模式図である。 図８の走行シーンにおいて車両後方の映像を拡大してディスプレイに表示した場合の映像表示例を示す図である。 第１実施形態の車両用周辺監視装置において、死角領域が発生した状況でディスプレイに表示される表示用映像の一例を示す図である。 第１実施形態の車両用周辺監視装置において、死角領域が発生した状況でディスプレイに表示される表示用映像の他の例を示す図である。 リアカメラの撮影映像を画像処理して自車両に接近している後続車両を検出する手法を説明する図である。 死角領域が発生しているか否かを判定する具体的な手法の一例を説明する図である。 後続車両よりも自車両近傍の位置に二輪車などの障害物が存在する走行シーンを示す模式図である。 図１４の走行シーンにおいてディスプレイに表示される表示用映像を示す図であり、（ａ）はリアカメラで撮影された車両後方の映像の右隣りに右サイドカメラで撮影された死角領域の映像を単純に合成した場合の表示例を示す図、（ｂ）は障害物の存在を確認できる程度にリアカメラで撮影された車両後方の映像範囲を拡大した場合の表示例を示す図、（ｃ）はリアカメラで撮影された車両後方の映像の右隣りに右サイドカメラで撮影された死角領域の映像を合成し、障害物の位置に障害物が存在することを表すアイコンを重畳した場合の表示例を示す図である。 第２実施形態の車両用周辺監視装置の構成を示すブロック図である。 第２実施形態の車両用周辺監視装置が備えるリアカメラの撮影範囲と表示用映像に用いる映像範囲との関係を示す図である。 自車両の後方に大型の後続車両が接近している走行シーンを示す模式図である。 第２実施形態の車両用周辺監視装置において、死角領域が発生した状況でディスプレイに表示される表示用映像の一例を示す図である。
符号の説明
１ リアカメラ
２ 右サイドカメラ
３ 左サイドカメラ
４ ディスプレイ
１０ 映像処理ユニット
１２ 死角判定部
１３ 表示用映像生成部
１４ 映像出力部

Claims (10)

  1. 車両後方および車両後側方を撮影可能な映像撮影手段で撮影した映像を車両内部の映像表示手段に表示する車両用周辺監視装置であって、
    車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、前記死角領域が発生していないと判定した場合は、前記映像撮影手段により撮影された映像から後方映像を切り出し、拡大して前記映像表示手段に表示し、前記死角領域が発生していると判定した場合に、前記映像撮影手段とは異なる視点位置から映像を撮影する他の映像撮影手段で撮影した前記死角領域の後側方映像を、前記映像撮影手段で撮影した後方映像に合成して前記映像表示手段に表示することを特徴とする車両用周辺監視装置。
  2. 車両後方および車両後側方を撮影可能な第１映像撮影手段と、
    前記第１映像撮影手段とは異なる視点位置から映像を撮影する第２映像撮影手段と、
    車両内部に設けられた映像表示手段と、
    車両後方の後続車両の接近によって当該後続車両の側方に前記第１映像撮影手段で撮影できない死角領域が発生しているか否かを判定する判定手段と、
    前記判定手段により前記死角領域が発生していないと判定された場合は、前記第１映像撮影手段により撮影された映像から後方映像を切り出し、拡大して前記映像表示手段に表示させ、前記判定手段により前記死角領域が発生していると判定された場合は、前記第２映像撮影手段により撮影された前記死角領域の後側方映像を、前記第１映像撮影手段により撮影された後方映像に合成して前記映像表示手段に表示させる表示制御手段と、を備えることを特徴とする車両用周辺監視装置。
  3. 前記表示制御手段は、前記判定手段により前記死角領域が発生していると判定された場合に、前記第１映像撮影手段により撮影された後方映像上の前記死角領域となる位置に、前記第２映像撮影手段により撮影された前記死角領域の後側方映像を重畳して、前記映像表示手段に表示させることを特徴とする請求項２に記載の車両用周辺監視装置。
  4. 前記表示制御手段は、前記判定手段により前記死角領域が発生していると判定された場合に、前記第１映像撮影手段により撮影された後方映像の隣りに前記第２映像撮影手段により撮影された前記死角領域の後側方映像を並べて、前記映像表示手段に表示させることを特徴とする請求項２に記載の車両用周辺監視装置。
  5. 前記判定手段は、前記第１映像撮影手段により撮影された映像を解析して前記死角領域が発生しているか否かを判定することを特徴とする請求項２乃至４の何れか１項に記載の車両用周辺監視装置。
  6. 前記後続車両よりも車両近傍の位置に存在する障害物を検知する検知手段をさらに備え、
    前記表示制御手段は、前記判定手段により前記死角領域が発生していると判定され、且つ、前記検知手段により前記障害物が検知された場合は、前記第１映像撮影手段により撮影された後方映像と前記第２映像撮影手段により撮影された後側方映像とを合成するとともに、前記障害物の位置にアイコンを重畳して前記映像表示手段に表示させることを特徴とする請求項２乃至５の何れか１項に記載の車両用周辺監視装置。
  7. 車両後方および車両後側方を撮影可能な映像撮影手段で撮影した映像を車両内部の映像表示手段に表示する車両用周辺監視装置であって、
    車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、前記死角領域が発生していないと判定した場合には、前記映像撮影手段で撮影した映像から車両後方の映像を切り出し、拡大して前記映像表示手段に表示し、前記死角領域が発生していると判定した場合は、前記映像撮影手段で撮影した車両後方の映像に車両後側方の映像を合成して前記映像表示手段に表示することを特徴とする車両用周辺監視装置。
  8. 車両後方および車両後側方を撮影可能な映像撮影手段と、
    車両内部に設けられた映像表示手段と、
    車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定する判定手段と、
    前記判定手段により前記死角領域が発生していないと判定された場合は、前記映像撮影手段により撮影された映像から車両後方の映像を切り出し、拡大して前記映像表示手段に表示させ、前記判定手段により前記死角領域が発生していると判定された場合は、前記映像撮影手段により撮影された車両後方の映像に車両後側方の映像を合成して前記映像表示手段に表示させる表示制御手段と、を備えることを特徴とする車両用周辺監視装置。
  9. 車両後方および車両後側方を撮影可能な映像撮影手段で撮影した映像を車両内部の映像表示手段に表示するに際し、車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、前記死角領域が発生していないと判定した場合は、前記映像撮影手段により撮影された映像から後方映像を切り出し、拡大して前記映像表示手段に表示し、前記死角領域が発生していると判定した場合に、前記映像撮影手段とは異なる視点位置から映像を撮影する他の映像撮影手段で撮影した前記死角領域の後側方映像を、前記映像撮影手段で撮影した後方映像に合成して前記映像表示手段に表示することを特徴とする映像表示方法。
  10. 車両後方および車両後側方を撮影可能な映像撮影手段で撮影した映像を車両内部の映像表示手段に表示するに際し、車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、前記死角領域が発生していないと判定した場合には、前記映像撮影手段で撮影した映像から車両後方の映像を切り出し、拡大して車両内部の映像表示手段に表示し、前記死角領域が発生していると判定した場合には、前記映像撮影手段で撮影した車両後方の映像に車両後側方の映像を合成して前記映像表示手段に表示することを特徴とする映像表示方法。
JP2007249476A 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法 Active JP5347257B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007249476A JP5347257B2 (ja) 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法
US12/202,710 US8058980B2 (en) 2007-09-26 2008-09-02 Vehicle periphery monitoring apparatus and image displaying method
EP08164852A EP2045133B1 (en) 2007-09-26 2008-09-23 Vehicle periphery monitoring apparatus and image displaying method
DE602008001229T DE602008001229D1 (de) 2007-09-26 2008-09-23 Vorrichtung zur Überwachung des Umfelds eines Fahrzeugs und Bildanzeigeverfahren
KR1020080093548A KR100936558B1 (ko) 2007-09-26 2008-09-24 차량용 주변 감시 장치 및 영상 표시 방법
CN2008101683325A CN101396989B (zh) 2007-09-26 2008-09-26 车辆周边监视设备和车辆周边监视方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007249476A JP5347257B2 (ja) 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法

Publications (2)

Publication Number Publication Date
JP2009081666A JP2009081666A (ja) 2009-04-16
JP5347257B2 true JP5347257B2 (ja) 2013-11-20

Family

ID=40364371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007249476A Active JP5347257B2 (ja) 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法

Country Status (6)

Country Link
US (1) US8058980B2 (ja)
EP (1) EP2045133B1 (ja)
JP (1) JP5347257B2 (ja)
KR (1) KR100936558B1 (ja)
CN (1) CN101396989B (ja)
DE (1) DE602008001229D1 (ja)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305444B2 (en) * 2008-11-14 2012-11-06 Toyota Motor Engineering & Manufacturing North America, Inc. Integrated visual display system
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5299688B2 (ja) 2009-06-03 2013-09-25 アイシン精機株式会社 車両周辺監視方法及び車両周辺監視装置
CN101934771B (zh) * 2009-06-29 2012-10-03 财团法人车辆研究测试中心 车辆碰撞警示系统
JP5077307B2 (ja) 2009-08-05 2012-11-21 株式会社デンソー 車両周囲画像表示制御装置
JPWO2011030699A1 (ja) * 2009-09-11 2013-02-07 アイシン精機株式会社 車両周辺監視装置
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
US8606316B2 (en) * 2009-10-21 2013-12-10 Xerox Corporation Portable blind aid device
DE102009050519A1 (de) * 2009-10-23 2011-04-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation
DE102010020201B4 (de) 2009-11-06 2021-08-26 Volkswagen Ag Verfahren und Vorrichtung zur Darstellung der Bilder eines Rückblickkamerasystems eines Kraftfahrzeugs
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
JP5505702B2 (ja) * 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
US10643467B2 (en) * 2010-03-28 2020-05-05 Roadmetric Ltd. System and method for detecting and recording traffic law violation events
US20120229642A1 (en) * 2011-03-10 2012-09-13 Nissan North America, Inc. Vehicle monitoring system
TWI421624B (zh) 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
CN103609101A (zh) * 2011-06-16 2014-02-26 爱信精机株式会社 车辆周边监视装置
JP5862670B2 (ja) * 2011-08-02 2016-02-16 日産自動車株式会社 走行支援装置および走行支援方法
US9415774B2 (en) * 2011-09-22 2016-08-16 Nissan Motor Co., Ltd. Vehicle control apparatus including an obstacle detection device
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
CN102387349B (zh) * 2011-10-31 2014-12-10 深圳市长宇电器有限公司 车载摄像头取得图像的显示方法及装置
US10493916B2 (en) * 2012-02-22 2019-12-03 Magna Electronics Inc. Vehicle camera system with image manipulation
JP5686123B2 (ja) * 2012-09-18 2015-03-18 株式会社デンソー 車両検出装置および警報装置
KR101916467B1 (ko) * 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
DE102012025322B4 (de) * 2012-12-22 2014-08-21 Audi Ag Kraftfahrzeug mit Kamera-Monitor-System
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
KR101322162B1 (ko) 2013-07-09 2013-10-28 한국비전기술(주) 차량 검지시스템을 이용한 차량 검지방법
JP6036601B2 (ja) * 2013-08-09 2016-11-30 株式会社デンソー 画像処理装置及び画像処理方法
KR102092625B1 (ko) * 2013-10-15 2020-04-14 현대모비스 주식회사 차량 상태 경보 방법 및 이를 위한 장치
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
US10963133B2 (en) 2014-01-07 2021-03-30 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10431105B2 (en) * 2014-01-07 2019-10-01 Honeywell International Inc. Enhanced awareness of obstacle proximity
WO2015104860A1 (ja) * 2014-01-10 2015-07-16 アイシン精機株式会社 画像表示制御装置および画像表示システム
EP3550513B1 (en) * 2014-02-26 2021-10-13 NavVis GmbH Method of generating panorama views on a mobile mapping system
WO2016039554A1 (ko) * 2014-09-11 2016-03-17 김철수 비젼 카메라를 이용한 데이터 획득 장치
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
EP3209017B1 (en) * 2014-10-17 2019-12-04 Ricoh Company, Ltd. Vehicle image display system
JP2016092782A (ja) * 2014-11-11 2016-05-23 トヨタ自動車株式会社 車両用視界支援装置
US9649979B2 (en) * 2015-01-29 2017-05-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in view-obstructed environments
DE102015202330A1 (de) * 2015-02-10 2016-08-11 Continental Automotive Gmbh Fahrerassistenzsystem
US20180134217A1 (en) * 2015-05-06 2018-05-17 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
KR101614247B1 (ko) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 파노라마 영상의 접합면 표시장치
US9959765B2 (en) * 2015-07-20 2018-05-01 Dura Operating Llc System and method for providing alert to a vehicle or an advanced driver assist system based on vehicle dynamics input
US20170124881A1 (en) * 2015-10-28 2017-05-04 Velvac Incorporated Blind zone warning for semi-trailer
DE102015223176A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
US20170151909A1 (en) * 2015-11-30 2017-06-01 Razmik Karabed Image processing based dynamically adjusting surveillance system
JP2017114155A (ja) * 2015-12-21 2017-06-29 三菱自動車工業株式会社 運転支援装置
WO2017130439A1 (ja) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 車両用画像表示システム及びその画像表示システムを搭載した車両
JP2017154530A (ja) * 2016-02-29 2017-09-07 株式会社オートネットワーク技術研究所 車載機及び車両保安システム
JP6690312B2 (ja) * 2016-03-09 2020-04-28 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6690311B2 (ja) * 2016-03-09 2020-04-28 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2017154316A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2017154317A1 (ja) 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6575404B2 (ja) * 2016-03-15 2019-09-18 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6919740B2 (ja) * 2016-03-09 2021-08-18 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6690315B2 (ja) * 2016-03-10 2020-04-28 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6313355B2 (ja) * 2016-03-31 2018-04-18 株式会社Ｓｕｂａｒｕ 車両周囲監視装置
US9931981B2 (en) 2016-04-12 2018-04-03 Denso International America, Inc. Methods and systems for blind spot monitoring with rotatable blind spot sensor
US9947226B2 (en) * 2016-04-12 2018-04-17 Denso International America, Inc. Methods and systems for blind spot monitoring with dynamic detection range
US9994151B2 (en) 2016-04-12 2018-06-12 Denso International America, Inc. Methods and systems for blind spot monitoring with adaptive alert zone
US9975480B2 (en) 2016-04-12 2018-05-22 Denso International America, Inc. Methods and systems for blind spot monitoring with adaptive alert zone
JP6511015B2 (ja) * 2016-05-25 2019-05-08 株式会社ミツバ 車両モニタシステム
JP6730615B2 (ja) * 2016-07-12 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CA3029410A1 (en) * 2016-07-13 2018-01-18 Sony Corporation Image generation device, image generation method, and program
JP6706797B2 (ja) * 2016-10-26 2020-06-10 パナソニックＩｐマネジメント株式会社 電子ミラー装置
KR20180060753A (ko) * 2016-11-29 2018-06-07 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
WO2018125898A1 (en) * 2016-12-30 2018-07-05 Gentex Corporation Full display mirror with on-demand spotter view
JP6601422B2 (ja) * 2017-01-11 2019-11-06 トヨタ自動車株式会社 画像表示装置
JP2018116516A (ja) * 2017-01-19 2018-07-26 トヨタ自動車株式会社 車両の注意喚起装置
JP6744236B2 (ja) * 2017-02-08 2020-08-19 トヨタ自動車株式会社 画像表示装置
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP6680254B2 (ja) * 2017-03-22 2020-04-15 トヨタ自動車株式会社 車両用表示制御装置
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
JP7080616B2 (ja) * 2017-10-10 2022-06-06 マツダ株式会社 車両用表示装置
JP6733647B2 (ja) * 2017-12-05 2020-08-05 トヨタ自動車株式会社 画像表示装置
JP2019110390A (ja) * 2017-12-15 2019-07-04 株式会社東海理化電機製作所 車両周辺監視装置
CN111886858B (zh) * 2018-03-15 2022-06-21 株式会社小糸制作所 车辆用影像系统
JP7113348B2 (ja) * 2018-03-15 2022-08-05 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
CN110281846A (zh) * 2018-03-19 2019-09-27 株式会社小糸制作所 图像数据生成装置
JP2019193031A (ja) * 2018-04-23 2019-10-31 シャープ株式会社 車両周辺表示装置
JP7021001B2 (ja) * 2018-05-25 2022-02-16 アルパイン株式会社 画像処理装置および画像処理方法
JP7052632B2 (ja) * 2018-08-10 2022-04-12 トヨタ自動車株式会社 車両用周辺表示装置
US10967792B1 (en) 2018-10-12 2021-04-06 Roger Stafford Apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device
JP7159802B2 (ja) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7279566B2 (ja) 2019-07-26 2023-05-23 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7280006B2 (ja) * 2019-08-06 2023-05-23 アルパイン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
JP2021153286A (ja) * 2020-03-23 2021-09-30 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、画像合成方法
JP7347330B2 (ja) * 2020-05-27 2023-09-20 トヨタ自動車株式会社 車両周辺監視装置
JP7287355B2 (ja) * 2020-06-26 2023-06-06 トヨタ自動車株式会社 車両周辺監視装置
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置
JP2022086263A (ja) * 2020-11-30 2022-06-09 日産自動車株式会社 情報処理装置及び情報処理方法
JP7609176B2 (ja) * 2021-01-29 2025-01-07 日本電気株式会社 車載装置、路面画像の送信方法及びプログラム
KR102670770B1 (ko) * 2021-11-11 2024-05-30 주식회사 에이치엘클레무브 차선변경시 오경고를 방지하는 후측방충돌경고 시스템 및 방법
KR20230174326A (ko) * 2022-06-17 2023-12-28 삼성디스플레이 주식회사 표시 장치, 및 표시 장치를 포함하는 이동 수단의 운행 환경 정보 제공 시스템
JP7816186B2 (ja) * 2023-01-17 2026-02-18 トヨタ自動車株式会社 車両制御装置、車両制御方法及びプログラム
CN119380567A (zh) * 2023-07-25 2025-01-28 华为技术有限公司 驾驶风险的提示方法及装置、车辆
US20250100448A1 (en) * 2023-09-27 2025-03-27 Stoneridge Electronics Ab Camera monitor system with hazardous location warning features
JP2025125411A (ja) * 2024-02-15 2025-08-27 トヨタ自動車株式会社 車載装置及び車載プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3102250B2 (ja) * 1994-02-14 2000-10-23 三菱自動車工業株式会社 車両用周囲情報表示装置
JPH0858470A (ja) * 1994-08-24 1996-03-05 Alpine Electron Inc 後方確認装置
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JPH115501A (ja) * 1997-06-18 1999-01-12 Nissan Motor Co Ltd 車両後側方状況表示装置
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
WO2001085491A1 (en) * 2000-05-08 2001-11-15 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
JP3645196B2 (ja) 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
US7634341B2 (en) * 2001-03-07 2009-12-15 1138037 Ontario Ltd. (“Alirt”) Detecting device and method of using same
JP2002308030A (ja) * 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置
JP2002334322A (ja) 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP2003081014A (ja) * 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US6737964B2 (en) * 2001-11-05 2004-05-18 Ford Global Technologies, Llc Vehicle blind spot monitoring system
JP2004040411A (ja) * 2002-07-02 2004-02-05 Sumitomo Electric Ind Ltd 車外画像表示システム、画像処理装置及び車外画像表示方法
JP2004312523A (ja) * 2003-04-09 2004-11-04 Equos Research Co Ltd 車載画像処理装置
DE10343866A1 (de) 2003-09-23 2005-04-21 Daimler Chrysler Ag Stereokameraanordnung
JP2005328181A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 周囲確認装置
JP4552525B2 (ja) * 2004-06-11 2010-09-29 株式会社エクォス・リサーチ 車両の画像処理装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP4468859B2 (ja) * 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP4720386B2 (ja) 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP4762698B2 (ja) 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
CN101029823B (zh) * 2006-02-28 2010-09-15 东软集团股份有限公司 基于车辆状态分类的车辆跟踪方法和装置
JP2007249476A (ja) 2006-03-15 2007-09-27 Ricoh Co Ltd 情報処理装置および情報処理方法
JP4731392B2 (ja) * 2006-04-26 2011-07-20 アルパイン株式会社 車載周辺状況提示装置
JP4906437B2 (ja) * 2006-08-22 2012-03-28 アルパイン株式会社 周辺監視システム
TWI314115B (en) * 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects

Also Published As

Publication number Publication date
JP2009081666A (ja) 2009-04-16
EP2045133A3 (en) 2009-05-06
US20090079553A1 (en) 2009-03-26
KR100936558B1 (ko) 2010-01-13
US8058980B2 (en) 2011-11-15
EP2045133A2 (en) 2009-04-08
DE602008001229D1 (de) 2010-06-24
CN101396989B (zh) 2010-09-29
EP2045133B1 (en) 2010-05-12
CN101396989A (zh) 2009-04-01
KR20090031997A (ko) 2009-03-31

Similar Documents

Publication Publication Date Title
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
JP5099451B2 (ja) 車両周辺確認装置
US8330816B2 (en) Image processing device
JP5132249B2 (ja) 車載用撮像装置
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP5136071B2 (ja) 車両用後方監視装置および車両後方監視方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP5213063B2 (ja) 車両表示装置および表示方法
JP5093611B2 (ja) 車両周辺確認装置
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP5546321B2 (ja) 複数カメラ画像使用車外表示装置
CN103609101A (zh) 车辆周边监视装置
JP4807104B2 (ja) 車両周囲監視システム及び画像表示方法
TWI533694B (zh) 車用障礙物偵測顯示系統
JP2016168877A (ja) 車両用視認装置
JP4948115B2 (ja) 後方視認装置
JP2005182305A (ja) 車両走行支援装置
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JP4526868B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP5436056B2 (ja) 障害物検出装置および障害物検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130619

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R150 Certificate of patent or registration of utility model

Ref document number: 5347257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150