JP5194679B2 - 車両用周辺監視装置および映像表示方法 - Google Patents

車両用周辺監視装置および映像表示方法 Download PDF

Info

Publication number
JP5194679B2
JP5194679B2 JP2007249472A JP2007249472A JP5194679B2 JP 5194679 B2 JP5194679 B2 JP 5194679B2 JP 2007249472 A JP2007249472 A JP 2007249472A JP 2007249472 A JP2007249472 A JP 2007249472A JP 5194679 B2 JP5194679 B2 JP 5194679B2
Authority
JP
Japan
Prior art keywords
vehicle
video
image
display
rear side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007249472A
Other languages
English (en)
Other versions
JP2009081664A (ja
Inventor
聡 知野見
柳　　拓良
健 赤塚
良宣 中野
勉 川野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2007249472A priority Critical patent/JP5194679B2/ja
Priority to US12/202,640 priority patent/US8144033B2/en
Priority to EP08164851A priority patent/EP2042374B1/en
Priority to DE602008002118T priority patent/DE602008002118D1/de
Priority to KR1020080093592A priority patent/KR100936557B1/ko
Priority to CN2008101683289A priority patent/CN101396988B/zh
Publication of JP2009081664A publication Critical patent/JP2009081664A/ja
Application granted granted Critical
Publication of JP5194679B2 publication Critical patent/JP5194679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Description

本発明は、車両後方および車両後側方の映像を表示して車両運転者に提示する車両用周辺監視装置および映像表示方法に関する。
従来、自動車のルームミラーやドアミラーの死角となる領域の視界を確保しつつ、少ない視線移動で車両後方や車両後側方の状況を車両運転者が的確に把握できるようにするために、車両後方や車両後側方の映像を車載カメラで撮影して、車両内部に設置したディスプレイに表示させることが提案されている（例えば、特許文献１参照。）。
特許文献１には、車両後端部に設置した後方カメラと車両の左右ドアミラーに設置した２台の側方カメラとを用いて、車両後方の映像と車両後側方の映像とをそれぞれ撮影し、これらの映像を横方向に並べて車両内部の１つのディスプレイに表示させるようにした車両用周辺監視装置が記載されている。
特開２００３−８１０１４号公報
ところで、この種の車両用周辺監視装置では、周辺監視の目的からは車両後方および車両後側方のできるだけ広い領域の映像を表示できるようにすることが望まれる。しかしながら、車両内部のディスプレイは表示領域の大きさが限られており、このディスプレイに車両後方および車両後側方の広い領域の映像を並べて表示するには、その分、表示する映像サイズを小さくする必要がある。このため、例えば、車両後方の映像として後続車両を映した映像をディスプレイ上で表示したときに、この後続車両が、ルームミラーで確認する場合と比べて小さく表示され、車両運転者がこの後続車両との距離感を正しく認識できずに実際よりも遠くに存在するものと誤って認識してしまう場合がある。
本発明は、以上のような従来技術の問題点を解消すべく創案されたものであって、車両後方および車両後側方の比較的広い領域の映像を表示しながら、特に注意を要する車両後方の映像に関しては車両運転者が正しい距離感で映像を把握できるようにした車両用周辺監視装置および映像表示方法を提供することを目的としている。
本発明は、車両内部の映像表示手段の横方向中央に位置する表示領域に映像撮影手段で撮影された車両後方の映像を表示するとともに、映像表示手段の横方向の両端側に位置する表示領域に、映像撮影手段で撮影された車両後側方の映像を車両後方の映像よりも横方向と縦方向との双方において圧縮して表示することで、上述した課題を解決する。
本発明によれば、車両後側方の映像を車両後方の映像よりも横方向と縦方向との双方において圧縮して表示するので、映像表示手段の表示領域のうちで、車両後方の映像を表示する領域を大きく取ることができ、映像表示手段の限られた表示領域の中で広い範囲の映像を効率よく表示することができるとともに、車両後方の映像に関しては車両運転者が正しい距離感で映像を把握できるように表示することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
本発明は、車載カメラ（映像撮影手段）で撮影された車両後方および車両後側方の映像を車両内部に設置されたディスプレイ（映像表示手段）に表示する構成の車両用周辺監視装置に適用される。まず、本発明を適用した車両用周辺監視装置の具体的な実施形態の説明に先立ち、ディスプレイに表示する車両後方の映像（以下、後方映像ＰＢという。）と、車両後側方の映像（以下、車両の右側の後側方の映像を右後側方映像ＰＲ、車両の左側の後側方の映像を左後側方映像ＰＬという。）との関係、および、これら後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬを表示するディスプレイの表示領域の構成について、図１乃至図８を参照して説明する。
図１は、本発明を適用した車両用周辺監視装置が搭載される車両（以下、自車両Ｖという。）の運転者が自車両Ｖのルームミラーおよび左右のドアミラーにより確認できる車両後方および車両後側方の領域を表した模式図である。図１中のＡ１で示す領域がルームミラーで確認できる範囲の領域、図１中のＡ２で示す領域が右側のドアミラーで確認できる範囲の領域、図１中のＡ３で示す領域が左側のドアミラーで確認できる範囲の領域である。なお、車両後方および車両後側方の領域をルームミラーおよび左右のドアミラーで確認する場合、実際には車体構造物の陰となって確認できない死角領域が発生するが、ここではこのような死角領域は無視して説明する。また、実際には、ルームミラーおよび左右のドアミラーにより確認できる範囲の領域Ａ１，Ａ２，Ａ３は、ルームミラーや左右のドアミラーの角度と運転者の眼の位置（アイポイント）によって変動するが、ここでは平均的な位置で固定されているものと仮定して説明する。
本発明を適用した車両用周辺監視装置において、ディスプレイに表示する後方映像ＰＢとは、車両の前後軸を車両後方に伸ばした延長線を中心とした所定範囲の領域を映した映像をいい、例えば、自車両Ｖの運転者がルームミラーにより確認できる範囲の車両後方の領域Ａ１の映像をいう。つまり、この後方映像ＰＢは、図１に示すように、自車両Ｖが走行している車線と同じ車線を走行する後続車両Ｖ１や、自車両Ｖよりも約２０ｍ以上後方の隣接車線を走行する後続車両Ｖ２などを確認できる映像である。
また、右後側方映像ＰＲとは、以上のような後方映像ＰＢの対象となる車両後方の領域に隣接した右隣りの領域を映した映像をいい、少なくとも自車両Ｖの運転者が右側ドアミラーにより確認できる範囲の車両右後側方の領域Ａ２を含む領域の映像をいう。つまり、この右後側方映像ＰＲは、図１に示すように、自車両Ｖが走行している車線の右隣りの隣接車線上を自車両Ｖに比較的近い位置で走行している後続車両Ｖ３を確認できる映像である。
また、左後側方映像ＰＬとは、以上のような後方映像ＰＢの対象となる車両後方の領域に隣接した左隣りの領域を映した映像をいい、少なくとも自車両Ｖの運転者が左側ドアミラーにより確認できる範囲の車両左後側方の領域Ａ３を含む領域の映像をいう。つまり、この左後側方映像ＰＬは、図１に示すように、自車両Ｖが走行している車線の左隣りの隣接車線上を自車両Ｖに比較的近い位置で走行している後続車両Ｖ４を確認できる映像である。
なお、後方映像ＰＢの対象となる車両後方の領域は、必ずしも自車両Ｖの運転者がルームミラーにより確認できる範囲の車両後方の領域Ａ１に完全に一致していなくてもよく、領域Ａ１よりも大きめ、あるいは小さめに設定されていてもよい。この場合にも、右後側方映像ＰＲは、後方映像ＰＢとして映す領域の右隣りに隣接した領域の映像となり、左後側方映像ＰＬは、後方映像ＰＢとして映す領域の左隣りに隣接した領域の映像となる。また、右後側方映像ＰＢや左後側方映像ＰＬの映像範囲となる領域の大きさは、少なくとも領域Ａ２，Ａ３を含む大きさに設定すればよいが、右後側方映像ＰＢや左後側方映像ＰＬは、後述するように後方映像ＰＢよりも圧縮してディスプレイに表示するので、この圧縮によって視認性が極端に悪化しない程度の大きさに設定することが望ましい。
ここで、自車両Ｖが走行している車線の自車両Ｖから２ｍ程度後方を後続車両Ｖ１が走行している場合を例に挙げて、後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをディスプレイに表示する手法の概要を説明する。
図２は、ディスプレイの表示領域の一例を示す図であり、図３は、ディスプレイの表示領域のサイズに合わせた映像サイズで後方映像ＰＢと右後側方映像ＰＲと左後側方映像ＰＬとを１つの広角映像として撮影した場合の映像例、図４は、車両後方の様子をルームミラーで確認した場合のミラー反射像である。
自車両Ｖの２ｍ程度後方を後続車両Ｖ１が走行している場合、自車両Ｖの運転者がルームミラーにより車両後方の様子を確認すると、ルームミラーのミラー反射像では、図４に示すように、後続車両Ｖ１が比較的大きなサイズで確認される。このルームミラーのミラー反射像は運転者が普段から見慣れており、このミラー反射像の中の後続車両Ｖ１のサイズから、運転者は後続車両Ｖ１までのおおよその距離を感覚的に認識できる。一方、車両後方および車両後側方の広い領域を、図２に示すディスプレイの表示領域のサイズに合わせて自車両Ｖの後部に設置した車載カメラで広角映像として撮影すると、図３に示すように、その広角映像の中では後続車両Ｖ１が小さなサイズで確認される。この広角映像をそのままディスプレイに表示したのでは、自車両Ｖの運転者が普段から見慣れているルームミラーで後続車両Ｖ１を確認した場合と比べて映像中の後続車両Ｖ１が小さくなりすぎるために、運転者がこの後続車両Ｖ１との距離感を正しく認識できずに、実際よりも遠くに存在するものと誤って認識してしまう。
そこで、本発明を適用した車両用周辺監視装置では、ルームミラーで確認される自車両Ｖの後方を映像範囲とする後方映像ＰＢについては、ルームミラーによるミラー反射像に近い映像表現でディスプレイに表示する。具体的には、例えば、後方映像ＰＢをルームミラーのミラー反射像に対応した映像サイズに変換する。そして、図２に示すように、ディスプレイの横方向中央に比較的広い範囲の表示領域（以下、中央表示領域Ｄ１という。）を取り、このディスプレイの中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズに変換した後方映像ＰＢを表示する。ここで、ルームミラーのミラー反射像に対応した映像サイズとは、必ずしもミラー反射像と一致した大きさの映像サイズを意味するものではなく、ルームミラーのミラー反射像から得られる距離感覚に近い距離感覚が得られる程度の映像サイズであればよい。図２に示した広角映像を用いる場合、この広角映像の中から後方映像ＰＢに相当する映像部分を切り出して、これをルームミラーのミラー反射像から得られる距離感覚に近い距離感覚が得られる大きさの映像サイズに拡大した上で、ディスプレイの中央表示領域Ｄ１に表示する。
また、ディスプレイの限られた表示領域の中で後方映像ＰＢのほかに右後側方映像ＰＲと左後側方映像ＰＬも表示できるようにするために、右後側方映像ＰＲと左後側方映像ＰＬについては、後方映像ＰＢよりも圧縮した映像として、ディスプレイの中央表示領域Ｄ１の外側（横方向の両端側）に位置する表示領域（以下、外側表示領域Ｄ２，Ｄ３という。）に表示する。
ここで、ディスプレイに表示する映像をルームミラーや左右のドアミラーのミラー反射像に合わせた映像表現とする場合は、車載カメラの撮影映像を左右反転して使用する。つまり、ルームミラーや左右のドアミラーのミラー反射像は、車載カメラの撮影方向で見た場合（運転者が車両後方を振り返って見た場合に相当）と比べると、左右反転した映像となる。したがって、車載カメラで撮影された映像を左右反転してミラー反射像に合わせ、ディスプレイの中央表示領域Ｄ１に後方映像ＰＢ、中央表示領域Ｄ１よりも右側に位置する外側表示領域Ｄ２に右後側方映像ＰＲ、中央表示領域Ｄ１よりも左側に位置する外側表示領域Ｄ３に左後側方映像ＰＬをそれぞれ表示する。なお、ディスプレイに表示する映像を車載カメラの撮影方向に合わせた映像表現とする場合には、車載カメラで撮影された映像を左右反転せずに、右後側方映像ＰＲを左側の外側表示領域Ｄ３に表示し、左後側方映像ＰＬを右側の外側表示領域Ｄ２に表示すればよい。
本発明を適用した車両用周辺監視装置による映像表示例を図５に示す。本発明を適用した車両用周辺監視装置では、以上のように、ディスプレイの中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズで後方映像ＰＢを表示するとともに、ディスプレイの外側表示領域Ｄ２，Ｄ３に、右後側方映像ＰＲと左後側方映像ＰＬとを後方映像ＰＢよりも圧縮して表示する。これにより、図５に示すように、ディスプレイの限られた表示領域の中で、広い範囲の映像を効率よく表示することができるとともに、後方映像ＰＢに関しては車両運転者が正しい距離感で映像を把握できるように表示することが可能となる。
なお、図５に示した表示例は、右後側方映像ＰＲと左後側方映像ＰＬを横方向のみに圧縮した例であるが、右後側方映像ＰＲと左後側方映像ＰＬの圧縮は横方向と縦方向の双方で行うようにしてもよい。この場合には、図６に示すように、右後側方映像ＰＲと左後側方映像ＰＬの歪みを抑えて映像としての違和感を低減できる。また、右後側方映像ＰＲおよび左後側方映像ＰＬの横方向の圧縮は、一定の圧縮率で行うようにしてもよいが、後方映像ＰＢに隣接する内側から外側に向かって徐々に圧縮率が高くなるようにすれば、後方映像ＰＢとの間で映像としての連続性もある程度確保することが可能となる。
また、ディスプレイの中央表示領域Ｄ１の縦横比がルームミラーの縦横比と異なり、中央表示領域Ｄ１の横方向サイズに対して縦方向サイズが大きい場合、例えば図７に示すように、中央表示領域Ｄ１に表示する後方映像ＰＢ上にルームミラーの形状に対応した枠図形Ｆを重畳するなどの手法で、ルームミラーによるミラー反射像に相当する映像範囲を運転者に認識させるようにすることも有効である。これにより、後方映像ＰＢから得られる距離感覚をルームミラーのミラー反射像から得られる距離間隔により近づけることができる。
また、以上説明した例では、後方映像ＰＢをルームミラーのミラー反射像に対応した映像サイズとすることで、ルームミラーによるミラー反射像に近い映像表現を実現しているが、後方映像ＰＢを表示するディスプレイの中央表示領域Ｄ１のサイズがルームミラーのサイズと大きく異なる場合には、例えば図８に示すように、ルームミラーによるミラー反射像に相当する映像範囲のみをルームミラーと同じ縦横比で中央表示領域Ｄ１のサイズに合わせて変換して中央表示領域Ｄ１に表示することで、ルームミラーによるミラー反射像に近い映像表現を実現するようにしてもよい。この場合にも、右後側方映像ＰＲおよび左後側方映像ＰＬについては、後方映像ＰＢよりも圧縮して外側表示領域Ｄ２，Ｄ３に表示することで、広い範囲の映像を効率よく表示することが可能となる。
次に、本発明を適用した車両用周辺監視装置の具体的な実施形態として、３台の車載カメラを備える車両用周辺監視装置に対して本発明を適用した例（第１実施形態）と、単一の車載カメラを備える車両用周辺監視装置に対して本発明を適用した例（第２実施形態）とについて、具体的に説明する。
［第１実施形態］
図９は、第１実施形態の車両用周辺監視装置の構成を示すブロック図であり、図１０は、第１実施形態の車両用周辺監視装置が備える車載カメラの配置例を示す図である。第１実施形態の車両用周辺監視装置は、車両後方および車両後側方の映像を撮影する映像撮影手段として、自車両Ｖの後部に設置されたリアカメラ（後方カメラ）１と、自車両Ｖの右側部に設置された右サイドカメラ（側方カメラ）２と、自車両Ｖの左側部に設置された左サイドカメラ（側方カメラ）３の３台の車載カメラを備えている。また、この車両用周辺監視装置は、これら３台の車載カメラ１，２，３の撮影映像から表示用の映像を生成する映像処理ユニット１０と、中央表示領域Ｄ１およびその左右の外側表示領域Ｄ２，Ｄ３を有し、映像処理ユニット１０で生成された表示用映像を表示するディスプレイ（映像表示手段）４とを備えている。
リアカメラ１は、例えばルーフスポイラーなどの車両後部の所定位置に設置されている。このリアカメラ１では、例えば図１０中Ｂ１で示す自車両Ｖの後方の比較的広い領域（以下、この領域を後方撮影領域Ｂ１という。）の映像を撮影することが可能とされている。上述した後方映像ＰＢの映像範囲となる領域Ａ１は、このリアカメラ１の撮影対象となる後方撮影領域Ｂ１の一部である。つまり、後方映像ＰＢは、このリアカメラ１の撮影映像からその一部を切り出すことで得られる映像である。
また、右サイドカメラ２は、例えば右側ドアミラーなどの車両右側部の所定位置に設置されている。この右サイドカメラ２では、例えば図１０中Ｂ２で示す自車両Ｖの右側方から自車両Ｖ後方にかけての比較的広い領域（以下、この領域を右側撮影領域Ｂ２という。）の映像を撮影することが可能とされている。上述した右後側方映像ＰＲの映像範囲となる領域は、この右サイドカメラ２の撮影対象となる右側撮影領域Ｂ２の一部である。つまり、右後側方映像ＰＲは、この右サイドカメラ２の撮影映像からその一部を切り出すことで得られる映像である。
また、左サイドカメラ３は、例えば左側ドアミラーなどの車両左側部の所定位置に設置されている。この左サイドカメラ３では、例えば図１０中Ｂ３で示す自車両Ｖの左側方から自車両Ｖ後方にかけての比較的広い領域（以下、この領域を左側撮影領域Ｂ３という。）の映像を撮影することが可能とされている。上述した左後側方映像ＰＬの映像範囲となる領域は、この左サイドカメラ３の撮影対象となる左側撮影領域Ｂ３の一部である。つまり、左後側方映像ＰＬは、この左サイドカメラ３の撮影映像からその一部を切り出すことで得られる映像である。
これら３台の車載カメラ１，２，３は、それぞれ、レンズおよび受光素子で構成される光学系を持ち、レンズを通して入射される光をＣＣＤやＣＭＯＳなどの受光素子で受光して電気信号に変換し、撮影した映像を画素ごとに数値化した映像信号として出力する。これら３台の車載カメラ１，２，３から出力された映像信号は、映像処理ユニット１０に入力される。
映像処理ユニット１０は、３台の車載カメラ１，２，３からの映像信号を処理してディスプレイ４に表示する表示用映像を生成するものであり、図９に示すように、映像入力部１１と、第１映像変換部１２と、第２映像変換部１３と、映像合成・出力部１４とを備えて構成される。
映像入力部１１は、３台の車載カメラ１，２，３で撮影された映像をそれぞれ入力するものであり、ＲＡＭにより構成される３つの入力映像フレームメモリ２１，２２，２３を備えている。入力映像フレームメモリ２１はリアカメラ１に対応したフレームメモリ、入力映像フレームメモリ２２は右サイドカメラ２に対応したフレームメモリ、入力映像フレームメモリ２３は左サイドカメラ３に対応したフレームメモリである。リアカメラ１、右サイドカメラ２、左サイドカメラ３で撮影された映像は、それぞれ入力映像フレームのサイズに合わせてデジタル化され、フレーム単位で入力映像フレームメモリ２１，２２，２３に各々格納される。
第１映像変換部１２は、リアカメラ１で撮影された後方撮影領域Ｂ１の映像から後方映像ＰＢとなる映像部分を切り出して、これを自車両Ｖの運転者がルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換するものであり、演算部２４と、後方映像フレームメモリ２５とを備えている。
第１映像変換部１２の演算部２４は、映像入力部１１の入力映像フレームメモリ２１にフレーム単位で格納されたリアカメラ１の撮影映像のピクセルデータを、定義テーブルに従って後方映像フレームメモリ２５の各ピクセルに再配置することで、リアカメラ１の撮影映像から後方映像ＰＢを生成する。ここで、後方映像ＰＢはリアカメラ１の撮影映像の一部を切り出した映像であるため、車両運転者が自車両Ｖのルームミラーで視認する車両後方のミラー反射像に比べて、映像サイズが小さくなっている場合が多い。このような場合には、リアカメラ１の撮影映像から切り出した映像を、ルームミラーによるミラー反射像に対応した映像サイズにまで拡大する。
このようなリアカメラ１の撮影映像と後方映像ＰＢとの関係は定義テーブルに記載されている。つまり、定義テーブルは、後方映像フレームメモリ２５に格納する各ピクセルが、入力映像フレームメモリ２１の座標系（カメラ座標系）のどの場所に対応するかの対応関係を規定している。ここで、後方映像フレームメモリ２５の各ピクセルが対応する入力映像フレームメモリ２１の座標系での場所は必ずしも整数値ではなく、映像サイズを拡大する場合にはピクセルとピクセルの間である実数値をとる場合がある。この場合は、例えばニアレストネイバ法やバイリニア法、バイキュービック法などの既知の映像補間方法によりピクセルの補間を行う。
第２映像変換部１３は、右サイドカメラ２で撮影された右側撮影領域Ｂ２の映像から右後側方映像ＰＲとなる映像部分を切り出すとともに、左サイドカメラ３で撮影された左側撮影領域Ｂ３の映像から左後側方映像ＰＬとなる映像部分を切り出して、これら切り出した映像を後方映像ＰＢよりも圧縮した映像に変換するものであり、右後側方映像ＰＲに対応した演算部２６と右後側方映像フレームメモリ２７、左後側方映像ＰＬに対応した演算部２８と左後側方映像フレームメモリ２９を備えている。
右後側方映像ＰＲに対応した演算部２６は、映像入力部１１の入力映像フレームメモリ２２にフレーム単位で格納された右サイドカメラ２の撮影映像のピクセルデータを、定義テーブルに従って右後側方映像フレームメモリ２７の各ピクセルに再配置することで、右サイドカメラ２の撮影映像から右後側方映像ＰＲを生成する。このとき、右後側方映像ＰＲは、後方映像ＰＢと比較して、少なくとも横方向に圧縮された映像とする。この映像の圧縮は、右後側方映像フレームメモリ２７の各ピクセルと入力映像フレームメモリ２２の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。
また、左後側方映像ＰＬに対応した演算部２８は、映像入力部１１の入力映像フレームメモリ２３にフレーム単位で格納された左サイドカメラ３の撮影映像のピクセルデータを、定義テーブルに従って左後側方映像フレームメモリ２９の各ピクセルに再配置することで、左サイドカメラ３の撮影映像から右後側方映像ＰＬを生成する。このとき、左後側方映像ＰＬも右後側方画像ＰＲと同様に、後方映像ＰＢと比較して、少なくとも横方向に圧縮された映像とする。この映像の圧縮は、左後側方映像フレームメモリ２９の各ピクセルと入力映像フレームメモリ２３の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。
映像合成・出力部１４は、第１映像変換部１２で生成された後方映像ＰＢと、第２映像変換部１３で生成された右後側方映像ＰＲおよび左後側方映像ＰＬとを合成し、１つの表示用映像としてディスプレイ４に出力するものであり、演算部３０と、出力映像フレームメモリ３１とを備えている。
映像合成・出力部１４の演算部３０は、第１映像変換部１２の後方映像フレームメモリ２５に格納された後方映像ＰＢのピクセルデータと、第２映像変換部１３の右後側方映像フレームメモリ２７に格納された右後側方映像ＰＲのピクセルデータと、第２映像変換部１３の左後側方映像フレームメモリ２９に格納された左後側方映像ＰＬのピクセルデータとを、映像合成定義テーブルに従って出力映像フレームメモリ３１に再配置することで、これら後方映像ＰＢと右後側方映像ＰＲと左後側方映像ＰＬとを合成した１つの表示用映像を生成する。映像合成定義テーブルは、ディスプレイ４の表示領域のレイアウト、すなわちディスプレイ４の中央表示領域Ｄ１および外側表示領域Ｄ２，Ｄ３に対応する出力映像フレームメモリ３１の各ピクセルが、後方映像フレームメモリ２５、右後側方映像フレームメモリ２７、左後側方映像フレームメモリ２９のどのフレームメモリのどの場所に対応するかの対応関係を規定している。この映像合成定義テーブルに従ったピクセルの再配置により、後方映像ＰＢの左右両側に右後側方映像ＰＲと左後側方映像ＰＬとが並んだ表示用映像が生成され、出力映像フレームメモリ３１に格納される。
映像合成・出力部１４の出力映像フレームメモリ３１に格納された表示用映像の映像データは、ディスプレイ４に随時出力される。これにより、ディスプレイ４には、図５に例示したように、後方映像ＰＢの左右両側に右後側方映像ＰＲと左後側方映像ＰＬとが並んだ表示用映像が表示される。つまり、ディスプレイ４の横方向中央に位置する中央表示領域Ｄ１には、後方映像ＰＢがルームミラーのミラー反射像に対応する映像サイズで表示され、横方向の両端側に位置する外側表示領域Ｄ２，Ｄ３には、右後側方映像ＰＲと左後側方映像ＰＬとがそれぞれ後方映像ＰＢよりも圧縮された映像として表示される。
なお、図６に示したように、右後側方映像ＰＲおよび左後側方映像ＰＬを横方向と縦方向との双方で圧縮した映像として表示する場合には、映像処理ユニット１０の第２映像変換部１３の演算部２６，２８が使用する定義テーブルを変更して、入力映像フレームメモリ２２，２３のピクセルデータを右後側方映像フレームメモリ２７、左後側方映像フレームメモリ２９に再配置する際に、ピクセルデータの間引きが映像の縦方向に対しても行われるようにすればよい。
また、図７に示したように、後方映像ＰＢにルームミラーの形状に対応した枠図形Ｆを重畳して表示する場合には、映像合成・出力部１４の演算部３１が出力映像フレームメモリ３１に表示用映像の映像データを格納した際に、後方映像ＰＢ上でルームミラーの視野範囲の境界となる位置に対して、予め記憶させておいたルームミラーの形状に対応した枠図形Ｆを重畳するようにすればよい。
また、図８に示したように、後方映像ＰＢをルームミラーと同じ縦横比で表示する場合には、第１映像変換部１２の演算部２４が使用する定義テーブルを変更して、ルームミラーのミラー反射像に相当する映像範囲のピクセルデータのみが入力映像フレームメモリ２１から取り出されて、後方映像フレームメモリ２５に再配置されるようにすればよい。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用周辺監視装置によれば、ディスプレイ４の横方向中央に位置する比較的広い中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズで後方映像ＰＢが表示され、中央表示領域Ｄ１の外側に位置する外側表示領域Ｄ２，Ｄ３に右後側方映像ＰＲと左後側方映像ＰＬとが後方映像ＰＢよりも圧縮した映像として表示されるので、ディスプレイ４の限られた表示領域の中で自車両Ｖの後方および後側方の広い範囲の映像を効率よく表示することができるとともに、自車両Ｖの後方の後方映像ＰＢに関しては、自車両Ｖの運転者が正しい距離感で映像を把握できるように表示することができる。
［第２実施形態］
図１１は、第２実施形態の車両用周辺監視装置の構成を示すブロック図であり、図１２は、第２実施形態の車両用周辺監視装置が備える車載カメラの配置例を示す図である。第２実施形態の車両用周辺監視装置では、自車両Ｖの後部に設置された単一の車載カメラ（広角リアカメラ４１）により車両後方および車両後側方の映像を撮影する。また、表示用の映像を生成する映像処理ユニット１０は、映像入力部１１に、入力映像フレームメモリ２１，２２，２３に代えて、広角リアカメラ４１に対応した入力映像フレームメモリ４２が設けられている。その他の構成は上述した第１実施形態と同様であるので、以下、第１実施形態と同様の構成については同一の符号を用いて説明する。
広角リアカメラ４１は、第１実施形態で説明したリアカメラ１と同様に、例えばルーフスポイラーなどの車両後部の所定位置に設置されている。この広角リアカメラ４１では、例えば図１２中Ｃ１で示す自車両Ｖの後方および後側方の広い領域（以下、この領域を広角撮影領域Ｃ１という。）の広角映像を撮影することが可能とされている。上述した後方映像ＰＢの映像範囲となる領域Ａ１と、右後側方映像ＰＲおよび左後側方映像ＰＬの映像範囲となる領域Ａ２，Ａ３は、この広角リアカメラ４１の撮影対象となる広角撮影領域Ｃ１の一部である。つまり、後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬは、この広角リアカメラ４１の撮影映像からその一部を切り出すことで得られる映像である。
この広角リアカメラ４１は、レンズおよび受光素子で構成される光学系を持ち、レンズを通して入射される光をＣＣＤやＣＭＯＳなどの受光素子で受光して電気信号に変換し、撮影した映像を画素ごとに数値化した映像信号として出力する。この広角リアカメラ１で撮影された映像はデジタル化され、フレーム単位で映像処理ユニット１０の映像入力部１１に設けられた入力映像フレームメモリ４２に格納される。
映像処理ユニット１０の第１映像変換部１２は、第１実施形態で説明した第１映像変換部１２と同様に、演算部２４と後方映像フレームメモリ２５とを備え、広角リアカメラ４１で撮影されて入力映像フレームメモリ４２に格納された広角撮影領域Ｃ１の映像から後方映像ＰＢとなる映像部分を切り出して、これを自車両Ｖの運転者がルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換する。第１映像変換部１２の演算部２４による処理は、広角リアカメラ４１で撮影された広角撮影領域Ｃ１の映像から後方映像ＰＢとなる映像部分を切り出すようにしている以外は、上述した第１実施形態と同様であるので、詳細な説明を省略する。
第２映像変換部１３は、第１実施形態で説明した第２映像変換部１３と同様に、演算部２６，２８と、右後側方映像フレームメモリ２７と、左後側方映像フレームメモリ２９とを備え、広角リアカメラ４１で撮影されて入力映像フレームメモリ４２に格納された広角撮影領域Ｃ１の映像から右後側方映像ＰＲとなる映像部分と左後側方映像ＰＬとなる映像部分とを切り出して、これら切り出した映像を後方映像ＰＢよりも圧縮した映像に変換する。第２映像変換部１２の演算部２６，２８による処理は、広角リアカメラ４１で撮影された広角撮影領域Ｃ１の映像から右後側方映像ＰＲとなる映像部分および左後側方映像ＰＬとなる映像部分を切り出すようにしている以外は、上述した第１実施形態と同様であるので、詳細な説明を省略する。
映像合成・出力部１４は、第１実施形態で説明した映像合成・出力部１４と同様に、演算部３０と出力映像フレームメモリ３１とを備え、第１映像変換部１２で生成された後方映像ＰＢと、第２映像変換部１３で生成された右後側方映像ＰＲおよび左後側方映像ＰＬとを合成し、１つの表示用映像としてディスプレイ４に出力する。これにより、ディスプレイ４には、図５に例示したように、後方映像ＰＢの左右両側に右後側方映像ＰＲと左後側方映像ＰＬとが並んだ表示用映像が表示される。つまり、ディスプレイ４の横方向中央に位置する中央表示領域Ｄ１には、後方映像ＰＢがルームミラーのミラー反射像に対応する映像サイズで表示され、横方向の両端側に位置する外側表示領域Ｄ２，Ｄ３には、右後側方映像ＰＲと左後側方映像ＰＬとがそれぞれ後方映像ＰＢよりも圧縮された映像として表示される。
なお、図６に示したように、右後側方映像ＰＲおよび左後側方映像ＰＬを横方向と縦方向との双方で圧縮した映像として表示する場合には、第１の実施形態と同様に、映像処理ユニット１０の第２映像変換部１３の演算部２６，２８が使用する定義テーブルを変更して、入力映像フレームメモリ２２，２３のピクセルデータを右後側方映像フレームメモリ２７、左後側方映像フレームメモリ２９に再配置する際に、ピクセルデータの間引きが映像の縦方向に対しても行われるようにすればよい。
また、図７に示したように、後方映像ＰＢにルームミラーの形状に対応した枠図形を重畳して表示する場合には、第１の実施形態と同様に、映像合成・出力部１４の演算部３１が出力映像フレームメモリ３１に表示用映像の映像データを格納した際に、後方映像ＰＢ上でルームミラーの視野範囲の境界となる位置に対して、予め記憶させておいたルームミラーの形状に対応した枠図形を重畳するようにすればよい。
また、図８に示したように、後方映像ＰＢをルームミラーと同じ縦横比で表示する場合には、第１の実施形態と同様に、第１映像変換部１２の演算部２４が使用する定義テーブルを変更して、ルームミラーのミラー反射像に相当する映像範囲のピクセルデータのみが入力映像フレームメモリ２１から取り出されて、後方映像フレームメモリ２５に再配置されるようにすればよい。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用周辺監視装置によれば、ディスプレイ４の横方向中央に位置する比較的広い中央表示領域Ｄ１に、ルームミラーのミラー反射像に対応した映像サイズで後方映像ＰＢが表示され、中央表示領域Ｄ１の外側に位置する外側表示領域Ｄ２，Ｄ３に右後側方映像ＰＲと左後側方映像ＰＬとが後方映像ＰＢよりも圧縮した映像として表示されるので、ディスプレイ４の限られた表示領域の中で自車両Ｖの後方および後側方の広い範囲の映像を効率よく表示することができるとともに、自車両Ｖの後方の後方映像ＰＢに関しては、自車両Ｖの運転者が正しい距離感で映像を把握できるように表示することができる。
以上、本発明を適用した車両用周辺監視装置の具体例として第１および第２の実施形態を例示して説明したが、以上の各実施形態は本発明の一適用例であり、本発明の技術的範囲が以上の各実施形態で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の各実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。
例えば、以上の各実施形態では、映像撮影手段である車載カメラ１，２，３あるいは広角リアカメラ４１で撮影した映像を映像処理ユニット１０で処理することによって後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをそれぞれ生成するようにしているが、映像撮影手段側で後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをそれぞれ生成し、映像処理ユニット１０ではこれらを単純に合成して表示用映像を生成するといった変形も可能である。例えば、第１実施形態の構成の場合には、３つの車載カメラ１，２，３にそれぞれズーム機能を持たせて、各車載カメラ１，２，３ごとに個別にズーム調整を行うことで、後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをそれぞれ生成することも可能である。また、第２実施形態の構成の場合には、広角リアカメラ４１の撮影映像を３つの領域に分け、各領域ごとに映像の拡大、圧縮の処理を広角リアカメラ４１の内部処理として実行することで、後方映像ＰＢ、右後側方映像ＰＲ、左後側方映像ＰＬをそれぞれ生成することも可能である。
ルームミラーおよび左右のドアミラーにより確認できる車両後方および車両後側方の領域を表した模式図である。 車両内部の映像表示手段（ディスプレイ）の表示領域の一例を示す図である。 映像表示手段（ディスプレイ）の表示領域のサイズに合わせた映像サイズで後方映像ＰＢと右後側方映像ＰＲと左後側方映像ＰＬとを１つの広角映像として撮影した場合の映像例を示す図である。 車両後方の様子をルームミラーで確認した場合のミラー反射像を示す図である。 本発明を適用した車両用周辺監視装置において、映像表示手段（ディスプレイ）に表示される映像の一表示例を示す図である。 映像表示手段（ディスプレイ）に表示される映像の他の表示例を示す図である。 映像表示手段（ディスプレイ）に表示される映像のさらに他の表示例を示す図である。 映像表示手段（ディスプレイ）に表示される映像のさらに他の表示例を示す図である。 第１実施形態の車両用周辺監視装置の構成を示すブロック図である。 第１実施形態の車両用周辺監視装置が備える映像撮影手段（車載カメラ）の配置例を示す図である。 第２実施形態の車両用周辺監視装置の構成を示すブロック図である。 第２実施形態の車両用周辺監視装置が備える映像撮影手段（車載カメラ）の配置例を示す図である。
符号の説明
１ リアカメラ
２ 右サイドカメラ
３ 左サイドカメラ
４ ディスプレイ
１０ 映像処理ユニット
１２ 第１映像変換部
１３ 第２映像変換部
１４ 映像合成・出力部
４１ 広角リアカメラ
Ｄ１ 中央表示領域
Ｄ２，Ｄ３ 外側表示領域
ＰＢ 後方映像
ＰＲ 右後側方映像
ＰＬ 左後側方映像

Claims (13)

  1. 映像撮影手段で撮影された車両後方および車両後側方の映像を車両内部の映像表示手段に表示する車両用周辺監視装置であって、
    前記映像表示手段の横方向中央に位置する表示領域に前記車両後方の映像を表示するとともに、前記映像表示手段の横方向の両端側に位置する表示領域に、前記車両後側方の映像を前記車両後方の映像よりも横方向と縦方向との双方において圧縮して表示することを特徴とする車両用周辺監視装置。
  2. 車両後方および車両後側方の映像を撮影する映像撮影手段と、
    前記映像撮影手段により撮影された車両後方の映像と車両後側方の映像とをそれぞれ変換処理する映像処理手段と、
    横方向中央に位置する中央表示領域と、横方向の両端側に位置する外側表示領域とを有し、前記中央表示領域に前記映像処理手段で変換された車両後方の映像を表示するとともに、前記外側表示領域に、前記映像処理手段で前記車両後方の映像よりも横方向と縦方向との双方において圧縮された映像に変換された前記車両後側方の映像を表示する映像表示手段と、を備えることを特徴とする車両用周辺監視装置。
  3. 前記映像処理手段は、前記車両後方の映像の映像サイズを、前記中央表示領域の映像サイズに変換することを特徴とする請求項２に記載の車両用周辺監視装置。
  4. 前記映像処理手段は、
    前記映像撮影手段により撮影された車両後方の映像を車両運転者が車両のルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換する第１映像変換部と、 前記映像撮影手段により撮影された車両後側方の映像を、前記第１映像変換部で変換された車両後方の映像よりも横方向と縦方向との双方において圧縮された映像に変換する第２映像変換部と、
    前記第１映像変換部で変換された車両後方の映像と、前記第２映像変換部で変換された車両後側方の映像とを合成して、前記映像表示手段に表示される表示映像を生成する映像合成部と、を有することを特徴とする請求項２に記載の車両用周辺監視装置。
  5. 前記映像処理手段は、前記車両後方の映像の一部を前記中央表示領域の映像サイズに切り出すことを特徴とする請求項２に記載の車両用周辺監視装置。
  6. 前記映像処理手段の第１映像変換部は、前記映像撮影手段により撮影された車両後方の映像の一部を切り出して、この切り出した映像を、車両運転者が車両のルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換することを特徴とする請求項４に記載の車両用周辺監視装置。
  7. 前記映像処理手段は、前記車両後方の映像を拡大することを特徴とする請求項３又は請求項５に記載の車両用周辺監視装置。
  8. 前記映像処理手段の第１映像変換部は、前記映像撮影手段により撮影された車両後方の映像から切り出した一部の映像を拡大して、車両運転者が車両のルームミラーで視認する車両後方のミラー反射像に対応した映像サイズとすることを特徴とする請求項６に記載の車両用周辺監視装置。
  9. 前記映像撮影手段は、
    車両後部から前記車両後方の映像を撮影する後方カメラと、
    車両側部から前記車両後側方の映像を撮影する側方カメラと、からなることを特徴とする請求項１乃至８の何れか１項に記載の車両用周辺監視装置。
  10. 前記側方カメラは、車両のドアミラーに設置されていることを特徴とする請求項９に記載の車両用周辺監視装置。
  11. 前記後方カメラは、車両の後部の所定位置に設置されていることを特徴とする請求項９に記載の車両用周辺監視装置。
  12. 前記映像撮影手段は、単一のカメラからなることを特徴とする請求項１乃至８の何れか１項に記載の車両用周辺監視装置。
  13. 車両内部の映像表示手段の横方向中央に位置する表示領域に映像撮影手段で撮影された車両後方の映像を表示するとともに、映像表示手段の横方向の両端側に位置する表示領域に、映像撮影手段で撮影された車両後側方の映像を車両後方の映像よりも横方向と縦方向との双方において圧縮して表示することを特徴とする映像表示方法。
JP2007249472A 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法 Active JP5194679B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007249472A JP5194679B2 (ja) 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法
US12/202,640 US8144033B2 (en) 2007-09-26 2008-09-02 Vehicle periphery monitoring apparatus and image displaying method
EP08164851A EP2042374B1 (en) 2007-09-26 2008-09-23 Vehicle periphery monitoring apparatus and image displaying method
DE602008002118T DE602008002118D1 (de) 2007-09-26 2008-09-23 Vorrichtung zur Überwachung des Umfelds eines Fahrzeugs und Bildanzeigeverfahren
KR1020080093592A KR100936557B1 (ko) 2007-09-26 2008-09-24 차량용 주변 감시 장치 및 영상 표시 방법
CN2008101683289A CN101396988B (zh) 2007-09-26 2008-09-26 车辆周边监视设备和车辆周边监视方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007249472A JP5194679B2 (ja) 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012097431A Division JP5321711B2 (ja) 2012-04-23 2012-04-23 車両用周辺監視装置および映像表示方法

Publications (2)

Publication Number Publication Date
JP2009081664A JP2009081664A (ja) 2009-04-16
JP5194679B2 true JP5194679B2 (ja) 2013-05-08

Family

ID=40229891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007249472A Active JP5194679B2 (ja) 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法

Country Status (6)

Country Link
US (1) US8144033B2 (ja)
EP (1) EP2042374B1 (ja)
JP (1) JP5194679B2 (ja)
KR (1) KR100936557B1 (ja)
CN (1) CN101396988B (ja)
DE (1) DE602008002118D1 (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US7855755B2 (en) 2005-11-01 2010-12-21 Donnelly Corporation Interior rearview mirror assembly with display
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
WO2006124682A2 (en) 2005-05-16 2006-11-23 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
AU2003237424A1 (en) 2002-06-06 2003-12-22 Donnelly Corporation Interior rearview mirror system with compass
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
WO2004103772A2 (en) 2003-05-19 2004-12-02 Donnelly Corporation Mirror assembly for vehicle
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
AU2003278863A1 (en) 2002-09-20 2004-04-08 Donnelly Corporation Mirror reflective element assembly
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
JP5316783B2 (ja) 2008-05-15 2013-10-16 株式会社リコー 面発光レーザ素子、面発光レーザアレイ、光走査装置及び画像形成装置
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
US20100225461A1 (en) * 2009-03-05 2010-09-09 Raja Singh Tuli Apparatus and method for detection of a specified audio signal or gesture
JP4860739B2 (ja) * 2009-09-03 2012-01-25 パナソニック株式会社 画像処理装置及び画像処理方法
EP2476588B1 (en) * 2009-09-11 2014-07-30 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitor apparatus
DE102009057553A1 (de) * 2009-12-09 2011-06-16 Conti Temic Microelectronic Gmbh Verfahren zur Unterstützung des Fahrers eines straßengebundenen Fahrzeugs bei der Fahrzeugführung
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
US8872887B2 (en) * 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
JP5574789B2 (ja) * 2010-04-08 2014-08-20 株式会社東芝 車両周辺監視装置及び車両周辺監視方法
WO2011132388A1 (ja) * 2010-04-19 2011-10-27 本田技研工業株式会社 車両の周辺監視装置
US9177212B2 (en) 2010-06-15 2015-11-03 Conti Temic Microelectronic Gmbh Method for combining a road sign recognition system and a lane detection system of a motor vehicle
JP5316550B2 (ja) * 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム
JP5277272B2 (ja) * 2011-03-04 2013-08-28 株式会社ホンダアクセス 車両後方監視装置
US20120229642A1 (en) * 2011-03-10 2012-09-13 Nissan North America, Inc. Vehicle monitoring system
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
JP2012222664A (ja) * 2011-04-11 2012-11-12 Honda Elesys Co Ltd 車載カメラシステム
JP2013007921A (ja) * 2011-06-24 2013-01-10 Sony Corp 音制御装置、プログラム及び制御方法
JP5741321B2 (ja) * 2011-08-23 2015-07-01 株式会社富士通ゼネラル 運転支援装置
US8493459B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
JP6077210B2 (ja) 2011-12-22 2017-02-08 トヨタ自動車株式会社 車両用後方監視装置
US9183751B2 (en) * 2012-02-14 2015-11-10 Nissan Motor Co., Ltd. Travel control device and travel control method
WO2013126715A2 (en) * 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
US10457209B2 (en) * 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
JP6136114B2 (ja) * 2012-05-23 2017-05-31 市光工業株式会社 車両用インナーミラーシステム
US8928730B2 (en) 2012-07-03 2015-01-06 DigitalOptics Corporation Europe Limited Method and system for correcting a distorted input image
KR20140039820A (ko) * 2012-09-25 2014-04-02 엘지이노텍 주식회사 디스플레이 룸미러 시스템
DE102012025322B4 (de) * 2012-12-22 2014-08-21 Audi Ag Kraftfahrzeug mit Kamera-Monitor-System
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
US9654740B2 (en) 2013-05-28 2017-05-16 International Business Machines Corporation Controlling automotive rear-view mirror based on eye movement
DE102013219909A1 (de) 2013-10-01 2015-04-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
EP3128747A4 (en) * 2014-04-03 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Rear-view verification device, and automobile equipped with same
CN105172679B (zh) * 2014-05-30 2017-12-01 华创车电技术中心股份有限公司 广域行车影像系统
KR101646340B1 (ko) * 2014-08-27 2016-08-05 현대자동차주식회사 차량정보 표시장치 및 그 표시방법
US9403491B2 (en) 2014-08-28 2016-08-02 Nissan North America, Inc. Vehicle camera assembly
US20160129838A1 (en) * 2014-11-11 2016-05-12 Garfield Ron Mingo Wide angle rear and side view monitor
DE102014018040A1 (de) 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem
US20160214536A1 (en) * 2015-01-23 2016-07-28 Glenn S. Burdge Door-Mounted Side View Camera System For A Vehicle
DE102015202330A1 (de) * 2015-02-10 2016-08-11 Continental Automotive Gmbh Fahrerassistenzsystem
JP6293089B2 (ja) * 2015-05-12 2018-03-14 萩原電気株式会社 後方モニタ
DE102015209187B3 (de) * 2015-05-20 2016-09-29 Volkswagen Aktiengesellschaft Überwachungsvorrichtung für ein Kraftfahrzeug
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6578547B2 (ja) * 2015-07-23 2019-09-25 株式会社ホンダロック 後方視認装置
JP2017034453A (ja) * 2015-07-31 2017-02-09 富士通テン株式会社 画像処理装置、画像表示システム及び画像処理方法
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
US20170124881A1 (en) * 2015-10-28 2017-05-04 Velvac Incorporated Blind zone warning for semi-trailer
KR101745872B1 (ko) * 2015-12-22 2017-06-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 저전력 영상감시장치 및 그 방법
SE539443C2 (en) * 2016-02-10 2017-09-26 Scania Cv Ab System for reducing a blind spot for a vehicle
CN105644442B (zh) * 2016-02-19 2018-11-23 深圳市歌美迪电子技术发展有限公司 一种扩展显示视野的方法、系统及汽车
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6730615B2 (ja) * 2016-07-12 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018043643A (ja) * 2016-09-14 2018-03-22 株式会社東海理化電機製作所 車両用視認装置
EP3305597B1 (en) * 2016-10-04 2020-12-09 Ficomirrors, S.A.U. Vehicle driving assist system
US10897572B2 (en) 2016-10-25 2021-01-19 Toyota Jidosha Kabushiki Kaisha Imaging and display device for vehicle and recording medium thereof for switching an angle of view of a captured image
KR102543454B1 (ko) 2016-11-25 2023-06-14 에스엘 주식회사 차량의 주변 영상 처리 장치
JP6617688B2 (ja) 2016-11-29 2019-12-11 トヨタ自動車株式会社 車両用ミラーシステム
JP6744236B2 (ja) * 2017-02-08 2020-08-19 トヨタ自動車株式会社 画像表示装置
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
US10735638B2 (en) * 2017-03-17 2020-08-04 Gentex Corporation Dual display reverse camera system
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
KR102301030B1 (ko) 2017-06-09 2021-09-10 에스엘 주식회사 차량의 주변 감시 장치
JP6837931B2 (ja) * 2017-06-26 2021-03-03 アルパイン株式会社 表示制御装置、表示制御方法及びカメラモニタリングシステム
JP7141817B2 (ja) * 2017-07-24 2022-09-26 ラピスセミコンダクタ株式会社 画像処理装置
JP6958147B2 (ja) * 2017-09-07 2021-11-02 トヨタ自動車株式会社 画像表示装置
EP3460516B1 (en) * 2017-09-20 2020-05-27 Aptiv Technologies Limited A device and a method for distinguishing between traversable and non-traversable objects
KR102322474B1 (ko) 2017-09-29 2021-11-05 에스엘 주식회사 카메라 모니터 시스템의 온/오프 제어 장치 및 방법
KR102322484B1 (ko) 2017-09-29 2021-11-05 에스엘 주식회사 카메라 모니터 시스템의 구동 제어 장치 및 방법
KR102473121B1 (ko) 2017-12-14 2022-12-01 에스엘 주식회사 불안정한 전압에서 영상을 제어하는 영상제어장치 및 그 방법
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
JP7188727B2 (ja) 2018-02-20 2022-12-13 株式会社東海理化電機製作所 車両用視認装置
KR102441924B1 (ko) 2018-03-13 2022-09-08 에스엘 주식회사 카메라 모니터 시스템
KR102409835B1 (ko) 2018-03-13 2022-06-17 에스엘 주식회사 카메라 모니터 시스템
JP7113348B2 (ja) * 2018-03-15 2022-08-05 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
JP6857695B2 (ja) * 2018-09-14 2021-04-14 シャープ株式会社 後方表示装置、後方表示方法、およびプログラム
CN115883882A (zh) * 2018-09-19 2023-03-31 中兴通讯股份有限公司 图像处理方法、装置、系统、网络设备、终端及存储介质
EP3876516A4 (en) * 2018-10-31 2021-12-15 Sony Group Corporation PHOTOGRAPHING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
JP7159801B2 (ja) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
CN109703556B (zh) * 2018-12-20 2021-01-26 斑马网络技术有限公司 驾驶辅助方法及设备
JP7345106B2 (ja) * 2019-03-29 2023-09-15 パナソニックＩｐマネジメント株式会社 視界支援画像生成装置および画像変換プログラム
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
KR20210014021A (ko) 2019-07-29 2021-02-08 삼성전자주식회사 이미지 센서, 이미지 처리 시스템 및 이의 동작 방법
KR20210082997A (ko) 2019-12-26 2021-07-06 주식회사 에스엘미러텍 차량의 주변 감시 장치
KR20210082999A (ko) 2019-12-26 2021-07-06 주식회사 에스엘미러텍 차량의 주변 감시 장치
KR20210083693A (ko) 2019-12-27 2021-07-07 주식회사 에스엘미러텍 차량의 주변 감시 장치 및 그 동작 방법
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
US20210229601A1 (en) * 2020-01-27 2021-07-29 Nvidia Corporation Automatically-adjusting mirror for use in vehicles
EP4275194A1 (en) * 2021-01-06 2023-11-15 Nodar Inc. Methods and systems for providing depth maps with confidence estimates

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5420940A (en) * 1992-06-16 1995-05-30 Hughes Training, Inc. CGSI pipeline performance improvement
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3035262U (ja) * 1996-08-30 1997-03-11 新和プリント工業株式会社 自動車の後方視認装置
US6243645B1 (en) * 1997-11-04 2001-06-05 Seiko Epson Corporation Audio-video output device and car navigation system
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
US6424273B1 (en) * 2001-03-30 2002-07-23 Koninklijke Philips Electronics N.V. System to aid a driver to determine whether to change lanes
JP2002334322A (ja) 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP2003081014A (ja) 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
JP3876761B2 (ja) * 2002-05-20 2007-02-07 日産自動車株式会社 車両用周辺監視装置
JP3979330B2 (ja) * 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
JP2005328181A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 周囲確認装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP4088288B2 (ja) 2004-10-21 2008-05-21 本田技研工業株式会社 車両用周辺監視装置
JP2007028443A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 画像表示システム
JP4698351B2 (ja) * 2005-09-13 2011-06-08 パナソニック株式会社 車両側方確認装置
JP2007124088A (ja) * 2005-10-26 2007-05-17 Olympus Corp 画像撮影装置
JP4762698B2 (ja) * 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
JP4172490B2 (ja) 2006-03-15 2008-10-29 オムロン株式会社 プログラマブルコントローラ
JP4961160B2 (ja) * 2006-04-18 2012-06-27 パナソニック株式会社 車両周囲状況確認装置
US7926219B2 (en) * 2007-01-05 2011-04-19 Paul Kevin Reimer Digital scope with horizontally compressed sidefields
US8238676B2 (en) * 2007-12-14 2012-08-07 Yamaha Corporation Image data compressor and image data decompressor

Also Published As

Publication number Publication date
DE602008002118D1 (de) 2010-09-23
CN101396988A (zh) 2009-04-01
EP2042374A2 (en) 2009-04-01
EP2042374A3 (en) 2009-05-06
CN101396988B (zh) 2010-11-03
EP2042374B1 (en) 2010-08-11
JP2009081664A (ja) 2009-04-16
KR100936557B1 (ko) 2010-01-13
US8144033B2 (en) 2012-03-27
KR20090031998A (ko) 2009-03-31
US20090079585A1 (en) 2009-03-26

Similar Documents

Publication Publication Date Title
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP5320970B2 (ja) 車両用表示装置および表示方法
JP4195966B2 (ja) 画像表示制御装置
US10462372B2 (en) Imaging device, imaging system, and imaging method
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
EP2254334A1 (en) Image processing device and method, driving support system, and vehicle
US8115810B2 (en) Vehicle-periphery viewing apparatus
US9087256B2 (en) Dynamic image processing method and system for processing vehicular image
JP2016168877A (ja) 車両用視認装置
EP2551817A2 (en) Vehicle rear view camera system and method
JP2020028027A (ja) 車両用周辺表示装置
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
JP7000383B2 (ja) 画像処理装置および画像処理方法
KR101614247B1 (ko) 파노라마 영상의 접합면 표시장치
JP3446277B2 (ja) 車両用周囲状況表示装置
WO2012073392A1 (ja) 運転支援表示装置
JP7467402B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
CN216331763U (zh) 一种集成全景功能和bsd功能的智能汽车电子后视镜设备
JP2023046965A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
KR101750156B1 (ko) 차량의 파노라마 영상 표시장치 및 방법
WO2022138208A1 (ja) 撮像装置および画像処理装置
WO2023095340A1 (ja) 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
JP2023046511A (ja) 画像処理システム、画像処理方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5194679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150