JP5067632B2 - 鳥瞰画像生成装置 - Google Patents

鳥瞰画像生成装置 Download PDF

Info

Publication number
JP5067632B2
JP5067632B2 JP2008304745A JP2008304745A JP5067632B2 JP 5067632 B2 JP5067632 B2 JP 5067632B2 JP 2008304745 A JP2008304745 A JP 2008304745A JP 2008304745 A JP2008304745 A JP 2008304745A JP 5067632 B2 JP5067632 B2 JP 5067632B2
Authority
JP
Japan
Prior art keywords
image
dimensional object
vehicle
region
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008304745A
Other languages
English (en)
Other versions
JP2010128939A (ja
Inventor
俊明 柿並
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2008304745A priority Critical patent/JP5067632B2/ja
Priority to EP09014639.0A priority patent/EP2193957A3/en
Priority to US12/625,100 priority patent/US20100134593A1/en
Publication of JP2010128939A publication Critical patent/JP2010128939A/ja
Application granted granted Critical
Publication of JP5067632B2 publication Critical patent/JP5067632B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Description

本発明は、車両の周辺を撮影する車載カメラにより撮影された撮影画像に基づいて、略垂直方向の視点から見下ろす像となる鳥瞰画像を生成する鳥瞰画像生成装置に関する。
カメラによる撮影画像に画像処理を施すことにより、当該撮影画像を当該カメラの視点とは別の視点から見た画像に変換する視点変換処理が知られている。この視点変換処理は、車両に搭載されたカメラにより撮影された画像を、当該車両を上から見下ろすような俯瞰画像に変換して、車内のディスプレイに表示するといった用途に用いられている。視点変換処理では、一般的に画像中の全ての物体が例えその物体が立体物であったとしても、同一平面上に存在するものとして、画像処理が施される。例えば、車両における用途においては、全ての物体が、道路標示や駐車枠線などと同様に、路面上に存在する模様として変換処理が施されることになる。実際に路面上に存在する道路標示などは線形変換により違和感無く、真上からみたような画像へと変換される。しかし、他の車両や障害物などの高さのある物体、即ち立体物は、画像が大きく歪んでしまい、違和感が大きなものとなる。
このような課題に鑑みて、例えば特開平７−１８６８３３号公報（特許文献１）には、撮影された画像を路面領域と非路面領域とに分離して、路面領域に当たる画像のみを視点変換処理する技術が開示されている。視点変換されなかった非路面領域の画像は、元の視点からの画像のままで、視点変換後の画像に合成されて表示される。また、立体物である非路面領域よりもカメラから見て遠方の画像は、当該立体物によって遮られて路面領域に対応する画像が存在しないため、表示されない。また、特開２００６−３３３００９号公報（特許文献２）には、高さを有する物体に対応する画像をその高さ方向に圧縮して、視点変換された画像に合成する方法が開示されている。この場合も、元の視点からの画像が圧縮され、高さを有する物体よりもカメラから見て遠方の画像は、例えば黒ベタの状態で表示される。
特開平７−１８６８３３号公報（第１〜１１、３７〜３９段落、図１、２、４等） 特開２００６−３３３００９号公報（第１６〜２５段落、図６〜１３等）
特許文献１では、非路面領域（立体物）に対応する画像については視点変換されることなく、カメラにより撮影された画像がほぼそのまま表示される。また、特許文献２においても、非路面領域（立体物）に対応する画像については視点変換されることなく、高さ方向には圧縮されるものの、カメラと同一の視点からの画像が表示される。特許文献１では、利用者が画面を見て容易に立体物を認識することができ、特許文献２ではさらに視点変換されたような視覚効果を僅かではあるが利用者に与えることができる。しかし、特許文献１及び特許文献２の何れにおいても、視点変換された画像の中に視点変換されていない画像が合成されているので、表示される画像に対して利用者が違和感を覚える可能性がある。また、このように違和感を覚えるということは、車両の周辺に存在する障害物等の位置を利用者が誤認することにつながる場合がある。上から見下ろすという俯瞰画像の特性上、俯瞰画像として表示される車両の周辺の範囲は略水平方向に撮影される画像に比べて狭い範囲となる。表示される俯瞰画像上で確認される障害物と車両との実際の距離も比較的短くなるため、障害物の位置を利用者が誤認することは安全上好ましくない。従って、利用者の違和感を抑制し、利用者が立体物と車両との距離感を把握し易いように、立体物を含めて撮影画像を視点変換する技術が求められる。
本発明は、上記課題に鑑みて創案されたもので、車両の周辺を撮影する車載カメラにより撮影された画像を、利用者が立体物と車両との距離感を把握し易いように、立体物を含めて違和感なく、略垂直方向の視点から見下ろす画像へ視点変換して鳥瞰画像を生成する鳥瞰画像生成装置を提供することを目的とする。
上記目的を達成するための本発明に係る鳥瞰画像生成装置の特徴構成は、
車両の周辺を撮影する車載カメラにより第１位置において撮影された撮影画像を第１画像として受け取る第１画像受取部と、
前記第１位置から前記車両が所定の移動量を経た第２位置において前記車載カメラにより撮影された撮影画像を第２画像として受け取る第２画像受取部と、
前記第１画像を略垂直方向の視点から見下ろす像となる第１変換画像に射影変換すると共に、前記第１変換画像を前記第２位置における位置補正画像に補正する第１射影変換部と、
前記第２画像を略垂直方向の前記視点から見下ろす像となる第２変換画像に射影変換する第２射影変換部と、
前記位置補正画像と前記第２変換画像との差分に基づいて、立体物が存在する立体物領域を、平行しない２辺が略垂直方向の前記視点から見下ろした場合における光学中心において交差する台形状に抽出する立体物領域抽出部と、
前記第２変換画像における前記立体物領域の画像を前記光学中心の方向へ縮小して射影歪補正画像に補正する射影歪補正部と、を備える点にある。
この特徴構成によれば、撮影画像の全域に亘って射影変換により視点変換された鳥瞰画像が生成され、その中から立体物が存在する立体物領域が抽出される。この立体物領域は、平行しない２辺が略垂直方向の前記視点から見下ろした場合における光学中心において交差する台形状に抽出されるので、立体物の形状に拘わらず、高い再現性で簡潔に抽出される。また、立体物は、この立体物領域の中で、当該光学中心に向かって縮小されるので、例えば比例配分等の簡単な処理により、見栄え良く歪みが補正される。立体物は、略垂直方向から見下ろした画像として生成されるので、鳥瞰画像の全体に対しても違和感が抑制される。このように、本特徴構成によれば、車両の周辺を撮影する車載カメラにより撮影された画像を、利用者が立体物と車両との距離感を把握し易いように、立体物を含めて違和感なく、略垂直方向の視点から見た画像へ視点変換して鳥瞰画像を生成することが可能となる。
また、本発明に係る鳥瞰画像生成装置は、前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域を、前記立体物領域の外側の近傍の背景色によってマスクする重畳部を有すると好適である。
立体物領域の中で圧縮後の立体物の領域以外に相当する領域には、元の歪みのある画像が残ることになる。そのため、立体物の像に対して違和感を軽減させた効果が限定的となる可能性がある。しかし、立体物領域の中で縮小後の立体物の画像が存在する領域以外の領域を、立体物領域の外側の近傍の背景色によってマスクすることによって、違和感がさらに大きく軽減される。尚、マスクされる領域は、立体物の背後であるから、車載カメラによる撮影画像中にも現れない部分である。また、この部分、いわゆる死角部分よりも、立体物の方が車両に近い側にあるので、死角部分がマスクされても大きな問題はない。
また、本発明に係る鳥瞰画像生成装置は、前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域を、暖系色によるハーフトーン処理を施してマスクする重畳部を有すると好適である。
上述したように、立体物領域の中で圧縮後の立体物の領域以外に相当する領域には、元の歪みのある画像が残ることになる。しかし、立体物領域の中で縮小後の立体物の画像が存在する領域以外の領域を、暖系色によるハーフトーン処理を施してマスクすることによって、違和感を軽減させることができる。マスクされる領域は、上述したように、立体物の背後に隠れたいわゆる死角である。死角がマスクされても問題はないが、この領域が死角であることを、穏やかに報知すると利用者の注意を喚起することができる。一般的に路面の色は、モノトーンや寒色系であるので、暖色系の配色を用いると視認性が良い。一方、ハーフトーン処理を施すことによって、大きく目立たせることなく、穏やかに死角領域を報知することができる。
また、本発明に係る鳥瞰画像生成装置は、前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域に、前記立体物の存在を報知する報知表示を重畳させる重畳部を有すると好適である。
上述したように、立体物領域の中で圧縮後の立体物の領域以外に相当する領域には、元の歪みのある画像が残ることになる。上述したように、この歪みのある画像が残る領域は、立体物の背後に隠れたいわゆる死角である。従って、車載カメラによる撮影画像にも含まれておらず、無理に画像を表示させる必要のない領域でもある。そこで、この領域に立体物の存在を報知する報知表示を重畳させると、報知表示により必要な画像が隠されることがなく好適である。報知表示が任意の場所に重畳されると、立体物以外の例えば路面上の道路標示等を隠してしまう可能性が生じる。しかし、立体物の背後であって、画像を表示させる必要のない領域に報知表示を重畳させることによって、利用者に対して、鳥瞰画像及び報知表示の双方を視認性よく示すことができる。
また、本発明に係る鳥瞰画像生成装置は、前記第１射影変換部が、前記車両の移動量を検出する移動検出部の検出結果に基づいて、前記第１変換画像を前記第２位置における位置補正画像に補正すると好適である。
この構成によれば、第２画像が取得される第２位置に対して正確に第１変換画像を位置補正することができるので、精度良く立体物領域を抽出することができる。
また、本発明に係る鳥瞰画像生成装置は、
前記第１射影変換部が、前記車両が前記第１位置から所定の方向へ所定の距離だけ離間した位置を前記第２位置として、前記第１変換画像を前記第２位置における位置補正画像に補正し、
前記第２画像受取部が、前記車両の移動量を検出する移動検出部の検出結果に基づいて、前記車両が前記第２位置に達した際に撮影された前記撮影画像を前記第２画像として受け取ると好適である。
この構成によれば、第２画像が取得されるまでの間に、第１変換画像を位置補正しておくことができるので、第２変換画像と位置補正画像との差分を早く求めることができる。その結果、少ないタイムラグで鳥瞰画像を生成し、表示させることができる。尚、この場合には、第２位置を予測して第１変換画像を位置補正する必要がある。第１位置から第２位置への所定の移動量は、微小移動量であり、直線的な移動とみなすことが可能である。従って、車両の速度や操舵角などに応じて、ほぼ正確に第２位置を予測することが可能である。
以下、本発明の実施形態を図面に基づいて説明する。本発明の鳥瞰画像生成装置は、例えば、駐車支援装置や運転支援装置などに利用される。図１及び図２は、鳥瞰画像生成装置が搭載される車両３０の基本構成を示したものである。運転席に備えられたステアリング２４は、パワーステアリングユニット３３と連動し、回転操作力を前輪２８ｆに伝えて車両３０の操舵を行う。車体前部にはエンジン３２と、このエンジン３２からの動力を変速して前輪２８ｆや後輪２８ｒに伝えるトルクコンバータやＣＶＴ等を有する変速機構３４とが配置されている。車両３０の駆動方式（前輪駆動、後輪駆動、四輪駆動）に応じて、前輪２８ｆ及び後輪２８ｒの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル２６と、前輪２８ｆ及び後輪２８ｒのブレーキ装置３１を介して前輪２８ｆ及び後輪２８ｒに制動力を作用させるブレーキペダル２７とが並列配置されている。
運転席の近傍のコンソールの上部位置には、モニタ２０（表示装置）が備えられている。モニタ２０は、バックライトを備えた液晶式のものである。モニタ２０には、感圧式や静電式によるタッチパネルも形成されており、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付け可能に構成されている。タッチパネルは、例えば、駐車支援開始の指示入力手段として用いられる。また、モニタ２０には、スピーカも備えられており、種々の案内メッセージや効果音を発することができる。車両３０にナビゲーションシステムが搭載される場合、モニタ２０はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。尚、モニタ２０は、プラズマ表示型のものやＣＲＴ型のものであっても良く、スピーカは、ドアの内側など他の場所に備えられても良い。
ステアリング２４の操作系にはステアリングセンサ１４が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー２５の操作系にはシフト位置センサ１５が備えられ、シフト位置が判別される。アクセルペダル２６の操作系にはアクセルセンサ１６が備えられ、操作量が計測される。ブレーキペダル２７の操作系にはブレーキセンサ１７が備えられ、操作の有無などが検出される。
また、移動距離センサとして、前輪２８ｆ及び後輪２８ｒの少なくとも一方の回転量を計測する回転センサ１８が備えられる。本実施形態では、後輪２８ｒに回転センサ１８が備えられた場合を例示している。尚、移動距離については、変速機構３４において、駆動系の回転量から車両３０の移動量を計測するようにしてもよい。また、車両３０には本発明の鳥瞰画像生成装置の中核となるＥＣＵ（electronic control unit）１０が配置されている。
車両３０の後部には、車両３０の後方の情景を撮影するカメラ１２が備えられている。カメラ１２は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。カメラ１２は、広角レンズを備えており、例えば左右約１４０度程度の画角を有している。カメラ１２は、略水平方向の視点を有して、車両３０の後方の情景を撮影可能に設置されている。カメラ１２は、車両３０の後方に向けて例えば３０度程度の俯角を有して設置され、概ね後方８ｍ程度までの領域を撮影する。撮影された画像は、ＥＣＵ１０に入力される。
鳥瞰画像生成装置（ＥＣＵ１０）は、図３に示すように、略水平方向の視点を有するカメラ１２によって撮影された画像を、略垂直方向から見下ろす視点を有するカメラ１２Ａによって撮影された画像へと変換する。図４は、カメラ１２によって撮影された画像の一例である。図５は、略垂直方向から見下ろす視点を有するカメラ１２Ａによって撮影された画像へと変換された画像の一例である。変換された画像は、いわゆる鳥瞰画像である。図５において、左下、右下には、画像データが存在しないことによる空白域が生じる。
まず、鳥瞰画像を生成する際に立体物を特定する原理について説明する。立体物の特定には、以下に示す効果が利用される。まず、視差が生じている２枚の画像の一方から、鳥瞰画像の一種であるＧＰＴ（ground plane transformation）画像を生成し、他方の画像の視点からのＧＰＴ画像を予測して、生成したＧＰＴ画像を位置補正する。次に、他方の画像からＧＰＴ画像を生成して、一方の画像から生成され、位置補正されたＧＰＴ画像との差分を取ると、立体物が抽出される。視差を生じる２枚の画像は、複数の異なるカメラにより撮影された画像でもよいし、同一のカメラを移動させて撮影された画像であってもよい。
以下、同一のカメラを移動させた場合を例として説明する。図６は、カメラ１２から略水平方向に撮影された撮影画像Ｉ（ＩＡ、ＩＢ）の一例である。図７は、図６の撮影画像Ｉ（ＩＡ、ＩＢ）を視点変換して得られたＧＰＴ画像Ａ（又はＢ）の一例である。図６に示すように、車両３０の周辺には、ほぼ直方体の立体物４０が存在する。この立体物４０が立体物ではなく路面上に存在する「模様」だとすれば、撮影画像上において遠方へ行ってもその横幅がほぼ一定であることから、遠方へ行くほど広い幅を有する「模様」が路面上に描かれていることとなる。従って、図６に示す撮影画像ＩＡ（Ｉ）を視点変換して生成されたＧＰＴ画像Ａは、図７に示すように、車両３０から遠方へ行くほど広い幅を持った「模様」として立体物を表現する。図７に示すように、直方体の立体物４０は台形状に表現される。
図８は、上述した立体物抽出原理を示す説明図である。図８では、ＧＰＴ画像上における立体物を便宜上、台形で示している。図８において台形ａは、視差が生じている２枚の撮影画像Ｉの内の一方の撮影画像ＩＡのＧＰＴ画像Ａにおける立体物４０である。本例では、同一のカメラを移動させて視差を生じさせる場合を例としているので、台形ａは、カメラ１２が移動する前における仮想視点から見た立体物４０を示している。ここで、仮想視点とは、図３に示したように、カメラ１２が仮想的にカメラ１２Ａに位置にあったと仮定した場合の略垂直方向から見下ろす視点である。撮影画像ＩＡは、本発明の第1画像に相当し、ＧＰＴ画像Ａは、本発明の第１変換画像に相当する。
台形ｂは、視差が生じている２枚の撮影画像Ｉの内の他方の撮影画像ＩＢのＧＰＴ画像Ｂにおける立体物４０である。つまり、台形ｂは、カメラ２０がΔＬだけ移動した後における仮想視点から見た立体物４０を示している。そして、斜線網掛け部分の台形ａ’は、移動前の仮想視点から見たＧＰＴ画像Ａから、カメラ２０がΔＬだけ移動した場合を予測して得られた立体物４０、即ち移動後の仮想視点から見た立体物４０を示している。撮影画像ＩＢは、本発明の第２画像に相当し、ＧＰＴ画像Ｂは、本発明の第２変換画像に相当する。また、台形ａ’を含むＧＰＴ画像は、本発明の位置補正画像に相当する。台形ｂと台形ａ’との差分を取ると、差分として残った画素は、視差を生じさせる立体物４０が存在する位置に対応する。このようにして、立体物４０の存在する領域を抽出することができる。
図９は、図６に示すような撮影画像Ｉから得られたＧＰＴ画像から立体物４０の存在する領域（立体物領域Ｒ）を抽出する例を示す説明図である。図８に基づいて上述したように、カメラ１２が移動する前のＧＰＴ画像Ａに対してΔＬの位置補正を施したＧＰＴ画像Ａ’（位置補正画像）と、カメラ１２がΔＬだけ移動した後のＧＰＴ画像Ｂとの差分を取って、差分画像Ｓが得られる。差分画像Ｓにおいて、エッジを抽出すると、図９に示すように、ｅ１〜ｅ４の４辺からなる台形状の領域が、立体物領域Ｒとして抽出される。
ここで、辺ｅ３と辺ｅ４は、台形の上底及び下底に相当する。辺ｅ１と辺ｅ２とは、台形の上底及び下底以外の２辺、即ち、脚に相当する辺である。辺ｅ１と辺ｅ２とは、光学中心Ｃにおいて交差する。即ち、立体物領域Ｒは、平行しない２辺ｅ１及びｅ２が略垂直方向の視点から見下ろした場合における光学中心Ｃにおいて交差する台形状に抽出される。上記例においては、立体物４０が直方体であったので、立体物領域Ｒと、立体物４０とは略一致するものであった。しかし、立体物４０が直方体ではなく、任意の形状であっても、台形状の立体物領域Ｒが抽出される。
図１０は、立体物領域Ｒを抽出する他の例を示す説明図である。本例において、立体物４０は理解を容易にするために、星形形状である。光学中心Ｃから放射状に延びる点線の内、差分を取ることによって立体物４０として検出された画素を通る最も右側及び左側の２線が、立体物領域Ｒにおける平行しない２辺ｅ１及びｅ２となる。また、車両３０に最も近い側において立体物４０として検出された画素を通る直線の内、２辺ｅ１とｅ２との中央を通る放射線ＣＬと直交する直線が、立体物領域Ｒにおける平行な２辺の内の一方の辺ｅ３（上底）となる。そして、車両３０に最も遠い側において立体物４０として検出された画素を通る直線の内、放射線ＣＬと直交する直線又は辺ｅ３に平行な直線が、立体物領域Ｒにおける平行な２辺の内の他方の辺ｅ４（下底）となる。
図１１は、立体物領域Ｒを抽出するさらに別の例を示す説明図である。立体物領域Ｒにおける平行しない２辺ｅ１及びｅ２を設定する方法については、図１０に基づいて上述したものと同様であるので説明を省略する。本例では、車両３０に最も近い側において立体物４０として検出された画素を通る直線の内、光軸ＣＸと直交する直線が、立体物領域Ｒにおける平行な２辺の内の一方の辺ｅ３（上底）となる。そして、車両３０に最も遠い側において立体物４０として検出された画素を通る直線の内、光軸ＣＸと直交する直線又は辺ｅ３に平行な直線が、立体物領域Ｒにおける平行な２辺の内の他方の辺ｅ４（下底）となる。このように、立体物４０がどのような形状であったとしても、良好に台形状の立体物領域Ｒを抽出することができる。つまり、立体物領域Ｒは、立体物の形状に拘わらず、高い再現性で簡潔に抽出される。
尚、上述したΔＬは、車両３０の実際の移動量であってもよいし、移動する前に設定される所定の移動量であってもよい。従って、位置補正画像は、車両の実際の移動量ΔＬに基づいて第１変換画像が位置補正された画像でもよいし、仮定された所定の移動量に基づいて第１変換画像が位置補正された画像でもよい。
図１２は、ＥＣＵ１０を中核とする本発明に係る鳥瞰画像生成装置の構成例を模式的に示すブロック図である。図１２に示すように、鳥瞰画像生成装置（ＥＣＵ１０）は、第１画像受取部１と、第２画像受取部２と、第１射影変換部３と、第２射影変換部４と、立体物領域抽出部６と、射影歪補正部７と、自車位置演算８と、重畳部９と、画像制御部１１との各機能部を有して構成されている。ＥＣＵ１０は、例えば、マイクロコンピュータなどによって構成されており、上記各機能部は、プログラム等によってその機能を分担することが可能である。従って、上記各機能部は、物理的に独立して設けられる必要はなく、同一のハードウェアを兼用してプログラム等のソフトウェアとの協働によってその機能が実現されれば充分である。
第１画像受取部１は、車両３０の周辺を撮影するカメラ（車載カメラ）１２により第１位置において撮影された撮影画像Ｉを第１画像ＩＡとして受け取る機能部である。第２画像受取部２は、第１画像ＩＡを撮影した位置から車両３０が所定の移動量（ΔＬ）を経た第２位置においてカメラ１２により撮影された撮影画像Ｉを第２画像ＩＢとして受け取る機能部である。画像制御部１１は、第１画像受取部１及び第２画像受取部２が、撮影画像Ｉを受け取るタイミングなどを制御する機能部である。
第１射影変換部３は、第１射影変換手段３ａと、位置補正手段５との２つの機能部を有して構成される。第１射影変換手段３ａは、第１画像ＩＡを略垂直方向からの第２の視点からの第１変換画像Ａに射影変換する機能部である。位置補正手段５は、第１変換画像Ａを第２位置における位置補正画像Ａ’に補正する機能部である。１つの手法として、第１射影変換部３は、車両の移動量を検出する自車位置演算部８（移動検出部）の検出結果に基づいて、第１変換画像Ａを第２位置における位置補正画像Ａ’に補正する。つまり、自車位置演算部８により演算された移動量ΔＬに基づいて、第１変換画像Ａを位置補正画像Ａ’に補正する。
また、別の手法として、第１射影変換部３は、車両３０が第１位置から所定の方向へ所定の距離だけ離間した位置を第２位置として、第１変換画像Ａを第２位置における位置補正画像Ａ’に補正してもよい。第１位置から第２位置までの、所定の方向への所定の距離の移動は、移動量ΔＬに相当する。この場合、第２画像受取部２は、車両の移動量ΔＬを検出する自車位置演算部８（移動検出部）が、車両３０が所定の移動量ΔＬだけ移動したことを検出した際に、第２画像ＩＢを受け取ると好適である。つまり、第２画像受取部２は、自車位置演算部８（移動検出部）の検出結果に基づいて、車両３０が第２位置に達した際に撮影された撮影画像Ｉを第２画像ＩＢとして受け取る。尚、この場合の第２位置は、位置補正画像Ａ’を生成した際に設定された第２位置と厳密に一致しなくてもよい。つまり、車両３０が第２位置の近傍に達した際に撮影された撮影画像Ｉを第２画像ＩＢとして受け取るものであってよい。第２位置の近傍となる範囲は、予め設定されていることが好ましい。第２画像受取部２が第２画像ＩＢを受け取るタイミングは、画像制御部１１によって制御される。
自車位置演算部８は、ステアリングセンサ１４、シフト位置センサ１５、アクセルセンサ１６、ブレーキセンサ１７、回転センサ１８等の各種センサによる検出結果を受けて、車両３０の移動量や位置を演算する機能部である。上記各種センサ１４〜１８や、自車位置演算部８は、本発明の移動検出部１３に相当する。尚、自車位置演算部８は、ＥＣＵ１０とは別のＥＣＵや制御装置等に含まれ、演算結果のみがＥＣＵ１０に入力される構成であってもよい。
尚、第１射影変換手段３ａと、位置補正手段５との２つの機能部は、別個に設けられていてもよい。つまり、第１射影変換部３として、第１射影変換手段３ａに相当する機能部が設けられ、位置補正部として、位置補正手段５に相当する機能部が設けられていてもよい。また、射影変換と位置補正とは、１つの機能部（例えば、第１射影変換部３）によって一度の演算によって実行されてもよい。
第２射影変換部４は、第２画像ＩＢを第２の視点からの第２変換画像Ｂに射影変換する機能部である。立体物領域抽出部６は、位置補正画像Ａ’と第２変換画像Ｂとの差分を取り、この差分に基づいて、立体物４０が存在する立体物領域Ｒを、平行しない２辺（ｅ１及びｅ２）が光学中心Ｃにおいて交差する台形状に抽出する機能部である。
射影歪補正部７は、第２変換画像Ｂにおける立体物領域Ｒの画像を略垂直方向の視点から見下ろした場合における光学中心Ｃの方向へ縮小して射影歪補正画像（図１４に示す符号Ｂ’）に補正する機能部である。重畳部９は、第２変換画像Ｂ上における立体物領域Ｒの中で縮小後の立体物４０の画像が存在する領域以外の領域にマスク処理を施したり、立体物４０の存在を報知する報知表示（図１６に示す符号Ｍ）を重畳させたりする機能部である。これら、射影歪補正部７及び重畳部９の有する機能の詳細については、後述する。
以下、射影歪と、その補正方法について説明する。図１３は、射影歪を補正する原理を示す説明図である。図１４は、射影歪を補正した後の射影歪補正画像Ｂ’の一例である。図１５は、射影歪補正画像Ｂ’にマスク処理を施した画像の一例である。図１６は、射影歪補正画像Ｂ’に報知表示Ｍを重畳した画像の一例である。
図７に示すように、視点変換後のＧＰＴ画像Ｂにおける立体物４０は、大きな歪みを有している。そこで、視認性を向上させるべく、射影歪補正部７は、図１３に示すように、ＧＰＴ画像Ｂ（第２変換画像）における立体物領域Ｒの画像を光学中心Ｃの方向へ縮小して、図１４に示すような射影歪補正画像Ｂ’に補正する。立体物４０は、図１３に示すように、光学中心Ｃの側の一辺ｅ３、即ち立体物４０が路面に接する位置である下端位置を基準として、光学中心Ｃの方向（下端方向）へ縮小される。ここでは、比例配分によって縮小する例を示しているが、その他の縮小方法を用いてもよい。この補正の結果、図１４に示すように、立体物４０の像に対する違和感が低減される。
但し、立体物領域Ｒの中で圧縮後の立体物４０の領域以外に相当する領域Ｇには、元の歪みのある画像が残っている。このままでは、立体物４０の像に対して違和感を軽減させた効果が限定的となる可能性がある。そこで、例えば、立体物領域Ｒの外側の近傍の背景色によって、領域Ｇを塗りつぶすとよい。マスクされる領域Ｇは、立体物４０の背後であるから、カメラ１２による撮影画像Ｉの中にも現れない部分である。また、この領域Ｇ、いわゆる死角領域よりも、立体物４０の方が車両３０に近い側にあるので、死角領域がマスクされても大きな問題とはならない。
あるいは、図１５に示すように、領域Ｇが目立ちにくくなるように、ハーフトーン処理を施してマスクすると好適である。例えば、暖色系の色によってハーフトーン処理を施した場合には、立体物４０の陰に入って死角となる領域を目立たせて注意を促す効果が得られる。つまり、領域Ｇが死角であることを、穏やかに報知して利用者の注意を喚起することができる。一般的に路面の色は、モノトーンや寒色系であるので、暖色系の配色を用いると視認性が良い。一方、ハーフトーン処理を施すことによって、大きく目立たせることなく、穏やかに死角であることを報知することができる。
また、立体物４０が存在することを積極的に報知するようにしても好適である。図１６に示すように、領域Ｇに重なるように、メッセージＭ（報知表示）を重畳させてもよい。このようなメッセージＭを重畳させることによって、元の歪みのある画像が残っていても、注目されることなく、違和感を低減させることが可能となる。上述したように、歪みのある画像が残る領域Ｇは、立体物４０の背後に隠れたいわゆる死角である。従って、カメラ１２による撮影画像Ｉにも含まれておらず、無理に画像を表示させる必要のない領域でもある。従って、この領域ＧにメッセージＭ（報知表示）を重畳させると、メッセージＭにより必要な画像が隠されることがなく好適である。メッセージＭが任意の場所に重畳されると、立体物４０以外の例えば路面上の道路標示等を隠してしまう可能性が生じる。しかし、立体物４０の背後であって、画像を表示させる必要のない領域ＧにメッセージＭを重畳させることによって、利用者に対して、鳥瞰画像及びメッセージＭの双方を視認性よく示すことができる。このようなメッセージＭの重畳、上記マスク処理や塗りつぶし処理は、上述した重畳部９によって実施される。
以上、説明したように、本発明によって、車両の周辺を撮影する車載カメラにより撮影された画像を、利用者が立体物と車両との距離感を把握し易いように、立体物を含めて違和感なく、略垂直方向の視点から見た画像へ視点変換して鳥瞰画像を生成する鳥瞰画像生成装置を提供することが可能となる。このような鳥瞰画像装置を、適用することによって、利便性の高い駐車支援装置や運転支援装置などを提供することが可能となる。
車両の運転席前方の説明図 車両の基本構成を示すブロック図 視点変換の一例を示す説明図 略水平方向からの視点を有するカメラによって撮影された画像の一例 略垂直方向からの視点の画像へと変換された画像の一例 略水平方向に撮影された撮影画像の一例 図６の撮影画像を視点変換して得られたＧＰＴ画像の一例 立体物抽出原理を示す説明図 図６に示すような撮影画像から得られたＧＰＴ画像から立体物の存在する領域を抽出する例を示す説明図 立体物の存在する領域を抽出する他の例を示す説明図 立体物の存在する領域を抽出するさらに別の例を示す説明図 鳥瞰画像生成装置の構成例を模式的に示すブロック図 射影歪を補正する原理を示す説明図 射影歪を補正した後の射影歪補正画像の一例 射影歪補正画像にマスク処理を施した画像の一例 射影歪補正画像に報知表示を重畳した画像の一例
符号の説明
１：第１画像受取部
２：第２画像受取部
３：第１射影変換部
４：第２射影変換部
６：立体物領域抽出部
７：射影歪補正部
９：重畳部
１０：ＥＣＵ（鳥瞰画像生成装置）
１２：カメラ（車載カメラ）
１３：移動検出部
３０：車両
４０：立体物
ｅ１〜ｅ４：辺
Ａ：第１変換画像、ＧＰＴ画像
Ａ’：位置補正画像、ＧＰＴ画像
Ｂ：第２変換画像、ＧＰＴ画像
Ｂ’：射影歪補正画像
Ｃ：光学中心
Ｇ：立体物領域の中で縮小後の立体物の画像が存在する領域以外の領域
Ｉ：撮影画像
ＩＡ：第１画像
ＩＢ：第２画像
ΔＬ：所定の移動量
Ｍ：メッセージ（報知表示）
Ｒ：立体物領域

Claims (6)

  1. 車両の周辺を撮影する車載カメラにより第１位置において撮影された撮影画像を第１画像として受け取る第１画像受取部と、
    前記第１位置から前記車両が所定の移動量を経た第２位置において前記車載カメラにより撮影された撮影画像を第２画像として受け取る第２画像受取部と、
    前記第１画像を略垂直方向の視点から見下ろす像となる第１変換画像に射影変換すると共に、前記第１変換画像を前記第２位置における位置補正画像に補正する第１射影変換部と、
    前記第２画像を略垂直方向の前記視点から見下ろす像となる第２変換画像に射影変換する第２射影変換部と、
    前記位置補正画像と前記第２変換画像との差分に基づいて、立体物が存在する立体物領域を、平行しない２辺が略垂直方向の前記視点から見下ろした場合における光学中心において交差する台形状に抽出する立体物領域抽出部と、
    前記第２変換画像における前記立体物領域の画像を前記光学中心の方向へ縮小して射影歪補正画像に補正する射影歪補正部と、
    を備える鳥瞰画像生成装置。
  2. 前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域を、前記立体物領域の外側の近傍の背景色によってマスクする重畳部を有する請求項１に記載の鳥瞰画像生成装置。
  3. 前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域を、暖系色によるハーフトーン処理を施してマスクする重畳部を有する請求項１に記載の鳥瞰画像生成装置。
  4. 前記第２変換画像上における前記立体物領域の中で縮小後の前記立体物の画像が存在する領域以外の領域に、前記立体物の存在を報知する報知表示を重畳させる重畳部を有する請求項１に記載の鳥瞰画像生成装置。
  5. 前記第１射影変換部は、前記車両の移動量を検出する移動検出部の検出結果に基づいて、前記第１変換画像を前記第２位置における位置補正画像に補正する請求項１〜４の何れか一項に記載の鳥瞰画像生成装置。
  6. 前記第１射影変換部は、前記車両が前記第１位置から所定の方向へ所定の距離だけ離間した位置を前記第２位置として、前記第１変換画像を前記第２位置における位置補正画像に補正し、
    前記第２画像受取部は、前記車両の移動量を検出する移動検出部の検出結果に基づいて、前記車両が前記第２位置に達した際に撮影された前記撮影画像を前記第２画像として受け取る請求項１〜４の何れか一項に記載の鳥瞰画像生成装置。
JP2008304745A 2008-11-28 2008-11-28 鳥瞰画像生成装置 Expired - Fee Related JP5067632B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008304745A JP5067632B2 (ja) 2008-11-28 2008-11-28 鳥瞰画像生成装置
EP09014639.0A EP2193957A3 (en) 2008-11-28 2009-11-24 Bird's-eye image generating apparatus
US12/625,100 US20100134593A1 (en) 2008-11-28 2009-11-24 Bird's-eye image generating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008304745A JP5067632B2 (ja) 2008-11-28 2008-11-28 鳥瞰画像生成装置

Publications (2)

Publication Number Publication Date
JP2010128939A JP2010128939A (ja) 2010-06-10
JP5067632B2 true JP5067632B2 (ja) 2012-11-07

Family

ID=42027984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008304745A Expired - Fee Related JP5067632B2 (ja) 2008-11-28 2008-11-28 鳥瞰画像生成装置

Country Status (3)

Country Link
US (1) US20100134593A1 (ja)
EP (1) EP2193957A3 (ja)
JP (1) JP5067632B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10363872B2 (en) 2015-04-02 2019-07-30 Aisin Seiki Kabushiki Kaisha Periphery monitoring device

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP5251927B2 (ja) 2010-06-21 2013-07-31 日産自動車株式会社 移動距離検出装置及び移動距離検出方法
EP2608149B1 (en) 2010-08-19 2021-04-21 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
JP2012119755A (ja) * 2010-11-29 2012-06-21 Panasonic Corp 運転支援表示装置
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
JPWO2013058093A1 (ja) * 2011-10-18 2015-04-02 日立建機株式会社 作業機械の周囲監視装置
JP5891843B2 (ja) 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US9598836B2 (en) 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
TWI495343B (zh) * 2012-04-13 2015-08-01 Dadny Inc 行車記錄系統及其位置判斷方法
JP6047443B2 (ja) * 2013-03-29 2016-12-21 株式会社デンソーアイティーラボラトリ 鳥瞰画像表示装置
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
DE102014210739A1 (de) * 2014-06-05 2015-12-17 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Drehratensensors und elektrisches Gerät
KR101772084B1 (ko) * 2015-07-29 2017-08-28 엘지전자 주식회사 이동 로봇 및 그 제어방법
US9902322B2 (en) 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts
GB2556797B (en) 2015-11-06 2018-10-24 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム
JP6657937B2 (ja) * 2015-12-25 2020-03-04 トヨタ自動車株式会社 車両用表示装置
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
JP6513300B1 (ja) * 2018-03-28 2019-05-15 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN108665501A (zh) * 2018-07-12 2018-10-16 合肥晟泰克汽车电子股份有限公司 汽车环视系统三维标定场景及采用该场景的标定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528735A (en) * 1993-03-23 1996-06-18 Silicon Graphics Inc. Method and apparatus for displaying data within a three-dimensional information landscape
JP3381351B2 (ja) 1993-12-24 2003-02-24 日産自動車株式会社 車両用周囲状況表示装置
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
JP4920834B2 (ja) * 2000-06-26 2012-04-18 キヤノン株式会社 画像表示装置、及び画像表示装置の駆動方法
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
GB0422504D0 (en) * 2004-10-11 2004-11-10 Delphi Tech Inc Obstacle recognition system for a motor vehicle
JP4626400B2 (ja) * 2005-05-25 2011-02-09 日産自動車株式会社 俯瞰画像表示装置及び俯瞰画像表示方法
JP4809019B2 (ja) * 2005-08-31 2011-11-02 クラリオン株式会社 車両用障害物検出装置
JP4797877B2 (ja) * 2006-08-14 2011-10-19 日産自動車株式会社 車両用映像表示装置及び車両周囲映像の表示方法
JP4928956B2 (ja) * 2007-01-18 2012-05-09 三洋電機株式会社 俯瞰画像提供装置、車両、および俯瞰画像提供方法
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10363872B2 (en) 2015-04-02 2019-07-30 Aisin Seiki Kabushiki Kaisha Periphery monitoring device

Also Published As

Publication number Publication date
US20100134593A1 (en) 2010-06-03
EP2193957A2 (en) 2010-06-09
JP2010128939A (ja) 2010-06-10
EP2193957A3 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
JP5067632B2 (ja) 鳥瞰画像生成装置
JP5190712B2 (ja) 障害物検出装置
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
JP3947375B2 (ja) 駐車補助装置
US11528413B2 (en) Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
US9895974B2 (en) Vehicle control apparatus
WO2011007484A1 (ja) 運転支援装置、運転支援方法及びプログラム
WO2012032809A1 (ja) 運転支援装置
WO2012096058A1 (ja) 画像生成装置
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
US10467789B2 (en) Image processing device for vehicle
JP2010184607A (ja) 車両周辺表示装置
CN111095921B (zh) 显示控制装置
EP3664014B1 (en) Display control device
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
JP2010128794A (ja) 車両周辺認知支援装置
KR101510655B1 (ko) 주변 영상 생성 방법 및 장치
JPWO2008087707A1 (ja) 車両用画像処理装置及び車両用画像処理プログラム
JP2012105090A (ja) 駐車支援装置
JP2008048094A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
KR101393918B1 (ko) 차량 전방위 감시 시스템
JP2019054439A (ja) 画像処理装置
JP4674814B2 (ja) 車両用画像表示装置および画像合成方法
JP2010128795A (ja) 障害物検出装置
WO2019093378A1 (ja) 表示処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5067632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees