WO2007015446A1 - 車両周囲監視装置及び車両周囲監視方法 - Google Patents
車両周囲監視装置及び車両周囲監視方法 Download PDFInfo
- Publication number
- WO2007015446A1 WO2007015446A1 PCT/JP2006/315114 JP2006315114W WO2007015446A1 WO 2007015446 A1 WO2007015446 A1 WO 2007015446A1 JP 2006315114 W JP2006315114 W JP 2006315114W WO 2007015446 A1 WO2007015446 A1 WO 2007015446A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- obstacle
- obstacle detection
- vehicle
- camera
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims description 9
- 238000001514 detection method Methods 0.000 claims abstract description 115
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 19
- 238000012806 monitoring device Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 abstract description 10
- 238000003786 synthesis reaction Methods 0.000 abstract description 10
- 240000004050 Pentaglottis sempervirens Species 0.000 description 22
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 22
- 239000000872 buffer Substances 0.000 description 10
- 239000000203 mixture Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R19/00—Wheel guards; Radiator guards, e.g. grilles; Obstruction removers; Fittings damping bouncing force in collisions
- B60R19/02—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects
- B60R19/48—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds
- B60R19/483—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds with obstacle sensors of electric or electronic type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Abstract
自車両に設置され、自車両周囲の映像を撮像する少なくとも1台のカメラ2と、カメラ2の撮像範囲における障害物を検出する障害物センサ3と、カメラ2で撮像したカメラ画像を入力し、当該カメラ画像を、自車両の上空の仮想視点から見た視点変換画像に変換する画素合成部13と、画素合成部13で変換した視点変換画像を表示させる表示装置4とを備え、障害物センサ3の障害物検出範囲内に障害物が侵入した場合に警告音により警報を行うと同時に、カメラ2で撮影して視点変換画像に含まれる障害物画像に、障害物検出範囲の画像が接触するように画像合成する。
Description
明 細 書
車両周囲監視装置及び車両周囲監視方法
技術分野
[0001] 本発明は、車両周囲に存在する障害物等を運転者に認識させる車両周囲監視装 置及び車両周囲監視方法に関する。
背景技術
[0002] 従来より、カメラを用いて自車両の周囲を監視し、運転者が直接視で確認できない 自車両周囲の死角を容易に確認できるようにすることで、後退時や駐車時等の低速 走行時に障害物や歩行者などと接触する可能性を認識させる運転支援装置が知ら れている。
[0003] この運転支援装置としては、様々な技術が提案されている力 例えば、カメラをリア トランク部等の車体後部に配設して、車両後方を撮像方向とし、当該カメラで撮像し たカメラ映像を、運転者が目視できるダッシュボード上の表示モニタに表示させるリア ビューカメラ装置が挙げられる。このリアビューカメラ装置は、自車両の進行方向と障 害物との位置関係をカメラ映像によってより簡単に判断できるように、自車両前輪の 操舵角に応じた予測軌跡をカメラ映像にオーバーレイ表示するものがある。また、従 来より、カメラ映像を表示して視覚的に運転支援を行うシステムとは別に、車両の周 囲に存在する障害物を、超音波の反射により検出する超音波センサ等を用いて、障 害物の有無、自車両と障害物との位置関係、自車両との距離を警告音や LED (Ligh t Emitting Diode)等によって警告するものも知られている。
[0004] また、近年においては、特開 2001— 315603号公報に開示されているように、画 像合成技術を利用して、あたかも自車両の上空にある仮想的なカメラから自車両を 見下ろしたような俯瞰画像を表示し、且つこの俯瞰画像に障害物検出センサの検出 範囲や、障害物との距離に応じた障害物が存在しない安全領域や、障害物の路面 境界上に仮想オブジェクトを表示するものが提案されている。また、特開 2001— 31 5603号公報には、障害物検出センサによって障害物を検出した場合に、警報音を 出力している。
[0005] し力しながら、上述したように、俯瞰映像に障害物検出センサの検出範囲を俯瞰画 像に合成して表示すると同時に警報を行う場合に、障害物検出センサで検出された 障害物が地表面から離れた空間上に存在するものであると、実際には障害物が障害 物検出センサの検出範囲内に存在するにも拘わらず、俯瞰画像上では障害物検出 センサの検出範囲内に障害物が存在しな 、ように表示させてしま 、、違和感を与え てしまう。
[0006] そこで、本発明は、上述した実情に鑑みて提案されたものであり、視点変換画像内 に障害物検出範囲を表示させる場合に、当該障害物検出範囲と障害物との位置関 係に違和感を生じさせない表示を行う車両周囲監視装置及び車両周囲監視方法を 提供することを目的とする。
発明の開示
[0007] 本発明に係る車両周囲監視装置は、自車両に設置され、自車両周囲の映像を撮 像する少なくとも 1台のカメラと、自車両に設置され、障害物検知エリア内における障 害物を検出する障害物検出手段と、前記カメラで撮像したカメラ画像を、自車両の上 空の仮想視点から見た視点変換画像に変換する画像処理手段と、前記画像処理手 段で変換した視点変換画像を表示させる表示手段とを備え、上述の課題を解決する ために、前記障害物検出手段の障害物検出範囲内に障害物が侵入した場合に警告 音により警報を行うと同時に、前記画像処理手段は、前記カメラで撮影して前記視点 変換画像に含まれる障害物に、前記障害物検出手段の障害物検出範囲を示す画 像が接触するように画像合成する。
[0008] 本発明に係る車両周囲監視方法は、自車両に設置されたカメラによって、自車両 周囲の映像を撮像すると共に、前記カメラの撮像範囲における障害物を検出し、上 述の課題を解決するために、前記障害物の存在が検出された場合には、前記障害 物検出手段の障害物検出範囲内に障害物が侵入した場合に警告音により警報を行 うと同時に、前記カメラで撮影して前記視点変換画像に含まれる障害物に、前記障 害物検出手段の障害物検出範囲を示す画像が接触するように画像合成する。 図面の簡単な説明
[0009] [図 1]図 1は、本発明を適用した車両周囲監視装置の構成を示すブロック図である。
[図 2]図 2は、自車両に取り付けられたカメラ及び障害物センサの配設位置について 説明する上面図である。
[図 3]図 3は、画像処理部によって作成する俯瞰画像を示す図である。
[図 4]図 4は、自車両の右後方に柱が存在した時の俯瞰画像について説明するため の図であり、(a)は自車両の背面図、(b)は自車両の上面図、(c)は俯瞰画像である
[図 5]図 5は、自車両が柱に近づいた時の他の俯瞰画像について説明するための図 であり、(a)は自車両の背面図、(b)は自車両の上面図、(c)は俯瞰画像である。
[図 6]図 6は、自車両の右後方に他車両が存在した時の俯瞰画像について説明する ための図であり、(a)は自車両の背面図、(b)は自車両の上面図、(c)は俯瞰画像で ある。
[図 7]図 7は、自車両が他車両に近づいた時の俯瞰画像について説明するための図 であり、(a)は自車両の背面図、(b)は自車両の上面図、(c)は俯瞰画像である。
[図 8]図 8は、俯瞰画像内における障害物の位置ズレが発生する原因について説明 するための図である。
[図 9]図 9 (a)は、自車両の障害物検出センサの障害物検出範囲内に、他車両が存 在している実際の状態を示す上面図、図 9 (b)は、自車両の障害物検出センサの障 害物検出範囲内に、他車両が存在している実際の状態を示す斜視図である。
[図 10]図 10は、障害物検出センサの障害物検出範囲を、カメラの視点力 地面上に 投影した領域を説明する斜視図である。
[図 11]図 11 (a)は自車両の障害物検出範囲に他車両が存在しな 1、時の俯瞰画像を 示す図であり、図 11 (b)は自車両の障害物検出範囲に他車両が存在しているにも拘 わらず自車両の障害物検出範囲に他車両が接触していない俯瞰画像を示す図であ る。
[図 12]図 12は、本発明を適用した車両周囲監視装置によって、障害物検出センサの 障害物検出範囲をカメラの視点力 地面上に投影した領域を、障害物検出範囲画 像として合成した俯瞰画像を示す図である。
[図 13]図 13は、本発明を適用した車両周囲監視装置によって、障害物検出範囲を
立体的に合成した俯瞰画像を示す図である。
[図 14]図 14は、本発明を適用した車両周囲監視装置によって、障害物検出範囲を 地面上に投影した障害物検出範囲画像と、他車両を地面上に投影した位置を示す ガイド線とを合成した俯瞰画像を示す図である。
[図 15]図 15は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させ た俯瞰画像を示す他の図である。
[図 16]図 16は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させ た俯瞰画像を示す他の図である。
[図 17]図 17は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させ た俯瞰画像を示す他の図である。
発明を実施するための最良の形態
[0010] 以下、本発明の実施の形態について図面を参照して説明する。
[0011] 本発明は、例えば図 1に示すように構成された車両周囲監視装置に適用される。こ の車両周囲監視装置は、画像処理部 (画像処理手段) 1に、少なくとも 1台以上の複 数のカメラ 2—1, 2- 2, · · · , 2—N (以下、総称する場合には単に「カメラ 2」と呼ぶ。 )と、地面から離間した空間上の障害物を検知する複数の障害物センサ (障害物検 出手段) 3— 1, 3- 2, · · · , 3— 3 (以下、総称する場合には単に「障害物センサ 3」と 呼ぶ。)と、表示装置 4が接続されている。カメラ 2—1, 2- 2, · · · , 2—Nは、それぞ れが自車両の異なる位置に配設され、それぞれによって異なる撮像方向とされてい る。また、障害物センサ 3— 1, 3- 2, · · · , 3— 3は、カメラ 2と同様に、それぞれが自 車両の異なる位置に配設され、それぞれによって異なる障害物検出範囲とされてい る。
[0012] 具体的には、図 2に示すように、カメラ 2—1, 2- 2, · · · , 2—Nは、例えば画角が 水平 180度の超広角カメラであり、自車両の前方を撮像するカメラ 2F、後方を撮像 するカメラ 2B、右側方を撮像する 2R、左側方を撮像する 2Lの 4台のカメラカゝらなる。 これにより、カメラ 2F, 2B, 2R, 2Lは、後述の画像処理部 1によって、図 3に表示装 置 4に表示させる画像合成処理 (視点変換処理)が施された俯瞰画像 (視点変換画 像) 100を示すように、 4台のカメラによって撮像したフロントカメラ表示領域 101F、リ
ァカメラ表示領域 101B、右側方カメラ表示領域 101R、左側方カメラ表示領域 101L からなり、自車両の全周囲を把握させる画像を作成させることができる。
[0013] なお、俯瞰画像 100は、図 2に示すカメラ 2F, 2B, 2R, 2Lによって撮像したカメラ 画像データを用いて、あた力も自車両を上空力も見たように視点変換処理を施した 画像である。また、俯瞰画像 100の略中央に描画された画像は、予め図示しないォ 一バーレイ画像記憶部に記憶された自車両の床面積に相当するサイズを有する自 車両オーバーレイ画像 102である。更に、俯瞰画像 100における各表示領域間には 、黒い帯状の仕切り線が配設されている。なお、各表示領域は、実際の撮像領域に 応じて、この例とは異なるように割り当てることも可能である。
[0014] また、障害物センサ 3— 1, 3- 2, · · · , 3— 3は、設置位置力も扇状に 90度〜 140 度程度の幅であって、自車両から lm程度の距離に存在する障害物を検出する範囲 (障害物検出範囲)が設定されている。この障害物センサ 3— 1, 3- 2, · · · , 3— 3は 、図 2に示すように、右前方方向の障害物を検出する障害物センサ 3FR、左前方方 向の障害物を検出する障害物センサ 3FL、右後方方向の障害物を検出する障害物 センサ 3BR、左後方方向の障害物を検出する障害物センサ 3BLの 4台の障害物セ ンサからなる。これらの障害物センサ 3FR, 3FL, 3BR, 3BLは、図 3におけるフロン トカメラ表示領域 101Fに存在する障害物を障害物センサ 3FR, 3FLで検出し、リア カメラ表示領域 101Bに存在する障害物を障害物センサ 3BR, 3BLで検出し、右側 方カメラ表示領域 101Rに存在する障害物を障害物センサ 3FR, BRで検出し、左側 方カメラ表示領域 101Lに存在する障害物を障害物センサ 3FL, 3BLで検出できる ようになっている。
[0015] 以下、図 2に示すように、カメラ 2—1, 2- 2, · · · , 2—Nがカメラ 2F, 2B, 2R, 2L で構成され、障害物センサ 3— 1, 3- 2, · · · , 3— 3が障害物センサ 3FR, 3FL, 3B R, 3BLで構成された場合について説明する。
[0016] 画像処理部 1は、図 1に示すように、カメラ 2F, 2B, 2R, 2Lで撮像した車両周囲の カメラ画像データを、それぞれのカメラ 2F, 2B, 2R, 2Lに対応した入力バッファであ るフレームバッファ 11— 1, 11 - 2, · · · , 11— N (以下、総称する場合には単に「フレ ームバッファ 11」と呼ぶ。)で入力して一時記憶する。このフレームバッファ 11に記憶
された複数のカメラ画像データは、画素合成部 13による画像合成処理によって俯瞰 画像 100を作成するために使用される。
[0017] また、画像処理部 1は、障害物センサ 3FR, 3FL, 3BR, 3BLからのセンサ信号を 単一の障害物判定部 12で入力する。障害物判定部 12は、入力した各センサ信号か ら、自車両周囲における障害物の有無、障害物が存在する時の位置及び距離を算 出する。そして、障害物判定部 12は、当該算出した障害物の有無、障害物の位置及 び距離をテーブル切換部 14に出力する。
[0018] テーブル切換部 14は、障害物判定部 12からの障害物の有無、障害物の位置及び 距離を示す情報に応じて、画素合成部 13による画像合成処理で参照するテーブル (アドレス変換テーブル)を、テーブル記憶部 15に記憶されている複数のアドレス変 換テーブルのうち、何れかのアドレス変換テーブルに切り換える。
[0019] このテーブル記憶部 15に記憶されているアドレス変換テーブルには、表示装置 4 に出力する出力画像である俯瞰画像 100の各ピクセルと、当該ピクセルに格納する 画素データを特定する情報との対応関係が記述されている。具体的には、アドレス変 換テーブルには、出力画像である俯瞰画像 100を構成する各ピクセルにカメラ画像 データを格納する力、自車両や障害物を表すオーバーレイ画像を格納する力、カメ ラ画像データを格納する場合においてどのフレームバッファ 11内のどのアドレスから 画素データを取り出すか、オーバーレイ画像を格納する場合にぉ 、てどの色情報を 格納するかを記述している。すなわち、アドレス変換テーブルは、画素合成部 13によ つて、俯瞰画像 100を作成するためのカメラ画像データをフレームバッファ 11又は図 示しな ヽオーバーレイ画像記憶部の何れかから取り出させるカゝ、当該取り出された力 メラ画像データ又はオーバーレイ画像を映像信号生成部 16内の出力バッファのどの アドレスに格納させるかと 、う画像合成処理の内容を記述して 、る。
[0020] 画素合成部 13は、映像信号生成部 16で選択されたアドレス変換テーブルを参照 して、フレームバッファ 11に記憶されたカメラ画像データ、又は、自車両や障害物等 を表すオーバーレイ画像を取り出して、映像信号生成部 16内の出力バッファに格納 させる。これにより、画素合成部 13は、各カメラ 2F, 2B, 2R, 2Lで撮像した複数の力 メラ画像データを合成した俯瞰画像 100を映像信号生成部 16内に格納させる。
[0021] 映像信号生成部 16は、画素合成部 13によって 1フレーム分の俯瞰画像 100が出 力バッファに格納されると、当該俯瞰画像 100を表示装置 4に出力して、表示装置 4 に表示させる。この映像信号生成部 16の出力バッファ力 表示装置 4への俯瞰画像 100の出力タイミングは、画素合成部 13による画像合成処理のタイミングと共に、予 め設定されている。
[0022] また、障害物判定部 12には、当該障害物判定部 12によって障害物センサ 3の障害 物検出範囲に障害物が存在することを検出した場合に、その旨の警報音を出力する 警報出力部 17が接続されている。この警報出力部 17は、運転者に対して所定の警 報音を出力するスピーカなど力もなる。
[0023] つぎに、上述したように構成された車両周囲監視装置によって、俯瞰画像 100を表 示装置 4に表示させる具体的な例について説明する。
[0024] 例えば図 4 (a)、(b)に示すように、自車両の右後方に障害物としての柱 110が存在 する場合、俯瞰画像 100は、図 4 (c)に示すように、自車両オーバーレイ画像 102の 右下であってリアカメラ表示領域 101B内に障害物画像 120を含む。この柱 110のよ うに、地面に接して垂直に立っている障害物である場合、俯瞰画像 100において柱 1 10と地面との接触面が自車両に対して正しい位置に表示でき、図 4 (a)の状態で真 つ直ぐ後退すると、図 5 (a)、(b)に示すように、自車両が柱 110に接触することを把 握させることができる。これに対し、画像処理部 1は、図 5 (c)に示すように、リアカメラ 表示領域 101Bにおける柱 110が歪んで表示される障害物画像 120'を作成し、当 該障害物画像 120'を自車両オーバーレイ画像 102に接触して 、るように表示できる
[0025] また、図 6及び図 7に示すように、図 4及び図 5における柱 110の位置に、停車した 他車両 130が存在する場合、自車両に最も近い位置に存在する障害物は、当該他 車両 130のバンパーであり、柱 110とは異なって地面から所定の高さに存在するもの である。
[0026] このような地面力 空中に存在する場合には、カメラ 2F, 2B, 2R, 2Lの取付高さと の位置関係によって、自車両と他車両 130との位置関係が俯瞰画像 100内でずれ てしまうという位置ズレという現象が発生する。すなわち、図 6 (a)及び図 6 (b)に示す
ように、自車両が真っ直ぐに後退した時には、他車両 130と接触してしまう位置関係 であるにも拘わらず、図 6 (c)に示すように、自車両と他車両 130とが接触しないよう な俯瞰画像 100となってしまう可能性がある。また、図 6 (a)、図 6 (b)に示す状態から 、自車両が真っ直ぐに後退して、図 7 (a)、図 7 (b)のように、実際には自車両と他車 両 130とが接触して 、る状態となっても、図 7 (c)のように接触して 、な 、ような他車 両画像 140'を含む俯瞰画像 100となる可能性がある。
[0027] このように、俯瞰画像 100において自車両と他車両 130との位置関係がずれる現 象は、図 8に示すように、カメラ 2の地上高さ HIと障害物の地上高さ H2との関係によ つて、カメラ 2から障害物までの距離が、空中にある障害物に関しては実際よりもカメ ラ 2から離れて 、る位置にあるように撮像されると!/、う、俯瞰画像 100を生成する原理 そのものに起因する。すなわち、実際であれば、カメラ 2から距離 D1だけしか障害物 との距離がないにも拘わらず、カメラ撮像範囲における距離 D2に障害物が撮像され るために、俯瞰画像 100には、カメラ 2から、距離 D1よりも遠くの距離 D2の位置に障 害物が含まれてしまう。
[0028] 更に具体的には、図 9 (a)に上空から見た図、図 9 (b)に自車両の斜め後方から見 た図を示すように、実際に、障害物センサ 3BRの障害物検出範囲 3a内に障害物で ある他車両 130が存在する場合を考える。この場合、カメラ 2の設置位置が障害物セ ンサ 3の設置位置よりも上方に存在する場合、カメラ 2が撮像する障害物検出範囲 3a は、図 10に示すように、障害物検出範囲 3aを地面に投影した領域 3bのみならず、力 メラ 2の設置位置力 障害物検出範囲 3aの端部を通過して地面に投影した範囲の領 域 3cとなる。
[0029] したがって、実際には、障害物検出範囲 3a内に他車両 130が存在していても、図 1 1 (a)に示すような俯瞰画像 100に、障害物検出範囲 3aを垂直に地面に投影した領 域 3bを示す障害物検出範囲画像 150を合成させても、図 11 (b)に示すように、カメラ 2で撮像して視点変換された俯瞰画像 100では、障害物検出範囲 3a内に他車両画 像 140が接触して 、ることを提示できな!/、。
[0030] これに対し、本発明を適用した車両周囲監視装置では、障害物センサ 3の障害物 検出範囲 3a内に障害物が侵入した場合に、警報出力部 17によって警告音を出力さ
せて警報を行うと同時に、画素合成部 13によって、カメラ 2で撮影して俯瞰画像 100 に含まれる障害物の画像に障害物センサ 3の障害物検出範囲 3aの画像が接触する ように画像合成して、当該俯瞰画像 100を表示装置 4に表示させる。
[0031] この障害物センサ 3の障害物検出範囲 3aの画像は、図 10に示すように、カメラ 2が 障害物検出範囲 3aを撮像した時に、当該カメラ 2の取り付け位置を視点にして障害 物検出範囲 3aを地面に投影した範囲の領域 3cを示すオーバーレイ画像 (以下、障 害物検出範囲画像と呼ぶ。)である。
[0032] このような車両周囲監視装置は、障害物判定部 12によって障害物を検出していな い通常時には、画素合成部 13で処理したそのままの俯瞰画像 100を表示させ、障 害物判定部 12によって障害物を検出した場合には、俯瞰画像 100上に、障害物検 出範囲画像を合成して表示させる。これにより、車両周囲監視装置は、障害物を検 出した場合には、地面に接触していない空中の障害物が存在した場合に、視点変換 画像を行った俯瞰画像 100において障害物センサ 3の障害物検出範囲 3a内に障害 物が存在することを認識させる。
[0033] 具体的には、図 9に示すような自車両と他車両 130との位置関係である時に、自車 両の右後方に障害物判定部 12によって障害物の存在を検出した場合には、図 11に 示すような俯瞰画像 100を、図 12乃至図 14の何れかのような表示に切り換え、障害 物判定部 12によって障害物が検出されなくなったら、図 11の俯瞰画像 100に表示を 戻す。
[0034] 図 12に示す俯瞰画像 100は、リアカメラ表示領域 101B内に、自車両の右後方で 検出された障害物である他車両画像 140を表示させると共に、自車両後方の所定の 領域に、半透明で、カメラ 2の設置位置力 障害物検出範囲 3aの端部を通過して地 面に投影した範囲の領域 3cを示す障害物検出範囲画像 151を合成した画像である
[0035] このような表示を行う場合、障害物判定部 12では、自車両の右後方で障害物を検 出したことをテーブル切換部 14に通知し、テーブル切換部 14では、障害物検出範 囲画像 151を自車両オーバーレイ画像 102の後方側に表示させるようなアドレス変 換テーブルを選択する。これによつて、画素合成部 13では、自車両オーバーレイ画
像 102の後方に、カメラ画像データではなく障害物検出範囲画像 151を表示させた 俯瞰画像 100を作成できる。同時に、障害物判定部 12は、警報出力部 17を動作さ せて、障害物検出範囲 3a内に他車両 130が存在することを警報する。
[0036] また、図 13に示す俯瞰画像 100は、他車両 130を検出した障害物センサ 3BRの障 害物検出範囲 3aを立体的な障害物検出範囲画像 152を合成した画像である。この 障害物検出範囲画像 152は、障害物検出範囲 3aを上空力 見て地面上に投影した 領域 a (図 10の領域 3b)を底面とし、当該底面の領域 aに図 10に示す領域 3cに相当 する平面 b, cを接続して構成されている。この平面 b, cは、カメラ 2の取り付け位置を 視点にして障害物センサ 3の障害物検出範囲 3aを地面に投影した領域の境界から 垂直方向に伸びる平面である。
[0037] この障害物検出範囲画像 152の端点 dは、図 10に示すように、カメラ 2の設置位置 力 障害物検出範囲 3aの一方の上方端部を通過して地面に投影した点であり、障 害物検出範囲画像 152の端点 eは、図 10に示すように、カメラ 2の設置位置力も障害 物検出範囲 3aの他方の上方端部を通過して地面に投影した点を示している。このと き、テーブル切換部 14は、立体的な障害物検出範囲画像 152を自車両オーバーレ ィ画像 102の後方側に表示させるアドレス変換テーブルを選択することになる。また 、この立体的な障害物検出範囲画像 152の立体面 bと立体面 cとは、当該立体的 b, cとの区別を容易とするために、異なる表示色とすることが望ま 、。
[0038] このように、障害物検出範囲 3aの画像として、立体的な障害物検出範囲画像 152 を表示させることによって、他車両 130が地面から離れた状態で障害物センサ 3の障 害物検出範囲 3a内に存在していることを提示することができる。
[0039] 更に、図 14に示す俯瞰画像 100は、障害物検出範囲 3aを地面上に投影した領域
(図 10の領域 3b)の障害物検出範囲画像 150と、地面力も離間した空間に存在する 他車両画像 140を地面上に投影した位置のガイド線 153とを合成した画像である。 ガイド線 153は、他車両 130の端部である車体部分およびバンパー部分を地面上に 投影した線を示し、障害物検出範囲画像 150と接触して表示されている。
[0040] このとき、テーブル切換部 14は、障害物検出範囲画像 150を自車両オーバーレイ 画像 102の後方側に表示させるアドレス変換テーブルを選択し、画素合成部 13は、
障害物判定部 12によって算出した地面力も離間した他車両 130の一部が存在する 距離の位置にガイド線 153を合成させた俯瞰画像 100を作成する。この画素合成部 13は、予め、俯瞰画像 100内において障害物センサ 3からの距離座標を記憶してお り、障害物判定部 12で算出された他車両 130までの距離の俯瞰画像 100内の位置 にガイド線 153を合成する。これによつて、ガイド線 153は、他車両画像 140を地面 上に投影される形態で表示される。
[0041] これによつて、ガイド線 153は、障害物検出範囲画像 150と重なる形態で俯瞰画像 100に合成され、障害物検出範囲 3a内に他車両 130が存在していることを運転者に 提示できる。
[0042] 更にまた、俯瞰画像 100における自車両オーバーレイ画像 102と他車両画像 140 との位置関係力 実際の自車両と他車両 130との位置関係とずれていることを把握さ せる他の手法としては、図 15乃至図 17に示すように、俯瞰画像 100の略中心に描 画させている自車両オーバーレイ画像 102の表示形態を変更させても良い。
[0043] 図 15に示す俯瞰画像 100は、右後方に他車両画像 140を表示させると共に、自車 両オーバーレイ画像 102の左右側方に設けられたオーバーレイ画像 160A、 160B を設け、他車両画像 140が存在する方向におけるオーバーレイ画像 160Bを警報色 で表示させる。このとき、テーブル切換部 14は、自車両オーバーレイ画像 102の側 方に、半透明のオーバーレイ画像 160Aと警報色のオーバーレイ画像 160Bとを、自 車両オーバーレイ画像 102の両側方にそれぞれ表示させるアドレス変換テーブルを 選択することになる。これによつて、自車両の床面積よりも、自車両オーバーレイ画像 102の面積を大きくする。
[0044] また、図 16に示す俯瞰画像 100は、自車両オーバーレイ画像 102を、横方向に拡 大させた仮想的な自車両オーバーレイ画像 102'に変更する。このとき、テーブル切 換部 14は、自車両オーバーレイ画像 102の幅を大きくした自車両オーバーレイ画像 102'を表示させるアドレス変換テーブルを選択することになる。
[0045] 更に、図 17に示すように、自車両オーバーレイ画像 102を、横方向に拡大させると 共に立体的に拡大させて、仮想的な自車両オーバーレイ画像 102'に変更する。こ のとき、テーブル切換部 14は、自車両オーバーレイ画像 102の幅を大きくし、且つ、
立体的な自車両オーバーレイ画像 102'を表示させるアドレス変換テーブルを選択 すること〖こなる。
[0046] このように、障害物が検出された場合に、自車両の床面積相当のサイズの自車両 オーバーレイ画像 102から、幅方向に拡大させることによって、自車両が真っ直ぐに 後退すると、自車両と他車両画像 140とが接触するような位置関係を運転者に把握 させることがでさる。
[0047] また、図 15乃至図 17のように、自車両オーバーレイ画像 102を拡大させて表示さ せる時に、警報出力部 17によって、他車両 130が障害物検出範囲 3a内に存在する ことを警報音で把握させてもよい。これにより、実際には障害物センサ 3で検出した障 害物と自車両とが接触する可能性があり、その旨を確実に運転者に提示できる。
[0048] なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実 施形態に限定されることはなぐこの実施の形態以外であっても、本発明に係る技術 的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは 勿論である。
[0049] すなわち、上述した俯瞰画像 100の表示例では、障害物検出範囲画像を半透明で 表示させることを説明したが、これに限らず、障害物検出範囲画像を点滅させても良 い。
産業上の利用可能性
[0050] 本発明によれば、障害物が検出された場合には、警報を発すると共に障害物の画 像と障害物検出範囲とが接触するように画像合成をするので、障害物が地面から離 れて存在している場合であって視点変換画像における障害物の位置ズレが発生して も、障害物検出範囲と障害物との位置関係に違和感を生じさせない表示を行うことが できる。
Claims
[1] 自車両に設置され、自車両周囲の映像を撮像する少なくとも 1台のカメラと、
自車両に設置され、障害物検知エリア内における障害物を検出する障害物検出手 段と、
前記カメラで撮像したカメラ画像を、自車両の上空の仮想視点から見た視点変換画 像に変換する画像処理手段と、
前記画像処理手段で変換した視点変換画像を表示させる表示手段とを備え、 前記障害物検出手段の障害物検出範囲内に障害物が侵入した場合に警告音によ り警報を行うと同時に、前記画像処理手段は、前記カメラで撮影して前記視点変換 画像に含まれる障害物画像に、前記障害物検出手段の障害物検出範囲の画像が 接触するように画像合成することを特徴とする車両周囲監視装置。
[2] 前記画像処理手段は、前記カメラの取り付け位置を視点にして前記障害物検出手 段の障害物検出範囲を地面に投影した画像を、前記障害物検出範囲の画像とし、 前記地面に投影した障害物検出範囲の画像を前記仮想視点から見た視点変換画 像に合成することを特徴とする請求項 1に記載の車両周囲監視装置。
[3] 前記画像処理手段は、前記障害物検出手段の障害物検出範囲の画像を、前記視 点変換画像に立体的に合成することを特徴とする請求項 1に記載の車両周囲監視 装置。
[4] 前記障害物検出範囲の画像を、前記障害物検出範囲を地面上に投影した領域の 画像と、前記カメラの取り付け位置を視点にして前記障害物検出手段の障害物検出 範囲を地面に投影した領域の境界力 垂直方向に伸びる平面とからなる立体的な画 像として前記視点変換画像に合成して表示させることを特徴とする請求項 3に記載の 車両周囲監視装置。
[5] 前記障害物検出手段は、地面から離間した空間上の障害物を検知するものであり 前記障害物検出範囲を地面上に投影した領域の画像と、前記障害物検知手段に より検知した空間上の障害物を地面上に投影した位置に表示され、前記障害物検出 範囲を地面上に投影した領域の画像と接触する画像とを、前記視点変換画像に合
成して表示させることを特徴とする請求項 1に記載の車両周囲監視装置。
[6] 前記画像処理手段は、前記障害物検出範囲の画像を、半透明で表示させることを 特徴とする請求項 1に記載の車両周囲監視装置。
[7] 自車両に設置されたカメラによって、自車両周囲の映像を撮像すると共に、前記力 メラの撮像範囲における障害物を障害物検出センサによって検出し、
前記障害物検出センサによって障害物の存在が検出された場合には、警告音によ り警報を行うと同時に、前記カメラで撮影して前記視点変換画像に含まれる障害物に
、前記障害物検出センサの障害物検出範囲の画像が接触するように画像合成するこ とを特徴とする車両周囲監視方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007529249A JP4760831B2 (ja) | 2005-08-02 | 2006-07-31 | 車両周囲監視装置及び車両周囲監視方法 |
EP06781992.0A EP1916846B1 (en) | 2005-08-02 | 2006-07-31 | Device and method for monitoring vehicle surroundings |
US11/997,515 US8885045B2 (en) | 2005-08-02 | 2006-07-31 | Device and method for monitoring vehicle surroundings |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005-224489 | 2005-08-02 | ||
JP2005224489 | 2005-08-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2007015446A1 true WO2007015446A1 (ja) | 2007-02-08 |
Family
ID=37708726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2006/315114 WO2007015446A1 (ja) | 2005-08-02 | 2006-07-31 | 車両周囲監視装置及び車両周囲監視方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8885045B2 (ja) |
EP (1) | EP1916846B1 (ja) |
JP (1) | JP4760831B2 (ja) |
WO (1) | WO2007015446A1 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009105660A (ja) * | 2007-10-23 | 2009-05-14 | Alpine Electronics Inc | 車載用撮像装置 |
JP2009118415A (ja) * | 2007-11-09 | 2009-05-28 | Alpine Electronics Inc | 鳥瞰画像生成装置および方法 |
WO2009081519A1 (en) | 2007-12-26 | 2009-07-02 | Nissan Motor Co., Ltd. | Vehicle parking assist system and method |
JP2009262736A (ja) * | 2008-04-24 | 2009-11-12 | Daihatsu Motor Co Ltd | 障害物認識装置 |
US20100253780A1 (en) * | 2009-04-03 | 2010-10-07 | Shih-Hsiung Li | Vehicle auxiliary device |
EP2397386A1 (en) | 2010-06-21 | 2011-12-21 | Hitachi, Ltd. | Status monitoring apparatus of railway vehicle |
US8319614B2 (en) | 2008-07-25 | 2012-11-27 | Nissan Motor Co., Ltd. | Parking assistance apparatus and parking assistance method |
US9064293B2 (en) | 2010-06-15 | 2015-06-23 | Mitsubishi Electric Corporation | Vehicle surroundings monitoring device |
JP2017118409A (ja) * | 2015-12-25 | 2017-06-29 | 株式会社Jvcケンウッド | 車両用表示装置および車両用表示方法 |
WO2019003854A1 (ja) * | 2017-06-30 | 2019-01-03 | クラリオン株式会社 | 画像処理装置、画像変換方法 |
JP2020110001A (ja) * | 2016-01-13 | 2020-07-16 | 株式会社Jvcケンウッド | 車両用表示装置、車両用表示方法およびプログラム |
JP2021044751A (ja) * | 2019-09-12 | 2021-03-18 | アイシン精機株式会社 | 周辺監視装置 |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7277123B1 (en) * | 1998-10-08 | 2007-10-02 | Matsushita Electric Industrial Co., Ltd. | Driving-operation assist and recording medium |
JP4512293B2 (ja) * | 2001-06-18 | 2010-07-28 | パナソニック株式会社 | 監視システムおよび監視方法 |
JP4893945B2 (ja) * | 2007-02-06 | 2012-03-07 | 株式会社デンソー | 車両周辺監視装置 |
DE102007045562A1 (de) * | 2007-09-24 | 2009-04-02 | Robert Bosch Gmbh | Steuereinrichtung für eine Anzeigeeinrichtung einer Einparkeinrichtung und Verfahren zur Darstellung |
JP5108605B2 (ja) * | 2008-04-23 | 2012-12-26 | 三洋電機株式会社 | 運転支援システム及び車両 |
JP5177515B2 (ja) * | 2008-06-02 | 2013-04-03 | アイシン精機株式会社 | 周辺認知支援システム |
JP5093602B2 (ja) | 2008-06-04 | 2012-12-12 | アイシン精機株式会社 | 周辺認知支援装置 |
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
JP5344227B2 (ja) * | 2009-03-25 | 2013-11-20 | アイシン精機株式会社 | 車両用周辺監視装置 |
DE102009024062A1 (de) * | 2009-06-05 | 2010-12-09 | Valeo Schalter Und Sensoren Gmbh | Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung |
CA2765254C (en) | 2009-06-12 | 2016-11-22 | Safemine Ag | Movable object proximity warning system |
US20110080482A1 (en) * | 2009-10-06 | 2011-04-07 | Wen-Ching Shih | Monitor-displayed device for car rear vision |
WO2011069267A1 (en) | 2009-12-11 | 2011-06-16 | Safemine Ag | Modular collision warning apparatus and method for operating the same |
CN102933429B (zh) * | 2010-06-09 | 2015-04-29 | 日产自动车株式会社 | 停车模式选择装置以及停车模式选择方法 |
AU2011264358B2 (en) * | 2010-06-10 | 2015-10-29 | Safemine Ag | Method and control unit for controlling a display |
US20120249342A1 (en) * | 2011-03-31 | 2012-10-04 | Koehrsen Craig L | Machine display system |
TWI421624B (zh) * | 2011-04-01 | 2014-01-01 | Ind Tech Res Inst | 環場監控裝置及其方法 |
WO2012164804A1 (ja) * | 2011-06-02 | 2012-12-06 | パナソニック株式会社 | 物体検出装置、物体検出方法および物体検出プログラム |
AU2012268476B2 (en) * | 2011-06-07 | 2014-05-15 | Komatsu Ltd. | Perimeter monitoring device for work vehicle |
EP2750382B1 (en) * | 2011-08-26 | 2017-06-28 | Panasonic Intellectual Property Management Co., Ltd. | Driving assistance apparatus |
DE102011084554A1 (de) * | 2011-10-14 | 2013-04-18 | Robert Bosch Gmbh | Verfahren zur Darstellung eines Fahrzeugumfeldes |
US9762880B2 (en) * | 2011-12-09 | 2017-09-12 | Magna Electronics Inc. | Vehicle vision system with customized display |
US20150130937A1 (en) * | 2011-12-29 | 2015-05-14 | David L. Graumann | Systems and methods for proximal object awareness |
US20140118533A1 (en) * | 2012-01-27 | 2014-05-01 | Doosan Infracore Co., Ltd. | Operational stability enhancing device for construction machinery |
US8768583B2 (en) | 2012-03-29 | 2014-07-01 | Harnischfeger Technologies, Inc. | Collision detection and mitigation systems and methods for a shovel |
JP6029306B2 (ja) * | 2012-03-29 | 2016-11-24 | 住友建機株式会社 | 作業機械用周辺監視装置 |
DE102012106691A1 (de) * | 2012-07-24 | 2014-01-30 | Valeo Schalter Und Sensoren Gmbh | Alternativer Einbau eines verdeckten Ultraschallsensors im Kraftfahrzeug |
US10163348B2 (en) * | 2012-08-01 | 2018-12-25 | Toyota Jidosha Kabushiki Kaisha | Drive assist device |
US9704361B1 (en) * | 2012-08-14 | 2017-07-11 | Amazon Technologies, Inc. | Projecting content within an environment |
US9674490B2 (en) | 2013-04-18 | 2017-06-06 | Magna Electronics Inc. | Vision system for vehicle with adjustable cameras |
EP2860718B1 (en) * | 2013-10-10 | 2018-12-05 | U-Shin France | Detection device for a motor vehicle and associated methods for detecting an obstacle and for opening a movable panel of the motor vehicle |
US9598012B2 (en) * | 2014-03-11 | 2017-03-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Surroundings monitoring system for a vehicle |
DE102014107235A1 (de) * | 2014-05-22 | 2015-11-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm |
US10525883B2 (en) * | 2014-06-13 | 2020-01-07 | Magna Electronics Inc. | Vehicle vision system with panoramic view |
US11472338B2 (en) | 2014-09-15 | 2022-10-18 | Magna Electronics Inc. | Method for displaying reduced distortion video images via a vehicular vision system |
EP3207336A4 (en) * | 2014-10-14 | 2018-06-20 | Sikorsky Aircraft Corporation | Synthetic vision augmented with multispectral sensing |
KR101629577B1 (ko) * | 2014-12-10 | 2016-06-13 | 현대오트론 주식회사 | 카메라를 이용한 모니터링 방법 및 장치 |
US9610893B2 (en) * | 2015-03-18 | 2017-04-04 | Car1St Technologies, Llc | Methods and systems for providing alerts to a driver of a vehicle via condition detection and wireless communications |
US10328855B2 (en) | 2015-03-18 | 2019-06-25 | Uber Technologies, Inc. | Methods and systems for providing alerts to a connected vehicle driver and/or a passenger via condition detection and wireless communications |
JP6224029B2 (ja) * | 2015-05-21 | 2017-11-01 | 富士通テン株式会社 | 画像処理装置および画像処理方法 |
US10486599B2 (en) * | 2015-07-17 | 2019-11-26 | Magna Mirrors Of America, Inc. | Rearview vision system for vehicle |
US9787951B2 (en) * | 2015-12-18 | 2017-10-10 | Serge Kannon | Vehicle proximity warning system |
WO2017154317A1 (ja) * | 2016-03-09 | 2017-09-14 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
JP6256509B2 (ja) * | 2016-03-30 | 2018-01-10 | マツダ株式会社 | 電子ミラー制御装置 |
JP6595401B2 (ja) * | 2016-04-26 | 2019-10-23 | 株式会社Soken | 表示制御装置 |
US10501018B2 (en) * | 2016-07-18 | 2019-12-10 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Head up side view mirror |
US10279786B2 (en) * | 2016-12-06 | 2019-05-07 | Aptiv Technologies Limited | Automatic braking system |
JP6579144B2 (ja) * | 2017-03-28 | 2019-09-25 | 株式会社Soken | 障害物検知装置 |
US10913434B2 (en) | 2017-06-01 | 2021-02-09 | Aptiv Technologies Limited | Automatic braking system for slow moving objects |
TWI688502B (zh) * | 2018-02-14 | 2020-03-21 | 先進光電科技股份有限公司 | 用於警告車輛障礙物的設備 |
JP7147255B2 (ja) * | 2018-05-11 | 2022-10-05 | トヨタ自動車株式会社 | 画像表示装置 |
US10967792B1 (en) * | 2018-10-12 | 2021-04-06 | Roger Stafford | Apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device |
US10497232B1 (en) * | 2019-03-01 | 2019-12-03 | Motorola Solutions, Inc. | System and method for dynamic vehicular threat detection perimeter modification for an exited vehicular occupant |
TWM593949U (zh) * | 2019-04-19 | 2020-04-21 | 帷享科技股份有限公司 | 用於車輛之影像整合警示系統 |
EP4009628A4 (en) * | 2019-08-02 | 2022-07-13 | NISSAN MOTOR Co., Ltd. | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
WO2022191813A1 (en) * | 2021-03-08 | 2022-09-15 | Roger Stafford | An apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device |
JP2022182335A (ja) * | 2021-05-28 | 2022-12-08 | 株式会社Subaru | 車両の車外撮像装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1197937A1 (en) | 2000-10-11 | 2002-04-17 | Sharp Kabushiki Kaisha | Surround surveillance apparatus for mobile body |
EP1231110A2 (en) | 2001-02-09 | 2002-08-14 | Matsushita Electric Industrial Co., Ltd. | Picture synthesizing apparatus |
JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
JP2004026012A (ja) * | 2002-06-25 | 2004-01-29 | Auto Network Gijutsu Kenkyusho:Kk | 車輌周辺視認装置 |
EP1407931A1 (de) | 2002-10-11 | 2004-04-14 | Valeo Schalter und Sensoren GmbH | Verfahren und System zur Unterstützung eines Fahrers |
JP2004274114A (ja) * | 2003-03-05 | 2004-09-30 | Nissan Motor Co Ltd | 画像表示装置および画像表示方法 |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
HU178550B (en) | 1978-04-22 | 1982-05-28 | Girling Ltd | Non-skid brake mechanism for multiple-axle wheeled vehicles |
DE69627932T2 (de) * | 1995-06-09 | 2004-02-26 | Xanavi Informatics Corp., Zama | Kartenanzeigegerät |
US6275231B1 (en) | 1997-08-01 | 2001-08-14 | American Calcar Inc. | Centralized control and management system for automobiles |
JPH11168754A (ja) | 1997-12-03 | 1999-06-22 | Mr System Kenkyusho:Kk | 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 |
US7277123B1 (en) * | 1998-10-08 | 2007-10-02 | Matsushita Electric Industrial Co., Ltd. | Driving-operation assist and recording medium |
KR20010112433A (ko) | 1999-04-16 | 2001-12-20 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상처리장치 및 감시시스템 |
US7366595B1 (en) | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
US6963661B1 (en) * | 1999-09-09 | 2005-11-08 | Kabushiki Kaisha Toshiba | Obstacle detection system and method therefor |
JP4660872B2 (ja) | 2000-02-09 | 2011-03-30 | ソニー株式会社 | 運転支援装置及び運転支援方法 |
US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
US6734896B2 (en) | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
JP2001315603A (ja) | 2000-05-09 | 2001-11-13 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP3599639B2 (ja) | 2000-05-26 | 2004-12-08 | 松下電器産業株式会社 | 画像処理装置 |
US6999602B2 (en) | 2000-06-30 | 2006-02-14 | Matsushita Electric Industrial Co., Ltd. | Image generation for assistance of drivers of vehicles |
EP1303140A4 (en) | 2000-07-19 | 2007-01-17 | Matsushita Electric Ind Co Ltd | MONITORING SYSTEM |
JP3372944B2 (ja) | 2000-07-19 | 2003-02-04 | 松下電器産業株式会社 | 監視システム |
JP2002199257A (ja) | 2000-12-25 | 2002-07-12 | Sharp Corp | 撮像装置 |
JP2002359839A (ja) * | 2001-03-29 | 2002-12-13 | Matsushita Electric Ind Co Ltd | リアビューカメラの画像表示方法及びその装置 |
JP2002316602A (ja) * | 2001-04-24 | 2002-10-29 | Matsushita Electric Ind Co Ltd | 車載カメラの撮像画像表示方法及びその装置 |
JP3297040B1 (ja) * | 2001-04-24 | 2002-07-02 | 松下電器産業株式会社 | 車載カメラの画像合成表示方法及びその装置 |
JP2002334322A (ja) * | 2001-05-10 | 2002-11-22 | Sharp Corp | 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体 |
JP4156214B2 (ja) * | 2001-06-13 | 2008-09-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
JP4512293B2 (ja) * | 2001-06-18 | 2010-07-28 | パナソニック株式会社 | 監視システムおよび監視方法 |
JP4641125B2 (ja) | 2001-08-23 | 2011-03-02 | クラリオン株式会社 | 画像合成の際のつなぎ目部処理方法及びその画像信号処理装置及びこれを用いた車両周囲監視表示装置 |
DE60207655T2 (de) | 2001-09-07 | 2006-06-08 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung |
KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
US6636258B2 (en) * | 2001-10-19 | 2003-10-21 | Ford Global Technologies, Llc | 360° vision system for a vehicle |
JP3819284B2 (ja) * | 2001-11-29 | 2006-09-06 | クラリオン株式会社 | 車両周囲監視装置 |
JP3855814B2 (ja) * | 2002-03-22 | 2006-12-13 | 日産自動車株式会社 | 車両用画像処理装置 |
EP1504276B1 (en) * | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
DE10227171B4 (de) | 2002-06-18 | 2019-09-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds |
JP3895238B2 (ja) * | 2002-08-28 | 2007-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
JP3868876B2 (ja) * | 2002-09-25 | 2007-01-17 | 株式会社東芝 | 障害物検出装置及び方法 |
JP2004240480A (ja) | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP4286556B2 (ja) | 2003-02-24 | 2009-07-01 | 株式会社東芝 | 画像表示装置 |
DE10352733A1 (de) | 2003-04-04 | 2004-10-28 | Takata-Petri Ag | Lenkrad für Kraftfahrzeuge |
JP2004354326A (ja) * | 2003-05-30 | 2004-12-16 | Denso Corp | 車両周囲表示装置 |
US20050075770A1 (en) * | 2003-10-07 | 2005-04-07 | Taylor Ronald M. | Motor vehicle back-up system |
US7298247B2 (en) * | 2004-04-02 | 2007-11-20 | Denso Corporation | Vehicle periphery monitoring system |
EP1748654A4 (en) * | 2004-04-27 | 2013-01-02 | Panasonic Corp | VISUALIZATION OF CIRCUMFERENCE OF A VEHICLE |
US20060038895A1 (en) * | 2004-08-19 | 2006-02-23 | Nissan Motor, Co., Ltd. | Image processing device |
JP2006072830A (ja) | 2004-09-03 | 2006-03-16 | Aisin Aw Co Ltd | 運転支援システム及び運転支援モジュール |
JP4560716B2 (ja) * | 2004-09-28 | 2010-10-13 | アイシン精機株式会社 | 車両の周辺監視システム |
US7881496B2 (en) * | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
JP4254719B2 (ja) | 2005-02-01 | 2009-04-15 | 株式会社デンソー | 車両用表示装置 |
EP1696669B1 (en) * | 2005-02-24 | 2013-07-03 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
US7884556B2 (en) | 2005-09-16 | 2011-02-08 | Advanced Color Lighting, Inc. | Color-changing light array device |
JP2007094045A (ja) * | 2005-09-29 | 2007-04-12 | Matsushita Electric Ind Co Ltd | ナビゲーション装置、ナビゲート方法および車両 |
SE530287C2 (sv) | 2005-10-11 | 2008-04-22 | Scania Cv Abp | Varningssystem för ett motorfordon som är försett med en parkeringsbroms |
US7830276B2 (en) | 2007-06-18 | 2010-11-09 | Honeywell International Inc. | System and method for displaying required navigational performance corridor on aircraft map display |
JP5120880B2 (ja) | 2007-10-15 | 2013-01-16 | アルパイン株式会社 | 画像処理装置及び画像処理方法 |
-
2006
- 2006-07-31 WO PCT/JP2006/315114 patent/WO2007015446A1/ja active Application Filing
- 2006-07-31 JP JP2007529249A patent/JP4760831B2/ja active Active
- 2006-07-31 EP EP06781992.0A patent/EP1916846B1/en active Active
- 2006-07-31 US US11/997,515 patent/US8885045B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1197937A1 (en) | 2000-10-11 | 2002-04-17 | Sharp Kabushiki Kaisha | Surround surveillance apparatus for mobile body |
EP1231110A2 (en) | 2001-02-09 | 2002-08-14 | Matsushita Electric Industrial Co., Ltd. | Picture synthesizing apparatus |
JP2002314991A (ja) * | 2001-02-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
JP2004026012A (ja) * | 2002-06-25 | 2004-01-29 | Auto Network Gijutsu Kenkyusho:Kk | 車輌周辺視認装置 |
EP1407931A1 (de) | 2002-10-11 | 2004-04-14 | Valeo Schalter und Sensoren GmbH | Verfahren und System zur Unterstützung eines Fahrers |
JP2004274114A (ja) * | 2003-03-05 | 2004-09-30 | Nissan Motor Co Ltd | 画像表示装置および画像表示方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP1916846A4 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009105660A (ja) * | 2007-10-23 | 2009-05-14 | Alpine Electronics Inc | 車載用撮像装置 |
US8477191B2 (en) | 2007-10-23 | 2013-07-02 | Alpine Electronics, Inc. | On-vehicle image pickup apparatus |
JP2009118415A (ja) * | 2007-11-09 | 2009-05-28 | Alpine Electronics Inc | 鳥瞰画像生成装置および方法 |
US8498770B2 (en) | 2007-12-26 | 2013-07-30 | Nissan Motor Co., Ltd. | Vehicle parking assist system and method |
WO2009081519A1 (en) | 2007-12-26 | 2009-07-02 | Nissan Motor Co., Ltd. | Vehicle parking assist system and method |
CN102923192A (zh) * | 2007-12-26 | 2013-02-13 | 日产自动车株式会社 | 车辆用停车辅助系统和方法 |
CN101909972B (zh) * | 2007-12-26 | 2013-04-17 | 日产自动车株式会社 | 车辆用停车辅助系统和方法 |
JP2009262736A (ja) * | 2008-04-24 | 2009-11-12 | Daihatsu Motor Co Ltd | 障害物認識装置 |
US8319614B2 (en) | 2008-07-25 | 2012-11-27 | Nissan Motor Co., Ltd. | Parking assistance apparatus and parking assistance method |
US20100253780A1 (en) * | 2009-04-03 | 2010-10-07 | Shih-Hsiung Li | Vehicle auxiliary device |
US9064293B2 (en) | 2010-06-15 | 2015-06-23 | Mitsubishi Electric Corporation | Vehicle surroundings monitoring device |
EP2397386A1 (en) | 2010-06-21 | 2011-12-21 | Hitachi, Ltd. | Status monitoring apparatus of railway vehicle |
JP2012001191A (ja) * | 2010-06-21 | 2012-01-05 | Hitachi Ltd | 鉄道車両の状況監視装置 |
JP2017118409A (ja) * | 2015-12-25 | 2017-06-29 | 株式会社Jvcケンウッド | 車両用表示装置および車両用表示方法 |
JP2020110001A (ja) * | 2016-01-13 | 2020-07-16 | 株式会社Jvcケンウッド | 車両用表示装置、車両用表示方法およびプログラム |
WO2019003854A1 (ja) * | 2017-06-30 | 2019-01-03 | クラリオン株式会社 | 画像処理装置、画像変換方法 |
JP2019012915A (ja) * | 2017-06-30 | 2019-01-24 | クラリオン株式会社 | 画像処理装置、画像変換方法 |
US11134204B2 (en) | 2017-06-30 | 2021-09-28 | Clarion Co., Ltd. | Image processing apparatus and image transformation method |
JP2021044751A (ja) * | 2019-09-12 | 2021-03-18 | アイシン精機株式会社 | 周辺監視装置 |
JP7443705B2 (ja) | 2019-09-12 | 2024-03-06 | 株式会社アイシン | 周辺監視装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2007015446A1 (ja) | 2009-02-19 |
EP1916846A1 (en) | 2008-04-30 |
EP1916846B1 (en) | 2016-09-14 |
US20100220189A1 (en) | 2010-09-02 |
EP1916846A4 (en) | 2009-04-22 |
US8885045B2 (en) | 2014-11-11 |
JP4760831B2 (ja) | 2011-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4760831B2 (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
JP4687160B2 (ja) | 周辺監視装置 | |
JP4846426B2 (ja) | 車両周囲監視装置 | |
JP5454934B2 (ja) | 運転支援装置 | |
EP1696669B1 (en) | Vehicle surrounding monitoring device | |
WO2013031161A1 (ja) | 運転支援装置 | |
JP6307895B2 (ja) | 車両用周辺監視装置 | |
JP5938635B2 (ja) | 運転支援装置 | |
JP5516988B2 (ja) | 駐車支援装置 | |
JP5182137B2 (ja) | 車両周辺表示装置 | |
JP2005045602A (ja) | 車両用視界モニタシステム | |
TWI533694B (zh) | 車用障礙物偵測顯示系統 | |
JP2007124097A (ja) | 車両周辺視認装置 | |
WO2011013813A1 (ja) | 車載装置および画像処理プログラム | |
WO2012144076A1 (ja) | 車両周辺監視装置及び車両周辺監視情報の表示方法 | |
JP2004056219A (ja) | 車両周辺監視装置 | |
JP2018074286A (ja) | 運転支援装置 | |
JP2010124300A (ja) | 画像処理装置およびこれを用いたリヤビューカメラシステム | |
JP7121120B2 (ja) | 車両制御装置 | |
JP2011211432A (ja) | 車載用撮像装置 | |
JP5691339B2 (ja) | 運転支援装置 | |
JP2012188058A (ja) | 表示装置 | |
JP2011182254A (ja) | 車両用運転支援装置 | |
JP2011155490A (ja) | 運転支援装置 | |
JP2020170341A (ja) | 表示制御装置、表示制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
WWE | Wipo information: entry into national phase |
Ref document number: 2007529249 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 11997515 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REEP | Request for entry into the european phase |
Ref document number: 2006781992 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2006781992 Country of ref document: EP |