JP4377439B1 - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP4377439B1 JP4377439B1 JP2008154408A JP2008154408A JP4377439B1 JP 4377439 B1 JP4377439 B1 JP 4377439B1 JP 2008154408 A JP2008154408 A JP 2008154408A JP 2008154408 A JP2008154408 A JP 2008154408A JP 4377439 B1 JP4377439 B1 JP 4377439B1
- Authority
- JP
- Japan
- Prior art keywords
- contact determination
- vehicle
- determination area
- area
- contact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims description 16
- 241001465754 Metazoa Species 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 2
- 241001455273 Tetrapoda Species 0.000 claims 1
- 238000012545 processing Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 241000282994 Cervidae Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001494479 Pecora Species 0.000 description 1
- 241000283080 Proboscidea <mammal> Species 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
【課題】車両と対象物との接触可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる車両周辺監視装置を提供する。
【解決手段】本発明の車両周辺監視装置によれば、対象物が人間であると判定され、かつ、この対象物の実空間位置が第１の接触判定領域Ａ１に含まれている場合、自車両１０とこの対象物との接触可能性が高いことが通報される。一方、対象物が四足動物であると判定され、かつ、この対象物の実空間位置が第２の接触判定領域Ａ２に含まれている場合、当該通報がなされる。ここで、第２の接触判定領域Ａ２は、第１の接触判定領域Ａ１との重なり領域と、第１の接触判定領域Ａ１から少なくとも一部がはみ出した領域とを有している。
【選択図】図４
【解決手段】本発明の車両周辺監視装置によれば、対象物が人間であると判定され、かつ、この対象物の実空間位置が第１の接触判定領域Ａ１に含まれている場合、自車両１０とこの対象物との接触可能性が高いことが通報される。一方、対象物が四足動物であると判定され、かつ、この対象物の実空間位置が第２の接触判定領域Ａ２に含まれている場合、当該通報がなされる。ここで、第２の接触判定領域Ａ２は、第１の接触判定領域Ａ１との重なり領域と、第１の接触判定領域Ａ１から少なくとも一部がはみ出した領域とを有している。
【選択図】図４
Description
本発明は、車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
車両の周辺に存在する動物等の対象物の時系列的な位置データに基づいてその対象物の実空間における移動ベクトルを算出し、この移動ベクトルに基づいて車両と対象物との接触可能性の高低を判定し、当該接触可能性が高いと判定した場合にはその旨を運転者に通報する車両周辺監視装置が提案されている（特許文献１参照）。
特開２００１−００６０９６号公報
しかし、対象物が鹿等の四足動物である場合、一般的にその行動を予測するのが困難であるため、移動ベクトルに基づいて接触可能性の高低が判定されると、運転者への通報タイミングが遅れる場合がある。一方、人間のようにその行動を比較的容易に予測しうる対象物にもかかわらず、単に通報タイミングを早めるだけでは、運転者への通報頻度がいたずらに高くなる場合がある。
そこで、本発明は、車両と対象物との接触可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる車両周辺監視装置を提供することを目的とする。
第１発明の車両周辺装置は、車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記対象物の実空間位置を測定する位置測定手段と、前記対象物抽出手段により抽出された前記対象物が人間および四足動物のいずれに該当するかを判定する対象物判定手段と、前記対象物判定手段により前記対象物が人間であると判定された場合、前記車両と前記対象物としての人間との接触可能性の高低を判定するための第１の接触判定領域を設定する一方、前記対象物判定手段により前記対象物が四足動物であると判定された場合、前記車両と前記対象物としての四足動物との接触可能性の高低を判定するための領域であって、前記第１の接触判定領域との重なり領域と前記第１の接触判定領域から少なくとも一部がはみ出した領域とを有する第２の接触判定領域を設定する接触判定領域設定手段と、前記接触判定領域設定手段により設定された前記第１の接触判定領域に前記位置測定手段により測定された前記対象物としての人間の実空間位置が含まれる場合、または、前記接触判定領域設定手段により設定された前記第２の接触判定領域に前記位置測定手段により測定された実空間位置に前記対象物としての四足動物の実空間位置が含まれる場合、運転者に対して前記対象物の存在を通報する対象物通報手段とを備えることを特徴とする。
第１発明の車両周辺監視装置によれば、対象物が人間であると判定され、かつ、この対象物の実空間位置が第1の接触判定領域に含まれている場合、車両とこの対象物との接触可能性が高い状況にあることが通報される。一方、対象物が四足動物であると判定され、かつ、この対象物の実空間位置が第２の接触判定領域に含まれている場合、当該通報がなされる。ここで、第２の接触判定領域は、第１の接触判定領域との重なり領域と、第１の接触判定領域から少なくとも一部がはみ出した領域とを有している。このため、対象物が四足動物である場合、この対象物の実空間位置が第１の接触判定領域に含まれていなくても第２の接触判定領域のうち第１の接触判定領域からはみだした領域に含まれていれば通報がなされるので、対象物が人間である場合と比較して通報タイミングを早めることができる。一方、対象物が人間である場合、この対象物の実空間位置が第２の接触判定領域のうち第１の接触判定領域からはみだした領域に含まれていても通報が無条件になされることはないので、車両と人間とが接触する可能性が高いことを運転者に通報する頻度がいたずらに高くなることが防止される。したがって、車両と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
第２発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記位置測定手段により異なる時点において測定された前記対象物が複数の実空間位置から前記対象物の移動ベクトルを算出する移動ベクトル算出手段を備え、前記接触判定領域設定手段は、前記対象物判定手段により前記対象物が人間であると判定された場合、前記第１の接触判定領域の外側に第３の接触判定領域を設定し、前記対象物通報手段は、前記接触判定領域設定手段により設定された前記第３の接触判定領域に前記位置測定手段により測定された前記対象物としての人間の実空間位置が含まれ、かつ、前記移動ベクトル算出手段で算出された前記対象物としての人間の移動ベクトルが前記第１の接触判定領域に向かっている場合、前記運転者に対して前記対象物としての人間の存在を通報することを特徴とする。
第２発明の車両周辺監視装置によれば、対象物が人間であると判定され、この対象物の実空間位置が第３の接触判定領域に含まれ、かつ、この対象物の移動ベクトルが第１の接触判定領域に向かっている場合、車両とこの対象物との接触可能性が高いことが通報される。このため、人間の実空間位置が第３の接触判定領域に含まれ、人間の移動ベクトルが第１の接触判定領域に向かっていない場合には通報がされることがないので、車両と人間とが接触する可能性が高いことを運転者に通報する頻度がいたずらに高くなることが防止される。一方、対象物が四足動物であると判定され、かつ、この対象物の実空間位置が第２の接触判定領域の一部としての第３の接触判定領域に含まれていればその移動ベクトルの向きとは関係なく通報がなされるので、対象物が人間である場合と比較して通報タイミングを早めることができる。したがって、車両と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
第３発明の車両周辺監視装置は、第１または２発明の車両周辺監視装置において、前記接触判定領域設定手段は、前記車両の前方において、前記車両の進行方向に対して平行に延び前記車両の左右両側に所定の余裕を加えた幅を有する領域を、前記第１の接触判定領域として設定することを特徴とする。
第３発明の車両周辺監視装置によれば、対象物が人間であると判定された場合、第１の接触判定領域は、車両の前方において、車両の進行方向に対して平行に延び車両の左右両側に所定の余裕を加えた幅を有する領域に設定される。当該領域は、車両とこの対象物とが接触する可能性が高い領域であり、当該領域の外側の領域は、車両とこの対象物とが接触する可能性が必ずしも高くない領域であることに鑑みて、この対象物の実空間位置が第１の接触判定領域に含まれている場合、運転者に対して車両とこの対象物とが接触可能性が高いことが適当な頻度で通報される。また、第１の接触判定領域の外側は、この対象物の実空間位置が当該領域に含まれていても当該通報がなされることはないので、運転者に通報する頻度がいたずらに高くなることが防止される。一方、第１の接触判定領域の外側には第２の接触判定領域が含まれるため、対象物が四足動物である場合には、対象物が人間である場合と比較して通報タイミングを早めることができる。したがって、車両と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
第４発明の車両周辺監視装置は、第１〜３のいずれかの発明の車両周辺監視装置において、前記接触判定領域設定手段は、前記撮像装置により撮像される撮像領域を前記第２の接触判定領域に設定することを特徴とする。
第４発明の車両周辺監視装置によれば、対象物が四足動物であると判定された場合、第２の接触判定領域は、車両が認識できる最大限の範囲である撮像装置により撮像される撮像領域に設定されることに鑑みて、この対象物の実空間位置が当該領域に含まれている場合、車両とこの対象物の接触可能性が高いことの通報タイミングを早めることができる。一方、対象物が人間であると判定された場合、第１の接触判定領域は、当該撮像領域に対して限定された領域に設定され、この対象物の実空間位置が当該領域からはみ出した領域に含まれていても当該通報が無条件になされることはないことに鑑みて、運転者に通報する頻度がいたずらに高くなることが防止される。したがって、車両と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
本発明の一実施形態を以下に図１〜図６を参照して説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。図１および図２を参照して本実施形態の車両周辺監視装置は画像処理ユニット１を備える。画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３、自車両１０の走行速度（車速）を検出する車速センサ４、および自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ６、および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置７が接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像装置に相当する。
画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ６や表示装置７により運転者に通報を発する処理を実行する。なお、画像処理ユニット１は、本発明における対象物抽出手段、対象物判定手段、および接触領域設定手段としての機能を備えている。
図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。実空間座標系は図２に示されているように車両１０の前端中央部を原点Ｏとし、車両１０の右方向を＋Ｘ方向、鉛直下方を＋Ｙ方向、車両１０の前方を＋Ｚ方向として定義されている。
また、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。
次に、前記構成の車両周辺監視装置の基本的な機能について図３のフローチャートを用いて説明する。図３のフローチャートの基本的な処理内容は、例えば本出願人による特開２００１−６０９６号の図３および特開２００７−３１０７０５号の図３に記載されている処理内容と同様である。
具体的にはまず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号から赤外線画像が入力される（図３／ＳＴＥＰ１１）。次いで、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号をＡ／Ｄ変換する（図３／ＳＴＥＰ１２）。そして、画像処理ユニット１は、Ａ／Ｄ変換された赤外線画像からグレースケール画像を取得する（図３／ＳＴＥＰ１３）。その後、画像処理ユニット１は、基準画像（右画像）を２値化する（図３／ＳＴＥＰ１４）。次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ１５〜１７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像領域）を抽出する。具体的には、前記２値化画像の高輝度領域を構成する画素群をランレングスデータに変換する（図３／ＳＴＥＰ１５）。次いで、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付する（図３／ＳＴＥＰ１６）。そして、ライン群のそれぞれを対象物として抽出する（図３／ＳＴＥＰ１７）。その後、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）、面積、および外接四角形の縦横比を算出する（図３／ＳＴＥＰ１８）。次いで、画像処理ユニット１は、前記ＳＴＥＰ１８で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（図３／ＳＴＥＰ１９）。そして、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（図３／ＳＴＥＰ２０）。
一方、画像処理ユニット１は、ＳＴＥＰ１９，２０の処理と並行して、ＳＴＥＰ３１の処理を実行する。まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像として抽出する（図３／ＳＴＥＰ３１）。次いで、左画像中から探索画像に対応する画像（対応画像）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（図３／ＳＴＥＰ３２）。そして、対象物の自車両１０からの距離（自車両１０の前後方向における距離）を算出する（図３／ＳＴＥＰ３３）。
次いで、画像処理ユニット１は、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（図３／ＳＴＥＰ２１）。そして、画像処理ユニット１は、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを前記ＳＴＥＰ２０で求めた回頭角の時系列データに応じて補正する（図３／ＳＴＥＰ２２）。その後、画像処理ユニット１は、対象物の自車両１０に対する相対移動ベクトルを推定する（図３／ＳＴＥＰ２３）。次いで、ＳＴＥＰ２３において、相対移動ベクトルが求められたら、検出した対象物との接触の可能性を判定し、その可能性が高いときに通報を発する通報判定処理を実行する（図３／ＳＴＥＰ２４）。以上が本実施形態の周辺監視装置の全体的作動である。なお、画像処理ユニット１によりＳＴＥＰ１１〜１８の処理を実行する構成が、本発明の対象物抽出手段に相当する。
次に、本発明の車両周辺監視装置の主要な機能である通報処理について図４のフローチャートを用いて説明する。
まず、対象物抽出手段により抽出された対象物が人間、および四足動物のいずれかであるかを判定する対象物判定処理を実行する（図４／ＳＴＥＰ１００）。
具体的には、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から対象物の種類を判定する。たとえば、頭部（具体的には第１の高輝度画像領域に相当する）と、肩部、胴部、腕部または脚部（具体的には第１の高輝度画像領域の下側に存在し、かつ、第１の高輝度画像領域に対して、頭部に対する肩部等の標準的な配置関係と同じ配置関係を有する第２の高輝度画像領域）とを有する対象物が人間であると判定される。また、胴部（具体的には第１の高輝度画像領域）と、頭部または脚部（具体的には第１の高輝度画像領域の横側または下側に位置し、かつ、第１の高輝度画像領域より小さい第２の高輝度画像領域）とを有する対象物が鹿、羊、犬または馬等の四足動物であると判定される。さらに、対象物の外形と、メモリにあらかじめ記憶されている対象物の外形とのパターンマッチングにより対象物の種類が判定されてもよい。
そして、対象物が人間であると判定された場合（図４／ＳＴＥＰ１００‥Ａ）、第１の接触判定領域Ａ１および第３の接触判定領域Ａ３が設定される（図４／ＳＴＥＰ１０２）。具体的には、図５（ａ）に示されているように赤外線カメラ２Ｒ、２Ｌにより監視可能な三角形領域Ａ０の内側において、Ｚ方向に平行に延び、かつ、Ｘ方向について自車両１０の車幅αの左右両側に第１の余裕β（たとえば５０〜１００ｃｍ）を加えた幅を有する領域が第１の接触判定領域Ａ１として設定される（斜線部分参照）。第１の接触判定領域Ａ１の車両１からみたＺ方向の奥行きＺ１は自車両１０と対象物との相対速度Ｖｓに、余裕時間Ｔを積算して得られた距離に定められている。また、図５（ａ）に示されているように三角形領域Ａ０において第１の接触判定領域の左右両側に隣接する領域が第３の接触判定領域Ａ３Ｌ．Ａ３Ｒとして設定される。
さらに、対象物の実空間位置が第１の接触判定領域Ａ１に含まれるか否かが判定される（図４／ＳＴＥＰ１０４）。なお、対象物の実空間位置は、図３のＳＴＥＰ２１で測定される。画像処理ユニット１によりＳＴＥＰ２１の処理を実行する構成が、本発明の位置測定手段に相当する。第１の接触判定領域Ａ１内に対象物の実空間位置が存在すると判定される場合（図４／ＳＴＥＰ１０４‥ＹＥＳ）、通報出力判定処理が実行される（図４／ＳＴＥＰ１０６）。一方、第１の接触判定領域Ａ１内に対象物が存在しないと判定された場合（図４／ＳＴＥＰ１０４‥ＮＯ）、対象物が第３の接触判定領域Ａ３Ｒ，Ａ３Ｌに存在し、かつ、ＳＴＥＰ２３で求めた対象物の移動ベクトルが第１の接触判定領域Ａ１に向かっているか否かを判定する（図４／ＳＴＥＰ１０５）。
当該判定結果が肯定的である場合（図４／ＳＴＥＰ１０５‥ＹＥＳ）、ブレーキセンサ５の出力から自車両１０の運転者が適切なブレーキ操作を行なっているか否かが判定される（図４／ＳＴＥＰ１０６）。車両１０の運転者が適切なブレーキ操作を行なっていないと判定された場合（図４／ＳＴＥＰ１０６‥ＮＯ）、運転者に対して車両と対象物との接触可能性が高い状況である旨が通報される（図４／ＳＴＥＰ１０８）。具体的には、スピーカ６を介して音声が出力することにより当該状況が通報される。また、ＨＵＤ７ａにおいて対象物を強調表示することによっても当該状況が通報される。なお、ＳＴＥＰ１０６の判定処理は省略されてもよい。
その一方、対象物が四足動物であると判定された場合（図４／ＳＴＥＰ１００‥Ｂ）、第２の接触判定領域Ａ２が設定される（図４／ＳＴＥＰ２０２）。具体的には、図５（ｂ）に示されているように、赤外線カメラ２Ｒ、２Ｌにより監視可能な三角形領域Ａ０の内側において、Ｚ方向に平行に延び、かつ、Ｘ方向について自車両１０の車幅αの左右両側に第１の余裕βよりも大きい第２の余裕γを加えた幅を有する領域が第２の接触判定領域Ａ２として設定される（斜線部分参照）。第２の接触判定領域Ａ２の車両１からみたＺ方向の奥行きＺ１は、第１の接触判定領域Ａ１と同様に自車両１０と対象物との相対速度Ｖｓに、余裕時間Ｔを積算して得られた距離に定められている。第２の接触判定領域Ａ２は第１の接触判定領域Ａ１の全部に重なる領域と、第１の接触判定領域Ａ１の左右両側に第２の余裕γおよび第１の余裕βの偏差（γ−β）だけはみ出した領域とを有する。
次いで、対象物の実空間位置が第２の接触判定領域Ａ２に含まれるか否かを判定する（図４／ＳＴＥＰ２０４）。なお、対象物の実空間位置は、図３のＳＴＥＰ２１で測定される。対象物の実空間位置が第２の接触判定領域Ａ２に存在すると判定された場合（図４／ＳＴＥＰ２０４‥ＹＥＳ）、ブレーキセンサ５の出力から自車両１０の運転者が適切なブレーキ操作を行なっているか否かが判定される（図４／ＳＴＥＰ２０６）。自車両１０の運転者が適切なブレーキ操作を行なっていないと判定された場合（図４／ＳＴＥＰ２０６‥ＮＯ）、運転者に対して車両１０と対象物との接触可能性が高い旨が通報される（図４／ＳＴＥＰ２０８）。
なお、画像処理ユニット１によりＳＴＥＰ１００の処理を実行する構成が、本発明の対象物判定手段に、ＳＴＥＰ１０２およびＳＴＥＰ２０２の処理を実行する構成が、本発明の接触判定領域設定手段に、ＳＴＥＰ１０８およびＳＴＥＰ２０８の処理を実行する構成が、本発明の対象物通報手段にそれぞれ相当する。
前記機能を発揮する車両周辺監視装置によれば、対象物が人間であると判定され、かつ、この対象物の実空間位置が第１の接触判定領域Ａ１に含まれている場合、自車両１０とこの対象物との接触可能性が高いことが通報される（図４／Ｓ１００‥Ａ，Ｓ１０２〜１０８、図５（ａ）参照）。一方、対象物が四足動物であると判定され、かつ、この対象物の実空間位置が第２の接触判定領域Ａ２に含まれている場合、当該通報がなされる（図４／Ｓ１００‥Ｂ，Ｓ２０２〜２０８、図５（ｂ）参照）。ここで、第２の接触判定領域Ａ２は、第１の接触判定領域Ａ１との重なり領域と、第１の接触判定領域Ａ１から少なくとも一部がはみ出した領域とを有している（図５（ａ）（ｂ）参照）。このため、対象物が四足動物である場合、この対象物の実空間位置が第１の接触判定領域Ａ１に含まれていなくても第２の接触判定領域Ａ２のうち第１の接触判定領域Ａ１からはみだした領域に含まれていれば通報がなされるので、対象物が人間である場合と比較して通報タイミングを早めることができる。一方、対象物が人間である場合、この対象物の実空間位置が第２の接触判定領域Ａ２のうち第１の接触判定領域Ａ１からはみだした領域に含まれていても通報が無条件になされることはないので、自車両１０と人間とが接触する可能性が高いことを運転者に通報する頻度がいたずらに高くなることが防止される。したがって、自車両１０と対象物が接触する可能性が高い状況にあることを、この対象物の種類に鑑みて適当なタイミングまたは頻度で通報することができる。
なお、前記実施形態において、図５（ｂ）に示されている第２の接触判定領域Ａ２は、図５（ａ）に示されている第１の接触判定領域Ａ１の全部と重なるように設定されたが、図６（ａ）に示されているように、第２の接触判定領域Ａ２（斜線部分）が第１の接触判定領域Ａ１の一部と重なるように設定されてもよい。また、前記実施形態では第２の接触判定領域Ａ２において、第１の接触判定領域Ａ１との重なり領域と、第１の接触判定領域Ａ１からのはみ出し領域とは隣接していたが、図６（ｂ）に示されているように当該重なり領域および当該はみ出し領域が相互に離れていてもよい。さらに、第２の接触判定領域Ａ２のうち、第１の接触判定領域Ａ１からのはみ出し領域は、第１の接触判定領域との重なり領域の左右いずれか一方の側にのみ設けられていてもよく、左右非対称な形状または配置とされていてもよい。また、前記実施形態では第２の接触判定領域Ａ２は、自車両１０の車幅αの両側に第２の余裕γ（γ＞β）を加えた範囲に対応する領域に設定したが、第１の接触判定領域Ａ１と第３の接触判定領域Ａ３Ｒ，Ａ３Ｌとを合わせた領域を第２の接触判定領域Ａ２としてもよい。
さらに、第２の接触判定領域ＡＲ４を赤外線カメラ２Ｒ，２Ｌにより撮像される撮像領域としてもよい。また、本実施形態においては、画像処理ユニット１の処理結果に基づいて、所定の通報を行うように構成されているが、該処理結果に基づいて車両挙動を制御するように構成してもよい。さらに、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、１台の赤外線カメラを自車両１０に搭載するようにしてもよい。この場合には、対象物との距離をレーダーなどにより検出するようにする。
１…画像処理ユニット（対象物抽出手段、対象物判定手段、接触領域設定手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）、６…スピーカ（対象物通報手段）、７ａ…ＨＵＤ（対象物通報手段）
Claims (4)
- 車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された前記対象物の実空間位置を測定する位置測定手段と、
前記対象物抽出手段により抽出された前記対象物が人間および四足動物のいずれに該当するかを判定する対象物判定手段と、
前記対象物判定手段により前記対象物が人間であると判定された場合、前記車両と前記対象物としての人間との接触可能性の高低を判定するための第１の接触判定領域を設定する一方、前記対象物判定手段により前記対象物が四足動物であると判定された場合、前記車両と前記対象物としての四足動物との接触可能性の高低を判定するための領域であって、前記第１の接触判定領域との重なり領域と前記第１の接触判定領域から少なくとも一部がはみ出した領域とを有する第２の接触判定領域を設定する接触判定領域設定手段と、
前記接触判定領域設定手段により設定された前記第１の接触判定領域に前記位置測定手段により測定された前記対象物としての人間の実空間位置が含まれる場合、または、前記接触判定領域設定手段により設定された前記第２の接触判定領域に前記位置測定手段により測定された実空間位置に前記対象物としての四足動物の実空間位置が含まれる場合、運転者に対して前記対象物の存在を通報する対象物通報手段とを備えることを特徴とする車両周辺監視装置。 - 請求項１記載の車両周辺監視装置において、
前記位置測定手段により異なる時点において測定された前記対象物が複数の実空間位置から前記対象物の移動ベクトルを算出する移動ベクトル算出手段を備え、
前記接触判定領域設定手段は、前記対象物判定手段により前記対象物が人間であると判定された場合、前記第１の接触判定領域の外側に第３の接触判定領域を設定し、
前記対象物通報手段は、前記接触判定領域設定手段により設定された前記第３の接触判定領域に前記位置測定手段により測定された前記対象物としての人間の実空間位置が含まれ、かつ、前記移動ベクトル算出手段で算出された前記対象物としての人間の移動ベクトルが前記第１の接触判定領域に向かっている場合、前記運転者に対して前記対象物としての人間の存在を通報することを特徴とする車両周辺監視装置。 - 請求項１または２記載の車両周辺監視装置において、
前記接触判定領域設定手段は、前記車両の前方において、前記車両の進行方向に対して平行に延び前記車両の左右両側に所定の余裕を加えた幅を有する領域を、前記第１の接触判定領域として設定することを特徴とする車両周辺監視装置。 - 請求項１〜３いずれか１つに記載の車両周辺監視装置において、
前記接触判定領域設定手段は、前記撮像装置により撮像される撮像領域を前記第２の接触判定領域として設定することを特徴とする車両周辺監視装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008154408A JP4377439B1 (ja) | 2008-06-12 | 2008-06-12 | 車両周辺監視装置 |
| PCT/JP2009/000977 WO2009150771A1 (ja) | 2008-06-12 | 2009-03-04 | 車両周辺監視装置 |
| AT09762203T ATE556910T1 (de) | 2008-06-12 | 2009-03-04 | Gerät zur überwachung des fahrzeugumfeldes |
| EP09762203A EP2270765B1 (en) | 2008-06-12 | 2009-03-04 | Vehicle periphery monitoring device |
| US12/994,922 US8189868B2 (en) | 2008-06-12 | 2009-03-04 | Vehicle periphery monitoring device |
| CN2009801218769A CN102057414B (zh) | 2008-06-12 | 2009-03-04 | 车辆周围监视装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008154408A JP4377439B1 (ja) | 2008-06-12 | 2008-06-12 | 車両周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4377439B1 true JP4377439B1 (ja) | 2009-12-02 |
| JP2009301283A JP2009301283A (ja) | 2009-12-24 |
Family
ID=41416487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008154408A Active JP4377439B1 (ja) | 2008-06-12 | 2008-06-12 | 車両周辺監視装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8189868B2 (ja) |
| EP (1) | EP2270765B1 (ja) |
| JP (1) | JP4377439B1 (ja) |
| CN (1) | CN102057414B (ja) |
| AT (1) | ATE556910T1 (ja) |
| WO (1) | WO2009150771A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5761910B2 (ja) * | 2009-12-17 | 2015-08-12 | キヤノン株式会社 | 速度検出装置 |
| JP5751842B2 (ja) | 2010-09-16 | 2015-07-22 | キヤノン株式会社 | 速度検出装置および画像形成装置 |
| CN103797528A (zh) * | 2011-09-28 | 2014-05-14 | 本田技研工业株式会社 | 生物体识别装置 |
| EP2578464B1 (en) * | 2011-10-06 | 2014-03-19 | Honda Research Institute Europe GmbH | Video-based warning system for a vehicle |
| US9437000B2 (en) * | 2014-02-20 | 2016-09-06 | Google Inc. | Odometry feature matching |
| JP6190758B2 (ja) * | 2014-05-21 | 2017-08-30 | 本田技研工業株式会社 | 物体認識装置及び車両 |
| CN104192065A (zh) * | 2014-08-20 | 2014-12-10 | 刘健萍 | 一种可辨监控对象的汽车四周监控装置 |
| JP6481520B2 (ja) | 2015-06-05 | 2019-03-13 | トヨタ自動車株式会社 | 車両の衝突回避支援装置 |
| JP6775285B2 (ja) * | 2015-09-24 | 2020-10-28 | アルパイン株式会社 | 後側方車両検知警報装置 |
| CN109416887B (zh) * | 2016-08-24 | 2021-09-21 | 日立安斯泰莫株式会社 | 识别控制对象车辆报知装置 |
| US10366310B2 (en) * | 2016-09-12 | 2019-07-30 | Aptiv Technologies Limited | Enhanced camera object detection for automated vehicles |
| JP7290119B2 (ja) * | 2020-01-24 | 2023-06-13 | トヨタ自動車株式会社 | 車両報知装置 |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3263699B2 (ja) * | 1992-12-22 | 2002-03-04 | 三菱電機株式会社 | 走行環境監視装置 |
| JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
| JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
| US6445409B1 (en) * | 1997-05-14 | 2002-09-03 | Hitachi Denshi Kabushiki Kaisha | Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object |
| EP2309453A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus and image displaying method |
| WO2000073996A1 (en) * | 1999-05-28 | 2000-12-07 | Glebe Systems Pty Ltd | Method and apparatus for tracking a moving object |
| JP3515926B2 (ja) * | 1999-06-23 | 2004-04-05 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| EP1202214A3 (en) * | 2000-10-31 | 2005-02-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for object recognition |
| US20020130953A1 (en) * | 2001-03-13 | 2002-09-19 | John Riconda | Enhanced display of environmental navigation features to vehicle operator |
| JP2003016429A (ja) * | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | 車両周辺監視装置 |
| US7167576B2 (en) * | 2001-07-02 | 2007-01-23 | Point Grey Research | Method and apparatus for measuring dwell time of objects in an environment |
| CN1407509A (zh) * | 2001-09-04 | 2003-04-02 | 松下电器产业株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
| KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
| JP4647648B2 (ja) * | 2002-01-18 | 2011-03-09 | 本田技研工業株式会社 | 車両周辺監視装置 |
| DE10258287A1 (de) * | 2002-12-13 | 2004-06-24 | Robert Bosch Gmbh | Verfahren und Einrichtung zur Objektdetekrierung |
| US6859144B2 (en) * | 2003-02-05 | 2005-02-22 | Delphi Technologies, Inc. | Vehicle situation alert system with eye gaze controlled alert signal generation |
| DE10336638A1 (de) * | 2003-07-25 | 2005-02-10 | Robert Bosch Gmbh | Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld |
| DE10348109A1 (de) * | 2003-10-16 | 2005-05-19 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung |
| JP4425642B2 (ja) * | 2004-01-08 | 2010-03-03 | 富士重工業株式会社 | 歩行者抽出装置 |
| JP2005316607A (ja) * | 2004-04-27 | 2005-11-10 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| JP4140567B2 (ja) * | 2004-07-14 | 2008-08-27 | 松下電器産業株式会社 | 物体追跡装置および物体追跡方法 |
| US20060050929A1 (en) * | 2004-09-09 | 2006-03-09 | Rast Rodger H | Visual vector display generation of very fast moving elements |
| US20060170769A1 (en) * | 2005-01-31 | 2006-08-03 | Jianpeng Zhou | Human and object recognition in digital video |
| US7447334B1 (en) * | 2005-03-30 | 2008-11-04 | Hrl Laboratories, Llc | Motion recognition system |
| JP2007257148A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 画像処理装置及び方法 |
| JP4173901B2 (ja) | 2006-05-19 | 2008-10-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4528283B2 (ja) * | 2006-06-05 | 2010-08-18 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP2007334511A (ja) * | 2006-06-13 | 2007-12-27 | Honda Motor Co Ltd | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム |
| JP4203512B2 (ja) * | 2006-06-16 | 2009-01-07 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP2008026997A (ja) * | 2006-07-18 | 2008-02-07 | Denso Corp | 歩行者認識装置及び歩行者認識方法 |
| JP4940933B2 (ja) | 2006-11-21 | 2012-05-30 | 株式会社明電舎 | Ｐｗｍインバータの出力電圧制御装置 |
| DE102007015032A1 (de) | 2007-03-29 | 2008-01-10 | Daimlerchrysler Ag | Verfahren zur Bewertung der Kritikalität einer Verkehrssituation und Vorrichtung zur Kollisionsvermeidung oder Kollisionsfolgenminderung |
| JP4567072B2 (ja) * | 2008-05-14 | 2010-10-20 | 本田技研工業株式会社 | 車両周辺監視装置 |
-
2008
- 2008-06-12 JP JP2008154408A patent/JP4377439B1/ja active Active
-
2009
- 2009-03-04 WO PCT/JP2009/000977 patent/WO2009150771A1/ja active Application Filing
- 2009-03-04 CN CN2009801218769A patent/CN102057414B/zh not_active Expired - Fee Related
- 2009-03-04 EP EP09762203A patent/EP2270765B1/en not_active Not-in-force
- 2009-03-04 US US12/994,922 patent/US8189868B2/en active Active
- 2009-03-04 AT AT09762203T patent/ATE556910T1/de active
Also Published As
| Publication number | Publication date |
|---|---|
| US20110096956A1 (en) | 2011-04-28 |
| CN102057414A (zh) | 2011-05-11 |
| ATE556910T1 (de) | 2012-05-15 |
| EP2270765B1 (en) | 2012-05-09 |
| JP2009301283A (ja) | 2009-12-24 |
| EP2270765A1 (en) | 2011-01-05 |
| CN102057414B (zh) | 2013-12-25 |
| US8189868B2 (en) | 2012-05-29 |
| WO2009150771A1 (ja) | 2009-12-17 |
| EP2270765A4 (en) | 2011-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4377439B1 (ja) | 車両周辺監視装置 | |
| JP4173901B2 (ja) | 車両周辺監視装置 | |
| WO2010050090A1 (ja) | 車両周辺監視装置 | |
| JP5198346B2 (ja) | 車両周辺監視装置 | |
| US9235990B2 (en) | Vehicle periphery monitoring device | |
| JP4173902B2 (ja) | 車両周辺監視装置 | |
| JP5480925B2 (ja) | 車両周辺監視装置 | |
| JP4644273B2 (ja) | 車両周辺監視装置 | |
| JP2007128460A (ja) | 衝突判定システム、衝突判定方法、コンピュータプログラム及び判定装置 | |
| JP5172482B2 (ja) | 車両周辺監視装置 | |
| JP5004903B2 (ja) | 車両周辺監視装置 | |
| JP5004919B2 (ja) | 車両周辺監視装置 | |
| JP4615061B2 (ja) | 車両周辺監視装置 | |
| JP4995778B2 (ja) | 車両周辺監視装置 | |
| JP5026398B2 (ja) | 車両周辺監視装置 | |
| JP5907849B2 (ja) | 車両周辺監視装置 | |
| JP4972073B2 (ja) | 環境認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090901 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090910 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4377439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140918 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |