JP3064759B2 - 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置 - Google Patents
車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置Info
- Publication number
- JP3064759B2 JP3064759B2 JP5240939A JP24093993A JP3064759B2 JP 3064759 B2 JP3064759 B2 JP 3064759B2 JP 5240939 A JP5240939 A JP 5240939A JP 24093993 A JP24093993 A JP 24093993A JP 3064759 B2 JP3064759 B2 JP 3064759B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- area
- alarm
- photographing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims description 6
- 238000012545 processing Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0289—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
- B60G2400/80—Exterior conditions
- B60G2400/82—Ground surface
- B60G2400/823—Obstacle sensing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
- B60G2400/80—Exterior conditions
- B60G2400/82—Ground surface
- B60G2400/824—Travel path sensing; Track monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60G2401/14—Photo or light sensitive means, e.g. Infrared
- B60G2401/142—Visual Display Camera, e.g. LCD
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2800/00—Indexing codes relating to the type of movement or to the condition of the vehicle and to the end result to be achieved by the control action
- B60G2800/16—Running
- B60G2800/166—Platooning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
された画像情報を用いて車両の周囲を監視する方法及び
装置に関し、またそれを利用した車両の運転支援システ
ムに関するものである。
799号公報,特開平2−291100号公報などに記載された従
来技術では、撮影装置によって撮影された車両進行方向
前方の映像から画像処理技術を駆使して行先車両を認識
し、進行方向前方の車両と当該車両との車間距離を一定
に保持したり、追従運転を行ったりすることが知られて
いる。
ば画像情報の中から前方の車両を認識するために、短時
間に大量の画像情報処理が必要となり、これに見合った
大容量のメモリと、超高速の演算が可能な情報処理装置
(コンピュータ)が必要となっていた。
を追従するためにその画像処理情報は一層増加し、情報
処理時間が長くなる問題があった。
撮影装置によって撮影された画像情報を用いて車両の周
囲を監視する装置,車両の運転支援システムあるいは、
運転支援装置において、処理情報量を大幅に削減して情
報処理装置の小型化,情報処理時間の短縮を図ることを
目的とする。
範囲の請求項に記載された発明によって達成される。
域(当該車両の周囲あるいは前方の領域)内に道路以外
の物体(例えば車両)が存在するか否かを判定して安全
車間距離判断を行うことで、必要メモリ及び情報処理量
の大幅削減を図ることができた。
る。図1に、本発明の一実施例に係わる渋滞時運転支援
システムの構成を示す。前方車1,前方道路2等を撮影
するCCDカメラ等の画像装置3は、A/D変換器4を
介して制御装置5に接続されている。更に制御装置5に
は、入力側に車輸速センサ6,ストップランプ信号モニ
タ7及び舵角センサ8が、出力側にはブレーキアクチュ
エータ9及び警報装置10が接続されている。
の処理を行う画像処理装置501,あらかじめ設定した
定数(yw,ys,yo,c1,c2)を記憶させたメモリ5
02,自車両の状態を判断する自車両状態判断装置50
3,アクチュエータ駆動装置504及び図示しない各種
メモリによって構成される。画像処理装置501にはA
/D変換器4によってディジタル化された画像信号10
1が、自車両状態判断装置503には車輸速センサ信号
102,ストップランプ信号103及び舵角センサ信号
104がそれぞれ入力信号として入る。一方、アクチュ
エータ駆動装置からは警報発令信号105及びブレーキ
駆動信号106が出力信号として出される。
置3により撮影した前方道路2を画像処理装置501に
より2次元のウィンドウ11上に処理している状態を示
したものである。自車レーン201のなかには4つの点
Pw1,Pw2,Po1,Po2によって作られる台形状の第一
のパーソナルエリア202及び4つの点Ps1,Ps2,P
o1,Po2によって作られる更に小さな台形状の第2のパ
ーソナルエリア203が形成される。Pw1,Ps1,Po1
及びPw2,Ps2,Po2はそれぞれ左右の白線に内接する
点であり、ウィンドウの横方向及び縦方向をそれぞれx
方向及びy方向とすると、その座標はそれぞれ(xw1,
yw),(xs1,ys),(xo1,yo),(xw2,
yw),(xs2,ys),(xo2,yo)で表される。
取付位置及び角度に応じてあらかじめ設定して制御装置
5内のメモリ502に焼き込んでおく。即ち、前方車が
ywより上の領域にある場合は渋滞走行の車間距離とし
て安全、ys より下の領域にある場合は衝突の危険あり
というyw 及びys を設定し、yo はウィンドウ11の
最下部に設定する。
で切られる左右の白線の長さの差を
値c1 及びこれよりも大きい第二のしきい値c2 との大
小関係を求める。
輪速センサ信号102により動いていると判断された)
状態での制御フローを図4に示す。画像装置3によって
道路状況が認識されると(1001)、画像処理装置5
01内で第一のパーソナルエリアAw(202)及び第
二のパーソナルエリアAs(203)が作成される(1
002)。次に、第一のパーソナルエリアAw内に物体
即ち前方車が存在するか否かの判定(1003)を行
い、図3に示すように存在しない場合には白線の左右長
さの差の判定フロー(1004)に移り、ここでその差
がしきい値c1よりも小さければ図3に示すような直線
路と判断し、最初のステップ1001に戻る。
は、図5に示すように前方車1が第一のパーソナルエリ
アAw(202)に入った即ち減速または停止したと判
断し、ストップランプ信号103により自車がブレーキ
操作をしていないと判断した場合に(1005)、警報
発令信号105により警報装置10から運転者にブレー
キ操作を促す一次警報を発する。また、判定1004で
Noとなった場合には、図6に示すような曲線路と判断
し、舵角センサ信号104により自車がステアリング操
作をしていないと判断した場合に(1007)、警報発
令信号105により警報装置10から運転者にステアリ
ング操作を促す一次警報を発する。
ーキまたはステアリング操作を行わず図7に示すように
前方車が第二のパーソナルエリアAs(203)に入っ
た場合(1008)、または左右の白線の長さの差が第
二のしきい値c2 を越えた場合に(1009)、衝突ま
たは脱輪の可能性大と判断し、二次警報を発する(10
10)と同時にブレーキ信号106によりブレーキアク
チュエータ9を駆動し、車両を自動停止させる(101
1)。
速センサ信号102により停止していると判断された)
状態での制御フローを図8に示す。画像装置3によって
道路状況が認識されると(2001)、画像処理装置5
01内で第一のパーソナルエリアAw(図5参照)が作
成される(2002)。次に、パーソナルエリアAw内
に物体即ち前方車が存在するか否かの判定(2003)
を行い、図5に示すように存在する場合には、前方車も
停止中または発進するに十分な車間距離が不足している
と判断し、最初のステップ2001に戻る。
は、前方車が発進して十分な車間距離が確保されたと判
断し、ストップランプ信号103により自車がブレーキ
操作をしていると判断した場合には(2004)、警報
発令信号105により運転車にブレーキ解除(発進)を
促す警報を発する(2005)。
状況を検出するセンサは1台の画像装置のみであるた
め、画像処理装置に入る画像情報量が少なく、前方車も
自車レーンの一部分(パーソナルエリア)に対する単な
る路面以外の物体として扱うために、画像処理する情報
量が従来方法に対して大幅に圧縮され、制御装置の小型
化が図れる。この結果、小型・軽量で安価なシステムを
得る事が出来る。
発進した場合に、適切なタイミングで運転者に停止また
は発進を促す警報を発すると共に、自車がレーンからは
み出しそうになる場合も適切なタイミングで警報を発す
るため、渋滞中に運転者が食事・読書等を楽しみ疲労・
ストレスを軽減する事ができる。
が気づかず衝突または脱輪の危険性がある場合には自動
的にブレーキを操作し車両を停止させるために、渋滞中
の不注意による事故も回避する事ができる。
エリアを作成していく実施例について、図9を用いて説
明する。はじめに、ウィンドウ11の最下部(y座標y
0 )の水平方向の中央には必ず路面が撮像されていると
仮定してこの位置に微小エリア204aを設定する。次
にこのエリアに対してあらかじめ設定した画素分だけ上
方及び左右にエリアを成長させる(204b)。拡大し
たエリア内がほぼ同一の色及び輝度である限りこの操作
を繰り返す。成長を繰り返している課程において別の色
が現われたら、これを白線と判断してこの部分(画素)
からの成長は停止させる(204cのQ部)。また、上
方(y方向)についてはあらかじめ設定したyw に達し
た時点で成長を停止させ、最終的なパーソナルエリア2
04を作成する。
グしながら車両を探す等の操作が無く、常に決めた位置
から無駄なくパーソナルエリアを作成してゆくために画
像処理演算量の削減を図る事が出来る。
は、ウィンドウ最下部中央位置に自車のボンネットが撮
像されてしまう場合があるが、この際にはボンネット上
方の最下位置を初期エリア204aとして、後は同様の
操作を行う事によりまったく同様の効果を得る事が出来
る。
実施例を図1及び図10を用いて説明する。前方車1,
前方道路2等を撮影するCCDカメラ等の画像装置3
は、A/D変換器4を介して制御装置5に接続されてい
る。更に制御装置5には、入力側に車輪速センサ6,ス
トップランプモニタ7及び路面勾配センサ12が、出力
側にはブレーキアクチュエータ9及び警報装置10が接
続されている。
報の処理を行う画像処理装置501、あらかじめ設定し
た定数(yw,ys,y0,c1,c2)を記憶させたメモリ
502,路面の勾配の大きさ107に応じてパーソナルエ
リアのy座標yw ,ys (後述)を補正設定するエリア
長さ設定装置506,自車両の状態を判断する自車両状
態判断装置503,アクチュエータ駆動装置504及び
図示しない各種メモリによって構成される。画像処理装
置501にはA/D変換器4によってディジタル化され
た画像信号101が、エリア長さ設定装置502には路
面勾配センサ信号102が、自車両状態判断装置503
には車輪速センサ信号103,ストップランプ信号10
4がそれぞれ入力信号として入る。一方、アクチュエー
タ駆動装置からは警報発令信号105及びブレーキ駆動
信号106が出力信号として出される。
置3により撮影した前方道路2を画像処理装置501に
より2次元のウィンドウ11上で処理している状態を示
したものである。自車レーン201の中には4つの点P
w1,Pw2,Po1,Po2によって作られる台形状の第一の
パーソナルエリアAw(202)及び4つの点Ps1,P
s2,Po1,Po2によって作られる更に小さな台形状の第
2のパーソナルエリアAs(203)が形成される。P
w1,Ps1,Po1及びPw2,Ps2,Po2はそれぞれ左右の
白線に内接する点であり、ウィンドウの横方向及び縦方
向をそれぞれx方向及びy方向とすると、その座標はそ
れぞれ(xw1,yw),(xs1,ys),(xo1,
yo),(xw2,yw),(xs2,ys),(xo2,yo)
で表わされる。ここでyw 及びys は、図11に示すよ
うに道路勾配の大きさに応じて変化し、下り坂では道路
勾配が増加すると、これに応じてyw 及びys を大きく
してゆくようにエリア長さ設定装置506内で補正値y
w′,ys′を設定する。ここで、yw 及びys を道路勾
配の関数として直接設定し、yo はウィンドウ11の最
下部に設定することもできる。このときはメモリ502
は不要である。
る。
輪速センサ信号103により動いていると判断された)
状態での制御フローを図12に示す。画像装置3によっ
て道路状況が認識され(2001)、路面勾配センサ8
及びエリア長さ設定装置502によって道路勾配の大きさ
に応じてyw 及びys が設定されると(2002)、画
像処理装置501内で第一のパーソナルエリアAw(2
02)及び第二のパーソナルエリアAs(203)が作
成される(2003)。次に、第一のパーソナルエリア
Aw内に物体即ち前方車が存在するか否かの判定(20
04)を行い、図3に示すように存在しない場合、最初
のステップ2001に戻る。
は、図5に示すように前方車1が第一のパーソナルエリ
アAw(202)に入った、即ち減速または停止したと
判断し、ストップランプ信号104により自車がブレー
キ操作をしていないと判断した場合に(2005)、警
報発令信号105により警報装置10から運転者にブレ
ーキ操作を促す一次警報を発する(2006)。
ーキまたはステアリング操作を行わず図7に示すように
前方車が第二のパーソナルエリアAs(203)に入っ
た場合(2007)、衝突の可能性大と判断し、二次警
報を発する(2008)と同時にブレーキ信号106に
よりブレーキアクチュエータ9を駆動し、車両を自動停
止させる(2009)。
のy座標yv 即ち同一の車間距離である場合の、それぞ
れ平坦路及び勾配の大きな下り坂での、画像処理装置5
01のウィンドウ上での処理状態を比較したものであ
る。平坦路図13(a)では第一のパーソナルエリアの
y座標yw は前方車位置のy座標yv よりも下にあるた
めに警報は出されない。一方、勾配の大きな下り坂図1
3(b)ではyw が大きくなりyv よりも上となるため
警報が出される。このように、下り坂においてはその勾
配の大きさに応じてパーソナルエリアを大きくするた
め、早めの警報発生となり余裕を持った安全なブレーキ
操作が可能となる。
を用いて説明する。
における制御装置5の詳細を図10に示すが、車輪速セ
ンサ信号102は自車両状態判断装置503と同時にエ
リア長さ設定装置506aに入力信号として入る。ここ
で、車輪速センサの信号を基に微分処理等により自車両
の加速度を求める。この自車加速度を基に路面の下り勾
配の大きさを判断し、その後は前述の実施例と同一のフ
ロー(図12)により、パーソナルエリアの設定から警
報発令またはブレーキ駆動に至る処理を行う。本実施例
においては、図15に示すように渋滞クリープ走行時に
自車の加速度が正即ち速度増加の場合には下り坂と判断
し、その加速度の増加に伴い第一のパーソナルエリアの
y座標yw 及び第二のパーソナルエリアのy座標ys を
増加させる。
効果が得られると共に、路面勾配センサを省略出来るた
めに、更にコスト低減を図る事が出来る。
車間距離判断を行う。このため必要メモリ及び情報処理
量の削減が可能となる。
ムの構成を示す図面。
ム制御装置の構成を示す図面。
たウィンドウの状態を示す図面。
ムの渋滞走行中の制御フローを示す図面。
た第一のパーソナルエリア内に前方車が存在する状態を
示す図面。
を処理したウィンドウの状態を示す図面。
た第二のパーソナルエリア内に前方車が存在する状態を
示す図面。
ムの渋滞停止中の制御フローを示す図面。
てパーソナルエリアを形成してゆく状況を示す図面。
ステム制御装置の構成を示す。
ステムにおける道路勾配とパーソナルエリア座標の関係
を示す。
ステムの渋滞走行中の制御フローを示す図面。
成した前方車とパーソナルエリアの位置関係を示す図
で、(a)はエリア外,(b)はエリア内に前方車が入
った状態を示す図面である。
ステム制御装置の構成を示す図面。
ステムにおける自車加速度とパーソナルエリア座標の関
係を示す図面。
置、7…ストップランプ信号モニタ、8…舵角センサ、
9…ブレーキアクチュエータ、10…警報装置、12…
路面勾配センサ、201…自車レーン、202…第1の
パーソナルエリア、203…第2のパーソナルエリア、
501…画像処理装置、502…メモリ、506,50
6a…エリア長さ設定装置。
Claims (7)
- 【請求項1】車両に装着されてその車両の周囲の状況を
撮影する撮影手段と、 前記撮影手段によって撮影された画像に第1の領域を設
定する手段と、 前記画像に第2の領域を設定する手段とを備え、 前記第1の領域は前記第2の領域よりも自車両に対して
遠方の画像に設定され、前記第1の領域と前記第2の領
域とで共に他車両が検出された場合には信号を発生する
車両の周囲を監視する装置において、 前記第1の領域と前記第2の領域のうち少なくとも一方
は、前記自車両の速度に基づいて、前記設定される位置
が変わることを特徴とする周囲を監視する装置。 - 【請求項2】車両に装着されてその車両の周囲の状況を
撮影する撮影手段と、 前記撮影手段からのデータを画像として表示するディス
プレイとを備え、 前記ディスプレイの画像上に第1の領域と第2の領域と
を共に表示し、 前記第1の領域は前記第2の領域よりも自車両に対して
遠方の画像上に表示され、前記第1の領域と前記第2の
領域とで共に他車両が表示された場合には警報を発する
車両の周囲を監視する装置において、前記第1の領域と前記第2の領域のうち少なくとも一方
は、前記自車両の速度に基づいて、前記表示される位置
が変わることを特徴とする周囲を監視する装置。 - 【請求項3】車両に固定装着されて自車レーンの位置が
撮像画面の略中央になるように前方道路状況を撮影する
1台の撮影装置と、 該撮影装置によって撮影された画像データを処理する画
像処理装置、自車両の状態を判断する自車両状態判断装
置及びアクチュエータ駆動装置により構成される制御装
置と、 運転者に警報を発する警報装置を備え、 前記画像処理装置によって処理された前方道路のウィン
ドウの中に、あらかじめ設定してある2本の水平線及び
自車レーン左右の2本の白線で囲まれる台形状のパーソ
ナルエリアを形成し、 渋滞路での走行中において、前記パーソナルエリア内に
道路以外の物体が入り込んだ場合に、前記アクチュエー
タ駆動装置を駆動し、前記警報装置からブレーキ操作を
促す警報を発する車両の運転支援システムにおいて、 警報を発した後もブレーキ操作がなく、あらかじめ設定
した第一のパーソナルエリアよりも小さな台形状の第二
のパーソナルエリア内に道路以外の物体が入り込んだ場
合に、アクチュエータ駆動装置によって自動的にブレー
キを作動し車両を停止させることを特徴とする車両の運
転支援システム。 - 【請求項4】車両に固定装着されて自車レーンの位置が
撮像画面の略中央になるように前方道路状況を撮影する
1台の撮影装置と、 該撮影装置によって撮像された画像データを処理する画
像処理装置,自車両の状態を判断する自車両状態判断装
置及びアクチュエータ駆動装置により構成される制御装
置と、 運転者に警報を発する警報装置を備え、 前記画像処理装置によって処理された前方道路のウィン
ドウの中に、あらかじめ設定してある2本の水平線及び
自車レーン左右の2本の白線で囲まれる台形状のパーソ
ナルエリアを形成し、 渋滞路での走行中において、前記パーソナルエリアを形
成する台形の左右両辺の長さの差があらかじめ設定した
しきい値を越えた場合に、前記アクチュエータ駆動装置
を駆動し、前記警報装置からステアリング操作を促す警
報を発する車両の運転支援システムにおいて、 警報を発した後もステアリング操作またはブレーキ操作
がなく、パーソナルエリアを形成する台形の左右両辺の
長さの差があらかじめ設定した第一のしきい値よりも大
きな第二のしきい値を越えた場合に、アクチュエータ駆
動装置によって自動的にブレーキを作動し車両を停止さ
せることを特徴とする車両の運転支援システム。 - 【請求項5】車両に装着されてその車両の前方を撮影す
る撮影手段と、 前記撮影手段によって撮影された画像に領域を設定する
手段と、 道路の勾配を検出する勾配検出手段と、 前記領域内の前方車を検出し警報を発する警報手段と、 を備えた運転支援装置において、 前記車両の走行中に、 前記道路が下り坂なら、前記勾配の大きさに応じて前記
領域を自車両に対して遠方に設定することを特徴とする
運転支援装置。 - 【請求項6】車両に固定装着されて自車レーンの位置が
撮像画面の略中央になるように前方道路状況を撮影する
1台の撮影装置と、 該撮影装置によって撮影された画像データを処理する画
像処理装置、自車両の状態を判断する自車両状態判断装
置及びアクチュエータ駆動装置により構成される制御装
置と、 運転者に警報を発する警報装置を備え、 前記画像処理装置によって処理された前方道路のウィン
ドウの中に、あらかじめ設定してある2本の水平線及び
自車レーン左右の2本の白線で囲まれる台形状のパーソ
ナルエリアを形成し、 渋滞路での走行中において、前記パーソナルエリア内に
道路以外の物体が入り込んだ場合に、前記アクチュエー
タ駆動装置を駆動し、前記警報装置からブレーキ操作を
促す警報を発する車両の運転支援システムにおいて、 渋滞クリープ走行中の自車速度の変化に応じて前記パー
ソナルエリアの大きさを可変とすることを特徴とする運
転支援システム。 - 【請求項7】車両に固定装着されて自車レーンの位置が
撮像画面の略中央になるように前方道路状況を撮影する
1台の撮影装置と、 該撮影装置によって撮影された画像データを処理する画
像処理装置、自車両の状態を判断する自車両状態判断装
置及びアクチュエータ駆動装置により構成される制御装
置と、 運転者に警報を発する警報装置を備え、 前記画像処理装置によって処理された前方道路のウィン
ドウの中に、あらかじめ設定してある2本の水平線及び
自車レーン左右の2本の白線で囲まれる台形状のパーソ
ナルエリアを形成し、 渋滞路での停止中において、前記パーソナルエリア内に
存在していた道路以外の物体がパーソルエリアから出た
場合に、前記アクチュエータ駆動装置を駆動し、前記警
報装置からブレーキ解除を促す警報を発する車両の運転
支援システムにおいて、 渋滞クリープ走行中の自車速度の変化に応じて前記パー
ソナルエリアの大きさを可変とすることを特徴とする運
転支援システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5240939A JP3064759B2 (ja) | 1993-09-28 | 1993-09-28 | 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置 |
DE4434698A DE4434698B4 (de) | 1993-09-28 | 1994-09-28 | Fahrzeugbetrieb-Unterstützungssystem |
US08313777 US5612686C1 (en) | 1993-09-28 | 1994-09-28 | Method and an apparatus for monitoring the environment around a vehicle and an operation support system using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5240939A JP3064759B2 (ja) | 1993-09-28 | 1993-09-28 | 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0796806A JPH0796806A (ja) | 1995-04-11 |
JP3064759B2 true JP3064759B2 (ja) | 2000-07-12 |
Family
ID=17066898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5240939A Expired - Fee Related JP3064759B2 (ja) | 1993-09-28 | 1993-09-28 | 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5612686C1 (ja) |
JP (1) | JP3064759B2 (ja) |
DE (1) | DE4434698B4 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014516799A (ja) * | 2011-06-08 | 2014-07-17 | ウィルソン トゥール インターナショナル インコーポレイティド | 支承表面機構を備えるダイシュー組立体、ダイを保持するための方法、及びダイシュー組立体と共に使用するためのダイ |
Families Citing this family (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
DE4443522C2 (de) * | 1994-12-07 | 1999-11-25 | Daimler Chrysler Ag | Verfahren zur Bestimmung der Fahrbahnneigung |
GB9425096D0 (en) * | 1994-12-13 | 1995-02-08 | Lucas Ind Plc | Apparatus and method for cruise control |
JP3470453B2 (ja) * | 1995-04-06 | 2003-11-25 | 株式会社デンソー | 車間距離制御装置 |
DE69624980T2 (de) * | 1995-05-18 | 2003-07-17 | Omron Corp., Kyoto | Objektüberwachungsverfahren und -gerät mit zwei oder mehreren Kameras |
US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
JP3726923B2 (ja) * | 1996-04-10 | 2005-12-14 | 富士重工業株式会社 | 車両用運転支援装置 |
JP3468001B2 (ja) * | 1996-12-16 | 2003-11-17 | 日産自動車株式会社 | 車両用走行制御装置 |
JP3619628B2 (ja) * | 1996-12-19 | 2005-02-09 | 株式会社日立製作所 | 走行環境認識装置 |
DE19700793A1 (de) * | 1997-01-13 | 1998-07-16 | Mackert Roland Dr Dipl Kaufm | Vorrichtung zur Überwachung des nachfolgenden Straßenverkehrs |
US5835028A (en) * | 1997-05-05 | 1998-11-10 | Bender; Lee | Lane marker position sensor and alarm |
DE19741631B4 (de) * | 1997-09-20 | 2013-08-14 | Volkswagen Ag | Verfahren und Vorrichtung zur Vermeidung und/oder Minimierung von Konfliktsituationen im Straßenverkehr |
US6163338A (en) * | 1997-12-11 | 2000-12-19 | Johnson; Dan | Apparatus and method for recapture of realtime events |
US6150956A (en) * | 1998-05-01 | 2000-11-21 | Zohar Lightomatic Ltd. | Proximity warning system for vehicles |
DE19847611C2 (de) * | 1998-10-15 | 2003-06-18 | Volkswagen Ag | Verfahren zur integrierten Darstellung der Parameter eines kombinierten ADR-/GRA-Systems |
JP2000161915A (ja) * | 1998-11-26 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 車両用単カメラ立体視システム |
JP2000259998A (ja) | 1999-03-12 | 2000-09-22 | Yazaki Corp | 車両用後側方監視装置 |
DE19911665B4 (de) * | 1999-03-16 | 2010-03-04 | Volkswagen Ag | Verfahren und Vorrichtung zur Bestimmung der Entfernung von auf der Fahrbahn vorhandenen Objekten zu einem Fahrzeug |
JP2000295604A (ja) * | 1999-04-06 | 2000-10-20 | Yazaki Corp | 車両用後側方監視装置 |
US20020046082A1 (en) | 1999-05-24 | 2002-04-18 | Phillip White | Process, system and computer readable medium for in-store printing of rainchecks for discount coupons and/or other purchasing incentives in a retail store |
AU6503800A (en) | 1999-07-30 | 2001-02-19 | Pixlogic Llc | Perceptual similarity image retrieval |
JP3092804B1 (ja) * | 1999-09-22 | 2000-09-25 | 富士重工業株式会社 | 車両用運転支援装置 |
US6483429B1 (en) * | 1999-10-21 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Parking assistance system |
US6476730B2 (en) * | 2000-02-29 | 2002-11-05 | Aisin Seiki Kabushiki Kaisha | Assistant apparatus and method for a vehicle in reverse motion |
DE10011263A1 (de) * | 2000-03-08 | 2001-09-13 | Bosch Gmbh Robert | Objektdetektionssystem |
KR100435650B1 (ko) * | 2001-05-25 | 2004-06-30 | 현대자동차주식회사 | 카메라가 장착된 차량의 도로정보 추출 및 차간거리 탐지방법 |
JP3617501B2 (ja) | 2002-03-18 | 2005-02-09 | 日産自動車株式会社 | 車両用減速補助装置 |
US7369685B2 (en) * | 2002-04-05 | 2008-05-06 | Identix Corporation | Vision-based operating method and system |
US20040052418A1 (en) * | 2002-04-05 | 2004-03-18 | Bruno Delean | Method and apparatus for probabilistic image analysis |
EP1504276B1 (en) | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
KR100471268B1 (ko) * | 2002-10-28 | 2005-03-10 | 현대자동차주식회사 | 차간거리 측정 방법 |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
DE102004028763A1 (de) * | 2004-06-16 | 2006-01-19 | Daimlerchrysler Ag | Andockassistent |
US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
DE102005045017A1 (de) * | 2005-09-21 | 2007-03-22 | Robert Bosch Gmbh | Verfahren und Fahrerassistenzsystem zur sensorbasierten Anfahrtsteuerung eines Kraftfahrzeugs |
US20070150138A1 (en) | 2005-12-08 | 2007-06-28 | James Plante | Memory management in event recording systems |
US10878646B2 (en) * | 2005-12-08 | 2020-12-29 | Smartdrive Systems, Inc. | Vehicle event recorder systems |
SG133456A1 (en) * | 2005-12-16 | 2007-07-30 | Nanyang Polytechnic | Method and system for safe inter-vehicular distance determination |
US8194132B2 (en) | 2006-01-20 | 2012-06-05 | Old World Industries, Llc | System for monitoring an area adjacent a vehicle |
JP4631750B2 (ja) * | 2006-03-06 | 2011-02-16 | トヨタ自動車株式会社 | 画像処理システム |
US9201842B2 (en) | 2006-03-16 | 2015-12-01 | Smartdrive Systems, Inc. | Vehicle event recorder systems and networks having integrated cellular wireless communications systems |
US8996240B2 (en) * | 2006-03-16 | 2015-03-31 | Smartdrive Systems, Inc. | Vehicle event recorders with integrated web server |
US7804426B2 (en) * | 2006-05-08 | 2010-09-28 | Drivecam, Inc. | System and method for selective review of event data |
US20080043736A1 (en) * | 2006-08-18 | 2008-02-21 | Drivecam, Inc. | Data Transfer System and Method |
US20070268158A1 (en) * | 2006-05-09 | 2007-11-22 | Drivecam, Inc. | System and Method for Reducing Driving Risk With Insight |
US7536457B2 (en) * | 2006-05-08 | 2009-05-19 | Drivecam, Inc. | System and method for wireless delivery of event data |
US9836716B2 (en) * | 2006-05-09 | 2017-12-05 | Lytx, Inc. | System and method for reducing driving risk with hindsight |
US20070257782A1 (en) * | 2006-05-08 | 2007-11-08 | Drivecam, Inc. | System and Method for Multi-Event Capture |
US8314708B2 (en) * | 2006-05-08 | 2012-11-20 | Drivecam, Inc. | System and method for reducing driving risk with foresight |
US8373567B2 (en) * | 2006-05-08 | 2013-02-12 | Drivecam, Inc. | System and method for identifying non-event profiles |
US7659827B2 (en) * | 2006-05-08 | 2010-02-09 | Drivecam, Inc. | System and method for taking risk out of driving |
WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
US8649933B2 (en) | 2006-11-07 | 2014-02-11 | Smartdrive Systems Inc. | Power management systems for automotive video event recorders |
US8989959B2 (en) | 2006-11-07 | 2015-03-24 | Smartdrive Systems, Inc. | Vehicle operator performance history recording, scoring and reporting systems |
US8868288B2 (en) | 2006-11-09 | 2014-10-21 | Smartdrive Systems, Inc. | Vehicle exception event management systems |
DE102007002813A1 (de) * | 2007-01-18 | 2008-07-24 | Robert Bosch Gmbh | Verfahren zum Abschätzen einer Entfernung eines Fahrzeugs zu einem Objekt und Fahrerassistenzsystem |
JP2007207274A (ja) * | 2007-04-23 | 2007-08-16 | Mitsubishi Electric Corp | 発進報知装置 |
US8239092B2 (en) | 2007-05-08 | 2012-08-07 | Smartdrive Systems Inc. | Distributed vehicle event recorder systems having a portable memory data transfer system |
JP4953313B2 (ja) * | 2007-09-10 | 2012-06-13 | 公立大学法人首都大学東京 | 環境認識システム、自律型移動体および環境認識プログラム |
JP5523448B2 (ja) * | 2009-04-23 | 2014-06-18 | パナソニック株式会社 | 運転支援システム、情報表示装置、及び情報表示プログラム |
US20100271533A1 (en) * | 2009-04-28 | 2010-10-28 | Crispin Porter & Bogusky | Image Recordation Device with a Plurality of Lenses |
JP5476282B2 (ja) * | 2010-11-30 | 2014-04-23 | 富士重工業株式会社 | 車両のアイドルストップ制御装置 |
DE102010063420A1 (de) * | 2010-12-17 | 2012-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Fahrerassistenzsystem mit einer Sensoranordnung zur Erfassung des Abstandes des eigenen Fahrzeuges zu einem Fremdobjekt |
US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
CA2819853A1 (en) * | 2012-06-28 | 2013-12-28 | Frederik Hoffmann | Passenger service unit with gesture control |
US9728228B2 (en) | 2012-08-10 | 2017-08-08 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
US9200904B2 (en) | 2013-03-15 | 2015-12-01 | Caterpillar | Traffic analysis system utilizing position based awareness |
US9501878B2 (en) | 2013-10-16 | 2016-11-22 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
US9610955B2 (en) | 2013-11-11 | 2017-04-04 | Smartdrive Systems, Inc. | Vehicle fuel consumption monitor and feedback systems |
DE102013022076A1 (de) * | 2013-12-23 | 2015-06-25 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug |
US8892310B1 (en) | 2014-02-21 | 2014-11-18 | Smartdrive Systems, Inc. | System and method to detect execution of driving maneuvers |
JP6252316B2 (ja) * | 2014-03-31 | 2017-12-27 | 株式会社デンソー | 車両用表示制御装置 |
KR101551092B1 (ko) * | 2014-05-15 | 2015-09-07 | 현대자동차주식회사 | 영상을 이용한 차량의 속도 제어 장치 및 그 방법 |
US9663127B2 (en) | 2014-10-28 | 2017-05-30 | Smartdrive Systems, Inc. | Rail vehicle event detection and recording system |
US11069257B2 (en) | 2014-11-13 | 2021-07-20 | Smartdrive Systems, Inc. | System and method for detecting a vehicle event and generating review criteria |
CN110450701A (zh) * | 2015-01-13 | 2019-11-15 | 麦克赛尔株式会社 | 车辆 |
US9679420B2 (en) | 2015-04-01 | 2017-06-13 | Smartdrive Systems, Inc. | Vehicle event recording system and method |
JP6558735B2 (ja) * | 2015-04-21 | 2019-08-14 | パナソニックIpマネジメント株式会社 | 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム |
CN107067734B (zh) * | 2017-04-11 | 2020-07-28 | 山东大学 | 一种城市信号控制交叉口车辆滞留违章检测方法 |
JP7030501B2 (ja) * | 2017-12-19 | 2022-03-07 | フォルシアクラリオン・エレクトロニクス株式会社 | 表示制御装置及び表示システム |
JP6628843B1 (ja) * | 2018-09-05 | 2020-01-15 | 三菱電機株式会社 | 障害物回避装置および障害物回避経路生成装置 |
WO2020172842A1 (zh) * | 2019-02-28 | 2020-09-03 | 深圳市商汤科技有限公司 | 车辆智能驾驶控制方法及装置、电子设备和存储介质 |
KR20220087838A (ko) * | 2020-12-18 | 2022-06-27 | 현대모비스 주식회사 | 차선 보상 방법 및 시스템 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3603929A (en) * | 1969-09-17 | 1971-09-07 | Thomas T Drysdale | Distance measuring device |
US4195425A (en) * | 1972-07-17 | 1980-04-01 | Ernst Leitz Wetzlar Gmbh | System for measuring position and/or velocity |
JPS58172799A (ja) * | 1982-04-02 | 1983-10-11 | 株式会社デンソー | 車両用自動追従走行制御装置 |
US5208750A (en) * | 1987-06-17 | 1993-05-04 | Nissan Motor Co., Ltd. | Control system for unmanned automotive vehicle |
JP2570315B2 (ja) * | 1987-09-01 | 1997-01-08 | アイシン精機株式会社 | 車上距離検出装置 |
JPH01281660A (ja) * | 1988-02-24 | 1989-11-13 | Toshiba Corp | 小形金属蒸気放電灯 |
JP2871718B2 (ja) * | 1989-05-01 | 1999-03-17 | マツダ株式会社 | 移動車の走行制御装置 |
JP2737337B2 (ja) * | 1990-01-25 | 1998-04-08 | 松下電器産業株式会社 | 車両の走行方向異常警告装置 |
JPH03269315A (ja) * | 1990-03-20 | 1991-11-29 | Mitsubishi Electric Corp | 先行車追尾用車間距離検出装置 |
JP2987778B2 (ja) * | 1990-11-30 | 1999-12-06 | アイシン精機株式会社 | 車両速度制御装置 |
JP2581334B2 (ja) * | 1991-04-02 | 1997-02-12 | 三菱電機株式会社 | 自動車用走行制御装置 |
JP2671682B2 (ja) * | 1991-11-25 | 1997-10-29 | 株式会社富士通ゼネラル | ジッタ低減回路 |
DE4140327A1 (de) * | 1991-12-06 | 1993-06-09 | Bayerische Motoren Werke Ag, 8000 Muenchen, De | Verfahren zum vermeiden von kollisionen von kraftfahrzeugen |
US5461357A (en) * | 1992-01-29 | 1995-10-24 | Mazda Motor Corporation | Obstacle detection device for vehicle |
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JPH05278581A (ja) * | 1992-03-30 | 1993-10-26 | Mazda Motor Corp | 車両の自動制動装置 |
US5523958A (en) * | 1992-06-10 | 1996-06-04 | Seiko Epson Corporation | Apparatus and method of processing image |
-
1993
- 1993-09-28 JP JP5240939A patent/JP3064759B2/ja not_active Expired - Fee Related
-
1994
- 1994-09-28 US US08313777 patent/US5612686C1/en not_active Expired - Fee Related
- 1994-09-28 DE DE4434698A patent/DE4434698B4/de not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014516799A (ja) * | 2011-06-08 | 2014-07-17 | ウィルソン トゥール インターナショナル インコーポレイティド | 支承表面機構を備えるダイシュー組立体、ダイを保持するための方法、及びダイシュー組立体と共に使用するためのダイ |
Also Published As
Publication number | Publication date |
---|---|
DE4434698A1 (de) | 1995-03-30 |
DE4434698B4 (de) | 2004-11-25 |
JPH0796806A (ja) | 1995-04-11 |
US5612686A (en) | 1997-03-18 |
US5612686C1 (en) | 2001-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3064759B2 (ja) | 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置 | |
US11125198B2 (en) | Camera based vehicle start-stop feature | |
RU2700635C1 (ru) | Способ и устройство обнаружения мест для парковки | |
JP3102250B2 (ja) | 車両用周囲情報表示装置 | |
US9620017B2 (en) | Vehicle merge assistance system and method | |
US20050125121A1 (en) | Vehicle driving assisting apparatus | |
JP4905829B2 (ja) | 運転支援装置および運転支援方法 | |
CN109844842B (zh) | 驾驶模式切换控制装置、系统、方法以及存储介质 | |
JPH08263784A (ja) | 道路状況認識装置 | |
JP4084857B2 (ja) | 自動車の前方監視システムにおけるイメージセンサの縦横比設定方法 | |
JP2003123196A (ja) | 車両の周辺監視装置及びプログラム | |
WO2008056780A1 (en) | Driving assistance device, driving assistance method, and program | |
JP2002308030A (ja) | 車両用周辺監視装置 | |
JP2001199260A (ja) | 車間距離制御装置、車両走行状況表示装置、車速制御解除装置、及び車両急制動警告装置 | |
JPH09178505A (ja) | 運転支援装置 | |
JP2010019589A (ja) | 車間距離検出装置、ドライブレコーダ装置 | |
JP3405378B2 (ja) | 車両周囲情報表示装置 | |
JP2002314989A (ja) | 車両用周辺監視装置 | |
KR101601500B1 (ko) | 스마트폰을 이용한 차량 운전 지원 시스템 및 방법 | |
JP2007142765A (ja) | 車両周辺監視装置 | |
JP2874083B2 (ja) | 自動車の走行制御装置 | |
JPH01281600A (ja) | 走行車両認識装置 | |
US20210403020A1 (en) | Vehicular control system with detection and prevention of unintended motion | |
JP2004051063A (ja) | 車両周辺視認装置 | |
JP2000149195A (ja) | 走路環境認識装置およびそれを用いた安全運転支援装置並びに自動運転装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080512 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 10 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 10 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |