JPH1139597A - 車両の衝突防止装置 - Google Patents

車両の衝突防止装置

Info

Publication number
JPH1139597A
JPH1139597A JP9192803A JP19280397A JPH1139597A JP H1139597 A JPH1139597 A JP H1139597A JP 9192803 A JP9192803 A JP 9192803A JP 19280397 A JP19280397 A JP 19280397A JP H1139597 A JPH1139597 A JP H1139597A
Authority
JP
Japan
Prior art keywords
vehicle
preceding vehicle
collision
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9192803A
Other languages
English (en)
Other versions
JP3872179B2 (ja
Inventor
Keiji Hanawa
圭二 塙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP19280397A priority Critical patent/JP3872179B2/ja
Publication of JPH1139597A publication Critical patent/JPH1139597A/ja
Application granted granted Critical
Publication of JP3872179B2 publication Critical patent/JP3872179B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

(57)【要約】 【課題】 自車両前方の撮像画像から先行車両のブレー
キランプ点灯を検出して先行車両の減速状態を的確に検
出し、先行車両と自車両との衝突可能性を正確に判断す
る。 【解決手段】 CCDカメラ10a,10bで撮像した
画像をイメージプロセッサ20で処理して距離分布情報
を算出すると、その距離分布情報をコントローラ30に
読み込んで道路形状や複数の立体物(車両や障害物等)
の3次元位置を検出して先行車を特定する。そして、先
行車の位置情報とCCDカメラ10aで撮像した画像と
から先行車のブレーキランプ点灯の有無を検出して先行
車の減速状態を判断し、この先行車の減速状態と車速セ
ンサ4や舵角センサ5等によって検出した自車両の走行
状態とから衝突可能性を判断し、その結果をディスプレ
イ9に表示してドライバに知らせる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、自車両の進行路上
に存在する先行車両を検出して衝突判断を行う車両の衝
突防止装置に関する。
【0002】
【従来の技術】最近では、自動車にTVカメラやレーザ
・レーダ等を搭載して前方の車両や障害物を検知し、そ
れらに衝突する危険度を判定してドライバに警報を発し
たり、自動的にブレーキを作動させて停止させる、ある
いは、先行車両との車間距離を安全に保つよう自動的に
走行速度を増減する等のASV(Advanced Safety Vehi
cle;先進安全自動車)に係わる技術の開発が積極的に
進められている。
【0003】先行車両と自車両との衝突可能性を判断し
て衝突警報を発する技術としては、従来、スキャン式レ
ーザ・レーダ等によって先行車両との車間距離及び相対
速度を計測し、車間距離が予め設定した警報距離を下回
ったとき、衝突警報を発する技術が提案されている。
【0004】しかしながら、交通事故で比較的多いパタ
ーンとして、先行車の急ブレーキによる追突があり、こ
のような状況に対しては、先行車両の減速度を検出する
ことが重要となる。このため、先行車両との車間距離を
レーザ・レーダによって計測し、車間距離の変化のパタ
ーンから先行車両の減速の開始を検出して警報を発する
技術が提案されている。
【0005】また、先行車両を検出する技術として、特
開平2−190978号公報には、自車両前方の先行車
両を含む風景を、赤色光のみを通すフィルタを介してT
Vカメラで撮像し、この撮像画像から先行車両の赤いテ
ールランプを検出する技術が開示されている。
【0006】
【発明が解決しようとする課題】しかしながら、自車両
と先行車両との車間距離の計測値には、誤差やバラツキ
が含まれており、現実の複雑な交通状況においては、先
行車両の減速度を精度高く検出することは困難である。
このため、先行車両の減速度を誤検出し、減速度がそれ
ほど大きくないにも拘わらず衝突警報が発せられる虞が
あった。
【0007】従って、先行車の減速状態を確実に検出す
るため、先行車両のテールランプの点滅状態からブレー
キ操作を検出することも考えられるが、前述したテール
ランプを検出する先行技術では、先行車両が白色である
場合、白色光の中に赤色光の成分も含まれているため、
フィルタを通しても車両の映像が映ってしまい、赤いテ
ールランプのみを検出することは困難であり、ブレーキ
操作に伴うテールランプの点滅を検出することもできな
い。
【0008】本発明は上記事情に鑑みてなされたもの
で、自車両前方の撮像画像から先行車両のブレーキラン
プ点灯を検出して先行車両の減速状態を的確に検出し、
先行車両と自車両との衝突可能性を正確に判断すること
のできる車両の衝突防止装置を提供することを目的とし
ている。
【0009】
【課題を解決するための手段】請求項1記載の発明は、
自車両の走行方向に存在する先行車両を検出し、この先
行車両と自車両との衝突可能性を判断する車両の衝突防
止装置において、自車両前方の撮像画像に、上記先行車
両の位置情報に基づいて上記先行車のテールランプ検出
領域を設定し、このテールランプ検出領域の輝度変化あ
るいは面積変化によって上記先行車両のブレーキランプ
点灯を検出する手段と、上記ブレーキランプの点灯の有
無に応じて上記先行車両の減速状態を判断し、上記先行
車両と自車両との衝突可能性を判断する手段とを備えた
ことを特徴とする。
【0010】請求項2記載の発明は、請求項1記載の発
明において、上記先行車両の減速状態を、上記ブレーキ
ランプの点灯と上記先行車両の減速度の計測値とによっ
て判断することを特徴とする。
【0011】請求項3記載の発明は、請求項1記載の発
明において、上記先行車両の減速状態を、上記ブレーキ
ランプの点灯の有無のみによって判断することを特徴と
する。
【0012】請求項4記載の発明は、請求項1,2,3
のいずれか一に記載の発明において、上記先行車と自車
両との現在の車間距離が、上記先行車の減速状態に応じ
て変更される警報距離以下になったとき、衝突の可能性
有りと判断して警報を発することを特徴とする。
【0013】請求項5記載の発明は、請求項1記載の発
明において、自車両前方を撮像した一対の画像からステ
レオ画像処理によって上記先行車両の位置情報を取得す
るとともに、上記一対の画像の一方に上記テールランプ
検出領域を設定することを特徴とする。
【0014】請求項6記載の発明は、請求項1記載の発
明において、レーザ・レーダの走査によって上記先行車
両の位置情報を取得するとともに、単眼のTVカメラに
よって撮像した自車両前方の画像に、上記テールランプ
検出領域を設定することを特徴とする。
【0015】すなわち、本発明の車両の衝突防止装置で
は、検出した先行車両の位置情報に基づいて自車両前方
の撮像画像に先行車のテールランプ検出領域を設定し、
このテールランプ検出領域の輝度変化あるいは面積変化
によって先行車両のブレーキランプ点灯を検出する。そ
して、このブレーキランプの点灯の有無に応じて先行車
両の減速状態を判断し、先行車両と自車両との衝突可能
性を判断する。この際、先行車両の減速状態は、ブレー
キランプの点灯と先行車両の減速度の計測値とによって
判断しても良く、ブレーキランプの点灯の有無のみによ
って判断しても良い。
【0016】また、先行車と自車両との現在の車間距離
が警報距離以下になったとき、衝突の可能性有りと判断
して警報を発することが望ましく、この警報距離は、先
行車のブレーキランプの点灯と減速度の計測値とによ
り、あるいは、ブレーキランプの点灯の有無のみによっ
て変更される。
【0017】また、先行車のブレーキランプ点灯を検出
する際には、自車両前方を撮像した一対の画像をステレ
オ画像処理して先行車の位置情報を取得し、一対の画像
の一方にテールランプ検出領域を設定しても良く、ある
いは、レーザ・レーダの走査によって先行車両の位置情
報を取得し、単眼のTVカメラによって撮像した自車両
前方の画像にテールランプ検出領域を設定しても良い。
【0018】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1〜図9は本発明の実施の第1
形態に係わり、図1は衝突防止装置の全体構成図、図2
は衝突防止装置の回路ブロック図、図3はブレーキラン
プ点灯検出及び衝突判断処理に係わる機能ブロック図、
図4は車載のカメラで撮像した画像の例を示す説明図、
図5は距離画像の例を示す説明図、図6は距離画像の区
分を示す説明図、図7は道路・立体物の認識結果を示す
説明図、図8は先行車の検出結果を示す説明図、図9は
テールランプの検出結果を示す説明図である。
【0019】図1において、符号1は自動車等の車両で
あり、この車両1に、進行方向に存在する障害物や先行
車両等を認識して衝突の危険性を判断し、衝突の危険性
がある場合、衝突回避の警報を発して安全を確保する衝
突防止装置2が搭載されている。
【0020】上記衝突防止装置2は、車外の対象物を異
なる位置から撮像するためのステレオ光学系10、この
ステレオ光学系10で撮像した画像を処理して三次元の
距離分布情報を算出するイメージプロセッサ20、及
び、このイメージプロセッサ20からの距離情報を入力
し、その距離情報から道路形状や複数の立体物の三次元
位置を高速で検出し、その検出結果に基づいて先行車や
障害物を特定して衝突警報の判断処理等を行うコントロ
ーラ30等から構成されている。
【0021】また、上記コントローラ30には、車速セ
ンサ4、舵角センサ5等の現在の車両の走行状態を検出
するためのセンサが接続され、認識された物体が自車両
1の障害物となる場合、ドライバの前方に設置されたデ
ィスプレイ9へ表示してドライバに対する警告を行う
他、図示しないアクチュエータ類を制御する外部装置を
接続することで車体の自動衝突回避制御等が可能となっ
ている。
【0022】上記ステレオ光学系10は、電荷結合素子
(CCD)等の固体撮像素子を用いた左右1組のCCD
カメラ10a,10bからなり、例えば、CCDカメラ
10aを、上記イメージプロセッサ20でステレオ画像
処理する際の基準画像側のカメラ、CCDカメラ10b
を比較画像側のカメラとして、所定の間隔を持って配設
されている。
【0023】上記イメージプロセッサ20では、上記C
CDカメラ10a,10bで撮像した1対の画像の相関
を求め、同一物体に対する視差から三角測量の原理によ
って距離を算出し、画像全体に渡る3次元の距離分布を
出力するとともに、上記コントローラ30での後述する
衝突判断処理において先行車両のブレーキランプ点灯を
検出するため、基準画像側のCCDカメラ10aの元画
像をデジタル化して記憶する。
【0024】上記コントローラ30では、上記イメージ
プロセッサ20からの距離分布情報を読み込んで道路形
状や複数の立体物(車両や障害物等)の3次元位置を高
速で検出して先行車を特定し、上記車速センサ4や上記
舵角センサ5等によって検出した自車両の走行状態に基
づいて先行車との衝突や接触可能性を判断し、その結果
を上記ディスプレイ9に表示してドライバに知らせる。
【0025】この際、上記コントローラ30では、CC
Dカメラ10aで撮像した元画像に基づいて先行車のブ
レーキランプ点灯を検出するようにしており、この先行
車のブレーキランプ点灯と先行車の減速度(負の加速
度)とから急ブレーキ状態を検出し、衝突可能性を判断
するようにしている。
【0026】上記イメージプロセッサ20及び上記コン
トローラ30は、詳細には、図2に示すハードウエア構
成となっている。
【0027】上記イメージプロセッサ20には、上記C
CDカメラ10a,10bで撮像した1組のステレオ画
像対に対して所定の小領域毎に同一の物体が写っている
部分を探索し、対応する位置のずれ量を求めて物体まで
の距離を算出し、三次元の距離分布情報として出力する
距離検出回路20a、この距離検出回路20aから出力
される距離分布情報を記憶する距離画像メモリ20b、
基準画像側のCCDカメラ10aで撮像したアナログ画
像を、所定の輝度階調(例えば、256階調)のデジタ
ル画像に変換するA/D変換器21a、このA/D変換
器21aで変換したデジタル画像を記憶する元画像メモ
リ21b等が備えられている。
【0028】上記距離検出回路20aから出力される距
離分布情報は、画像のような形態をしており(距離画
像)、左右2台のCCDカメラ11a,11bで撮影し
た画像、例えば図4に模式的に示すような画像を、上記
距離検出回路20aで処理すると、基準となるCCDカ
メラ10aの画像から図5のような距離画像が生成され
る。
【0029】図5に示す距離画像の例では、画像サイズ
は横600画素×縦200画素であり、距離データを持
っているのは黒点の部分で、これは図4の画像の各画素
のうち、左右方向に隣合う画素間で明暗変化が大きい部
分である。上記距離検出回路20aでは、この距離画像
を1ブロックを4×4画素の小領域として横150×縦
50のブロックからなる画像として扱い、各ブロック毎
に距離(画素ズレ数)の算出を行う。
【0030】一方、上記コントローラ30は、道路形状
等の検出処理を主とするマイクロプロセッサ30aと、
検出した道路形状に基づいて個々の立体物を検出する処
理を主とするマイクロプロセッサ30bと、検出した立
体物の位置情報に基づいて先行車や障害物を特定し、衝
突や接触危険性を判断する処理を主とするマイクロプロ
セッサ30cと、先行車のブレーキランプの点灯を検出
する処理を主とするマイクロプロセッサ30dとがシス
テムバス31を介して並列に接続されたマルチマイクロ
プロセッサのシステム構成となっている。
【0031】そして、上記システムバス31には、上記
距離画像メモリ20b及び上記元画像メモリ21bに接
続されるインターフェース回路32と、制御プログラム
を格納するROM33と、計算処理途中の各種パラメー
タを記憶するRAM34と、処理結果のパラメータを記
憶する出力用メモリ35と、上記ディスプレイ(DIS
P)9を制御するためのディスプレイコントローラ(D
ISP.CONT.)36と、上記車速センサ4、上記
舵角センサ5等からの信号を入力するI/Oインターフ
ェース回路37とが接続されている。
【0032】上記コントローラ30では、画素を単位と
する距離画像上の座標系を、図5に示すように、左下隅
を原点として横方向をi座標軸,縦方向をj座標軸とし
て扱い、画素ズレ数をdpとする距離画像上の点(i,
j,dp)を実空間の座標系に変換し、道路形状の認識
や立体物の位置検出等の処理を行う。
【0033】すなわち、実空間の三次元の座標系を、自
車(車両1)固定の座標系とし、X軸を車両1の進行方
向右側側方、Y軸を車両1の上方、Z軸を車両1の前
方、原点をCCDカメラ10a,10bの中央の真下の
道路面とすると、X−Z平面(Y=0)は、道路が平坦
な場合、道路面と一致することになり、以下の(1)〜(3)
式により、距離画像上の点(i,j,dp)を、実空間
上の点(x,y,z)に座標変換することができる。 x=CD/2+z・PW・(i−IV) …(1) y=CH+Z・PW・(j−JV) …(2) z=KS/dp …(3) 但し、CD :カメラ取り付け間隔 PW :1画素当たりの視野角 CH :カメラ取付け高さ IV,JV:車両1の真正面の無限遠点の画像上の座標
(画素) KS :距離係数(KS=CD/PW) 尚、実空間上の点(x,y,z)から画像上の点(i,
j,dp)を算出する式は、上記(1)〜(3)式を変形し、
次のようになる。 i =(x−CD/2)/(z・PW)+IV …(4) j =(y−CH)/(z・PW)+JV …(5) dp=KS/z …(6)
【0034】次に、上記コントローラ30における個々
の処理について説明する。まず、上記マイクロプロセッ
サ30aによる道路検出処理では、距離画像メモリ20
bに記憶された距離画像からの3次元的な位置情報を利
用して実際の道路上の白線だけを分離して抽出し、内蔵
した道路モデルのパラメータを実際の道路形状と合致す
るよう修正・変更して道路形状を認識する。
【0035】上記道路モデルは、認識対象範囲までの道
路の自車線を、設定した距離によって複数個の区間に分
け、各区間毎に左右の白線を3次元の直線式で近似して
折れ線状に連結したものであり、実空間の座標系におけ
る水平方向の直線式のパラメータa,b、及び、垂直方
向の直線式のパラメータc,dを求め、以下の(7)式に
示す水平方向の直線式、及び、以下の(8)式に示す垂直
方向の直線式を得る。 x=a・z+b …(7) y=c・z+d …(8)
【0036】実際には、上記(7),(8)式の直線式によ
り、左右の白線をそれぞれ近似することになり、各区間
毎に、進行方向左側の白線に対する直線式のパラメータ
aL,bL,cL,dLを求めるとともに、進行方向右
側の白線に対する直線式のパラメータaR,bR,c
R,dRを求め、RAM34にストアする。
【0037】また、上記マイクロプロセッサ30bによ
る物体検出処理では、距離画像を、図6に示すように、
格子状に所定間隔で区分し、各区分毎に、上記マイクロ
プロセッサ30aによって算出された道路形状の直線式
(7),(8)から距離zに於ける道路表面の高さを求め、こ
の道路表面の高さより上にある距離データを立体物デー
タとして抽出する。そして、各区分毎に、抽出されたデ
ータを用いてヒストグラムを作成し、このヒストグラム
から各区分を代表する立体物の存在位置と、その距離を
求める。
【0038】その後、各区分の立体物の検出距離を調
べ、隣接する区分において立体物までの検出距離の差異
が設定値以下の場合は同一の立体物と見なし、一方、設
定値以上の場合は別々の立体物と見なす。そして、検出
した立体物を包含する三次元ウィンドウを設定し、さら
に、この設定した三次元ウインドウが二次元の画像上で
どのように見えるかを計算して二次元ウィンドウを設定
する。そして、この二次元ウインドウ内の各データを順
次サーベイし、距離データを持っている画素について、
前述の(1)〜(3)式を用いて三次元位置(x,y,z)を
計算した後、距離や高さの値が三次元ウインドウの範囲
内にあるデータのみを抽出し、他は棄却する。
【0039】このようにして抽出したデータを、二次元
の画像上に投影し、これらのデータの外形を線分で連結
して立体物の輪郭像を求め、この輪郭像の左右端および
上端の画像上での座標(i,j,dp)から、その立体
物の検出距離(Z座標)、左右端位置(X座標)、上端
の位置(Y座標)を算出し、さらに、左右端位置から立
体物の横幅を求め、上端の位置から物体の高さを求め、
RAM34にストアする。
【0040】尚、以上の距離画像を生成する処理、距離
画像から道路形状を検出する処理、距離画像の区分毎の
立体物の距離データから複数の立体物を検出する処理に
ついては、本出願人によって先に提出された特開平5−
265547号公報に詳述されている。
【0041】一方、上記マイクロプロセッサ30cによ
る衝突判断処理では、検出した道路形状と立体物の位置
とを比較して先行車を特定し、この先行車と自車両との
相対速度や先行車の減速度を算出する。同時に、上記マ
イクロプロセッサ30dによって先行車のブレーキラン
プ点灯が検出されたか否かを調べ、この先行車のブレー
キランプ点灯の検出結果と、先行車の相対速度や減速度
の算出結果とから衝突の危険性を判断し、その結果を上
記ディスプレイ9に表示してドライバに警告を発する等
の処理を行う。
【0042】以下、上記マイクロプロセッサ30cにお
ける衝突判断処理及び上記マイクロプロセッサ30dに
よるブレーキランプ点灯検出処理について詳述する。
【0043】図3は、マイクロプロセッサ30cによる
衝突判断部40、マイクロプロセッサ30dによるブレ
ーキランプ点灯検出部50の機能構成を示すものであ
り、衝突判断部40は、先行車検出部41、急ブレーキ
検出部42、衝突危険度判定部43から構成され、ブレ
ーキランプ点灯検出部50は、サーベイ範囲設定部5
1、テールランプ検出部52、ブレーキランプ点灯判断
部53から構成されている。尚、マイクロプロセッサ3
0aによる道路検出部60、マイクロプロセッサ30b
による立体物検出部70の各機能については前述した通
りであり、説明を省略する。
【0044】以上の機能構成による処理では、衝突判断
部40において、まず、先行車検出部41で、検出され
た立体物の自車からの距離Zi、左端の位置XiL、右
端の位置XiRを用い、先行車を特定する。この先行車
の特定に際しては、最初に、道路形状のデータから距離
Ziにおける左右の白線の位置XL,XR(X座標)
を、以下の(9),(10)式で計算する。 左白線:XL=aL・Zi+bL …(9) 右白線:XR=aR・Zi+bR …(10)
【0045】次いで、上記(9),(10)式で算出した左右の
白線の位置XL,XRと、立体物の左右端の位置Xi
L,XiRとを、それぞれ比較し、白線の内側に掛かっ
ている立体物を先行車の候補として選別すると、選別し
た先行車の候補の中から、自車両との距離が最も近いも
のを先行車として特定する。この先行車の位置のデータ
は、RAM34にストアされ、ブレーキランプ点灯検出
部50に伝達される。
【0046】そして、先行車を特定すると、次に、急ブ
レーキ検出部42で、上記先行車検出部41で特定した
先行車と自車両との間の車間距離の時間変化から、先行
車の自車両に対する相対速度を算出し、この相対速度に
自車両の走行速度を加算して先行車の走行速度を求め
る。
【0047】さらに、先行車の走行速度の時間変化から
先行車の加減速度を算出し、先行車の減速度(絶対値)
が判定値(例えば、5m/sec2)以上で、且つ、ブ
レーキランプ点灯検出部50によって先行車のブレーキ
ランプ点灯が検出されている場合、先行車が急ブレーキ
を掛けた状態であると判断する。
【0048】ここで、ブレーキランプ点灯検出部50に
おける先行車のブレーキランプ点灯検出処理について説
明する。
【0049】ブレーキランプ検出部50では、まず、サ
ーベイ範囲設定部51で先行車のテールランプ点灯を検
出するためのサーベイ範囲を、元画像メモリ21bに記
憶されているデジタル画像、すなわち、距離画像を生成
する際に基準となる側のCCDカメラ10aで撮像した
アナログ画像に対し、各画素の明るさ(輝度)を例えば
256階調にデジタル化した画像上に設定する。
【0050】先行車の検出枠は、図4の元画像上では図
7のようになり、左右の枠線及び上下の枠線のデジタル
画像上の位置(i,j座標)は、先行車の左右端のX,
Z座標から前述の(4)式によってi座標を算出すること
ができ、下側の枠線を道路面上の位置(y=0)、上側
の枠線を検出された先行車の高さとして、前述の(5)式
によってj座標を算出することができる。
【0051】このような先行車の検出枠に対し、図8の
破線で示すように、検出誤差を考慮して余裕を見込んだ
少し広い範囲(例えば、+0.3〜0.6m程度)を、
テールランプのサーベイ範囲として設定する。
【0052】次に、テールランプ検出部52では、上記
サーベイ範囲設定部51で設定したサーベイ範囲内の画
素の輝度平均値を計算し、平均値より高い輝度(例え
ば、平均値の1.5倍)を閾値として設定すると、サー
ベイ範囲内で閾値より明るい画素を抽出し、画像を2値
化する。さらに、この2値化画像で明るさの連続する領
域毎にラベルを付けるラベリング処理を行って隣接する
画素を領域にまとめ、各領域の面積、重心点のi,j座
標、領域内の輝度の平均値等を計算して先行車のテール
ランプが点灯しているか否かを判断する。
【0053】すなわち、先行車のテールランプが点灯し
ていない場合には、上記サーベイ範囲内に明るい領域が
存在しないか、あるいは、先行車の特に明るい部分が不
定形な領域として現れるのみであるが、テールランプが
点灯している場合には、例えば、図9に示すように、テ
ールランプの部分が大きな明るい領域として抽出され
る。従って、車両のテールランプの大きさ、形状、位置
等を考慮し、以下の3つの条件を全て満足する場合、先
行車のテールランプが点灯していると判断することがで
きる。
【0054】条件1:明るい領域の面積が判定値(例え
ば、0.02m2程度の面積)より大きい。
【0055】条件2:サーベイ範囲の左側と右側との両
方に同じ面積の領域が存在する。
【0056】条件3:上記左右2つの領域の画像上の高
さ(j座標)が等しい。
【0057】以上の処理により、先行車のテールランプ
点灯の有無、テールランプの2つの領域の面積の合計
値、輝度の平均値等のデータがRAM34にストアさ
れ、これらのデータから、ブレーキランプ点灯判断部5
3で先行車のブレーキランプ点灯を判断する。
【0058】ここで、テールランプが点灯するのは、夜
間等でスモールランプが点灯されている場合と、ブレー
キを踏んでブレーキランプが点灯する場合である。この
場合、スモールランプよりブレーキランプの方が明る
く、カメラの特性に余裕がある場合には、スモールラン
プが点灯されている状態でブレーキランプが点灯する
と、画像上では、テールランプ部分の輝度が高くなる。
【0059】しかしながら、スモールランプ点灯の時点
でカメラの感度が飽和し、テールランプ部分の輝度が飽
和値に達しているような状況では、ブレーキランプが点
灯して更に明るくなると、画像上では、テールランプ部
分の輝度が飽和したまま、明るい部分が周囲に滲んで面
積が拡大する。
【0060】従って、ブレーキランプ点灯判断部53で
は、上記テールランプ検出部52による今回の検出結果
と前回の検出結果と比較し、以下のように、ブレーキラ
ンプが点灯しているか否かを判断する。
【0061】(a)前回の検出結果がテープランプ非点
灯の場合、今回の検出結果がテールランプ点灯であれ
ば、ブレーキランプ点灯と判断する。
【0062】(b)前回の検出結果がテールランプラン
プ点灯の場合、次の(i),(ii)のいずれかでブレーキラン
プ点灯と判断する。
【0063】(i)今回の検出結果、テールランプの領域
の輝度が判定値(例えば、前回の輝度の1.2倍)以上
に高くなった。
【0064】(ii)今回の検出結果、テールランプの領域
の面積が判定値(例えば、前回の面積の1.2倍)以上
に拡大した。
【0065】このブレーキランプ点灯の判断結果は、R
AM34にストアされて上記急ブレーキ検出部42に伝
達され、前述した処理によって先行車の急ブレーキが検
出される。次に、衝突危険度判定部43では、先行車の
急ブレーキの有無に応じて警報距離を設定し、現在の車
間距離が、この警報距離以下のとき、衝突警報をディス
プレイ9に表示する等してドライバに警告を発する。
【0066】先行車が急ブレーキを掛けていない場合の
警報距離Dw1は、自車の走行速度Ve、先行車の走行
速度Viから、例えば、以下の(11)式によって算出する
ことができる。但し、以下の(11)式におけるt1,A,
Bは、予め設定した定数であり、例えば、t1=0.2
5、A=0.12、B=0.54程度の値である。 Dw1=t1・Ve+A・Ve・(Ve−Vi)+B・(Ve−Vi) …(11)
【0067】一方、先行車が急ブレーキを掛けた状態で
あると判断された場合、上記(11)式による警報距離Dw
1を、以下の(12)式に示すように、自車の走行速度Ve
に応じて延長した警報距離Dw2とする。 Dw2=Dw1+t2・Ve …(12)
【0068】上記(12)における定数t2は、例えば、
0.5〜1.0程度の値であり、この延長によって衝突
警報の発生タイミングが概ねt2秒だけ早くなり、ドラ
イバに危険をより早く報知することができる。尚、この
衝突危険度判定部43を自動ブレーキ装置等に連動さ
せ、衝突の危険度がより大きい場合、自車両を自動的に
減速・停止させることが望ましい。
【0069】すなわち、従来では、車間距離の計測値に
含まれるバラツキや誤差のため、先行車の減速度の計算
値が大きくばらつき、衝突判断の際の判断基準が安全側
に片寄りすぎて的確性に欠ける嫌いがあったが、本発明
では、先行車のブレーキランプ点灯を検出しているた
め、より正確な衝突判断を行うことができ、信頼性を向
上することができる。
【0070】さらに、先行車のブレーキランプ点灯に対
して減速度があまり大きくない場合であっても、先行車
のブレーキランプ点灯と減速度とを組み合わせるため、
先行車の減速状態を的確に検出することができる。
【0071】図10は本発明の実施の第2形態に係わ
り、ブレーキランプ点灯検出及び衝突判断処理に係わる
機能ブロック図である。
【0072】本形態は、混雑した道路で車間距離が十分
に取れないような状況に対し、先行車のブレーキ操作を
いち早く検出するため、前述の第1形態における急ブレ
ーキ検出部42の処理内容を変更するものである。
【0073】すなわち、本形態の衝突判断部40Aは、
図10に示すように、第1形態の急ブレーキ検出部42
をブレーキ検出部42Aに変更し、このブレーキ検出部
42Aにおいて、ブレーキランプ検出部50で先行車の
ブレーキランプ点灯を検出したとき、先行車の減速度を
計算することなく、直ちに、先行車が減速を開始したと
判断する。
【0074】そして、第1形態と同様、衝突危険度判定
部43で、先行車の減速の有無に応じた警報距離を設定
し、現在の車間距離が、この警報距離以下のとき、衝突
警報をディスプレイ9に表示する等してドライバに警告
を発する。
【0075】本形態では、先行車の減速度を計算するこ
となく、ブレーキランプ点灯のみで先行車の減速を判断
するため、直ちに先行車の減速開始を検出することがで
き、衝突警報の発生タイミングが早まり、特に、渋滞時
等に有効である。
【0076】図11は本発明の実施の第3形態に係わ
り、ブレーキランプ点灯検出及び衝突判断処理に係わる
機能ブロック図である。
【0077】本形態は、前述の第1形態の衝突判断処理
に第2形態の処理を組み込み、互いの長所を取り入れた
ものである。このため、本形態の衝突判断部40Bは、
図11に示すように、第1形態に対し、急ブレーキ検出
部42、衝突危険度判定部43を変更し、ブレーキ検出
部42B、衝突危険度判断部43Bとする。
【0078】ブレーキ検出部42Bでは、ブレーキラン
プ検出部50で先行車のブレーキランプ点灯を検出した
場合に先行車がブレーキ操作をしたと判断し、先行車の
減速度を算出する。そして、先行車の減速度を判定値
(例えば、5m/sec2)と比較し、先行車の減速度
が判定値より小さい場合には、先行車のブレーキ操作に
よる警戒状態、先行車の減速度が判定値以上の場合、先
行車が急ブレーキを掛けた状態と判断する。
【0079】衝突危険度判断部43Bでは、先行車のブ
レーキランプが非点灯の場合、通常の警報距離Dw1
を、第1形態と同様、前述の(11)式によって算出し、
現在の車間距離が、この警報距離Dw1以下のとき、衝
突警報をディスプレイ9に表示する等してドライバに警
告を発する。
【0080】一方、先行車のブレーキランプ点灯が検出
された場合には、ブレーキ操作による警戒状態と急ブレ
ーキ状態とで警報距離を2つの段階に分けて設定する。
すなわち、先行車のブレーキ操作による警戒状態では、
以下の(13)式によって通常の警報距離Dw1を延長した
警報距離Dw3とし、先行車の急ブレーキ状態では、以
下の(14)式によって通常の警報距離Dw1を延長した警
報距離Dw4とする。 Dw3=Dw1+t3・Ve …(13) Dw4=Dw1+t4・Ve …(14)
【0081】上記(13),(14)式におけるt3,t4は、定数
であり、t3>t4となるよう設定する。例えば、t3=
0.5、t4=1.0とすると、自車両の走行速度Ve
が50km/h(14.9m/sec)の場合には、通
常の警報距離Dw1が先行車のブレーキランプ点灯で
7.5m延長され、さらに、急ブレーキ検出時には1
4.9m延長される。
【0082】すなわち、車間距離が警報距離に対してぎ
りぎりで余裕が無い状態での走行中には、先行車のブレ
ーキランプ点灯のみで衝突警報が発せられ、ドライバの
注意が喚起される。一方、車間距離に多少の余裕がある
状態での走行中には、先行車の急ブレーキが検出された
場合にのみ、衝突警報が発せられる。
【0083】本形態では、衝突距離が先行車のブレーキ
操作による警戒状態と急ブレーキ状態との2つの段階に
分けて延長されるため、実際の交通状況やドライバの運
転感覚に適合した衝突警報を発することができる。
【0084】図12〜図14は本発明の実施の第4形態
に係わり、図12は衝突防止装置の全体構成図、図13
はレーザビームの走査方法を側面から示す説明図、図1
4はレーザビームの走査方法を上面から示す説明図であ
る。
【0085】図12に示すように、本形態の車両80に
搭載される衝突防止装置81は、2台のカメラによるス
テレオ画像処理に代えて単眼のCCDカメラ90を採用
し、この単眼のCCDカメラ90で撮像した画像と、所
定の走査範囲で一定の間隔毎にレーザビームを投光・受
光するスキャン式レーザ・レーダ91からの信号とを、
コントローラ100で処理し、車外の障害物や先行車両
等を認識して衝突判断を行うものである。
【0086】すなわち、上記コントローラ100では、
図14,15に示すように、上記スキャン式レーザ・レ
ーダ91からレーザビームを投射し、この投射したレー
ザビームが物体に当たって反射してくる光を受光するま
での所要時間から物体までの距離を測定する処理を左右
方向に繰り返して前方の複数の障害物や車両の2次元分
布を求めるとともに、上記CCDカメラ90によって撮
像した画像を解析して左右の白線の位置を検出する。
【0087】そして、前述した各形態と同様、検出した
複数の立体物の位置と道路形状を比較して先行車を特定
するとともに、この先行車の位置情報とCCDカメラ9
0で撮像した画像とから先行車のブレーキランプ点灯の
有無を検出して先行車の減速状態を判断し、この先行車
の減速状態と車速センサ4や舵角センサ5等によって検
出した自車両の走行状態とから衝突可能性を判断し、そ
の結果をディスプレイ9に表示してドライバに知らせ
る。この先行車のブレーキランプ点灯検出及び衝突判断
処理は、前述の第1〜3形態のいずれを適用することも
可能である。
【0088】本形態においても、前述の各形態と同様、
先行車の減速状態を的確に検出して不必要な警報を発す
ることなく、信頼性高く衝突の危険性を判断することが
できる。
【0089】
【発明の効果】以上説明したように本発明によれば、自
車両前方の撮像画像から先行車両のブレーキランプ点灯
を検出しているため、先行車両の減速状態を的確に検出
することができ、先行車両と自車両との衝突可能性をよ
り正確に判断することができ、信頼性を向上することが
できる。
【0090】また、先行車のブレーキランプ点灯と減速
度とを考慮することにより、減速度の計測値に誤差があ
っても先行車の急ブレーキ状態等を確実に検出すること
ができるばかりでなく、先行車のブレーキランプ点灯に
対して減速度があまり大きくない場合であっても、先行
車の減速状態を的確に検出することができる。
【0091】一方、渋滞時等には、先行車の減速度を計
測することなくブレーキランプ点灯のみで先行車の減速
を判断することで、迅速に先行車の減速開始を検出する
ことができる。
【0092】さらに、先行車と自車両との現在の車間距
離が警報距離以下になったときの衝突警報の発生に際
し、先行車のブレーキランプの点灯と減速度の計測値と
によって、あるいは、ブレーキランプの点灯の有無のみ
によって、警報距離を変更することで、実際の交通状況
やドライバの運転感覚に適合した警報とすることができ
る等優れた効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の第1形態に係わり、衝突防止装
置の全体構成図
【図2】同上、衝突防止装置の回路ブロック図
【図3】同上、ブレーキランプ点灯検出及び衝突判断処
理に係わる機能ブロック図
【図4】同上、車載のカメラで撮像した画像の例を示す
説明図
【図5】同上、距離画像の例を示す説明図
【図6】同上、距離画像の区分を示す説明図
【図7】同上、道路・立体物の認識結果を示す説明図
【図8】同上、先行車の検出結果を示す説明図
【図9】同上、テールランプの検出結果を示す説明図
【図10】本発明の実施の第2形態に係わり、ブレーキ
ランプ点灯検出及び衝突判断処理に係わる機能ブロック
【図11】本発明の実施の第3形態に係わり、ブレーキ
ランプ点灯検出及び衝突判断処理に係わる機能ブロック
【図12】本発明の実施の第4形態に係わり、衝突防止
装置の全体構成図
【図13】同上、レーザビームの走査方法を側面から示
す説明図
【図14】同上、レーザビームの走査方法を上面から示
す説明図
【符号の説明】
1 …自車両 2 …衝突防止装置 40…衝突判断部 41…先行車検出部 42…急ブレーキ検出部 43…衝突危険度判定部 50…ブレーキランプ点灯検出部 51…サーベイ範囲設定部 52…テールランプ検出部 53…ブレーキランプ点灯判断部

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 自車両の走行方向に存在する先行車両を
    検出し、この先行車両と自車両との衝突可能性を判断す
    る車両の衝突防止装置において、 自車両前方の撮像画像に、上記先行車両の位置情報に基
    づいて上記先行車のテールランプ検出領域を設定し、こ
    のテールランプ検出領域の輝度変化あるいは面積変化に
    よって上記先行車両のブレーキランプ点灯を検出する手
    段と、 上記ブレーキランプの点灯の有無に応じて上記先行車両
    の減速状態を判断し、上記先行車両と自車両との衝突可
    能性を判断する手段とを備えたことを特徴とする車両の
    衝突防止装置。
  2. 【請求項2】 上記先行車両の減速状態を、上記ブレー
    キランプの点灯と上記先行車両の減速度の計測値とによ
    って判断することを特徴とする請求項1記載の車両の衝
    突防止装置。
  3. 【請求項3】 上記先行車両の減速状態を、上記ブレー
    キランプの点灯の有無のみによって判断することを特徴
    とする請求項1記載の車両の衝突防止装置。
  4. 【請求項4】 上記先行車と自車両との現在の車間距離
    が、上記先行車の減速状態に応じて変更される警報距離
    以下になったとき、衝突の可能性有りと判断して警報を
    発することを特徴とする請求項1,2,3のいずれか一
    に記載の車両の衝突防止装置。
  5. 【請求項5】 自車両前方を撮像した一対の画像からス
    テレオ画像処理によって上記先行車両の位置情報を取得
    するとともに、上記一対の画像の一方に上記テールラン
    プ検出領域を設定することを特徴とする請求項1記載の
    車両の衝突防止装置。
  6. 【請求項6】 レーザ・レーダの走査によって上記先行
    車両の位置情報を取得するとともに、単眼のTVカメラ
    によって撮像した自車両前方の画像に、上記テールラン
    プ検出領域を設定することを特徴とする請求項1記載の
    車両の衝突防止装置。
JP19280397A 1997-07-17 1997-07-17 車両の衝突防止装置 Expired - Lifetime JP3872179B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19280397A JP3872179B2 (ja) 1997-07-17 1997-07-17 車両の衝突防止装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19280397A JP3872179B2 (ja) 1997-07-17 1997-07-17 車両の衝突防止装置

Publications (2)

Publication Number Publication Date
JPH1139597A true JPH1139597A (ja) 1999-02-12
JP3872179B2 JP3872179B2 (ja) 2007-01-24

Family

ID=16297256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19280397A Expired - Lifetime JP3872179B2 (ja) 1997-07-17 1997-07-17 車両の衝突防止装置

Country Status (1)

Country Link
JP (1) JP3872179B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1341140A1 (en) * 2002-03-01 2003-09-03 Hitachi Ltd. Vehicle control apparatus
JP2004164188A (ja) * 2002-11-12 2004-06-10 Nissan Motor Co Ltd 車両用報知装置
DE10103767B4 (de) * 2001-01-27 2005-12-22 Daimlerchrysler Ag Verfahren und Vorrichtung zur vorausschauenden Kollisionserkennung und -vermeidung
US7395138B2 (en) 2003-08-08 2008-07-01 Nissan Motor Co., Ltd. Driving assist system for vehicle
JP2008186344A (ja) * 2007-01-31 2008-08-14 Fuji Heavy Ind Ltd 先行車両検出装置
JP2008211410A (ja) * 2007-02-26 2008-09-11 Hitachi Ltd 車載用画像認識装置及び配光制御装置、並びに配光制御方法
JP2009211498A (ja) * 2008-03-05 2009-09-17 Honda Motor Co Ltd 車両用警報装置
JP2009245045A (ja) * 2008-03-31 2009-10-22 Hitachi Ltd 交通流計測装置
DE102011088130A1 (de) * 2011-12-09 2013-06-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Bremssituation
JP2014517396A (ja) * 2011-05-26 2014-07-17 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 前方を走行中の車両の後方ランプ類を認識することによる周辺情報の演繹方法
JP2016110539A (ja) * 2014-12-10 2016-06-20 富士重工業株式会社 車外環境認識装置
WO2016158278A1 (ja) * 2015-03-31 2016-10-06 株式会社デンソー 車両制御装置、及び車両制御方法
CN111052201A (zh) * 2017-09-01 2020-04-21 株式会社村上开明堂 碰撞预测装置、碰撞预测方法以及程序
WO2020121010A1 (ja) * 2018-12-11 2020-06-18 日産自動車株式会社 他車動作予測方法及び他車動作予測装置
CN113386742A (zh) * 2021-05-28 2021-09-14 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
CN115817422A (zh) * 2023-02-20 2023-03-21 苏州德机自动化科技有限公司 一种新能源汽车自动安全驾驶的车身制动控制系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970357B2 (en) 2011-04-13 2015-03-03 Toyota Jidosha Kabushiki Kaisha Vehicle-mounted surrounding object recognizing apparatus and drive support apparatus using the same
JP7356319B2 (ja) 2019-10-17 2023-10-04 株式会社Subaru 車外環境認識装置
KR20210133330A (ko) * 2020-04-28 2021-11-08 주식회사 만도 운전자 보조 시스템 및 운전자 보조 방법
JP7431698B2 (ja) 2020-08-20 2024-02-15 株式会社Subaru 車外環境認識装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10103767B4 (de) * 2001-01-27 2005-12-22 Daimlerchrysler Ag Verfahren und Vorrichtung zur vorausschauenden Kollisionserkennung und -vermeidung
EP1341140A1 (en) * 2002-03-01 2003-09-03 Hitachi Ltd. Vehicle control apparatus
JP2004164188A (ja) * 2002-11-12 2004-06-10 Nissan Motor Co Ltd 車両用報知装置
US7395138B2 (en) 2003-08-08 2008-07-01 Nissan Motor Co., Ltd. Driving assist system for vehicle
US8194998B2 (en) 2007-01-31 2012-06-05 Fuji Jukogyo Kabushiki Kaisha Preceding vehicle detection system
DE102008006951A1 (de) 2007-01-31 2008-09-04 Fuji Jukogyo Kabushiki Kaisha Erfassungssystem für vorausfahrende Fahrzeuge
DE102008006951B4 (de) 2007-01-31 2019-05-29 Subaru Corporation Erfassungssystem für vorausfahrende Fahrzeuge
JP2008186344A (ja) * 2007-01-31 2008-08-14 Fuji Heavy Ind Ltd 先行車両検出装置
JP2008211410A (ja) * 2007-02-26 2008-09-11 Hitachi Ltd 車載用画像認識装置及び配光制御装置、並びに配光制御方法
JP2009211498A (ja) * 2008-03-05 2009-09-17 Honda Motor Co Ltd 車両用警報装置
JP2009245045A (ja) * 2008-03-31 2009-10-22 Hitachi Ltd 交通流計測装置
JP2014517396A (ja) * 2011-05-26 2014-07-17 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 前方を走行中の車両の後方ランプ類を認識することによる周辺情報の演繹方法
DE102011088130A1 (de) * 2011-12-09 2013-06-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Bremssituation
DE102011088130B4 (de) 2011-12-09 2023-03-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Bremssituation
US9827956B2 (en) 2011-12-09 2017-11-28 Robert Bosch Gmbh Method and device for detecting a braking situation
JP2016110539A (ja) * 2014-12-10 2016-06-20 富士重工業株式会社 車外環境認識装置
WO2016158278A1 (ja) * 2015-03-31 2016-10-06 株式会社デンソー 車両制御装置、及び車両制御方法
CN111052201A (zh) * 2017-09-01 2020-04-21 株式会社村上开明堂 碰撞预测装置、碰撞预测方法以及程序
WO2020121010A1 (ja) * 2018-12-11 2020-06-18 日産自動車株式会社 他車動作予測方法及び他車動作予測装置
JPWO2020121010A1 (ja) * 2018-12-11 2020-06-18
CN113243029A (zh) * 2018-12-11 2021-08-10 日产自动车株式会社 其他车辆动作预测方法及其他车辆动作预测装置
CN113243029B (zh) * 2018-12-11 2022-07-05 日产自动车株式会社 其他车辆动作预测方法及其他车辆动作预测装置
US11390288B2 (en) 2018-12-11 2022-07-19 Nissan Motor Co., Ltd. Other-vehicle action prediction method and other-vehicle action prediction device
CN113386742A (zh) * 2021-05-28 2021-09-14 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
CN115817422A (zh) * 2023-02-20 2023-03-21 苏州德机自动化科技有限公司 一种新能源汽车自动安全驾驶的车身制动控制系统

Also Published As

Publication number Publication date
JP3872179B2 (ja) 2007-01-24

Similar Documents

Publication Publication Date Title
JP3872179B2 (ja) 車両の衝突防止装置
JP3349060B2 (ja) 車外監視装置
JP3358709B2 (ja) 車両用運転支援装置
JP3596314B2 (ja) 物体端の位置計測装置および移動体の通行判断装置
US7940301B2 (en) Vehicle driving assist system
JP2002319091A (ja) 後続車両認識装置
EP2463843B1 (en) Method and system for forward collision warning
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
JPH1139596A (ja) 車外監視装置
US10810877B2 (en) Vehicle control device
JP6787157B2 (ja) 車両制御装置
US20060038885A1 (en) Method for detecting the environment ahead of a road vehicle by means of an environment detection system
JP3747599B2 (ja) 車両用障害物検出装置
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
JP3666332B2 (ja) 歩行者検知装置
JP3245363B2 (ja) 車両の衝突防止装置
JP3372190B2 (ja) 車両の衝突防止装置
JPH10283593A (ja) 車両の衝突防止装置
JP3324859B2 (ja) 車間距離制御装置
JP4751894B2 (ja) 自動車の前方にある障害物を検知するシステム
JPH1114346A (ja) 車両用障害物検出装置
US20230415734A1 (en) Vehicular driving assist system using radar sensors and cameras
JP3612821B2 (ja) 車載用距離測定装置
JP2006004188A (ja) 障害物認識方法及び障害物認識装置
JP3586938B2 (ja) 車載用距離測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060718

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060814

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061019

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term