JP3972300B2 - 先行車両のブレーキ操作判定装置および前記車間距離制御装置 - Google Patents
先行車両のブレーキ操作判定装置および前記車間距離制御装置 Download PDFInfo
- Publication number
- JP3972300B2 JP3972300B2 JP2002298643A JP2002298643A JP3972300B2 JP 3972300 B2 JP3972300 B2 JP 3972300B2 JP 2002298643 A JP2002298643 A JP 2002298643A JP 2002298643 A JP2002298643 A JP 2002298643A JP 3972300 B2 JP3972300 B2 JP 3972300B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- brake
- image
- brake operation
- preceding vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Controls For Constant Speed Travelling (AREA)
- Regulating Braking Force (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、先行車両のブレーキ操作判定装置及びそれを用いた車間距離制御装置に関する。
【０００２】
【従来の技術】
従来より、レーダ装置等の測距センサを用いて、先行車との距離や相対速度に基づいて、車間距離を保持するように自動的に車速を制御するアダプティブクルーズコントロールシステム(ACC)が既に実用化されている。
【０００３】
この従来のACCでは、先行車がブレーキ操作によって減速すると、それにより生じる自車と先行車との間の相対速度や相対加速度(減速G)から先行草の減速を検出して自車の減速制御を指令していた。
【０００４】
ただし、この制御では、先行車両の減速により先行車両との間の相対速度が実際に減少した後、この減少を認識して自車速度の減少を指令して車間距離を元の状態に回復するため、先行車両の減速から自車の減速までの間に時間遅延が生じてしまうという問題があった。
【０００５】
この遅延問題を改善するために、下記の特許文献１は、車両前方の撮像画像から先行車のブレーキランプの点灯を検出したら先行車両のブレーキ操作と判定して、ただちに自車の減速を指令することをにより、上記時間遅延を解消することを提案している。
【０００６】
【特許文献１】
特開平９−２６７６８６号公報
【０００７】
しかしながら、上記した公報の時間遅延解消技術では、撮像した前方画像中から赤色領域の明度情報を抽出することによりブレーキランプの点灯を検出していたため、ナトリウムランプなどの照明光の影響やカメラの色再現性の影響によりブレーキランプの点灯の検出精度が低下するという問題や、ブレーキランプに類似する偽の赤色領域が前方撮像画像中に生じた場合に誤判定が生じる可能性があった。
【０００８】
このため、上記特許文献１のような色分離手法を用いることなく、ブレーキランプの点灯の検出を行う技術が、下記の特許文献２に提案されている。
【０００９】
【特許文献２】
特開平１１ー３９５９７号公報
【００１０】
この特許文献２では、先行車両画像からそのテールランプ検出領域を設定し、このテールランプ検出領域の輝度変化あるいは面積変化に基づいて、ブレーキランプの点灯を検出している。
【００１１】
しかしながら、テールランプ検出領域の輝度（明度）増加又は面積増加によりテールランプの点灯を判断するので、太陽光等の影響によって車両後面全体又はその所定領域の反射光量が大きい場合、テールランプ検出領域の検出精度やその輝度又は面積増加の検出精度が低下するという問題があった。
【００１２】
【発明が解決しようとする課題】
すなわち、上記した各特許文献では、検出したブレーキランプ領域又はテールランプ領域の画像状態があらかじめ定められたしきい値状態を超えたかどうかにより、ブレーキランプの点灯の有無を判定していたので、判定精度に対する刻々変化する外的条件の変化の影響が大きいという問題があった。
【００１３】
本発明は上記問題を鑑みなされたものであり、先行車両のブレーキ操作を外的環境の変化にもかかわらず確実に判定可能な先行車両のブレーキ操作判定装置、並びに、この装置を用いることにより制御精度に優れた車間距離制御装置を提供することをその目的としている。
【００１４】
【課題を解決するための手段】
請求項１記載の先行車両のブレーキ操作判定装置は、自車を基準とする先行車両の位置及び相対速度を検出する測距要素、車両前方を撮像する撮像要素、前記測距要素の出力に基づいて前記先行車両のブレーキ操作の有無を判定するブレーキ操作判定要素、及び、前記撮像要素が出力する画像信号から前記先行車両に関する車両画像を抽出し、前記ブレーキ操作判定要素がブレーキ操作中と判定した場合の前記車両画像であるブレーキ操作時車両画像と、前記ブレーキ操作判定要素がブレーキ操作中でないと判定した場合の前記車両画像である非ブレーキ時車両画像とを保持し、前記車両画像抽出要素が抽出した前記車両画像を前記ブレーキ操作時車両画像及び非ブレーキ時車両画像と比べることにより前記先行車両のブレーキランプ点灯の有無を判定するブレーキランプ点灯判定要素を備えることを特徴としている。
【００１５】
すなわち、この発明は、現在抽出した車両画像とあらかじめ保持する検出したブレーキ操作時車両画像と非ブレーキ時車両画像との比較により先行車両のブレーキ操作の有無を判定する。このようにすれば、外的環境の変化がブレーキ操作時車両画像にも非ブレーキ時車両画像にも作用するため、外的環境の変化、たとえば先行車両の後面に太陽光やナトリウムランプ光が強く照射されたりする場合などにおいても従来より精度よくブレーキランプの点灯を判別することができる。
【００１６】
なお、車両画像、ブレーキ操作時車両画像及び非ブレーキ時車両画像としては、後部から撮像した先行車両の全体領域としてもよく、そのブレーキランプ領域を含む一部画像領域としてもよい。
【００１７】
請求項１記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記車両画像が前記非ブレーキ時車両画像よりも前記ブレーキ操作時車両画像に類似する場合に前記先行車両のブレーキ操作と判定する。これにより、簡単な処理により確実にブレーキランプの点灯を判定することができる。
【００１８】
画像の類似の判定は、たとえばブレーキランプと見なす画像領域の形状の類似性を採用しても良く、その輝度（明度）の類似性を採用してもよい。ブレーキランプとみなす画像領域の抽出は、車両後面の所定位置、所定形状の画像領域をブレーキランプとみなすことができる他、ブレーキランプの点灯、消灯に相当する輝度変化や色度変化が生じた画像領域をブレーキランプに相当する画像領域と判定することができる。
【００１９】
請求項１又は２記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像を順次更新するとともに、最新の前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像と前記車両画像との比較により前記先行車両のブレーキ操作の有無を判定する。これにより、現在の車両画像に近似する直近のブレーキ操作時車両画像及び非ブレーキ時車両画像を現在の車両画像と比較することができるので、現在の車両画像に対する外的環境の影響を良好に軽減することができる。
【００２０】
請求項３記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像が所定の異常画像であると判定する場合に前記更新を行わない。つまり、外的環境の異常により異常な車両画像が生じた場合にそれをブレーキ操作時車両画像又は非ブレーキ時車両画像として保持しない。これにりより、一時的に発生する外的環境の異常によるブレーキ操作時車両画像又は非ブレーキ時車両画像の保持を回避することができる。
【００２１】
なお、上記した異常画像としては、たとえば他車両などから先行車両の後面にヘッドライト光が突然入射した場合などの車両画像などがある。
【００２２】
請求項１乃至４のいずれか記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記車両画像が所定の異常画像であると判定する場合に前記先行車両のブレーキ操作の有無の判定を中断することを特徴としている。これにより、一時的な強力光が車両後面に照射された場合など撮像し、抽出した車両画像自体がブレーキランプの点灯の有無判別に効果的でない異常画像となった場合には、車両画像によるブレーキ操作判定を行わないので、その誤判定確率を低減して、判定精度を向上することができる。
【００２３】
請求項６記載の車間距離制御装置は、請求項１乃至５のいずれか記載の先行車両のブレーキ操作判定装置のブレーキ操作判定結果に基づいて自車を制御して車間距離の短縮を抑止する車間距離制御要素を有するので、先行車両の減速に確実かつレスポンス良く反応して車間距離を維持することができる。
【００２４】
【発明の実施の形態】
（実施例１）
本発明の先行車両のブレーキ操作判定装置を用いる車間距離制御装置の好適な実施態様を以下に説明する。この車間距離制御装置のブロック図を図１に示す。
【００２５】
この車間距離制御装置は、レーダ（測距要素）１０、カメラ（撮像要素）２０、ビデオ信号処理部（ブレーキ操作判定要素、ブレーキランプ点灯判定要素）２１、車間距離制御部（車間距離制御要素）３０を有しており、図２に示すように車両に装備されて車両前方状態を検出する。
【００２６】
レーダ１０は、所定波長の電磁波を前方に出力し、前方の障害物からの反射波に基づいて、自車の前端中央を原点（０、０）とした場合の障害物の座標位置(X、Z)及び自車に対するその相対速度(Vｘ、Vz)を演算して、ビデオ信号処理部２１及び演算制御部３０に出力する。ここで、図３に示すように、Xは自身の左右方向の座標点、Zは自身の前後方向の座標点、Vｘは左右方向の相対速度、Vzは前後方向の相対速度である。レーダ１０の機構、動作の詳細は本発明の要旨ではなく、かつ、既に公知技術として良く知られているので説明を省略する。
【００２７】
カメラ２０は、車両前方の映像を撮像し、得た二次元画像をビデオ信号処理部２１にフレーム順次出力するエリアイメージセンサからなる。カメラ２０はモノクロカメラとされるが、赤色フィルタを装備したモノクロカメラとしてもよい。
【００２８】
ビデオ信号処理部２１は、カメラ２０から出力された二次元画像信号から車両画像を抽出し、抽出した車両画像に基づいてブレーキランプの点灯の有無を判定する。また、ビデオ信号処理部２１は、レーダ１０から出力される障害物の相対速度に基づいて先行車両のブレーキ操作の有無を判定し、ブレーキ操作中と判定した場合の車両画像であるブレーキ操作時車両画像を保持し、ブレーキ操作中でないと判定した場合の車両画像である非ブレーキ時車両画像を保持し、車両画像をこれらブレーキ操作時車両画像及び非ブレーキ時車両画像と比べることによりブレーキランプの点灯の有無を判定する。
【００２９】
車間距離制御部３０は、レーダ１０から送られてきた障害物の位置（相対距離）、相対速度、ビデオ信号処理部２１から送られてきた車両画像の位置、大きさ、ブレーキランプ点灯の有無に基づいて、車間制御すべき対象物体を選択するとともに対象物体との距離、相対速度、ブレーキON/OFF信号に基づいて、車間距離を一定に保つように、図示しないアクセル、ブレーキ、自動変速装置に指令を出し、車間制御を行う。特に、ブレーキランプ点灯を判定した場合には自車のブレーキ制御開始を早めることで，安心感の高い制御を可能とする。
【００３０】
ビデオ信号処理部２１の制御を図４に示すフローチャートを参照して説明する。
【００３１】
まず、Sl0にて、図6のように入力画像から先行車の画像（車両画像）を抽出する。先行車の画像の抽出は、エッジ検出やパターン認識を使って行うが、本発明の要旨ではないので詳細な詳細を省略する。次に、S20にて、ブレーキ操作別(ON/OFF)の画像を記憶する。この処理を図５に示すフローチャートを参照して説明する。
【００３２】
S21にて、レーダ10から、先行車画像に対応する障害物の位置(X、Z)、相対速度(Vx、Vz)を受け取り、S22にて、相対加速度Vzと車間制御装置30から得た自車速VOに基づいて、先行車の加速度α0を算出する。ここで、加速度は、増速側を正、減速側を負とする。図３に障害物の位置を示す二次元座標系を示す。
【００３３】
更に詳しく説明すると、まず自車速VOの時間変化から自車加速度α1を算出する。すなわち、α１＝VO／dtである。次に、相対速度Vzの時間変化から、相対加速度α２を算出する。すなわち、α２＝Vｚ／dtである。次に、自車加速度α１と相対加速度α２とから先行車の加速度α０を算出する。すなわち、α０＝α１＋α２である。
【００３４】
次に、先行車の加速度α０から先行車の状態を判定する（S23)。具体的に説明すると、加速度α０が正のとき（ここでは０.０１Ｇ以上とする)には先行車はブレーキ操作はしていないと判断し、S25にて現在の車両画像をブレーキ非操作時車両画像として記憶する。これにより、図７に示すブレーキランプが消灯した画像が記憶される。また、先行車の大減速時(加速度α0が負で、絶対値大、ここでは、-0.3G以下とする)には先行車がブレーキ操作中と判定して現在の車両画像をブレーキ操作時車両画像として記憶する（S２４）。これにより、図８に示すように、ブレーキランプが点灯した画像が記憶される。これ以外の加速度α０に対しては、ブレーキ操作の有無が明確でないとして車両画像の更新を行わず、前回記憶したブレーキ操作時車両画像及びブレーキ非操作時車両画像をそのまま保持する。これにより、一旦、ブレーキ操作時画像、ブレーキ非操作時画像が記憶されると、それぞれの画像は、記憶されつづけることになる。ここで、新たにS２３の加速度
α０が正または大減速の条件を満たす時、それぞれの画像は更新される。
【００３５】
なお、S10にて先行車の画像が抽出できない場合には、抽出できるまでS20への進行を中断し、更にこの抽出できない状態が所定時間以上続く場合には、先行車は車両前方から除外されたとして上記記憶中のブレーキ操作時車両画像及びブレーキ非操作時車両画像をクリアする。更に、旧の先行車に代わって新しい先行車がでてきたと判定した場合にも、旧の先行車に対する前記記憶情報を破棄し、新しい先行車に対するブレーキ非操作時車両画像及びブレーキ操作時車両画像を記憶するものとする。
【００３６】
次に、S30にて、現在の先行車の画像（車両画像）と前記記憶画像を比較して、ブレーキランプが点灯されたかどうかを判定する。具体的に説明すると、まず、現在の先行車の画像とブレーキ操作時車両画像（記憶画像1）及びブレーキ非操作時車両画像（記憶画像2）を相対的に拡縮させてサイズを一致させ、その後、先行車に相当する画像領域の各画素ごとに先行車画像と記憶画像の輝度差の絶対値を求め、それらの総和を算出する。先行車画像の座標（ｕ，v)における輝度Ｉ０(u，v)(図９参照)、記憶画像１の座標(u，v)における輝度をＩ１(u，v)、記憶画像２の座標(u，v)における輝度をＩ２(u,v)とする。つまり、各記憶画像ごとの輝度差絶対値総和をDIF１、DIF２とすると、
DIF１＝Σ|Ｉ０(u,v)−Ｉ１(u，v)|
DIF２＝Σ|Ｉ０(u,v)−Ｉ２(u，v)|
となる。ただし、|Ｉ０(u,v)−Ｉ１(u，v)|は、先行車画像と記憶画像１との画素間輝度差の絶対値であり、|Ｉ０(u,v)−Ｉ２(u，v)|は、先行車画像と記憶画像２との画素間輝度差の絶対値である。次に、DIF１とDIF２とを比較し、DlF１の方が小さければ先行車画像は記憶画像１に近いと判定してS40ヘ、DIF２の方が小さければ先行車画像は記憶画像２に近いと判定してS41ヘ移行する。S40ではブレーキランプ点灯と判定し、S41ではブレーキランプ消灯と判定する。なお、記憶画像１もしくは２が記憶されていないときは、S42に進んでブレーキランプの判定不可とする。
【００３７】
以上の処理は、カメラ２０からフレーム画像が入力されるたびになされる。これにより、ブレーキON時の記憶画像とブレーキOFF時の記憶画像とが保持されている先行車に対して、ブレーキランプの点灯、消灯の判定をブレーキランプの形状、大きさ、取り付け位置に依らず、高精度に行うことができる。
【００３８】
（変形態様）
記憶画像１、２としては、直前の複数回の記憶画像の平均値とすることができる。また、先行車画像と記憶画像１、２とをそれぞれ同一画像サイズとするために、カメラ２０のズーム処理を行っても良い。
【００３９】
また、現在の先行車までの距離、前記記憶画像１、２を検出したときの先行車までの距離をそれぞれ記憶しておき、これらの比率に応じて又は、上記現在の先行車画像を同じにするために、同―距離の画像を記憶するようにしてもよい。
【００４０】
更に、車両の後面全体ではなく、ブレーキランプを含む所定の画像領域を切り出して車両画像及び記憶画像としてもよい。
【００４１】
（実施例２）
この実施例では、車両画像（先行車画像）としてブレーキランプの画像領域を抽出し、その光学情報に基づいて点灯の有無を判定する。
【００４２】
ビデオ信号処理部２１の制御を図１０に示すフローチャートを参照して説明する。
【００４３】
S20までは、実施例１と同じである。S21'にてブレーキランプに相当する画像領域を今回抽出した先行車画像、各記憶画像１、２から抽出し、拡大縮小により各画像のサイズを一致させる。
【００４４】
次に、ブレーキランプに相当する画像領域の抽出は、たとえば、各画素ごとに記憶画像１、２との差分を演算する。記憶画像１、２が図７と図８に等しいとすれば、差分画像は図１１のようになる。差分画像を所定の閾値で二値化することにより、図１２に示すようにブレーキランプに相当する画像領域を得ることができる。このブレーキランプ相当画像領域において、記憶画像１と記憶画像２に対してそれぞれ平均輝度を算出し、それぞれブレーキランプ部平均輝度記憶値１、２として記憶する。
【００４５】
次に、S30'にて、現在の先行車画像のブレーキランプが点灯中か否かを判定する。詳しく説明すると、記憶するブレーキランプ画像を拡縮して現在の先行車画像のそれと同じサイズにする。次に、現在の先行車画像のブレーキランプ画像の平均輝度を算出して、それをブレーキランプ部平均輝度記憶値１、２と比較し、それに基づいて実施例１と同様にブレーキランプ点灯の有無を判定する。
【００４６】
この実施例によれば、ブレーキランプ点灯、消灯の判定を、ブレーキランプ画像のみで行うため、車両全体の画像を使う場合に比べて、明るさ変化等の外乱に強くなる。また、この場合においても、ブレーキランプの形状、大きさ、取り付け位置に依らず、ブレーキランプ点灯の有無を良好に判定することができる。
（変形態様）
他の変形態様を以下に説明する。
【００４７】
ステップS１０において記憶すべき先行車画像（車両画像）があらかじめ記憶する所定形状又は所定平均輝度範囲に範囲にない場合、それを異常画像であると判定して、記憶画像の更新を行わない。これにより、外的環境の異常によるブレーキ操作時車両画像又は非ブレーキ時車両画像（ブレーキ非操作時車両画像）の記憶を回避することができ、一時的な異常車両画像によるブレーキ操作判定を回避することができる。
【図面の簡単な説明】
【図１】実施例１の車間距離制御装置のブロック図である。
【図２】図１の装置における車両前方状態検出状態を示す説明図である。
【図３】車両前方二次元空間の座標系を示す説明図である。
【図４】ビデオ信号処理部の制御を示すフローチャートである。
【図５】画像記憶処理を示すフローチャートである。
【図６】実施例１において抽出する先行車画像（車両画像）を示す図である。
【図７】ブレーキランプが消灯した画像を示す図である。
【図８】ブレーキランプが点灯した画像を示す図である。
【図９】先行車画像の所定座標位置の輝度状態を示す図である。
【図１０】実施例２のビデオ信号処理部の制御を示すフローチャートである。
【図１１】記憶画像１、２の差分画像を示す図である。
【図１２】差分画像の二値画像を示す図である。
【符号の説明】
１０ レーダ（測距要素）
２０ カメラ（撮像要素）
２１ 車間距離制御部（車間距離制御要素）
３０ ビデオ信号処理部（ブレーキ操作判定要素、ブレーキランプ点灯判定要素）
【発明の属する技術分野】
本発明は、先行車両のブレーキ操作判定装置及びそれを用いた車間距離制御装置に関する。
【０００２】
【従来の技術】
従来より、レーダ装置等の測距センサを用いて、先行車との距離や相対速度に基づいて、車間距離を保持するように自動的に車速を制御するアダプティブクルーズコントロールシステム(ACC)が既に実用化されている。
【０００３】
この従来のACCでは、先行車がブレーキ操作によって減速すると、それにより生じる自車と先行車との間の相対速度や相対加速度(減速G)から先行草の減速を検出して自車の減速制御を指令していた。
【０００４】
ただし、この制御では、先行車両の減速により先行車両との間の相対速度が実際に減少した後、この減少を認識して自車速度の減少を指令して車間距離を元の状態に回復するため、先行車両の減速から自車の減速までの間に時間遅延が生じてしまうという問題があった。
【０００５】
この遅延問題を改善するために、下記の特許文献１は、車両前方の撮像画像から先行車のブレーキランプの点灯を検出したら先行車両のブレーキ操作と判定して、ただちに自車の減速を指令することをにより、上記時間遅延を解消することを提案している。
【０００６】
【特許文献１】
特開平９−２６７６８６号公報
【０００７】
しかしながら、上記した公報の時間遅延解消技術では、撮像した前方画像中から赤色領域の明度情報を抽出することによりブレーキランプの点灯を検出していたため、ナトリウムランプなどの照明光の影響やカメラの色再現性の影響によりブレーキランプの点灯の検出精度が低下するという問題や、ブレーキランプに類似する偽の赤色領域が前方撮像画像中に生じた場合に誤判定が生じる可能性があった。
【０００８】
このため、上記特許文献１のような色分離手法を用いることなく、ブレーキランプの点灯の検出を行う技術が、下記の特許文献２に提案されている。
【０００９】
【特許文献２】
特開平１１ー３９５９７号公報
【００１０】
この特許文献２では、先行車両画像からそのテールランプ検出領域を設定し、このテールランプ検出領域の輝度変化あるいは面積変化に基づいて、ブレーキランプの点灯を検出している。
【００１１】
しかしながら、テールランプ検出領域の輝度（明度）増加又は面積増加によりテールランプの点灯を判断するので、太陽光等の影響によって車両後面全体又はその所定領域の反射光量が大きい場合、テールランプ検出領域の検出精度やその輝度又は面積増加の検出精度が低下するという問題があった。
【００１２】
【発明が解決しようとする課題】
すなわち、上記した各特許文献では、検出したブレーキランプ領域又はテールランプ領域の画像状態があらかじめ定められたしきい値状態を超えたかどうかにより、ブレーキランプの点灯の有無を判定していたので、判定精度に対する刻々変化する外的条件の変化の影響が大きいという問題があった。
【００１３】
本発明は上記問題を鑑みなされたものであり、先行車両のブレーキ操作を外的環境の変化にもかかわらず確実に判定可能な先行車両のブレーキ操作判定装置、並びに、この装置を用いることにより制御精度に優れた車間距離制御装置を提供することをその目的としている。
【００１４】
【課題を解決するための手段】
請求項１記載の先行車両のブレーキ操作判定装置は、自車を基準とする先行車両の位置及び相対速度を検出する測距要素、車両前方を撮像する撮像要素、前記測距要素の出力に基づいて前記先行車両のブレーキ操作の有無を判定するブレーキ操作判定要素、及び、前記撮像要素が出力する画像信号から前記先行車両に関する車両画像を抽出し、前記ブレーキ操作判定要素がブレーキ操作中と判定した場合の前記車両画像であるブレーキ操作時車両画像と、前記ブレーキ操作判定要素がブレーキ操作中でないと判定した場合の前記車両画像である非ブレーキ時車両画像とを保持し、前記車両画像抽出要素が抽出した前記車両画像を前記ブレーキ操作時車両画像及び非ブレーキ時車両画像と比べることにより前記先行車両のブレーキランプ点灯の有無を判定するブレーキランプ点灯判定要素を備えることを特徴としている。
【００１５】
すなわち、この発明は、現在抽出した車両画像とあらかじめ保持する検出したブレーキ操作時車両画像と非ブレーキ時車両画像との比較により先行車両のブレーキ操作の有無を判定する。このようにすれば、外的環境の変化がブレーキ操作時車両画像にも非ブレーキ時車両画像にも作用するため、外的環境の変化、たとえば先行車両の後面に太陽光やナトリウムランプ光が強く照射されたりする場合などにおいても従来より精度よくブレーキランプの点灯を判別することができる。
【００１６】
なお、車両画像、ブレーキ操作時車両画像及び非ブレーキ時車両画像としては、後部から撮像した先行車両の全体領域としてもよく、そのブレーキランプ領域を含む一部画像領域としてもよい。
【００１７】
請求項１記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記車両画像が前記非ブレーキ時車両画像よりも前記ブレーキ操作時車両画像に類似する場合に前記先行車両のブレーキ操作と判定する。これにより、簡単な処理により確実にブレーキランプの点灯を判定することができる。
【００１８】
画像の類似の判定は、たとえばブレーキランプと見なす画像領域の形状の類似性を採用しても良く、その輝度（明度）の類似性を採用してもよい。ブレーキランプとみなす画像領域の抽出は、車両後面の所定位置、所定形状の画像領域をブレーキランプとみなすことができる他、ブレーキランプの点灯、消灯に相当する輝度変化や色度変化が生じた画像領域をブレーキランプに相当する画像領域と判定することができる。
【００１９】
請求項１又は２記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像を順次更新するとともに、最新の前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像と前記車両画像との比較により前記先行車両のブレーキ操作の有無を判定する。これにより、現在の車両画像に近似する直近のブレーキ操作時車両画像及び非ブレーキ時車両画像を現在の車両画像と比較することができるので、現在の車両画像に対する外的環境の影響を良好に軽減することができる。
【００２０】
請求項３記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像が所定の異常画像であると判定する場合に前記更新を行わない。つまり、外的環境の異常により異常な車両画像が生じた場合にそれをブレーキ操作時車両画像又は非ブレーキ時車両画像として保持しない。これにりより、一時的に発生する外的環境の異常によるブレーキ操作時車両画像又は非ブレーキ時車両画像の保持を回避することができる。
【００２１】
なお、上記した異常画像としては、たとえば他車両などから先行車両の後面にヘッドライト光が突然入射した場合などの車両画像などがある。
【００２２】
請求項１乃至４のいずれか記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記車両画像が所定の異常画像であると判定する場合に前記先行車両のブレーキ操作の有無の判定を中断することを特徴としている。これにより、一時的な強力光が車両後面に照射された場合など撮像し、抽出した車両画像自体がブレーキランプの点灯の有無判別に効果的でない異常画像となった場合には、車両画像によるブレーキ操作判定を行わないので、その誤判定確率を低減して、判定精度を向上することができる。
【００２３】
請求項６記載の車間距離制御装置は、請求項１乃至５のいずれか記載の先行車両のブレーキ操作判定装置のブレーキ操作判定結果に基づいて自車を制御して車間距離の短縮を抑止する車間距離制御要素を有するので、先行車両の減速に確実かつレスポンス良く反応して車間距離を維持することができる。
【００２４】
【発明の実施の形態】
（実施例１）
本発明の先行車両のブレーキ操作判定装置を用いる車間距離制御装置の好適な実施態様を以下に説明する。この車間距離制御装置のブロック図を図１に示す。
【００２５】
この車間距離制御装置は、レーダ（測距要素）１０、カメラ（撮像要素）２０、ビデオ信号処理部（ブレーキ操作判定要素、ブレーキランプ点灯判定要素）２１、車間距離制御部（車間距離制御要素）３０を有しており、図２に示すように車両に装備されて車両前方状態を検出する。
【００２６】
レーダ１０は、所定波長の電磁波を前方に出力し、前方の障害物からの反射波に基づいて、自車の前端中央を原点（０、０）とした場合の障害物の座標位置(X、Z)及び自車に対するその相対速度(Vｘ、Vz)を演算して、ビデオ信号処理部２１及び演算制御部３０に出力する。ここで、図３に示すように、Xは自身の左右方向の座標点、Zは自身の前後方向の座標点、Vｘは左右方向の相対速度、Vzは前後方向の相対速度である。レーダ１０の機構、動作の詳細は本発明の要旨ではなく、かつ、既に公知技術として良く知られているので説明を省略する。
【００２７】
カメラ２０は、車両前方の映像を撮像し、得た二次元画像をビデオ信号処理部２１にフレーム順次出力するエリアイメージセンサからなる。カメラ２０はモノクロカメラとされるが、赤色フィルタを装備したモノクロカメラとしてもよい。
【００２８】
ビデオ信号処理部２１は、カメラ２０から出力された二次元画像信号から車両画像を抽出し、抽出した車両画像に基づいてブレーキランプの点灯の有無を判定する。また、ビデオ信号処理部２１は、レーダ１０から出力される障害物の相対速度に基づいて先行車両のブレーキ操作の有無を判定し、ブレーキ操作中と判定した場合の車両画像であるブレーキ操作時車両画像を保持し、ブレーキ操作中でないと判定した場合の車両画像である非ブレーキ時車両画像を保持し、車両画像をこれらブレーキ操作時車両画像及び非ブレーキ時車両画像と比べることによりブレーキランプの点灯の有無を判定する。
【００２９】
車間距離制御部３０は、レーダ１０から送られてきた障害物の位置（相対距離）、相対速度、ビデオ信号処理部２１から送られてきた車両画像の位置、大きさ、ブレーキランプ点灯の有無に基づいて、車間制御すべき対象物体を選択するとともに対象物体との距離、相対速度、ブレーキON/OFF信号に基づいて、車間距離を一定に保つように、図示しないアクセル、ブレーキ、自動変速装置に指令を出し、車間制御を行う。特に、ブレーキランプ点灯を判定した場合には自車のブレーキ制御開始を早めることで，安心感の高い制御を可能とする。
【００３０】
ビデオ信号処理部２１の制御を図４に示すフローチャートを参照して説明する。
【００３１】
まず、Sl0にて、図6のように入力画像から先行車の画像（車両画像）を抽出する。先行車の画像の抽出は、エッジ検出やパターン認識を使って行うが、本発明の要旨ではないので詳細な詳細を省略する。次に、S20にて、ブレーキ操作別(ON/OFF)の画像を記憶する。この処理を図５に示すフローチャートを参照して説明する。
【００３２】
S21にて、レーダ10から、先行車画像に対応する障害物の位置(X、Z)、相対速度(Vx、Vz)を受け取り、S22にて、相対加速度Vzと車間制御装置30から得た自車速VOに基づいて、先行車の加速度α0を算出する。ここで、加速度は、増速側を正、減速側を負とする。図３に障害物の位置を示す二次元座標系を示す。
【００３３】
更に詳しく説明すると、まず自車速VOの時間変化から自車加速度α1を算出する。すなわち、α１＝VO／dtである。次に、相対速度Vzの時間変化から、相対加速度α２を算出する。すなわち、α２＝Vｚ／dtである。次に、自車加速度α１と相対加速度α２とから先行車の加速度α０を算出する。すなわち、α０＝α１＋α２である。
【００３４】
次に、先行車の加速度α０から先行車の状態を判定する（S23)。具体的に説明すると、加速度α０が正のとき（ここでは０.０１Ｇ以上とする)には先行車はブレーキ操作はしていないと判断し、S25にて現在の車両画像をブレーキ非操作時車両画像として記憶する。これにより、図７に示すブレーキランプが消灯した画像が記憶される。また、先行車の大減速時(加速度α0が負で、絶対値大、ここでは、-0.3G以下とする)には先行車がブレーキ操作中と判定して現在の車両画像をブレーキ操作時車両画像として記憶する（S２４）。これにより、図８に示すように、ブレーキランプが点灯した画像が記憶される。これ以外の加速度α０に対しては、ブレーキ操作の有無が明確でないとして車両画像の更新を行わず、前回記憶したブレーキ操作時車両画像及びブレーキ非操作時車両画像をそのまま保持する。これにより、一旦、ブレーキ操作時画像、ブレーキ非操作時画像が記憶されると、それぞれの画像は、記憶されつづけることになる。ここで、新たにS２３の加速度
α０が正または大減速の条件を満たす時、それぞれの画像は更新される。
【００３５】
なお、S10にて先行車の画像が抽出できない場合には、抽出できるまでS20への進行を中断し、更にこの抽出できない状態が所定時間以上続く場合には、先行車は車両前方から除外されたとして上記記憶中のブレーキ操作時車両画像及びブレーキ非操作時車両画像をクリアする。更に、旧の先行車に代わって新しい先行車がでてきたと判定した場合にも、旧の先行車に対する前記記憶情報を破棄し、新しい先行車に対するブレーキ非操作時車両画像及びブレーキ操作時車両画像を記憶するものとする。
【００３６】
次に、S30にて、現在の先行車の画像（車両画像）と前記記憶画像を比較して、ブレーキランプが点灯されたかどうかを判定する。具体的に説明すると、まず、現在の先行車の画像とブレーキ操作時車両画像（記憶画像1）及びブレーキ非操作時車両画像（記憶画像2）を相対的に拡縮させてサイズを一致させ、その後、先行車に相当する画像領域の各画素ごとに先行車画像と記憶画像の輝度差の絶対値を求め、それらの総和を算出する。先行車画像の座標（ｕ，v)における輝度Ｉ０(u，v)(図９参照)、記憶画像１の座標(u，v)における輝度をＩ１(u，v)、記憶画像２の座標(u，v)における輝度をＩ２(u,v)とする。つまり、各記憶画像ごとの輝度差絶対値総和をDIF１、DIF２とすると、
DIF１＝Σ|Ｉ０(u,v)−Ｉ１(u，v)|
DIF２＝Σ|Ｉ０(u,v)−Ｉ２(u，v)|
となる。ただし、|Ｉ０(u,v)−Ｉ１(u，v)|は、先行車画像と記憶画像１との画素間輝度差の絶対値であり、|Ｉ０(u,v)−Ｉ２(u，v)|は、先行車画像と記憶画像２との画素間輝度差の絶対値である。次に、DIF１とDIF２とを比較し、DlF１の方が小さければ先行車画像は記憶画像１に近いと判定してS40ヘ、DIF２の方が小さければ先行車画像は記憶画像２に近いと判定してS41ヘ移行する。S40ではブレーキランプ点灯と判定し、S41ではブレーキランプ消灯と判定する。なお、記憶画像１もしくは２が記憶されていないときは、S42に進んでブレーキランプの判定不可とする。
【００３７】
以上の処理は、カメラ２０からフレーム画像が入力されるたびになされる。これにより、ブレーキON時の記憶画像とブレーキOFF時の記憶画像とが保持されている先行車に対して、ブレーキランプの点灯、消灯の判定をブレーキランプの形状、大きさ、取り付け位置に依らず、高精度に行うことができる。
【００３８】
（変形態様）
記憶画像１、２としては、直前の複数回の記憶画像の平均値とすることができる。また、先行車画像と記憶画像１、２とをそれぞれ同一画像サイズとするために、カメラ２０のズーム処理を行っても良い。
【００３９】
また、現在の先行車までの距離、前記記憶画像１、２を検出したときの先行車までの距離をそれぞれ記憶しておき、これらの比率に応じて又は、上記現在の先行車画像を同じにするために、同―距離の画像を記憶するようにしてもよい。
【００４０】
更に、車両の後面全体ではなく、ブレーキランプを含む所定の画像領域を切り出して車両画像及び記憶画像としてもよい。
【００４１】
（実施例２）
この実施例では、車両画像（先行車画像）としてブレーキランプの画像領域を抽出し、その光学情報に基づいて点灯の有無を判定する。
【００４２】
ビデオ信号処理部２１の制御を図１０に示すフローチャートを参照して説明する。
【００４３】
S20までは、実施例１と同じである。S21'にてブレーキランプに相当する画像領域を今回抽出した先行車画像、各記憶画像１、２から抽出し、拡大縮小により各画像のサイズを一致させる。
【００４４】
次に、ブレーキランプに相当する画像領域の抽出は、たとえば、各画素ごとに記憶画像１、２との差分を演算する。記憶画像１、２が図７と図８に等しいとすれば、差分画像は図１１のようになる。差分画像を所定の閾値で二値化することにより、図１２に示すようにブレーキランプに相当する画像領域を得ることができる。このブレーキランプ相当画像領域において、記憶画像１と記憶画像２に対してそれぞれ平均輝度を算出し、それぞれブレーキランプ部平均輝度記憶値１、２として記憶する。
【００４５】
次に、S30'にて、現在の先行車画像のブレーキランプが点灯中か否かを判定する。詳しく説明すると、記憶するブレーキランプ画像を拡縮して現在の先行車画像のそれと同じサイズにする。次に、現在の先行車画像のブレーキランプ画像の平均輝度を算出して、それをブレーキランプ部平均輝度記憶値１、２と比較し、それに基づいて実施例１と同様にブレーキランプ点灯の有無を判定する。
【００４６】
この実施例によれば、ブレーキランプ点灯、消灯の判定を、ブレーキランプ画像のみで行うため、車両全体の画像を使う場合に比べて、明るさ変化等の外乱に強くなる。また、この場合においても、ブレーキランプの形状、大きさ、取り付け位置に依らず、ブレーキランプ点灯の有無を良好に判定することができる。
（変形態様）
他の変形態様を以下に説明する。
【００４７】
ステップS１０において記憶すべき先行車画像（車両画像）があらかじめ記憶する所定形状又は所定平均輝度範囲に範囲にない場合、それを異常画像であると判定して、記憶画像の更新を行わない。これにより、外的環境の異常によるブレーキ操作時車両画像又は非ブレーキ時車両画像（ブレーキ非操作時車両画像）の記憶を回避することができ、一時的な異常車両画像によるブレーキ操作判定を回避することができる。
【図面の簡単な説明】
【図１】実施例１の車間距離制御装置のブロック図である。
【図２】図１の装置における車両前方状態検出状態を示す説明図である。
【図３】車両前方二次元空間の座標系を示す説明図である。
【図４】ビデオ信号処理部の制御を示すフローチャートである。
【図５】画像記憶処理を示すフローチャートである。
【図６】実施例１において抽出する先行車画像（車両画像）を示す図である。
【図７】ブレーキランプが消灯した画像を示す図である。
【図８】ブレーキランプが点灯した画像を示す図である。
【図９】先行車画像の所定座標位置の輝度状態を示す図である。
【図１０】実施例２のビデオ信号処理部の制御を示すフローチャートである。
【図１１】記憶画像１、２の差分画像を示す図である。
【図１２】差分画像の二値画像を示す図である。
【符号の説明】
１０ レーダ（測距要素）
２０ カメラ（撮像要素）
２１ 車間距離制御部（車間距離制御要素）
３０ ビデオ信号処理部（ブレーキ操作判定要素、ブレーキランプ点灯判定要素）
Claims (6)
- 自車を基準とする先行車両の位置及び相対速度を検出する測距要素、
車両前方を撮像する撮像要素、
前記測距要素の出力に基づいて前記先行車両のブレーキ操作の有無を判定するブレーキ操作判定要素、及び、
前記撮像要素が出力する画像信号から前記先行車両に関する車両画像を抽出し、前記ブレーキ操作判定要素がブレーキ操作中と判定した場合の前記車両画像であるブレーキ操作時車両画像と、前記ブレーキ操作判定要素がブレーキ操作中でないと判定した場合の前記車両画像である非ブレーキ時車両画像とを保持し、抽出された前記車両画像を前記ブレーキ操作時車両画像及び非ブレーキ時車両画像と比べることにより前記先行車両のブレーキランプ点灯の有無を判定するブレーキランプ点灯判定要素、
を備えることを特徴とする先行車両のブレーキ操作判定装置。 - 請求項１記載の先行車両のブレーキ操作判定装置において、
前記ブレーキランプ点灯判定要素は、
前記車両画像が前記非ブレーキ時車両画像よりも前記ブレーキ操作時車両画像に類似する場合にブレーキランプ点灯と判定することを特徴とする先行車両のブレーキ操作判定装置。 - 請求項１又は２記載の先行車両のブレーキ操作判定装置において、
前記ブレーキランプ点灯判定要素は、
前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像を順次更新するとともに、最新の前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像と前記車両画像との比較によりブレーキランプ点灯の有無を判定することを特徴とする先行車両のブレーキ操作判定装置。 - 請求項３記載の先行車両のブレーキ操作判定装置において、
前記ブレーキランプ点灯判定要素は、
前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像が所定の異常画像であると判定する場合に前記更新を行わないことを特徴とする先行車両のブレーキ操作判定装置。 - 請求項１乃至４のいずれか記載の先行車両のブレーキ操作判定装置において、
前記ブレーキランプ点灯判定要素は、
前記車両画像が所定の異常画像であると判定する場合に前記先行車両のブレーキ操作の有無の判定を中断することを特徴とする先行車両のブレーキ操作判定装置。 - 請求項１乃至５のいずれか記載の先行車両のブレーキ操作判定装置のブレーキ操作判定結果に基づいて自車を制御して車間距離の短縮を抑止する車間距離制御要素を有することを特徴とする車間距離制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002298643A JP3972300B2 (ja) | 2002-10-11 | 2002-10-11 | 先行車両のブレーキ操作判定装置および前記車間距離制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002298643A JP3972300B2 (ja) | 2002-10-11 | 2002-10-11 | 先行車両のブレーキ操作判定装置および前記車間距離制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004130969A JP2004130969A (ja) | 2004-04-30 |
| JP3972300B2 true JP3972300B2 (ja) | 2007-09-05 |
Family
ID=32287988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002298643A Expired - Fee Related JP3972300B2 (ja) | 2002-10-11 | 2002-10-11 | 先行車両のブレーキ操作判定装置および前記車間距離制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3972300B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4914234B2 (ja) | 2007-01-31 | 2012-04-11 | 富士重工業株式会社 | 先行車両検出装置 |
| FR2921027B1 (fr) * | 2007-09-17 | 2010-02-26 | Valeo Vision | Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique |
| KR102019319B1 (ko) * | 2013-05-27 | 2019-09-09 | 현대자동차(주) | 스마트 크루즈 장치 및 그 제어 방법 |
| JP6259335B2 (ja) * | 2014-03-25 | 2018-01-10 | 株式会社Ｓｕｂａｒｕ | 車外環境認識装置 |
| JP2016037149A (ja) * | 2014-08-07 | 2016-03-22 | 日立オートモティブシステムズ株式会社 | 車両制御システム、およびこれを備えた行動計画システム |
| JP6350293B2 (ja) * | 2015-01-14 | 2018-07-04 | 株式会社デンソー | 点灯検出装置 |
| JP6642886B2 (ja) * | 2016-03-24 | 2020-02-12 | 株式会社Ｓｕｂａｒｕ | 車両の運転支援装置 |
| JP7042450B2 (ja) * | 2020-03-31 | 2022-03-28 | パナソニックＩｐマネジメント株式会社 | 車両および車両制御装置 |
| KR102560858B1 (ko) * | 2023-02-24 | 2023-07-31 | 케이지모빌리티 주식회사 | 전방 차량의 하이 마운티드 스탑 램프 연동 차간거리 제어장치 및 방법 |
-
2002
- 2002-10-11 JP JP2002298643A patent/JP3972300B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004130969A (ja) | 2004-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10286834B2 (en) | Vehicle exterior environment recognition apparatus | |
| US10442343B2 (en) | Vehicle exterior environment recognition apparatus | |
| JP4396400B2 (ja) | 障害物認識装置 | |
| JP6407626B2 (ja) | 物体認識装置及び車両制御システム | |
| JP5906224B2 (ja) | 車外環境認識装置 | |
| JP4900211B2 (ja) | 走行支援装置、車間距離設定方法 | |
| JP2005300315A (ja) | 物体検出装置 | |
| JP3972300B2 (ja) | 先行車両のブレーキ操作判定装置および前記車間距離制御装置 | |
| JP4479532B2 (ja) | 夜間画像による霧検出装置 | |
| JPH09267686A (ja) | 先行車制動識別装置および車両制御装置 | |
| JP6642280B2 (ja) | 画像表示システム | |
| JPH0927100A (ja) | 前方車両認識方法及び前方車両認識装置並びにそれを用いた車両用追突防止装置 | |
| JP2006298254A (ja) | 走行支援装置 | |
| JP2007172504A (ja) | 付着物検出装置及び付着物検出方法 | |
| JP6533244B2 (ja) | 対象物検知装置、対象物検知方法、及び対象物検知プログラム | |
| JP6259335B2 (ja) | 車外環境認識装置 | |
| JPH09272414A (ja) | 車両制御装置 | |
| JP2006146754A (ja) | 先行車検出方法及び先行車検出装置 | |
| JP4679469B2 (ja) | 車載画像処理装置 | |
| JP2009006824A (ja) | 車載装置及び走行制御方法 | |
| JP4799236B2 (ja) | 車載表示システム | |
| WO2020129517A1 (ja) | 画像処理装置 | |
| JP2008054171A (ja) | 車載画像処理装置 | |
| WO2022130780A1 (ja) | 画像処理装置 | |
| JP2003174642A (ja) | スミア検出方法及びこのスミア検出方法を用いた画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070531 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3972300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140622 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |