JP3970486B2 - 車両用走行制御装置 - Google Patents

車両用走行制御装置 Download PDF

Info

Publication number
JP3970486B2
JP3970486B2 JP26954599A JP26954599A JP3970486B2 JP 3970486 B2 JP3970486 B2 JP 3970486B2 JP 26954599 A JP26954599 A JP 26954599A JP 26954599 A JP26954599 A JP 26954599A JP 3970486 B2 JP3970486 B2 JP 3970486B2
Authority
JP
Japan
Prior art keywords
vehicle
acceleration
preceding vehicle
resume
travel control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26954599A
Other languages
English (en)
Other versions
JP2001088574A (ja
Inventor
穣 樋渡
茂夫 碓井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=17473882&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3970486(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP26954599A priority Critical patent/JP3970486B2/ja
Publication of JP2001088574A publication Critical patent/JP2001088574A/ja
Application granted granted Critical
Publication of JP3970486B2 publication Critical patent/JP3970486B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、追従走行から定速走行へ復帰する際のリジューム加速度を、立体物検出手段により検出した先行車の認識精度に応じて可変設定する車両用走行制御装置に関する。
【0002】
【従来の技術】
従来より、自車前方に存在する、先行車を含む立体物を検出するために、所定の検出領域を有するレーダ装置やCCDカメラを用いたステレオカメラ等の立体物検出手段を自車に搭載し、この立体物検出手段により検出した立体物の認識結果をもとに、自車の走行速度を制御する車両用走行制御装置が知られている。
【0003】
又、最近では、自車が予め設定した車速で定速走行している際に、この車速よりも遅い車速で走行している先行車を、立体物検出手段が認識したときには、この先行車との安全車間距離を車速に応じて設定し、設定した安全車間距離を一定に保持した状態で先行車に追従走行する追従走行制御機能を有する車両用走行制御装置も知られている。
【0004】
この車両用走行制御装置では、追従走行すべき先行車が存在しなくなった場合、或いは先行車の進路変更などにより先行車をロストした場合は、自車速度を予め設定した車速までリジューム加速度により加速して定速走行へ復帰することになるが、このときのリジューム加速度は、運転者にとって違和感のないレベルの、予め実験などで得られた固定値として与えられている。
【0005】
【発明が解決しようとする課題】
ところで、例えば立体物検出手段としてステレオカメラが搭載されている車両では、ステレオカメラにより撮像した画像の認識精度が、夜間降雨、強逆光等の外乱要因により低下しているときは、先行車を正確に認識することができないため、走行制御を一時停止(ホルト)するフェールセーフ機能が備えられている。
【0006】
しかし、走行制御をホルトさせるか否かを判定する条件中には、必ずしも定速走行制御及び追従走行制御をホルトさせる必要のない外乱も含まれている。例えば昼間の降雨、光の差込の弱い逆光(弱逆光)、薄暗いトンネル内の走行等は、先行車を認識することが必ずしも不能ではなく、追従走行制御を継続させることは可能である。
【0007】
但し、先行車の認識精度が低下した環境下において、通常のリジューム加速度により追従走行制御から定速走行制御への復帰を実行すると、例えば進路変更により一時的にロストした先行車が、自車の走行レーン前方へ再び戻ってきた場合、或いは割り込みなどにより自車の走行レーン前方に先行車が現れた場合に、先行車の認識遅れが生じ、結果として、運転者にブレーキ等の減速操作を促すことになり、運転者に煩雑な操作を強いることになる。
【0008】
本発明は、上記事情に鑑み、立体物検出手段により検出した先行車の認識が不能ではないがその精度が低下している環境下で、リジューム加速度により追従走行制御から定速走行制御に復帰している際に、自車前方に先行車が現れても、運転者に減速操作を促すなどの煩雑な操作を強いることがなく、余裕の車間距離を保持することのできる車両用走行制御装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するため本発明による第1の車両用走行制御装置は、自車前方の立体物を検出する立体物検出手段と、上記立体物検出手段で先行車を検出した場合、該先行車に対して一定車間距離を保持した状態で追従走行し、この追従走行中に先行車をロストしたときは、リジューム加速度にて予め設定した車速まで加速して定速走行へ復帰する走行制御手段とを備える車両用走行制御装置において、上記走行制御手段では、上記立体物検出手段にて検出した先行車の認識精度が低下しているときは上記リジューム加速度を、通常のリジューム加速度よりも小さい値で設定し、該小さい値の加速度で加速すると共に上記先行車の認識精度の低下を判定した後、該認識精度が定常に戻ったことを判定した際には、上記認識精度の低下を判定してから予め設定した時間が経過するまで上記リジューム加速度を上記通常のリジューム加速度より小さい値で設定することを特徴とする。
【0010】
このような構成では、自車前方の立体物を検出する立体物検出手段により検出した先行車の認識精度が低下している所定環境下では、追従走行から定速走行へ復帰する際のリジューム加速度を通常のリジューム加速度よりも小さい値で設定し、小さい値の加速度で加速すると共に上記先行車の認識精度の低下を判定した後、該認識精度が定常に戻ったことを判定した際には、上記認識精度の低下を判定してから予め設定した時間が経過するまで上記リジューム加速度を上記通常のリジューム加速度より小さい値で設定するようにしたので、緩加速度でゆっくりと定速走行へ復帰させることができ、復帰中に出現した先行車を安全車間距離の範囲で認識することができる。
【0013】
第3の車両用走行制御装置は、第1或いは第2の車両用走行制御装置において、上記小さい値の加速度は、割り込み車両の認識遅れに対して安全な車間距離を保持する加速度であることを特徴とする。
【0014】
の車両用走行制御装置は、第1の車両用走行制御装置において、上記小さい値の加速度は、上記通常のリジューム加速度の55%であることを特徴とする。
【0015】
【発明の実施の形態】
以下、図面に基づいて本発明の一実施の形態を説明する。図1に走行制御装置の全体構成図を示し、図2に立体物検出手段を搭載した車両の正面図を示す。
図1の符号1は自動車等の車輌で、この車輌1に搭載される走行制御装置2は、主として、走行制御ユニット3、ステレオ光学系4、画像処理ユニット5とから構成されており、定速走行制御状態のときは運転者が設定した車速(設定車速)を保持した状態で定速走行し、追従走行制御状態のときは目標車速を先行車の車速に設定し、先行車に対して一定車間距離を保持した状態で追従走行する。
【0016】
ステレオ光学系4は、自車の進行方向に存在する自車前方の立体物を検出する立体物検出手段として機能し、車外の対象を撮像する撮像系としての左右1組のCCDカメラ等のステレオカメラ4a,4bからなる。これらの左右1組のステレオカメラ4a,4bが接続される画像処理ユニット5では、、自車の速度に基づいて目標車間距離を設定すると共に立体物検出手段で検出した先行車を認識し、認識した先行車と自車との車間距離及び先行車の車速(先行車速)を算出する機能を実現する。具体的には、ステレオカメラ4a,4bによって撮像した左右1組のステレオ画像対を処理して画像全体に渡る3次元の距離分布を算出し、その距離分布情報から、道路形状や複数の立体物の3次元位置を高速で検出する。そして、検出した道路形状と各立体物の位置を比較して、自車直前の先行車を認識し、車速センサ7で検出した車速に基づいて、自車と先行車との車間距離及び先行車速を算出し、走行制御ユニット3へ出力する。
【0017】
走行制御ユニット3は、運転者の操作入力によって設定される走行速度を維持するよう定速走行制御を行なう定速走行制御の機能、及び自車と先行車の車間距離を一定に保持した状態で走行する追従走行制御の機能を実現するために、ステアリングコラムの側部等に設けられた定速走行操作レバーに連結される複数のスイッチ類で構成された定速走行スイッチ6、車速センサ7、ヘッドランプスイッチ10、画像処理ユニット5等が接続されている。
【0018】
定速走行スイッチ6は、定速走行時の目標車速を設定する車速セットスイッチ、目標速度を低速側へ変更設定するコーストスイッチ、目標車速を高速側へ変更設定するリジュームスイッチ等で構成されており、更に、この定速走行操作レバーの近傍に、走行制御機能のON/OFFを選択するメインスイッチ(図示せず)が配設されている。
【0019】
運転者が図示しないメインスイッチをONし、定速走行操作レバーにより、希望する速度をセットすると、定速走行スイッチ6からの信号が走行制御ユニット3に入力され、車速センサ7で検出した車速が、運転者のセットした設定車速に収束するように、スロットルアクチュエータ8を駆動させてスロットル弁9の開度をフィードバック制御し、自車を自動的に定速状態で走行させる。
【0020】
又、走行制御ユニット3は、運転者に対する高度な支援制御を行なうアクティブドライブアシスト(ADA)システムの一機能を担っており、定速走行制御を行っている際に、画像処理ユニット5にて先行車を認識し、先行車の速度が自車の設定した設定車速以下の場合には、先行車に対して一定の車間距離を保持した状態で走行する追従走行制御へ自動的に切換えられる。
【0021】
車両の走行制御が追従走行制御へ復帰すると、画像処理ユニット5で求めた自車と先行車との車間距離及び先行車速と、車速センサ7で検出した車速とに基づき適切な車間距離の目標値を設定し、車間距離が目標値になるように、スロットルアクチュエータ8へ駆動信号を出力して、スロットル弁9の開度をフィードバック制御し、先行車に対して一定車間距離を保持した状態で追従走行させる。
【0022】
又、走行制御ユニット3では、追従走行制御を実行している際に、画像処理ユニット5で先行車を、自車或いは先行車の進路変更等によりロストしたと認識した場合には、予め設定されているリジューム加速度により加速運転を開始し、運転者が設定した速度(設定車速)による定速走行へ復帰する。
【0023】
ところで、強逆光、霧や吹雪による視界不良、夜間降雨等、天候により画像認識を正常に行うことのできない環境下では、画像処理ユニット5からの指示により走行制御ユニット3における定速走行制御及び追従走行制御が一時停止(ホルト)される。
【0024】
ただし、雨、弱逆光、薄暗いトンネル走行等、画像認識を正常に行うことが必ずしも不可能ではないが、これらの外乱要因により、画像の認識精度が低下している環境下、すなわちステレオカメラ4a,4bにより撮像した画像に基づき求めた先行車の距離データにばらつきが生じ易い環境下に限っては、走行制御ユニット3による定速走行制御及び追従走行制御が実行される。この場合、追従走行制御から定速走行制御への復帰の際は、通常のリジューム加速度よりも低い値(本実施の形態では、通常のリジューム加速度の55%)に設定したリジューム微加速度で加速を行う。
【0025】
走行制御ユニット3で処理される外乱要因の判定、及びリジューム加速度の設定は、具体的には、図3、図4に示すフローチャートに従って実行される。
【0026】
図3に示す外乱要因検出ルーチンは、先ず、ステップS1〜S3で追従走行制御可能な外乱要因の存在を示す信号が画像処理ユニット5から受信されているか否かを判定する。本実施の形態では、ステレオカメラ4a,4bにより撮像した画像の認識精度を低下させる程度の外乱要因の一例として、雨天、弱逆光、薄暗いトンネル内走行を設定し、ステップS1で降雨中か否かを判定し、ステップS2で弱逆光か否かを判定し、ステップS3でトンネル通過中か否かを判定する。これらの外乱要因は、追従走行制御を中止させる他の外乱要因(強逆光等)とともに画像処理ユニット5にて判断され、それぞれを特定する信号が走行制御ユニット3に送信される。
【0027】
ステップS1においてチェックされる雨天の判定は、例えば本出願人が先に提出した特願平11−217903号に開示されている方法を用いて行う。すなわち、図5に示すように、先行車が自車の前方に存在する場合に映し出される傾向の高い画像領域内に監視領域R1を設定し、この領域の距離データ(実際には視差)の分散値を求め、この分散値が一定値以上の場合には雨と判定する。尚、この場合、ワイパースイッチのON/OFFを検出し、ワイパースイッチがONのときは雨と簡易的に判定するようにしてもよい。
【0028】
又、ステップS2においてチェックされる弱逆光の判定は、例えば本出願人が先に提出した特願平11−216915号に開示されている方法を用いて行う。すなわち、図6に示すように、弱逆光がステレオカメラ4a,4bに差し込まれると、画像中に逆光円が映し出されるため、画像処理ユニット5において、弱逆光による逆光円が画像中に発生しているか否かを、予め特定した画像領域の輝度分布特性により判定し、逆光円が検出されたとき弱逆光と判定する。
【0029】
更に、ステップS3においてチェックされるトンネル通過中か否かの判定は、例えば画像全体の輝度平均値が急激に小さくなったことにより判断される。このとき、ヘッドランプスイッチ10の動作状態を検出し、そのON動作と組み合せてトンネル通過中と判定してもよい。
【0030】
そして、ステップS1〜S3の何れか1つの外乱要因が画像処理ユニット5にて判定されているときは、ステレオカメラ4a,4bにより撮像した画像の認識精度が低下していると判定し、ステップS4へ進み、リジュームフラグF1をセットしてルーチンを抜ける。
【0031】
又、ステップS1〜S3に示す外乱要因の全てが否定されたときは、ステレオカメラ4a,4bにより撮像した先行車の認識精度は正常に保たれていると判定し、ステップS5へ進み、リジュームフラグF1の値が、クリアされた状態からセットされた後(F1=0→F1=1)、2sec以上経過しているか否かを判定し、2sec以上経過していないときは、そのままルーチンを抜ける。
【0032】
ステップS5は制御ハンチングを防止するために設けたもので、制御ハンチングを防止する時間は2secに限るものではなく、車両の運転特性等に応じて設定する。
【0033】
そして、リジュームフラグF1の値が、クリアされた状態からセットされた後、2sec以上経過しているときは、ステップS6へ進み、リジュームフラグF1をクリアしてルーチンを抜ける。
【0034】
このリジュームフラグF1の値は、図4に示すリジューム加速度制御ルーチンにおいて読込まれる。
【0035】
このルーチンは、先行車をロストしたとき等、走行制御が追従走行から定速走行制御へ復帰する際に起動され、先ず、ステップS11でリジュームフラグF1の値を参照し、F1=0のステレオカメラ4a,4bにより撮像した画像の認識精度が正常であると判定されたときは、ステップS12へ進み、通常のリジューム加速度制御を実行してルーチンを抜ける。
【0036】
又、ステップS11で、F1=1、すなわちステレオカメラ4a,4bにより撮像した画像の認識精度が低下していると判定されているときは、ステップS13へ分岐し、リジューム微加速制御を実行してルーチンを抜ける。
【0037】
図7に示すように、実線で示す通常のリジューム加速度に対して、破線で示すリジューム微化速度は、本実施の形態では55%に設定されており、ステレオカメラ4a,4bにより撮像した画像の認識精度が低下しているときは、緩やかな加速度で、運転者の設定した設定速度へ復帰される。
【0038】
従って、雨天、弱逆光等の外乱要因によりステレオカメラ4a,4bにて撮像した画像の認識精度が低下している環境下で、追従走行中の先行車が、ステレオカメラ4a,4bの視野範囲から自車、或いは先行車の車線変更等によりロストした場合には、リジューム微加速度により緩やかに加速制御されるため、自車前方に先行車が割り込みなどにより現れた場合であっても、画像処理ユニットによる先行車の認識遅れにより、運転者にブレーキ等の減速操作を促す等の煩雑な操作を強いることがなく、安全な車間距離を保持した状態で追従走行へ自動的に復帰させることができる。
【0039】
尚、本実施の態様においては、強逆光、霧や吹雪による視界不良、夜間降雨等、天候により画像認識を正常に行うことのできない環境下では、定速走行制御及び追従走行制御の両方を一時停止するよう設定しているが、追従走行制御のみ一時停止させ、定速走行制御は実行可能に設定してもよい。
【0040】
さらに、本発明は上述した実施の形態に限るものではなく、例えば先行車の認識精度の低下を招く外乱要因は、雨天、弱逆光、薄暗いトンネル内走行等の外的環境の影響以外に、ステレオカメラのレンズ、或いはフロントガラスの汚れ等、内的環境の影響も含まれる。又、立体物検出手段もステレオ光学系4に限らず、単眼カメラ、或いはレーザー光、電波、音波、磁波などを用いたレーダ装置等であってもよく、この場合の外乱要因を判定する条件は、各検出要素の特性に応じて設定される。
【0041】
【発明の効果】
以上、説明したように本発明によれば、立体物検出手段により検出した先行車の認識が不能ではないがその精度が低下している環境下での走行では、リジューム加速度を、通常のリジューム加速度に比し小さい値に設定するようにしたので、リジューム加速度制御中に、先行車が突然出現した場合であっても、認識遅れに起因して、運転者に減速操作を促すなどの煩雑な操作を強いることがなく、安全車間距離を維持した状態で走行することができ、良好な走行制御性を得ることができる。
【図面の簡単な説明】
【図1】走行制御装置の全体構成図
【図2】立体物検出手段を搭載した車両の正面図
【図3】外乱要因検出ルーチンを示すフローチャート
【図4】リジューム加速度制御ルーチンを示すフローチャート
【図5】ステレオカメラで撮像した画像に監視領域を設定した状態を示す説明図
【図6】ステレオカメラに弱逆光が差し込まれた状態を示す画像の説明図
【図7】リジューム加速度制御とリジューム微加速度制御との関係を示す特性図
【符号の説明】
2 走行制御装置
3 走行制御ユニット
4a,4b 立体物検出手段(ステレオカメラ)

Claims (2)

  1. 自車前方の立体物を検出する立体物検出手段と、
    上記立体物検出手段で先行車を検出した場合、該先行車に対して一定車間距離を保持した状態で追従走行し、この追従走行中に先行車をロストしたときは、リジューム加速度にて予め設定した車速まで加速して定速走行へ復帰する走行制御手段とを備える車両用走行制御装置において、
    上記走行制御手段では、上記立体物検出手段にて検出した先行車の認識精度が低下しているときは上記リジューム加速度を、通常のリジューム加速度よりも小さい値で設定し、該小さい値の加速度で加速すると共に上記先行車の認識精度の低下を判定した後、該認識精度が定常に戻ったことを判定した際には、上記認識精度の低下を判定してから予め設定した時間が経過するまで上記リジューム加速度を上記通常のリジューム加速度より小さい値で設定することを特徴とする車両用走行制御装置。
  2. 上記小さい値の加速度は、上記通常のリジューム加速度の55%である
    ことを特徴とする請求項1記載の車両用走行制御装置。
JP26954599A 1999-09-22 1999-09-22 車両用走行制御装置 Expired - Fee Related JP3970486B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26954599A JP3970486B2 (ja) 1999-09-22 1999-09-22 車両用走行制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26954599A JP3970486B2 (ja) 1999-09-22 1999-09-22 車両用走行制御装置

Publications (2)

Publication Number Publication Date
JP2001088574A JP2001088574A (ja) 2001-04-03
JP3970486B2 true JP3970486B2 (ja) 2007-09-05

Family

ID=17473882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26954599A Expired - Fee Related JP3970486B2 (ja) 1999-09-22 1999-09-22 車両用走行制御装置

Country Status (1)

Country Link
JP (1) JP3970486B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3951826B2 (ja) * 2002-06-21 2007-08-01 日産自動車株式会社 走行速度制御装置及びその方法
JP4163074B2 (ja) * 2003-08-25 2008-10-08 富士重工業株式会社 車両用運転支援装置
JP3932127B2 (ja) * 2004-01-28 2007-06-20 マツダ株式会社 車両用画像表示装置
JP4252945B2 (ja) * 2004-08-05 2009-04-08 富士重工業株式会社 車両用運転支援装置
ES2303753B1 (es) * 2006-01-13 2009-06-23 Universidad De Alcala Sistema de vision artificial para el control de crucero adaptativo en automoviles.
JP5149669B2 (ja) * 2008-03-28 2013-02-20 富士重工業株式会社 運転支援装置
JP6822197B2 (ja) * 2017-02-16 2021-01-27 トヨタ自動車株式会社 車両認識装置
EP3640107A4 (en) * 2017-06-12 2021-03-10 Hitachi Automotive Systems, Ltd. DRIVING ASSISTANCE DEVICE FOR A VEHICLE
JP7163589B2 (ja) * 2018-02-14 2022-11-01 株式会社デンソー 運転支援装置
WO2020202283A1 (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 鞍乗り型車両の運転支援装置
JP7196781B2 (ja) * 2019-06-14 2022-12-27 株式会社デンソー 情報処理装置及び運転支援システム
JP7038097B2 (ja) * 2019-12-25 2022-03-17 本田技研工業株式会社 車両制御装置及び車両制御方法

Also Published As

Publication number Publication date
JP2001088574A (ja) 2001-04-03

Similar Documents

Publication Publication Date Title
US10710580B2 (en) Tailgating situation handling by an automated driving vehicle
JP4929777B2 (ja) 車両用走行制御装置
JP6158523B2 (ja) 車間距離制御装置
US20170361841A1 (en) Travel control device for vehicle
US5865265A (en) Vehicle travel aiding device
EP1547847A2 (en) Adaptive cruise control
JP3264060B2 (ja) 自動車の走行制御装置の先行車検出機構
JP4900211B2 (ja) 走行支援装置、車間距離設定方法
JP3970486B2 (ja) 車両用走行制御装置
US6459983B1 (en) Method and apparatus for controlling the speed and spacing of a motor vehicle
US11052822B2 (en) Vehicle control apparatus, control method, and storage medium for storing program
JP7414497B2 (ja) 運転支援装置
CN114514155A (zh) 驾驶辅助方法以及驾驶辅助装置
JP2021187367A (ja) 車両制御方法、車両制御プログラム、及び車両制御システム
JP2002248965A (ja) 車輌用走行制御装置
JP4294450B2 (ja) 車両用運転支援装置
JP2020201734A (ja) 車両制御装置
JP2004094733A (ja) 車両用運転支援装置
CN116419072A (zh) 车辆摄像头动态
JP2009149167A (ja) 車両の走行制御装置。
JP2005081999A (ja) 車両用運転支援装置
JP3345699B2 (ja) 車両用走行支援装置
JP4628596B2 (ja) 車両用運転支援装置
JP6930483B2 (ja) 走行制御装置
JP3436970B2 (ja) 障害物検出装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040507

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040513

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040730

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070606

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3970486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees