JP3411529B2 - 自律移動ロボット - Google Patents

自律移動ロボット

Info

Publication number
JP3411529B2
JP3411529B2 JP31176399A JP31176399A JP3411529B2 JP 3411529 B2 JP3411529 B2 JP 3411529B2 JP 31176399 A JP31176399 A JP 31176399A JP 31176399 A JP31176399 A JP 31176399A JP 3411529 B2 JP3411529 B2 JP 3411529B2
Authority
JP
Japan
Prior art keywords
obstacle
robot
predetermined
autonomous mobile
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31176399A
Other languages
English (en)
Other versions
JP2001129787A (ja
Inventor
倫太 今井
哲雄 小野
司郎 高田
浩 石黒
竜一 西村
春生 野間
敏昭 杉原
勉 宮里
良平 中津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP31176399A priority Critical patent/JP3411529B2/ja
Publication of JP2001129787A publication Critical patent/JP2001129787A/ja
Application granted granted Critical
Publication of JP3411529B2 publication Critical patent/JP3411529B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、自律移動ロボットに
関し、特にたとえば、ペットロボット、介護ロボット、
掃除ロボットなどに適用され、障害物を回避しながら移
動する、自律移動ロボットに関する。
【0002】
【背景の技術】無人工場などにおいて、ロボットが工場
内を動き回り、部品を搬送している。この中には、床上
に表示されたマークに従って移動する単純なロボットも
あれば、カメラや超音波センサを使って周囲の状況を認
識しながら所定の行動をとる自律的なロボットもある。
また、自律型ロボットは、通常のオフィスビル内で掃除
ロボットや資料配達ロボットとしての利用も検討されて
おり、さらに一部では実際に利用されている。
【0003】
【発明が解決しようとする課題】しかし、自律型ロボッ
トには行動命令を予め与えておく必要があり、かつ全て
の事態を想定して行動命令を設定するのは不可能に近
い。つまり、普段は障害物が何もないはずの廊下に大き
な段ボール箱が放置され、ロボットの進行を妨げている
場合、ロボットは段ボール箱を押して通路から片付ける
こともできるが、段ボール箱はその場から移動してはな
らないものなのかも知れない。このため、ロボットに与
える行動命令としては、単純な「進行を妨げるものがあ
れば押して片付ける」では不十分である。このように、
全ての事態に対処できる完全な行動命令を予め用意して
おくことは実際には不可能である。
【0004】それゆえに、この発明の主たる目的は、あ
らゆる事態を想定した行動命令を用意することなく事態
の解決を図ることができる、自律移動ロボットを提供す
ることである。
【0005】
【課題を解決するための手段】この発明は、移動経路上
にある障害物を検出する検出手段、検出手段によって検
出された検出障害物が第1メモリに予め記憶された所定
障害物であるかどうかを判断する第1判断手段、第1判
断手段によって所定障害物ではないと判断したときのみ
周囲に人が存在するかどうかを判断する第2判断手段、
および第2判断手段によって人が存在すると判断したと
のみ音声ヘルプメッセージを発生する手助け要求手段
を備える、自律移動ロボットである。
【0006】
【作用】移動経路上にある障害物が検出手段によって検
出され、この検出障害物が所定障害物であるかどうかが
第1判断手段によって判断される。第1判断手段が障害
物を所定障害物ではないと判断したとき、つまり未知の
障害物に遭遇したとき、周囲に人が存在するかどうかが
第2判断手段によって判断される。第2判断手段によっ
て人の存在が判断されると、手助け要求手段が音声ヘル
プメッセージを発生する
【0007】
【0008】この発明のある実施例では、第2判断手段
は、検出障害物が所定障害物でないとき、人の存在を判
断する。好ましくは、複数の前記所定障害物が第1メモ
リに記憶され、第1判断手段は、検出障害物を複数の所
定障害物と比較して判断を行う。また、複数の所定障害
物に対応する複数の回避プログラムが第2メモリに記憶
される。検出障害物がいずれかの所定障害物である
合、回避手段は、検出障害物に対応する回避プログラム
を第2メモリから読み出して回避行動を行う。
【0009】
【発明の効果】この発明によれば、自律移動ロボットが
未知の障害物に遭遇したとき周囲に人が存在するかどう
かを判断し、人が存在するときに手助けを要求するよう
にしたため、あらゆる事態を想定した行動命令を用意す
ることなく事態の解決を図ることができる。
【0010】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【0011】
【実施例】図1は、この発明の一実施例の自律移動ロボ
ット10を示す正面図である。この図1を参照して、こ
の実施例の自律移動ロボット(以下、単に「ロボット」
という。)10は、本体ないし筐体12を含み、筐体1
2の下部に軸16で回転可能に車輪14が設けられる。
この車輪14すなわち軸16がモータ36(図2)によ
って駆動され、これによってロボット10が任意の方向
に移動できる。
【0012】なお、図示は省略しているが、左右の車輪
を独立して制御できるような動力伝達機構、たとえばデ
ファレンシャルギアなどが軸16または車輪14に関連
して組み込まれている。また、左右の車輪14を独立制
御するために、モータは2つ用いられてもよい。このよ
うな駆動系自体に特徴がある訳ではないので、駆動系の
構成は他に考えられる。
【0013】筐体12は平面ほぼ矩形に形成され、その
4つの側面には超音波センサ18が配置される。各超音
波センサ18は送波器と受波器との組合せであり、超音
波が送波器から出力されてから超音波が受波器によって
受信されるまでの時間を後述のマイクロコンピュータ2
6(図2)に出力する。マイクロコンピュータ26は、
超音波センサ18からの時間データによって部屋内での
ロボット10の位置や障害物の存在等を検出する。筐体
12の前面には、たとえばCCDカメラを有するイメー
ジセンサ20が設けられる。イメージセンサ20は、C
CDカメラによって前方の物体を撮影し、撮影画像デー
タをマイクロコンピュータ26に出力する。
【0014】筐体12の上面には、熱線を検知するIR
センサ22が設けられる。周囲に熱源(たとえば人間や
動物)が存在する場合、検知データがIRセンサ22か
らマイクロコンピュータ26に出力され、マイクロコン
ピュータ26は、この検知データによって周囲に熱源が
存在することを認識する。筐体12の上面にはまた、ス
ピーカ24が設けられる。スピーカ24は、マイクロコ
ンピュータ26によって生成された合成音声データを取
り込み、対応する合成音声を発する。
【0015】図2を参照して、図1の筐体12内にはマ
イクロコンピュータ26が設けられる。図2では1つの
マイクロコンピュータ26が図示されているが、必要に
応じて、複数のマイクロコンピュータを設けて、それぞ
れに画像処理,音声処理,駆動制御等のタスクを分担さ
せるようにしてもよい。しかしながら、ここでの説明で
は、便宜上、1つまたは複数のマイクロコンピュータを
マイクロコンピュータ26で代表させる。
【0016】マイクロコンピュータ26は、図1を参照
して説明した超音波センサ18,イメージセンサ20お
よびIRセンサ22からの入力を受けるとともに、スピ
ーカ24に合成音声データを与える。図1では図示しな
かったが、ロボット10にはさらにエンコーダ32およ
びコンパス34が設けられる。エンコーダ32は左右の
車輪14に個別に設けられ、各車輪14の回転数に応じ
た数のパルス信号をマイクロコンピュータ26に入力す
る。マイクロコンピュータ26では、各エンーダ32か
らのパルス信号をカウントしてロボット10が移動して
いる速度や刻々変化する位置を計算する。コンパス34
はロボット10の方位(移動方向)を知るためのもので
ある。
【0017】ここで、発明者等がロボット10の実験に
使った部屋は、図3に示すように、4m四方のほぼ正方
形の部屋で、部屋の中は4つのブロックに分割されてい
る。ドアの部分がスタートで、対角の位置にゴール(目
標位置)が設定されている。この部屋の地図データはマ
イクロコンピュータ26のRAM30に予め記憶されて
おり、ロボット26は、地図データと上述のエンコーダ
32およびコンパス34からの入力とによって、現在位
置を知ることができる。RAM30にはまた、移動経路
データが記憶されており、ロボット10は、この移動経
路データに従って部屋の中を移動する。記憶された移動
経路は、図2に矢印で示される。一方、ROM28に
は、自律移動のためのメインプログラムが記憶されてい
るほか、複数の障害物の画像データおよび各障害物に対
応する複数の回避プログラムが記憶されている。
【0018】マイクロコンピュータ26は、具体的には
ROM28に記憶された図4に示すフロー図を処理す
る。まずステップS1で超音波センサ18から時間デー
タを取り込み、障害物に遭遇したかどうか判断する。図
3に示すようにロボット10の移動経路上に障害物38
がある場合、時間データの値は、ロボット10が障害物
38にぶつかる手前で所定の閾値を下回る。このとき、
マイクロコンピュータ26はステップS1でYESと判
断し、ステップS3に進む。一方、時間データが所定の
閾値以上のときは、ステップS7で移動経路データに従
って所定距離だけ移動し、その後処理を終了する。
【0019】ステップS3では、遭遇した障害物38の
撮影画像データをイメージセンサ20から取り込み、こ
の障害物38がROM28に登録済みの障害物であるか
未知の障害物であるかを判断する。具体的には、撮影さ
れた障害物38の画像を予め登録された複数の障害物の
画像と比較して判断を行う。ここで、障害物38が登録
済みのものであればステップS5に進み、この障害物3
8に対応する回避プログラムに従った回避行動を行う。
つまり、ROM28から障害物38に対応する回避プロ
グラムを読み出し、この回避プログラムを処理する。回
避行動を終えると、マイクロコンピュータ26はステッ
プS7で所定距離だけ移動し、処理を終了する。
【0020】障害物38が予め登録された障害物と異な
る場合(未知の障害物の場合)、マイクロコンピュータ
26はステップS9に進み、ロボット10と同じブロッ
クに人間がいるかどうか判断する。具体的には、まずI
Rセンサ22から検知信号を取り込み、取り込んだ検知
信号に基づいて近くに熱源が存在するかどうか判断す
る。ここで、熱源が存在しなければ、ステップS13で
処理を中断し、所定時間経過してからステップS9に戻
る。一方、熱源が存在すれば、次はこの熱源の方向を向
き、熱源の撮影画像データをイメージセンサ20から取
り込む。撮影画像データが取り込まれると、この撮影画
像から熱源の画像を抽出し、さらに抽出した熱源の画像
から肌色領域を検出する。そして、検出した肌色領域の
データに基づいて、熱源が人間であるかどうか判断す
る。
【0021】熱源が人間でない場合(たとえば動物の場
合)も、マイクロコンピュータ26は、ステップS13
に進み、所定時間だけ処理を中断してからステップS9
に戻る。一方、熱源が人間である場合、マイクロコンピ
ュータ26はステップS9からステップS11に進み、
スピーカ24から合成音声によるヘルプメッセージを発
する。ここで、ヘルプメッセージとしては、「助けて下
さい。」のような漠然としたメッセージや、「前方の障
害物をどけてください。」のような具体的なメッセージ
が考えられる。ヘルプメッセージの出力を終えると、ス
テップS1に戻る。
【0022】このように、熱源が近くにないか、熱源が
あってもその熱源が人間でなければステップS13およ
びS9の処理が繰り返される。この結果、ロボット10
は障害物38の手前で停止し続ける。一方、熱源が近く
に存在し、かつこの熱源が人間であれば、ヘルプメッセ
ージによって人間に手助けを要求する。ヘルプメッセー
ジに応答して人間が障害物38を取り除いてやると、マ
イクロコンピュータ26はステップS1でNOと判断
し、ステップS7で移動経路データに従って所定距離だ
け移動する。そして、処理を終了する。マイクロコンピ
ュータ26は以上のようなフロー図の処理を繰り返し行
い、これによって、ロボット10は移動経路に沿ってゴ
ールに向かう。
【0023】この実施例によれば、遭遇した障害物が登
録済みの障害物であればその障害物に対応する回避プロ
グラムに従って回避行動を行い、遭遇した障害物が登録
されていない未知の障害物であれば周囲の人に手助けを
要求するようにしたため、あらゆる事態を想定した回避
プログラムを用意することなく事態の解決を図ることが
できる。
【0024】ただし、ロボットが近くにいる人間に助け
を求める場合、単にロボットがメッセージを発するだけ
では人間は注意を払いにくく、注意を払っても助けると
いう行動まで至らないことが多い。このような問題を解
決する方法として、いわゆるアイキャッチのような人間
の気を引き付ける行動をとることが考えられる。たとえ
ば、障害物によって移動を妨げられたときに、手で頭を
抱えて首を振るなどの大げさな行動を行う場合である。
【0025】しかし、ロボットが急に人の気を引くよう
な行動をしても、逆に怖がられたりするおそれがある。
このような問題は、普段から周囲の人間との間で違和感
のない関係を作っておくことで解決できる。具体的に
は、以下に述べる方法で周囲の人間と良好な関係を築い
ておけばよい。
【0026】ロボットは、普段から、すれ違う人間に誰
彼となく挨拶する。もし、すれ違う人間が無線バッジの
ようなID装置を携帯していれば、相手の名前を呼んで
挨拶する。また、「おはようございます、○○さん。」
や「△△さん、こんばんは。」というように、挨拶の内
容を時間によって変化させる。さらに、ロボッットが助
けを必要とする場合に、近くにいる人間の名前が特定で
きれば、ロボットはその人間の名前を呼んで助けを求め
る。また、助けてもらった人の名前が特定できる場合
に、助けてもらった回数を名前毎にカウントする。
【0027】助けを求めた相手がロボットの要求を理解
できず助けが得られない場合、ロボットは、過去に最も
多く助けってもらった人の名前を発して、その人に連絡
してもらう。ロボットが発する名前の初期値は、ロボッ
トの製作者であってもよい。ロボットの要求を理解でき
なかった人は、ロボットが発した名前の人を呼んできて
その人の手助けの様子を観察すれば、どのような手助け
が必要だったかを理解でき、次回から自分で手助けでき
る。
【図面の簡単な説明】
【図1】この発明の一実施例のロボットを示す正面図解
図である。
【図2】図1実施例のロボットの構成を示すブロック図
である。
【図3】実験に用いた部屋の概要を示す図解図である。
【図4】図1実施例の動作の一部を示すフロー図であ
る。
【符号の説明】
10…ロボット 14…車輪 18…超音波センサ 20…イメージセンサ 22…IRセンサ 24…スピーカ 26…マイクロコンピュータ 32…エンコーダ 34…コンパス 36…モータ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 高田 司郎 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (72)発明者 石黒 浩 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (72)発明者 西村 竜一 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (72)発明者 野間 春生 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (72)発明者 杉原 敏昭 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (72)発明者 宮里 勉 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (72)発明者 中津 良平 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (56)参考文献 特開 平9−185412(JP,A) 特開 平2−230409(JP,A) 特開 昭57−25001(JP,A) 特開 昭59−195175(JP,A) 特公 平7−44911(JP,B2) (58)調査した分野(Int.Cl.7,DB名) B25J 19/06 B25J 5/00 G05D 1/00

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】移動経路上にある障害物を検出する検出手
    段、 前記検出手段によって検出された検出障害物が第1メモ
    リに予め記憶された所定障害物であるかどうかを判断す
    る第1判断手段、 前記第1判断手段によって前記所定障害物ではないと判
    断したときのみ周囲に人が存在するかどうかを判断する
    第2判断手段、および 前記第2判断手段によって人が存在すると判断したとき
    のみ音声ヘルプメッセージを発生する手助け要求手段を
    備える、自律移動ロボット。
  2. 【請求項2】記第1判断手段は前記検出障害物を前記
    複数の所定障害物と比較して判断を行う、請求項1記載
    の自律移動ロボット。
  3. 【請求項3】前記複数の所定障害物に対応する複数の回
    避プログラムを記憶した第2メモリ、および 前記検出障害物がいずれかの前記所定障害物であるとき
    前記検出障害物に対応する回避プログラムを前記第2メ
    モリから読み出して回避行動を行う回避手段をさらに備
    える、請求項2記載の自律移動ロボット。
JP31176399A 1999-11-02 1999-11-02 自律移動ロボット Expired - Fee Related JP3411529B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31176399A JP3411529B2 (ja) 1999-11-02 1999-11-02 自律移動ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31176399A JP3411529B2 (ja) 1999-11-02 1999-11-02 自律移動ロボット

Publications (2)

Publication Number Publication Date
JP2001129787A JP2001129787A (ja) 2001-05-15
JP3411529B2 true JP3411529B2 (ja) 2003-06-03

Family

ID=18021201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31176399A Expired - Fee Related JP3411529B2 (ja) 1999-11-02 1999-11-02 自律移動ロボット

Country Status (1)

Country Link
JP (1) JP3411529B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109249404A (zh) * 2018-10-30 2019-01-22 广东粤迪厚创科技发展有限公司 智能家居机器人

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4042108B2 (ja) 2003-02-19 2008-02-06 ソニー株式会社 ロボット装置及びその制御方法
JP2004299033A (ja) 2003-04-01 2004-10-28 Sony Corp ロボット装置、情報処理方法、およびプログラム
ATE524783T1 (de) 2004-03-27 2011-09-15 Harvey Koselka Autonomer persönlicher dienstroboter
JP4555035B2 (ja) * 2004-03-30 2010-09-29 日本電気株式会社 掃除機制御装置、掃除機、ロボット、および掃除機制御方法
JP4751192B2 (ja) 2005-12-12 2011-08-17 本田技研工業株式会社 移動ロボット
JP5158097B2 (ja) * 2008-01-16 2013-03-06 日本電気株式会社 移動装置、移動装置の移動方法、及び移動装置の移動制御プログラム
JP5595030B2 (ja) * 2009-12-17 2014-09-24 三菱重工業株式会社 移動体制御システム、制御装置、制御方法、プログラム及び記録媒体
JP5550671B2 (ja) * 2012-03-29 2014-07-16 株式会社デンソーアイティーラボラトリ 自律走行ロボット及び自律走行ロボットの走行制御方法
WO2014207299A1 (en) * 2013-06-25 2014-12-31 Tekno-Ants Oy Method and guidance system for use of robot
JP5880498B2 (ja) * 2013-08-09 2016-03-09 トヨタ自動車株式会社 自律移動体、障害物判別方法及び障害物回避方法
JP6253567B2 (ja) * 2014-11-17 2017-12-27 ヤンマー株式会社 作業車両の移動システム
US10349572B2 (en) 2014-11-17 2019-07-16 Yanmar Co., Ltd. Work vehicle travel system
JP6919123B2 (ja) * 2017-03-22 2021-08-18 株式会社日本総合研究所 人に走行する車両が近接したことを通知する車両近接通知システムにおける管理サーバ、車両近接通知方法及びプログラム
JP6989210B2 (ja) * 2017-09-26 2022-01-05 アクチエボラゲット エレクトロルックス ロボット清掃デバイスの移動の制御
JP2021171905A (ja) * 2020-04-30 2021-11-01 東京ロボティクス株式会社 ロボット制御装置、方法、及びプログラム
CN113934211A (zh) * 2021-10-13 2022-01-14 安徽淘云科技股份有限公司 一种控制方法及其相关设备
WO2024075949A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 공간 정보를 이용하여 전자 장치를 제어하는 방법 및 공간 정보를 이용하는 전자 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109249404A (zh) * 2018-10-30 2019-01-22 广东粤迪厚创科技发展有限公司 智能家居机器人
CN109249404B (zh) * 2018-10-30 2021-11-16 东莞华南设计创新院 智能家居机器人

Also Published As

Publication number Publication date
JP2001129787A (ja) 2001-05-15

Similar Documents

Publication Publication Date Title
JP3411529B2 (ja) 自律移動ロボット
US10532003B2 (en) Guide robot and method and system for operating the same
EP3428764A1 (en) Torque losses estimation of a sperical robot
US20050288079A1 (en) Self-propelled cleaner
CN112158197B (zh) 一种车辆盲区障碍物规避方法、装置及系统
JP2008084135A (ja) 移動制御方法、移動ロボットおよび移動制御プログラム
JPH09185412A (ja) 自律移動装置
WO2021162000A1 (ja) 駐車支援装置
US11467581B2 (en) Autonomous moving body for moving between floors using an elevator, control program of autonomous moving body, method of controlling autonomous moving body, and system server for controlling autonomous moving body from remote place
JP4793904B2 (ja) コミュニケーションロボットシステムおよびコミュニケーションロボット
KR20220098774A (ko) 이동 단말 장치를 사용하는 차량으로 원격 제어 방식의 주차 기동을 실행하기 위한 방법 및 시스템
JP2008012635A (ja) 人物識別システム
JP2001129777A (ja) 自律移動ロボット
US11964402B2 (en) Robot control system, robot control method, and control program
JP5096980B2 (ja) 移動体、移動体方向制御方法および移動体方向制御プログラム
WO2021162001A1 (ja) 駐車支援装置および駐車支援方法
KR102301763B1 (ko) 이동로봇을 제어하기 위한 시스템 및 방법
WO2021048891A1 (ja) 移動体および移動体制御方法
JP7117603B2 (ja) 走行制御装置、走行制御方法、プログラム
JP3318539B2 (ja) 対話システムを有する自立移動ロボット
JP7434635B1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021214974A1 (ja) 車両走行制御方法及び車両走行制御装置
JP7329762B2 (ja) 走行制御方法
US20240140470A1 (en) Control device, control method, and storage medium
US20230311760A1 (en) Control device, control method, and computer-readable recording medium

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030311

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090320

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100320

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110320

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120320

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120320

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130320

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140320

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees