JP4252333B2 - 移動ロボット - Google Patents

移動ロボット Download PDF

Info

Publication number
JP4252333B2
JP4252333B2 JP2003052161A JP2003052161A JP4252333B2 JP 4252333 B2 JP4252333 B2 JP 4252333B2 JP 2003052161 A JP2003052161 A JP 2003052161A JP 2003052161 A JP2003052161 A JP 2003052161A JP 4252333 B2 JP4252333 B2 JP 4252333B2
Authority
JP
Japan
Prior art keywords
robot
mobile robot
radio wave
point
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003052161A
Other languages
English (en)
Other versions
JP2004260769A (ja
Inventor
美和 岡林
桂樹 岡林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003052161A priority Critical patent/JP4252333B2/ja
Publication of JP2004260769A publication Critical patent/JP2004260769A/ja
Application granted granted Critical
Publication of JP4252333B2 publication Critical patent/JP4252333B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、携帯電話や無線LANなどを用いて無線で遠隔操作を行う移動ロボットに関する。
【0002】
【従来の技術】
従来から無線により移動ロボットを遠隔制御する技術が種々提案されている。例えば、特許文献1には、ロボットの状態を表示する機能を備えた操作装置と移動ロボットを、通信回線ネットワーク、電話回線を介して接続し、移動ロボットの近くに操作者が居なくても移動ロボットを操作可能とした移動ロボットの制御システムが開示されている。
また、特許文献2には、LAN上に制御端末と無線接続端末を接続し、ロボット(被制御端末)に無線通信手段を設け、無線接続端末が無線区間でロボット(被制御端末)と通信することにより、制御端末がロボット(被制御端末)をリモートコントロールするようにしたネットワークリモートコントロールシステムが開示されている。
上記した従来の遠隔操作で動作する移動ロボットでは、電波の届かない場所にロボットが移動してしまった場合には遠隔操作が不可能になり、人が手を出す他なかった。特に、家庭やオフィスなどの環境において、常に電波状態が優良でなければ使用できない移動ロボットは現実的ではない。
【0003】
【特許文献1】
特開平5−91556号公報
【特許文献2】
特開2000−49800号公報
【0004】
【発明が解決しようとする課題】
上記したように、従来の遠隔操作で動作する移動ロボットでは、電波の届かないところにロボットが移動すると、遠隔操作が不可能となるといった問題があった。
本発明は上記従来技術の問題点を解決するためになされたものであって、本発明の目的は、移動ロボットが電波の届かないところに移動して操作不能になることを防ぎ、また、電波が届かないところに移動した後でも、電波が届くところまで復帰して操作再開を可能にすることである。
【0005】
【課題を解決するための手段】
上記課題を解決するため、本発明では、無線にて遠隔操作を行う移動ロボットにおいて、移動ロボットが電波状態を監視し、その情報を保存しながら移動し、移動中に無線の電波が届かなくなったとき、ロボットの移動を停止させ、無線接続の可能な地点に復帰する手段を設ける。
上記構成とすることにより、通信が不可能になった時点で可能であった地点までの復帰することができ、これにより無線移動ロボットは常に遠隔操作可能な状態でいることができる。
また、以下のように構成する。
)移動しながら、ロボット内に保存した地図や屋内間取図に電波通信の可否情報を保存する手段を設ける。
これにより、電波強度マップを作成することができる。この電波強度マップを用いれば、通信可能な移動経路を選定することが可能となる。
また、移動ロボットが電波の届かない所に移動した場合でも、通信可能な一番近い近い位置に迅速に移動することができる。
)通信不可能な地点まで移動して、与えられた指令を実行し、上記保存した内部地図情報を元に最も近い電波通信可能地点まで復帰する手段を設ける。
これにより、通信不可能な地点まで移動した場合でも、与えられた指令を完了することができ、また、通信可能な最も近い地点まで迅速に移動することができる。
さらに、以下のように構成することもできる。
無線通信不可能地点に移動した後、無線接続の可能な地点に復帰したとき、無線接続可能な地点に復帰したことを通知する手段を設ける。これにより、ユーザは、電波の届かない所に移動ロボットが一時移動して復帰したことを知ることができる。
【0006】
【発明の実施の形態】
図1は本発明の実施例のシステムの概要図である。同図に示すように、本実施例の移動ロボット1には、無線LANカードや携帯電話、BlueTooth等の無線デバイスが接続されており、情報処理機器上のソフトからネットワーク接続が可能なように構成されている。
ユーザはパソコンや携帯電話などの端末2により、移動ロボット1にネットワーク3に接続可能な環境にいる。ユーザのパソコンや携帯電話等の端末2には、遠隔からネットワーク経由で移動ロボット1を操作したり、移動ロボット1の状態を知ることができるソフトがインストールされている。
移動ロボット1が、携帯電話によるダイアルアップ接続によりネットワークに接続する場合は、プロバイダからもらうIPアドレスはダイアルアップの度に異なるので、ロボット上のソフトが、Dynamic−DNSサーバにもらったIPアドレスを通知することによって、IPアドレスをユーザに通知することなしにいつも決まったドメイン名(mycomputer.mydomain.comなど)でアクセスを可能にしている。
移動ロボット1は、例えば、ユーザの自宅等に置かれており、ユーザは端末2からの指令により移動ロボット1を移動させたり、移動ロボット1に搭載された赤外線受信/発信器により家電機器等を操作したり、また、移動ロボット1に設けられたカメラ等で自宅の状況等を監視する。
【0007】
図2は、上記移動ロボットの構成例を示す図である。
移動ロボット1は、同図に示すようにCPUを搭載した基板1a、移動用モータ1b、プログラムやデータを記憶するROM1c、移動用モータ1d、家電機器等を操作するための赤外線発信/受信器1e、前記した無線LAN、携帯電話、BlueTooth等の無線デバイス1f、移動距離や地図情報などを保存する記憶デバイス(ハードディスクやコンパクトフラッシュなど)1g等から構成される。
また、遠隔操作等のために周囲の状況を撮影するカメラ1h、距離等を計測するセンサ1iといったデバイスが接続されていてもよく、また、マイク1j、スピーカ1kや、液晶ディスプレイ1m、状態等を表示するためのLED1n、移動ロボット1を動作を開始させたり、各種設定を行うための押しボタンスイッチ1oやポインティングデバイス1p、電池1q等が搭載されていてもよい。
移動ロボット1は、ユーザがネットワーク3を介して送出する指令を上記無線デバイス1fで受信して、受信した指令に応じて移動し、前記したように家電機器等の操作を行ったり、周囲の状況等を監視する等の作業を行う。
移動ロボット1に携帯電話が搭載されていてダイアルアップで公衆回線を用いてネットワークに接続する場合には、前記したようにネットワーク上にはダイナミックDNSサーバがあって、そのサーバにプロバイダから割り振られたIPアドレスとそれにあてるドメイン名を登録、更新することができる。また、ロボットに携帯電話が搭載されている場合には、ロボットは電話をかけることが可能である。
上記移動ロボット1の制御は、前記ROM1c等に記憶された制御プログラムをCPU基板1aの搭載されたCPUが実行することにより行われ、移動ロボット1の移動経路情報や電波状況、各種ログ情報等のデータは上記記憶デバイス1gに記憶される。なお、上記CPU等から構成される移動ロボットの制御を行う部分を以下では、制御部と言う。
【0008】
図3は本実施例の移動ロボットの機能構成を示すブロック図である。
同図に示すように、移動ロボットの制御部11は、無線デバイス1fに接続される送受信部12と、送受信部12で受信した指令を、移動ロボット1の動作指令に変換して動作指令を出力する動作指令部13と、動作指令部13が出力する動作指令に基づき、赤外線発信/受信機1e等の操作機器や移動用モータ1dを駆動するための駆動制御部14を備えている。
また、送受信部12で受信される電波状況を判定する電波状況判定部15、電波状況等を移動経路と対応させて記憶する記憶部16、移動ロボット1が電波の届かない場所に移動してしまった場合に電波の届くところまで移動ロボット1を移動させるための動作パターンを作成する動作パターン作成部17、復帰動作を完了したことを確認する復帰動作確認部18を備えている。
そして、移動ロボットは、初期位置と前記センサ1iで計測した距離等に基づき、移動しながら自己の位置を認識するとともに、移動経路情報、電波状況等を上記記憶部16に記憶する。
【0009】
図4は、本実施例の移動ロボットにおける処理を示すフローチャートである。
移動ロボットの電波状況判定部15は、常に電波状態を監視している。遠隔のユーザから指示があった、あるいはあらかじめ指定された時間になったなどのイベントがあると(図4のステップS1)、移動ロボットは移動を開始する(ステップS2)。
そして、移動しながら、一定時間毎に現在までの移動距離と方向を電波状態とともに移動ロボット1の記憶部16に蓄積保存していく(ステップS3)。電波状態が良好のまま全ての移動を終了すれば、指示が成功となる(ステップS4〜6)。
【0010】
また、移動中に電波状態が悪化した場合、ステップS4からステップS7に行き、そこで停止し、前の位置に復帰するべく、記憶部16から前の移動距離/方向を取得する(ステップS8)。そして、動作パターン作成部17で動作パターンを作成して移動を実行する(ステップS9,S10)。ここで、動作パターンとは、例えば前動作が前進50cmであった場合、後進50cmまたは180度反転と前進50cmなど、移動ロボットの移動パターンに相当する。
前の位置に復帰したら、電波状況を確認する(ステップS11)。なお、移動ロボットが携帯電話を搭載している場合には、その位置でダイアルアップによりネットワークの再接続を試みる。そして、成功すればその場所で停止する(ステップS12)。
なお、上記の移動手順の最後にネットワークの再接続が成功した後に、メール等のメッセージを送付し、一旦電波圏外に出たが再び遠隔操作可能なったことを通知したり、携帯電話が接続されたロボットの場合は指定電話番号に電話をかけて復帰したことを通知してもよい。
【0011】
なお、ロボットが間取り図などの地図情報を持ち、撮影した周りの画像からランドマークを照合して自己位置を割り出して、それを元に地図上の座標で指示された目標位置への移動方向と距離を割り出して自律移動するようにしてもよい。
この際、移動中の各座標点における電波強度を取得し、保存していく。これにより、図5に示すように、移動ロボット1が移動するにつれ、各位置における電波強度マップが作成される。なお、最初の自己位置は遠隔からユーザが教示してもよいし、また、移動ロボット1がカメラ1hにより周囲の状況を観察し、自己位置を割り出すようにしてもよい。
上記のように電波強度マップを作成しておけば、作成した電波強度マップを用いて、移動ロボット1が指示された動作を終了した後に電波強度が弱い位置にいた場合は、最も近い電波強度の強い位置に自動的に移動し、ネットワーク接続を復元することが可能となる。
【0012】
図6は上記のように、電波強度マップを用いて、最も近い電波強度の強い位置に自動的に移動する場合の移動ロボットにおける処理を示すフローチャートである。
遠隔のユーザから指示があった、あるいはあらかじめ指定された時間になったなどのイベントがあると(ステップS1)、移動ロボットはカメラ1hにより周囲画像を取得して(ステップS2)、地図情報との照合を行い自己位置を割り出す(ステップS3)。なお、その際、ユーザがカメラから取得した画像に基づき、移動ロボットの位置を教示するようにしてもよい。
ついで、移動ロボットは、目標位置と自己位置から移動パターンを算出し、移動を開始する(ステップS5)。
そして、移動しながら、一定時間毎に現在までの移動距離と方向を電波状態とともに移動ロボット1の記憶部16に蓄積保存していく(ステップS6)。全ての移動を終了すれば(ステップS7)、前記したように家電機器等の操作を行い(ステップS8)、電波強度が良好であるかを判定する(ステップS9)。電波状況が良好であれば、移動成功となり処理を終了する(ステップS10)。
また、電波状態が良好でない場合には、ステップS9からステップS11に行き、x=11に設定し、自己位置から地図座標上で周囲xの電波強度をチェックする(ステップS12)。そして感度良好の座標があるかを調べ、良好でなければパラメータxを+1して(ステップS16)、ステップS12に戻る。以上のようにパラメータを+1しながら地図座標上で、感度良好な場所を求め、感度が良好な座標があれば、ステップS13からステップS14に行き、地図座標から目標位置を設定し移動を開始する(ステップS14)。そして、移動成功したら、処理を終了する。
なお、上記において、前記実施例と同様、メール等のメッセージを送付し、一旦電波圏外に出たが再び遠隔操作可能なったことを通知したり、携帯電話が接続されたロボットの場合は指定電話番号に電話をかけて復帰したことを通知するようにしてもよい。
以上のようにすることにより、目標地点まで移動して家電操作などの作業をした後、その地点が電波が届かない場所であっても遠隔操作不能状態に陥らずにすむことが可能となる。
【0013】
【発明の効果】
以上説明したように、本発明においては、無線にて遠隔操作を行う移動ロボットにおいて、移動ロボッが電波状態を監視し、移動中に無線の電波が届かなくなったとき、移動ロボットを無線接続の可能な地点に復帰させるようにしたので、無線移動ロボットを常に遠隔操作可能な状態とすることができる。
【図面の簡単な説明】
【図1】本発明の実施例のシステムの概要図である。
【図2】本発明の実施例の移動ロボットの構成例を示す図である。
【図3】本実施例の移動ロボットの機能構成を示すブロック図である。
【図4】本実施例の移動ロボットにおける処理を示すフローチャートである。
【図5】電波強度マップの一例を示す図である。
【図6】最も近い電波強度の強い位置に自動的に移動する場合の移動ロボットにおける処理を示すフローチャートである。
【符号の説明】
1 移動ロボット
2 端末
3 ネットワーク
11 制御部
12 送受信部
13 動作指令部
14 駆動制御部
15 電波状況判定部
16 記憶部
17 動作パターン作成部

Claims (3)

  1. 携帯電話や無線LANなどを用いて無線にて遠隔操作を行う移動ロボットであって、
    移動中に無線の電波が届かなくなったことを検知して、ロボットの移動を停止し、無線接続の可能な地点に復帰する手段と、
    移動しながら、ロボット内に保存した地図や屋内間取図に電波通信の可否情報を保存する手段と、
    通信不可能な地点まで移動して、与えられた指令を実行し、上記保存した内部地図情報を元に最も近い電波通信可能地点まで復帰する手段と、を備えた
    ことを特徴とする移動ロボット。
  2. 無線通信不可能地点に移動した後、無線接続の可能な地点に復帰したとき、無線接続可能な地点に復帰したことを通知する手段を備えた
    ことを特徴とする請求項1の移動ロボット。
  3. 携帯電話や無線LANなどを用いて無線にて遠隔操作を行う移動ロボットの制御プログラムであって、
    上記プログラムは、移動中に無線の電波が届かなくなったとき、ロボットの移動を停止させる処理と、無線接続の可能な地点にロボットを復帰させる処理と、
    移動しながら、ロボット内に保存した地図や屋内間取図に電波通信の可否情報を保存する処理と、
    通信不可能な地点まで移動させて、与えられた指令を実行し、上記保存した内部地図情報を元に最も近い電波通信可能地点まで復帰させる処理と、をコンピュータに実行させることを特徴とする移動ロボットの制御プログラム。
JP2003052161A 2003-02-28 2003-02-28 移動ロボット Expired - Fee Related JP4252333B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003052161A JP4252333B2 (ja) 2003-02-28 2003-02-28 移動ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003052161A JP4252333B2 (ja) 2003-02-28 2003-02-28 移動ロボット

Publications (2)

Publication Number Publication Date
JP2004260769A JP2004260769A (ja) 2004-09-16
JP4252333B2 true JP4252333B2 (ja) 2009-04-08

Family

ID=33117094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003052161A Expired - Fee Related JP4252333B2 (ja) 2003-02-28 2003-02-28 移動ロボット

Country Status (1)

Country Link
JP (1) JP4252333B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519311A (zh) * 2013-10-06 2015-04-15 武汉科技大学 一种网页远程控制室内巡防车

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756614B2 (en) * 2004-02-27 2010-07-13 Hewlett-Packard Development Company, L.P. Mobile device control system
JP2005260641A (ja) * 2004-03-12 2005-09-22 Matsushita Electric Ind Co Ltd 移動型カメラシステムおよびその制御方法
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
JP4856510B2 (ja) * 2006-10-02 2012-01-18 本田技研工業株式会社 移動ロボット
JP4608472B2 (ja) * 2006-10-02 2011-01-12 本田技研工業株式会社 移動ロボット及び移動ロボットの制御装置
JP4658891B2 (ja) * 2006-10-02 2011-03-23 本田技研工業株式会社 ロボットの制御装置
JP4658892B2 (ja) * 2006-10-02 2011-03-23 本田技研工業株式会社 移動ロボット、並びに、移動ロボットの制御装置、移動ロボットの制御方法及び移動ロボットの制御プログラム
US8180486B2 (en) 2006-10-02 2012-05-15 Honda Motor Co., Ltd. Mobile robot and controller for same
JP5595030B2 (ja) * 2009-12-17 2014-09-24 三菱重工業株式会社 移動体制御システム、制御装置、制御方法、プログラム及び記録媒体
KR101237297B1 (ko) * 2012-05-31 2013-03-04 주식회사 하이로시 모바일 기기를 이용한 구동장치 및 그 제어방법
CN103213115A (zh) * 2013-04-15 2013-07-24 李博 手机手柄式状态模拟机器人
CN103268104B (zh) * 2013-05-10 2016-05-04 哈尔滨工程大学 一种远程遥控救援机器人的控制系统
CN103399577B (zh) * 2013-08-02 2015-12-09 哈尔滨工程大学 一种远程操作救援机器人的探测感知系统
JP6239971B2 (ja) * 2013-12-25 2017-11-29 東芝ライフスタイル株式会社 走行体および走行体装置
US9216508B2 (en) 2014-01-14 2015-12-22 Qualcomm Incorporated Connectivity maintenance using a quality of service-based robot path planning algorithm
JP2016019029A (ja) * 2014-07-04 2016-02-01 シャープ株式会社 移動式電波モニター装置
JP6276414B2 (ja) 2014-09-11 2018-02-07 富士フイルム株式会社 撮像制御装置、撮像制御方法、撮像システム及びプログラム
JP6464453B2 (ja) * 2015-03-24 2019-02-06 株式会社Ihiエアロスペース 通信回復装置と方法
JP6680525B2 (ja) * 2015-12-15 2020-04-15 シャープ株式会社 自律走行装置及び走行システム
US10234862B2 (en) 2016-07-15 2019-03-19 Qualcomm Incorporated WWAN radio link quality navigation for a drone
JP6538791B2 (ja) * 2017-09-19 2019-07-03 東芝ライフスタイル株式会社 走行体および走行体装置
JP6538790B2 (ja) * 2017-09-19 2019-07-03 東芝ライフスタイル株式会社 走行体および走行体装置
KR101953145B1 (ko) * 2018-02-26 2019-03-05 주식회사 도구공간 주행 로봇의 제어 방법 및 그 장치
US11173605B2 (en) 2018-02-26 2021-11-16 dogugonggan Co., Ltd. Method of controlling mobile robot, apparatus for supporting the method, and delivery system using mobile robot
US10832437B2 (en) * 2018-09-05 2020-11-10 Rakuten, Inc. Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence
JP2021117854A (ja) * 2020-01-29 2021-08-10 株式会社日立製作所 移動体を制御するシステム
JPWO2022239458A1 (ja) * 2021-05-11 2022-11-17

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519311A (zh) * 2013-10-06 2015-04-15 武汉科技大学 一种网页远程控制室内巡防车

Also Published As

Publication number Publication date
JP2004260769A (ja) 2004-09-16

Similar Documents

Publication Publication Date Title
JP4252333B2 (ja) 移動ロボット
JP2005025516A (ja) 電波状況を自律的にリカバリする移動ロボット
JP4634454B2 (ja) 自動的に通信装置を接続する方法及び装置
KR101645461B1 (ko) 휴대용 단말기에서 근거리 무선 네트워크 자동 연결 방법 및 장치
KR100645379B1 (ko) 로봇 제어 시스템 및 로봇 제어방법
US20050237188A1 (en) Self-propelled cleaner
EP1761019B1 (en) Mobile robot system and method of remote-controlling the same
JP2005118354A (ja) 家屋内清掃システム及びその稼動方法
CN108259277B (zh) 基于智能家居设备的移动终端通讯信息的共享方法及系统
JP4386367B2 (ja) コミュニケーションロボット改良システム
WO2003102706A1 (fr) Robot telecommande et procede d'identification automatique de la position de robot.
JP2011201002A (ja) ロボット装置、ロボット装置の遠隔制御方法及びプログラム
JP2007068066A (ja) リモート雲台システム
JP6804130B2 (ja) 撮影方向ずれ検出方法、装置、デバイス及び記憶媒体
KR20130027347A (ko) 이동 로봇, 및 이동 로봇의 원격 제어 시스템 및 방법
CN111127863B (zh) 设备的控制方法、遥控器及存储介质
JP4082371B2 (ja) 通信代理装置
JP4978027B2 (ja) ロボット遠隔操縦システム
CN105430278A (zh) 一种拍照提示方法和装置、自拍杆及拍照提示系统
KR20070045641A (ko) 우회 통신이 가능한 로봇 감시 시스템 및 그 감시 방법
JP2020098965A (ja) 遠隔監視システム及び監視サーバ
JP4997572B2 (ja) 携帯電話装置の制御装置、携帯電話装置、及び携帯電話装置の制御方法
JP4131675B2 (ja) 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム
KR100623381B1 (ko) 이동통신 단말기의 근거리 통신망 자동 연결방법
US12039485B2 (en) Home delivery system, moving body, and home delivery method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090121

R150 Certificate of patent or registration of utility model

Ref document number: 4252333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140130

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees