JP3655083B2 - ロボットの位置決めを行うインタフェース装置 - Google Patents

ロボットの位置決めを行うインタフェース装置 Download PDF

Info

Publication number
JP3655083B2
JP3655083B2 JP04383798A JP4383798A JP3655083B2 JP 3655083 B2 JP3655083 B2 JP 3655083B2 JP 04383798 A JP04383798 A JP 04383798A JP 4383798 A JP4383798 A JP 4383798A JP 3655083 B2 JP3655083 B2 JP 3655083B2
Authority
JP
Japan
Prior art keywords
robot
contact surface
display screen
designating
sphere
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04383798A
Other languages
English (en)
Other versions
JPH11242513A (ja
Inventor
明 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP04383798A priority Critical patent/JP3655083B2/ja
Priority to US09/252,830 priority patent/US6642922B1/en
Priority to EP99102799A priority patent/EP0938954A3/en
Publication of JPH11242513A publication Critical patent/JPH11242513A/ja
Application granted granted Critical
Publication of JP3655083B2 publication Critical patent/JP3655083B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40131Virtual reality control, programming of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40169Display of actual situation at the remote site
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Description

【0001】
【発明の属する技術分野】
本発明は、ロボットの設計、開発、制御の各段階において必要とされる操作入力に関するインタフェースを提供する装置に関する。
【0002】
【従来の技術】
現在、産業用ロボット、実験/研究用ロボット等、様々な分野で人間の代わりに作業を行うロボットが開発され、実用化されている。これらのロボットの中でも、マニピュレータ(ロボットアーム)を持つアーム型ロボットは、人間と同じような手作業ができるという特徴を持っている。
【0003】
マニピュレータの先端には手先効果器(エンドエフェクタ)が取り付けられており、これが、直接、作業対象物に働きかけて、対象物を把持したり、移動させたりする。代表的なエンドエフェクタとしては、対象物を把持するグリッパ(ロボットハンド)がある。
【0004】
また、ロボットシミュレーションを行うコンピュータシステムは、ロボットのモデル化、シミュレーション演算、演算結果の可視化を主要な機能としており、そのシミュレーション対象は運動学、動力学、制御等を含む。ロボットシミュレーションについての参考書としては、「基礎ロボット工学制御編」(長谷川健介、増田良介共著、昭晃堂)や「ロボティクス」(遠山茂樹著、日刊工業新聞社)等がある。
【0005】
アーム型ロボットの運動学シミュレーションは、順運動学(キネマティクス)シミュレーションと逆運動学(逆キネマティクス)シミュレーションの2通りに大別される。キネマティクスシミュレーションは、マニピュレータの関節角の回転量を入力データとして、エンドエフェクタの位置と姿勢のデータを出力する。これとは逆に、逆キネマティクスシミュレーションは、エンドエフェクタの位置と姿勢を入力データとして、関節角の回転量を出力する。
【0006】
ここで、入出力データとして用いられているエンドエフェクタの位置、姿勢および関節角の回転角は、3次元空間内における連結された座標系としてモデル化され、位置、姿勢、回転角の各パラメータは、連結された座標系の相対的なパラメータとして表現される。これらの入力データによるシミュレーション結果は、一般に、3次元コンピュータグラフィクス(3次元CG)により可視化することで、感覚的に把握される。
【0007】
【発明が解決しようとする課題】
しかしながら、従来のシミュレーション方法には次のような問題がある。
シミュレーションにおいてロボットの位置決めを行う際には、上述したように、関節角の回転量またはエンドエフェクタの位置と姿勢を入力データとして与える必要がある。これらの入力データ自身を決定するために、各座標系における回転角と移動距離を設定する必要があるが、システムの操作者(オペレータ)にとって、3次元空間内の回転と移動を感覚的に把握するのは難しい。
【0008】
そこで、動作の把握を容易にするために、一般的には、エンドエフェクタの位置と姿勢を表す座標系を定義し、その座標系の座標軸に平行な直線、または2つの座標軸を含む平面に平行な平面を設定することが考えられる。そして、その直線または平面上をエンドエフェクタの可動範囲とし、3次元空間における位置決めを1次元または2次元の問題に簡単化する。
【0009】
このような位置決め方法では、あらかじめ設定されたエンドエフェクタの座標系の座標軸に平行な直線、または2つの座標軸を含む平面に平行な平面上での移動は比較的容易に把握できるが、それ以外の位置決めについては、位置と姿勢のすべてのパラメータを3次元的に確定して、入力する必要がある。
【0010】
したがって、この方法では、あらかじめ設定された座標系以外による位置決めは感覚的に把握するのが難しく、利用可能な複数の座標系を前もって設定しておく必要がある。しかし、3次元空間における任意の位置決めを行うためには、座標系の回転を考慮して無数の座標系を設定する必要があり、そのような設定は事実上不可能である。
【0011】
また、シミュレーション結果は3次元CGにより画面上に表現されるが、表示ウィンドウは2次元平面であるため、3次元の位置決めの結果を表すには適当でないという問題もある。
【0012】
本発明の課題は、3次元空間におけるロボットの位置決めを任意に行う際に、ロボットの動作を感覚的に把握することを可能にし、操作効率を向上させるインタフェース装置を提供することである。
【0013】
【課題を解決するための手段】
図1は、本発明のインタフェース装置の原理図である。図1のインタフェース装置は、平面指定手段1と表示手段2を備える。平面指定手段1は、3次元空間内の任意の平面を指定し、表示手段2は、指定された平面におけるロボットの画像をグラフィクス表示する。
【0014】
例えば、平面指定手段1は、オペレータが入力するパラメータの値に応じて、3次元空間内の平面の位置および姿勢を指定する。オペレータがこのパラメータの値を動的に変更することで、平面の位置および姿勢が自由に変化し、任意の平面が設定される。表示手段2は、3次元空間内のロボットを設定された平面から見たときの画像を、3次元CGにより画面上に表示する。
【0015】
平面指定手段1による平面の設定が変化するのにしたがって、表示手段2が表示するCG画像も動的に変化するため、オペレータは、3次元空間内の任意の2次元平面を自由に選択して、表示させることが可能になる。
【0016】
ロボットのエンドエフェクタの位置決めを行う際には、その現在位置と目標位置を含む平面を表示させれば、表示された画面上で容易に目標位置を指定することができる。このとき、エンドエフェクタは表示された平面内を現在位置から目標位置まで移動すると想定されるため、オペレータは、ロボットの動作を視覚的に容易に把握することができる。
【0017】
図1のインタフェース装置は、エンドエフェクタの位置決めを行う場合だけでなく、ロボットの他の特定部分を動作させる場合にも用いることができる。その場合、ロボットの特定部分の現在位置と目標位置を含む平面を表示させることで、ロボットの動作を容易に把握することができる。
【0018】
例えば、図1の平面指定手段1は、後述する図3のCPU(中央処理装置)21、メモリ22、および入力装置23に対応し、図1の表示手段2は、図3のCPU21、メモリ22、および出力装置24に対応する。
また、本発明の別のインタフェース装置は、平面指定手段1、表示手段2、マッピング手段、および位置指定手段を備え、3次元空間におけるロボットの位置決めを行う。平面指定手段1は、3次元空間内の平面の位置および姿勢を表すパラメータを指定し、マッピング手段は、その平面と表示画面とを対応付け、表示手段2は、その平面におけるロボットの画像を表示画面にグラフィクス表示する。位置指定手段は、パラメータの変更に伴って平面の位置および姿勢が変更され、ロボットの特定部分の現在位置と該ロボットの操作対象物上の目標位置を含む平面の画像が表示画面に表示されたとき、その表示画面上でその目標位置を指定し、特定部分の可動範囲を表示画面内に制約する。
【0019】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
本実施形態では、ロボットシミュレーションにおける任意の位置決めを簡単に行うために、次のような条件を設定する。
(1)エンドエフェクタの座標系は固定せず、必要に応じて変更可能であること。
(2)エンドエフェクタの位置決めは任意の2次元平面内で行うこと。
【0020】
これらの条件を満足するために、ロボットが存在する3次元空間内の任意の平面を表示可能とする3次元CGの表示ウィンドウを用い、エンドエフェクタの可動範囲を表示された2次元平面内に制約する。
【0021】
例えば、この2次元平面を指定するために、エンドエフェクタの可動範囲のほぼ中央の1点を中心とした球体を仮想的に設定し、この球体に接する任意の接面を表示ウィンドウの表示平面とする。オペレータは、球面上の接点の位置と球体の半径を変更することで、表示平面を動的に変更し、最終的に、エンドエフェクタの現在位置を含む平面内に表示平面を確定する。
【0022】
このとき、球体の中心をオペレータの注視点とすることにより、画面上の表示平面とエンドエフェクタの制約された可動範囲である2次元平面とがマッピングされる。
【0023】
次に、オペレータは、表示ウィンドウ内に表示された平面上の1点を指定し、エンドエフェクタの位置決めの位置と姿勢を確定する。このとき、指定された点がエンドエフェクタの目標位置となり、球面上の接点の位置と、接点における接面の法線ベクトルの方向により、エンドエフェクタの姿勢が確定する。
【0024】
このように、仮想的な球体の接面を用いることにより、多数のエンドエフェクタの座標系をあらかじめ設定しなくても、必要に応じて、任意の2次元平面を設定することが可能になる。また、この球体の接面を画面上の表示平面にマッピングし、エンドエフェクタの可動範囲を表示平面内に制約することで、その動作を直観的に把握しながら、容易に位置決めを行うことができる。
【0025】
図2は、シミュレーションの対象となるロボットシステムの一例を示す構成図である。図2のシステムは、ロボット11、アクチュエータ12、センサ13、制御装置14、およびインタフェース15を含み、オペレータの操作入力に従って動作する。ロボット11は、ベースプレート16上に搭載されたマニピュレータ17を備えており、マニピュレータ17の先端には、対象物19を把持するためのエンドエフェクタであるハンド18が取り付けられている。
【0026】
アクチュエータ12は、制御装置14からの制御信号に従ってロボット11を駆動し、センサ13は、マニピュレータ17の各関節の位置、速度、トルク等を検出して、それらの値に対応する信号を制御装置14に出力する。制御装置14は、プログラムを実行する処理装置を含み、センサ13からの情報に基づいて、アクチュエータ12への制御信号を生成する。インタフェース15は、オペレータと制御装置14の間の情報交換を仲介する入出力装置である。
【0027】
図2の制御装置14とインタフェース15は、例えば、図3に示すような情報処理装置(コンピュータ)を用いて構成することができる。図3の情報処理装置は、CPU(中央処理装置)21、メモリ22、入力装置23、出力装置24、外部記憶装置25、媒体駆動装置26、およびネットワーク接続装置27を備え、それらはバス28により互いに接続されている。
【0028】
メモリ22は、例えば、ROM(read only memory)、RAM(random access memory)等を含み、ロボットシステムの制御処理に用いられるプログラムとデータを格納する。CPU21は、メモリ22を利用してプログラムを実行することにより、必要な処理を行う。
【0029】
入力装置23は、例えば、キーボード、ポインティングデバイス、タッチパネル、ジョイステイック等であり、オペレータからの指示や情報の入力に用いられる。出力装置24は、例えば、ディスプレイやプリンタ等であり、オペレータへの問い合わせや処理結果等の出力に用いられる。
【0030】
外部記憶装置25は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク(magneto-optical disk)装置等である。この外部記憶装置25に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ22にロードして使用することもできる。また、外部記憶装置25は、データベースとしても用いられる。
【0031】
媒体駆動装置26は、可搬記録媒体29を駆動し、その記録内容にアクセスする。可搬記録媒体29としては、メモリカード、フロッピーディスク、CD−ROM(compact disk read only memory )、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。この可搬記録媒体29に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ22にロードして使用することもできる。
【0032】
ネットワーク接続装置27は、LAN(local area network)等の任意のネットワーク(回線)を介して外部の装置と通信し、通信に伴うデータ変換を行う。また、必要に応じて、上述のプログラムとデータを外部の装置から受け取り、それらをメモリ22にロードして使用することもできる。
【0033】
図4は、図3の情報処理装置にプログラムとデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体29や外部のデータベース30に保存されたプログラムとデータは、メモリ22にロードされる。そして、CPU21は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。
【0034】
図3の情報処理装置は、図2のロボットシステムの操作入力および制御に用いられるだけでなく、前述したロボットシミュレーションにも用いることができる。この場合、CPU21は、入力装置23からの操作入力に従って、運動学シミュレーション等のプログラムを実行し、その結果を出力装置24の画面上に表示する。
【0035】
次に、図2のロボット11の座標系について説明する。ロボット11には、回転可能な5つの関節が備えられており、各関節の回転角(関節角)は変数θ1、θ2、θ3、θ4、θ5で表される。これらの変数で表される座標系を、関節角座標系と呼ぶことにする。マニピュレータ17が伸びきって直立姿勢を取ったとき、各関節角の関係は図5に示すようになり、θ1とθ5の回転軸は一直線上にある。
【0036】
また、ハンド18の位置と姿勢を表すベース座標系は、図6に示すように、αb、Xb、Zb、βb、γbの5つの変数から成る。このうち、回転角αbとγbは、それぞれ、関節角座標系のθ1とθ5に一致する。
【0037】
Xb−Zb平面は、ベースプレート16の表面に垂直であり、その原点は、ベースプレート16の表面とθ1の回転軸の交点に一致する。そして、このXb−Zb平面は、回転角αbとともに回転する。回転角βbは、Xb−Zb平面内で定義され、Zb軸の正の向きに対するγbの回転軸の向きを表す。こうして、変数αb、Xb、Zbによりハンド18の位置が表現され、変数βbとγbによりその姿勢が表現される。
【0038】
次に、ハンド18の可動範囲を制約する平面を設定するために用いられる仮想的な球体の表現方法について説明する。図7に示すように、球体31は、その中心Oの3次元空間における位置と半径とを指定することにより定義される。球体31の表面には、中心Oを注視点とする仮想的なカメラ32が設けられ、このカメラ32は球面上を自由に動き回ることができると仮定する。そして、カメラ32のレンズの軸と球面の交点を接点とする接面を、カメラ32が撮影する画像の表示平面とし、これを3次元CGの表示平面と対応付ける。
【0039】
このとき、カメラ32は、球面上を赤道方向に360度、極軌道方向に360度回転することができる。さらに、半径を0から無限大まで設定可能とすると、カメラ32は、3次元空間内の任意の2次元平面における画像を撮影することができる。
【0040】
カメラ32の位置と姿勢を表現する方法としては、例えば、ロボットの運動を表現するときによく用いられるDenavit-Hartenbergモデル(DHモデル)を利用することができる。DHモデルでは、ロボットを複数のリンクが関節により結合したリンク機構とみなして、各関節毎に3次元座標系を定義し、各座標系の間の相対的な関係を4つのパラメータで表現している(基礎ロボット工学制御編、52−56ページ、長谷川健介、増田良介共著、昭晃堂)。ここでは、これらのパラメータをDHパラメータと呼ぶことにする。
【0041】
カメラ32の任意の位置と姿勢を表現するための仮想的なロボット(任意視点用ロボット)のDHモデルは、互いに長さ0のリンクで順に結ばれた第1、第2、第3、第4、および第5の関節を持ち、それらの関節には、それぞれ、第1、第2、第3、第4、および第5のカメラ座標系(関節座標系)が設定される。第1のカメラ座標系の原点は、例えば、絶対座標系の原点と有限のリンクで結ばれ、球体31の中心Oに固定される。このリンクの長さは、中心Oの位置によって決定される。他のカメラ座標系の原点はすべて、中心Oに縮退している。
【0042】
第1の関節の型は固定型であり、第2、第3、および第4の関節の型は回転型であり、第5の関節の型は並進型である。図8は、第1のカメラ座標系をZ軸の正の向きから原点に向かって見たときの様子を示している。
【0043】
第2の関節は赤道方向に回転し、対応する第2のカメラ座標系は、図9に示すように、第1のカメラ座標系と一致する。したがって、第2のカメラ座標系のDHパラメータは、(0,0,0,0)となる。
【0044】
また、第3の関節は極軌道方向に回転し、対応する第3のカメラ座標系は、図10に示すようになる。第3のカメラ座標系のDHパラメータは、(0,0,−π/2,0)である。第4の関節は、カメラ32の向きを変更するためのダミーとして設けられており、対応する第4のカメラ座標系は、図11に示すようになる。第4のカメラ座標系のDHパラメータは、(0,0,π/2,−π/2)である。
【0045】
また、第5の関節は半径方向にスライドし、対応する第5のカメラ座標系は、図12に示すように、第4のカメラ座標系と一致する。したがって、第5のカメラ座標系のDHパラメータは、(0,0,0,0)である。
【0046】
このようなDHモデルを用いれば、赤道方向および極軌道方向の回転角と半径方向の並進距離を指定することで、カメラ32の位置が確定し、それに基づいてハンド18の可動平面を設定することができる。
【0047】
次に、ハンド18の位置決め処理について説明する。図13は、位置決め処理のフローチャートであり、この処理は、ロボットシステムのシミュレーションまたは実際の操作に用いられる。まず、オペレータは、図14に示すように、ロボット11と操作対象物(円柱)19とを含む3次元空間内の任意の1点を、球体31の中心O(注視点)の位置として指定する(ステップS1)。
【0048】
ここでは、対象物19は台上に置かれており、中心Oの位置は絶対座標系において指定されるものとする。例えば、中心Oの位置を、ハンド18が動くことのできる空間の中心付近に設定しておくと、以降の操作が容易になる。
【0049】
中心Oが指定されると、図15に示すように、その周辺のロボット11や対象物19等が、球体31の接面(初期平面)上に表示される。初期平面を決定するパラメータ(赤道方向の回転量、極軌道方向の回転量、半径方向の長さ)は、初期値としてあらかじめ与えられている。
【0050】
次に、オペレータは、グラフィカルユーザインタフェース(GUI)により、球体31の任意の接面を指定する(ステップS2)。このとき、ディスプレイには、図16のような設定画面が表示され、ボリューム41、42、43をスライドさせることにより、赤道方向の回転量、極軌道方向の回転量、半径方向の長さを指定することができる。また、デフォルト44、45、46を指定すれば、それぞれ、赤道方向の回転量、極軌道方向の回転量、半径方向の長さのデフォルト値が自動的に設定される。各パラメータの設定順序は任意である。
【0051】
次に、情報処理装置は、入力された各パラメータの値を、上述したカメラ32のDHモデルにおける各関節の回転角または並進距離に変換し、それらに基づいてキネマティクス演算を行って、カメラ32の位置を決定する。そして、その位置を接点とする接面における3次元CGを生成し、表示ウィンドウ内に表示する(ステップS3)。
【0052】
オペレータは、表示された画面が、ハンド18の現在位置と目標位置を含んでいるかどうかを確認し、表示画面を確定するかどうかの指示を入力する(ステップS4)。画面を確定しない場合は、ステップS2以降の処理が繰り返される。
【0053】
図17は、図15の画面に対して半径方向の長さを変更し、ハンド18と対象物19の周辺を拡大表示した画面を示している。ここで、オペレータは、台上の対象物19をハンド18で掴むために、カメラ32を極軌道方向に回転させる。そして、図18に示すように、ハンド18の現在位置P1と対象物19の真上の目標位置P2が同一平面内になるように、表示画面を変更した後、画面を確定する。これにより、ハンド18の動作可能領域が表示平面内に規定される。
【0054】
画面が確定すると、情報処理装置は、確定した画面の3次元CG空間と絶対座標系空間のマッピングを行い(ステップS5)、オペレータは、マウス等のポインティングデバイスを用いて、表示ウィンドウ内でハンド18の目標位置と目標姿勢を指定する(ステップS6、S7)。
【0055】
このとき、例えば、マウスの左ボタン入力により、表示画面上の2次元座標値を目標位置として指定し、マウスの右ボタン入力により目標姿勢を指定する。あるいは、オペレータが目標姿勢を指定せずに、情報処理装置がそれを自動的に決定することもできる。この場合、例えば、表示された2次元平面の法線ベクトルの方向(画面に垂直な方向)を向くように、ハンド18の姿勢が決定される。
【0056】
次に、情報処理装置は、指定された目標位置および姿勢について、絶対座標系からベース座標系への座標変換を行い(ステップS8)、さらに、逆キネマティクス演算を行って、目標位置および姿勢をベース座標系から関節角座標系へ変換する(ステップS9)。
【0057】
そして、得られた各関節角の回転角に基づいてキネマティクス演算を行い、ハンド18の目標位置における画像を3次元表示する(ステップS10)。図18の目標位置P2が指定された場合は、例えば、図19のような画像が表示される。オペレータは、表示された目標位置および姿勢でよいかどうかを確認し、それを確定するかどうかの指示を入力する(ステップS11)。目標位置および姿勢を確定しない場合は、ステップS6以降の処理が繰り返される。
【0058】
目標位置および姿勢が確定すると、情報処理装置は、ロボット11の現在位置および姿勢から目標位置および姿勢に至るまでの経路を生成し(ステップS12)、処理を終了する。ロボットシミュレーションの場合は、生成された経路にしたがってハンド18が移動する画像が表示され、図2のロボット11を実際に操作する場合は、生成された経路に対応する制御信号がアクチュエータ12に出力される。図19の場合は、目標位置P2において、ハンド18が対象物19を掴んだものとみなされる。
【0059】
このような位置決め処理によれば、オペレータは、簡単な操作で3次元空間内の任意の平面における画像を得ることができ、ロボット11や対象物19等を様々な角度から視覚的に認識することができる。また、表示平面を3次元的に動かすことで、ロボット11の特定部分と対象物19とを含むような平面を容易に表示させることができる。このような平面内で、対象物19の位置をロボット11の目標位置として指定することは簡単であり、現在位置から目標位置に向かうロボット11の運動も直観的に把握することができる。
【0060】
目標位置および姿勢を変更しながらこのような処理を繰り返すことにより、ロボット11に複合的な運動を行わせることもできる。例えば、図19において、対象物19をハンド18で掴んだまま、位置P2から台上の他の位置へ移動する操作を行う場合を考える。
【0061】
この場合、オペレータは、画面の奥行方向の平面(台の上面)を確認するために、ステップS2において、接面を極軌道方向に90度回転させる。そして、図20に示すように、ハンド18の現在位置P2と目標位置P3が同一平面上に乗るように、画面を変更する。これにより、現在位置P2と目標位置P3を含む平面の画像が表示される。この画面内で、目標位置P3およびその位置におけるハンド18の姿勢を指定すれば、新たな経路が生成される。
【0062】
次に、図13の位置決め処理において用いられる座標変換について説明する。まず、絶対座標系(Xa,Ya,Za,βa,γa)は、例えば、次のように定義される。
原点:ベース座標系の原点と同じ。
【0063】
Xa軸:ベース座標系においてαb=0のときのXb軸
Za軸:ベース座標系においてαb=0のときのZb軸
Ya軸:Xa軸の方向ベクトルとZa軸の方向ベクトルの外積の方向
βa:ベース座標系の回転角βbと同じ。
【0064】
γa:ベース座標系の回転角γbと同じ。
このとき、絶対座標系の変数(Xa,Ya,Za,βa,γa)は、次式によりベース座標系の変数(αb,Xb,Zb,βb,γb)に変換される。
【0065】
【数1】
Figure 0003655083
【0066】
(1)式は、例えば、ステップS2において指定された接面をベース座標系に変換する際に用いられる。また、ステップS6、S7において指定されたハンド18の目標位置および姿勢を、ステップS8においてベース座標系に変換する際にも用いられる。
【0067】
また、ベース座標系の変数(αb,Xb,Zb,βb,γb)は、次式により絶対座標系の変数(Xa,Ya,Za,βa,γa)に変換される。
【0068】
【数2】
Figure 0003655083
【0069】
また、ロボット11のDHモデルを図21に示すように定義すると、各リンクの長さは、L1、L2、L3、L4、L5と表される。このとき、関節角座標系の変数(θ1,θ2,θ3,θ4,θ5)は、次式のようなキネマティクス演算により、ベース座標系の変数(αb,Xb,Zb,βb,γb)に変換される。
【0070】
Figure 0003655083
(3)式は、例えば、ステップS3、S10において3次元CG画像を生成する際に用いられる。
【0071】
また、ベース座標系の変数(αb,Xb,Zb,βb,γb)は、次式のような逆キネマティクス演算により、関節角座標系の変数(θ1,θ2,θ3,θ4,θ5)に変換される。
Figure 0003655083
ここで、変数Px、Pzは、図21の点Pの位置に対応して、次のように定義され、
Px=Xb−(L4+L5)sin(βb)
Pz=Zb−(L4+L5)cos(βb)−L1 (5)
距離Rは、Px、Pzを用いて、次のように定義される。
2 =Px2 +Pz2 (6)
(4)式は、例えば、ステップS9において、ベース座標系で表されたハンド18の目標位置および姿勢を、関節角座標系に変換する際に用いられる。
【0072】
次に、図22は、図13のステップS12において行われる経路生成処理のフローチャートである。この処理では、ハンド18の現在位置および姿勢から目標位置および姿勢に至るまでの動作を、ロボット11に行わせるためのコマンド列(制御装置14の制御信号の入力データ)が生成され、図3のメモリ22に設けられたコマンド蓄積ファイルに格納される。
【0073】
簡単な動作の場合は、現在位置および姿勢から目標位置および姿勢までを1つの経路としてコマンド列が生成され、複雑な動作の場合は、例えば、現在位置および姿勢から目標位置および姿勢までをいくつかの経路に分けてコマンド列が生成される。
【0074】
情報処理装置は、まず、与えられた経路の始点から終点までの移動量を計算し(ステップS21)、あらかじめ決められた1コマンドあたりの移動量を元に、経路の分割数を整数値で算出する(ステップS22)。次に、分割数に基づいて各分割点を算出し(ステップS23)、それらをコマンド蓄積ファイルに書き込んで(ステップS24)、処理を終了する。
【0075】
与えられた経路がθ1またはθ5方向の回転に対応する場合は、情報処理装置は、ステップS21において、関節角座標系における回転角を計算し、ステップS23において、関節角座標系における分割点を算出する。そして、ステップS24において、各分割点をコマンドに変換して、コマンド蓄積ファイルに書き込む。
【0076】
また、与えられた経路がθ1またはθ5方向の回転以外の運動に対応する場合は、情報処理装置は、ステップS21において、絶対座標系における移動距離を計算し、ステップS23において、絶対座標系における分割点を算出する。次に、ステップS24において、各分割点を(1)式を用いてベース座標系に変換し、さらに、(4)式を用いて関節角座標系に変換する。そして、関節角座標系における各分割点をコマンドに変換して、コマンド蓄積ファイルに書き込む。
【0077】
ロボットシミュレーションの場合は、コマンド蓄積ファイルに格納されたコマンド列にしたがってキネマティクス演算を行うことで、ハンド18が移動する画像が表示される。また、図2のロボット11を操作する場合は、コマンド列に対応する制御信号をアクチュエータ12に出力することで、ハンド18が実際に移動する。
【0078】
マニピュレータを有するロボットのキネマティクス演算、逆キネマティクス演算、経路生成の詳細については、例えば、上述の「基礎ロボット工学制御編」(長谷川健介、増田良介共著、昭晃堂)の58−78ページに紹介されている。
【0079】
ところで、以上説明した実施形態においては、図2、5、6、21等に示したように、ロボットの動作に特定の制約を設けて、位置と姿勢を5自由度(5個のパラメータ)で表現している。しかし、一般のロボットでは、位置と姿勢が6自由度で表現される。本発明のインタフェースは、自由度に関係なく、任意のロボットに適用可能である。
【0080】
また、実施形態においては、3次元空間における任意の2次元平面を指定するために仮想的な球体を用いているが、2次元平面の設定方法は必ずしもこれに限られない。例えば、図23に示すように、表示平面に対応付けられた2次元平面51を3次元空間内で定義しておく。そして、それを有限の長さのリンク52で構成された仮想的なロボットのエンドエフェクタの代わりに用いて、平面51を任意の位置および姿勢に設定することもできる。
【0081】
また、実施形態においては、エンドエフェクタを位置決めの対象としているが、ロボットの他の部分をその対象とすることも可能である。例えば、特定の関節やリンクを目標位置および姿勢に設定する操作を行うこともでき、脚、車輪、ロケットエンジン、プロペラ等により3次元空間内を移動できるロボットの場合、ロボットのボディー自身を目標位置に移動させる操作を行うこともできる。
【0082】
さらに、本発明のインタフェースは、地上で作業するロボットのみならず、地下、海中、空中、宇宙空間等、あらゆる場所で作業を行う任意のロボットに対して適用可能である。例えば、人工衛星に搭載されたロボットハンドシステムの遠隔操作の際に用いれば、ロボットハンドの位置決めの自由度が増大し、あらかじめ規定された座標系による設定以外に、任意の位置の位置決めを容易に行えるようになる。
【0083】
【発明の効果】
本発明によれば、3次元空間におけるロボットの位置決めを行う際に、オペレータは、現在位置から目標位置までのロボットの動作を感覚的に把握することが可能になり、操作効率が向上する。これにより、3次元空間内の任意の位置にロボットを移動させる操作が容易に実現される。
【図面の簡単な説明】
【図1】本発明のインタフェース装置の原理図である。
【図2】ロボットシステムの構成図である。
【図3】情報処理装置の構成図である。
【図4】記録媒体を示す図である。
【図5】関節角座標系を示す図である。
【図6】ベース座標系を示す図である。
【図7】球体を示す図である。
【図8】第1のカメラ座標系を示す図である。
【図9】第2のカメラ座標系を示す図である。
【図10】第3のカメラ座標系を示す図である。
【図11】第4のカメラ座標系を示す図である。
【図12】第5のカメラ座標系を示す図である。
【図13】位置決め処理のフローチャートである。
【図14】第1の操作画面を示す図である。
【図15】第2の操作画面を示す図である。
【図16】設定画面を示す図である。
【図17】第3の操作画面を示す図である。
【図18】第4の操作画面を示す図である。
【図19】第5の操作画面を示す図である。
【図20】第6の操作画面を示す図である。
【図21】ロボットのリンクを示す図である。
【図22】経路生成のフローチャートである。
【図23】仮想的なロボットを示す図である。
【符号の説明】
1 平面指定手段
2 表示手段
11 ロボット
12 アクチュエータ
13 センサ
14 制御装置
15 インタフェース
16 ベースプレート
17 マニピュレータ
18 ハンド
19 対象物
21 CPU
22 メモリ
23 入力装置
24 出力装置
25 外部記憶装置
26 媒体駆動装置
27 ネットワーク接続装置
28 バス
29 可搬記録媒体
30 データベース
31 球体
32 カメラ
41、42、43 ボリューム
44、45、46 デフォルトボタン
51 2次元平面
52 リンク

Claims (8)

  1. 3次元空間におけるロボットの位置決めを行うインタフェース装置であって、
    前記3次元空間内の仮想的な球体の表面上の接点位置と該球体の半径を表すパラメータを指定することにより、該接点位置で該球体に接する接面を指定する平面指定手段と、
    前記接面と表示画面とを対応付けるマッピング手段と、
    前記接面における前記ロボットの画像を前記表示画面にグラフィクス表示する表示手段と、
    前記パラメータの変更に伴って前記3次元空間における前記接面の位置および姿勢が変更され、前記ロボットの特定部分の現在位置と該ロボットの操作対象物上の目標位置を含む接面の画像が前記表示画面に表示されたとき、該表示画面上で該目標位置を指定し、該特定部分の可動範囲を該表示画面内に制約する位置指定手段と
    を備えることを特徴とするインタフェース装置。
  2. 前記表示手段は、前記パラメータとして前記球体の赤道方向の回転量、極軌道方向の回転量、および半径方向の長さを設定するための設定画面を表示し、前記平面指定手段は、該設定画面上で指定されたパラメータの値を用いて前記接面を決定することを特徴とする請求項記載のインタフェース装置。
  3. 前記表示手段は、前記目標位置が指定されたとき、該目標位置における前記ロボットの特定部分の画像をグラフィクス表示することを特徴とする請求項1または2記載のインタフェース装置。
  4. 前記表示画面上で前記ロボットの特定部分の目標姿勢を指定する姿勢指定手段をさらに備えることを特徴とする請求項記載のインタフェース装置。
  5. 3次元空間におけるロボットの位置決めを行うコンピュータのためのプログラムを記録した記録媒体であって、
    前記3次元空間内の仮想的な球体の表面上の接点位置と該球体の半径を表すパラメータを指定することにより、該接点位置で該球体に接する接面を指定する機能と、
    前記接面と表示画面とを対応付ける機能と、
    前記接面における前記ロボットの画像を前記表示画面にグラフィクス表示する機能と、
    前記パラメータの変更に伴って前記3次元空間における前記接面の位置および姿勢が変更され、前記ロボットの特定部分の現在位置と該ロボットの操作対象物上の目標位置を含む接面の画像が前記表示画面に表示されたとき、該表示画面上で該目標位置を指定し、該特定部分の可動範囲を該表示画面内に制約する機能と
    を前記コンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  6. 前記プログラムは、前記パラメータとして前記球体の赤道方向の回転量、極軌道方向の回転量、および半径方向の長さを設定するための設定画面を表示する機能を前記コンピュータにさらに実現させ、該コンピュータは、該設定画面上で指定されたパラメータの値を用いて前記接面を決定することを特徴とする請求項記載の記録媒体。
  7. 前記プログラムは、前記目標位置が指定されたとき、該目標位置における前記ロボットの特定部分の画像をグラフィクス表示する機能を前記コンピュータにさらに実現させることを特徴とする請求項5または6記載の記録媒体。
  8. 前記プログラムは、前記表示画面上で前記ロボットの特定部分の目標姿勢を指定する機能を前記コンピュータにさらに実現させることを特徴とする請求項記載の記録媒体。
JP04383798A 1998-02-25 1998-02-25 ロボットの位置決めを行うインタフェース装置 Expired - Fee Related JP3655083B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP04383798A JP3655083B2 (ja) 1998-02-25 1998-02-25 ロボットの位置決めを行うインタフェース装置
US09/252,830 US6642922B1 (en) 1998-02-25 1999-02-19 Interface apparatus for dynamic positioning and orientation of a robot through real-time parameter modifications
EP99102799A EP0938954A3 (en) 1998-02-25 1999-02-25 Interface apparatus for positioning robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04383798A JP3655083B2 (ja) 1998-02-25 1998-02-25 ロボットの位置決めを行うインタフェース装置

Publications (2)

Publication Number Publication Date
JPH11242513A JPH11242513A (ja) 1999-09-07
JP3655083B2 true JP3655083B2 (ja) 2005-06-02

Family

ID=12674869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04383798A Expired - Fee Related JP3655083B2 (ja) 1998-02-25 1998-02-25 ロボットの位置決めを行うインタフェース装置

Country Status (3)

Country Link
US (1) US6642922B1 (ja)
EP (1) EP0938954A3 (ja)
JP (1) JP3655083B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109048916A (zh) * 2018-09-12 2018-12-21 遂昌睿丰科技有限公司 基于多维传感器实时数据反馈融合的便捷式工业机器人

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3537362B2 (ja) * 1999-10-12 2004-06-14 ファナック株式会社 ロボットシステム用グラフィック表示装置
ITPI20010007A1 (it) * 2001-02-07 2002-08-07 Giovanni Pioggia Metodo per il controllo di un sistema meccanico articolato e/0 deformabile e sue applicazioni
JP3673725B2 (ja) * 2001-04-05 2005-07-20 ファナック株式会社 ロボット用情報処理システム
US7802193B1 (en) 2001-12-19 2010-09-21 Sandia Corporation Controlling motion using a human machine interface
JP3797986B2 (ja) * 2003-07-03 2006-07-19 ファナック株式会社 ロボットオフラインシミュレーション装置
FR2872728B1 (fr) * 2004-07-06 2006-09-15 Commissariat Energie Atomique Procede de saisie d'un objet par un bras de robot muni d'une camera
JP2007244569A (ja) * 2006-03-15 2007-09-27 Shimadzu Corp 天井走行懸垂型のx線撮影装置
JP2007286976A (ja) * 2006-04-18 2007-11-01 Fanuc Ltd ロボットシミュレーション装置
JP2008021092A (ja) * 2006-07-12 2008-01-31 Fanuc Ltd ロボットシステムのシミュレーション装置
US10217282B2 (en) * 2007-11-02 2019-02-26 Koninklijke Philips N.V. Automatic movie fly-path calculation
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置
JP4508252B2 (ja) 2008-03-12 2010-07-21 株式会社デンソーウェーブ ロボット教示装置
JP5201341B2 (ja) * 2008-09-09 2013-06-05 富士電機株式会社 遠隔操作支援装置
JP5338408B2 (ja) * 2009-03-19 2013-11-13 株式会社デンソーウェーブ ロボットシミュレータ
GB2477347A (en) * 2010-02-01 2011-08-03 Cambridge Entpr Ltd A Hand Operated Controller
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5547626B2 (ja) * 2010-12-28 2014-07-16 川崎重工業株式会社 7軸多関節ロボットの制御装置および教示方法
CN104321167B (zh) 2012-06-26 2016-09-14 Abb技术有限公司 调节动态机器人模型的参数
CN103085071A (zh) * 2013-02-04 2013-05-08 惠州市东扬科技有限公司 一种可视化机器人程序编译方法
JP6005299B2 (ja) * 2013-11-28 2016-10-12 三菱電機株式会社 ロボットシステムおよびロボットシステムの制御方法
JP5850958B2 (ja) * 2014-01-24 2016-02-03 ファナック株式会社 ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置
JP6486679B2 (ja) * 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
JP6529758B2 (ja) * 2014-12-25 2019-06-12 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
US9478064B2 (en) * 2015-01-29 2016-10-25 Harris Corporation Automatic control of avatar perspective view in a graphical user interface
CN105486465A (zh) * 2015-11-19 2016-04-13 中国商用飞机有限责任公司 自动检测工装及其检测方法
CN108139730B (zh) 2015-12-11 2020-04-28 Abb瑞士股份有限公司 机器人离线编程方法以及使用其的装置
JP6392817B2 (ja) * 2016-08-04 2018-09-19 ファナック株式会社 シミュレーション装置
JP6889574B2 (ja) * 2017-03-03 2021-06-18 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP7272825B2 (ja) * 2019-03-06 2023-05-12 ファナック株式会社 ロボットシステム
CN113386112A (zh) * 2021-07-29 2021-09-14 厦门凤凰创壹软件有限公司 一种可控制多种品牌三维虚拟工业机器人的示教器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3892051A (en) * 1973-10-31 1975-07-01 Gen Electric Simulated collimation of computer generated images
US4734690A (en) * 1984-07-20 1988-03-29 Tektronix, Inc. Method and apparatus for spherical panning
JPH0772844B2 (ja) * 1985-10-23 1995-08-02 株式会社日立製作所 ロボット教示装置
US4987527A (en) * 1987-10-26 1991-01-22 Hitachi, Ltd. Perspective display device for displaying and manipulating 2-D or 3-D cursor, 3-D object and associated mark position
US5046022A (en) * 1988-03-10 1991-09-03 The Regents Of The University Of Michigan Tele-autonomous system and method employing time/position synchrony/desynchrony
US5253189A (en) * 1989-06-13 1993-10-12 Schlumberger Technologies, Inc. Qualitative kinematics
JPH0699375A (ja) * 1992-09-18 1994-04-12 Kawasaki Heavy Ind Ltd ロボット操作訓練装置
US5581666A (en) * 1993-08-04 1996-12-03 Anderson; Robert J. Modular architecture for robotics and teleoperation
JP3486461B2 (ja) * 1994-06-24 2004-01-13 キヤノン株式会社 画像処理装置及び方法
US5495410A (en) * 1994-08-12 1996-02-27 Minnesota Mining And Manufacturing Company Lead-through robot programming system
US5771310A (en) * 1996-12-30 1998-06-23 Shriners Hospitals For Children Method and apparatus for recording three-dimensional topographies
CA2213884C (en) * 1996-08-21 2001-05-22 Nippon Telegraph And Telephone Corporation Method for generating animations of a multi-articulated structure, recording medium having recorded thereon the same and animation generating apparatus using the same
JPH1177569A (ja) * 1997-09-10 1999-03-23 Honda Motor Co Ltd オフラインティーチング装置
US6556206B1 (en) * 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109048916A (zh) * 2018-09-12 2018-12-21 遂昌睿丰科技有限公司 基于多维传感器实时数据反馈融合的便捷式工业机器人

Also Published As

Publication number Publication date
US6642922B1 (en) 2003-11-04
EP0938954A3 (en) 2004-04-21
JPH11242513A (ja) 1999-09-07
EP0938954A2 (en) 1999-09-01

Similar Documents

Publication Publication Date Title
JP3655083B2 (ja) ロボットの位置決めを行うインタフェース装置
Birglen et al. SHaDe, a new 3-DOF haptic device
Jones et al. Kinematics for multisection continuum robots
Kucuk et al. An off‐line robot simulation toolbox
US9731419B2 (en) System and method for programming robots
US6281651B1 (en) Haptic pointing devices
Zha Optimal pose trajectory planning for robot manipulators
US8560122B2 (en) Teaching and playback method based on control of redundancy resolution for robot and computer-readable medium controlling the same
JP2014018912A (ja) ロボット制御装置、ロボット制御方法およびロボット制御プログラムならびにロボットシステム
Emmanouil et al. Spherical trigonometry constrained kinematics for a dexterous robotic hand with an articulated palm
JPS6179589A (ja) ロボツト運転装置
KR101787865B1 (ko) 다관절 링크 기구의 역운동학 해법, 및 이 역운동학 해법을 이용한 교시 데이터 작성 장치
Lambert et al. A novel 5 DOF fully parallel robot combining 3T1R motion and grasping
JP4230196B2 (ja) 位置決め演算方法および位置決め演算装置
Jazar Forward Kinematics
Sabater et al. Magister-P; a 6-URS parallel haptic device with open control architecture
JPH08155647A (ja) 溶接ロボットのウィービング制御装置
Bejczy Virtual reality in manufacturing
JP2676721B2 (ja) 多関節型ロボットの制御装置
Chen et al. Reflect on fundamental, modeling and control of industrial robotic manipulators for simulation purposes
Benitez et al. A 3D simulation environment for kinematic task of the PUMA 560 robot
CN108107765A (zh) 一种异构主从系统的运动映射方法及系统
Dong et al. Modeling and Kinematics Study of Hand.
Zhang et al. An Ergonomic Interaction Workspace Analysis Method for the Optimal Design of a Surgical Master Manipulator
IKWUNZE et al. Simulation of a Robot Arm that Mimics the Angular Movement and Control of an Authentic Human Arm

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050121

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050302

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080311

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140311

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees