JP3819636B2 - パッシブ型力覚提示装置 - Google Patents

パッシブ型力覚提示装置 Download PDF

Info

Publication number
JP3819636B2
JP3819636B2 JP13395199A JP13395199A JP3819636B2 JP 3819636 B2 JP3819636 B2 JP 3819636B2 JP 13395199 A JP13395199 A JP 13395199A JP 13395199 A JP13395199 A JP 13395199A JP 3819636 B2 JP3819636 B2 JP 3819636B2
Authority
JP
Japan
Prior art keywords
force
passive
operation unit
unit
sense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13395199A
Other languages
English (en)
Other versions
JP2000322131A5 (ja
JP2000322131A (ja
Inventor
純次 古荘
正道 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP13395199A priority Critical patent/JP3819636B2/ja
Publication of JP2000322131A publication Critical patent/JP2000322131A/ja
Publication of JP2000322131A5 publication Critical patent/JP2000322131A5/ja
Application granted granted Critical
Publication of JP3819636B2 publication Critical patent/JP3819636B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Mechanical Control Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、バーチャル・リアリティ・システムをはじめ、遠隔操作システムやロボット教示などの工学的分野、またリハビリテーションや運動機能回復訓練など医療、運動生理学、福祉分野において使用され、人間に対し力感覚を提示するヒューマン・インターフェースとしての力覚提示装置に関する。
【0002】
【従来の技術】
これまで、サーボモータなどアクティブなアクチュエータを力発生部に用いた力覚提示装置は、提示できる自由度の数およびアクチュエータの数にかかわらず多数開発されている。例えば、米国センサブル・テクノロジー社(SensAble Technologies Inc.)製のファントム(PHANToM)(米国特許US5、587、937)は、パンタグラフ機構を用いた力覚提示装置で、3台のサーボモータを用いて3自由度の力覚提示を実現している。
【0003】
また、日商エレクトロニクス社製のハプティック・マスター(Haptic Master)は、パンタグラフ機構を3つ組み合わせており、9台のDCモータを用いて6自由度の力覚を提示する冗長駆動システムである。この他、商用および研究用を含め、アクティブなアクチュエータを用いた力覚提示装置は数多く開発されている。
【0004】
次に、パッシブ型力発生部を用いた力覚提示については、斉藤らのパウダクラッチを用いた力覚提示装置(パッシブな力覚提示手法―パウダークラッチを用いた力覚提示装置―、日本機械学会ロボティクス・メカトロニクス講演会'98講演論文集CD-ROM、2AII1-6)が開示されている。この装置は、1台のパウダ・クラッチを用いて1自由度の力覚を提示している。
【0005】
また、佐藤らの開発した空間インターフェース装置スパイダー(SPIDAR)(空間インターフェース装置SPIDARの提案、電子情報通信学会論文誌、Vol. J74-D-II, No.7, pp.887-894)は、4本の糸と4台のリレー・コイルを用いて3自由度の力覚を提示する装置で、3自由度の力感覚を提示するために4つの力発生部を用いている。しかし、これはワイヤー張力を利用した装置特有のもので、この場合、3次元の力覚提示を実現するために最小限必要な力発生部の数が4台であり、力発生部の数は冗長とはなっていない。
【0006】
この他、池井らの触覚ディスプレイ(形状計測データに基づく触覚テクスチャの提示手法に関する研究、日本バーチャルリアリティ学会第3回大会論文集、pp.255-228)や、触覚入出力装置(特開平05-216568)などが開示されているが、これらの装置は指先など皮膚の面に対し触覚を提示する装置であり、本発明の力覚提示装置のように、操作部を介して力感覚を提示するものとは異なる。
【0007】
【発明が解決しようとする課題】
力覚提示装置の力発生部にアクティブなアクチュエータを用いた場合、故障や暴走など不慮の事故により操作する人間に危険が及ぶ可能性がある。また、特別に機構的、電気的、あるいはソフトウェア的に対策を施すことで安全性を高めることは可能であるが、装置やシステムが複雑化する上、完全に危険性を排除することは難しい。
【0008】
これに対し、パッシブ型力発生部を用いた力覚提示装置は、操作者の加えた力に対する抗力のみを提示するため、誤って装置が操作者に危害を加える可能性は全くない。しかし、パッシブ型力発生部の発生できる力には制限があるため、ある自由度の力覚を実現するために必要最小限の数の力発生部しか用いていない場合、提示できる力感覚に制限が生じる。
【0009】
本発明は、このような課題を解決するためになされた発明であって、その目的は、安全で、構造が複雑にならず、ある自由度の力覚の提示を実現するために必要最小限の数の力発生部を用いた場合では提示できない力感覚を提示可能な力覚提示装置を提供することである。
【0010】
【課題を解決するための手段】
上記目的を達成するために、本発明の力覚提示装置においては、力発生部にパッシブ型力発生部を用い、用いるパッシブ型力発生部の数は、ある自由度の力覚を提示するために最小限必要な数より多く、冗長な数を用いることを特徴とするものである。
具体的には、人間に対し、力感覚を提示する力覚提示装置であって、人間が操作する操作部と、人間が前記操作部に加えた力および/または前記操作部の位置を検出する検出部と、操作部の自由度の力覚を実現するために必須な数より多く設けられ、前記操作部に対する力に対して抗力をかけることができる機能性流体を用いたパッシブ型力発生部と、前記検出部からの前記力および/または前記位置の情報を入力して、前記パッシブ型力発生部を制御する制御部とを備えることを特徴とする。
前記機能性流体として、ER流体やMR流体等を用いることができる。
前記操作部およびパッシブ型力発生部は、パンタグラフ機構、スライダ機構、リンク機構等を用いて可動することができる。
【0011】
上記のように構成された力覚提示装置を用いると、ある自由度の力覚を提示するために最小限必要な数よりも多く冗長な数のパッシブ型力発生部を具備するため、最小限必要な数しか用いていない場合には提示できない精密な力感覚を提示できる。
また、上記力覚提示装置に用いるパッシブ型力発生部は、操作者が操作部に加える操作力に抗する反力のみを発生するため、故障や暴走など不慮の事故により力覚提示装置が操作者に危害をおよぼす可能性はなく、安全な力覚提示装置が提供される。
【0012】
さらに、上記力覚提示装置は安全なため、特別に機構的、電気的、またはソフトウェア的に安全対策を施す必要がなく、力覚提示装置の構造が複雑になることはない。
【0013】
【発明の実施の形態】
本発明の実施の形態を、実施例に基づき図面を参照して説明する。
図1は、本発明の構成を示したブロック図である。力覚提示装置1に取り付けられた操作部2を操作することで、操作者に対し力感覚が提示される。力覚提示装置1が操作部2で提示可能な力覚の自由度の数をmとすると、ある機構を用いてm自由度の力覚を実現するために必要な最小限の力発生部の数はn台(n≧m)であるが、本発明の力覚提示装置1は、nより多くの数であるパッシブ型力発生部4を有する。
力発生部4は、制御装置3により制御される。この時、制御装置3は必要に応じて位置検出器5、または力検出器6により得られる情報を利用する。
【0014】
〔実施例1〕
図2は、直動スライダ機構を用いた直交3自由度型力覚提示装置の実施例を示す。操作部11は力検出器(図示せず)を含み、スライダ13に取り付けられる。スライダ13は、スライダ14と連動してx軸方向に、スライダ15と連動してy軸方向に、スライダ16と連動してz軸方向の3方向に移動できる。
【0015】
図3は、図2に示した力覚提示装置における力発生部の配置を示す。3自由度の力覚を提示するために、パッシブ型力発生部を9台用いる。図3(a)に3台分の配置を、図3(b)に6台分の配置を分けて示している。
図3(a)中の力発生部21および23はスライダ15に、力発生部22は本体17に取り付けられる。力発生部21,22および23は、ワイヤーおよびプーリを用いてそれぞれスライダ14,15および16と連結される。力発生部21、22または23のいずれかが力を発生すると、それぞれ連結されたスライダの運動が拘束され、操作部11はxy平面、yz平面、またはzx平面のいずれかに拘束される。つまり、力発生部21、22または23に力を発生させることで、x軸、y軸またはz軸方向の力感覚が操作部11に提示される。力発生部21、22および23には、位置検出器(図示せず)が含まれ、操作部11の位置を計測する。
【0016】
図3(b)中の力発生部24および25はスライダ14に、力発生部26および27はスライダ16に、力発生部28および29はスライダ13に取り付けられる。また、力発生部24,25,26,27,28,および29は、それぞれ両端を本体17に固定されたワイヤーとプーリを介して接続される。力発生部24または25が力を発生すると、スライダ14の運動が拘束され、操作部11の運動はxy平面に垂直な、x軸またはy軸から45度をなす平面内に拘束される。力発生部26または27が力を発生すると、スライダ16の運動が拘束され、操作部11の運動はyz平面に垂直な、y軸またはz軸から45度をなす平面内に拘束される。また、力発生部28または29が力を発生すると、スライダ13の運動が拘束され、操作部11の運動はzx平面に垂直な、z軸まはたx軸から45度をなす平面内に拘束される。つまり、力発生部24,25,26,27,28,または29のいずれかに力を発生させることで、6方向の力覚が操作部11に提示される。
【0017】
このように、位置検出器(図示せず)や力検出器(図示せず)の情報を利用し、制御装置(図示せず)により力発生部21,22,23,24,25,26,27,28および29を適切に制御することで、x方向、y方向、z方向以外の抗力を簡単に発生することができ、操作部11を介して操作者に適切な力覚を提示することができる。これは、3自由度の力覚を実現できる最小限である3個以上の6個のパッシブ型力発生器を用いているからである。
【0018】
〔実施例2〕
上述の例は、3自由度の例であるが、同様のスライダ機構を用いた2自由度の例を図4に示す。図4(a)において、平面を構成している本体34に操作部31をスライダ32および33を用いて取り付けている。操作部31は、スライダ32および33により、本体34が構成するxy平面上を動かすことができる。また、操作部31には力検出器、パッシブ力発生部35,36には、位置検出器が取り付けられている。
さて、パッシブ型力発生部35は、対応するプーリとの間のワイヤで操作部31のx方向の抗力を制御し、パッシブ型力発生部36は対応するプーリとの間のワイヤでy方向の抗力を制御する。また、パッシブ型力発生部38および37は同様に、それぞれ本体34で止められたワイヤでそれぞれ斜め方向の抗力を制御する。
したがって、4個のパッシブ型力発生部を用いることにより、図4(b)に示すような4方向の抗力を簡単に得ることができる。これらの4方向の抗力を制御することにより、適切な力覚を操作者に与えることができる。これは、2自由度の力覚を実現するに最小限必要な2個以上である4個のパッシブ型力発生部を用いているからである。
【0019】
〔実施例3〕
図5は、2自由度を有するパンダグラフ型機構において、3台のパッシブ型力発生部を用いた力覚提示装置を示している。図5(a)は平面図、図5(b)正面図、図5(c)はパッシブ型力発生器から受ける抗力を示している。
図5(a)、(b)において、操作部41はリンク42〜45で結合されている。各リンク42〜45は互いにピンで結合され、回転できる構成である。パッシブ型力発生器46は、外界とリンク42との間の結合に対して抗力を発生することができる。パッシブ型力発生器47は同様に、外界とリンク43との間の結合に対して抗力を発生することができる。パッシブ型力発生器48は、リンク42とリンク43の間の結合に対して抗力を発生することができる。これらのパッシブ型力発生器46〜48の操作部に対する抗力をまとめると、図5(c)のようになる。
この抗力を、位置検出器や力検出器からの情報を用いて制御部により制御することで、操作部41に対する力覚を適切に操作者に与えることができる。これは、2自由度の力覚を実現するために必要最小限である2個のパッシブ形発生器より多い3個のパッシブ型力発生器を用いていることから実現できたことである。
【0020】
〔実施例4〕
図6は、リンク機構を用いた3自由度力覚提示装置の実施例を示す。
9個の関節部61〜69は、それぞれパッシブ型力発生部を含む。9個の関節部61〜69は、それぞれ同じもので、回転運動ができるものである。したがって、各関節部61〜69で、操作部51を9つの異なる球面上に拘束している。関節部61〜69に含まれる9個のパッシブ型力発生部は、その動きに対して抗力を発生することができる。リンク53,55および57の一端は、それぞれ操作部51に接続されている。操作部51は力検出部を含む。各パッシブ型力発生部には、角度を測る位置検出器が内蔵されている。関節部に含まれる各パッシブ型力発生器からは拘束面に沿った方向の力が提示することができる。
【0021】
このように、位置検出器(図示せず)や力検出器(図示せず)の情報を利用し、制御装置(図示せず)により各関節部61〜69に含まれる力発生部を制御することで、操作部51に適切な力覚を提示することができる。これは、3自由度を実現することができる最小限の3個以上である、9個のパッシブ型力発生器を用いていることから可能になった。
力覚提示装置の機構としては、上述の例以外にも、いろいろな機構(例えばワイヤ張力を利用した機構等)を用いることができる。
【0022】
〔パッシブ型力発生部〕
本発明で使用できるパッシブ型力発生部としては、機能性流体を用いる
図7は、ER流体またはMR流体など、外的な場(電場、磁場)によってレオロジー特性の変化する機能性流体を用いたパッシブ型力発生部の例を示す。図7はその機能性流体を用いたパッシブ型力発生部の断面図を示している。図7(a)には円筒タイプ、図7(b)には円盤タイプを示す。本体71と出力部72または73の隙間に機能性流体74が充填される。機能性流体74の外的な場を変化させることで、出力部72まはた73に取り付けられたプーリ75に力が発生する。出力部72および73は、多重円筒、または多重円盤とすることで、発生する力を増大させることができる。
【0023】
このように、本発明は、操作部を例えばリンク機構に組み込んで、その実現しようとする自由度の力覚に最小限必要なパッシブ型力発生器の数より多く設けられたパッシブ型力発生器を用いて、操作部から加えられる力に抗する力を返すことにより、的確に力覚を提示することができる。
提示される力覚としては、例えば、摩擦のない仮想壁を提示することができる。摩擦のない壁なので、操作部が壁と接触したことを位置検出器が検出すると、壁に押し込む力(力検出器により検出)に比例した法線力が発生するように制御部により制御する。このように壁等を提示することにより、CAD等で設計したものを現実のものとして実感させることができる。また、ゲーム等の入力装置にも応用して、ゲーム内容に応じた力覚を操作者に対して返すことができる。
【0024】
なお、上述の位置検出器および力検出器は、例えば従来のロータリ・エンコーダや6自由度の力センサ等を用いることができる。位置検出器としてのロータリ・エンコーダは、パッシブ型力発生部に取り付けるとよい。
また、これらの位置検出器や力検出器の出力を入力して、操作部からの力に対する力を返すための制御部は、マイクロコンピュータを用いて構成することができる。
【0025】
【発明の効果】
以上に述べたように、本発明における力覚提示装置は、ある自由度の数の力覚を実現するために最小限必要な数よりも多く、冗長な数のパッシブ型力発生部を備えることで、安全で、構造が複雑にならず、力発生部の数が冗長ではない場合には提示することのできない力感覚を提示することができる。
【図面の簡単な説明】
【図1】本発明の基本概念を示すブロック線図である。
【図2】実施例1を示す模式的斜視図である。
【図3】実施例1における力発生部の配置を説明するための模式的斜視図である。
【図4】実施例2における力発生部の配置を説明するための模式的斜視図である。
【図5】実施例3における力発生部の配置を説明するための模式的斜視図である。
【図6】実施例4を示す模式的斜視図である。
【図7】機能性流体を用いたパッシブ型力発生部を示す断面図である。
【符号の説明】
1 力覚提示装置
2,11 操作部
3 制御装置
4,21,22,23,24,25,26,27,28,29 パッシブ型力発生部
5 位置検出器
6 力検出器
13,14,15,16 スライダ
17 本体
31 操作部
32,33 スライダ
34 本体
35,36,37,38 パッシブ型力発生部
41 操作部
42,43,44,45 リンク
46,47,48 パッシブ型力発生部
51 操作部
53,54,55,56,57,58 リンク
61,62,63,64,65,66,67,68,69 関節部
71 本体
72 円筒型出力部
73 円盤形出力部
74 機能性流体
75 プーリ

Claims (5)

  1. 人間に対し、力感覚を提示する力覚提示装置であって、
    人間が操作する操作部と、
    人間が前記操作部に加えた力および/または前記操作部の位置を検出する検出部と、
    操作部の自由度の力覚を実現するために必須な数より多く設けられ、前記操作部に対する力に対して抗力をかけることができる機能性流体を用いたパッシブ型力発生部と、
    前記検出部からの前記力および/または前記位置の情報を入力して、前記パッシブ型力発生部を制御する制御部と
    を備えることを特徴とするパッシブ型力覚提示装置。
  2. 前記機能性流体として、ER流体やMR流体を用いていることを特徴とする請求項1に記載の力覚提示装置。
  3. 前記操作部は、パンタグラフ機構を用いて取り付けられ、前記パッシブ型力発生部はパンタグラフ機構に取り付けられていることを特徴とする請求項1又は2に記載の力覚提示装置。
  4. 前記操作部は、スライダ機構を用いて取り付けられ、前記パッシブ型力発生部は前記スライダ機構に取り付けられていることを特徴とする請求項1又は2に記載の力覚提示装置。
  5. 前記操作部は、リンク機構を用いて取り付けられ、前記パッシブ型力発生部はリンク機構に取り付けられていることを特徴とする請求項1又は2に記載の力覚提示装置。
JP13395199A 1999-05-14 1999-05-14 パッシブ型力覚提示装置 Expired - Fee Related JP3819636B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13395199A JP3819636B2 (ja) 1999-05-14 1999-05-14 パッシブ型力覚提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13395199A JP3819636B2 (ja) 1999-05-14 1999-05-14 パッシブ型力覚提示装置

Publications (3)

Publication Number Publication Date
JP2000322131A JP2000322131A (ja) 2000-11-24
JP2000322131A5 JP2000322131A5 (ja) 2004-10-28
JP3819636B2 true JP3819636B2 (ja) 2006-09-13

Family

ID=15116898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13395199A Expired - Fee Related JP3819636B2 (ja) 1999-05-14 1999-05-14 パッシブ型力覚提示装置

Country Status (1)

Country Link
JP (1) JP3819636B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030053A (ja) * 2011-07-29 2013-02-07 Tohoku Univ 力覚提示装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2902538A1 (fr) * 2006-06-14 2007-12-21 Commissariat Energie Atomique Dispositif de simulation tactile ou haptique et clavier musical comportant au moins un tel dispositif de simulation
JP5217554B2 (ja) * 2008-03-26 2013-06-19 ヤマハ株式会社 鍵盤装置
JP6836237B2 (ja) * 2016-09-06 2021-02-24 国立大学法人 大分大学 力触覚提示システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2534169B2 (ja) * 1991-07-11 1996-09-11 株式会社コロイドリサーチ 電気レオロジ―流体組成物
JP3266296B2 (ja) * 1992-02-18 2002-03-18 富士ゼロックス株式会社 人工現実感実現装置
JPH06158083A (ja) * 1992-11-27 1994-06-07 Toyohisa Fujita 機能性流体
JPH08297463A (ja) * 1995-04-26 1996-11-12 Sharp Corp 反力生成装置
JPH0966476A (ja) * 1995-08-29 1997-03-11 Hitachi Ltd 感触再現装置及びこれを用いたマニピュレータシステム
JP4354540B2 (ja) * 1996-10-18 2009-10-28 ヤマハ株式会社 力覚駆動装置、力覚付与方法および記録媒体
JPH11167419A (ja) * 1997-12-02 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> 力覚呈示方法およびその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030053A (ja) * 2011-07-29 2013-02-07 Tohoku Univ 力覚提示装置

Also Published As

Publication number Publication date
JP2000322131A (ja) 2000-11-24

Similar Documents

Publication Publication Date Title
USRE37528E1 (en) Direct-drive manipulator for pen-based force display
Chinello et al. A modular wearable finger interface for cutaneous and kinesthetic interaction: control and evaluation
US6281651B1 (en) Haptic pointing devices
US8184094B2 (en) Physically realistic computer simulation of medical procedures
US5821920A (en) Control input device for interfacing an elongated flexible object with a computer system
CA2237977C (en) Method and apparatus for providing low cost force feedback and mechanical i/o for computer systems
US20060106369A1 (en) Haptic interface for force reflection in manipulation tasks
US20120130541A1 (en) Method and apparatus for robot teaching
EP0803114B1 (en) Apparatus for providing mechanical input/output for computer systems interfaced with elongated flexible objects
Bar-Cohen et al. Virtual reality robotic telesurgery simulations using MEMICA haptic system
Qin et al. A multi-finger interface with MR actuators for haptic applications
Najdovski et al. Design, development, and evaluation of a pinch–grasp haptic interface
JP3819636B2 (ja) パッシブ型力覚提示装置
Berkelman Tool-based haptic interaction with dynamic physical simulations using Lorentz magnetic levitation
Hayward Survey of haptic interface research at McGill University
Bao et al. Haptic interface with force and torque feedback for robot-assisted endovascular catheterization
Morito et al. Development of a haptic bilateral interface for arm self-rehabilitation
Berkelman A novel coil configuration to extend the motion range of lorentz force magnetic levitation devices for haptic interaction
JP4547559B2 (ja) 張力駆動によるグリップ型力覚提示装置およびその入力方法
Efraimidis et al. Wireless embedded system on a glove for hand motion capture and tactile feedback in 3d environments
Sawada et al. A hapto-tactile display for presenting virtual objects in human-scale tactual search
US20240069638A1 (en) Mid-air Electromagnetic-based Kinesthetic Haptic Device
Klare et al. Development of a 3 dof mr-compatible haptic interface for pointing and reaching movements
Folgheraiter et al. Development of a desktop haptic interface for teleoperation and virtual environments interaction
JPH05138553A (ja) 力フイードバツク型多軸操作装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20031210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060615

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110623

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110623

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130623

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees