JP3193656B2 - 筋電信号生成装置 - Google Patents

筋電信号生成装置

Info

Publication number
JP3193656B2
JP3193656B2 JP02055597A JP2055597A JP3193656B2 JP 3193656 B2 JP3193656 B2 JP 3193656B2 JP 02055597 A JP02055597 A JP 02055597A JP 2055597 A JP2055597 A JP 2055597A JP 3193656 B2 JP3193656 B2 JP 3193656B2
Authority
JP
Japan
Prior art keywords
tension
pseudo
muscle
signal
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02055597A
Other languages
English (en)
Other versions
JPH10217157A (ja
Inventor
康晴 小池
光男 川人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP02055597A priority Critical patent/JP3193656B2/ja
Publication of JPH10217157A publication Critical patent/JPH10217157A/ja
Application granted granted Critical
Publication of JP3193656B2 publication Critical patent/JP3193656B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Manipulator (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は筋電信号生成装置
に関し、特に、機能的電気刺激やリハビリテーション,
運動学習や筋肉のように冗長な自由度を持ったロボット
などの制御対象の入力信号を推定するような筋電信号生
成装置に関する。
【0002】
【従来の技術】脳卒中などにより脳機能に障害を及ぼす
と腕や足が麻痺することがあるが、この場合腕や足の筋
肉そのものは正常であり、筋肉を動かすための筋電信号
が脳から筋肉に伝わらないため運動麻痺を生じる。も
し、そのような筋電信号を生成できれば、運動麻痺を克
服できる。
【0003】
【発明が解決しようとする課題】従来は、筋電信号を生
成するために、予めある運動パターンを行なっていると
きの健常者の筋電信号パターンを計測し、筋電図学的な
解析を行ない、その結果をもとにその信号を患者の筋電
信号に合うように正規化するなどして刺激データとして
用いていた。そのため、たとえば手を伸ばした状態から
口元まで持っていく動作の場合、健常者の肘の屈曲動作
時の筋電信号パターンを計測するなどして、目的の動作
に対して筋電信号のパターンを記憶しておく必要があっ
た。すべての運動パターンについてデータを作成するの
は困難であるため、決められた数パターンを保存して患
者に適用する手法を取らざるを得なかった。
【0004】それゆえに、この発明の主たる目的は、擬
似張力から関節トルクを推定するモデルを作成し、これ
をもとに擬似張力変化最小の評価関数により軌道および
擬似張力を推定できるような筋電信号生成装置を提供す
ることである。
【0005】
【課題を解決するための手段】この発明は、筋電信号を
生成する筋電信号生成装置であって、被験者の身体部位
から筋電信号を検出する検出手段と、検出された筋電信
号をフイルタリングして擬似張力を抽出する擬似張力抽
出手段と、擬似張力抽出手段の出力信号に基づいて張力
を推定する筋張力推定手段と、推定された張力に基づい
て関節トルクを推定し、予め定める運動方程式により運
動軌道を生成する軌道生成手段を備え、擬似張力抽出手
段と筋張力推定手段と軌道生成手段とによって身体モデ
ルが構成され、身体モデルを用いて信号処理された擬似
張力の変化が最小になる、という評価基準により、身体
部位の軌道および筋電信号を推定する。
【0006】請求項2に係る発明は、運動方程式の物理
パラメータは被験者の身体部位の形状から計算し、筋張
力推定手段のパラメータは、計測された運動から得られ
た軌道データにより運動方程式を用いて計算されたトル
クと、計測された筋電信号から推定された擬似張力の関
係から学習によって獲得することを特徴とする。
【0007】さらに、軌道生成手段は、神経回路からな
る加速度推定モデルを含み、所定の時刻における関節角
度と関節角速度とが入力されかつ前記張力推定手段から
張力が入力されたことに基づいて、一定時刻後の関節角
度と関節角速度の変化分を出力することを特徴とする。
【0008】
【0009】
【0010】
【発明の実施の形態】まず、この発明の実施の形態にお
ける動作の全体の流れを説明すると、次のとおりであ
る。 筋肉を動かすための筋電信号を計測する。
計測した筋電信号を擬似張力に変換するとともに、軌道
データから関節トルクを計算する。 求めた擬似張力
と関節トルクのデータから身体モデルのパラメータを学
習により求める。 求めたパラメータを固定して身体
モデルを完成させる。 始点と終点の終端条件を決め
て、身体モデルの入力信号である擬似張力が滑らかにな
り、かつ終端条件を満たすように既存の非線形最適化問
題を解くアルゴリズムにより、繰り返し計算により計算
する。 終端条件を満たせば軌道が求まり、同時にそ
の軌道を実現する入力信号である滑らかな擬似張力が求
まり、任意の始点,終点のデータからその間を結ぶ軌道
とその軌道を生成するのに必要な擬似張力が計算でき
る。図1はこの発明の実施の形態における筋電信号から
関節トルクが生成され、軌道が生成されるまでの流れを
示す図である。
【0011】図1において、健常者の人腕1から筋電信
号が検出され、筋電信号増幅器2によって増幅される。
増幅された筋電信号はフィルタ3でフィルタリングさ
れ、擬似張力が抽出される。抽出された擬似張力から筋
張力推定回路4によって張力が推定され、その張力に基
づいて、関節トルク推定回路5によって関節トルクが推
定され、運動方程式6より運動軌道が生成される。
【0012】図1に示したフィルタ3と筋張力推定回路
4と関節トルク推定回路5と運動方程式6によって身体
モデルが構成されている。
【0013】この身体モデルを用いて始点と終点とでの
終端条件を満たし、さらに第(1)式の評価関数を最小
とする軌道を繰返し計算により計算する。
【0014】
【数1】
【0015】ここで、uj はj番目の擬似張力を表わ
す。また、tf は終点での時間を表わす。以下、各ステ
ップについてより具体的に説明する。
【0016】図1に示したフィルタ3では筋電信号から
擬似張力が抽出されるが、表面筋電信号は膜の興奮電位
が時間的,空間的に重畳されている信号である。フィル
タ3としてローパスフィルタを用いて出力される信号は
α運動ニューロンの発火頻度を反映していると期待され
る。また、この信号はかなり真の張力に近いと考えられ
るので擬似張力と呼ばれる。このローパスフィルタは2
次系で十分なことが知られており、入力EMG,出力T
* としてFIRフィルタで実現すると、第(2)式で表
わされる。
【0017】
【数2】
【0018】ここで、EMGは筋電信号であり、T*
擬似張力である。筋肉の発生する張力と運動指令との間
には、次に述べるような非線形な性質がある。筋肉の発
生する張力は同じ運動指令であっても筋長が長くなると
増加する。この変化の仕方は非線形であり、長さ−張力
曲線と呼ばれている。また、同じ運動指令であっても、
筋長の短縮速度が大きくなると張力は減少する。この変
化の仕方も非線形であり、短縮速度−張力曲線と呼ばれ
ている。今回は、姿勢制御中の位置を推定するために、
短縮速度−張力曲線に関しては考慮に入れる必要がな
い。
【0019】図2は軌道の計算モデルを示す図である。
図2において、加速度推定モデル11,12…1nは、
たとえば神経回路から構成されており、入力としては時
刻Ti における擬似張力と関節角度と関節角速度とが入
力され、出力は1単位時間後の関節角速度と関節角度の
変化分となっている。
【0020】ここで、関節トルクは張力とモーメントア
ームの積によって決定される。関節の回転軸と筋肉の作
用線との距離がモーメントアームである。関節を曲げ伸
ばしすると、筋肉は皮膚や骨によって曲げられるため、
この距離は一定ではなく、トルクと張力の関係が関節角
度に非線形に依存する。すなわち、関節トルクは伸筋と
屈筋の発生するトルクの差によって生じ、張力とモーメ
ントアームに依存して決まることになる。これらの関係
は次の第(3)式のように定式化することができる。
【0021】
【数3】
【0022】 ただし、τm =(τ1 ,τ2 ,…,τn t θ=(θ1 ,θ2 ,…,θn t αi (θ)=(αi1(θ),αi2(θ),…,α
in(θ))t ここで、τj はj番目の関節トルクであり、θj はj番
目の関節角度であり、α ij(θ)はi番目の筋肉のモー
メントアーム(単関節筋なら関与しない関節については
0)であり、Ti はi番目の筋肉の筋張力であり、T*
i はi番目の筋肉の擬似張力を表わす。右上つき添字t
は、転置を意味している。ただし、関節はn個(1≦j
≦n),筋肉はk個(1≦i≦k)あるものとする。
【0023】図3は人間の前腕と上腕をモデル化した2
リンクのマニピュレータを示す図である。図3に示した
マニピュレータにおいて、人間Mの右腕の上腕の長さを
L1とし、前腕の長さをL2とすると、以下の運動方程
式が成り立つ。
【0024】
【数4】
【0025】ここで、τi は各関節の駆動トルクであ
り、θi は関節角であり、θi1は関節角速度であり、θ
i2は関節角加速度を表わす。また、Mi は各リンクの質
量であり、Li は長さであり、Lgiは関節から質量中心
までの長さであり、Ii は関節回りの慣性モーメントで
あり、bi は粘性抵抗の係数を表わす。
【0026】運動方程式によって軌道と関節トルクの関
係を記述するためには、正確な慣性モーメントなどの腕
の物理パラメータがわかっていなければならない。その
ため、一例として腕のパラメータを腕の形状から計算す
るが他の方法を用いてもよい。まず、始めに、Cyberwar
e Laser Range Scanner を用いて腕の3次元的な形状を
測定する。そして、比重が1の均一の物質であると仮定
することにより、その体積から長さ,質量中心や慣性モ
ーメントを計算する。このようにして求めた腕のパラメ
ータを表1に示す。
【0027】
【表1】
【0028】図4は筋肉のモデルの一例を示す図である
が他のロボット制御装置などにも適用できる。図4にお
いて、筋肉の張力は次の第(5)式で与えられる。
【0029】 Tj =kj (uj ,lj )Δlj (uj ,lj )−bj (uj ,lj ,ij ) ij …(5) ここで、kj (uj ,lj )は筋肉の弾性係数、,bj
(uj ,lj ,ij )は粘性係数,Δlj (uj
j )は筋肉の伸びを示す。また、uj は筋肉への運動
指令であり、lj は筋肉の長さであり、ij は収縮速度
を示す。関節のトルクは第(6)式で示される。
【0030】
【数5】
【0031】ここで、iは関節を示し、jは筋肉を表わ
す添字である。モーメントアームAij(θ)は物理的モ
ーメントアームAij(θi )と絶対値が等しく、伸筋,
屈筋により正と負の符号をとる。
【0032】Aij(θi )={dj ij(θi )} dj =1.0屈筋,−1.0伸筋 モーメントアームは一般的に関節角度に依存して非線形
に変化する。モーメントアームを関節角度に依存せずに
一定である部分とそれ以外の部分とに分けて考えると、
【0033】
【数6】
【0034】となる。また、kj (uj ,lj ),bj
(uj ,lj ,ij )についてもuに関してそれぞれ0
次および1次までの線形項とそれ以上の非線形項に分け
て考える。
【0035】
【数7】
【0036】さらに、Δlj (uj ,lj )について
は、まず、筋肉の長さlj を関節角θiの関数と考え
る。Δlj (uj ,lj )は、関節角度の変化による筋
長の変化と、張力発生機構による運動指令uj に依存し
た筋の自然長の変化とからなる。
【0037】すべての筋肉について関節角度が0のとき
の筋肉の長さをlj (0)とする。 θi =0 i=1,2,…,Nのとき lj =lj (0) モーメントアームは次式のとおりとなる。
【0038】∂lj /∂θi =−Aij(θi ) 筋肉の長さlj (θ)は次式のようになる。
【0039】
【数8】
【0040】ここで、モーメントアームが姿勢に依存す
るので、
【0041】
【数9】
【0042】上述の式においてlj biasは、関節の曲げ
伸ばしによって筋肉の伸長量が負にならないようにする
ためのバイアス項である。肩関節において、可動範囲が
−20<θ0 <110度であり、肘関節において可動範
囲が0<θ1 <140度であるとする(曲げる方向を正
にとる)。このとき、肩の屈筋は曲げると最大a0j×1
10/180π[rad]短くなり、伸筋は伸ばすと最
大a0j×20/180π[rad]短くなる。肘も同様
である。また、2関節筋の屈筋は、最大a0j×110/
180π+a1j×140/180π[rad]短くな
り、伸筋は伸ばすと最大a0j×20/180π+a1j×
0/180π[rad]短くなる。
【0043】
【数10】
【0044】筋肉の伸びでu,θについて線形でモデル
化できるものを表わし、Δl* j (uj ,θ)はそれ以
外の非線形項を表わしている。最終的には第(6)式は
関節角度で表現すると、次の式のようになる。
【0045】
【数11】
【0046】第(8)式において、ψij(ωj1,θi
j ),φij(ωj2,θi ,θi1,uj )は、神経回路
モデルで表現され、筋肉の長さと張力の非線形関係,筋
肉の短縮速度と張力の非線形関係,運動指令の増減に対
する非線形関係、さらにはモーメントアームの関節角度
に依存する非線形性すべてを吸収させるために用いられ
る。
【0047】筋電信号は、1対の銀塩化銀表面電極を用
いて、表面筋電位を双極誘導し、差動増幅した筋電信号
を2kHz,12ビットサンプリングして得られる。電
極の直径は10mmで、筋線維に沿って電極間の距離1
5mmで貼りつけ、筋電信号を計測した筋肉は肩関節の
伸筋,屈筋として三角筋前部(DLC),三角筋上部
(DLA),三角筋後部(DLS),大胸筋(PM
J),大円筋(TEM),肩,肘の2関節筋として上腕
二頭筋長頭(BIL),上腕三頭筋外長頭(TRL),
肘関節の伸筋,屈筋として上腕筋(BRC),上腕三頭
筋内側頭(TRM),上腕三頭筋外側頭(TRA)であ
る。筋電信号を全波整流した後に、10点ごとの平均を
とり(EMGave ),さらに次の式のように5点ごとの
移動平均をとって平滑化し、この信号を平均筋電信号
(EMGma)と呼ぶ。
【0048】
【数12】
【0049】したがって、200Hzサンプリングした
ことになる。第(2)式のEMGで示した入力信号とし
てEMGmaを用いた線形の部分だけを学習した結果、各
パラメータの値は表2のとおりとなった。
【0050】
【表2】
【0051】図5は前述の6筋のモデルのうちのDL
C,BRC,DLS,TRM,BIL,TRLを図示し
たものである。
【0052】次に、トルク変化最小となる軌道では、
最適な運動を実現するトルクが計算できたとしてもそれ
を実現する筋張力の組合せは無数に存在する。そして、
筋張力変化最小となる軌道では、その中から最も滑ら
かな筋張力の組合せを推定する。さらに、機能的電気刺
激などの刺激パターンを作成する場合は、筋電信号と筋
張力の間の関係を考慮に入れなければならない。そこ
で、6筋の線形モデルを用いて第(1)式を満たす筋張
力変化最小軌道を計算した。図および図は計算した
生成軌道を示す図であり、図は第(1)式を満たす擬
似張力を示したものである。
【0053】
【発明の効果】以上のように、この発明によれば、加速
度推定モデルを用いて信号処理された筋電信号変化最小
という評価基準により身体部位の軌道および筋電信号を
推定するようにしたので、擬似張力変化最小という評価
関数より擬似張力を求めることができ、機能的電気信号
を刺激の入力信号やリハビリテーション用の電気刺激信
号や運動学習用の信号などとして使用することができ
る。
【図面の簡単な説明】
【図1】この発明の実施形態における筋電信号から関節
トルクが生成され、軌道が生成されるまでの流れを示す
図である。
【図2】軌道の計算モデルを示す図である。
【図3】人間の前腕と上腕をモデル化した2リンクのマ
ニピュレータを示す図である。
【図4】筋肉のモデルを示す図である。
【図5】6筋のモデルを示す図である。
【図6】生成軌道を示す図である。
【図7】速度と時間の関係を示す図である。
【図8】擬似張力を示す図である。
【符号の説明】
1 人腕 2 筋電信号増幅器 3 フィルタ 4 筋張力推定回路 5 関節トルク推定回路 6 運動方程式 11,12,1n 加速度推定モデル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 川人 光男 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール人 間情報通信研究所内 (56)参考文献 特開 平7−24766(JP,A) 特開 平7−28592(JP,A) 特開 平7−31638(JP,A) 特開 平6−39754(JP,A) 特開 平5−111881(JP,A) 特開 平7−223186(JP,A) (58)調査した分野(Int.Cl.7,DB名) B25J 3/00 - 3/10 B25J 9/10 - 9/22 B25J 13/00 - 13/08 B25J 19/02 - 19/06 A61B 5/04 - 5/05 G05D 3/00 - 3/20

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 筋電信号を生成する筋電信号生成装置で
    あって、 被験者の身体部位から前記筋電信号を検出する検出手
    段、 前記検出手段によって検出された筋電信号をフイルタリ
    ングして擬似張力を抽出する擬似張力抽出手段、 前記擬似張力抽出手段の出力信号に基づいて張力を推定
    する筋張力推定手段、および前記筋張力推定手段によっ
    て推定された張力に基づいて関節トルクを推定し、 予め定める運動方程式により運動軌道を生成する軌道生
    成手段を備え、 前記擬似張力抽出手段と前記筋張力推定手段と前記軌道
    生成手段とによって身体モデルが構成され、 前記身体モデルを用いて信号処理された擬似張力の変化
    が最小になる、という評価基準により、前記身体部位の
    軌道および筋電信号を推定することを特徴とする、筋電
    信号生成装置。
  2. 【請求項2】 前記運動方程式の物理パラメータは前記
    被験者の身体部位の形状から計算し、 前記筋張力推定手段のパラメータは、計測された運動か
    ら得られた軌道データにより前記運動方程式を用いて計
    算されたトルクと、前記計測された筋電信号から推定さ
    れた擬似張力の関係から学習によって獲得 することを特
    徴とする、請求項1に記載の筋電信号生成装置。
  3. 【請求項3】 前記軌道生成手段は、神経回路からなる
    加速度推定モデルを含み、所定の時刻における関節角度
    と関節角速度とが入力されかつ前記張力推定手段から張
    力が入力されたことに基づいて、一定時刻後の関節角度
    と関節角速度の変化分を出力することを特徴とする、請
    求項1に記載の筋電信号生成装置。
JP02055597A 1997-02-03 1997-02-03 筋電信号生成装置 Expired - Fee Related JP3193656B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02055597A JP3193656B2 (ja) 1997-02-03 1997-02-03 筋電信号生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02055597A JP3193656B2 (ja) 1997-02-03 1997-02-03 筋電信号生成装置

Publications (2)

Publication Number Publication Date
JPH10217157A JPH10217157A (ja) 1998-08-18
JP3193656B2 true JP3193656B2 (ja) 2001-07-30

Family

ID=12030414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02055597A Expired - Fee Related JP3193656B2 (ja) 1997-02-03 1997-02-03 筋電信号生成装置

Country Status (1)

Country Link
JP (1) JP3193656B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3660330B2 (ja) * 2002-08-13 2005-06-15 独立行政法人科学技術振興機構 インピーダンス測定装置及び運動学習支援装置
JP5943734B2 (ja) * 2012-06-25 2016-07-05 キヤノン株式会社 ロボット及びロボット制御方法
JP6055985B2 (ja) * 2013-02-18 2017-01-11 株式会社国際電気通信基礎技術研究所 パワーアシストロボット
CN104656440B (zh) * 2014-12-26 2017-06-06 清华大学 仿人机器人步态生成方法
CN106695794A (zh) * 2017-02-20 2017-05-24 苏州晨本智能科技有限公司 一种基于表面肌电信号的移动机器臂系统及其控制方法
JP7345264B2 (ja) * 2019-03-27 2023-09-15 日東電工株式会社 貼付型生体センサ
CN111329476B (zh) * 2020-03-04 2021-07-06 中国科学技术大学 一种基于微观神经驱动信息进行肌力估计的方法及装置
CN116158944B (zh) * 2023-04-11 2023-07-14 深圳市景创科技电子股份有限公司 模态自定义映射康复辅助的控制方法、终端设备及介质

Also Published As

Publication number Publication date
JPH10217157A (ja) 1998-08-18

Similar Documents

Publication Publication Date Title
CN107397649B (zh) 一种基于径向基神经网络上肢外骨骼运动意图识别方法
Fukuda et al. A human-assisting manipulator teleoperated by EMG signals and arm motions
US9238137B2 (en) Neuromuscular stimulation
Kiguchi et al. Neuro-fuzzy control of a robotic exoskeleton with EMG signals
Kiguchi et al. An exoskeletal robot for human shoulder joint motion assist
US20200170547A1 (en) A human intention detection system for motion assistance
JP3660330B2 (ja) インピーダンス測定装置及び運動学習支援装置
Kardan et al. Robust output feedback assistive control of a compliantly actuated knee exoskeleton
JP6998569B2 (ja) パワーアシスト装置およびパワーアシスト装置の制御方法
JP3193656B2 (ja) 筋電信号生成装置
CN110125909A (zh) 一种多信息融合人体外骨骼机器人控制保护系统
Simcox et al. Performance of orientation sensors for use with a functional electrical stimulation mobility system
CN113181550A (zh) 一种调控关节力矩和刚度的功能性电刺激系统和方法
JP5234542B2 (ja) 筋骨格系モデル作成装置および該方法、筋骨格系機構制御装置ならびに筋骨格系機構システム
Fukuda et al. An EMG controlled robotic manipulator using neural networks
JP4181796B2 (ja) 肢体リハビリテーション訓練装置
Kim et al. Estimation of multijoint stiffness using electromyogram and artificial neural network
JP2542336B2 (ja) ロボット制御装置
Huang et al. Adaptive compliance shaping with human impedance estimation
de Azevedo Fernandes et al. A Real Framework to Apply Collaborative Robots in Upper Limb Rehabilitation.
Pau et al. An EMG-driven neuromuscular interface for human elbow joint
Bae et al. Real-time estimation of lower extremity joint torques in normal gait
JPH1176430A (ja) 電気刺激信号生成装置
JP2557789B2 (ja) ヒューマンインタフェース装置
Sierotowicz et al. A comprehensive framework for the modelling of cartesian force output in human limbs

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010508

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080525

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090525

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090525

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100525

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100525

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130525

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140525

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees