JP4752042B2 - 生体等多変量時系列データ評価法 - Google Patents

生体等多変量時系列データ評価法 Download PDF

Info

Publication number
JP4752042B2
JP4752042B2 JP2004219388A JP2004219388A JP4752042B2 JP 4752042 B2 JP4752042 B2 JP 4752042B2 JP 2004219388 A JP2004219388 A JP 2004219388A JP 2004219388 A JP2004219388 A JP 2004219388A JP 4752042 B2 JP4752042 B2 JP 4752042B2
Authority
JP
Japan
Prior art keywords
series data
cooperative
time
matrix
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004219388A
Other languages
English (en)
Other versions
JP2006015089A (ja
Inventor
孝志 横井
外史 東田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2004219388A priority Critical patent/JP4752042B2/ja
Publication of JP2006015089A publication Critical patent/JP2006015089A/ja
Application granted granted Critical
Publication of JP4752042B2 publication Critical patent/JP4752042B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、生体等から同時計測された多変量時系列データをもとに、生体システム等における機能の協調特性とその時間変化様態を判定する評価法に関するものである。
心理学・教育学・社会学などの分野で統計的に扱われる多変量データは、変量数が多く、各変量内ではデータは離散的であり、かつ正規分布が仮定されているため、連続した時系列データが対象とはされていなかった。一方、工学・経済学・生命科学などの分野では現象あるいはシステムの時間的変化が重要であるため、変量として時系列データが数多く扱われる。個々の時系列データはシステム制御の結果として表れたものであり、データの正規分布性は少ない。しかも、同一生体等の1つのシステムから同時計測された複数の時系列データは必ずしも独立なものではなく、相互に影響を及ぼし合っているため相関関係を示す場合も多い。これら2つの分野の方法論は全く別の前提の上に成り立っており、これら2つの方法論を融合することはこれまで発想されなかった。よって、生体等のシステムから同時計測された多変量時系列データに統計解析分野の手法を応用して解析、評価する本発明方法は、全く新しいものである。
また、近年の測定装置、記録装置の発達により、生体信号等の時系列データを容易にかつ多数の変量に対して同時取得することが可能となってきたため、生体等のシステムより同時計測された多変量時系列データを一括して扱い、変量間の相互関係を把握しながら、システム全体として包括的に評価する手法への需要は今後急速に増すと予測される。特にこのような需要は、感覚−運動系の制御や循環調節系の制御を扱う生体力学、生理学、医科学分野等において多く、本発明方法は有効な評価ツールとなり得る。
生体システム等の活動様態をとらえるための生体信号時系列データには、脳波、心筋活動電位、血圧、脈波、呼吸、個々の筋肉の筋活動電位、筋収縮によって外部に発揮した力、個々の関節の関節角度、個々の身体各部位の2次元あるいは3次元的位置等がある。これらは同時計測することによって多変量時系列データとして扱うことができる。
生体等のシステムの機能を定量的かつ客観的に評価するには、システムの要素としての複数現象時系列相互の関係を把握し、その関係からシステムの自由度、さらにはシステム内の要素の協調性やその安定性を定量的に把握しておくことが重要である。なぜならば、例えば生体が適正に機能し健康であったり、ヒトが高度な技能を獲得したり、繰り返して卓越した能力を発揮したりする際には、環境の状態や心身の状態に合わせて、循環器系、筋骨格系、脳神経系、感覚・知覚系が協調しながら適正な状態で機能し、その協調様態が安定していることが必要だからである。
例えば、ヒトの血圧と心拍の関係では血圧が上昇すれば心拍数を下げ、逆に血圧が低下すれば心拍数を上げるという協調性を保ち、心臓循環システムを適正に維持している。また、環境温度の変化や身体運動開始によって心拍や血圧も協調的に変化して新たな状態に対応し、もとの環境あるいは安静状態に戻れば、心拍や血圧もその状態に適したもとの状態にもどる。
一方、ヒトの歩行運動においては、非常に高い自由度を持つ四肢の運動自由度を下げ、上肢下肢の複数の筋肉が協調的かつ安定的に収縮と弛緩を繰り返すことで適正な歩行パタンが獲得・維持されている。さらに加齢による神経筋系機能の変化により、その協調パタンが変化し、結果として年齢あるいは神経筋機能に応じた歩行様態がとられる。
次に、ゴルフのスイング技術の習得過程を考えると、初期にはスイング中の各筋肉は非統制的に働き、定まった協調パタンを持たないため、協調安定度は低い。しかし、練習を重ね熟練するにつれて協調自由度、協調パタン、協調安定度は徐々に変化し、最終的には自由度が低くなり、ある最適な協調パタンを高い安定度で実現できる。
しかしながら、生体から同時計測される多変量時系列データから、協調自由度、協調パタン、協調安定度を評価する汎用的な方法は見当たらなかった。
本発明は、これまでの多変量解析、特に主成分分析の手法を時系列データに適用し、以下の方法で生体等のシステムの協調自由度、協調パタン、協調安定度を評価するための方法である。本発明のデータの計算手順を図4に示す。
同一の生体システム等において同期して計測したM種類の変量の周期的生体信号時系列データのセットをX(t)、X(t)、....、X(t),(t=1,・・・・,p)とする。それぞれのデータセットは、同一個数p個(ただしpは任意の自然数)の時系列から構成されるものとする。
M種類の変量の中から、解析目的に応じて周期の基準となるものを選び、その変量の時系列データの基本周期にもとづいて、他の変量の時系列データをN周期分の時系列データに分割する。すなわちX(t)(j=1,・・・・,M)を時間周期順にX(t)X(t),....,X(t),(t=1,・・・,p,t=1,・・・,p,t=1,・・・,p,p+p+・・・p=p)に分割する。さらに、それぞれの周期においてM種類の変量を1つのセットとし、連続したN周期分の時系列データのセットを次のように分割構成する。
(X(t),X(t),....,X(t)),(X(t),X(t),....,X(t)),・・・,(X(t),X(t),....,X(t)),(t=1,・・・,p,t=1,・・・,p,t=1,・・・,p,p+p+・・・p=p)
ただし、データの周期Nは1以上であればよいが、後述する相関標準偏差行列Sあるいはその要素Sijを計算する場合にはNは2以上必要である。また、時間的同期計測が困難な場合には、計測開始時刻をそろえて計測し、計測後に時間補間を行うことによって時刻をそろえる。さらに、例えばゴルフスイングや投球のような一過性の動きの場合には、N回計測した時系列データを時間補間して時間で規格化し、これをN個並べてN周期分のデータと見なす。
第k番目の周期内の変量iと変量jとの間の時系列データの相関係数Cijk(i=1,2,・・・,M;j=1,2,・・・,M;k=1,2,・・・N)を求める。それぞれの周期における相関行列をCとして
とする。さらに相関行列Cの成分毎にN周期期間の平均値rijと標準偏差sijを求め、相関係数平均値の行列R、相関係数標準偏差の行列Sをそれぞれ
とする。この行列Rの対角要素を除く上三角部分要素rij(j>i)を協調パタン、行列Sの対角要素を除く上三角部分要素sij(j>i)を協調安定度と定義する。
ただし、それぞれの行列の対角成分は1と0、即ちrij=1、sij=0(i=1,2,・・・,M)である。
このときのRの固有値を大きい順にλ、・・・・、λとし、1以上となる固有値の個数を協調自由度と定義する。
協調自由度については、M次元空間にp個の点X(t)、X(t)、....、X(t),(t=1,・・・・,p)を埋め込んだとき、この運動を記述するのに最低限必要な空間次元の数を表す。このとき、例えば自由度が2であれば、p個の点の大部分がM次元空間内の1つの平面上に分布することを示している。この自由度は、p個の点群に主成分分析を施して算出した主成分の個数と等価であるので、自由度に関与する固有値(即ち値が1以上となる固有値)の値の大きさや固有ベクトルによって、この自由度を生み出したシステムの特性の違いをとらえることができる。例えば自由度が2の場合でも、2つの固有値が6と2ならばp個の点は平面上の楕円領域内に分布するが、固有値が4と4であれば平面上の円領域内に分布することを示している。この固有値を構成する固有ベクトルの成分やそれに関与する時系列変量を調べることにより、システムの特性を規定できる。
協調パタンについては行列Rの対角要素を除く上三角部分要素rij(j>i)の絶対値が大きいほど、その要素に対応した2つの時系列データ間の協調度は高いと判断される。これらの要素rij(j>i)の大小や個々の様相に対応した2つの時系列データ変量が、システムを構成する要素間の協調パタンを特徴づける。またrij(j>i)の絶対値を合計し平均した値Raveは、システム全体としての協調特性を示す。
協調安定度については、行列Sの対角要素を除く上三角部分要素sij(j>i)が大きいほど、その要素に対応した2つの時系列データ間の協調安定度は低いと判断される。これらの要素sij(j>i)の大小や個々の様相に対応した2つの時系列データ変量が、システムを構成する要素間の協調安定度を特徴づける。またsij(j>i)の絶対値を合計し平均した値Saveは、システム全体としての協調安定度を示す。
本発明の効果として身体障害者、介護老人の運動訓練、ゴルフ、テニス、卓球、野球のスイング、バスケットのフリースローなどのスポーツ競技、陶芸のろくろ回しや工芸のカンナがけなどの熟練を要する仕事、ピアノ、バイオリンなどの楽器演奏における習熟度の定量的評価や問題箇所の指摘を行うことができる。それにより、技能向上の早期収斂性を高めたり、技能の適正な評価を行うことができる。
また、運動中あるいは作業中の心筋活動電位、筋活動電位、関節の屈曲進展運動等を対象に、若年者と高齢者との間の時系列データを本発明の方法によって比較することにより、協調特性の観点から生体システムの健康度や潜在的な老化度を定量化することができる。
さらに、運動負荷テストの前の状態、運動に対する一過性の反応過程、回復過程を、多変量生体信号時系列データに本方法を適用して解析、評価することにより、これまで着目されなかった協調特性の観点から、長期的な運動トレーニングの効果、疲労度を定量化することも可能である。
脳波、心筋活動電位、血圧、脈波、呼吸、個々の筋肉の筋活動電位、筋収縮によって外部に発揮した力、個々の関節の関節角度、個々の身体各部位の位置など、M種類の多変量時系列データを、時間同期して計測する。M種類の変量から、解析目的に応じて周期分割の基準となるものを選び、その変量の時系列データの基本周期にもとづいて、他の変量の時系列データを一周期毎に分割し、連続したN周期分の時系列データを構成する。ただし、時間的同期計測が困難な場合には、計測開始時刻をそろえて計測し、計測後に時間補間を行うことによって時刻をそろえる。また、例えばゴルフスイングや投球のような一過性の動きの場合には、N回計測した時系列データを時間補間して時間で規格化し、これをN個並べてN周期分のデータと見なす。
このデータに対して本発明の方法を適用し、協調自由度、協調パタン、協調安定度等を算出した後、結果を評価することによってシステムの協調特性を把握する。
例として、トレッドミル(ベルト走行装置)上で閉眼後方歩行の習熟過程をとらえる訓練実験を挙げる。図1のように、眼に覆いをして、トレッドミル(ベルト走行装置)上で、片手で手すりを持ちながら後ろ向きに歩く実験を行った。実験では、10名の被験者に対し、5分間の後ろ向き連続歩行を、第1試技〜第4試技まで4回実施した。
身体運動システムをとらえるため、実験では5分間の運動中の身体部位の位置座標時系列データを60Hzで連続計測し、関節角度を算出した。図2に測定部位と関節角度の定義を示す。肩関節(Shoulder:S)、股関節(Hip:H)、膝関節(Knee:K)、足関節(Ankle:A)の角度時系列データを対象に本発明の方法を適用した。図3は、ある被験者の第1試技と第4試技の関節角度の時系列データの例である。
図3を見ただけでは学習の程度あるいは進み具合を定量的に判断することは難しく、定性的にしか把握できないが、本発明の方法を適用して解析した結果、以下に示すように、この運動の協調特性や習熟の進展に伴う協調特性の変化を定量的に把握できた。
図5aから図5dは2つの関節間の協調パタン、即ち相関係数平均値行列の成分rij(j>i)を試技毎に棒グラフで示したものであり、図5aが試技1回目、図5bが試技2回目、図5cが試技3回目、図5dが試技4回目である。この図では、例えば肩関節(Shoulder)−股関節(Hip)間の協調パタンをSHと表記している。棒グラフの棒が長いほど、相当する2つの関節間の屈曲伸展運動の相関は高く、よって協調性が高いと判断できる。また、値が−1に近づくほど二つの関節間の位相は逆になっていることを示す。
図5aの1回目から図5dの4回目にかけて協調パタンが最も大きく変化したのはHK(股関節−膝関節)とSA(肩関節−足関節)である。HK(股関節−膝関節)は試技が進むにつれて位相同期の程度が徐々に減少する。逆にSA(肩関節−足関節)は試技が進むにつれて位相の逆転が大きくなる。この協調パタンを被験者間で比較すると、個人間の動作パタンの違いがわかる。
図6aから図6dは、2つの関節間の協調安定度、即ち相関係数標準偏差行列の成分sij(j>i)を試技毎に棒グラフで示したものであり、図6aが試技1回目、図6bが試技2回目、図6cが試技3回目、図6dが試技4回目である。棒グラフの棒が長いほど不安定度が高く、即ち安定度が低いことを示す。
協調安定度については、図6aの1回目から図6dの4回目にかけて、HK(股関節−膝関節)を除く全てにおいて試技の進展と共に安定度が上がり、図6cの3回目を過ぎるとほぼ一定の安定度を示した。HK(股関節−膝関節)については第1試技から安定度は高かった。
これらの結果は、学習にともなう2つの関節運動の関係の変化様態として、関節間の協調パタンは一定だがその安定性が変化するものと、高い安定性を保ちながら協調パタンを変化させるものとがあることを示している。運動学習の観点からは特に後者が重要であり、閉眼後方歩行の場合には、股関節と膝関節の間(HK)の協調パタンを調節することにより学習の進展を生み出していることが示唆される。このような示唆は、人間の直感による洞察以外に、従来のどのような解析手法からも得ることはできなかった。
図7は身体運動システム全体としての協調安定度を定量化したものである。図7の縦軸は、標準偏差行列Sの対角要素を除く上三角部分の平均値Saveであり、この値が大きいほど、全身レベルで見た関節屈曲進展運動が不安定であることを示す。1回目、2回目、3回目と学習が進むにつれて後方歩行の不安定度は徐々に減り、3回目の試技を過ぎると、不安定度はほぼ一定の値0.13程度に達する。すなわち、閉眼後方歩行の場合には、5分間の訓練を3回程度行えば身体全体としての動きは安定すると言える。この安定度の値を被験者間で比較すると、個人間の安定度の優劣あるいは習熟レベルがわかる。
図8は相関係数平均値の行列Rから得られた固有値の値を試技毎に示したものである。全ての試技において1以上の固有値は2個であった。ゆえに、閉眼後方歩行の自由度は学習の程度にかかわらず2であることがわかる。このことは、変量の計測には工夫が必要であるが、2個の変量をうまく同定し、計測すればシステム全体の状態を把握することが可能であることを示している。一方、固有値の大きさ自体は試技毎に異なっていることから、学習初期には明確なパタンを示さない混沌とした状態から学習が進むにつれて徐々に明確なパタンを示すようなシステムを対象とする場合には、固有値の値によって学習の進展にともなう自由度の変化特性を表現できる。
以上のトレッドミルにおける閉眼後方歩行の学習では、生体外のシステムを含まないデータの解析例であるが、本発明の方法は、連続ボールリフティングやジャグリング運動における動作技能の評価のように、生体の活動がボールの運動等の外的条件に相関するシステムにも適用できる。この場合、ボールの位置や速度等を外的システムの変量として同様に解析すれば、外的システムへの生体の対応能力を評価することもできる。またゴルフスイング、投球動作などの場合にも、ゴルフクラブの先端の位置や角度、ボールの位置や速度などを外的システムの変量として解析することができる。
トレッドミル上での閉眼後方歩行を行っている実験風景写真である。 身体標本点位置と関節角の定義である。 第1試技と第4試技における関節角度時系列データの例である。 本発明におけるデータの計算手順である。 試技1回目のシステムの各要素間の協調パタンの変化を表す棒グラフである。 試技2回目のシステムの各要素間の協調パタンの変化を表す棒グラフである。 試技3回目のシステムの各要素間の協調パタンの変化を表す棒グラフである。 試技4回目のシステムの各要素間の協調パタンの変化を表す棒グラフである。 試技1回目のシステムの各要素間の協調安定度の変化を表す棒グラフである。 試技2回目のシステムの各要素間の協調安定度の変化を表す棒グラフである。 試技3回目のシステムの各要素間の協調安定度の変化を表す棒グラフである。 試技4回目のシステムの各要素間の協調安定度の変化を表す棒グラフである。 試技毎のシステム全体の協調安定度の変化を表す棒グラフである。 試技毎のシステムの協調自由度の変化を表す棒グラフである。
符号の説明
KA (Knee−Ankle)膝関節−足関節
HA (Hip−Ankle)股関節−足関節
SA (Shoulder−Ankle)肩関節−足関節
HK (Hip−Knee)股関節−膝関節
SK (Shoulder−Knee)肩関節−膝関節
SH (Shoulder−Hip)肩関節−股関節

Claims (2)

  1. 同一の生体システムにおいて、同期して計測した複数の周期的生体信号時系列データについて単位周期毎に計算した時系列データ間の相関係数を相関行列として設定し、相関行列の成分毎に複数周期期間の平均値と標準偏差を計算した結果をもとに、相関係数平均値の行列で1以上となる固有値の個数を生体システムの協調自由度、相関係数平均値の行列を生体システムの協調パタン、相関係数標準偏差の行列を生体システムの協調安定度と定義したとき、この協調自由度、協調パタン、協調安定度から生体システムにおける機能の協調特性やその時間的変化様態を観察する測定法
  2. 同一の生体システム及び、生体の活動に関連するシステムにおける、請求項1記載の測定法
JP2004219388A 2004-06-30 2004-06-30 生体等多変量時系列データ評価法 Expired - Fee Related JP4752042B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004219388A JP4752042B2 (ja) 2004-06-30 2004-06-30 生体等多変量時系列データ評価法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004219388A JP4752042B2 (ja) 2004-06-30 2004-06-30 生体等多変量時系列データ評価法

Publications (2)

Publication Number Publication Date
JP2006015089A JP2006015089A (ja) 2006-01-19
JP4752042B2 true JP4752042B2 (ja) 2011-08-17

Family

ID=35789833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004219388A Expired - Fee Related JP4752042B2 (ja) 2004-06-30 2004-06-30 生体等多変量時系列データ評価法

Country Status (1)

Country Link
JP (1) JP4752042B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5659644B2 (ja) * 2010-09-13 2015-01-28 三菱化学株式会社 情報処理方法,情報処理システム,情報処理装置,情報処理用プログラムおよび同プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6828894B2 (ja) * 2017-05-09 2021-02-10 国立大学法人 筑波大学 評価装置、評価システム、評価方法及びプログラム
CN115813372A (zh) * 2022-09-30 2023-03-21 天津大学 基于运动学特征的卒中协调稳定性运动功能评估装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3569188B2 (ja) * 2000-02-14 2004-09-22 日本電信電話株式会社 ウォーキング判定装置
JP2001283134A (ja) * 2000-03-28 2001-10-12 Sharp Corp 状態の判定・予測方法
JP2005502937A (ja) * 2001-05-15 2005-01-27 サイコジェニックス・インコーポレーテッド 行動情報工学を監視するシステムおよび方法
JP2003038469A (ja) * 2001-05-21 2003-02-12 Shigeru Ota 運動機能測定装置および運動機能測定システム
GB0113212D0 (en) * 2001-05-31 2001-07-25 Oxford Biosignals Ltd Patient condition display
JP4146222B2 (ja) * 2001-12-25 2008-09-10 農工大ティー・エル・オー株式会社 足動解析システム
JP2003228701A (ja) * 2002-02-05 2003-08-15 Japan Science & Technology Corp 跛行診断システム
JP2004167055A (ja) * 2002-11-21 2004-06-17 Yaskawa Electric Corp 歩行訓練装置の評価方法
JP4243684B2 (ja) * 2003-10-07 2009-03-25 独立行政法人産業技術総合研究所 歩行動作検出処理装置および歩行動作検出処理方法

Also Published As

Publication number Publication date
JP2006015089A (ja) 2006-01-19

Similar Documents

Publication Publication Date Title
Lohse et al. The role of attention in motor control.
JP5158824B2 (ja) 筋シナジー解析方法、筋シナジー解析装置、及び筋シナジーインターフェース
Frère et al. Between-subject variability of muscle synergies during a complex motor skill
Cowley et al. Inter-joint coordination changes during and after muscle fatigue
US10004455B2 (en) Realtime biofeedback mechanism and data presentation for knee injury rehabilitation monitoring and a soft real time intelligent system thereof
Barzilay et al. Adaptive rehabilitation games
Bronner Differences in segmental coordination and postural control in a multi-joint dance movement: developpe arabesque
Kutilek et al. Prediction of lower extremities' movement by angle-angle diagrams and neural networks.
JPH01502005A (ja) 運動の調和を分析する装置および方法
Zago et al. Multi-segmental movement patterns reflect juggling complexity and skill level
Błażkiewicz Muscle force distribution during forward and backward locomotion
Miura et al. Relationship between muscle cocontraction and proficiency in whole-body sensorimotor synchronization: a comparison study of street dancers and nondancers
JP7432430B2 (ja) 動作支援装置および動作支援方法
Bonnefoy et al. Muscle activation during a reach-to-grasp movement in sitting position: influence of the distance
JP4752042B2 (ja) 生体等多変量時系列データ評価法
Muraszkowski et al. The concept of mobile system of analysis and visualization of human gait parameters
Guo et al. Upper limb muscle force estimation during table tennis strokes
Wang Autocorrelation analysis of lower limb EMG signals for the initial evaluation of hemiparetic gaits
Jacobs et al. Do Performers’ Experience and Sex Affect Their Performance?
Sakr Women's Hammer Throw: Measurement Information System and Kinetic Energy of Body Segments and Hammer Head
Frayne et al. Synergistic control of hand position, velocity, and acceleration fluctuates across time during simulated Nordic skiing
Tennakoon et al. A novel musculoskeletal imbalance identification mechanism for lower body analyzing gait cycle by motion tracking
KISS BÁLINT PETRÓ
Heise Segment interactions of the arm during the practice of a novel, multijoint throwing skill
Frayne Integrating the Spine into Full Body Movement: Motor Synergies and Skill

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110427

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees