JP3625410B2 - 補聴器フィッティング装置 - Google Patents

補聴器フィッティング装置 Download PDF

Info

Publication number
JP3625410B2
JP3625410B2 JP2000077741A JP2000077741A JP3625410B2 JP 3625410 B2 JP3625410 B2 JP 3625410B2 JP 2000077741 A JP2000077741 A JP 2000077741A JP 2000077741 A JP2000077741 A JP 2000077741A JP 3625410 B2 JP3625410 B2 JP 3625410B2
Authority
JP
Japan
Prior art keywords
hearing aid
solution
solution vector
sound source
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000077741A
Other languages
English (en)
Other versions
JP2001197597A (ja
Inventor
政博 渡辺
真一 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rion Co Ltd
Original Assignee
Rion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rion Co Ltd filed Critical Rion Co Ltd
Priority to JP2000077741A priority Critical patent/JP3625410B2/ja
Priority to DE2000153179 priority patent/DE10053179A1/de
Publication of JP2001197597A publication Critical patent/JP2001197597A/ja
Application granted granted Critical
Publication of JP3625410B2 publication Critical patent/JP3625410B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、遺伝的アルゴリズム(GA)による対話型進化的計算(IEC)を用いてフィッティングを行う補聴器フィッティング装置に関する。
【0002】
【従来の技術】
一般的な補聴器は、数種類の調整機能を有する。これらの調整機能には、例えば、サブボリューム、出力制限、音質調整(主にフィルタを用いた周波数特性変更装置)、自動利得調整(AGC)などがあり、各調整機能の調整度合はユーザーもしくは調整者(医師、販売店員等)により自由に変更可能になっている。
【0003】
補聴器フィッティングとは、各調整機能の調整度合(調整値)を個々の難聴者にとって最適な値に設定する作業であり、難聴者の聴力図(オージオグラム)を測定し、その結果を定められた処方式に代入して調整値を得るものがほとんどであった。
しかし、このような方法とは一線を画するものとして、最適解推定問題等に用いられる遺伝的アルゴリズム(GA)を用いた、対話型進化的計算(IEC)フィッティング法が提案されている。
【0004】
この方法は、各調整機能の調整度合いを要素とする多次元ベクトルを解ベクトル(染色体)とし、各解ベクトルに応じて処理された音声等の音源を難聴者に提示した上で、各解ベクトルに対する難聴者の評価値を基に遺伝的アルゴリズム(GA)を実施し、最適解ベクトルを推定するものである。
このような方法によれば、難聴者本人が主観的に最も聞き易いと感じるようなフィッティング結果を、各調整機能の最適調整値を個別に算出するのではなく、各調整機能間の相互作用も加味した上で算出することができる。
【0005】
従来、この種の装置としては、特開平9−54765号公報に記載の最適化調整装置が知られている。この最適化調整装置は、IECフィッティング法において、被験者による過去の評価特性やその被験者の生理データを利用し、加えて、評価の途中で評価点順に解ベクトルを適宜並べ替えて、効率よく最適解ベクトルを探索できるようにしている。
【0006】
【発明が解決しようとする課題】
しかし、このようなフィッティング方法は、“対話型”であるがために、フィッティングに時間がかかるという問題があった。つまり、解ベクトルに応じて処理された音源を聴取した難聴者が、その解ベクトルに対する評価値を決定するまでの時間が、個々の難聴者によって様々であり、しかもその解ベクトルに対する評価値が入力されるまで次のステップへ進まないため、フィッティングに要する時間が予測できないという問題があった。
【0007】
本発明は、従来の技術が有するこのような問題点に鑑みてなされたものであり、その目的とするところは、より正確で現実に即したフィッティングを行うことができると共に、被験者の意思に従い不快感を与えず且つ一定時間内で確実にフィッティングを行うことができる補聴器フィッティング装置を提供しようとするものである。
【0008】
【課題を解決するための手段】
上記課題を解決すべく請求項1に係る発明は、更新する解ベクトルの初期集合を決定する初期解設定手段と、解ベクトルを補聴器の調整パラメータ値に変換して補聴器の補聴パラメータ記憶部に書き込むパラメータ書き込み手段と、各解ベクトルに対する被験者の評価値を獲得する評価値獲得手段と、各解ベクトルの値と各解ベクトルに対する評価値を基に最適解を推定する最適解推定手段と、被験者が各解ベクトルの評価を行うための音源を補聴器に提示するための音源提示手段と、この音源提示手段が一定時間間隔で前記音源を順次提示するためのタイマ手段を備えるものである。
【0009】
請求項に係る発明は、請求項1記載の補聴器フィッティング装置において、前記被験者が前記評価値を応答していない解ベクトルが存在する場合に、その世代の最後の解ベクトルに関する音源の提示を終了した後に、前記被験者が前記評価値を応答していない解ベクトルに関する音源の提示を再度行うものである。
【0010】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて説明する。ここで、図1は本発明に係る補聴器フィッティング装置の構成図、図2は同じくフローチャートである
【0011】
本発明に係る補聴器フィッティング装置は、図1に示すように、タイマ1と、音源提示部2と、パラメータ作成部3からなる。なお、4はいわゆるプログラマブル補聴器、5は補聴処理された音声や環境音などをプログラマブル補聴器4に提示するスピーカである。
【0012】
タイマ1は、所定の時間間隔でパラメータ作成部3のパラメータ書き込み部3bにプログラマブル補聴器4のパラメータ記憶部4eへのパラメータ書き込みを指示する制御信号を出力すると共に、音源提示部2に音源の提示開始のタイミングなどを指示する制御信号を出力する。
【0013】
音源提示部2は、タイマ1からの制御信号を受けて、スピーカ5から音源をプログラマブル補聴器4に向けて提示する。音源には、単語や短文などの音声信号や、補聴器の使用環境に応じた環境騒音などを使用する。
【0014】
パラメータ作成部3は、初期解設定部3aと、パラメータ書き込み部3bと、評価値獲得部3cと、最適解推定部3dから構成される。
【0015】
プログラマブル補聴器4は、マイクロフォン4a、増幅器4b、補聴処理部4c、イヤホン4d、パラメータ記憶部4eから構成される。ここで、パラメータ書き込み部3bは、プログラマブル補聴器4のパラメータ記憶部4eに接続されている。
【0016】
初期解設定部3aは、初期の解ベクトルの集合を設定する。ここで解ベクトルは、対象となるプログラマブル補聴器4の各調整機能の調整値から構成される。
パラメータ書き込み部3bは、初期解設定部3aで設定された解ベクトルもしくは最適解推定部3dで推定された解ベクトルを、プログラマブル補聴器4の調整機能のパラメータに変換してプログラマブル補聴器4のパラメータ記憶部4eに書き込む機能を有する。
【0017】
評価値獲得部3cは、プログラマブル補聴器4の補聴処理部4cで処理された音源を被験者が聴取した際の、処理された音源に対する被験者の評価の値を獲得する。
最適解推定部3dは、各解ベクトルと評価値獲得部3cで得られた各解ベクトルに対する被験者の評価値を用いて遺伝的アルゴリズム(GA)を実施し、新たな解ベクトル集合を生成する。
【0018】
以上のように構成した本発明に係る補聴器フィッティング装置の作用について、図2に示すフローチャートにより説明する。
先ず、ステップSP1において、難聴者のオージオグラムを測定し、ステップSP2において、測定したオージオグラムを用いて、既知の補聴器フィッティング処方式により、フィッティング中に過大音や過小音が出力されないよう音量調整や出力制限の調整値の探索範囲を制限する制限範囲を算出する。
【0019】
次いで、ステップSP3において、遺伝的アルゴリズム(GA)を実施するための、プログラマブル補聴器4の各調整機能の調整値から構成される解ベクトルの初期値の集合、いわゆる初期解ベクトル集合pk(k=1,2,3……,n)を設定する。ここでは、n=20としている。
【0020】
初期解ベクトル集合pk(k=1,2,3……,n)は、通常の遺伝的アルゴリズム(GA)では乱数等を用いてランダムに決定されるが、前記したステップSP2において、フィッティング中に過大音や過小音が出力されないように、音量調整や出力制限の調整値の探索範囲に制限を設けている。
【0021】
ステップSP4で初期設定(k=1)した後、ステップSP5において、パラメータ書き込み部3bにより、解ベクトルp1をプログラマブル補聴器4のパラメータに変換し、ステップSP6において、パラメータをプログラマブル補聴器4のパラメータ記憶部4eに書き込む。
【0022】
次いで、ステップSP7において、音源提示部2により音源が再生され、スピーカ5よりプログラマブル補聴器4に提示される。被験者はプログラマブル補聴器4の出力音(つまり、解ベクトルp1に応じて補聴処理された音源)を聴取する。音源が所定時間だけプログラマブル補聴器4に提示されると、ステップSP8で音源の提示が終了する。
【0023】
次いで、ステップSP9において、タイマ1が起動し、予め定められた評価値獲得のための時間(設定時間T0)のカウントを開始する。なお、ステップSP7における音源提示と同時にタイマ1を起動させ、音源提示から評価値獲得までの時間をタイマ1の設定時間T0としてもよい。
【0024】
ステップSP10において、評価値獲得部3cは、タイマ1が設定時間T0をカウントし終わるまでに、その提示音に対する被験者の評価値E1を得る。
評価値E1は、提示音に対する快適性、明瞭性などに基づく、被験者の主観的な評価を表す数値であり、ここでは1〜5の5段階とし、1が最も評価が低く、5が最も評価が高いものとしている。
【0025】
設定時間T0が経過した後、ステップSP11において、タイマ1は、タイムアップし、リセットされる。そして、kが20になったか否かを判断するステップSP12と、kをk+1に置き換えるステップSP13を経て、再度ステップSP5に進む。
【0026】
ステップSP5では、解ベクトルp2をプログラマブル補聴器4のパラメータに変換し、このパラメータをステップSP6でパラメータ記憶部4eに書き込み、ステップSP7で解ベクトルp2に応じて補聴処理された音源をスピーカ5により提示し、その提示音に対する被験者の評価値E2の獲得がステップSP10で行われる。なお、パラメータがパラメータ記憶部4eに書き込まれるタイミングは、所定の時間間隔でタイマ1の制御信号により指示される。
【0027】
以下、同様にステップSP5〜ステップSP13を繰り返し、解ベクトルp3,p4,……,p20について、解ベクトルp3,p4,……,p20に応じて補聴処理された音源の提示、その提示音に対する被験者の評価値E3,E4,……,E20の獲得が行われる。
【0028】
評価値E1〜E20の全てが獲得されると、ステップSP14において、所定の終了条件を満たしているか否か判断する。所定の終了条件を満たしていると判断した場合には、フィッティングを終了する。そして、現在の解ベクトル集合pk(k=1,2,3……,n)の中で最も高い評価値を得た解ベクトルpkを最終フィッティング値とする。
【0029】
一方、終了条件を満たしていないと判断した場合には、ステップSP15において、現在の解ベクトル集合pk(k=1,2,3……,n)と各解ベクトルpkに対する評価値Ekを用いて遺伝的アルゴリズム(GA)における選択、交叉及び突然変異を実施し、新たな解ベクトル集合p'kを生成する。
【0030】
そして、新たな解ベクトル集合p'k(k=1,2,3……,n)について、上記操作(SP4〜SP14)を再度行う。ここで、所定の終了条件とは、遺伝的アルゴリズム(GA)の進化を終了するための条件であり、例えば、進化の回数を予め決めておいて、その回数になったら自動的に終了するようにすればよい。
【0031】
また、過大音、過小音の提示を回避するために、ステップSP2において、音量調整器と出力制限器の調整値に範囲制限を設けているが、範囲制限を設ける調整器はこれら2つに限らず、目的に応じて、AGCの調整器や音質調整器等の他の調整器に同様の範囲制限を行ってもよい。
【0032】
加えて、解ベクトルpkの探索空間の制限範囲の決定をオージオグラムと既知のフィッティング処方式を用いて行っているが、予め音源記憶部に所定の検査用信号(純音、バンドノイズなど)を用意しておき、その信号を用いて被験者の最小可聴閾値(HTL)及びまたは不快閾値(UCL)、快適値(MCL)等を求め、それらの値に応じて調整器の値に制限を設けてもよい。
【0033】
また、終了条件としては、遺伝的アルゴリズム(GA)の進化の回数の他に、Ek=5の解ベクトルpkが所定の数を超えたら終了するようにしてもよいし、Ekの平均値が所定の値を超えたら終了するようにしてもよい。
また、各解ベクトルpk間のユークリッド距離等から遺伝的アルゴリズム(GA)の収束状態を推定し、収束状態が一定のレベルを超えたら終了するようにしてもよい。
【0034】
また、現在の解ベクトル集合pk(k=1,2,3……,n)の中で最も高い評価値を得た解ベクトルpkを最終フィッティング値としているが、最高点(5点)の解ベクトルpkが複数存在することも考えられる。この場合は、どれか一つを最終フィッティング値としてランダムに選択してもよいし、被験者に最高点の解ベクトルpkだけ再度試聴してもらった上で好みの解ベクトルpkを選択させてもよい。
【0035】
ただし、以上のように構成された本発明に係る補聴器フィッティング装置においては、被験者が予め定められた所定の時間(タイマ1の設定時間T0)内に評価値Ekを応答しない場合が考えられる。つまり、評価値の選定に悩んでいるうちに設定時間T0が経過し、次の音源が提示されてしまう場合である。
【0036】
原理上、遺伝的アルゴリズム(GA)は、全ての解ベクトルpkに対する評価値Ekを全て獲得しないと進化することができない(新解ベクトル集合p'k(k=1,2,3……,n)を算出することができない)ので、評価値Ekを獲得していない解ベクトルpkが存在すると、そこでフィッティングの作業が停止してしまう。
【0037】
このような問題を解決するためには、被験者が評価値を応答していなかった解ベクトルpa,pb,……を記憶しておき、解ベクトルp1〜p20に応じて補聴処理された音源の提示及びそれに対する評価(未応答を含む)が終了した後に、被験者が評価値を応答していなかった解ベクトルpa,pb,……について再度提示し、Ea,Eb,……を獲得するプロセスを、解ベクトルp1〜p20の評価値E1〜E20が全て獲得されるまで繰り返す必要がある。
【0038】
【発明の効果】
以上説明したように請求項1に係る発明によれば、難聴者の主観的な評価に忠実な補聴器フィッティングを、一定の時間内で確実に行うことができる。
【0039】
請求項に係る発明によれば、被験者が評価値を応答していなかった解ベクトルに関する評価値を確実に獲得することができ、難聴者の主観的な評価に忠実な補聴器フィッティングを、被験者の意思に従って不快感を与えず且つ一定の時間内で確実に行うことができる。
【図面の簡単な説明】
【図1】本発明に係る補聴器フィッティング装置の構成図
【図2】本発明に係る補聴器フィッティング装置のフローチャート
【符号の説明】
1…タイマ、2…音源提示部、3…パラメータ作成部、3a…初期解設定部、3b…パラメータ書き込み部、3c…評価値獲得部、3d…最適解推定部、4…プログラマブル補聴器、4e…パラメータ記憶部、5…スピーカ。

Claims (2)

  1. 更新する解ベクトルの初期集合を決定する初期解設定手段と、解ベクトルを補聴器の調整パラメータ値に変換して補聴器の補聴パラメータ記憶部に書き込むパラメータ書き込み手段と、各解ベクトルに対する被験者の評価値を獲得する評価値獲得手段と、各解ベクトルの値と各解ベクトルに対する評価値を基に最適解を推定する最適解推定手段と、被験者が各解ベクトルの評価を行うための音源を補聴器に提示するための音源提示手段と、この音源提示手段が一定時間間隔で前記音源を順次提示するためのタイマ手段を備えることを特徴とする補聴器フィッティング装置。
  2. 前記被験者が前記評価値を応答していなかった解ベクトルが存在する場合に、その世代の最後の解ベクトルに関する音源の提示を終了した後に、前記被験者が前記評価値を応答していなかった解ベクトルに関する音源の提示を再度行うことを特徴とする請求項1記載の補聴器フィッティング装置。
JP2000077741A 1999-10-29 2000-03-21 補聴器フィッティング装置 Expired - Fee Related JP3625410B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000077741A JP3625410B2 (ja) 1999-11-01 2000-03-21 補聴器フィッティング装置
DE2000153179 DE10053179A1 (de) 1999-10-29 2000-10-26 Hörgeräte-Anpassungsvorrichtung

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP31050099 1999-11-01
JP11-310500 1999-11-01
JP2000077741A JP3625410B2 (ja) 1999-11-01 2000-03-21 補聴器フィッティング装置

Publications (2)

Publication Number Publication Date
JP2001197597A JP2001197597A (ja) 2001-07-19
JP3625410B2 true JP3625410B2 (ja) 2005-03-02

Family

ID=26566346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000077741A Expired - Fee Related JP3625410B2 (ja) 1999-10-29 2000-03-21 補聴器フィッティング装置

Country Status (1)

Country Link
JP (1) JP3625410B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040019147A (ko) * 2002-08-26 2004-03-05 세기스타 주식회사 보청기의 피팅방법
DE102005032273B8 (de) * 2005-07-11 2009-08-13 Siemens Audiologische Technik Gmbh Hörgerätesystem, Hörgerät und entsprechendes Verfahren zu dessen Einstellung
CN101682822A (zh) * 2007-06-13 2010-03-24 唯听助听器公司 使用者个性化适配助听器的方法
KR100933713B1 (ko) 2008-03-25 2009-12-24 주식회사 바이오사운드랩 청력 측정 및 보정 기능을 갖는 보청기 및 그 제어 방법
KR101000168B1 (ko) 2008-10-16 2010-12-10 인하대학교 산학협력단 주파수 밴드 및 채널의 가변이 가능한 디지털 보청기 피팅 시스템
JP4525856B1 (ja) * 2009-12-01 2010-08-18 パナソニック株式会社 補聴器フィッティング装置
JP5036888B1 (ja) 2011-03-31 2012-09-26 パナソニック株式会社 補聴器調整装置、補聴器調整方法、および補聴器調整用プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4548082A (en) * 1984-08-28 1985-10-22 Central Institute For The Deaf Hearing aids, signal supplying apparatus, systems for compensating hearing deficiencies, and methods
JPH0636857Y2 (ja) * 1986-07-28 1994-09-28 株式会社ナムコ 反射神経ゲ−ム装置
JPH03185251A (ja) * 1989-12-14 1991-08-13 Mitsubishi Electric Corp 故障診断装置
JP3300584B2 (ja) * 1994-11-24 2002-07-08 松下電器産業株式会社 最適化調整方法と最適化調整装置
JP3145317B2 (ja) * 1996-09-30 2001-03-12 リオン株式会社 聴力検査装置

Also Published As

Publication number Publication date
JP2001197597A (ja) 2001-07-19

Similar Documents

Publication Publication Date Title
CN112334057B (zh) 听力辅助装置的听力评估和配置
US9943253B2 (en) System and method for improved audio perception
US7343021B2 (en) Optimum solution method, hearing aid fitting apparatus utilizing the optimum solution method, and system optimization adjusting method and apparatus
JP4558044B2 (ja) 聴力図に基づいたイコライゼーション方法及び該装置
JP5129954B2 (ja) 遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム
AU2010213370C1 (en) Automated fitting of hearing devices
US10341790B2 (en) Self-fitting of a hearing device
JP2016525315A (ja) 適切なサウンドスケープを表す音声セグメントを用いた補聴器フィッティングシステムおよび方法
CN103081513B (zh) 听力装置的基于视觉的选配
JP3625410B2 (ja) 補聴器フィッティング装置
JP2001175637A (ja) システム最適化方法及びその装置
JP3588294B2 (ja) 補聴器の最適化調整方法及びその装置
JP3797834B2 (ja) 補聴器フィッティング装置
US7515720B2 (en) Method and device for adapting hearing aids
JP3629183B2 (ja) 補聴器フィッティング装置
Bramsløw et al. Hearing aids
Schlauch Loudness
US12101604B2 (en) Systems, devices and methods for fitting hearing assistance devices
Pausch Spatial audio reproduction for hearing aid research: System design, evaluation and application
US20220369053A1 (en) Systems, devices and methods for fitting hearing assistance devices
Yadav et al. Towards a method for loudness-based analysis of the sound of one's own voice
Sokolova Applications of Open Source Software for Hearing Aid Amplification and Hearing Loss Simulation
CN118044229A (zh) 自适应听力健康控制
WO2023209164A1 (en) Device and method for adaptive hearing assessment
WO2024039449A1 (en) Customized selective attenuation of game audio

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3625410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091210

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101210

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111210

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121210

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121210

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees