JP3257379B2 - 話速変換機能付補聴器 - Google Patents

話速変換機能付補聴器

Info

Publication number
JP3257379B2
JP3257379B2 JP31987695A JP31987695A JP3257379B2 JP 3257379 B2 JP3257379 B2 JP 3257379B2 JP 31987695 A JP31987695 A JP 31987695A JP 31987695 A JP31987695 A JP 31987695A JP 3257379 B2 JP3257379 B2 JP 3257379B2
Authority
JP
Japan
Prior art keywords
wearer
speech speed
hearing aid
speed conversion
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31987695A
Other languages
English (en)
Other versions
JPH09163499A (ja
Inventor
克文 近藤
幸司 谷高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP31987695A priority Critical patent/JP3257379B2/ja
Publication of JPH09163499A publication Critical patent/JPH09163499A/ja
Application granted granted Critical
Publication of JP3257379B2 publication Critical patent/JP3257379B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、低下した聴覚機
能を補助する補聴器に関し、特に取り込んだ音声信号を
時間軸上で伸長する話速変換処理を行って、装用者にゆ
っくり、はっきり聴かせる話速変換機能付補聴器に関す
る。
【0002】
【従来の技術】従来より、低下した聴覚機能を補助する
装置として補聴器が使用されている。ところで、聴力の
低下が老齢化による場合等では、最小可聴信号レベルの
上昇や高音域の聴取機能の低下のみならず音声識別臨界
速度(音声を識別することができる最大の話速)も低下
している。このような人には、単に音声の増幅や周波数
特性のみを加工するのではなく、取り込んだ音声信号を
時間軸上で伸長する時間特性の加工も同時に行い、補聴
器の装用者にゆっくり、はっきり聴かせることが望まし
い。このような要望から、最近では音声信号を時間軸上
で伸長する加工(話速変換処理)を行う話速変換機能付
補聴器が提案されはじめている。
【0003】
【発明が解決しようとする課題】ところで、人は発声を
する場合、無意識の内に聴覚フィードバックと呼ばれる
自分が発した音声を聞いて次の音声の発声タイミングや
発声する音声の大きさ等の制御を行っているため、補聴
器の装用者の声も増幅してフィードバックしてやる必要
があるが、自分の音声を話速変換処理により遅延すると
正常な発声制御を行うことができなくなるという問題が
ある。したがって、装用者に正常な発声を行わせるため
には、装用者自身の発した音声に対して話速変換処理を
禁止する必要がある。
【0004】しかしながら、従来提案されている話速変
換機能付補聴器は話速変換処理を禁止するかどうかを切
り換えるスイッチを設けておき、話速変換処理を禁止す
るかどうかを装用者自身にスイッチを切り換えさせるも
のであった。このため、会話をしているときに、装用者
は話者が交代する毎にこのスイッチの切り換えを頻繁に
行わなければならないため、スイッチの切り換えに手間
がかかり、会話がスムーズに行えなくなり、実用的なも
のであるとは言えなかった。
【0005】この発明の目的は、装用者が発した音声に
対しては話速変換処理を禁止し、外来音に対しては話速
変換処理を有効にする切り換えを自動的に行う話速変換
機能付補聴器を提供することにある。
【0006】
【課題を解決するための手段】この発明は、音声信号を
取り込むマイクロホンと、前記音声信号を時間軸上で伸
長する加工を行う話速変換手段と、装用者の耳穴に音声
信号を空気振動に変換して送出するレシーバを有する装
耳部と、を備えた補聴器であって、装用者の外耳道の形
状変化を検出する検出手段と、 該検出手段の出力の変化
に基づいて該装用者の発声動作を検出する発声動作検出
手段と、前記発声動作検出手段が装用者の発声動作を検
出している間前記音声信号に対して前記話速変換手段に
よる加工を禁止する禁止手段と、を備えたことを特徴と
する。
【0007】この構成では、人は発声を行うときに外耳
道が変形する(口を動かすと外耳道の形状が変化す
る。)という性質を利用して、装用者の外耳道の形状変
化に基づいて装用者の発声動作を検出する。そして、装
用者の発声動作を検出するとマイクロホンで取り込んだ
音声信号に対する話速変換処理を禁止する。このため、
補聴器の装用者に、話速変換されていない自分の発した
音声を聴かせることができ、正常な発声を行わせること
ができる。また、装用者自身がスイッチ操作等によって
話速変換処理を禁止するかどうかを切り換える必要もな
いので、会話がスムーズに行える。
【0008】さらに、人は発声の前に口を動かすので、
外耳道の形状の変化は発声される音声よりも先行して生
じる。したがって、装用者の発声に先行して時間的余裕
を持って、話速変換処理を禁止することができ、スイッ
チ操作をしなくても確実に話速変換処理を有効または禁
止にすることができる。
【0009】
【実施の形態】図1は、この発明の実施の形態である話
速変換機能付補聴器(以下、単に補聴器と言う。)の構
成を示すブロック図である。補聴器1は、装用者の耳穴
に挿入される装耳部2と、音声信号に対する信号処理を
行う本体部3とを備えている。装耳部2と本体部3とは
信号線等のケーブルによって電気的に接続される。装耳
部2には音声信号を取り込むマイクロホン11と、この
マイクロホン11で取り込んだ音声信号を増幅して本体
部3へ送出する増幅器12と、装用者の外耳道に音声信
号を空気振動に変換して送出するレシーバ13と、装用
者の外耳道の形状変化を検出する歪みセンサ14と、を
備えている。また、本体部3には、増幅器12から送出
された音声信号を取り込んで、該音声信号に対し話速変
換処理等の加工を行う信号処理部21と、前記歪みセン
サ14の出力を取り込んで装用者の発声動作を検出し話
速変換処理を禁止するかどうかを設定する発声動作検出
部22とを備えている。
【0010】この補聴器1では、後述する処理によって
補聴器1の装用者の発声動作を検出し、装用者の発声動
作を検出している間マイクロホン11で取り込んだ音声
信号に対する話速変換処理を禁止し増幅や周波数変換等
の加工だけを行ってレシーバ13から装用者の耳穴に送
出し、外来音(他人が発した音声等)であると識別した
ときには話速を変換するとともに増幅や周波数変換等も
行ってレシーバ13から装用者の耳穴に送出する。
【0011】図2(A)は、この発明の実施の形態であ
る補聴器における装耳部2の外観を示す平面図である。
装耳部2は、耳穴に挿入するアダプタ部分と、耳にかけ
る耳かけ部分とから形成されている。アダプタ部分はシ
リコンゴム等の柔らかい材料で形成されている。図2
(B)に示すようにアダプタ部分は傘のような形状であ
り、耳穴に挿入されたときに先端の広がった部分(先端
部)の外周面が外耳道に接触する。また、アダプタ部分
の先端部の内側に歪みセンサ14が取り付けられてい
る。歪みセンサ14は、アダプタ部分の先端部の形状変
化を検出することで外耳道の形状変化を検出する。さら
に、上記したように挿入部分をシリコンゴム等の柔らか
い材料で形成し、耳穴に挿入したときには広範囲にわた
って先端部の外周面を外耳道に接触させることにより、
歪みセンサ14による外耳道の形状変化の検出精度を高
くしている。なお、アダプタ部分を圧電ゴムで形成し
て、歪みセンサを不要にすることもできる。
【0012】また、耳かけ部分はモールド樹脂やアルミ
等の比較的固い材料で形成されており、マイクロホン1
1、増幅器12、および、レシーバ13が取り付けられ
ている。このように、耳かけ部分にマイクロホン11を
設けているので、レシーバ13では実際の耳の位置にお
ける音場を再現でき、装用者に外来音の発声方向を正確
に認識させることができる。
【0013】図3は、信号処理部の構成を示すブロック
図である。信号処理部21には、アンチエリアシングフ
ィルタ31、A/D変換回路32、DSP回路33、D
/A変換回路34、ローパスフィルタ35、イコライザ
36、アンプ37、を備えている。アンチエリアシング
フィルタ31は、入力されるアナログ信号からA/D変
換回路32のサンプリング周波数の1/2以上の高音域
をカットするローパスフィルタであり、A/D変換によ
り発生する歪みを防止するために設けている。A/D変
換回路32は、アンチエリアシングフィルタ31で高音
域をカットされたアナログ信号をディジタル信号に変換
する。例えば、A/D変換回路32のサンプリング周波
数を16kHzとすると、アンチエリアシングフィルタ
31では8kHz以上の高音域をカットする。なお、こ
こではアンチエリアシングフィルタ31がA/D変換回
路32のサンプリング周波数の1/2以上の高音域をカ
ットするとしたが、アンチエリアシングフィルタ31で
はA/D変換による歪みを防止する高音域をカットすれ
ばよく、本願発明がこの1/2と言う値に限定されるの
ではない。DSP回路33は、予め記憶しているマイク
ロプログラムに基づいて、A/D変換回路32でA/D
変換された音声信号に対して、話速変換処理、周波数変
換等を含む加工を行う。そして、DSP回路33から出
力された信号がD/A変換回路34においてアナログ信
号に変換され、ローパスフィルタ35、イコライザ3
6、アンプ37を介してレシーバ13に送られる。な
お、A/D変換回路32、DSP回路33、および、D
/A変換回路34には図示していないクロック回路から
クロックが供与されており、DSP回路33に与えるク
ロックを分周してA/D変換回路32、D/A変換回路
34にクロックを供与している。装耳部2のレシーバ1
3では、本体部3から送られてきたアナログ信号を空気
振動に変換して装用者の外耳道に放出し、マイクロホン
11で取り込まれ加工された音声信号を装用者に聴かせ
る。
【0014】ここで、発声動作検出部22における発声
検出処理を詳細に説明する。上述したように人は口を動
かすと、外耳道が変形するという性質があり、外耳道の
変形に伴って歪みセンサ14の検出出力が変化する。図
4に発声時における歪みセンサの出力変化を示す。歪み
センサ14の検出出力の変化点はT1であるが、発声は
時間t1遅れたT2から開始されている。また、発声の
終了は時間T3であるが、歪みセンサ14の検出出力の
変化が終了する点は時間t2遅れたT4である。すなわ
ち、外耳道の形状変化は発声している時間幅よりも長く
継続し、且つ、この発声している時間幅を含んでいる。
したがって、外耳道が形状変化をしている間、すなわち
歪みセンサ14の出力値が変化している間のみマイクロ
ホンで取り込んだ信号に対する話速変換処理を禁止して
おけば、装用者に話速変換処理されていない自分が発声
した音声を聴かせることができるとともに、話速変換処
理された外来音を聴かせることができる。
【0015】図5は、発声動作検出部における処理を示
す図である。歪みセンサ14の検出信号は常に発声動作
検出部22に入力されている。発声動作検出部22は、
歪みセンサの出力を一定時間間隔でサンプリングし(n
1)、前回のサンプリング値と今回のサンプリング値と
の差(変化量)を算出する(n2)。そして、この算出
した変化量が予め設定されている閾値よりも大きいかど
うかを判定する(n3)。n3において、変化量が閾値
より大きいと判定すると信号処理部21に対して話速変
換処理の禁止を設定し(n4)、変化量が閾値より小さ
いと判定すると信号処理部21に対して話速変換処理の
有効を設定する(n5)。
【0016】このように発声動作検出部22が、信号処
理部21に対して話速変換処理の禁止または有効を設定
することで、装用者が発した音声には話速変換処理が禁
止され、外来音に対しては話速変換処理が有効とされ
る。したがって、装用者に話速変換処理されていない自
分が発声した音声を聴かせることができるとともに、話
速変換処理された外来音を聴かせることができる。
【0017】また、アダプタ部分を耳穴に挿入すると歪
みセンサ14が変形して、検出値にオフセット(off
set(図4参照))が生じ、装用者の耳穴の形状や、
アダプタ部分を耳穴に挿入した状態の違い等によりこの
オフセット値が異なるが、この発明の実施の形態では歪
みセンサ14の出力の変化量により外耳道の形状変化か
ら装用者の発声の動作を検出する構成としたので、オフ
セット値の大きさに無関係にマイクロホン11で取り込
んだ音声が装用者が発声した音声か外来音であるかを正
確に検出することができる。
【0018】図6は、同補聴器の処理を示すフローチャ
ートである。装耳部2に設けられたマイクロホン11で
取り込まれた音声信号は、増幅器12で増幅され本体部
3に送られる。本体部3では、アンチエリアシングフィ
ルタ31でこの音声信号の高音域をカットした後にA/
D変換回路32でディジタル信号に変換する(n1
1)。このディジタル信号に変換された音声信号は、D
SP回路33に取り込まれる(n12)。そして、この
DSP回路33に取り込まれた音声信号に対して話速変
換処理が禁止されているかどうかを判定する(n1
3)。なお、発声動作検出部22が信号処部21に対し
て話速変換処理を禁止するかどうかを設定している。発
声動作検出部22におけるこの処理は上述したように装
用者の発声動作を検出し、発声動作を検出している間信
号処理部21に対して話速変換処理を禁止するという処
理である。したがって、信号処理部21においてはマイ
クロホン11で取り込んだ音声信号の話者が装用者であ
るときには話速変換処理の禁止が設定されており、話者
が装用者でないときには話速変換処理を有効にする設定
がされている。
【0019】n13において話速変換処理が禁止されて
いない場合には、DSP回路33ではn12において取
り込んだ音声信号に対して話速変換処理を行う(n14
〜n22)。一方、話速変換処理が禁止されていると、
DSP回路33ではn12において取り込んだ音声信号
に対して話速変換処理を実行せずn23の処理を行う。
n23では、取り込んだ音声信号に対して話速変換処理
以外の聴力保障手段、例えば各周波数で聴力に対応した
増幅等のその他の処理を実行する。そして、加工したデ
ィジタルデータをD/A変換回路34に出力する(n2
4)。
【0020】以下、n14〜n22の話速変換処理につ
いて詳細に説明する。ここで、この実施の形態における
話速変換処理は単に全ての信号を均一に伸長するのでは
なく、無音区間と母音区間(有声音区間)は伸長し、子
音区間(無声音区間)は伸長せずに出力する。これは、
人はゆっくり話す場合に発音の間隔すなわち無音区間を
長くするとともに母音の発音時間も長くするが、子音の
発音時間は殆ど変化させないので、無音区間と母音区間
(有声音区間)を伸長し、子音区間(無声音区間)を伸
長せずに出力することが自然な音声の伸長(話速変換)
となるからである。これに対して、単に全ての信号を均
一に伸長すると、間延びした音声となり、音声の明瞭度
が低下してしまう。なお、この実施の形態における補聴
器1の無音区間と母音区間は伸長する倍率はそれぞれ個
別に設定することができる。
【0021】n12においてDSP回路33に取り込ま
れた音声信号を図示していない記憶回路に順次書き込む
(またはバッファに蓄える。)。記憶回路に書き込まれ
た連続するN個のデータを予め1フレームとして定めて
おり、フレーム毎に無音区間、無声区間、有声区間を識
別する。まず、n14において、フレームの短時間平均
音声パワーE1を求める(n14)。短時間平均音声パ
ワーE1とは、フレーム区間内の各データ(N個のデー
タ)を2乗した値の総和をN分の1した値である。この
短時間平均音声パワーE1と予め設定されている閾値P
1とを比較し、E1>P1のとき音声区間と判定しE1
<P1のとき無音区間と判定する(n15)。
【0022】n15で音声区間であると判定すると、こ
のデータの周波数fzを算出する(n16)。周波数f
zはこのフレーム内のデータの零交差回数を抽出するこ
とで行う。そして、この周波数から有声音または無声音
どちらであるかを識別する(n17)。ここで、有声音
は主として母音であり、無声音は主として子音であるの
で、有声音に含まれる周波数と無声音に含まれる周波数
とを比較すると、おおむね無声音が高く有声音が低い。
したがって、零交差回数が少ない場合(周波数が低い場
合)には有声音であり、零交差回数が多い場合(周波数
が高い場合)無声音であると識別することができる。こ
の実施例では、零交差回数から求めた周波数fzが予め
設定されている閾値周波数fz1と比較し、fz>fz
1のとき無声音区間と識別し、fz<fz1のとき有声
音区間と識別するようにしている。
【0023】n17で有声音区間であると識別された場
合、フレーム内のデータを適当な窓幅で切りだしたデー
タN1の自己相関関数を求める(n18)。そして、こ
の求めた自己相関関数から声帯振動の基本周期であるピ
ッチ周期を求める(n19)。そして、フレーム内のデ
ータの区間始まりに最も近い正の微分係数を持つ零交差
点を伸長用波形の切り出しの開始点とし、この開始点か
らピッチ区間長分の伸長用波形を切り出す(n20)。
そして、切り出し波形の終了点にこの切り出したピッチ
区間長分の伸長用波形を挿入して接続する(n21)。
一方、n17で無声音区間であると識別した場合にはn
18〜n21の処理を行わずに出力する。すなわち、母
音区間に対しては予め設定されている倍率で伸長処理を
行い、子音区間に対しては伸長処理を行わない。
【0024】また、n15で無音区間であると識別した
場合には予め設定されている長さの無音区間を挿入する
(n22)。
【0025】以上説明したように、マイクロホン11で
取り込んだ音声信号が装用者が発声した音声である時に
は話速変換処理を禁止しているので補聴器の装用者に話
速変換処理されていない自分が発声した音声を聴かせる
ことができるとともに、話速変換処理された外来音を聴
かせることができる。したがって、装用者の発声を妨げ
ることはなく、正常な発声を行わせることができるとと
もに、外来音はゆっくり、はっきり聴かせることができ
る。また、マイクロホンで取り込んだ音声信号に基づい
て(音声信号を信号処理して)話者を識別する構成を想
到することもできるが、この場合にはマイクロホンが識
別すべき音声信号とともに、外来音も同時に取り込むの
で識別精度の低下等の問題が生じる。しかし、本願発明
では外耳道の形状変化から装用者の発声動作を検出する
構成であるのでこのような問題が生じることもない。
【0026】
【発明の効果】以上のように、この発明の話速変換機能
付補聴器によれば、話者の識別を装用者の外耳道の形状
変化から装用者の発声動作を検出する構成としたため、
マイクロホンで音声信号を取り込む前に余裕を持って話
速変換を禁止することができる。また、外来音による影
響をうけることがないので話者の識別精度等が低下する
という問題もない。
【図面の簡単な説明】
【図1】この発明の実施の形態である話速変換機能付補
聴器の構成を示すブロック図である。
【図2】この発明の実施の形態である話速変換機能付補
聴器の装耳部の外観を示す平面図である。
【図3】この発明の実施の形態である話速変換機能付補
聴器の信号処理部の構成を示すブロック図である。
【図4】発声に伴う外耳道の形状変化による歪みセンサ
の検出出力を示す図である。
【図5】歪みセンサの検出出力から話者を識別する処理
を示すフローチャートである。
【図6】この発明の実施例である補聴器の信号処理を示
すフローチャートである。
【符号の説明】
1−補聴器 2−装耳部 3−本体部 11−マイクロホン 13−レシーバ 14−歪みセンサ 21−信号処理部 22−発声動作検出部
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04R 25/00 G10L 21/04

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 音声信号を取り込むマイクロホンと、 前記音声信号を時間軸上で伸長する加工を行う話速変換
    手段と、 装用者の耳穴に音声信号を空気振動に変換して送出する
    レシーバを有する装耳部と、を備えた補聴器であって、 装用者の外耳道の形状変化を検出する検出手段と、 該検出手段の出力の変化に基づいて 該装用者の発声動作
    を検出する発声動作検出手段と、 前記発声動作検出手段が装用者の発声動作を検出してい
    る間前記音声信号に対して前記話速変換手段による加工
    を禁止する禁止手段と、 を備えたことを特徴とする話速変換機能付補聴器。
JP31987695A 1995-12-08 1995-12-08 話速変換機能付補聴器 Expired - Fee Related JP3257379B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31987695A JP3257379B2 (ja) 1995-12-08 1995-12-08 話速変換機能付補聴器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31987695A JP3257379B2 (ja) 1995-12-08 1995-12-08 話速変換機能付補聴器

Publications (2)

Publication Number Publication Date
JPH09163499A JPH09163499A (ja) 1997-06-20
JP3257379B2 true JP3257379B2 (ja) 2002-02-18

Family

ID=18115229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31987695A Expired - Fee Related JP3257379B2 (ja) 1995-12-08 1995-12-08 話速変換機能付補聴器

Country Status (1)

Country Link
JP (1) JP3257379B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001267764A1 (en) * 2000-08-09 2002-02-18 Thomson Licensing S.A. Method and system for enabling audio speed conversion

Also Published As

Publication number Publication date
JPH09163499A (ja) 1997-06-20

Similar Documents

Publication Publication Date Title
JP2014194554A (ja) 補聴器および補聴処理方法
WO1999034353A1 (en) Feedback modification for accent reduction
JP2002358089A (ja) 音声処理装置及び音声処理方法
JP2009178783A (ja) コミュニケーションロボット及びその制御方法
JP4876245B2 (ja) 子音加工装置、音声情報伝達装置及び子音加工方法
EP1104222A2 (en) Hearing aid
JP5863928B1 (ja) 音声調整装置
JP2007187799A (ja) 音声対話装置および音声対話方法
JP3961616B2 (ja) 話速変換方法および話速変換機能付補聴器
JP3257379B2 (ja) 話速変換機能付補聴器
JPH08179792A (ja) 音声処理装置
JP3284968B2 (ja) 話速変換機能を有する補聴器
JP3219892B2 (ja) リアルタイム話速変換装置
JP2008102551A (ja) 音声信号の処理装置およびその処理方法
JPH0916193A (ja) 話速変換装置
JP4127155B2 (ja) 聴覚補助装置
JP2870421B2 (ja) 話速変換機能を有する補聴器
JP4079478B2 (ja) 音声信号の処理回路および処理方法
CN102222507B (zh) 一种适用于汉语语言的听力损失补偿方法及设备
JP2020010149A (ja) 音声信号処理装置、音声信号処理方法、および補聴器
JP4005166B2 (ja) 音声信号の処理回路
JP3596580B2 (ja) 音声信号の処理回路
JP3632384B2 (ja) 聴覚補助装置
JP3292098B2 (ja) 聴覚補助装置
JPH08317496A (ja) ディジタル音声信号処理装置

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081207

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081207

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091207

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131207

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees