JP3518579B2 - 発言者追随型場内拡声装置と音声入力方法 - Google Patents

発言者追随型場内拡声装置と音声入力方法

Info

Publication number
JP3518579B2
JP3518579B2 JP16595897A JP16595897A JP3518579B2 JP 3518579 B2 JP3518579 B2 JP 3518579B2 JP 16595897 A JP16595897 A JP 16595897A JP 16595897 A JP16595897 A JP 16595897A JP 3518579 B2 JP3518579 B2 JP 3518579B2
Authority
JP
Japan
Prior art keywords
speaker
signal
voice
pattern
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16595897A
Other languages
English (en)
Other versions
JPH1118187A (ja
Inventor
健司 清原
豊 金田
珠喜 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Electronics Corp
Nippon Telegraph and Telephone Corp
Original Assignee
NTT Electronics Corp
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Electronics Corp, Nippon Telegraph and Telephone Corp filed Critical NTT Electronics Corp
Priority to JP16595897A priority Critical patent/JP3518579B2/ja
Publication of JPH1118187A publication Critical patent/JPH1118187A/ja
Application granted granted Critical
Publication of JP3518579B2 publication Critical patent/JP3518579B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、会議・講演会な
ど、発言者の声をマイクロホン等の手段によって収音
し、その場に拡声して場内の他の参加者に発言者の声を
聞き取り易くする、発言者追随型場内拡声装置と音声入
力方法に関するものである。
【0002】
【従来の技術】近年、マルチメディア技術の進歩に伴
い、マイクロホンとスピーカを用いた、拡声通話形態に
よるテレビ会議等の通信会議が可能になりつつある。そ
の場合に、通信会議の机上に話者数分のマイクロホンを
設置することなく、マイクロホンを意識しない自然な通
話が可能で、かつ音声等の目的音のみを収音する収音装
置が求められている。
【0003】そのような収音装置の例として、複数のマ
イクロホン(マイクロホンアレー)を設置して、それら
の出力を信号処理して目的音を抽出する収音装置があ
る。このようなマイクロホンアレーを用いて雑音を抑圧
し目的音を抽出する信号処理方式には、遅延和方式,A
MNORなど多数知られているが(例えば大賀,山崎,
金田共著“音響システムとデイジタル処理”,電子情報
通信学会,1995年,pp.173−197)、例え
ば、遅延和方式では次のように目的音を抽出する。
【0004】図2は、遅延和方式による目的音抽出の原
理を説明する図である。図2において、1は収音部(マ
イクロホンアレー),21 ,22 ,・・・,2M はマイ
クロホン(Mはマイクロホンの数)、31 ,32 ,・・
・,3M は遅延器、4は加算器、5は出力信号、6は雑
音抑圧部、dはマイクロホン間隔、s(t)は前記収音
部1に到来する音波(tは時間を表わす)、θは前記音
波s(t)が収音部1に到来する到来角度、τは各マイ
クロホンに音波が到達する時間差(遅延時間)である。
【0005】図2のマイクロホン21 ,22 ,・・・,
M が等間隔dで直線状に並び、音波s(t)が遠方か
ら、この直線状に並んだマイクロホンに角度θで到来す
るものとする。このとき、マイクロホン21 に到達した
音波がマイクロホン22 に到達するまでに伝播する距離
は、マイクロホン間隔dと到来角θとからdsinθで
表わされる(図2)。同様に、i番目のマイクロホン2
i (i=2,・・・,M)に到達するまでに伝播する距
離は、(i−1)dsinθで表わされる。したがっ
て、マイクロホン2i (i=2,・・・,M)に到達す
るまでの遅延時間τi は、マイクロホン21 を基準にす
ると、この伝播距離を音速cで割ることにより、次式
(1)で表わされる。
【0006】
【数1】 ここで、各マイクロホン2i (i=2,・・・,M)か
らの出力信号をxi (t)で表わすと、これは音波s
(t)がτi だけ遅れたものであるから、次式(2)の
ようになる。
【0007】
【数2】 ここで遅延器3i (i=2,・・・,M)の遅延量Di
を適切に設定すると、θ方向から到来する音波のみを強
調して出力信号5に出力できることを以下に示す。
【0008】遅延器3i (i=2,・・・,M)の遅延
量Di を次式(3)のように設定する。
【0009】
【数3】 0 はτi の値が小さすぎるときに遅延特性をディジタ
ルフィルタで実現する際の精度が低下することを防ぐた
めに付加する固定遅延量である。
【0010】このとき、遅延器3i (i=2,・・・,
M)の出力は、式(2)の信号に式(3)の遅延量Di
が生じたものなので、次式(4)のようになる。
【0011】
【数4】 すなわち、マイクロホンの番号iに関わらず、s(t)
がD0 だけ遅れた同一の信号となる。
【0012】このように位相を揃えてから加算器4によ
って信号を足し合わせれば、このθ方向から到来する音
波は、足し合わされた分、強調される。一方、θ方向と
は別のθN 方向から到来する音波は、τi とは異なる遅
延時間τN をもって受音されるため、式(3)の遅延量
では位相は揃わず、加算器4によって信号を足し合わせ
ても強調されることはない。
【0013】このようにして、遅延和方式では目的の方
向θから到来する音波を強調し、他の方向θN から到来
する雑音を相対的に抑圧する。
【0014】このとき、目的の方向θを走査し、マイク
ロホンアレーの出力信号を監視すれば、θが目的話者の
方向に向いたとき出力信号が大きくなるので、目的話者
の方向を探すことができる。そして、この目的話者の方
向θからの音波を強調するように式(4)に従って位相
を揃えて加算することにより、すなわちマイクロホンア
レーの指向性をθの方向に向けることにより、目的音を
高いSN比で収音することができる。
【0015】なお、ここでは説明の便宜上、複数のマイ
クロホンを等間隔dで直線上に並んだものとして説明し
たが、このマイクロホンの間隔は不等間隔にすることも
可能で、並べる形状も2次元的・3次元的に並べてもよ
い。
【0016】また、図3のように点音源的な音源Sがア
レーに比較的近い距離に位置する場合は、音源Sからの
球面波的な性質を利用して、遅延器31 ,32 ,・・
・,3M の後段にゲイン71 ,72 ,・・・,7M を設
け、このゲインに適切な荷重を与えることが収音SN比
の向上に重要である。荷重の与え方としては、次式
(5),(6),(7)で表わされるような与え方があ
る(野村,金田,小島“近接音場型マイクロホンアレ
ー”,日本音響学会誌,53巻2号(1997),p
p.110−116)。
【0017】
【数5】
【0018】
【数6】
【0019】
【数7】 ここにr1 ,r2 ,・・・,rM は音源Sから各マイク
ロホン21 ,22 ,・・・,2M までの距離、rC は室
内の臨界距離すなわち音源の直接音パワーと残響音パワ
ーとが等しくなる距離であり、室容積V[m3 ]、室の
残響時間T[秒]に対し、rC =√(0.0032V/
T)で表わされる(H.Kuttruff, “RoomAcoustics(Thir
d Edition)”,Elsevier Applied Science,pp.100-132
(1991))。このときマイクロホンアレーは音源Sの位置
の“点”に対して最も感度が高くなるようになり、いわ
ば感度の“焦点”が形成されるようになる。このとき、
各マイクロホンまでの距離ri (i=1,2,・・・,
M)に対する遅延器31 ,32 ,・・・,3M の遅延量
0 −ri /c(c:音速)と上述のゲインg0 すなわ
ちaを変化させて感度の焦点を走査し、アレー出力を監
視すれば、目的話者の位置を見い出すことができる。
【0020】このようにして、方向ないし位置として目
的話者の存在領域を見い出し、その存在領域にアレーの
指向性を向けることにより、高い収音SN比で目的音を
収音することができる。
【0021】上述のように場内拡声の方式としては、会
議では各参加者の近くにマイクロホンを配置し、その感
度方向をスピーカの出力方向と反対に設定することが一
般的である。また、講演会場でも、講演者の近くのマイ
クロホンの感度方向と場内拡声用のスピーカの出力方向
とが一致しないように設定することが一般的である。こ
うすることによりスピーカからの音がマイクロホンによ
って収音され増幅されてスピーカから出力されるループ
(ハウリング)の発生を防いでいる。
【0022】これに対して、発言者の近くにマイクロホ
ンを設置することによる空間的(机上の)煩わしさを解
消するため、発言者から離れた場所(例えば、天井)に
並べた複数のマイクロホンを用い、各マイクロホン入力
に対して適切なゲインと適切な遅延とを加えたマイクロ
ホン入力の加算によって発言者の声を高いSN比で収音
する方式が考案され、提案されている。(野村 他,
“近接音場型マイクロホンアレーの検討”日本音響学会
講演論文集 平成8年3月)
【0023】
【発明が解決しようとする課題】しかしながら、この方
式によって入力が大きいところに焦点を合わせるように
すると、場内にスピーカがある場合には、スピーカに焦
点を合わせる可能性があり、この方式によって場内拡声
をすることには、困難があった。
【0024】発言者は場内に拡声された自分の声を聞く
ことによって、自分の声がマイクロホンに収音されてい
ることを確認することができるのであり、場内拡声とい
う点からも、場内への拡声がなされなければならない。
【0025】本発明の目的は、場内にスピーカが設置さ
れていても、発言者の位置推定が正しく行える発言者追
随型場内拡声装置と音声入力方法を提供することにあ
る。
【0026】
【課題を解決するための手段】上記目的を達成するた
め、本発明は場内拡声用のスピーカの個数と位置とをあ
らかじめシステムに与えておき、場内の焦点位置候補か
らスピーカの位置を除外する処理を組込むものである。
【0027】また、スピーカの個数と位置とは、会議等
に先立って予め与えるか学習用の音をスピーカから流
し、システムとして音源検出を行うものである。
【0028】
【発明の実施の形態】本発明にかかる発言者追随型場内
拡声装置と音声入力方法は、焦点位置をスキャンして、
収音系からの信号レベルの大きさから焦点位置を発言者
に合わせる過程で、スピーカの位置を除外する処理を含
めることにより、スピーカの位置に焦点を合わせること
を防ぐことができる。
【0029】
【実施例】以下、本発明の実施例を図面により詳細に説
明する。
【0030】図1は、本発明による発言者追随型場内拡
声装置の一実施例の構成を示すブロック図である。図1
において、11はマイクロホンで、発言者から離れた場
所(例えば、天井)に並べられる。12は収音処理部
で、マイクロホン11から入力された音声信号毎に所要
のゲインの増幅と所要の遅延を与えてあらかじめ定めら
れた音声入力信号レベルに変換し加算する処理を施す。
13は制御・判定処理部で、収音処理部12で与えられ
る所要のゲインや遅延などの演算パターンを収音処理部
12に与える制御部と、演算パターン毎の加算信号を比
較することにより発言者の位置の判定を行う。14は記
憶部で、各マイクロホン11毎にその出力である音声信
号に対してゲインおよび遅延時間などを与える演算パタ
ーンが記憶されている。15は出力部で、各マイクロホ
ン11から入力され上記のような処理を施された音声信
号を出力する。16はスピーカで、出力部15の出力に
より駆動される。17は制御部で、スピーカ16の位置
が焦点にならないように制御を行う。18は回線インタ
フェースで、これを介して相手側の回線との結合がなさ
れている。
【0031】次に、動作について説明する。複数のマイ
クロホン11からの音声信号に対して、収音処理部12
において制御・判定処理部13から与えられた演算パタ
ーンに応じて各入力チャネル毎に遅延処理および信号増
幅処理を加えた後、各チャネルの信号を加算し、この加
算した信号と制御・判定処理部13で演算パターン毎の
加算信号とを比較することにより、発言者の位置を推定
する。一般的には最大の加算信号を出力する演算パター
ンに対応する焦点の位置を発言者の位置とする。
【0032】ここで、演算パターンとは、対象室内を数
cmから1m程度の精度でメッシュ分けし、各格子点を
焦点位置候補としてそれぞれの位置に対応した適切な遅
延処理と信号増幅処理などを加える演算処理を、各格子
点に対して用意したもののことである。
【0033】この時、制御・判定処理部13から収音処
理部12に指示される演算パターンは、マイクロホン1
1の配置に応じて、あらかじめ設定された記憶部14に
蓄積されている。
【0034】入力された音声信号は出力部15から、場
内拡声用のスピーカ16に出力されるとともに、通信会
議の場合は、回線インタフェース17を通してネットワ
ークで相手側に送られる。ここで、場内拡声用のスピー
カ16が発言者と同じ室内にあると、前記制御・判定処
理部13での加算信号はスピーカ16の位置を焦点とす
る場合に最大になる場合があり、発言者位置の推定を誤
る場合が生ずることになる。
【0035】そこで、記憶部14に記憶されるスピーカ
16の位置情報を制御部17に与え、それに対応する演
算パターンを除外するようにする。これによりスピーカ
位置以外の発言者の位置が正しく推定されることにな
る。
【0036】なお、図1では場内拡声用のスピーカ16
が1個の場合であるが、複数個の場合にはそれぞれのス
ピーカ16の位置情報を記憶部14に記憶しておき、そ
れに対応する演算パターンを除外するようにする。
【0037】次に、本発明の他の実施例について説明す
る。会議に先立って学習音声をスピーカ16から流し、
その時の発言者位置を推定すれば、その位置がスピーカ
16の位置であるから、それに対応する演算パターンを
記憶部14に蓄積しておき、実際の会議の場では、スピ
ーカ16の位置に対応する演算パターンを除外するよう
にすれば、スピーカ位置以外の発言者の位置が正しく推
定されることになる。
【0038】すなわち、スピーカ16の位置を知らなく
ても、あるいは、スピーカ16の位置に変更があるよう
な場合でも、学習音声を用いれば、スピーカ位置以外の
発言者の位置が正しく推定されることになる。
【0039】この場合、スピーカ16が複数ある場合に
は、1個ずつ学習音声を流せば、個々のスピーカ16の
位置がわかる。また、複数個のスピーカ16に同時に学
習音声を流した場合はそれに対する演算パターンそのも
のを記憶して除外に用いるようにする。
【0040】
【発明の効果】本発明にかかる発言者追随型場内拡声装
置と音声入力方法は、演算パターンに対応する音声信号
処理結果の中から音声信号が最大になるパターンを最適
パターンとする発言追随型拡声装置とその音声入力方法
であって、記憶部にスピーカの位置情報を記憶させてお
くことによってスピーカの位置を前記演算パターンの中
から除外するようにしたので、スピーカの位置が焦点と
なることがなく、発言者の位置を正しく推定することが
できる。
【0041】また、あらかじめ、学習用の音声をスピー
カから流し、その時の最適演算パターンを記憶部に記憶
させ、その演算パターンをその後の処理から除外するよ
うにしたので、スピーカの位置がわかっていなくてもス
ピーカの位置に対応する演算パターンを除外することが
でき、これにより発言者の位置を正しく推定することが
できる。すなわち、本発明では、発言者の声が場内のス
ピーカから拡声されている時、発言者とスピーカから同
時に同じ音が出ている場合であっても、スピーカの位置
を発言者の位置であると誤認することなく発言者の位置
を推定することができる。
【図面の簡単な説明】
【図1】本発明を適用する発言者追随型場内拡声装置の
一実施例の構成を示すブロック図である。
【図2】従来の遅延和方式による目的音抽出の原理を説
明する図である。
【図3】従来の遅延和方式によって他の目的音抽出の原
理を説明する図である。
【符号の説明】
11 音声入力用のマイクロホン(複数) 12 収音処理部 13 制御・判定処理部 14 記憶部 15 出力部 16 場内拡声用のスピーカ 17 制御部 18 回線インタフェース
フロントページの続き (72)発明者 斎藤 珠喜 東京都武蔵野市吉祥寺本町1丁目14番5 号 エヌティティエレクトロニクステク ノロジー株式会社内 (56)参考文献 特開 平6−261388(JP,A) 特開 昭56−43898(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04R 1/40 320 G10L 15/02 H04R 27/00 H04R 3/00 320

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 発言者の声を収音する複数のマイクロホ
    ンと、それぞれのマイクロホンからの音声信号に与える
    演算パラメータを演算パターンとして記憶する記憶部
    、収音された個々のマイクロホンからの音声信号を音
    声入力信号に変換し前記演算パターンを用いて信号処理
    する収音処理部と、前記記憶部から前記演算パターンを
    得て前記集音処理部にこの演算パターンを与える制御と
    この演算パターンに対応する前記収音処理部で信号処理
    された音声信号処理結果の中から音声信号が最大になる
    パターンを最適パターンとして発言者の位置を判定しこ
    の最適パターンに対応する音声信号処理結果を出力する
    制御・判定処理部と、この制御・判定処理部の結果の音
    声信号を出力信号として出力する出力部と、この出力部
    からの音声信号を場内に出力するスピーカとを備える発
    言者追随型場内拡声装置において、前記記憶部は、さら
    に、あらかじめ学習音声をスピーカから流してそのスピ
    ーカ位置に対応する演算パターンを記憶し、さらに、前
    記スピーカ位置に対応する演算パターンを前記制御・判
    定処理部における判定から除外する制御を行う制御部を
    備えたことを特徴とする発言者追随型場内拡声装置。
  2. 【請求項2】 発言者の声を集音する複数のマイクロホ
    ンと、集音された個々のマイクロホンからの音声信号を
    音声入力信号に変換する収音処理部と、収音処理部から
    の各マイクロホンに対する音声信号に対して信号処理の
    演算に用いられる演算パラメータを得る処理を加え、そ
    の処理結果を判定する制御・判定処理部と、それぞれの
    マイクロホンからの音声信号に与える演算パラメータを
    演算パターンとして記憶する記憶部と、前記収音処理部
    で処理された結果の音声信号を出力信号として出力する
    出力部と、出力部からの音声信号を場内に出力するスピ
    ーカとからなる場内拡声装置を用い、前記演算パターン
    に対応する音声信号処理結果の中から音声信号が最大に
    なるパターンを最適パターンとして発言者の位置を推定
    する発言者追随型の音声入力方法において、前記記憶部
    は、さらに、あらかじめ学習音声をスピーカから流して
    そのスピーカ位置に対応する演算パターンを記憶し、さ
    らに制御部を備え、この制御部により前記スピーカ位置
    に対応する演算パターンを前記制御・判定処理部におけ
    る判定から除外する制御を行うことを特徴とする発言者
    追随型場内拡声音声入力方法。
JP16595897A 1997-06-23 1997-06-23 発言者追随型場内拡声装置と音声入力方法 Expired - Fee Related JP3518579B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16595897A JP3518579B2 (ja) 1997-06-23 1997-06-23 発言者追随型場内拡声装置と音声入力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16595897A JP3518579B2 (ja) 1997-06-23 1997-06-23 発言者追随型場内拡声装置と音声入力方法

Publications (2)

Publication Number Publication Date
JPH1118187A JPH1118187A (ja) 1999-01-22
JP3518579B2 true JP3518579B2 (ja) 2004-04-12

Family

ID=15822257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16595897A Expired - Fee Related JP3518579B2 (ja) 1997-06-23 1997-06-23 発言者追随型場内拡声装置と音声入力方法

Country Status (1)

Country Link
JP (1) JP3518579B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449593B1 (en) * 2000-01-13 2002-09-10 Nokia Mobile Phones Ltd. Method and system for tracking human speakers
JP4529780B2 (ja) * 2005-04-22 2010-08-25 ヤマハ株式会社 拡声システム
JP2008005347A (ja) * 2006-06-23 2008-01-10 Yamaha Corp 音声通信装置、および複合プラグ
CN102469402B (zh) * 2010-11-09 2016-01-20 康佳集团股份有限公司 音频系统

Also Published As

Publication number Publication date
JPH1118187A (ja) 1999-01-22

Similar Documents

Publication Publication Date Title
KR100499124B1 (ko) 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법
US6137887A (en) Directional microphone system
CN111044973B (zh) 一种用于麦克风方阵的mvdr目标声源定向拾音方法
CN111445920B (zh) 一种多声源的语音信号实时分离方法、装置和拾音器
US20110096915A1 (en) Audio spatialization for conference calls with multiple and moving talkers
CN111429939B (zh) 一种双声源的声音信号分离方法和拾音器
JP5259622B2 (ja) 収音装置、収音方法、収音プログラム、および集積回路
JP4670682B2 (ja) オーディオ装置及び指向音生成方法
WO2006057131A1 (ja) 音響再生装置、音響再生システム
JP2001309483A (ja) 収音方法および収音装置
JP3154468B2 (ja) 受音方法及びその装置
JP3518579B2 (ja) 発言者追随型場内拡声装置と音声入力方法
JP3332143B2 (ja) 収音方法およびその装置
CN112363112B (zh) 一种基于线性麦克风阵列的声源定位方法及装置
JP3588576B2 (ja) 収音装置および収音方法
JP2006211156A (ja) 音響装置
JP3341815B2 (ja) 受話状態検出方法およびその装置
JP3411475B2 (ja) 収音装置
JP3377167B2 (ja) 場内拡声方法およびその装置
JP4116600B2 (ja) 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体
JP3583980B2 (ja) 収音装置及び受信装置
CN109920442B (zh) 一种麦克风阵列语音增强的方法和系统
JP3540988B2 (ja) 発音体指向性補正方法およびその装置
JP4269854B2 (ja) 通話装置
JP3332144B2 (ja) 目的音源領域検出方法およびその装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20040120

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040120

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090206

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090206

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20100206

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100206

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100206

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20110206

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110206

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20120206

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees