JP2863214B2 - 雑音除去装置及び該装置を用いた音声認識装置 - Google Patents

雑音除去装置及び該装置を用いた音声認識装置

Info

Publication number
JP2863214B2
JP2863214B2 JP1261099A JP26109989A JP2863214B2 JP 2863214 B2 JP2863214 B2 JP 2863214B2 JP 1261099 A JP1261099 A JP 1261099A JP 26109989 A JP26109989 A JP 26109989A JP 2863214 B2 JP2863214 B2 JP 2863214B2
Authority
JP
Japan
Prior art keywords
noise
feature amount
feature
voice
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1261099A
Other languages
English (en)
Other versions
JPH03122699A (ja
Inventor
敬 有吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP1261099A priority Critical patent/JP2863214B2/ja
Priority to DE19904012349 priority patent/DE4012349A1/de
Publication of JPH03122699A publication Critical patent/JPH03122699A/ja
Priority to US07/873,976 priority patent/US5212764A/en
Application granted granted Critical
Publication of JP2863214B2 publication Critical patent/JP2863214B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain

Description

【発明の詳細な説明】 技術分野 本発明は、音声認識装置に入力する音声からその音声
信号に混入する周囲雑音の成分の除去技術に関し、周囲
の雑音の大きい環境、例えば、事務所内、自動車内、家
庭内、工場内での音声認識装置に応用して好適なもので
ある。
従来技術 音声認識装置に於て、入力した音声に周囲の雑音が混
入した場合、著しく認識率を低下させるので、音声認識
装置の実用化に際して周囲雑音の除去は重要な課題とな
っている。
そこで、タイムスペクトルパターンを音声の特徴量と
して用いる音声認識装置に於て、従来より雑音除去技術
として一般的に行われている方法は、“Suppression of
Acoustic Noise in Speech Using Spectral Subtracti
on"(S.F.Boll,IEEE Trans. ASSP−27,No.2,pp113−12
0,1979)に代表されるスペクトルサブトラクション法で
ある。これは、音声が存在していない区間での入力を平
均化して雑音のスペクトルとして保持し、音声区間中に
入力された雑音を含む音声のスペクトルからこの雑音の
スペクトルを差し引いて音声のスペクトルとする方法で
ある。しかしながら、この方法は、周囲の雑音が定常的
であることを仮定しており、定常雑音の場合、または、
雑音が小さい場合は効果があるが、比較的大きなレベル
の非定常雑音環境下では雑音の成分を適切に除去するこ
とが出来ないという欠点がある。
一方、2つの入力スペクトルの比を取る方法が、特開
昭63−262695号公報等に記載されている。この方法は、
2つの入力手段を用いて雑音を含む音声のスペクトル
と、雑音のスペクトルとを求め、音声が存在していない
区間でこの2つのスペクトルから各帯域毎に比を雑音伝
達系の周波数特性として求めておき、音声区間中の雑音
を含む音声のスペクトルから、雑音のスペクトルとこの
比との積を、差し引いて音声のスペクトルとするもので
ある。この方法は、非定常雑音下で良好な雑音成分除去
を行い得る長所がある反面、比較的雑音が小さい時に、
2つのスペクトルの比に大きな誤差を生じるために、適
切な雑音成分除去が行えないという問題点がある。
そこで、この2つの長所、短所から、あるしきい値を
設けて周囲の雑音レベルによって、この2つの方法を切
り替えて用いる方法が考えられるが、周囲の雑音レベル
がそのしきい値付近にある場合に、各々の方式の欠点が
現れて来るだけでなく、上記2つの方式が雑音除去して
出力する音声のスペクトルにパターン上に違いがあるの
で、発声中に周囲の雑音レベルが変わり雑音除去方式が
切り替わると、その時点の音声は上記2つの方式により
雑音除去された音声のパターンが混在し、極端に認識さ
れにくいという問題点と、2つの方式の処理を平行して
行うので処理量が増加するという問題点が新たに生じ
る。
目的 本発明は、上述のごとき実情に鑑みてなされたもの
で、特に、上述した従来技術の欠点を排除し、周囲の雑
音レベルがどの様であっても、また、非定常雑音であっ
ても、入力された周囲の雑音を含む音声信号から周囲の
雑音成分を除去出来、更に、その雑音除去処理が高速に
行われる雑音除去装置、及び、その雑音除去装置を用い
た音声認識装置を実現することを目的とするものであ
る。
構成 本発明は、上記目的を達成するために、(1)雑音を
含む音声の特徴量X(f)(f=1,2,,,n)を求めるた
めの複数個nチャンネルから成る第1の特徴抽出部と、
雑音の特徴量N(f)を求めるための複数個nチャンネ
ルから成る第2の特徴抽出部と、雑音の含む音声の特徴
量X(f)から雑音成分を除去するための、上記nチャ
ンネル毎の第1の雑音除去変数k(f)、及び、第2の
雑音除去変数d(f)の少なくとも2組の雑音除去変数
を持ち、雑音を含む音声の特徴量X(f)と雑音の特徴
量N(f)とから、上記雑音除去変数k(f)、及び、
d(f)を決定し、更に、雑音を含む音声の特徴量X
(f)と雑音の特徴量N(f)と雑音除去変数k
(f)、及びd(f)とから、雑音成分を除去した音声
の特徴量S(f)を求める雑音除去部とを具備して成
り、上記雑音除去部は、雑音成分を除去した音声の特徴
量S(f)を求めるために、雑音を含む音声の特徴量X
(f)から、雑音の特徴量N(f)と第1の雑音除去変
数k(f)との積と、第2の雑音除去変数d(f)とを
減じる方法を用いる雑音除去装置、及び、(2)上記
(1)記載の雑音除去装置と、該雑音除去装置で得られ
た音声の特徴量から、音声の入力パターンを作成するパ
ターン作成部と、予め登録された音声の標準パターンを
記憶する標準パターンメモリと、上記パターン作成部で
得られた入力パターンと上記標準パターンメモリに記憶
されている標準パターンとを用いて認識処理を行う認識
部とを具備して成る音声認識装置を特徴としたものであ
る。以下、本発明の実施例に基づいて説明する。
第1図は、請求項第1項に記載した雑音除去装置の一
実施例を説明するための構成図で、図中、10は第1の特
徴量抽出部、20は第2の特徴量抽出部、31は音声区間検
出部、32は雑音除去部で、第1の特徴量抽出部10及び第
2の特徴量抽出部20は、それぞれ、マイクアンプ11、2
1;プリエンファシス回路12、22;バンドパスフィルタバ
ンク13、23;A/Dコンバータ14、24から成っている。マイ
クアンプ11は、雑音を含む音声を入力するためのマイク
から入力された信号の増幅を行い、プリエンファシス回
路12は、マイクアンプ11の出力信号の高域を強調する。
バンドパスフィルタバンク13は、プリエンファシス回路
12の出力信号のパワースペクトルを求めるために、250H
zから6350HzまでLOG軸上で等間隔に配置された中心周波
数を持つ15チャンネルから成るバンドパスフィルタ、検
波器、ローパスフィルタ等で構成されている。A/Dコン
バータ14は、バンドパスフィルタバンク13の出力をマル
チプレクスしてフレーム周期10ms毎に出力する。これら
マイクアンプ11、プリエンファシス回路12、バンドパス
フィルタバンク13、及び、A/Dコンバータ14は雑音を含
む音声のパワースペクトルX(f)を抽出するための第
1の特徴量抽出部10を構成している。
一方、マイクアンプ21は、周囲の雑音を入力するため
のマイクから入力された信号の増幅を行い、プリエンフ
ァシス回路22は、マイクアンプ21の出力信号の高域を強
調し、バンドパスフィルタバンク23は、プリエンファシ
ス回路22の出力信号のパワースペクトルを求めるために
250Hzから6350HzまでLOG軸上で等間隔に配置された中心
周波数を持つ15チャンネルから成るバンドパスフィル
タ、減波器、ローパスフィルタで構成されたフィルタバ
ンクで、A/Dコンパータ24は、バンドパスフィルタバン
クの出力をマルチプレクスしてフレーム周期10ms毎に出
力する。これらマイクアンプ21、プリエンファシス回路
22、バンドパスフィルタバンク23、及び、A/Dコンバー
タ24は雑音のパワースペクトルN(f)を抽出するため
の第2の特徴量抽出部20を構成している。
音声区間検出部31は、A/Dコンバータ14とA/Dコンバー
タ24から得られた2つのパワースペクトルX(f)、及
び、N(f)の時系列、即ち、タイムスペクトルパター
ンから音声区間を検出する。即ち、しきい値Thに対し
て、 の区間を音声区間とする。ここで、Σ X(f)、Σ N
(f)の値は、バンドパスフィルタバンク13、23の他に
15チャンネルの帯域全ての信号を透過するフィルタを設
けて求めてもよい。このしきい値Thは、周囲の雑音レベ
ルに応じて変えることが出来る。
雑音除去部32は、雑音による雑音成分を除去するため
の、15チャンネル毎にk(f)、及び、d(f)の2組
の雑音除去変数(f=1,2,,,,15)を持ち、音声区間検
出部31が音声区間でないと判断した時に、その時の雑音
を含む音声のパワースペクトルXn(f)と雑音のパワー
スペクトルNn(f)とから、雑音除去変数k(f)、及
び、d(f)を下式に従って決定し、順次更新してい
く。(添え字nは非音声区間を表す。また、定数C>0
である。) k(f)=((Xn(f)−C2)/Nn(f)
1/2 (1) ただし Xn(f)>Cの時 k(f)=0 (2) ただし Xn(f)≦Cの時 d(f)=Xn(f)−k(f)・Nn(f) (3) ここで、Xn(f)、Nn(f)は、音声区間でない時の
数フレームの平均でもよい。この時、音声のパワースペ
クトルSn(f)は、Sn(f)=0とする。
雑音除去部32は、更に、音声区間検出部31が音声区間
と判断した時に、その時の雑音を含む音声のパワースペ
クトルXs(f)、及び、雑音のパワースペクトルNs
(f)と雑音除去変数k(f)及びd(f)とから音声
のパワースペクトルSs(f)を下式のように求める。
(添え字sは音声区間を表す。) Ss(t,f)=Xs(f)-k(f)・Ns(f)-d(f) (4) この時、雑音除去変数k(f)、d(f)は、更新せ
ず、それまでの値を保持する。
式(1)のXn(f)、Nn(f)とk(f)の関係は、
Xn(f)−k(f)・Nn(f)=C2で表すことが
出来、これをグラフにすると第3図のような双曲線の一
部になる。図でも明らかなように、周囲雑音が十分大き
い時、即ち、 Xn(f),Nn(f)>>C の時は、 k(f)=Xn(f)/Nn(f) d(f)=0 (5) となる(正確には近づく)。この時、式(4)は、 Ss(f)=Xs(f)−k(f)・Ns(f) (6) であり、2つの入力の雑音の比を用いて雑音を除去する
方法と同様になる。その逆に、周囲騒音が小さいとき、
即ち、 Xn(f)≦C の時は、 k(f)=0 d(f)=Xn(f) (7) となり、式(4)は、 Ss(f)=Xs(f)−d(f)=Xs(f)−Xn(f) (8) であり、これはスペクトルサブトラクション法と同様に
なる。
尚、式(1)〜(4)の演算は、LOGテーブルと、EXP
テーブルを参照することにより高速に実行することがで
きる。
また、式(1)は、例えば、 k(f)=((Xn(f)−C1 2)/(Nn(f)−C
2 21/2(C1,C2>0)Xn(f)>C1の時 (1′) で表わされる双曲線でもよいし、双曲線に限らずこれに
類似する曲線の関係でもよい。
更にこの実施例では、音声区画検出部の結果を用い
て、音声区間中は雑音除去変数k(f),d(f)を保持
しているが、雑音除去変数のある程度以上の急激な変化
を許さないという手法を用いるなどすれば、音声区間中
でも雑音除去変数を更新することが出来る。
第2図は、上述のごとき雑音除去装置を用いた請求項
2記載の音声認識装置の一実施例を説明するためのブロ
ック図で、図中、50は雑音除去装置部、60はパターン作
成部、70は標準パターンメモリ、80で認識部、雑音除去
装置部50は、上述の雑音除去装置から成り雑音を含む音
声のスペクトルと雑音のスペクトルとから音声のスペク
トルを求める。パターン作成部60は、雑音除去装置部50
で得られた音声の特等量から、音声の入力パターンを作
成する。標準パターンメモリ70は、予め登録された音声
の複数個の標準パターンを記憶する。認識部80は、上記
パターン作成部60で得られた入力パターンと上記標準パ
ターンメモリ70に記憶されている標準パターンとを用い
て認識処理を行い最も類似度の情い標準パターンに対応
する結果を認識結果として出力する。
ここで、パターン作成部60で作成される音声の入力パ
ターンと標準パターンメモリ70に記憶された音声の標準
パターンは、「2値のTSPを用いた単語音声認識システ
ムの開発」(安田他、電学論C、108巻10号、pp858−86
5、昭63)等で公知となっているバイナリータイムスペ
クトルパターン(BTSP)である。また、認識部80で行わ
れる認識処理は、上記文献等により公知となっているBT
SP方式の認識処理である。
尚、これら音声のパターン、及び、認識方式は、BTSP
方式に限らず、他の方式、例えば、DPマッチングの用い
た方式でも実現できる。
効果 以上の説明から明らかなように、請求項第1項に記載
の雑音除去装置によると、雑音を含む音声のスペクトル
X(f)と雑音スペクトルN(f)とから式(1),
(2),(3)で表される2組の雑音除去変数k
(f),d(f)を用い、式(4)に従って音声のスペク
トルS(f)を求めているので、周囲雑音の小さい場合
には、この場合に適した変動d(f)が主に雑音成分を
適切に除去し、周囲雑音が大きい場合には、この場合に
適した変数k(f)が主に雑音成分を適切に除去し、周
囲雑音がそれらの中間の場合には、2つの変数k
(f),d(f)が分担して残音成分を除去するので、広
い範囲のレベルの周囲雑音、及び、非定常な周囲雑音に
対して適切な雑音成分の除去が行える。更に、本発明の
アルゴリズムは、場合分けが少なく処理が単純であり、
プログラム量が少なく、かつ、演算速度が速いという長
所がある。
また、請求項第2項に記載の音声認識装置によると、
この音声認識装置は、請求項1記載の雑音除去装置を含
んでいるので、広い範囲のレベルの周囲雑音、及び、非
定常な周囲雑音の環境下で発声された音声に対して高に
音声認識率を得ることが出来る。更に、請求項1記載の
雑音除去装置のアルゴリズムはプログラム量が少なく、
かつ、演算速度が速いので、従来認識処理等を実行して
いたCPU等の処理回路に認識処理等と併せて雑音除去処
理を実行させることも容易であり、雑音除去のためのハ
ードウェアの増加を極力防ぐことが出来る。
等の利点がある。
【図面の簡単な説明】
第1図は、本発明による雑音除去装置の一実施例を説明
するための構成図、第2図は、本発明による音声認識装
置の一実施例を説明するための構成図、第3図は、雑音
成分と雑音除去変数との関係を示すグラフである。 10……第1の特徴量抽出部、11……マイクアンプ、12…
…プリエンファシス回路、13……バンドパスフィルタバ
ンク、14……A/Dコンバータ、20……第2の特徴量抽出
部、21……マイクアンプ、22……プリエンファシス回
路、23……バンドパスフィルタバンク、24……A/Dコン
バータ、31……音声区間検出部、32……雑音除去部、50
……雑音除去装置部、60……パターン作成部、70……標
準パターンメモリ、80……認識部。
フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G10L 3/02 301 G10L 7/08 G10L 5/06 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】雑音を含む音声の特徴量X(f)(f=1,
    2,,,n)を求めるための複数個nチャンネルから成る第
    1の特徴抽出部と、雑音の特徴量N(f)を求めるため
    の複数個nチャンネルから成る第2の特徴抽出部と、雑
    音を含む音声の特徴量X(f)から雑音成分を除去する
    ための、上記nチャンネル毎の第1の雑音除去変数k
    (f)、及び、第2の雑音除去変数d(f)の少なくと
    も2組の雑音除去変数を持ち、雑音を含む音声の特徴量
    X(f)と雑音の特徴量N(f)とから、上記雑音除去
    変数k(f)、及び、d(f)を決定し、更に、雑音を
    含む音声の特徴量X(f)と雑音の特徴量N(f)と雑
    音除去変数k(f)、及びd(f)とから、雑音成分を
    除去した音声の特徴量S(f)を求める雑音除去部とを
    具備して成り、上記雑音除去部は、雑音成分を除去した
    音声の特徴量S(f)を求めるために、雑音を含む音声
    の特徴量X(f)から、雑音の特徴量N(f)と第1の
    雑音除去変数k(f)との積と、第2の雑音除去変数d
    (f)とを減じることを特徴とした雑音除去装置。
  2. 【請求項2】請求項1記載の雑音除去装置と、該雑音除
    去装置で得られた音声の特徴量から、音声の入力パター
    ンを作成するパターン作成部と、予め登録された音声の
    標準パターンを記憶する標準パターンメモリと、上記パ
    ターン作成部で得られた入力パターンと上記標準パター
    ンメモリに記憶されている標準パターンとを用いて認識
    処理を行う認識部とを具備して成ることを特徴とする音
    声認識装置。
JP1261099A 1989-04-19 1989-10-05 雑音除去装置及び該装置を用いた音声認識装置 Expired - Lifetime JP2863214B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP1261099A JP2863214B2 (ja) 1989-10-05 1989-10-05 雑音除去装置及び該装置を用いた音声認識装置
DE19904012349 DE4012349A1 (de) 1989-04-19 1990-04-18 Einrichtung zum beseitigen von geraeuschen
US07/873,976 US5212764A (en) 1989-04-19 1992-04-24 Noise eliminating apparatus and speech recognition apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1261099A JP2863214B2 (ja) 1989-10-05 1989-10-05 雑音除去装置及び該装置を用いた音声認識装置

Publications (2)

Publication Number Publication Date
JPH03122699A JPH03122699A (ja) 1991-05-24
JP2863214B2 true JP2863214B2 (ja) 1999-03-03

Family

ID=17357069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1261099A Expired - Lifetime JP2863214B2 (ja) 1989-04-19 1989-10-05 雑音除去装置及び該装置を用いた音声認識装置

Country Status (1)

Country Link
JP (1) JP2863214B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434215B2 (ja) 1998-02-20 2003-08-04 日本電信電話株式会社 収音装置,音声認識装置,これらの方法、及びプログラム記録媒体
JP3435686B2 (ja) 1998-03-02 2003-08-11 日本電信電話株式会社 収音装置
JP3435687B2 (ja) 1998-03-12 2003-08-11 日本電信電話株式会社 収音装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533126B2 (ja) * 2004-12-24 2010-09-01 日本電信電話株式会社 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434215B2 (ja) 1998-02-20 2003-08-04 日本電信電話株式会社 収音装置,音声認識装置,これらの方法、及びプログラム記録媒体
JP3435686B2 (ja) 1998-03-02 2003-08-11 日本電信電話株式会社 収音装置
JP3435687B2 (ja) 1998-03-12 2003-08-11 日本電信電話株式会社 収音装置

Also Published As

Publication number Publication date
JPH03122699A (ja) 1991-05-24

Similar Documents

Publication Publication Date Title
JP4177755B2 (ja) 発話特徴抽出システム
US6804643B1 (en) Speech recognition
CN109065067A (zh) 一种基于神经网络模型的会议终端语音降噪方法
US20030185411A1 (en) Single channel sound separation
JPH0566795A (ja) 雑音抑圧装置とその調整装置
JP2004531767A5 (ja)
JPH0312319B2 (ja)
US7917359B2 (en) Noise suppressor for removing irregular noise
EP0459384B1 (en) Speech signal processing apparatus for cutting out a speech signal from a noisy speech signal
KR100446626B1 (ko) 음성신호에서 잡음을 제거하는 방법 및 장치
JP2863214B2 (ja) 雑音除去装置及び該装置を用いた音声認識装置
Shoba et al. Adaptive energy threshold for monaural speech separation
EP3696815B1 (en) Nonlinear noise reduction system
US6373953B1 (en) Apparatus and method for De-esser using adaptive filtering algorithms
JP3266157B2 (ja) 音声強調装置
Lee et al. Cochannel speech separation
CN116312561A (zh) 一种电力调度系统人员声纹识别鉴权降噪和语音增强方法、系统及装置
JP3916834B2 (ja) 雑音が付加された周期波形の基本周期あるいは基本周波数の抽出方法
JP3106543B2 (ja) 音声信号処理装置
JP2004191968A (ja) 信号ソースを分離するための方法及び装置
DE4012349A1 (de) Einrichtung zum beseitigen von geraeuschen
Korba et al. Robust speech recognition using perceptual wavelet denoising and mel-frequency product spectrum cepstral coefficient features
Childers et al. Co--Channel speech separation
Bharathi et al. Speaker verification in a noisy environment by enhancing the speech signal using various approaches of spectral subtraction
KR930008721A (ko) 음성인식 시스템의 특징추출방법

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071211

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081211

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081211

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091211

Year of fee payment: 11

EXPY Cancellation because of completion of term