JP3105708B2 - 音声認識装置 - Google Patents

音声認識装置

Info

Publication number
JP3105708B2
JP3105708B2 JP05199404A JP19940493A JP3105708B2 JP 3105708 B2 JP3105708 B2 JP 3105708B2 JP 05199404 A JP05199404 A JP 05199404A JP 19940493 A JP19940493 A JP 19940493A JP 3105708 B2 JP3105708 B2 JP 3105708B2
Authority
JP
Japan
Prior art keywords
input
standard pattern
pattern
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05199404A
Other languages
English (en)
Other versions
JPH0756592A (ja
Inventor
浩一 篠田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP05199404A priority Critical patent/JP3105708B2/ja
Publication of JPH0756592A publication Critical patent/JPH0756592A/ja
Application granted granted Critical
Publication of JP3105708B2 publication Critical patent/JP3105708B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は音声認識装置に関し、特
に使用者の発声から作成される適応化された標準パター
ンを用いる音声認識装置に関する。
【0002】
【従来の技術】現在、音声認識の分野では、誰の声でも
認識できることを目的とした不特定話者の認識システム
が盛んに研究・開発されている。
【0003】これらの認識システムでは、隠れマルコフ
モデル(Hidden Markov Model 、以下HMMという)、
ニューラルネットワーク(Neural Network、以下NNと
いう)およびDPマッチングなどの認識方式が広く使わ
れている。
【0004】HMMの詳細については、例えば、「確率
モデルによる音声認識」中川聖一著、1988年、電子情報
通信学会(以下文献1という)に詳しく解説されてい
る。また、NNによる音声認識に関しては、例えば、
「音声・聴覚と神経回路網モデル」甘利俊一編、1990
年、オーム社(以下文献2という)に詳しい。
【0005】これらの手法では、予め多数の話者により
発声された単語、文などの語彙からなるデータ(以下学
習用データという)から標準パターンを学習し、それを
用いて認識を行なっている。
【0006】不特定話者システムは、使用者を特定した
特定話者システムと違い、事前に使用者が発声を登録す
る必要がないという利点がある。しかしながら、近年、
次のような問題点が指摘された。
【0007】まず、ほとんどの話者において、認識性能
が特定話者システムより劣る。さらに、認識性能が大幅
に悪い話者(以下特異話者という)が存在する。このよ
うな問題点を解決するために、従来、特定話者システム
において用いられてきた話者適応化の技術を、不特定話
者システムにも適用しようという研究が最近始まってい
る。
【0008】話者適応化とは、学習に用いるよりも少量
の学習用データを用いて、認識システムを新しい使用者
(未知話者)に適応化させる方式を指す。
【0009】話者適応化方式の詳細については、「音声
認識における話者適応化技術」、古井貞煕著、テレビジ
ョン学会誌、Vol.43、No.9、1989、pp.929-934(以下文
献3という)に解説されている。
【0010】話者適応化は大きく2つの手法に分けられ
る。1つは適応化の際任意の語彙の発声を許す教師なし
話者適応化、もう1つは発声の語彙情報を用いる教師あ
り話者適応化である。
【0011】前者は、未知話者の発声する語彙を予め指
定する必要がないため、使いやすいという利点がある
が、適応化後の認識性能が後者には及ばない。したがっ
て、現在は後者、すなわち発声する語彙を予め指定した
教師あり適応化が主流である。
【0012】
【発明が解決しようとする課題】従来の教師あり適応化
による音声認識装置では、使用者が適応化用に発声した
データ(以下適応化用データという)を用いて、標準パ
ターンを使用者に適応させる。
【0013】しかし、適応化用データが少量のとき、適
応化用データから推定されたパラメータを用いて標準パ
ターンのパラメータをすべて置き換えてしまうと、しば
しば認識性能がかえって劣化する場合が生ずるという問
題点がある。これは、適応化用データのデータ数が少な
く、そこから推定されたパラメータの精度が悪いためで
ある。
【0014】本発明の目的は、使用者の音声を登録する
際、その音声の、過去の音声に対する相対的な信頼度
(相対信頼度)を使用者自身が設定することにより、精
度の高い標準パターンを作成し、認識性能を格段に向上
できる音声認識装置を提供することにある。
【0015】
【課題を解決するための手段】本発明の音声認識装置
は、使用者の発声から作成される音声認識用の適応化さ
れた標準パターンを用いる音声認識装置において、前記
使用者の発声した音声を入力としこの入力音声を分析し
て前記適応化された標準パターン作成に必要な入力音声
データを出力する分析部と、前記入力音声データとこれ
に対応する前記使用者の発声の語彙情報とを入力とし特
徴パラメータを計算し入力パターンとして出力する入力
パターン作成部と、音声認識用の標準パターンを記憶す
る標準パターン格納部と、前記語彙情報をもとに前記標
準パターン格納部から前記入力パターンに対応する標準
パターンを選択する標準パターン選択部と、以前に入力
した音声と現在の入力音声との信頼度の比として定義さ
れる相対信頼度に関する情報を前記使用者から受けとり
相対信頼度を出力する相対信頼度設定部と、前記相対信
頼度を入力とし前記入力パターンとこれに対応する選択
された前記標準パターンとを合成しそれを適応化された
標準パターンとして出力するパターン適応部と、前記適
応化された標準パターンを用いて前記使用者の音声を入
力として音声の認識を行なう認識部とを備えて構成され
ている。
【0016】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0017】図1は本発明の音声認識装置の一実施例を
示すブロック図である。
【0018】本実施例の音声認識装置は、図1に示すよ
うに、使用者の発声した音声を入力としこの入力音声を
分析して適応化された標準パターン作成に必要な入力音
声データを出力する分析部101と、入力音声データと
これに対応する使用者の発声の語彙情報とを入力とし特
徴パラメータを計算し入力パターンとして出力する入力
パターン作成部102と、音声認識用の標準パターンを
記憶する標準パターン格納部104と、語彙情報をもと
に標準パターン格納部104から入力パターンに対応す
る標準パターンを選択する標準パターン選択部103
と、以前に入力した音声と現在の入力音声との信頼度の
比として定義される相対信頼度に関する情報を使用者か
ら受けとり相対信頼度を出力する相対信頼度設定部10
5と、相対信頼度を入力とし入力パターンとこれに対応
する選択された標準パターンとを合成しそれを適応化さ
れた標準パターンとして出力するパターン適応部106
と、適応化された標準パターンを用いて使用者の音声を
入力として音声の認識を行なう認識部107とを含んで
構成されている。
【0019】次に本実施例の各部の役割について説明す
る。
【0020】音声認識装置に入力された話者の発声は、
AD変換、音声分析などの過程を経て、ある時間長をも
つフレームと呼ばれる単位ごとの特徴ベクトルの時系列
に変換される。フレームの長さは通常10msから10
0ms程度である。
【0021】特徴ベクトルはその時刻における音声スペ
クトルの特徴量を抽出したもので、通常10次元から1
00次元である。この特徴ベクトルの時系列を、ここで
は入力音声データと呼ぶ。入力される入力音声を分析し
て入力音声データを出力する操作は、分析部101にお
いて行なわれる。
【0022】以下、認識方式として、HMMを例にとっ
て説明する。
【0023】HMMは音声の情報源のモデルの1つであ
る。HMMは各認識単位ごとに用意される。ここでは、
認識単位として音素を例にとる。単語や文を認識する場
合には、各音素のHMMを連結して、その単語や文のH
MMを作成する。
【0024】各音素のHMMは、それぞれ、通常1から
10個の状態と、その間の状態遷移から構成される。通
常は始状態と終状態とが定義されており、単位時間ごと
に、各状態からシンボルが出力され、状態遷移が行なわ
れる。
【0025】各音素の音声は、始状態から終状態までの
状態遷移の間にHMMから出力されるシンボルの時系列
として表される。各状態にはシンボルの出現確率が、状
態間の各遷移には遷移確率が、定義されている。状態毎
に出現確率に応じてシンボルが発生し、遷移確率に応じ
て状態間を遷移する。始状態の確率をある値に定め、状
態遷移ごとに出現確率、遷移確率を掛けていくことによ
り、発声がそのモデルから発生する確率を求めることが
できる。逆に、発声を観測した場合、それが、あるHM
Mから発生したと仮定するとその発生確率が計算できる
ことになる。
【0026】HMMによる音声認識では、各認識候補に
対してHMMを用意し、発声が入力されると、各々のH
MMにおいて、発生確率を求め、最大となるHMMを発
生源と決定し、そのHMMに対応する認識候補をもって
認識結果とする。
【0027】HMMの著しい特徴は、モデルに対応する
音声データを与えることにより、遷移確率、出現確率な
どのパラメータを局所最適化する、バウム−ウエルチ・
アルゴリズムと呼ばれる学習アルゴリズムが存在するこ
とである。バウム−ウエルチ・アルゴリズムについては
文献1に詳しい。
【0028】今、出現確率分布は連続確率密度分布を仮
定する。
【0029】連続確率密度分布関数として混合ガウス分
布を用いる場合、そのパラメータは各分布の平均ベクト
ルと分散ベクトル、および、各分布間の重みを定める重
み係数である。
【0030】各状態における混合分布の分布数は通常1
から10程度である。各分布の平均ベクトルおよび分散
ベクトルは発声データと同じ次元をもつ。各分布の重み
係数はスカラーである。
【0031】このように出現確率分布として混合ガウス
分布を仮定したHMMでは、学習されうるパラメータ
は、これら混合連続分布の平均ベクトル、分散ベクト
ル、重み係数および遷移確率である。以下の例では、分
散ベクトル、重み係数、遷移確率を固定して各分布の平
均ベクトルを学習する場合を例にとる。この場合、標準
パターンは、音素ごとの、各状態の各分布の平均ベクト
ルである。
【0032】まず、予め用意された多数話者の学習用語
彙の発声データを用いて、すべての音素の全状態の全分
布の平均ベクトル
【0033】
【0034】を学習する。
【0035】各話者ごとに平均ベクトルを学習してもよ
いし、多数話者すべてについて1つの平均ベクトルを学
習してもよい。ここでは、後者の場合について説明す
る。
【0036】学習方法は前述のバウム−ウエルチ・アル
ゴリズムを用いることができる。また、発声をビタービ
・アルゴリズムにより、各分布に対応させ、各分布に対
応するすべての発声データを平均したものを平均ベクト
ルとすることも可能である。ビタービ・アルゴリズムに
ついては文献1に詳しい。
【0037】このようにして計算された平均ベクトルは
標準パターンとして標準パターン格納部104に予め記
憶される。
【0038】ここまでの処理は使用者が使用を開始する
以前に行なっておくことが可能である。
【0039】以下は、使用者が使用する際の処理であ
る。
【0040】今、音素の1つをとり、その1つの状態の
1つの分布iの平均ベクトルμi について考える。
【0041】まず、使用者の発声から作成された適応化
データから、その語彙を表す語彙情報を用いて、平均ベ
クトルμi に対応する発声データを抽出し、それを用い
て使用者の発声に適応した平均ベクトル
【0042】
【0043】を求める。発声データから平均ベクトル
(2)を求める方法は多数話者の場合と同様である。こ
の動作は入力パターン作成部102において行なわれ
る。
【0044】また、使用者の発声の語彙情報を用いて、
平均ベクトルの集合
【0045】
【0046】の中から同じ添字iをもつ分布の平均ベク
トル
【0047】
【0048】を選んでくる。以上の動作は、標準パター
ン選択部103で行なわれる。
【0049】使用者は、発声とともに、その発声の相対
信頼度に関する情報(相対信頼度情報)を入力する。
【0050】相対信頼度とは、その時点以前に発声した
音声すべてに対する、現時点で入力した音声の相対的な
重要度を示す値である。例えば風邪を引いている場合、
発声は今までのものと大きく異なっていることが予想さ
れる。そのような場合、過去の音声を用いて作成された
標準パターンよりも、現在の発声から作成された入力パ
ターンの方が、新しい発声に対し認識性能が高い可能性
が大きい。このような場合には新しい発声の相対信頼度
を高めるように、使用者自身が相対信頼度情報を入力す
る。
【0051】この相対信頼度情報の入力の方法として
は、例えば、数値で入力する、また、いくつかの候補の
うちから選択する、など多くの方法が考えられる。この
ように入力された相対信頼度情報から信頼度ki を計算
し、それを出力する。これは、相対信頼度設定部105
で行なわれる。
【0052】次に、使用者の発声に適応した平均ベクト
ル(2)、標準パターンの平均ベクトル(4)、相対信
頼度ki を用いて新しい平均ベクトルを以下のように求
める。
【0053】
【0054】標準パターン格納部104の標準パターン
の平均ベクトル(4)は、新しい適応化された標準パタ
ーン(5)に置き換えられる。これらは、パターン適応
部106で行なわれる。
【0055】以上の手続きを各音素の各状態の各分布に
ついて行なう。
【0056】このように、標準パターンを作成した後、
音声認識装置の使用時においては、標準パターン格納部
104から標準パターン、すなわち平均ベクトル
【0057】
【0058】を取り出し、それらを用いて、入力された
新使用者の発生を認識する。HMMの認識方式について
は文献1に詳しい。これは、認識部107で行なわれ
る。
【0059】次に本実施例の動作について説明する。
【0060】分析部101は入力音声を分析しパターン
作成に必要な入力音声データを出力する。入力パターン
作成部102は、入力音声データと入力語彙の情報をも
とに特徴パラメータを計算し入力パターンとして出力す
る。一方、標準パターン選択部103は、標準パターン
格納部104から入力語彙情報をもとに入力パターンに
対応する標準パターンを選択し出力する。相対信頼度設
定部105は、使用者から相対信頼度に関する情報を受
けとり、相対信頼度を出力する。パターン適応部106
は、相対信頼度を用いて、入力パターンと標準パターン
とを合成し新しい標準パターンとして出力する。出力さ
れた標準パターンは標準パターン格納部107に格納さ
れる。このように作成された適応パターンを用いて、認
識部107で音声の認識を行なう。
【0061】このようにして、本実施例では、使用者の
音声を登録する際、その音声の、過去の音声に対する相
対な信頼度(相対信頼度)を使用者自身が設定すること
により、精度の高い適応化された標準パターンを作成
し、認識性能を格段に向上できることになる。
【0062】以上の説明では、多数話者が複数で、全話
者で1つの平均ベクトル(6)を学習している場合を例
にあげたが、各話者ごとに平均ベクトルを学習してもよ
い。その場合、標準パターン格納部104には、一つの
認識単位に対し、複数の標準パターンがあることになる
が、標準パターン選択部103でこれらのうちから1つ
を選ぶ、あるいは、複数のものを重みづけて1つに合成
するなどの処理を行ない、標準パターンを取り出す。
【0063】また、簡単のため、標準パターンと入力パ
ターンの学習方式はすべて同一としたが、これらがそれ
ぞれっ異なていても、本発明を適用することが可能であ
る。
【0064】また、平均ベクトルのみを学習する例を示
したが、その他の分散、重み、遷移確率なども同様の方
式で学習することが容易に可能である。また、それらパ
ラメータのうち、同時に複数のものを学習することも可
能である。
【0065】さらに、認識単位として、音素を例にとり
あげたが、音素以外の、音節、半音節など他の認識単位
の場合も、本方式は容易に適用可能である。
【0066】また、認識方式としてHMMを例にあげて
説明したが、他の認識方式、例えば、NN、DPマッチ
ングなどの認識方式においても、パラメータを学習する
際に、本方式を適用することが容易に可能である。
【0067】
【発明の効果】使用者の体調、周囲の騒音などにより、
過去の発声と新しい発声が著しく異なると考えられた場
合は、入力使用者自身が新しい発声の相対信頼度を高
め、音声認識装置を速やかに環境に適応させることがで
きる。
【0068】それ以外の普段の業務の場合には、新しい
発声の相対信頼度を低めに設定することにより、緩やか
に使用者に適応させることができる。
【0069】また、誤認識しやすい単語を入力する際に
その単語発声の相対信頼度を高めると、その単語に標準
パターンが速やかに適応し、その単語の認識が容易とな
る。
【0070】以上のように、本発明には、使用者の音声
を登録する際、その音声の、過去の音声に対する相対な
信頼度(相対信頼度)を使用者自身が設定することによ
り、精度の高い標準パターンを作成し、認識性能を格段
に向上できるという効果を有している。
【図面の簡単な説明】
【図1】本発明の音声認識装置の一実施例を示すブロッ
ク図である。
【符号の説明】
101 分析部 102 入力パターン作成部 103 標準パターン選択部 104 標準パターン格納部 105 相対信頼度設定部 106 パターン適応部 107 認識部

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】使用者の発声から作成される音声認識用の
    適応化された標準パターンを用いる音声認識装置におい
    て、 前記使用者の発声した音声を入力としこの入力音声を分
    析して前記適応化された標準パターン作成に必要な入力
    音声データを出力する分析部と、 前記入力音声データとこれに対応する前記使用者の発声
    の語彙情報とを入力とし特徴パラメータを計算し入力パ
    ターンとして出力する入力パターン作成部と、 音素毎の標準パターンを記憶する音声認識用の標準パタ
    ーン格納部と、 前記語彙情報をもとに前記標準パターン格納部から前記
    入力パターンに対応する標準パターンを選択する標準パ
    ターン選択部と、 前記使用者により設定される相対信頼度に関する情報で
    あり、その使用者が以前に入力した音声と現在の入力音
    声との信頼度の比として定義される相対信頼度に関する
    情報を受けとり、相対信頼度を出力する相対信頼度設定
    部と、 前記相対信頼度を入力とし前記入力パターンとこれに対
    応する選択された前記標準パターンとを合成しそれを適
    応化された標準パターンとして出力するパターン適応部
    と、 前記適応化された標準パターンを用いて前記使用者の音
    声を入力として音声の認識を行う認識部とを含むことを
    特徴とする音声認識装置。
  2. 【請求項2】使用者の発声から作成される音声認識用の
    適応化された標準パターンを用いる音声認識装置におい
    て、 前記使用者の発声した音声を入力としこの入力音声を分
    析して前記適応化された標準パターン作成に必要な入力
    音声データを出力する分析部と、 前記入力音声データとこれに対応する前記使用者の発声
    の語彙情報とを入力とし特徴パラメータを計算し入力パ
    ターンとして出力する入力パターン作成部と、 音節毎の標準パターンを記憶する音声認識用の標準パタ
    ーン格納部と、 前記語彙情報をもとに前記標準パターン格納部から前記
    入力パターンに対応する標準パターンを選択する標準パ
    ターン選択部と、 前記使用者により設定される相対信頼度に関する情報で
    あり、その使用者が以前に入力した音声と現在の入力音
    声との信頼度の比として定義される相対信頼度に関する
    情報を受けとり、相対信頼度を出力する相対信頼度設定
    部と、 前記相対信頼度を入力とし前記入力パターンとこれに対
    応する選択された前記標準パターンとを合成しそれを適
    応化された標準パターンとして出力するパターン適応部
    と、 前記適応化された標準パターンを用いて前記使用者の音
    声を入力として音声の認識を行う認識部とを含むことを
    特徴とする音声認識装置。
  3. 【請求項3】使用者の発声から作成される音声認識用の
    適応化された標準パターンを用いる音声認識装置におい
    て、 前記使用者の発声した音声を入力としこの入力音声を分
    析して前記適応化された標準パターン作成に必要な入力
    音声データを出力する分析部と、 前記入力音声データとこれに対応する前記使用者の発声
    の語彙情報とを入力とし特徴パラメータを計算し入力パ
    ターンとして出力する入力パターン作成部と、 半音節毎の標準パターンを記憶する音声認識用の標準パ
    ターン格納部と、 前記語彙情報をもとに前記標準パターン格納部から前記
    入力パターンに対応する標準パターンを選択する標準パ
    ターン選択部と、 前記使用者により設定される相対信頼度に関する情報で
    あり、その使用者が以前に入力した音声と現在の入力音
    声との信頼度の比として定義される相対信頼度に関する
    情報を受けとり、相対信頼度を出力する相対信頼度設定
    部と、 前記相対信頼度を入力とし前記入力パターンとこれに対
    応する選択された前記標準パターンとを合成しそれを適
    応化された標準パターンとして出力するパターン適応部
    と、 前記適応化された標準パターンを用いて前記使用者の音
    声を入力として音声の認識を行う認識部とを含むことを
    特徴とする音声認識装置。
JP05199404A 1993-08-11 1993-08-11 音声認識装置 Expired - Fee Related JP3105708B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05199404A JP3105708B2 (ja) 1993-08-11 1993-08-11 音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05199404A JP3105708B2 (ja) 1993-08-11 1993-08-11 音声認識装置

Publications (2)

Publication Number Publication Date
JPH0756592A JPH0756592A (ja) 1995-03-03
JP3105708B2 true JP3105708B2 (ja) 2000-11-06

Family

ID=16407235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05199404A Expired - Fee Related JP3105708B2 (ja) 1993-08-11 1993-08-11 音声認識装置

Country Status (1)

Country Link
JP (1) JP3105708B2 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6231900A (ja) * 1985-08-03 1987-02-10 日本電気株式会社 音声認識装置

Also Published As

Publication number Publication date
JPH0756592A (ja) 1995-03-03

Similar Documents

Publication Publication Date Title
KR100612840B1 (ko) 모델 변이 기반의 화자 클러스터링 방법, 화자 적응 방법및 이들을 이용한 음성 인식 장치
EP1269464B1 (en) Discriminative training of hidden markov models for continuous speech recognition
WO2001022400A1 (en) Iterative speech recognition from multiple feature vectors
JP2002500779A (ja) 識別訓練されたモデルを用いる音声認識システム
JP2001503154A (ja) 音声認識システムにおける隠れマルコフ音声モデルの適合方法
JP2015526766A (ja) 自動音声認識システムにおける選択的にバイアスをかけられた線形判別分析の方法及びシステム
JPH0962291A (ja) 記述長最小基準を用いたパターン適応化方式
JP2751856B2 (ja) 木構造を用いたパターン適応化方式
CN114530141A (zh) 一种特定场景下的中英文混合的离线语音关键词识别方法及其系统实现
JP3403838B2 (ja) 句境界確率計算装置および句境界確率利用連続音声認識装置
Sharma et al. Soft-Computational Techniques and Spectro-Temporal Features for Telephonic Speech Recognition: an overview and review of current state of the art
JP3039399B2 (ja) 非母国語音声認識装置
JP5300000B2 (ja) 調音特徴抽出装置、調音特徴抽出方法、及び調音特徴抽出プログラム
JP2982689B2 (ja) 情報量基準を用いた標準パターン作成方式
Nakamura et al. Multi-modal temporal asynchronicity modeling by product HMMs for robust audio-visual speech recognition
JP3105708B2 (ja) 音声認識装置
JP3216565B2 (ja) 音声モデルの話者適応化方法及びその方法を用いた音声認識方法及びその方法を記録した記録媒体
JP2976795B2 (ja) 話者適応化方式
KR100586045B1 (ko) 고유음성 화자적응을 이용한 재귀적 화자적응 음성인식시스템 및 방법
JP2003271185A (ja) 音声認識用情報作成装置及びその方法と、音声認識装置及びその方法と、音声認識用情報作成プログラム及びそのプログラムを記録した記録媒体と、音声認識プログラム及びそのプログラムを記録した記録媒体
JPH06175678A (ja) 音声認識装置
EP1369847B1 (en) Speech recognition method and system
JPH0981182A (ja) 隠れマルコフモデルの学習装置及び音声認識装置
Thandil et al. Automatic speech recognition system for utterances in Malayalam language
JPH0822296A (ja) パターン認識方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080901

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080901

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090901

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090901

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees