JPH0535292A - 動的計画法照合装置 - Google Patents
動的計画法照合装置Info
- Publication number
- JPH0535292A JPH0535292A JP3187157A JP18715791A JPH0535292A JP H0535292 A JPH0535292 A JP H0535292A JP 3187157 A JP3187157 A JP 3187157A JP 18715791 A JP18715791 A JP 18715791A JP H0535292 A JPH0535292 A JP H0535292A
- Authority
- JP
- Japan
- Prior art keywords
- threshold value
- time
- dynamic programming
- unit
- paths
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 230000001186 cumulative effect Effects 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 19
- 238000013138 pruning Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000007796 conventional method Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/12—Speech classification or search using dynamic programming techniques, e.g. dynamic time warping [DTW]
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】
【目的】あるしきい値によってＤＰパスの枝刈りを行う
音声認識に用いる動的計画法照合装置に関し，候補を記
憶するメモリを効率よく使い，照合性能の低下を防ぐこ
とを目的としている。 【構成】ＤＰ照合を行う際に各時刻での累積距離としき
い値とを比較し，以降のＤＰパスを制限する動的計画法
照合装置において，入力の各時刻で残ったＤＰパスの個
数を，監視部15により監視し，しきい値変更部16により
しきい値を変更する。ＤＰパスの候補個数が多くなり過
ぎた場合には，しきい値を大きくし候補数を減らすこと
でメモリ容量を節約する。一方，ＤＰパスの候補個数が
少なくなり過ぎた場合には，しきい値を小さくし候補数
を増やすことで照合性能を上げる。
音声認識に用いる動的計画法照合装置に関し，候補を記
憶するメモリを効率よく使い，照合性能の低下を防ぐこ
とを目的としている。 【構成】ＤＰ照合を行う際に各時刻での累積距離としき
い値とを比較し，以降のＤＰパスを制限する動的計画法
照合装置において，入力の各時刻で残ったＤＰパスの個
数を，監視部15により監視し，しきい値変更部16により
しきい値を変更する。ＤＰパスの候補個数が多くなり過
ぎた場合には，しきい値を大きくし候補数を減らすこと
でメモリ容量を節約する。一方，ＤＰパスの候補個数が
少なくなり過ぎた場合には，しきい値を小さくし候補数
を増やすことで照合性能を上げる。
Description
【０００１】
【産業上の利用分野】本発明は，あるしきい値によって
ＤＰ(DynamicProgramming) パスの枝刈りを行う音声認
識に用いる動的計画法（ＤＰ）照合装置であって，累積
距離メモリの容量を小さくし，また照合性能を向上させ
ることができるようにした動的計画法照合装置に関す
る。
ＤＰ(DynamicProgramming) パスの枝刈りを行う音声認
識に用いる動的計画法（ＤＰ）照合装置であって，累積
距離メモリの容量を小さくし，また照合性能を向上させ
ることができるようにした動的計画法照合装置に関す
る。
【０００２】
【従来の技術】図９は従来の動的計画法照合装置の構成
図，図１０は本発明に関係するＤＰパスの制限説明図，
図１１は従来技術のブロック図，図１２は従来のＤＰ照
合処理フローチャートである。
図，図１０は本発明に関係するＤＰパスの制限説明図，
図１１は従来技術のブロック図，図１２は従来のＤＰ照
合処理フローチャートである。
【０００３】従来の動的計画法照合装置では，音声認識
等にあたって，入力音声から抽出した音声の特徴量を，
入力時系列パターン読み込み部１０により入力し，入力
時系列パターン記憶部１１に記憶する。これと，あらか
じめ標準時系列パターン記憶部１２に記憶している標準
時系列パターンとを動的計画法（ＤＰ）によって照合
し，累積距離の小さいものを照合結果とする。
等にあたって，入力音声から抽出した音声の特徴量を，
入力時系列パターン読み込み部１０により入力し，入力
時系列パターン記憶部１１に記憶する。これと，あらか
じめ標準時系列パターン記憶部１２に記憶している標準
時系列パターンとを動的計画法（ＤＰ）によって照合
し，累積距離の小さいものを照合結果とする。
【０００４】具体的には，以下のとおりである。入力パ
ターンに関して各時刻での特徴量をａi として，入力時
系列パターン読み込み部１０により入力時系列パターン
記憶部１１に読み込み，あらかじめ標準時系列パターン
記憶部１２に記憶している標準パターンに関して，各時
刻の特徴量ｂj との距離ｄ(i,j) の最適累積値Ｇ(i,j)
を計算し，照合結果を得る。累積値Ｇ(i,j) は例えば， Ｇ(1,1) ＝ｄ(1,1) Ｇ(i,j) ＝ｄ(i,j) ＋ min｛Ｇ(i-1,j) ，Ｇ(i-1,j-1) ｝・・・（式１） に基づき計算される。これにより全経路中の最適値を求
めることができる。
ターンに関して各時刻での特徴量をａi として，入力時
系列パターン読み込み部１０により入力時系列パターン
記憶部１１に読み込み，あらかじめ標準時系列パターン
記憶部１２に記憶している標準パターンに関して，各時
刻の特徴量ｂj との距離ｄ(i,j) の最適累積値Ｇ(i,j)
を計算し，照合結果を得る。累積値Ｇ(i,j) は例えば， Ｇ(1,1) ＝ｄ(1,1) Ｇ(i,j) ＝ｄ(i,j) ＋ min｛Ｇ(i-1,j) ，Ｇ(i-1,j-1) ｝・・・（式１） に基づき計算される。これにより全経路中の最適値を求
めることができる。
【０００５】図１０の（イ）は，その累積値を計算する
ための経路を図示したものである。その際に計算量を減
らすために，各時刻ｉにおいて以降に計算すべき経路を
制限する方法がある。これを図１０の（ロ）に示す。
ための経路を図示したものである。その際に計算量を減
らすために，各時刻ｉにおいて以降に計算すべき経路を
制限する方法がある。これを図１０の（ロ）に示す。
【０００６】例えば図１０の（ロ）では，時刻ｉ−１の
累積距離中で，あるしきい値より小さいもの（Ｇ(i-1,
j) ，Ｇ(i-1,j+3) ）に関してのみ以降の経路を計算す
るようにしている。このため，例えば時刻ｉにおいて
は，Ｇ(i,j+2) （図中×）は計算せず，計算量を削減す
ることができる。その際に各時刻において記憶すべき累
積距離は大幅に削減することができる。したがって，実
現の際には累積距離メモリを節約することができる。
累積距離中で，あるしきい値より小さいもの（Ｇ(i-1,
j) ，Ｇ(i-1,j+3) ）に関してのみ以降の経路を計算す
るようにしている。このため，例えば時刻ｉにおいて
は，Ｇ(i,j+2) （図中×）は計算せず，計算量を削減す
ることができる。その際に各時刻において記憶すべき累
積距離は大幅に削減することができる。したがって，実
現の際には累積距離メモリを節約することができる。
【０００７】これを実現するブロック構成を図１１に示
し，その処理フローチャートを図１２に示す。ここで，
Ｇ(i-1,k) は前時刻ｉ−１において候補として残った累
積距離メモリ２９中の累積距離のｋ番目の値であり，Ｊ
Ｐ(k) はその際の標準パターン中の特徴番号である。以
下，図１２に示す(1) 〜(16)に従って説明する。
し，その処理フローチャートを図１２に示す。ここで，
Ｇ(i-1,k) は前時刻ｉ−１において候補として残った累
積距離メモリ２９中の累積距離のｋ番目の値であり，Ｊ
Ｐ(k) はその際の標準パターン中の特徴番号である。以
下，図１２に示す(1) 〜(16)に従って説明する。
【０００８】(1) 〜(2) 初めに入力パターン，標準パタ
ーンに関しての変数ｉ，ｋの初期化を行う。 (3) 次いで計算すべき経路を選択する。
ーンに関しての変数ｉ，ｋの初期化を行う。 (3) 次いで計算すべき経路を選択する。
【０００９】(4) 図１１に示す局所距離計算部２２によ
り，局所距離ｄ(i,j) を計算する。(5) 続いて上記（式
１）を展開した際の， Ｇ(i,j) ＝ min｛ｄ(i,j) ＋Ｇ(i,j) ，ｄ(i,j) ＋Ｇ(i,j-1) ｝ のいずれか一方である一時累積距離ｇ(i,j) を，一時累
積距離計算部２３により計算する。
り，局所距離ｄ(i,j) を計算する。(5) 続いて上記（式
１）を展開した際の， Ｇ(i,j) ＝ min｛ｄ(i,j) ＋Ｇ(i,j) ，ｄ(i,j) ＋Ｇ(i,j-1) ｝ のいずれか一方である一時累積距離ｇ(i,j) を，一時累
積距離計算部２３により計算する。
【００１０】(6) その後，もう一方の一時累積距離が計
算されていればそれと比較し，小さい方を最終累積距離
Ｇ(i,j) とし，まだ計算されていない場合には，これを
最終累積距離Ｇ(i,j) としてバッファ２５に格納する。
算されていればそれと比較し，小さい方を最終累積距離
Ｇ(i,j) とし，まだ計算されていない場合には，これを
最終累積距離Ｇ(i,j) としてバッファ２５に格納する。
【００１１】(7) 〜(8) 計算すべき経路を全て終えたな
らば，次の処理(9) へ進む。 (9) しきい値θ(i) を，しきい値計算部２６によって計
算する。ここで，しきい値は例えば， θ(i) ＝ min｛Ｇ(i,j) ｝＋λ のように，各時刻における最小の累積距離に一定の余裕
分λを加えたものとする。
らば，次の処理(9) へ進む。 (9) しきい値θ(i) を，しきい値計算部２６によって計
算する。ここで，しきい値は例えば， θ(i) ＝ min｛Ｇ(i,j) ｝＋λ のように，各時刻における最小の累積距離に一定の余裕
分λを加えたものとする。
【００１２】(10)バッファ２５内のカウンタを初期化す
る。 (11)〜(14)累積距離判定部２８により，バッファ２５中
の累積距離のうち，しきい値より小さいものを選び，累
積距離メモリ２９に格納する。
る。 (11)〜(14)累積距離判定部２８により，バッファ２５中
の累積距離のうち，しきい値より小さいものを選び，累
積距離メモリ２９に格納する。
【００１３】(15)〜(16)全入力パターンに関して計算を
終えると，結果抽出部３１により，最終的な照合結果を
出力する。
終えると，結果抽出部３１により，最終的な照合結果を
出力する。
【００１４】
【発明が解決しようとする課題】以上の従来技術のよう
に，入力の各時刻での累積値をしきい値と比較し，計算
するＤＰパスの枝刈りを行うことにより，計算すべき経
路を大幅に減らし，計算量を削減することができる。
に，入力の各時刻での累積値をしきい値と比較し，計算
するＤＰパスの枝刈りを行うことにより，計算すべき経
路を大幅に減らし，計算量を削減することができる。
【００１５】しかし，計算すべき経路が減ってもその個
数が一定でないため，次のような問題がある。累積距離
メモリ２９の容量を小さくした場合には，各時刻でのＤ
Ｐパスの候補数が多くなり過ぎたときに，メモリが足り
なくなり，オーバフローすることが起こりうる。
数が一定でないため，次のような問題がある。累積距離
メモリ２９の容量を小さくした場合には，各時刻でのＤ
Ｐパスの候補数が多くなり過ぎたときに，メモリが足り
なくなり，オーバフローすることが起こりうる。
【００１６】また逆に，各時刻でのＤＰパスの候補数が
少なくなり過ぎたときに，以降の時刻において計算すべ
き経路が少なくなり，照合性能が低下することが起こり
うる。
少なくなり過ぎたときに，以降の時刻において計算すべ
き経路が少なくなり，照合性能が低下することが起こり
うる。
【００１７】本発明は上記問題点の解決を図り，候補を
記憶するメモリを効率よく使い，また照合性能の低下を
防ぐことを目的としている。
記憶するメモリを効率よく使い，また照合性能の低下を
防ぐことを目的としている。
【００１８】
【課題を解決するための手段】図１は本発明の原理構成
図である。図１において，入力時系列パターン読み込み
部１０は，入力時系列パターンを読み込み，入力時系列
パターン記憶部１１に格納するものである。標準時系列
パターン記憶部１２には，あらかじめ照合対象となる標
準時系列パターンが記憶されている。ＤＰ照合部１３
は，入力の各時刻での各パターン間距離の最適累積値を
動的計画法に基づき計算するものである。制御部１４
は，ＤＰ照合部１３の動的計画法を制御する手段であ
る。
図である。図１において，入力時系列パターン読み込み
部１０は，入力時系列パターンを読み込み，入力時系列
パターン記憶部１１に格納するものである。標準時系列
パターン記憶部１２には，あらかじめ照合対象となる標
準時系列パターンが記憶されている。ＤＰ照合部１３
は，入力の各時刻での各パターン間距離の最適累積値を
動的計画法に基づき計算するものである。制御部１４
は，ＤＰ照合部１３の動的計画法を制御する手段であ
る。
【００１９】ＤＰ照合部１３は，制御部１４の制御のも
とに，入力の各時刻での累積値をしきい値と比較し，以
降に計算するＤＰパスを制限することにより，計算量の
削減を行う。特に，本発明では，入力の各時刻で残った
ＤＰパスの個数を監視する監視部１５と，ＤＰパスの個
数によってしきい値を変更するしきい値変更部１６とを
備えている。
とに，入力の各時刻での累積値をしきい値と比較し，以
降に計算するＤＰパスを制限することにより，計算量の
削減を行う。特に，本発明では，入力の各時刻で残った
ＤＰパスの個数を監視する監視部１５と，ＤＰパスの個
数によってしきい値を変更するしきい値変更部１６とを
備えている。
【００２０】しきい値の変更では，次のような手段を採
ることができる。請求項２記載の発明では，しきい値変
更部１６は，監視部１５によって得た入力の前時刻にお
けるＤＰパスの個数と，現時刻におけるＤＰパスの個数
との関係によってしきい値を変更するように構成されて
いる。
ることができる。請求項２記載の発明では，しきい値変
更部１６は，監視部１５によって得た入力の前時刻にお
けるＤＰパスの個数と，現時刻におけるＤＰパスの個数
との関係によってしきい値を変更するように構成されて
いる。
【００２１】請求項３記載の発明では，ＤＰ照合部１３
は，しきい値変更部１６によってしきい値を変更した
後，制御部１４の制御により再度同時刻に関しての計算
を行う。
は，しきい値変更部１６によってしきい値を変更した
後，制御部１４の制御により再度同時刻に関しての計算
を行う。
【００２２】請求項４記載の発明では，さらに，しきい
値変更部１６は，現時刻のしきい値と現時刻におけるし
きい値変更分との関係によって，次時刻のしきい値を変
更するように構成されている。
値変更部１６は，現時刻のしきい値と現時刻におけるし
きい値変更分との関係によって，次時刻のしきい値を変
更するように構成されている。
【００２３】請求項５記載の発明では，しきい値変更部
１６は，標準時系列パターンの各時刻においてしきい値
を変更するように構成されている。
１６は，標準時系列パターンの各時刻においてしきい値
を変更するように構成されている。
【００２４】
【作用】本発明では，各時刻でのＤＰパスの候補数（す
なわち累積距離メモリ）を監視し，候補数によってしき
い値を変更する。これにより，ＤＰパスの候補数を制御
する。
なわち累積距離メモリ）を監視し，候補数によってしき
い値を変更する。これにより，ＤＰパスの候補数を制御
する。
【００２５】ＤＰパスの候補数が多くなり過ぎた場合に
は，しきい値を大きくする。しきい値を大きくすること
で，ＤＰパスの候補数を少なくすることができ，メモリ
容量を小さくすることができる。
は，しきい値を大きくする。しきい値を大きくすること
で，ＤＰパスの候補数を少なくすることができ，メモリ
容量を小さくすることができる。
【００２６】また，ＤＰパスの候補数が少なくなり過ぎ
た場合には，しきい値を小さくする。しきい値を小さく
することで，ＤＰパスの候補数を多くすることができ，
照合性能を向上させることができる。
た場合には，しきい値を小さくする。しきい値を小さく
することで，ＤＰパスの候補数を多くすることができ，
照合性能を向上させることができる。
【００２７】
【実施例】図２は本発明の一実施例ブロック図，図３は
本発明の実施例の処理フローチャートである。
本発明の実施例の処理フローチャートである。
【００２８】図２に示す入力パターンメモリ２０，標準
パターンメモリ２１は，それぞれ図１に示す入力時系列
パターン記憶部１１，標準時系列パターン記憶部１２に
対応する。局所距離計算部２２は，局所距離ｄ(i,j) を
計算する部分である。一時累積距離計算部２３は，一時
累積距離ｇ(i,j) を計算する部分である。最終累積距離
計算部２４は，最終累積距離Ｇ(i,j)を計算する部分で
ある。バッファ２５は，その最終累積距離Ｇ(i,j) を記
憶するメモリである。
パターンメモリ２１は，それぞれ図１に示す入力時系列
パターン記憶部１１，標準時系列パターン記憶部１２に
対応する。局所距離計算部２２は，局所距離ｄ(i,j) を
計算する部分である。一時累積距離計算部２３は，一時
累積距離ｇ(i,j) を計算する部分である。最終累積距離
計算部２４は，最終累積距離Ｇ(i,j)を計算する部分で
ある。バッファ２５は，その最終累積距離Ｇ(i,j) を記
憶するメモリである。
【００２９】しきい値計算部２６は，計算すべき経路を
削減するためのしきい値θ(i) を計算する部分である。
しきい値メモリ２７は，計算されたしきい値θ(i) を記
憶する。しきい値変更部１６は，ＤＰパスの候補数に応
じて，しきい値θ(i) を変更する処理を行うものであ
る。累積距離判定部２８は，バッファ２５に記憶されて
いる最終累積距離Ｇ(i,j) と，しきい値θ(i) とを比較
し，しきい値θ(i) より小さい最終累積距離Ｇ(i,j)
を，累積距離メモリ２９に格納するものである。
削減するためのしきい値θ(i) を計算する部分である。
しきい値メモリ２７は，計算されたしきい値θ(i) を記
憶する。しきい値変更部１６は，ＤＰパスの候補数に応
じて，しきい値θ(i) を変更する処理を行うものであ
る。累積距離判定部２８は，バッファ２５に記憶されて
いる最終累積距離Ｇ(i,j) と，しきい値θ(i) とを比較
し，しきい値θ(i) より小さい最終累積距離Ｇ(i,j)
を，累積距離メモリ２９に格納するものである。
【００３０】メモリ監視部３０は，図１に示す監視部１
５に相当し，累積距離メモリ２９の使用量，すなわちＤ
Ｐパスの個数を監視する部分である。結果抽出部３１
は，累積距離メモリ２９から最終的な結果を抽出し，照
合結果として出力する部分である。
５に相当し，累積距離メモリ２９の使用量，すなわちＤ
Ｐパスの個数を監視する部分である。結果抽出部３１
は，累積距離メモリ２９から最終的な結果を抽出し，照
合結果として出力する部分である。
【００３１】以下，図３に示す(1) 〜(16)に従って説明
する。 (1) 〜(2) 初めに入力パターン，標準パターンに関して
の変数ｉ，ｋの初期化を行う。
する。 (1) 〜(2) 初めに入力パターン，標準パターンに関して
の変数ｉ，ｋの初期化を行う。
【００３２】(3) 次いで計算すべき経路を選択する。
(4) 図２に示す局所距離計算部２２により，局所距離ｄ
(i,j) を計算する。 (5) 続いて従来技術で説明した経路中の最適値を求める
（式１）を展開した際の， Ｇ(i,j) ＝ min｛ｄ(i,j) ＋Ｇ(i,j) ，ｄ(i,j) ＋Ｇ(i,j-1) ｝ のいずれか一方である一時累積距離ｇ(i,j) を，一時累
積距離計算部２３により計算する。
(i,j) を計算する。 (5) 続いて従来技術で説明した経路中の最適値を求める
（式１）を展開した際の， Ｇ(i,j) ＝ min｛ｄ(i,j) ＋Ｇ(i,j) ，ｄ(i,j) ＋Ｇ(i,j-1) ｝ のいずれか一方である一時累積距離ｇ(i,j) を，一時累
積距離計算部２３により計算する。
【００３３】(6) その後，もう一方の一時累積距離が計
算されていればそれと比較し，小さい方を最終累積距離
Ｇ(i,j) とし，まだ計算されていない場合には，これを
最終累積距離Ｇ(i,j) としてバッファ２５に格納する。
算されていればそれと比較し，小さい方を最終累積距離
Ｇ(i,j) とし，まだ計算されていない場合には，これを
最終累積距離Ｇ(i,j) としてバッファ２５に格納する。
【００３４】(7) 〜(8) 計算すべき経路を全て終えたな
らば，次の処理(9) へ進む。 (9) しきい値θ(i) を，しきい値計算部２６によって計
算する。ここで，しきい値は例えば， θ(i) ＝ min｛Ｇ(i,j) ｝＋λ のように，各時刻における最小の累積距離に一定の余裕
分λを加えたものとする。
らば，次の処理(9) へ進む。 (9) しきい値θ(i) を，しきい値計算部２６によって計
算する。ここで，しきい値は例えば， θ(i) ＝ min｛Ｇ(i,j) ｝＋λ のように，各時刻における最小の累積距離に一定の余裕
分λを加えたものとする。
【００３５】(10)バッファ内のカウンタを初期化する。
(11)〜(14)累積距離判定部２８により，バッファ２５中
の累積距離の内，しきい値より小さいものを選び，累積
距離メモリ２９に格納する。
の累積距離の内，しきい値より小さいものを選び，累積
距離メモリ２９に格納する。
【００３６】(a) ここで，累積距離メモリ２９内のＤＰ
パスの候補数が適切であるかどうかをチェックし，適切
であれば，次の処理(b) をスキップする。 (b) ＤＰパスの候補数が適切でなければ，しきい値変更
部１６により，しきい値を変更する。このしきい値の変
更では，例えばしきい値メモリ２７内の値を， θ(i) ←θ(i) ×0.９ あるいは θ(i) ←θ(i) ×1.１ のように更新する。
パスの候補数が適切であるかどうかをチェックし，適切
であれば，次の処理(b) をスキップする。 (b) ＤＰパスの候補数が適切でなければ，しきい値変更
部１６により，しきい値を変更する。このしきい値の変
更では，例えばしきい値メモリ２７内の値を， θ(i) ←θ(i) ×0.９ あるいは θ(i) ←θ(i) ×1.１ のように更新する。
【００３７】(15)〜(16)全入力パターンに関して計算を
終えると，結果抽出部３１により，最終的な照合結果を
出力する。 ［実施例１］図３に示す処理(b) において，しきい値を
変更する際に，前時刻でのＤＰパスの候補数と現時刻で
のＤＰパスの候補数との関係から，次時刻のＤＰパスの
個数を予測し，しきい値を変更する。例えば， ＮDP-pre：前時刻でのＤＰパスの候補個数 ＮDP-now：現時刻でのＤＰパスの候補個数 ＮDP-nxt：次時刻でのＤＰパスの候補個数 とした場合， ＮDP-nxt＝ＮDP-now＋（ＮDP-now−ＮDP-pre） のように次時刻のＤＰパスの個数を予測することができ
る。その際にＮDP-nxtが多過ぎたり，少な過ぎたりしな
いようにしきい値を変更する。
終えると，結果抽出部３１により，最終的な照合結果を
出力する。 ［実施例１］図３に示す処理(b) において，しきい値を
変更する際に，前時刻でのＤＰパスの候補数と現時刻で
のＤＰパスの候補数との関係から，次時刻のＤＰパスの
個数を予測し，しきい値を変更する。例えば， ＮDP-pre：前時刻でのＤＰパスの候補個数 ＮDP-now：現時刻でのＤＰパスの候補個数 ＮDP-nxt：次時刻でのＤＰパスの候補個数 とした場合， ＮDP-nxt＝ＮDP-now＋（ＮDP-now−ＮDP-pre） のように次時刻のＤＰパスの個数を予測することができ
る。その際にＮDP-nxtが多過ぎたり，少な過ぎたりしな
いようにしきい値を変更する。
【００３８】［実施例２］図３に示す処理では，しきい
値の変更は次時刻以降に影響を与える。しかし，例えば
現時刻でのＤＰパスの候補数が少ない場合には，しきい
値を変更することにより，次時刻以降でＤＰパスの候補
数を多くし，照合性能の低下を防ぐよりは，現時刻での
ＤＰパスを多くした方が，より早い時点で照合性能の低
下を防ぐことができる。
値の変更は次時刻以降に影響を与える。しかし，例えば
現時刻でのＤＰパスの候補数が少ない場合には，しきい
値を変更することにより，次時刻以降でＤＰパスの候補
数を多くし，照合性能の低下を防ぐよりは，現時刻での
ＤＰパスを多くした方が，より早い時点で照合性能の低
下を防ぐことができる。
【００３９】そこで，図４の（イ）の(10)〜(14),(a),
(b)に示すように，図３に示す同じ部分の処理(10)〜(1
4),(a),(b)を一部変更し，処理(b) でしきい値を変更し
た後に，再度，処理(10)へ戻り，現時刻において計算を
やり直す。
(b)に示すように，図３に示す同じ部分の処理(10)〜(1
4),(a),(b)を一部変更し，処理(b) でしきい値を変更し
た後に，再度，処理(10)へ戻り，現時刻において計算を
やり直す。
【００４０】［実施例３］図４の（イ）に示すような処
理では，ＤＰパスの候補数が多くなり過ぎると，累積距
離メモリ２９がオーバフローすることが起こりうる。そ
こで，メモリに書き込む前に常にオーバフローを監視
し，オーバフローを検出した時点でしきい値を大きく
し，再度同時刻において計算を行う。この実施例の処理
部分を，図４の（ロ）に示す。他の部分の処理について
は，図３と同様である。
理では，ＤＰパスの候補数が多くなり過ぎると，累積距
離メモリ２９がオーバフローすることが起こりうる。そ
こで，メモリに書き込む前に常にオーバフローを監視
し，オーバフローを検出した時点でしきい値を大きく
し，再度同時刻において計算を行う。この実施例の処理
部分を，図４の（ロ）に示す。他の部分の処理について
は，図３と同様である。
【００４１】［実施例４］実施例３において，しきい値
を変更した後，次時刻にはしきい値を元に戻すものとす
る。ここでしきい値として，例えば， θ(i) ＝ min｛Ｇ(i,j) ｝＋λ のように各時刻での最小累積距離に一定の余裕分を加え
たものとした場合，しきい値の変更は， λ’←λ×0.９ とすることで，しきい値θ(i) の変更を実現する。次時
刻ではこの変更された余裕分λを用いるのではなく，再
度 λ←λ’／0.９ のように初期化する。これにより各時刻において同条件
で計算することができる。なお，これは図２中のしきい
値メモリ２７内に変更前のλを記憶しておくことで実現
する。この処理の例を図５に示す。他の部分の処理につ
いては，図３と同様である。
を変更した後，次時刻にはしきい値を元に戻すものとす
る。ここでしきい値として，例えば， θ(i) ＝ min｛Ｇ(i,j) ｝＋λ のように各時刻での最小累積距離に一定の余裕分を加え
たものとした場合，しきい値の変更は， λ’←λ×0.９ とすることで，しきい値θ(i) の変更を実現する。次時
刻ではこの変更された余裕分λを用いるのではなく，再
度 λ←λ’／0.９ のように初期化する。これにより各時刻において同条件
で計算することができる。なお，これは図２中のしきい
値メモリ２７内に変更前のλを記憶しておくことで実現
する。この処理の例を図５に示す。他の部分の処理につ
いては，図３と同様である。
【００４２】［実施例５］実施例４において，しきい値
を元に戻す際に全く元に戻すのではなく，現時刻でのし
きい値の変更分を考慮して若干の修正を加えて戻すもの
とする。例えば，しきい値の変更の際に， λ’←λ×0.９ とした場合には変更分は， Δλ＝λ−λ’ となる。しきい値を元にもどす際にはこれを考慮して λ←λ’／0.９−Δλ／２ のようにする。
を元に戻す際に全く元に戻すのではなく，現時刻でのし
きい値の変更分を考慮して若干の修正を加えて戻すもの
とする。例えば，しきい値の変更の際に， λ’←λ×0.９ とした場合には変更分は， Δλ＝λ−λ’ となる。しきい値を元にもどす際にはこれを考慮して λ←λ’／0.９−Δλ／２ のようにする。
【００４３】〔実施例６〕入力の各時刻においてしきい
値を変更するのではなく，標準パターンの各時刻につい
てしきい値を変更するものとする。この処理を，図６に
示す。
値を変更するのではなく，標準パターンの各時刻につい
てしきい値を変更するものとする。この処理を，図６に
示す。
【００４４】以下，図６に示す処理(1) 〜(16)に従って
説明する。 (1) 〜(2) 初めに入力パターン，標準パターンに関して
の初期化を行う。 (3) 次いで計算すべき経路を選択する。
説明する。 (1) 〜(2) 初めに入力パターン，標準パターンに関して
の初期化を行う。 (3) 次いで計算すべき経路を選択する。
【００４５】(4) 〜(6) 局所距離，一時累積距離，最終
累積距離を計算する。 (7) バッファ２５に格納する。 (8) 計算すべき経路を全て終えたならば，次の処理(9)
へ進む。
累積距離を計算する。 (7) バッファ２５に格納する。 (8) 計算すべき経路を全て終えたならば，次の処理(9)
へ進む。
【００４６】(9) 〜(10) しきい値を計算し，バッファ
内のカウンタを初期化する。 (11)〜(14) バッファ２５中の累積距離のうち，しきい
値より小さいものを，累積距離メモリ２９に格納する。
内のカウンタを初期化する。 (11)〜(14) バッファ２５中の累積距離のうち，しきい
値より小さいものを，累積距離メモリ２９に格納する。
【００４７】(a) メモリ内のＤＰパスの候補数が適切か
チェックする。 (b) 適切でない場合には，しきい値を変更する。 (15)〜(16) 全入力パターンに関して計算を終えると，
最終的な照合結果が得られる。
チェックする。 (b) 適切でない場合には，しきい値を変更する。 (15)〜(16) 全入力パターンに関して計算を終えると，
最終的な照合結果が得られる。
【００４８】図７および図８は，本実施例の効果を説明
するためのＤＰパスの候補数変化説明図である。図７の
（イ）は，従来技術の場合の例であって，入力時刻と各
時刻におけるＤＰパスの候補数との関係を示している。
するためのＤＰパスの候補数変化説明図である。図７の
（イ）は，従来技術の場合の例であって，入力時刻と各
時刻におけるＤＰパスの候補数との関係を示している。
【００４９】図７の（イ）に示すの場合には時刻ｉに
おいてメモリ容量MAX を超えることになる。の場合に
は時刻ｉ’とｉ”の間において候補数が少なくなり過
ぎ，照合性能が悪くなることがある。
おいてメモリ容量MAX を超えることになる。の場合に
は時刻ｉ’とｉ”の間において候補数が少なくなり過
ぎ，照合性能が悪くなることがある。
【００５０】これに対し，前述した本発明による実施例
１では，次時刻の候補数を予測することにより，図７の
（ロ）に示すようになる。以上の例では，候補数がMAX
，MIN のいずれかに近いほど効率がよくなる。すなわ
ち，MAX に近い場合はメモリを最も効率よく使ってお
り，照合性能も高くなる。MIN に近い場合は照合性能が
低下する直前で最も処理量を少なくすることができる。
１では，次時刻の候補数を予測することにより，図７の
（ロ）に示すようになる。以上の例では，候補数がMAX
，MIN のいずれかに近いほど効率がよくなる。すなわ
ち，MAX に近い場合はメモリを最も効率よく使ってお
り，照合性能も高くなる。MIN に近い場合は照合性能が
低下する直前で最も処理量を少なくすることができる。
【００５１】前述の実施例２，３の場合には，図７の
（ハ）に示すように，候補数がボーダラインを超えて初
めて修正する。これにより，実施例１に比べてメモリ容
量，処理量を，より効率よく高めることが可能になる。
（ハ）に示すように，候補数がボーダラインを超えて初
めて修正する。これにより，実施例１に比べてメモリ容
量，処理量を，より効率よく高めることが可能になる。
【００５２】ところで，実施例２，３では，変更したし
きい値は以降そのままであるため，性能限界を引き出す
までの時間が徐々に遅くなることになる。前述の実施例
４では，しきい値を元に戻すため性能限界を引き出すタ
イムラグをより小さくすることができる。これを図８の
（イ）に示す。
きい値は以降そのままであるため，性能限界を引き出す
までの時間が徐々に遅くなることになる。前述の実施例
４では，しきい値を元に戻すため性能限界を引き出すタ
イムラグをより小さくすることができる。これを図８の
（イ）に示す。
【００５３】この実施例４では，ほぼ性能限界を維持し
ていることになるが，しきい値を変更する回数が非常に
多くなり，オーバヘッドが大きくなることになる。実施
例５は，実施例４のオーバヘッドを解決するものであ
り，入力時刻による候補数の変化は，例えば図８の
（ロ）に示すようになる。
ていることになるが，しきい値を変更する回数が非常に
多くなり，オーバヘッドが大きくなることになる。実施
例５は，実施例４のオーバヘッドを解決するものであ
り，入力時刻による候補数の変化は，例えば図８の
（ロ）に示すようになる。
【００５４】
【発明の効果】以上説明したように，本発明によれば，
ＤＰパスの候補数によってしきい値を変更し，候補を記
憶するメモリを効率よく使用し，また照合の低下を防ぐ
ことができるようになる。
ＤＰパスの候補数によってしきい値を変更し，候補を記
憶するメモリを効率よく使用し，また照合の低下を防ぐ
ことができるようになる。
【図１】本発明の原理構成図である。
【図２】本発明の一実施例ブロック図である。
【図３】本発明の実施例の処理フローチャートである。
【図４】本発明の実施例の処理フローチャートである。
【図５】本発明の実施例の処理フローチャートである。
【図６】本発明の実施例の処理フローチャートである。
【図７】本発明の実施例を説明するためのＤＰパスの候
補数変化説明図である。
補数変化説明図である。
【図８】本発明の実施例を説明するためのＤＰパスの候
補数変化説明図である。
補数変化説明図である。
【図９】従来の動的計画法照合装置の構成図である。
【図１０】本発明に関係するＤＰパスの制限説明図であ
る。
る。
【図１１】従来技術のブロック図である。
【図１２】従来のＤＰ照合処理フローチャートである。
１０ 入力時系列パターン読み込み部
１１ 入力時系列パターン記憶部
１２ 標準時系列パターン記憶部
１３ ＤＰ照合部
１４ 制御部
１５ 監視部
１６ しきい値変更部
Claims (5)
- 【請求項１】 入力時系列パターン読み込み部(10)と，
入力時系列パターン記憶部(11)と，標準時系列パターン
記憶部(12)と，入力の各時刻での各パターン間距離の最
適累積値を動的計画法に基づき計算するＤＰ照合部(13)
と，動的計画法を制御する制御部(14)を有し，入力の各
時刻での累積値をしきい値と比較し，以降に計算するＤ
Ｐパスを制限する動的計画法照合装置において， 入力の各時刻で残ったＤＰパスの個数を監視する監視部
(15)と， ＤＰパスの個数によってしきい値を変更するしきい値変
更部(16)とを備えたことを特徴とする動的計画法照合装
置。 - 【請求項２】 請求項１記載の動的計画法照合装置にお
いて， 前記しきい値変更部(16)は，前記監視部(15)によって得
た入力の前時刻におけるＤＰパスの個数と，現時刻にお
けるＤＰパスの個数との関係によってしきい値を変更す
るように構成されていることを特徴とする動的計画法照
合装置。 - 【請求項３】 請求項１または請求項２記載の動的計画
法照合装置において， 前記ＤＰ照合部(13)は，前記しきい値変更部(16)によっ
てしきい値を変更した後，前記制御部(14)の制御により
再度同時刻に関しての計算を行うように構成されている
ことを特徴とする動的計画法照合装置。 - 【請求項４】 請求項１，請求項２または請求項３記載
の動的計画法照合装置において， 前記しきい値変更部(16)は，現時刻のしきい値と現時刻
におけるしきい値変更分との関係によって次時刻のしき
い値を変更するように構成されていることを特徴とする
動的計画法照合装置。 - 【請求項５】 請求項１，請求項２，請求項３または請
求項４記載の動的計画法照合装置において， 前記しきい値変更部(16)は，標準時系列パターンの各時
刻においてしきい値を変更するように構成されているこ
とを特徴とする動的計画法照合装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3187157A JP2980420B2 (ja) | 1991-07-26 | 1991-07-26 | 動的計画法照合装置 |
| DE69224778T DE69224778T2 (de) | 1991-07-26 | 1992-07-23 | Anpassungssystem mit dynamischer Programmierung zur Spracherkennung |
| EP92112584A EP0525640B1 (en) | 1991-07-26 | 1992-07-23 | Dynamic programming matching system for speech recognition |
| US08/320,380 US5577162A (en) | 1991-07-26 | 1994-10-11 | Dynamic programming matching system for speech recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3187157A JP2980420B2 (ja) | 1991-07-26 | 1991-07-26 | 動的計画法照合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0535292A true JPH0535292A (ja) | 1993-02-12 |
| JP2980420B2 JP2980420B2 (ja) | 1999-11-22 |
Family
ID=16201127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3187157A Expired - Fee Related JP2980420B2 (ja) | 1991-07-26 | 1991-07-26 | 動的計画法照合装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5577162A (ja) |
| EP (1) | EP0525640B1 (ja) |
| JP (1) | JP2980420B2 (ja) |
| DE (1) | DE69224778T2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10153999A (ja) * | 1996-11-25 | 1998-06-09 | Nec Corp | 音声認識装置 |
| JP2002366188A (ja) * | 2001-06-08 | 2002-12-20 | Sony Corp | 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体 |
| JP2007219438A (ja) * | 2006-02-20 | 2007-08-30 | Oki Electric Ind Co Ltd | 符号本選択方法及び符号本選択装置 |
| WO2010098209A1 (ja) * | 2009-02-26 | 2010-09-02 | 国立大学法人豊橋技術科学大学 | 音声検索装置および音声検索方法 |
| JP2011048255A (ja) * | 2009-08-28 | 2011-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 経路探索装置、音声認識装置、これらの方法及びプログラム |
| WO2011083528A1 (ja) * | 2010-01-06 | 2011-07-14 | 日本電気株式会社 | データ処理装置、そのコンピュータプログラムおよびデータ処理方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4433366A1 (de) * | 1994-09-20 | 1996-03-21 | Sel Alcatel Ag | Verfahren und Einrichtung zur Bestimmung eines Maßes der Übereinstimmung zwischen zwei Mustern sowie Spracherkennungseinrichtung damit und Programm-Modul dafür |
| JP2964881B2 (ja) * | 1994-09-20 | 1999-10-18 | 日本電気株式会社 | 音声認識装置 |
| JP2738403B2 (ja) * | 1995-05-12 | 1998-04-08 | 日本電気株式会社 | 音声認識装置 |
| US5693076A (en) * | 1996-01-16 | 1997-12-02 | Medtronic, Inc. | Compressed patient narrative storage in and full text reconstruction from implantable medical devices |
| GB9602700D0 (en) * | 1996-02-09 | 1996-04-10 | Canon Kk | Pattern matching method and apparatus |
| JP3006507B2 (ja) * | 1996-10-03 | 2000-02-07 | 日本電気株式会社 | パターン間距離計算装置 |
| GB9802836D0 (en) * | 1998-02-10 | 1998-04-08 | Canon Kk | Pattern matching method and apparatus |
| US7174191B2 (en) * | 2002-09-10 | 2007-02-06 | Motorola, Inc. | Processing of telephone numbers in audio streams |
| US9804747B2 (en) | 2008-09-30 | 2017-10-31 | Microsoft Technology Licensing, Llc | Techniques to manage access to organizational information of an entity |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4059725A (en) * | 1975-03-12 | 1977-11-22 | Nippon Electric Company, Ltd. | Automatic continuous speech recognition system employing dynamic programming |
| JPS57147781A (en) * | 1981-03-06 | 1982-09-11 | Nec Corp | Pattern matching device |
| US4488243A (en) * | 1982-05-03 | 1984-12-11 | At&T Bell Laboratories | Dynamic time warping arrangement |
| US4624008A (en) * | 1983-03-09 | 1986-11-18 | International Telephone And Telegraph Corporation | Apparatus for automatic speech recognition |
| US4763278A (en) * | 1983-04-13 | 1988-08-09 | Texas Instruments Incorporated | Speaker-independent word recognizer |
| JPS62220998A (ja) * | 1986-03-22 | 1987-09-29 | 工業技術院長 | 音声認識装置 |
| US4866778A (en) * | 1986-08-11 | 1989-09-12 | Dragon Systems, Inc. | Interactive speech recognition apparatus |
| DE3882062T2 (de) * | 1987-03-16 | 1994-01-05 | Nippon Electric Co | System zum Vergleichen von Mustern. |
| US5040213A (en) * | 1989-01-27 | 1991-08-13 | Ricoh Company, Ltd. | Method of renewing reference pattern stored in dictionary |
| JPH0782544B2 (ja) * | 1989-03-24 | 1995-09-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | マルチテンプレートを用いるｄｐマツチング方法及び装置 |
| CA2042926C (en) * | 1990-05-22 | 1997-02-25 | Ryuhei Fujiwara | Speech recognition method with noise reduction and a system therefor |
-
1991
- 1991-07-26 JP JP3187157A patent/JP2980420B2/ja not_active Expired - Fee Related
-
1992
- 1992-07-23 EP EP92112584A patent/EP0525640B1/en not_active Expired - Lifetime
- 1992-07-23 DE DE69224778T patent/DE69224778T2/de not_active Expired - Fee Related
-
1994
- 1994-10-11 US US08/320,380 patent/US5577162A/en not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10153999A (ja) * | 1996-11-25 | 1998-06-09 | Nec Corp | 音声認識装置 |
| JP2002366188A (ja) * | 2001-06-08 | 2002-12-20 | Sony Corp | 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体 |
| JP2007219438A (ja) * | 2006-02-20 | 2007-08-30 | Oki Electric Ind Co Ltd | 符号本選択方法及び符号本選択装置 |
| WO2010098209A1 (ja) * | 2009-02-26 | 2010-09-02 | 国立大学法人豊橋技術科学大学 | 音声検索装置および音声検索方法 |
| US8626508B2 (en) | 2009-02-26 | 2014-01-07 | National University Corporation Toyohashi University Of Technology | Speech search device and speech search method |
| JP5408631B2 (ja) * | 2009-02-26 | 2014-02-05 | 国立大学法人豊橋技術科学大学 | 音声検索装置および音声検索方法 |
| JP2011048255A (ja) * | 2009-08-28 | 2011-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 経路探索装置、音声認識装置、これらの方法及びプログラム |
| WO2011083528A1 (ja) * | 2010-01-06 | 2011-07-14 | 日本電気株式会社 | データ処理装置、そのコンピュータプログラムおよびデータ処理方法 |
| US9047562B2 (en) | 2010-01-06 | 2015-06-02 | Nec Corporation | Data processing device, information storage medium storing computer program therefor and data processing method |
| JP5786717B2 (ja) * | 2010-01-06 | 2015-09-30 | 日本電気株式会社 | データ処理装置、そのコンピュータプログラムおよびデータ処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0525640B1 (en) | 1998-03-18 |
| DE69224778D1 (de) | 1998-04-23 |
| US5577162A (en) | 1996-11-19 |
| EP0525640A2 (en) | 1993-02-03 |
| JP2980420B2 (ja) | 1999-11-22 |
| DE69224778T2 (de) | 1998-07-09 |
| EP0525640A3 (en) | 1993-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0535292A (ja) | 動的計画法照合装置 | |
| US20150179177A1 (en) | Decoder, decoding method, and computer program product | |
| JPH08110791A (ja) | 音声認識方法 | |
| US6725196B2 (en) | Pattern matching method and apparatus | |
| US5040213A (en) | Method of renewing reference pattern stored in dictionary | |
| CN110866484B (zh) | 驾驶员人脸检测方法、计算机装置及计算机可读存储介质 | |
| JPS6360920B2 (ja) | ||
| WO2006075648A1 (ja) | 音声認識システム、音声認識方法及び音声認識プログラム | |
| JPS6360919B2 (ja) | ||
| US20070150277A1 (en) | Method and system for segmenting phonemes from voice signals | |
| EP0283902B1 (en) | Pattern matching system | |
| EP0255529A4 (en) | FRAMEWORK COMPARISON PROCEDURE FOR RECOGNIZING WORDS IN A LARGE NOISE ENVIRONMENT. | |
| JP2712856B2 (ja) | 音声認識装置 | |
| CN118098236B (zh) | 确定语音识别窗口左右边界的方法、装置、设备及介质 | |
| JPH06324699A (ja) | 連続音声認識装置 | |
| JP2000029494A (ja) | 音声認識装置及び方法 | |
| JP3015219B2 (ja) | 音声認識装置 | |
| JPH0577080B2 (ja) | ||
| JPH0651793A (ja) | 音声認識装置 | |
| JPS638797A (ja) | パタン認識方法 | |
| JPH01297779A (ja) | 距離計算方式 | |
| JPH0336439B2 (ja) | ||
| JPH0134400B2 (ja) | ||
| JPH08248984A (ja) | 音声認識方法 | |
| JPS6356585B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990831 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |