JPH0247757B2

JPH0247757B2 -

Info

Publication number: JPH0247757B2
Application number: JP57110528A
Authority: JP
Inventors: Seiichi Nakagawa; Hidekazu Tsuboka
Original assignee: Individual
Current assignee: Individual
Priority date: 1982-06-25
Filing date: 1982-06-25
Publication date: 1990-10-22
Also published as: JPS59197A

Description

【発明の詳細な説明】本発明は特徴ベクトルの系列として登録された
標準パターンのそれぞれと、特徴ベクトルの系列
に変換された入力パターンとの比較を行い、入力
パターンを認識するパターン比較装置、特に標準
パターンとしてパターンの一部のみが異なるのみ
で他のパターン部分が非常に類似している標準パ
ターンの認識に適したパターン比較装置に関す
る。

人間にとつて最も自然な情報発生手段である音
声が、人間―機械系の入力手段として実現される
ことに対する期待は大きい。近年、ワードプロセ
ツサの入力を仮名漢字変換の技術と組合せ、仮名
キーによる入力の代りに単音節音声の発声により
実行することが試みられている。この場合、各単
音節は弧立して発生されるが、「タ」、「パ」、「カ」
のようにそのパターンの一部が異なるのみで全体
として非常に類似した入力パターン（以下、類似
パターンという）の場合、誤認識の問題が生じて
いる。

ところで標準パターンと入力パターンとを比較
し、その類似度や距離を計算して音声認識を行う
場合、類似度や距離の計算に動的計画法（以下、
DP法という）の手法が用いられる。この動的計
画法を用いた音声認識において前記類似パターン
の誤認識の問題を解決しようとすると、単音節１
個当りの特徴ベクトルの数を増したり、ベクトル
の次元を増したりすることが必要である。しかし
ながら特徴ベクトルの数や次元を増すと計算量は
飛躍的に増大し、実用化することができなくな
る。

また単音節を弧立して発生した場合でなく、連
続して発生した場合の認識、すなわち連続単音節
認識においては、前記問題に加えて単音節間の堺
界を分離するという問題があり、これも計算量の
増大に影響する。ところで人間により発声される
音声は人によりまた時により変化し、基準となる
標準パターンに対し時間的に非線形に伸縮したも
のとなつている。この非線形にに伸縮している入
力パターンと標準パターンとを比較し入力音声の
認識を行うためには、入力パターンと標準パター
ンの各特徴ベクトルの対応付けを非線形に行い、
入力パターンがどの標準パターンと最も類似して
いるかを計算する必要がある。しかしこの入力音
声は非線形に伸縮するとはいつても異常に長く伸
びたり、短くなつたりすることはない。

本発明はこのような入力パターンの物理的な特
徴に注目し、入力パターンと標準パターンを比較
する際には無制限にすべての可能性について比較
するのではなく、入力パターンの物理的な性質に
より定まるある妥当と考えられる範囲について比
較を行うようにしたものである。

入力音声信号はパターン比較装置において、周
波数分析、LPC分析、PARCOR分析、相関分析
等により、いくつかの数値の組（特徴ベクトル）
の系列に変換され、この入力パターンの特徴ベク
トルと比較の対象となる標準パターンの特徴ベク
トルとが各ベクトル毎に比較される。この各ベク
トル毎の比較値、すなわちベクトル間の距離を合
計した累積距離というものをパターンの類似の尺
度に用いる。この累積距離を計算する場合、各ベ
クトル毎の比較をすべての組み合わせについて行
うのは計算量が膨大となり、パターン比較装置と
して実用化することができない。

入力パターンを一方の軸に、標準パターンを他
方の軸とする平面（以下、ｉ―ｊ平面という）を
考えると、入力パターンおよび標準パターンの各
ベクトルの組み合わせというのはｉ―ｊ平面上の
各格子点（以下、単に点という）により示すこと
ができる。従つて前記あらゆる組み合わせについ
て各ベクトル間の距離を計算するとは、各点にお
けるベクトル間の距離を計算することであり、累
積距離を計算するとは、入力パターンの特徴ベク
トルと、それにに対応する標準パターンの特徴ベ
クトルのベクトル間距離を順次計算し合計してい
くことである。この累積距離を計算する過程で選
択された、入力パターンと標準パターンの特徴ベ
クトルの対応、すなわち点列を径路という。

前記した入力パターンの物理的な性質を考慮し
て比較の範囲を限定するということは、本発明に
おいては径路の選択に拘束条件を設けるというこ
とである。

ここで、以後の説明において用いる用語および
記号について説明する。

Ａ：入力パターン（Ａ＝a₁，a₂…a_i…a_I）、a_iは第
ｉフレームの特徴ベクトル、Ｉは入力パター
ンのフレーム数 Rⁿ：第ｎ標準パターン（Rⁿ＝bⁿ ₁bⁿ ₂…bⁿ _j…bⁿ _Jｎ）bⁿ _j
は第ｎ標準パターンの第ｊフレームの特徴ベ
クトル Jⁿは第ｎ標準パターンのフレーム数、Ｎを標
準パターンの総数とするとき１ｎＮ dⁿ（ｉ，ｊ）：第ｎ標準パターンの第ｊフレームの
特徴ベクトルbⁿ _jと入力パターンの第ｉフレー
ムの特徴ベクトルa_iとのベクトル間距離Ｄ(i)：第１〜第ｉフレームまでの入力パターン
と、各標準パターンの最適な組み合せの結合
パターンとのパターン間の距離（以下、終端
累積距離という）Ｎ(i)：第１〜第ｉフレームまでの入力パターンに
対する各標準パターンの最適な組み合せの結
合パターンを求めたときの当該結合パターン
を構成する最後尾標準パターンを示す番号
（以下、最後尾標準パターン名）Ｂ(i)：Ｎ(i)の始点フレームの１つ手前のフレーム
を示す番号（以下、バツクポインタという） Dⁿ（ｉ，ｊ）：入力パターンの第i′〜第ｉフレーム
までの部分パターンとRⁿの第１〜第ｊフレ
ームまでの部分パターンのパターン間の距離
（以下、部分累積距離Dⁿ _i′（ｉ，ｊ）という）
と、Ｄ（i′−１）との和のi′についての最小値
（以下、中間累積距離という） Bⁿ（ｉ，ｊ）：部分累積距離Dⁿ _i′（ｉ，ｊ）とＤ（i′
−
ｊ）との和を最小にするi′をi^′、すなわちi^′＝
argmjn ｉ〔Ｄ（i′−１）＋Dⁿ _i′（ｉ，ｊ）〕とす
るとき、当該i^′フレームの１つ手前のフレー
ムを示す番号（以下、中間バツクポインタと
いう）ただしargmin ｘ〔〕は〔〕内の値
をＸについて最小化したときのＸの値を示
す。

Dⁿ(i)：ｊ＝jⁿのときの中間累積距離であり、Dⁿ(I)
＝Dⁿ（ｉ，jⁿ）である。

Bⁿ(i)：Ｊ＝Jⁿのときの中間バツクポインタであ
り、Bⁿ(I)＝Bⁿ（ｉ，Jⁿ）である。

Dⁿ _p（ｉ，ｊ）：入力パターンの第i′（始端）フレー
ム〜第ｉフレームまでの部分パターンと第ｎ
標準パターンの第１〜第ｊフレームまでの部
分パターン間の距離（以下、特定区間累積距
離という）本発明においては、入力パターンが第i_pフレー
ムで終了すると仮定した場合、最後尾パターンを
Rⁿとしたときの中間累積距離Dⁿ（i_p）を求めるの
に、i′を始端フレーム、i_pを終端フレームとする
入力パターンの部分パターンＡ（i′−１，i_p）と標
準パターンRⁿとのDPマツチングを始端点自由、
終端点固定として行うものであつて、始端点i′に
おける中間累積距離の初期値Dⁿ（i′，１）と中間
バツクポインタの初期値Bⁿ（i′，Ｏ）を Dⁿ（i′，１）＝Ｄ（i′−１）＋dⁿ（ｉ，１） Bⁿ（i′，Ｏ）＝Bⁿ（i′−１）とすることによつて、第i′−１フレームまでの
DPマツチングの続きとして部分パターンＡ（i′−
１，i_p）と標準パターンRⁿのDPマツチングを行
つている。

このようにすることによつて、例えば、第１図
に示すようなマツチング径路に対する拘束条件の
もとでは、取り得るマツチング径路は第２図のＰ
の領域内に制限され、Dⁿ（i_p）を求めるために必
要とされるdⁿ（ｉ，ｊ）、Dⁿ（ｉ，ｊ）の計算は領
域Ｐ内の各点についてそれぞれ１回行うのみでよ
い。第２図において横軸は入力パターン、縦軸は
最後尾標準パターンRⁿである。領域Ｐは傾き1/2
の直線P₁と傾き２の直線P₂とで囲まれた領域と
なつている。Dⁿ（ｉ，ｊ）を求めるには、第１図
から明らかなようにDⁿ（ｉ−２、ｊ−１）、Dⁿ（ｉ
−１、ｊ−１）、Dⁿ（ｉ−１、ｊ−２）、dⁿ（ｉ−
１、ｊ）、dⁿ（ｉ，ｊ）のみわかつていればよいか
ら、第ｉフレーム上の中間累積距離Dⁿ（i_p，ｊ）
（ただしｊ＝１，２，…Jⁿ）を求めるには第ｉ−
１フレーム、第ｉ−２フレーム上の中間累積距離
Dⁿ（ｉ−１、ｊ）、Dⁿ（ｉ−２、ｊ）および第ｉ―
１フレーム、第ｉフレーム上のベクトル間距離dⁿ
（ｉ−１、ｊ）、dⁿ（ｉ，ｊ）（ただしｊ＝１，２，
…Jⁿ）を記憶しておくのみでよい。このとき、
Dⁿ（i_p）は、 Dⁿ（i_p）＝Dⁿ（i_p、Jⁿ）として求めることができる。

以上のように、入力パターンのフレームｉが１
フレーム進む毎に、そのフレーム上の中間累積距
離Dⁿ（ｉ，ｊ）（ただし、ｊ＝１，２，…，Jⁿ；
ｎ＝１，２，…，Ｎ）を１フレーム前と２フレー
ム前の中間累積距離Dⁿ（ｉ−１、ｊ）、Dⁿ（ｉ−
２、ｊ）と１フレーム前および当該フレームのベ
クトル間距離dⁿ（ｉ−１、ｊ）、dⁿ（ｉ，ｊ）（ただ
しｊ＝１，２，…，Jⁿ；ｎ＝１，２，…，Ｎ）か
ら求め、Ｄ(i)＝min ｎ〔Dⁿ（ｉ＋Jⁿ）〕として第ｉフ
レームまでの終端累積距離を求めることができ
る。このようにして求められたDⁿ（ｉ，ｊ）（た
だしｊ＝１，２，…，Jⁿ；ｎ＝１，２，…，Ｎ）
は必要がなくなるまですなわち次のフレームない
ししその次のフレームにおけるDⁿ（ｉ，ｊ）の計
算終了まで記憶される。

また、Ｄ(i)に対するバツクポインタ（Ｄ(i)に対
する始端点から１を差し引いた値）Ｂ(i)は次のよ
うにして求まる。

Dⁿ（ｉ，ｊ）に対する中間バツクポインタをBⁿ
（ｉ，ｊ）とするとき、１ Dⁿ（ｉ，ｊ）＝Dⁿ（ｉ−２、ｊ−１）＋dⁿ（ｉ−
１、ｊ）＋dⁿ（ｉ，ｊ）のときは Bⁿ（ｉ，ｊ）＝Bⁿ（ｉ−２、ｊ−１）２ Dⁿ（ｉ，ｊ）＝Dⁿ（ｉ−１、ｊ−１）＋dⁿ（ｉ，
ｊ）のときは Bⁿ（ｉ，ｊ）＝Bⁿ（ｉ−１、ｊ−１）３ Dⁿ（ｉ，ｊ）＝Dⁿ（ｉ−１、ｊ−２）＋dⁿ（ｉ，
ｊ）のときは Bⁿ（ｉ，ｊ）＝Bⁿ（ｉ−１、ｊ−２）とおくことにより Dⁿ(i)＝Ｄⁿ＾（ｉ，ｊⁿ＾）とすればＢ(i)＝Ｂⁿ＾（ｉ，Ｊⁿ＾）となる。従つて、Bⁿ（ｉ，ｊ）についても、１フ
レーム前と２フレーム前のものを覚えておく。

なお、第３図のような径路の場合はDⁿ（ｉ，
ｊ）、Bⁿ（ｉ，ｊ）は１フレーム前の値を覚えて
おくだけでよい。

この考え方を連続単音節音声の認識に適用する
ことを考える。単音節音声は子音プラス母音とい
う形をしており、子音部は母音部よりかなり短
い。しかるに、特に、母音部が同じである単音節
音声は、子音部の微妙な違いにより区別されなけ
ればならない。従つて、前記のパターンマツチン
グにおいて入力された単音節音声と標準パターン
の単音節音声のそれぞれと単音節音声全体として
マツチングするとマツチング結果に与える母音部
の影響が大きく子音部の微妙な差を区別するのが
難かしくなる。

本発明はこの欠点を補うものであつて、連続単
音節音声に上記アルゴリズムを適用するにあたつ
て子音部のマツチング結果を重視するものであ
る。すなわち、単音節全体としてのマツチング結
果の他にそのマツチングの過程における子音部の
みのマツチング結果をも認識に利用しようとする
ものである。

第４図は入力パターンの第i_pフレームを終端点
とし、始端点をｂ＋１としてマツチングした場合
のマツチングの様子を示したものである。Ｃは第
ｂ＋１フレームを始端とし、第i_pフレームを終端
としたときのマツチングの径路を示している。な
お、径路の拘束条件は第１図に示したものを用い
ている。jⁿは標準パターンｎを構成する単音節の
子音部と母音部を分けるフレームであつて、標準
パターンとしてのこの単音節を登録するときに同
時に登録しておくものである。従つて、登楼単音
節ｎの第１フレームから第jⁿフレームまではその
単音節の子音部、第jⁿ＋１フレームから第Jⁿフレ
ームまではその単音節の母音部ということにな
る。ｅは径路Ｃにおいて、jⁿに対応する入力パタ
ーンのフレームである。

本発明においては、前記のDPマツチングにお
いて、Ｄ(i)、Ｂ(i)、Ｎ(i)を求めるのに単音節全体
としてのマツチング結果以外に子音部のみのマツ
チング結果も加味することを特徴としている。す
なわち、第４図に示したｉ−ｊ平面において、第
i_pフレームに至る単語ｎに対する最適のマツチン
グ径路がＣのようであつたとすると、この径路に
沿う点（ｂ＋１，１）から点（ｅ，jⁿ）までの特
定区間累積距離をDⁿ _p（i_p，jⁿ）、第ｂ＋１フレーム
から第ｅフレームまでの長さ（フレーム数）を
Lⁿ（i_p，jⁿ）とするとき、Dⁿ _p（i_p，Jⁿ）／Lⁿ（i_p，Jⁿ
）
とDⁿ（i_p）との荷重和が最小になる単音節ｎを求
め、Ｄ（i_p）＝Ｄⁿ＾（i_p，Ｊⁿ＾）、Ｂ（i_p）＝Ｂⁿ＾
（i_p，Ｊⁿ＾）、
Ｎ（i_p）＝n^とするのである。

また、第i_pフレームは常に単音節の最終フレー
ムと仮定してマツチングを行つているわけである
から、第i_pフレームから数フレーム溯つたところ
は母音であると仮定していることになる。従つて
第ｉフレームを始端とするマツチングにおいて、
数フレーム溯つたところのフレームi″を母音の標
準パターンと比較し、今からマツチングを行おう
とする単音節はア、イ、ウ、エ、オの何れの段で
あるかを予め決定することができる。第i_pフレー
ムが実際に単音節の最終フレームであれば、そこ
から数フレーム溯つたところは母音の定常部であ
ると考えられ、母音の認識はかなりの精度で認識
できる。その認識の具体的方法は、識別函数によ
る方法など周知の方法が用いられ得る。このi″フ
レームの母音としての認識結果をｖ（i″）とすれ
ば、荷重和を計算すべきｎとしてはｖ（i″）段の
単音節のみに対して計算すればよいことになる。
i″の決め方としては、i_pから一定数のフレームを
溯るという方法の他に、Dⁿ（i_p）を最小にする単
音節n^が求まれば、そのときのマツチング径路に
関してｊⁿ＾に対応する入力フレームをｅとすると
き（ｅ＋i_p）／２に最も近いフレームをi″として
もよい。

第５図は、以上の原理に基づく連続単音節音声
の認識を行う本発明の実施例を示すブロツク図で
ある。

音声信号入力端子１０に入力された音声信号
は、フイルタバンク等で構成された特徴抽出部１
１で特徴ベクトルの系列Ａ＝a₁，a₂…a_Iに変換さ
れる。１２はこのそれぞれの特徴ベクトルを母音
とみなして認識する母音認識部で、１３は母音認
識部１２で前記特徴ベクトルを母音とみなして認
識するために必要な識別函数を記憶している識別
函数記憶部である。識別函数による認識は通常の
良く知られたパターン認識の手法が、そのまま使
用される。１４は母音認識部１２で前記のように
母音として認識された結果をフレーム番号と共に
記憶する母音認識結果記憶部である。１５は単音
節標準パターン記憶部で、それぞれの単音節は特
徴ベクトルの系列の形で記憶されている。１６は
入力音声信号の第ｉフレームにおいて、単音節標
準パターン記憶部１５に記憶されている第ｎ単音
節bⁿ ₁bⁿ ₂…bⁿ _Jｎを構成するベクトルのそれぞれと、
特徴抽出部１１の出力の特徴ベクトルa_iとの距離
dⁿ（ｉ，ｊ）を計算し、その計算結果を必要がな
くなるまで一時的に記憶するベクトル間距離計算
部である。ベクトルa_i＝（a_i1，a_i2…，a_iM）とベク
トルbⁿ _j＝（bⁿ _j1，bⁿ _j2…，bⁿ _jM）との距離dⁿ（ｉ，ｊ
）
は例えばdⁿ（ｉ，ｊ）＝_M 〓^m=1 ｜a_in−bⁿ _jn｜とすること
ができる。

１８は累積距離計算部で、第ｉフレームにおい
てDⁿ（ｉ，ｊ）、Bⁿ（ｉ，ｊ）、Dⁿ _p（ｉ，ｊ）、Lⁿ
（ｉ，ｊ）をｊ＝１，２，…，Jⁿｎ＝１，２，…，
Ｎに関してベクトル間距離計算部１６の出力から
計算するとともにその結果を必要がなくなるまで
一時的に記憶する。

前記のようにマツチング径路の拘束条件を第１
図とするときは、第ｉフレームのDⁿ（ｉ，ｊ）を
計算するには第ｉ―１フレームのベクトル間距離
dⁿ（ｉ，ｊ）と、第ｉ―２、第ｉ―１フレームの
中間累積距離Dⁿ（ｉ，ｊ）と中間バツクポインタ
Bⁿ（ｉ，ｊ）をｎ＝１，２，…Ｎ；ｊ＝１，２，
…Jⁿについて覚えておく必要がある。Dⁿ（ｉ，
ｊ）、Bⁿ（ｉ，ｊ）の求め方については既に前記
した通りである。

この計算を行うとき、子音部のみの累積距離
Dⁿ _p（ｉ，ｊ）と子音部に対応する入力フレームの
数Lⁿ（ｉ，ｊ）も同時に計算される。すなわち１ｊ＝jⁿまたはｊ＝jⁿ＋１でjⁿ＋１に到る最適
の径路の１フレーム前のｊがjⁿ−１のとき、す
なわち Dⁿ（ｉ−１、jⁿ−１）＝min〔Dⁿ（ｉ−２、jⁿ）＋dⁿ（ｉ−１、jⁿ＋１）、
Dⁿ（ｉ−１、jⁿ）、 Dⁿ（ｉ−１、jⁿ−１）〕のときは Lⁿ（ｉ，ｊ）＝ｉ−Bⁿ（ｉ，ｊ） Dⁿ _p（ｉ，ｊ）＝Dⁿ（ｉ，ｊ）−Ｄ（Bⁿ（ｉ，ｊ）２それ以外のｊｊ＋１に対しＰ＝Dⁿ（ｉ−２、ｊ−１）＋dⁿ（ｉ−１、ｊ）
＋dⁿ（ｉ，ｊ）Ｑ＝Dⁿ（ｉ−１、ｊ−１）＋dⁿ（ｉ，ｊ）Ｒ＝Dⁿ（ｉ−１、ｊ−２）＋dⁿ（ｉ，ｊ）とおくとき、 Dⁿ _p（ｉ，ｊ）＝Dⁿ _p（ｉ−２、ｊ−１）（Dⁿ（ｉ，ｊ）＝Ｐのとき） Dⁿ _p（ｉ−１、ｊ−１）（Dⁿ（ｉ，ｊ）＝Ｑのとき） Dⁿ _p（ｉ−１、ｊ−２）（Dⁿ（ｉ，ｊ）＝Ｒのとき） Lⁿ（ｉ，ｊ）＝Lⁿ（ｉ−２、ｊ−１）（Dⁿ（
ｉ，ｊ）＝Ｐのとき） Lⁿ（ｉ−１、ｊ−１）（Dⁿ（ｉ，ｊ）＝Ｑのとき） Lⁿ（ｉ−１、ｊ−２）（Dⁿ（ｉ，ｊ）＝Ｒのとき）なる計算がなされる。この結果第４図のｂ，ｅに
対しｅ−ｂ＝Lⁿ（i_p，Jⁿ） Dⁿ _p（ｅ，jⁿ）＝Dⁿ _p（i_p＋Jⁿ）となる。すなわち、Dⁿ _p（i_p，Jⁿ）はDⁿ（i_p）を求め
たときの径路に沿つたｊ＝１からjⁿまたはjⁿ＋１
までの子音部のみの累積マツチング距離であり、
Lⁿ（i_p，Jⁿ）はｊ＝１からｊ＝jⁿまたはｊ＝jⁿ＋１
までの前記径路の入力方向のフレームの数であ
る。言い換えれば、単音節ｎに対し、最終フレー
ムをi_pと仮定したときの子音部のみのマツチング
距離はDⁿ _p（i_p，Jⁿ）、子音部の入力方向の長さはLⁿ
（i_p，Jⁿ）となる。なお、１）の条件は、子音部
の終点がマツチング径路がjⁿを通るときはjⁿであ
り、jⁿを通らないときはjⁿ−１となることを意味
している。

１９は最後尾単音節母音フレーム計算部であつ
て、ベクトル間距離計算部１６、累積距離計算部
１８における計算をｎ＝１，２，…，Ｎについて
実行した結果から、最後尾単音節を n^＝argmin ｎ〔Dⁿ(i)〕として仮に求めると共に、単音節n^に対し、その
マツチング径路に関し、ｊⁿ＾に対応する入力フレー
ムと第ｉフレームの中点（母音の定常部に相当）
i″を求めるものである。i″は次のようにして求め
ることができる。

i″≒１／２（Ｂⁿ＾（ｉ，ｊⁿ＾）＋Ｌⁿ＾（ｉ，Ｊⁿ
＾）＋ｉ）２０は候補単音節発生部であつて、最後尾単音
節母音フレーム計算部１９で計算されたi″に対
し、既に第i″フレームが、何れの母音であつたか
記憶されている母音認識結果記憶部１４の第i″フ
レームに対応する出力から、その母音を母音部と
してもつ単音節を発生するものである。

２１はこの候補単音節をｋとするとき、D^k _p
（ｉ，J^k）、L^k（ｉ，J^k）、D^k（ｉ，j^k）を累積距離
計算部１８から読み出し、w₁，w₂を重み係数と
するとき、 k^＝argmin k^＝argmin ｋ〔w₁D^k／_p（ｉ，J^k）／L^k（ｉ，J^k）＋w₂D^k（ｉ，J^k
）〕
（28）を計算する最後尾単音節決定部である。このよう
にして、第ｉフレームにおける最後尾単音節はk^
であると決定される。

２２は最後尾単音節記憶部であつて、Ｎ(i)＝k^ として記憶される。

また、最後尾単音節が、k^であると決定される
と、累積距離計算部１８に記憶されているD^k
（ｉ，Ｊ^k＾）、Ｂ^k＾（ｉ，Ｊ^k＾）がそれぞれＤ(i)、
Ｂ(i)と
して累積距離記憶部２３、バツクポインタ記憶部
２４に記憶される。累積距離計算部１８における
計算において用いられる初期値Ｄ（ｉ−１、０）＝
Ｄ（ｉ−１）はこの累積距離記憶部２３に以上の
ようにして既に記憶されているものである。ただ
しＤ（ｏ）＝０である。

２５は音声区間検出部であつて、入力信号の大
きさ等から音声区間を判定するものであつて、音
声区間検出部２５が、音声入力が開始されたこと
を検出するとフレーム数計数器２６はフレーム毎
に計数をはじめる。前記の処理は第ｉフレームに
ついての処理であつたが、このフレーム数計数器
２６の計数値がすなわちこのｉを設定している。
従つて、前記と同様の処理がフレームが１進む毎
に行われることになる。フレーム数計数器２６は
音声区間が検出されると計数を始め、音声区間が
終了するとリセツトされる。最後尾単音節記憶部
２２、バツクポインタ記憶部２４には従つて、Ｎ
(i)、Ｂ(i)がｉ＝１，２，…，Ｉについて記憶され
ることになる。

セグメンテーシヨン部２７はバツクポインタ記
憶部２４に対し、所定のバツクポインタを読出す
べき命令を発するものである。すなわち、セグメ
ンテーシヨン部２７がｉなる値をバツクポインタ
記憶部２４に発すると、バツクポインタ記憶部２
４からはバツクポインタＢ(i)が読出される。セグ
メンテーシヨン部２７はバツクポインタ記憶部２
４からＢ(i)なる値を受け取ると、その同じ値をバ
ツクポインタ記憶部２４に発する。従つて、音声
区間検出部２５が音声入力の終了を検知すると、
フレーム数計数器の最終値Ｉがセグメンテーシヨ
ン部２７に供給され、セグメンテーシヨン部２７
は先ずＩなる値をバツクポインタ記憶部２４に発
する。以後、前記説明の動作に従つて、バツクポ
インタ記憶部２４から、Ｂ(I)Ｂ（Ｂ(I)）、Ｂ（Ｂ（Ｂ
(I)）），…，Ｏなる出力が順次得られることにな
る。これらの値は、最後から２番目の単音節の終
りのフレーム、同３番目の終りのフレーム、同４
番目の終りのフレーム、…というものであり、Ｎ
(i)はｉフレームで終る単音節であつたから、この
値をそのまま最後尾単音節記憶部２２に与える
と、最後の単音節から逆の順序で認識結果が得ら
れる。なお認識結果が逆の順序で得られないよう
にするためには、この順序の変換をバツクポイン
タ記憶部２４の出力に対して行なうか最後尾単音
節記憶部２２の出力に対して行なえばよい。

第６図はソフトウエアによつて前記実施例装置
の機能を実現した場合のフローチヤートであり、
以下、前記実施例装置の各部の動作と関連づけな
がら説明する。

ステツプは初期化する部分で無音区間でこの
処理を行う。ステツプ，，は入力フレーム
ｉに対して行う処理である。

ステツプは入力の第ｉフレームを母音とみな
したとき、如何なる母音であるかを認識する部分
であつて、母音認識部１２、母音認識結果記憶部
１４で行う処理である。

ステツプは主として累積距離計算部１８で行
う処理であつて、ステツプは累積距離Dⁿ（ｉ，
ｊ）バツクポインタBⁿ（ｉ，ｊ）を求めている。
ステツプは子音部のみのマツチング結果を求め
ている。

ステツプはステツプの計算をｎ＝１，２，
…，Ｎについて行つた結果、入力の第ｉフレーム
を音声入力の終端としたとき、累積距離Dⁿ（ｉ，
Jⁿ）が最小となる最後尾単音節n^と、n^の母音部の
フレームi″を求める部分で、最後尾単音節母音フ
レーム計算部１９で行う処理である。

ステツプはステツプで求められた単音節の
母音フレームに対する母音を母音部としてもつ単
音節ｋに対し、子音部のみのマツチング結果をそ
の入力フレーム数で正規化した値D^k（ｉ，J^k）／
L^k（ｉ，J^k）と最後尾単語をｋとしたときの累積
距離D^k（ｉ，J^k）との荷重和を計算し、それが最
小となる単音節k^を計算する部分であつて、最後
尾単音節決定部２１で行う処理である。

なお前記フローチヤート中、Ｐ＝Dⁿ（ｉ−２、ｊ−１）＋dⁿ（ｉ−１）＋dⁿ
（ｉ，ｊ）Ｑ＝Dⁿ（ｉ−１、ｊ−１）＋dⁿ（ｉ，ｊ）Ｒ＝Dⁿ（ｉ−１、ｊ−２）＋dⁿ（ｉ，ｊ）であり、またステツプ4_aにおいては、 Dⁿ（ｉ，ｊ）＝Ｐ or Ｑのときはj^＝ｊ−１、 Dⁿ（ｉ，ｊ）＝Ｒのときはｊ＝j^−２である。

またステツプ６においては、ｋ：i″フレームを母音として認識した結果その
母音を含む単音節 w₁，w₂：重みである。

ステツプはステツプで求まつた最適の単音
節k^に対し、Ｎ(i)＝k^、Ｄ(i)＝Ｄ^k＾(i)、Ｂ(i)＝Ｂ^k＾(i)
としてそれぞれメモリに記憶されることを示して
おり、それらのメモリは、最後尾単音節記憶部２
２、累積距離記憶部２３、バツクポインタ記憶部
２４に対応している。

ステツプは以上のようにして求められたＮ
(i)、Ｂ(i)から逆の順序で単音節の認識結果を求め
る部分でセグメンテーシヨン部２７、バツクポイ
ンタ記憶部２４、最後尾単音節記憶部２２の間で
行われる処理である。

以上のように本実施例においては、連続して発
声された音声を精度よく単音節列に変換すること
ができ、音声タイプライタ等への応用が可能とな
つたものである。

なお、前記実施例においては、子音プラス母音
のいわゆるCVを単位とする単音節について説明
したが、VCV（母音＋子音＋母音）を単位とする
場合にも本発明は適用することができる。この場
合、第７図に示すように、jⁿ¹，jⁿ²を標準パター
ンの子音部と母音部の境界とするとき、マツチン
グ径路２９において、ｊ＝jⁿ²〜１の部分の累積
距離からｊ＝jⁿ¹〜１の部分の累積距離を差し引
いたものをjⁿ¹〜jⁿ²の累積距離として評価すれば
よい。jⁿ²〜１あるいはjⁿ¹〜１の部分の累積距離
は、CVの場合のjⁿをjⁿ²あるいはjⁿ¹におきかえれ
ばよいから、結局前記実施例において次の置き換
えをすればよいだけである。すなわち、jⁿ¹〜１
の間の累積距離は前記実施例において、jⁿをjⁿ¹、
Lⁿ（ｉ，ｊ）をLⁿ¹（ｉ，ｊ）、Dⁿ _p（ｉ，ｊ）をDⁿ¹ _p
（ｉ，ｊ）にそれぞれおきかえればよく、jⁿ²〜１
の間の累積距離はjⁿをjⁿ²、Lⁿ（ｉ，ｊ）をLⁿ²（ｉ，
ｊ）、Dⁿ _p（ｉ，ｊ）をDⁿ² _p（ｉ，ｊ）にそれぞれお
きかえればよい。従つて、第i_pフレームを終端フ
レームとすると子音部のみの累積距離Dⁿ _p（i_p，
Jⁿ）、入力軸方向の長さLⁿ（i_p，Jⁿ）は次のように
なる。

Dⁿ _p（i_p，Jⁿ）＝Dⁿ² _p（i_p，Jⁿ）−Dⁿ¹ _p（i_p，Jⁿ） Dⁿ _p（i_p，Jⁿ）＝Dⁿ² _p（i_p，Jⁿ）−Dⁿ¹（i_p，Jⁿ）＝ｇ
−ｆ第５図に示した実施例装置における累積距離計
算部１８を以上の動作を行う機能を有するものに
置き換えれば、前記実施例装置はそのままVCV
を標準パターンにする場合のものになる。

なお、前記実施例においては、単音節全体とし
ては、その区間を種々に想定した場合が、考慮さ
れていたが、子音区間のマツチング結果は単音節
の認識結果についての子音区間のマツチングに対
応したものであつて、子音区間を種々に想定した
場合は考慮されていない。

そこで、前記マツチング方法で子音区間の抽出
を行い、その区間で子音パターンの始端点自由に
よる累積DPマツチング距離を求める子音区間を
より重視したマツチング方法を用いた実施例につ
いて次に述べる。

第８図は以上の考え方を説明する概念図であ
る。すなわち、３０は前記の方法で求められた単
音節全体に対して求められたマツチング径路であ
つて、点線３１はマツチング径路３０によつて規
定された子音と母音の境界点（ｅ，jⁿ）を固定し
たときの子音部に対する他の径路である。本実施
例の考え方はこの点（ｅ，jⁿ）を固定して、始端
点をある制限のもとに変化させたとき子音部にお
いて最も良くマツチングする径路を求め、その径
路におけるマツチング結果を子音部のマツチング
結果とするものである。

第１０図は子音部のマツチングに用いられる径
路の拘束条件の一実施例である。このような径路
の拘束を課すと子音部のマツチング径路は第９図
の３２，３３で示される点（ｅ，jⁿ）を通る傾き
１／２、および傾き２の直線で囲まれる領域内に制
限されることになる。

このような考え方を前記実施例に導入するには
累積距離計算部１８と最後尾単音節決定部２１に
おける処理を次のように変更するだけでよい。す
なわち累積距離計算部１８における子音部のみの
マツチング結果を計算し記憶する部分であつて、
第６図のステツプにおける処理をDⁿ _p（ｉ，ｊ）
についてのみ次のように変更する。

１Ｊ＝１のとき Dⁿ _p（ｉ，１）＝ｄ（ｉ，１）２ｊjⁿのとき Dⁿ _p（ｉ，ｊ）＝min〔Dⁿ _p（ｉ、ｊ−１）、Dⁿ _p（ｉ
−１、ｊ−１）、 Dⁿ _p（ｉ−２、ｊ−１）〕＋ｄ（ｉ，ｊ）３ j″＝jⁿ＋１かつDⁿ（ｉ，ｊ）＝Ｒのとき Dⁿ _p（ｉ，ｊ）＝Dⁿ _p（ｉ−１、ｊ−１）４３）以外のｊjⁿ＋１のとき Dⁿ _p（ｉ，ｊ）＝Dⁿ _p（ｉ−２、ｊ−１）（Dⁿ（ｉ，ｊ）＝Ｐのとき） Dⁿ _p（ｉ−１、ｊ−１）（Dⁿ（ｉ，ｊ）＝Ｑのとき） Dⁿ _p（ｉ−１、ｊ−２）（Dⁿ（ｉ，ｊ）＝Ｒのとき）また最後尾単音節決定部２１に従つて第６図の
ステツプの処理を次のように変更する。

k^＝argmin ｋ〔w₁Dⁿ／_p（ｉ，J^k）／j^k＋w₂D^k（ｉ，J^k）〕１）は子音部の始端点自由のマツチングを行う
とき、Dⁿ _pの初期値を定義している。２）は子音
部のマツチングを行う規則を式で表現したもの
で、第１８図のマツチング径路の拘束条件に対応
している。３）はマツチング径路がjⁿ−１の点か
らjⁿ＋１の点へjⁿ上の点を経ずに躍ぶ場合は強制
的にjⁿからjⁿ＋１へ移るように変更することを意
味している。すなわち子音区間は必ずjⁿ上の点で
終端するようにしている。４）は３）以外のｊ
jⁿ＋１に対してはjⁿ上の点で決定された子音区間
のみのマツチング結果をjⁿ＋１より上の点に対し
ては伝えてゆくのみであることを示している。

k^を求める式において、第１の実施例では第１
項の分母がL^k（ｉ，J^k）であつたのに対し、j^kと
なつているのは、第１０図のマツチング径路の拘
束条件のもとでは、径路長はｊ軸上の長さとのみ
比例するからである。

以上のように、第１の実施例に対し、第２の実
施例のように、子音部のみではあるが、始端点自
由とすることによつて、さらに、認識率の向上が
実現できる。

なお前記第１、第２の実施例においては、単音
節音声について説明したが、ベクトルの系列で表
わされるあらゆるパターンのマツチングにおいて
一部重視してマツチングを行いたいときは本発明
のパターン比較装置が使用できる。

以上のように本発明は、全体として類似し、一
部のみが微妙に異なるような入力パターンであつ
ても、計算量を大幅に減少させて認識することが
でき、その実用的価値は高い。

【図面の簡単な説明】

第１図はマツチング計算径路の拘束条件を示す
図、第２図はマツチング計算を行う領域を示す
図、第３図はマツチング計算径路の別の拘束条件
を示す図、第４図は本発明の原理の説明図、第５
図は本発明における一実施例の音声認識装置のブ
ロツク図、第６図は同実施例装置の機能をソフト
ウエアで実現したときのフローチヤート、第７図
はパターンの重視する区間を異ならせた場合の実
施例を説明するための図、第８図〜第１０図は子
音区間をより重視する実施例を説明するための図
である。１１…特徴抽出部、１２…母音認識部、１３…
識別函数記憶部、１４…母音認識結果記憶部、１
５…単音節標準パターン記憶部、１６…ベクトル
間距離計算部、１８…累積距離計算部、１９…最
後尾単音節母音フレーム計算部、２０…候補単音
節発生部、２１…最後尾単音節決定部、２２…最
後尾単音節記憶部、２３…累積距離記憶部、２４
…バツクポインタ記憶部、２５…音声区間検出
部、２６…フレーム数計数器、２７…セグメンテ
ーシヨン部。

Claims

【特許請求の範囲】１入力信号を特徴ベクトルa₁，a₂…a_i…a_Iの系
列に変換する特徴抽出手段と；特徴ベクトルの系
列bⁿ ₁bⁿ ₂…bⁿ _j…bⁿ _Jｎから成る標準パターンRⁿ（ただ
しｎ＝１，２，…，Ｎ）を記憶する標準パターン
記憶手段と；入力パターンの第ｉフレームにおい
て、前記特徴ベクトルa_iとb_jとの距離dⁿ（ｉ，ｊ）
をｊ＝１，２，…，Jⁿ；ｎ＝１，２，…，Ｎにつ
いて計算し、必要がなくなるまで一時的に記憶す
るベクトル間距離計算手段と；入力パターンの第
ｉフレームにおいて、ｊ＝１，２，…，Jⁿ；ｎ＝
１，２，…Ｎについて中間累積距離Dⁿ（ｉ，ｊ）
と、それを求めるに至つた径路に沿う、パターン
ｎに対して予め指定した区間の第ｉフレームまで
の特定累積距離Dⁿ _p（ｉ，ｊ）と、中間バツクポイ
ンタBⁿ（ｉ，ｊ）とを求め、それらを必要がなく
なるまで記憶すると共に、ｎ＝１，２，…，Ｎに
ついて、中間累積距離Dⁿ（ｉ，Jⁿ）と特定累積距
離Dⁿ _p（ｉ，jⁿ）との荷重和を含んで定義された距
離を最小にするｎ＝n^と、その最小値Ｄⁿ＾（ｉ，
Ｊⁿ＾）、それに対する中間バツクポインタＢⁿ＾（ｉ，
Ｊⁿ＾）を求める累積距離計算手段と；前記Ｄⁿ＾（ｉ，
Ｊⁿ＾）を終端累積距離Ｄ(i)としてフレーム毎に記憶
する終端累積距離記憶手段と；前記Ｂⁿ＾（ｉ，Ｊⁿ＾）
を終端バツクポインタＢ(i)としてフレーム毎に記
憶する終端バツクポインタ記憶手段と；前記n^を
第ｉフレームで終端する最後尾パターンＮ(i)とし
てフレーム毎に記憶する最後尾パターン記憶手段
と；入力パターンの最終フレームＩで入力が完了
したとき、前記終端バツクポインタ記憶手段から
Ｂ(I)、Ｂ（Ｂ(I)），…，０すなわち連続して入力さ
れたパターンの堺界を逆の順序で求めるセグメン
テーシヨン手段と；入力パターンが存在する区間
を検出する入力パターン区間検出手段と；この入
力パターン区間検出手段により入力パターンが存
在していないと判定されたときにリセツトされ、
入力パターンが存在していると判定されている間
入力パターンのフレーム数を計数し、前記入力フ
レーム番号ｉを得るフレーム数計数手段とを備
え；前記入力パターン区間検出手段により入力パ
ターンが終了したことが検出されると、前記計数
手段のその時の値Ｉと前記セグメンテーシヨン手
段の出力とから前記最終尾パターン記憶手段に記
憶されている内容Ｎ(I)，Ｎ（Ｂ(I)），Ｎ（Ｂ（Ｂ(I)
），
…を順次読み出すように構成したことを特徴とす
るパターン比較装置。２累積距離計算手段が、特定累積距離Dⁿ _p（ｉ，
ｊ）を、パターンｎに対して予め指定した区間の
み適当な範囲で始端自由として求めるように構成
されていることを特徴とする特許請求の範囲第１
項記載のパターン比較装置。