JPH0534680B2 - - Google Patents

Description

【発明の詳細な説明】

産業上の利用分野 本発明は音声認識装置、特に登録が容易な、少
ない標準パターンで認識が可能な音声認識装置に
関する。 従来例の構成とその問題点 人間にとつて最も自然な情報発生手段である音
声が、人間−機械系の入力手段として使用できれ
ば、その効果は非常に大きい。 従来、音声認識装置としては特定話者登録方式
によるものが実用化されている。即ち、認識装置
を使用しようとする話者が、予め、認識すべきす
べての単語を自分の声で特徴ベクトルの系列に変
換し単語辞書に標準パターンとして登録してお
き、認識時に発声された音声を、同様に特徴ベク
トルの系列に変換し、前記単語辞書中のどの単語
に最も近いかを予め定められた規則によつて計算
し、最も類似している単語を認識結果とするもの
である。 ところが、この方法によると、認識単語数が少
ないときは良いが、数百、数千単語といつたよう
に増加してくると、主として次の三つの問題が無
視し得なくなる。 (1) 登録時における話者の負担が著しく増大す
る。 (2) 認識時に発声された音声と標準パターンとの
類似度あるいは距離を計算するのに要する時間
が著しく増大し、認識距離の応答速度が遅くな
る。 (3) 前記単語辞書のために要するメモリが非常に
大きくなる。 一方、以上の欠点を回避するための方法として
認識の単位を子音＋母音および母音の単音節（以
後それぞれCV，Ｖで表す。Ｃは子音、Ｖは母音
を意味する。）とする方法がある。即ち、標準パ
ターンとして単音節を特徴ベクトルの系列として
登録しておき、認識時に特徴ベクトルの系列に変
換された入力音声を、前記単音節の標準パターン
とマツチングすることにより、単音節の系列に変
換するものである。日本語の場合、単音節はたか
だか101種類であり、単音節は仮名文字に対応し
ているから、この方法によれば、日本語の任意の
単語あるいは文章を単音節列に変換する（認識す
る）ことができることになり、前記(1)〜(3)の問題
はすべて解決されることになる。しかしこの場合
の問題の一つに調音結合がある。即ち、音節を連
続して発声すると、各音節は前後の音節の影響を
受けるため、スペクトル構造が前後に接続される
音節の影響を受けて変化する。従つて、標準パタ
ーンとして登録されている単音節のスペクトルと
語中の音節とはスペクトル構造が異り、正確に認
識することが難しくなる。この問題を解決するた
めに二つの方法が考えられる。一つは、認識の際
の入力音声を音節毎に区切つて発声し、１音節ず
つ認識する方法、もう一つはそれぞれの単音節の
語頭から母音の定常部までと母音＋子音＋母音お
よび母音＋母音（以後それぞれVCV，VVで表
す）のそれぞれの先行母音の定常部から後続母音
の定常部までを標準パターンとしてもつ方法であ
る。前者は、発声が不自然になる欠点がある。後
者はCV，Ｖ，VV，VCVの連鎖を母音定常部で
接続しながら作り出すことになるので、調音結合
の影響が回避できるものであるが、CV，Ｖ，
VV，VCVのあらゆる組合せを標準パターン登録
時に発声するとなるとその種類は単音節の６〜７
倍の量となり、標準パターンの登録の手間が非常
に大きくなる欠点がある。 発明の目的 本発明は上記従来の欠点を除き、連続的に発声
された任意の入力音声を音節列に変換すなわち認
識するために必要な標準パターンが少なくてよい
音声認識装置を提供することを目的とする。 発明の構成 本発明は、入力音声信号を特徴ベクトルの系列
a₁，a₂，……a_Iに変換する特徴抽出手段と、第ｎ
単音節に対する特徴ベクトルの系列b₁ ⁿ，b₂ ⁿ，…
…，bⁿ _Jo（ただし、ｎ＝１，２，……，Ｎ；Ｎは単
音節数、Jⁿは第ｎ単音節の母音定常部のフレー
ム）を標準パターンとして記憶する標準パターン
記憶手段と、前記入力音声信号の特徴ベクトルの
系列を、前記単音節標準パターンとマツチングす
るとともにいくつかのn′に対しては、第n′単音節
の特徴ベクトルの系列b₁ ⁿ′，b₂ ⁿ′，……bⁿ′_Jo′を逆
の
順序に並べた特徴ベクトルの系列bⁿ′_Jo′，bⁿ′_Jo′_-1
，…
…，b₂ ⁿ′，b₁ ⁿ′ともマツチングするパターンマツ
チング手段とを備えた音声認識装置である。 VCV音声パターンのスペクトルを詳細に検討
してみると、先行母音と後続母音が同じ場合、無
声破裂音、拗音等を除いて子音を中心としてほぼ
対称であることが認められる。また、このような
VCVに含まれるCVと同じ子音および母音からな
る単音節のスペクトルはほぼ同じ形をしている。
従つて、VCV標準パターンのうち前記対称でな
い一部のものを除けば、先行母音V₁、先行子音
Ｃ、後続母音V₂の音節V₁CV₂を単音節CV₁と
CV₂から作ることができる。即ち、CV₁から得ら
れた特徴ベクトルの系列を時間的に逆向に並べ、
CV₂から得られた特徴ベクトルの系列と結合した
ものをV₁CV₂に対応する標準パターンとするこ
とができる。このようにすれば、VCVのあらゆ
る種類を標準パターンとして登録する場合に比
べ、大幅にその数を減らすことができる。例え
ば、日本語に含まれる全ての音韻を含むように
VCVとCVの標準パターンを持つことにすれば、
その総数は630程度であるが、本発明における以
上の考えによれば370程度で済む。また、「キヨウ
ト」と発声すべきときは「キヨウト」というよう
に発声することにして、拗音は発声に用いないこ
とにすれば、430程度を170程度と半分以下に減ず
ることができる。 上記のように、V₁CV₂に対する標準パターン
をCV₁とCV₂とから作るというのが本発明の基本
的な考え方である。ところでこのようにしてV₁
CV₂の形で標準パターンを持つ方法も考えられる
が、その場合は、標準パターンを記憶するに要す
るメモリはVCVのあらゆる種類を標準パターン
として持つ場合と同じ量になり、あまり得策では
ない。そこで、入力音声と例えばV₁CV₂とのマ
ツチング計算を行う場合は単音節CV₁の特徴ベク
トルの逆系列V₁Ｃとのマツチング計算を先ず行
い、次にCV₂とのマツチング計算を行うようにす
れば、V₁Ｃに対応する特徴ベクトルの系列は、
単音節CV₁に対応する特徴ベクトルを記憶してい
る標準パターンメモリから逆向に読出すのみで良
いから、V₁Ｃに対応する標準パターンは記憶す
る必要がなく、（勿論、V₁CV₂に対応する標準パ
ターンも記憶する必要はない）標準パターンを記
憶するためのメモリも大幅に減らすことができ
る。 本発明による音声認識装置は以上の原理に基づ
くものである。 実施例の説明 パターンマツチングの効果的な方法として、
DPマツチングと呼ばれる方法がある。次に説明
する本発明の一実施例は、前記発明の構成におい
て述べたパターンマツチングとして、DPマツチ
ングを用いたものである。実施例の説明に入る前
にDPマツチングによる単語音声の認識について
説明する。 パターンマツチングによる音声認識装置の一般
的な構成は次のようなものである。 入力音声信号を、フイルタバンク、周波数分
析、LPC分析等によつて特徴ベクトルの系列に
変換する特徴抽出手段と、予め発声され、この特
徴抽出手段により抽出された特徴ベクトルの系列
を認識単語全部について標準パターンとして登録
しておく標準パターン記憶手段と、認識させるべ
く発声され、前記特徴抽出手段により抽出された
入力パターンと前記標準パターン記憶手段に記憶
されている標準パターンの全てと特徴ベクトルと
の系列としての類似度あるいは距離を計算するパ
ターン比較手段と、パターン比較の効果、最も類
似度の高かつた（距離の小さかつた）標準パター
ンに対応する単語を認識結果として判定出力する
判定手段からなる。 このとき、同一話者が同一の単語を発声して
も、発声の都度、その発声時間長が異なるので、
前記パターン比較手段で標準パターンと入力パタ
ーンの比較を行う際には、両者の時間軸を伸縮さ
せ、両者のパターン長を揃えて比較する必要があ
る。その際、発声時間長の変化は、発声単語の各
部で一様に生じているわけではないので、各部を
不均一に伸縮する必要がある。その伸縮は、比較
すべき両者のパターンの類似度が最大になる（距
離が最小になる、以下距離で説明する）ように行
われるのが最も良い結果が得られている。このよ
うなマツチングを効率的に行うのに動的計画法を
用いる装置が一般的であり、このマツチングは
DPマツチングと呼ばれている。 DPマツチングの方法は格子グラフによつて説
明できる。第１図は格子グラフであつて、横軸は
入力パターンＴ＝a₁，a₂……a_Iに対応するｉ座
標、縦軸は標準パターンRⁿ＝b₁ ⁿ，b₂ ⁿ，……，bⁿ _Jo
に対応するｊ座標を表わす。入力パターンＴと標
準パターンRⁿを時間軸を非線形に伸縮してマツ
チングするとは、この格子グラフ上において、両
パターンの各特徴ベクトルの対応関係を示す径路
１を何らかの標価基準によつて決定し、この径路
に関して両パターンの距離を評価することであ
る。この径路を決定する際には音声の性質を考慮
して制限条件を設ける。第２図ａは径路選択の制
限条件の一例である。即ち、この例では点（ｉ，
ｊ）へ至る径路は、点（ｉ−２，ｊ−１）から点
（ｉ−１，ｊ）を通る径路２か、点（ｉ−１，ｊ
−１）から来る径路３か、点（ｉ−１，ｊ−２）
から点（ｉ，ｊ−１）を通る径路４かの何れかし
か取り得ないということを意味している。このと
き、入力パターンと標準パターンの始端と終端は
必ず対応させるという条件をつければ、前記マツ
チングの径路は第１図の斜線の部分に制限され
る。この制限は、いかに時間軸が伸縮するといつ
ても、同一単語に対してはそれ程極端に伸縮する
はずはないという事実からあまり極端な対応づけ
が生じないようにするためである。 a_iとbⁿ _jのベクトル間距離をdⁿ（ｉ，ｊ）とすれ
ば、入力パターンＴと標準パターンRⁿのパター
ン間の前記径路に沿う距離は、その径路に沿うdⁿ
（ｉ，ｊ）の荷重平均として定義される。第２図
の経路上のａ，ｂ，ｃ，ｄ，ｅはそれに対応する
径路が選ばれたときの荷重である。DPマツチン
グが適用できるためには、この荷重の決め方は、
格子グラフ上で前記制限条件の下でいかなる径路
が選ばれようともその径路に沿う荷重の和が一定
になるように決めれば良い。ａ＝ｃ＝ｅ＝２，ｂ
＝ｄ＝１とすれば、この荷重の和はＩ＋Jⁿとな
り、ａ＝ｂ＝ｃ＝１，ｄ＝ｅ＝0.5とすれば、こ
の荷重の和はＩとなり、ａ＝ｂ＝0.5，ｃ＝ｄ＝
ｅ＝１とすれば、この荷重の和はJⁿとなり、径路
の選ばれ方によらず一定となる。これらは共によ
く用いられる。また、前記荷重の和一定という条
件の下で、この荷重をｊに関する関数とすること
により、より重視してマツチングしたい径路上の
部分の荷重を重くする等の操作も可能である。 入力パターンＴと標準パターンRⁿの距離は前
記制限条件の下で前記荷重平均の最小値として定
義される。即ち、次の漸化式を解くことによつて
前記荷重平均の最小値とその最小値を与える径路
が決定され得る。 gⁿ（ｉ，ｊ）＝mingⁿ（ｉ−２，ｊ−１）＋a
dⁿ（ｉ−１，ｊ）＋bdⁿ（ｉ，ｊ） gⁿ（ｉ−１，ｊ＋１）＋cdⁿ（ｉ，ｊ） gⁿ（ｉ−１，ｊ＋１）＋cdⁿ（ｉ，ｊ） gⁿ（ｉ−１，ｊ−２）＋edⁿ（ｉ，ｊ−１）＋ddⁿ（ｉ，
ｊ）……(1) 初期条件 gⁿ（１，１）＝dⁿ（１，１）， Ｄ（Ｔ，Rⁿ）＝gⁿ（Ｉ，Jⁿ）／荷重の和 ここにＤ（Ｔ，Rⁿ）は入力パターンＴと標準パ
ターンⁿの距離である。 径路選択の条件としては他にも種々考えられ
る。第２図ｂ〜ｊ等は他の例である。この他にも
さらに種々の変形が考えられ得る。これら径路の
選択条件に伴つて前記漸化式は対応するものに書
き換えられるのは勿論である。 また、孤立して発声された単語を認識する場合
は勿論、連続して発声された（単語と単語の間に
切れ目なく発声された）音声を認識する場合も
DPマツチングは良好な成績をおさめている。 連続単語音声認識の問題は次のように定式化さ
れる。 入力パターンのフレーム数をＩ、第ｉフレーム
の特徴ベクトルをa_i、単語ｎの標準パターンのフ
レーム数をJⁿ、第ｊフレームの特徴ベクトルをb_j
^ｎとするとき、単語ｎの標準パターンRⁿは次のよ
うに表わされる。 Rⁿ＝b₁ ⁿb₂ ⁿ……b_j ⁿ……bⁿ _Jo そこでＸ個の単語列に対応する標準パターンの
結合 Ｒ＝R^q(1)Rq⁽²⁾……R^q(x) ＝b₁ ^q(1)b₂ ^q(1)……b^q(1) _Jq(1)b₁ ^q(2)b₂ ^q(2)……b^q(2) _J
q(2)……
b₁ ^q(x)b₂ ^q(x)……b^q(x) _Jq(x) ……（２） と入力パターンＴ＝a₁a₂……a_ia_Iとのベクトル系
列間の距離が最小になる単語列q⁽¹⁾q⁽²⁾……q^(x)を
求める。 以上の計算を前記孤立単語の場合と同様にして
そのままDPマツチングで解こうとすれば、例え
ば10数字の単語を標準パターンとしてもつている
とき、３数字の連続発声された音声を認識するに
は10³＝1000種類の標準パターンとマツチングし
なければならない。標準パターンの数が増せば、
たちまちその組合せの数は禁止的な量になる。 そこで、連続単語の認識にもDPマツチングを
適用するために、マツチングの累積距離の正規化
係数（前記荷重の和のこと）は入力のフレーム数
にのみ依存するように径路の選択の条件を設定す
れば、以下に示すように標準パターンの単語の組
合せにも動的計画法が適用でき計算量を大幅に減
らし得る。 径路の選択条件としては一般に第３図ａ〜ｅに
示すものがあるが、径路上に示した数値はその径
路が選ばれたときの荷重係数である。 入力パターンＴの第ｉフレームの特徴ベクトル
（以後フレームとのみ称する）a₁とＸ個の標準パ
ターンの連結からなる連続標準パターンＲの第ｊ
フレームb^R _Jのフレーム間距離（ベクトル間距離）
をd_R（ｉ，ｊ）とし、入力パターンと連続標準パ
ターンとの対応づけする時間関数（前記マツチン
グの径路）をｕ(i)として、この時間関数に沿つて
求められる次の累積距離（フレーム間距離の荷重
の和）Ｄ（Ｔ，Ｒ）を最小化するＲ（以下R^と記
す）が求めるものであるとする。即ち Ｄ（Ｔ，Ｒ）＝ min ｕ(i)〔_I 〓ⁱ⁼¹ d_R（ｉ，ｕ(i)）〕 ……(3) R^＝ argmin Ｒ〔Ｄ（Ｔ，Ｒ）〕 ここで、第３図ａの径路のときは、 Ｏｕ(i)−ｕ（ｉ−１）２，ｕ（１）＝１，ｕ
（Ｉ）＝J^R である。また、 min ｚ〔ｆ(z)〕はｚに関して最小化
されたｆ(z)， arg ｚmin〔ｆ(z)〕はｆ(z)を最小にする
ｚの値を意味する。 式(3)は次の漸化式を解くことで求められる。た
だし、D_X(i)は入力が第ｉフレームで終端すると
仮定したＸ単語列に対する最小累積距離、N_X(i)
はD_X(i)に対応する単語列の最後尾単語名、B_X(i)
はN_X(i)の始点位置マイナス１（N_X(i)の一つ前の
単語の最終フレーム、バツクポインタと称する）、
Dⁿ（ｓ：ｔ）は入力のｓ〜ｔフレームと単語ｎと
の最小累積距離、D_X ⁿ（ｉ，ｊ）はD_X-1(m)と、入
力のｍ＋１〜ｉフレームと単語ｎの１〜ｊフレー
ムとの最小累積距離の和のｍについての最小値で
ある。 初期条件Ｄ(o)＝Ｏ，Ｂ(o)＝Ｏとして D_x(i)＝ min ｎ，ｍ｛D_x-1(m)＋Dⁿ（ｍ＋１：ｉ）｝ ＝ minD_X ⁿ ｎ（ｉ，jⁿ） ……(4) をＸ＝１，２，……，Ｘについて求め、この式を
満たすｎ，ｍをn^，m^とするとき、 N_X(i)＝n^，B_X(i)＝m^ ととする。ｉ＝Ｉまでこの計算を行えば、次のよ
うにして最後尾の単語から逆順に単語が求まる。
即ち 最後尾の単語：N_X（Ｉ） 最後から２番目の単語：N_X-1（B_X（Ｉ）） 最後から３番目の単語：N_X-2（B_X-1（B_X（Ｉ）） … 最初の単語：N₁（B₂（B₃（……（B_X（Ｉ））…
…））） でB₁（B₂（B₃（……（B_X（Ｉ））……）））＝０となつ
て終了する。第４図はN_X(i)，B_X(i)から上の単語
列を求めるフローチヤートである。 Ｘについても最適化する場合は、次のようにな
る。ここで、Ｄ(i)は入力のｉフレームで終端する
と仮定したときの単語列の最小累積距離（Ｄ(i)＝
ｍｉＸnD_X(i)），Ｎ(i)はＤ(i)に対応する単語列の最
後尾単語名、Ｂ(i)はＮ(i)の始点位置マイナス１
（Ｎ(i)の一つ前の単語の最終フレーム）、Dⁿ（ｉ，
ｊ）はＤ(m)と入力のｍ＋１〜ｉフレームと単語ｎ
の１〜ｊフレームとの最小累積距離の和のｍにつ
いての最小値である。 初期条件Ｄ(o)＝Ｏ，Ｂ(o)＝Ｏとして Ｄ(i)＝ minD_X(i) Ｘ＝min〔D_X-1(m)＋Dⁿ（ｍ＋１：ｉ）〕＝ min ｎ，ｍＤ(m)＋Dⁿ（ｍ＋１：ｉ）〕 ＝ min ｎ〔Dⁿ（ｉ，ｊ〕 ……(5) を求め、この式を満たすｎ，ｍをn^，m^とすると
き、 Ｎ(i)＝n^，Ｂ(i)＝m^ とする。認識結果は次のようにＸが既知の場合と
同様に求まる。 最後の単語：Ｎ（Ｉ） 最後から２番目の単語：Ｎ（Ｂ（Ｉ））） 最後から３番目の単語：Ｎ（Ｂ（Ｂ（Ｉ）） … 最初の単語：Ｎ（Ｂ（Ｂ（……（Ｂ（Ｉ）……））） でＢ（Ｂ（Ｂ（……（Ｂ（Ｉ））……）））＝Ｏとなつ
た
とき終了する。第５図はＮ（ｉ），Ｂ(i)から上の単
語列を求めるフローチヤートである。 なおDⁿ（ｍ＋１：ｉ）は次式で定義され、前記
孤立単語のDPマツチングと同じ方法で求められ
る。 Dⁿ（ｍ＋１：ｉ）＝ min ｕ(i) _i 〓^k=m+1 dⁿ（ｋ，ｕ(k)） ……(6) Ｏｕ(k)）−ｕ（Ｋ−１）２，ｕ（ｍ＋１）＝
１，ｕ(i)＝Jⁿ 以上の連続単語音声認識において、単語の標準
パターンを前記VCV，CV，VC，Ｖ，VVの標準
パターンに置き替えれば、任意の入力音声を音節
列に変換することができる音声認識装置の実現が
可能である。 第６図は、本発明の第１の実施例である。入力
音節数未知の場合について本発明の実施例を説明
する。１００は音声信号の入力端子、１０１はフ
イルタバンク等で構成された特徴抽出部であつ
て、入力音声信号を特徴ベクトルの系列a₁，a₂，
……a_Iに変換する。１０２は標準パターン記憶部
であつて、前記VCVおよびCVに対応するＮ個の
標準パターンが特徴ベクトルの系列として予め登
録されている。１０３はフレーム間距離計算部で
あつて、入力の第ｉフレームにおける特徴ベクト
ルa₁とｎ番目の標準パターンRⁿ＝bⁿ ₁，n₂ ⁿ……bⁿ _J
ｎのそれぞれの特徴ベクトルとの距離dⁿ（ｉ，ｊ）
を１ｎＮ，１ｊJⁿについて求める。Dⁿ
（ｉ，ｊ）は例えばa_iとb_jの市街地距離として定
義できる。即ち、ベクトルの次元をｌとし、a_i＝
（a_i1，a_i2，……，a_il），b_j ⁿ＝（bⁿ _j１，bⁿ _jｚ，……
，
bⁿ _jｌとするとき、 dⁿ（ｉ，ｊ）＝_l 〓^k=1 ｜a_iK−bⁿ _jｋ｜ ……(7) とすることができる。１０４，１０５は、このフ
レーム間距離を必要がなくなるまで記憶するフレ
ーム間距離記憶部である。１０４は前記の如く
VCに対応するパターンとしても用いられるCVに
対応する標準パターンに関して計算されたフレー
ム間距離を記憶するフレーム間距離記憶部１，１
０５はVCV，Ｖ，VV、その他前記CV以外のCV
に対応する標準パターンに関して計算されたフレ
ーム間距離を記憶するフレーム間距離記憶部２で
ある。VCに対応するフレーム間距離は、CVに関
して求められたフレーム間距離dⁿ（ｉ，１），dⁿ
（ｉ，２），……，dⁿ（ｉ，ｊ），……，dⁿ（ｉ，Jⁿ）
をｊに関して逆に並べたdⁿ（ｉ，Jⁿ），dⁿ（ｉ，Jⁿ
−１），……dⁿ（ｉ，ｊ），……，dⁿ（ｉ，２），dⁿ
（ｉ，１）となるにすぎないから、フレーム間距
離についてはVCについては求める必要はない。
１０６はフレーム間距離記憶部１，１０４に対
し、以後の処理において、CVに対するフレーム
間距離を必要とする場合と、VCに対するフレー
ム間距離を必要とする場合について、フレーム間
距離dⁿ（ｉ，ｊ）のｊに関する読出順序を切り替
える読み出しアドレス制御部である。１０７は累
積距離計算部であつて式(5)の漸化式を計算するも
のである。具体的には、前記Dⁿ（ｉ，ｊ）とそれ
に対応するバツクポインタBⁿ（ｉ，ｊ）をｎ＝
１，２，……，Ｎ；ｊ＝１，２，……，Jⁿについ
て求める。径路の拘束条件の例とては第３図ａ〜
ｅ等が考えられるが、ここでは第３図ｂのマツチ
ング径路を採用するものとすれば、次の漸化式を
計算することになる。即ち、CV，Ｖ，VV，
VCVに対する標準パターンの一連番号をｎ＝１，
２，……，N′，VCに対する標準パターンの一連
番号をｎ＝N′＋１，N′＋２，……，Ｎとし、同
一の子音、同一の母音からなるCV音節とVC音節
のそれぞれの標準パターンに対応する番号ｎ，
n′をｎ＝n′−N′となるように番号付けたとき、ｎ
＝１，２，……N′に関しては Dⁿ（ｉ，ｊ）＝minDⁿ（ｉ−２，ｊ−１）＋dⁿ（ｉ−１
，ｊ）＋dⁿ（ｉ，ｊ） Dⁿ（ｉ−１，ｊ−１）＋dⁿ（，ｊ） Dⁿ（ｉ−１，ｊ−２）＋dⁿ（ｉ，ｊ）…… …… …… ……(8-1) また、ｎ＋N′＋１，N′＋２，……，Ｎに関し
ては D_o（ｉ，ｊ）＝minDⁿ（ｉ−２，ｊ−１）＋d^n-N′（ｉ
−１，j^n-N′−ｊ）＋d^n-N′（ｉ，J^n-N′−ｊ＋１） Dⁿ（ｉ−１，ｊ−１）＋d^n-N′（ｉ，J^n-N′−ｊ＋１） Dⁿ（ｉ−１，ｊ−１）＋d^n-N′（ｉ，J^n-N′−ｊ＋１） Dⁿ（ｉ−１，ｊ−２）＋d^n-N′（ｉ，j^n-N′−ｊ＋１）
…… …… …… ……(8-2) となる。 バツクポインタは Bⁿ（ｉ，ｊ）＝Bⁿ（ｉ−２，ｊ−１）：Dⁿ（
ｉ，ｊ）＝のとき ＝Bⁿ（ｉ−１，ｊ−１）：Dⁿ（ｉ，ｊ）＝のとき ＝Bⁿ（ｉ−１，ｊ−１）：Dⁿ（ｉ，ｊ）＝のとき ＝Bⁿ（ｉ−１，ｊ−２）：Dⁿ（ｉ，ｊ）＝のとき……
(9) ただし、初期値は Dⁿ（−１，ｊ）＝∞（ＯｊJⁿ） Dⁿ（０，０）＝Ｏ Ｄ（Ｏ）＝Ｏ Dⁿ（Ｏ，−１）＝∞ Dⁿ（Ｏ，ｊ）＝∞（１ｊJⁿ） Dⁿ（ｉ，−１）＝∞ Dⁿ（ｉ，Ｏ）＝Ｄ（ｉ−１）（ｉ１） Bⁿ（ｉ，−１，Ｏ）＝ｉ−１ Ｂ（Ｏ）＝Ｏ ……(10) である。 第７図は漸化式(8)が計算される様子を図解した
ものであつて、格子点１１４へ至る一つ前の格子
点は１１５，１１６，１１７の何れかである。同
様にして格子点１１５，１１６，１１７のそれぞ
れの一つ前の格子点は、格子点１１５については
１１８，１１９，１２０、格子点１１６についい
ては１１９，１２１，１２２、格子点１１７につ
いては１２０，１２２，１２３の何れかとなる。
従つて、格子点（ｉ，Jⁿ）に至る径路は、第８図
の斜線部の内部に限定される。ただし、横軸は入
力パターン、縦軸は標準パターンｎであつて、１
２４は傾斜1/2の直線、１２５は傾斜２の直線で
ある。また、この図の意味するところは入力のｉ
フレームを終端と仮定して、最後尾の入力パター
ンの部分パターンを標準パターンｎとマツチング
したときの累積距離Dⁿ（ｉ，jⁿ）は、i′〜i″のうち
Dⁿ（ｉ，Jⁿ）が最小になるという意味で最適な点
が標準パターンｎに対応する始端点として自動的
に選択された結果として計算される。また、その
点がBⁿ（ｉ，Jⁿ）＋１ということになる。ただし
i′，i″はそれぞれ直線１２４，１２５とｉ軸との
交点である。また、第７図の説明からも明らかな
ように、第ｉフレームにおけるフレーム間距離dⁿ
（ｉ，ｊ）、累積距離Dⁿ（ｉ，ｊ）はｉが変わる度
に対応する第８図で示した斜線部のすべての格子
点について求め直す必要はなく、各格子点につい
て１回計算するのみでよい。 累積距離計算部１０７は、さらに終端累積距離
Ｄ(i)、醜態バツクポインタＢ(i)、最後尾音節Ｎ(i)
を次のようにして求める。 ｎ＝１，２，……，N′に対して Dⁿ(i)＝Dⁿ（ｉ，Jⁿ） Bⁿ(i)＝Bⁿ（ｉ，Jⁿ） とおく。 また、V₁ＣとCV₂を結合するとき、そのまま
結合するとV₁ＣのＣとCV₂のＣの長さの和にな
るので、長くなりすぎる場合がある。従つて、実
際はV₁Ｃに対応する標準パターンに対しては終
端点自由、CV₂に対応する標準パターンについて
は始端点自由にしてマツチングするのがよい。最
も簡単にはVCパターンに対して終端点自由のみ
のマツチングを行えばよい。 即ちｎ＝N′＋１，N′＋２，……，Ｎに対して
それぞれのｎに対してjⁿを定め Dⁿ(i)＝min〔Dⁿ（ｉ，ｊ）〕 ……(12) jⁿｊJⁿ Bⁿ(i)＝Bⁿ（ｉ，j^） とおく。ただし、j^は式（12）を満足するｊであ
る。 しかる後 Ｄ(i)＝min〔Dⁿ(i)） ……(13) １ｎＮ Ｂ(i)＝Bⁿ(i) Ｎ(i)＝n^ を求める。ただしn^は式（13）を満足するｎであ
る。 １０８は累積距離記憶部であつて、累積距離計
算部１０７で求められたDⁿ（ｉ，Jⁿ），Bⁿ（ｉ，
Jⁿ）を一時的に記憶するものである。これらの値
は、累積距離計算部１０７における計算の際に必
要なものであるが、第７図からも明らかなよう
に、第ｉフレームのDⁿ（ｉ，ｊ），Bⁿ（ｉ，ｊ）の
計算に対しては、第３図ｂの径路を採用するとき
は、Dⁿ（ｉ−１，ｊ），Dⁿ（ｉ−２，ｊ），Bⁿ（ｉ−
１，ｊ），Bⁿ（ｉ−２，ｊ）のみ必要であるから、
２フレーム分のみ記憶していれば良い。第３図ａ
の径路を採用するときは勿論１フレーム分のみ記
憶していればよい。このことは、前記フレーム間
距離記憶部１０４，１０５についても言えること
であつて累積距離Dⁿ（ｉ，ｊ）の計算に必要なフ
レーム間距離は第３図ｂの径路のときはdⁿ（ｉ，
ｊ），dⁿ（ｉ−１，ｊ）のみであり、第３図ａの径
路のときはdⁿ（ｉ，ｊ）のみであるから、フレー
ム間距離記憶部１０４，１０５についてもたかだ
か２フレーム分のフレーム間距離に対する記憶容
量があれば良いことになる。 １０９はバツクポインタ記憶部であつて、累積
距離計算部１０７で計算されたバツクポインタＢ
(i)を記憶するものである。１１２は最後尾音節記
憶部であつて、累積距離計算部１０７で計算され
た、前記第ｉフレームにおけるn^をＮ(i)＝n^とし
て記憶するものである。 以上の処理はフレームが１進む毎に行われる。
１１０は音声区間検出部であつて、入力信号の大
きさ等から周知の方法により音声区間を判定する
ものであつて、音声区間検出部１１０が音声入力
が開始されたことを検出すると、フレーム数計数
部１１１はフレーム毎に計数を始める。これまで
の説明は第ｉフレームにおける処理であつたが、
このフレーム数計数部１１１の係数値が、このｉ
を設定している。フレーム数計数部１１１は音声
区間が検出されると計数を始め、音声区間が終了
するとリセツトされる。音声区間の終了は入力音
声の最後の定常部とする。これは日本語において
は必ず母音で終了するものであり、母音部の中心
付近は定常だからである。従つて、最後尾音節記
憶部１１３、バツクポインタ記憶部１０９には、
Ｎ(i)，Ｂ(i)がｉ＝１，２，……，Ｉについて記憶
されることになる。 セグメンテーシヨン部１１２はバツクポインタ
記憶部１０９に対し、所定のバツクポインタを読
出すべき命令を発するものである。即ち、セグメ
ンテーシヨン部１１２がｉなる値をバツクポイン
タ記憶部１０９に発すると、バツクポインタ記憶
部１０９からはバツクポインタＢ(i)が読出され
る。セグメンテーシヨン部１１２は、バツクポイ
ンタ記憶部１０９からＢ(i)なる値を受け取ると、
その同じ値をバツクポインタ記憶部１０９に発す
る。従つて、音声区間検出部１１０が音声入力終
了を検知すると、フレーム数計数部１１１の最終
値Ｉがセグメンテーシヨン部１１２に供給され、
セグメンテーシヨン部１１２は先ずＩなる値をバ
ツクポインタ記憶部１０９に発する。以後、前記
説明の動作に従つて、バツクポインタ記憶部１０
９からＢ（Ｉ），Ｂ（Ｂ（Ｉ）），……，Ｏなる出力が
順次得られることになる。これらの値は最後から
２番目のパターンの終りのフレーム、同３番目の
終りのフレーム、同４番目の終りのフレーム、…
…というものであり、Ｎ(i)は第ｉフレームで終る
パターンであるから、この値をそのまま最後尾音
節記憶部１１３に与えると、端子１２６には最後
の音節から逆の順序で認識結果が得られる。 第９図は以上の実施例の動作をプログラム的に
表現した図であり、ソフトウエアで実現する場合
もこれに従えばよい。なお、同図において

【表】 なる記法は、条件Ａが成立する間Ｂを行うという
ことを意味する。また、

【表】 なる記法は、条件Ａが成立するまでＢを行うとい
うことを意味する。 ステツプ200，201は累積距離Ｄ(i)，Dⁿ（ｉ，
ｊ）バツクポインタＢ(i)，Ｂ（ｉ，ｊ）の初期化
を行う部分である。 ステツプ203は第ｉフレームにおける処理を示
しており、大きくわけて中間累積距離Dⁿ（ｉ，
ｊ）および中間バツクポインタBⁿ（ｉ，ｊ）を求
める部分204，207と終端累積距離Ｄ(i)、終端バツ
クポインタＢ(i)、最後尾音節Ｎ(i)を求める部分
205に分かれる。 ステツプ204はｎ＝１，２，……，N′につい
て、ステツプ207はｎ＝N′＋１，N′＋２，……，
Ｎについて前記Dⁿ（ｉ，ｊ），Bⁿ（ｉ，ｊ）を求め
るものである。 ステツプ205，208は前記Dⁿ（ｉ，ｊ），Bⁿ（ｉ，
ｊ）を求めるに際し、フレーム毎に初期化する部
分である。 ステツプ206，209では、Dⁿ（ｉ，ｊ）に関する
漸化式を計算し、Dⁿ（ｉ，ｊ），Bⁿ（ｉ，ｊ）を求
めると共に、標準パターンｎに関する終端累積距
離Dⁿ(i)と終端バツクポインタBⁿ(i)を求めている。
このとき、フレーム間距離については前述したよ
うに、ステツプ２０６で求めておけば、ステツプ
２０９では計算する必要はない。 ステツプ210はDⁿ(i)を最小にするn^を求め、終
端累積距離Ｄ(i)＝Dⁿ(i)と終端バツクポインタＢ
(i)＝Bⁿ(i)、最後尾パターンＮ(i)＝n^を求める部分
である。 ステツプ211，212はステツプ203で得られたｉ
＝１，２，……，ＩについてのＢ(i)，Ｎ(i)から認
識音節列を得る判定処理部であつて、第５図のフ
ローチヤートに従つている。この部分で得られる
n^を逆順に並べ替えれば、VCV，VV，CV，Ｖ，
VCの形で認識された音節列が得られる。 以上の処理を前記第６図の実施例と対応させて
みると、ステツプ203における処理はブロツク103
〜109における処理に対応しており、ステツプ212
の処理は、ブロツク108，109，112，113の処理に
対応している。 以上、第１の実施例においては、入力パターン
と、標準パターンの連結したものとをマツチング
するとき、とにかく、入力パターンに最も近くな
るようにマツチングされるのであつて、VCV，
CV，VVなど母音で終る音節の次にCVなど子音
で始まる音節が存在するように認識される場合が
ある。また、VC音節の次に、母音で始まる音節
が存在するとして認識される恐れもある。この問
題を除くには、母音V_Xで終る音節の次には必ず
母音V_Xで始まる音節が続き、子音C_Xで終る音節
の次には必ず子音C_Xで始まる音節が続くように
マツチングすればよい。次にこのように改良した
第２の実施例について説明する。 この改良は第１の実施例を少し変更するだけで
簡単に実現できる。即ち、第ｉフレームにおける
終端累積距離Ｄ(i)を後続音韻毎に求めておき、後
続音韻ｍの音節に対する終端累積距離をDm(i)と
するとき、次のフレームで先行音韻がｍの音節と
マツチングするときは累積距離の初期値として
Dm(i)を用いるものである。従つて、後続音韻ｍ
の終端バツクポインタをBm(i)、音節ｎの先行音
韻を(n)とすると式(9)の初期条件は次のように変
更される。 Dⁿ（−１，ｊ）＝∞（ＯｊJⁿ） Dⁿ（０，０）＝Ｏ D_n（Ｏ）＝Ｏ （１ｍＭ） Dⁿ（Ｏ，−１）＝∞ Dⁿ（ｉ，−１）＝∞ Dⁿ（ｉ，Ｏ）＝D_f(m)（ｉ−１）（ｉ１） Bⁿ（ｉ−１，Ｏ）＝ｉ−１ B_n（Ｏ）＝Ｏ（１ｍＭ） ……(14) ただし、Ｍは音韻に付された番号で後続音韻と
なり得る音韻の種類に等しい。 式（14）を初期値として式（８−１），（８−
２），(9)を解くことになる。終端累積距離D_n(i)、
終端バツクポインタB_n(i)、最後尾音節N_n(i)は次
のようにして求まる。 Dⁿ(i)，Bⁿ(i)は第１の実施例の場合と同様にし
て求める。次にD_n(i)，B_n(i)，N_n(i)（D_n(i)に対
応する後続音韻ｍの最後尾音節）をｍ＝１，２，
……，Ｍについて求める。 D_n(i)＝ min 〔Dⁿ(i)〕 ……(15) １ｎＮ ｍ＝ｐ(n) B_n(i)＝Bⁿ(i) N_n(i)＝n^ ただし、ｐ(n)は音節ｎの後続音韻、n^は式
（15）を満足するｎである。 第１０図は本発明の第２の実施例の構成を示す
ブロツク図である。同図において、第６図の第１
の実施例と同一の番号を付したブロツクは、第１
の実施例とほぼ同じ動作をする。ただ、累積距離
計算部１０７における処理が上記の如く変更にな
つたのと、累積距離記憶部１０８、バツクポイン
タ記憶部１０９、最後尾音節記憶部１１３におい
てD_n(i)，B_n(i)，N_n(i)を１ｍＭに対して記憶
する点が異なる。１２７は後続音韻決定部であつ
て、第２の実施例において付加されるものであ
る。即ちｍ＝１，２，……，M′を母音に対して
付された番号、ｍ＝M′＋１，M′＋２，……，Ｍ
を子音に対して付された番号とするとき、 m^＝argmin〔D_n（Ｉ）〕 １ｍM′ を求めるものである。このm^に対し、最後尾音節
記憶部１１３からn^＝Nm（Ｉ）が読み出され、セ
グメンテーシヨン部１１２を通じてバツクポインタ
記憶部１０９からBm（Ｉ）が読み出される。即ち、
Nm（Ｉ）の１つ前の音節はフレームBm（Ｉ）で
終端している。１２８は先行音韻決定部であつ
て、n^＝Nm（Ｉ）の先行音韻ｆ（n^）を探索する。
これは、フレームｉ＝Bm（Ｉ）において、後続
音韻ｆ（n^）の音節がNm（Ｉ）の１つ前の音節と
なるからである。故に後続音韻決定部１２７にお
いて新たなm^としてm^f（n^）とおいて最後尾音節
記憶部１１３から後続音韻m^の新たな音節n^＝
Nm(i)が読み出される。同時に、セグメンテーシ
ヨン部１１２はｍとｉから、バツクポインタ記憶
部１０９に対してフレームｉにおける後続音韻ｍ
のバツクポインタBm(i)を読み出すべく作用す
る。 以下、同様な動作が行われて、音節列が逆の順
序で求まつてゆく。 第１１図は第２の実施例の動作をプログラム的
に表現した図であり、ソフトウエアで実現する場
合もこれに従えばよい。 第９図と同じ番号を付したステツプはほぼ同じ
処理をするものである第９図と異なる点は、ステ
ツプ200においてＤ(o)，Ｂ(o)がD_n(o)，B_n(o)とな
つている点、ステツプ205，208においてＤ（ｉ−
１）が、D_f(m)（ｉ−１）となつている点、ステツ
プ210において、終端累積距離D_n(i)、終端バツク
ポインタB_n(i)、最後尾音節N_n(i)等後続音韻毎に
求めている点、ステツプ211，212において、フレ
ームｉで終端する音節に続く音節の先行音韻は前
者の後続音韻と等しいという制限のもとで、各フ
レームｉに対して求められているB_n(i)，N_n(i)と
D_n（Ｉ）から音節列を逆向に決定してゆく点であ
る。これらの処理は既に第１０図の実施例で説明
済である。 発明の効果 以上のように、本発明によれば、少い登録パタ
ーン数で連続的に発声された音声を認識して、音
節列に変換することが可能となつたものである。 なお、本発明の実施例として、DPマツチング
を用い、入力音節数未知の場合について説明した
が、本発明はそれに限定されるものではない。即
ち、式(3)を解くことによつて、連続パターンの認
識を行う装置は他にも種々考えられるが、本発明
は、それらすべてに適用可能である。例えば、入
力音節数が既知の場合は、式(4)に基づく認識装置
に適用できるものである。さらに、本発明はDP
マツチングを用いた装置ばかりでなくVCV音節
を標準パターンとして必要とするあらゆる音声認
識装置に適用することができる。

【図面の簡単な説明】

第１図はDOマツチングの原理を説明する格子
グラフ、第２図ａ〜ｊは格子グラフ上におけるマ
ツチング径路の制限条件の一例を示す図、第３図
ａ〜ｅは連続単語音声の認識等に用いられるマツ
チング径路の制限条件の一例を示す図、第４図、
第５図はそれぞれ入力単語数既知の場合と、未知
の場合についての最終的に認識単語列を得る方法
を示すフローチヤート、第６図は本発明の一実施
例を示すブロツク部、第７図、第８図は同実施例
におけるマツチング計算の様子を説明する図、第
９図は本発明の実施例に対応する処理をプログラ
ム的に実現する方法を示す図、第１０図は本発明
の第２の実施例を示すブロツク図、第１１図は第
２の実施例に対応する処理をソフトウエア的に実
現する方法を示す図である。 １０１……特徴抽出部、１０２……標準パター
ン記憶部、１０３……フレーム間距離計算部、１
０４……フレーム間距離記憶部（１）、１０５…
…フレーム間距離記憶部（２）、１０６……読み
出しアドレス制御部、１０７……累積距離計算
部、１０８……累積距離記憶部、１０９……バツ
クポインタ記憶部、１１０……音声区間検出部、
１１１……フレーム数計数部、１１２……セグメ
ンテーシヨン部、１１３……最後尾音節記憶部。

Claims (1)

【特許請求の範囲】
1. １ 入力音声信号を特徴ベクトルの系列a₁，a₂，
   ……arに変換する特徴抽出手段と、第ｎ単音節に
   対する特徴ベクトルの系列b₁ ⁿ，b₂ ⁿ，……，bjnⁿ
   （ただし、ｎ＝１，２，……，Ｎ；Ｎは単音節数、
   Jⁿは第ｎ単音節の母音定常部のフレーム）を標準
   パターンとして記憶する標準パターン記憶手段
   と、前記入力音声信号の特徴ベクトルの系列を、
   前記単音節標準パターンとマツチングするととも
   に前記単音節の中、少なくとも１つ以上の単音節
   について、それを代表的にn′とするとき、前記
   n′に対しては、第n′単音節の特徴ベクトルの系列
   b₁ ⁿ′，b₂ ⁿ′，……bjn′ⁿ′を逆の順序に並べた特徴ベ
   クトルの系列bjn′ⁿ′，bjn′−1ⁿ′，……b₂ ⁿ′，b₁ ⁿ
   ′と
   もマツチングするパターンマツチング手段とを備
   えたことを特徴とする音声認識装置。