JP3277522B2

JP3277522B2 - 音声認識方法

Info

Publication number: JP3277522B2
Application number: JP23438691A
Authority: JP
Inventors: 麻紀宮田; 昌克星見
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1991-09-13
Filing date: 1991-09-13
Publication date: 2002-04-22
Anticipated expiration: 2017-04-22
Also published as: JPH0573087A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、不特定話者の発声した
音声を機械認識する音声認識方法に関するものである。

【０００２】

【従来の技術】不特定話者の音声認識を行なう手法の１
つとして、少数話者が発声した音声片データをモデルと
する本発明の基本となる手法が、本出願人によって提示
されている（特願平３−７４７７号、平成３年１月２５
日出願）。

【０００３】図７は、その音声認識方法の構成図であ
る。図７において、１は音響分析部、２は特徴パラメー
タ抽出部、３は類似度計算部、４は標準パターン格納
部、５は回帰係数計算部、６はパラメータ系列作成部、
７は音声片辞書格納部、９は認識対象辞書作成部、１０
は認識対象辞書格納部、１１は認識部である。

【０００４】以上のような図７の構成において、以下、
その動作について説明する。まず、少数話者が発声した
音声データを用いて音声片辞書を作成する。音韻環境を
考慮した単語セットを少数話者が発声した音声を、音響
分析部１で分析時間（フレーム）毎に分析し、特徴パラ
メータ抽出部２でＬＰＣケプストラム係数を求める。こ
れに対し、標準パターン格納部４に格納されている予め
多数の話者で作成した音素標準パタ−ンと１フレームず
つシフトさせながらマッチングし、フレーム毎に音素類
似度ベクトルを求める。そして回帰係数計算部５で音素
類似度ベクトルの時間的変化量である回帰係数ベクトル
をフレーム毎に求め、パラメータ系列作成部６ではこの
音素類似度ベクトルとその回帰係数ベクトルの大きさを
それぞれ１に正規化し、その時系列をパラメータ系列と
する。

【０００５】そこからＣＶ、ＶＣパターンを切出し、複
数のＣＶ、ＶＣパターンが出現する場合には時間整合を
行って平均化したパターンを音声片辞書格納部７に登録
する。

【０００６】認識対象辞書作成部９では、認識対象辞書
項目が与えられると音声片辞書格納部７から各辞書項目
を作成するのに必要なＣＶ・ＶＣパターンを取り出して
接続を行ない、認識対象辞書の各項目パターンを作成し
辞書格納部１０に登録する。

【０００７】認識したい入力音声は音声片辞書作成時と
同様の音響分析を行い、特徴パラメータを抽出し、音素
標準パタ−ンとマッチングを行って音素類似度を求め、
さらに回帰係数を求め、パラメータ系列を作成する。次
に認識部１１において認識対象辞書格納部１０に格納さ
れている辞書パターンとＤＰマッチングを行い、類似度
を求めもっとも大きな類似度をもつ辞書を認識結果とす
る。

【０００８】

【発明が解決しようとする課題】しかしながら、ＣＶお
よびＶＣパターンを辞書の文字列通りにただ接続しただ
けでは、入力音声に母音の無声化などの発声変形があっ
た場合に対処できなかった。例えば、「薬」（／ｋｕｓ
ｕｒｉ／）という単語に対して、/<KU/-/US/-/SU/-/UR/
-/RI/-/I>/のようにＣＶ、ＶＣパターンを接続した場
合、入力音声の「くすり」の「く」が無声化（/K/,/u/
(無声化母音),/S/,/U/,/R/,/I/）した場合、辞書とのＤ
Ｐマッチングの際、その部分でのスコアが低くなり誤認
識の原因となっていた。同様に「先生」のような単語は
「せんせい」と発声する場合と「せんせー」と発声する
場合があり、辞書を文字列から/<SE/-/ENN/-/NNS/-/SE/
-/EI/-/I>/（/NN/は「ん」を表す）と接続した場合は、
「せんせー」と発声しとき語尾においてマッチングスコ
アが低くなり誤認識の原因となっていた。

【０００９】また発声変形するパターンと発声変形しな
いパターンとを予め用意することは、発声変形するかし
ないかは発声してみないとわからないため、相当量の音
声データを収録、分析する必要があり、実際上困難であ
った。

【００１０】さらに、従来、音声認識における入力音声
と辞書音声のＤＰマッチングは処理の簡単化のため入力
軸を基本軸としている場合が多く、連続音声中から認識
対象単語を検出するスポッティングが困難であるという
欠点があった。

【００１１】本発明は、上記課題に鑑み、入力音声の無
声化や音便化等の入力音声の発声変形に対しても高い認
識率を得ることを目的とする。

【００１２】この目的を達成するために、本発明は、予
め、音韻環境を考慮した単語セットを１名から数名の少
数の話者が発声し、分析時間（フレーム）毎にｍ個の特
徴パラメータを求め多数の話者で作成したｎ種類の標準
パターンとのマッチングを行ないｎ個の類似度とｎ個の
類似度の時間的変化量をフレーム毎に求め、この類似度
ベクトルと類似度の時間的変化量ベクトルで作成した時
系列パターンから音声片を切出して音声片辞書として登
録しておき、更に音声片辞書の音声片を接続して作成し
た類似度ベクトルと類似度の時間的変化量ベクトルの時
系列パターンまたは音声片の接続手順を各認識対象項目
ごとに作成して認識対象辞書に格納しておき、認識時に
は、入力音声を同様にして分析して得られるｍ個の特徴
パラメータと、ｎ種類の標準パターンとマッチングを行
ないｎ次元の類似度ベクトルとｎ次元の類似度の時間的
変化量ベクトルの時系列を求め、認識対象辞書の各項目
に登録されている類似度ベクトルと類似度の時間的変化
量ベクトルの時系列パターンまたは音声片の接続手順に
したがって合成された類似度ベクトルと類似度の時間的
変化量ベクトルの時系列パターンと照合することによっ
て、辞書に登録した話者およびその他の話者の入力音声
を認識すると共に、母音の無声化や連続母音の音便化の
ような発声変形が起こり得る辞書パターンについて、少
数話者の発声による実際に発声変形が起こったパターン
と起こらなかったパターンから切出した音声片を接続し
てその部分のみ認識対象辞書をマルチパターンとして持
ち、認識時には入力音声との類似度の大きくなるどちら
か一方のパターンを選択して類似度を求めて認識するよ
うに構成されている。

【００１３】

【作用】本発明は上記構成により、辞書パターンにおい
て無声化しやすい母音の部分を、母音が有声のＣＶ、Ｖ
Ｃパターンと、母音が無声化したＣＶ、ＶＣパターンと
のマルチパターンとすることにより、入力音声の母音が
無声化しても認識率が低下しなくなる。また同様に「え
い」／「えー」などの音便化に対しても辞書パターンを
マルチパターンにすることにより、入力音声の発声変形
に対しても高い認識率が得られる。

【００１４】

【実施例】本発明の音声認識方法の基本的な考え方は、
次のようなものである。

【００１５】一般に、日本語において無声子音に挟まれ
た母音/I/,/U/や無声子音に続く語尾の母音/I/,/U/は無
声化しやすいことがわかっている。即ち、認識したい単
語の文字系列から無声化が起こり得る母音がわかるた
め、その母音を含むＣＶ（子音＋母音）パターン、ＶＣ
（母音＋子音）パターンに対して少数話者が発声した母
音が有声のＣＶ、ＶＣパターンと母音が無声化したＣ
Ｖ、ＶＣパターンを用意し、その部分に対して辞書パタ
ーンを有声パターンと無声パターンのマルチパターンに
し、入力音声の母音の無声化に対処する。

【００１６】汎用の音素標準パタ−ンに対する類似度を
特徴パラメータとして認識する方法では、標準パターン
作成のためのデータ量が少なくて済むため、発声変形し
たパターンを集めることは比較的容易である。例えば
「薬」という単語に対しては/<KU/-/US/-/SU/-/UR/-/RI
/-/I>/の/<KU/,/US/が無声化しやすいため、実際に/<KU
/や/US/が無声化したデータから/<Ku/,/uS/を切り出
し、これらを［ /<KU/-/US/／ /<Ku/-/uS/ ］のような
マルチパターンとして接続して辞書を作成する（ただ
し"［"と"］"はそれらに囲まれていてかつ"／"で区切ら
れたパターンのどちらか一方を選択することを意味す
る）。

【００１７】同様に「えい」／「えー」などの音便化に
対しても辞書パターンをマルチパターンにすることによ
り発声変形に対処する。

【００１８】このようにして、辞書パターンにおいて無
声化しやすい母音の部分を、母音が有声のＣＶ、ＶＣパ
ターンと、母音が無声化したＣＶ、ＶＣパターンとのマ
ルチパターンとすることにより、入力音声の母音が無声
化しても認識率が低下しなくなる。また同様に「えい」
／「えー」などの音便化に対しても辞書パターンをマル
チパターンにすることにより、入力音声の発声変形に対
しても高い認識率が得られる。

【００１９】以下、本発明の一実施例について図面を参
照しながら説明する。図１は、本発明の一実施例におけ
る音声認識方法の構成を表すブロック結線図である。

【００２０】図１に示す本実施例の構成は、基本的には
図７に示した本発明の基礎となる音声認識方法の構成と
同じであるので、同一構成部分には同一番号を付してあ
る。図７の構成と異なるのは、無声化しやすい母音およ
び音便化しやすい連続母音に予め異なる符号を付した認
識対象文字列を格納する認識対象辞書文字列格納部８を
設け、認識対象辞書作成部９において、辞書文字列に従
って無声化しやすい母音および音便化しやすい連続母音
についてＣＶ、ＶＣパターンをマルチパターンとして接
続したパターンを作成し、認識対象辞書格納部１０に登
録する部分である。

【００２１】以上のような図１の構成において、以下、
その動作について説明する。入力音声が入力されると音
響分析部１で分析時間（フレームと呼ぶ。本実施例では
１フレーム＝１０ｍｓｅｃ）毎に線形予測係数（ＬＰ
Ｃ）を求める。次に、特徴パラメータ抽出部２で、ＬＰ
Ｃケプストラム係数（Ｃ₀〜Ｃ₈まで９個）を求める。標
準パターン格納部４には、予め多くの話者が発声した
データから作成した２０種類の音素標準パターンが格納
されている。音素標準パタ−ンとしては、/a/,/o/,/u/,
/i/,/e/,/j/,/w/,/m/,/n/,

【００２２】

【外１】

【００２３】,/b/,/d/,/r/,/z/,/h/,/s/,/c/,/p/,/t/,/
k/の２０個の音素標準パターンを使用する。音素標準パ
ターンは、各音素の特徴部（その音素の特徴をよく表現
する時間的な位置）を目視によって正確に検出し、この
特徴フレームを中心とした特徴パラメータの時間パター
ンを使用して作成される。

【００２４】特徴パラメータの時間パターンとして、特
徴フレームの前８フレーム、後３フレーム、計１２フレ
ーム分のＬＰＣケプストラム係数(Ｃ₀〜Ｃ₈)を１次元に
したパラメータ系列

【００２５】

【外２】

【００２６】を使用する。（数１）に上記のパラメータ
系列を示す。

【００２７】

【数１】

【００２８】ここで

【００２９】

【外３】

【００３０】は特徴部の第ｋフレームにおけるｉ番目の
ＬＰＣケプストラム係数である。多くのデータに対して
パラメータ系列を抽出し、各要素の平均値ベクトル

【００３１】

【外４】

【００３２】と要素間の共分散行列

【００３３】

【外５】

【００３４】を求め標準パターンとする。上記平均値ベ
クトルは、（数２）のようになる。

【００３５】

【数２】

【００３６】このように音素標準パターンは、複数フレ
ームの特徴パラメータを使用している。即ち、パラメー
タの時間的動きを考慮して標準パターンを作成されてい
るのが特徴である。

【００３７】入力と音素pの標準パターンとの類似度計
算のためのマハラノビス距離ｄ_pは、（数３）で表され
る。

【００３８】

【数３】

【００３９】ここで共分散行列

【００４０】

【外６】

【００４１】を各音素共通とすると、（数４）のように
簡単な式に展開できる。

【００４２】

【数４】

【００４３】共通化された共分散行列を

【００４４】

【外７】

【００４５】とする。計算量の少ない（数４）を用いて
類似度を求める。

【００４６】

【外８】

【００４７】、ｂ_pが音素pに対する標準パターンであ
り、標準パターン格納部４に予め格納されている。

【００４８】この２０種類の音素標準パターンと特徴抽
出部で得られた特徴パラメータ（ＬＰＣケプストラム係
数）と類似度計算部３でフレーム毎に類似度計算を行な
う。類似度計算部の結果から、パラメータ時系列作成部
６で類似度ベクトルの時系列を求める。類似度ベクトル
の時系列の例を図２に示す。図２は「赤い」（ａｋａ
ｉ）と発声した場合の例で、横軸が時間方向で縦軸が各
時間における類似度を示す。/a/の標準パターンについ
て説明すると、入力を１フレームずつシフトさせながら
標準パターンとマッチングを行ない、類似度の時系列を
求める。図２の例では、40,46,68,60,42,1,4,6,20,40,6
5,81,64,49,15,10,14,16が類似度の時系列である。この
類似度を２０個の音素標準パターン全てに対して同様に
求める。図２の斜線で示した部分は１フレームにおける
類似度ベクトルを指す。

【００４９】回帰係数計算部５では、この類似度の時系
列に対して類似度の時間的変化量である回帰係数（ｎ
個）をフレーム毎に求める。回帰係数は、フレームの前
後２フレームの類似度値（計５フレームの類似度値）の
最小２乗近似直線の傾き（類似度の時間的変化量）を使
用する。図３を用いて類似度の回帰係数について説明を
行なう。例えば、音素/a/の標準パターンで説明する
と、入力を１フレームずつシフトさせながら/a/の標準
パターンとマッチングを行ない、類似度の時系列を求め
る。このフレーム毎の類似度をプロットしたのが図３で
ある。

【００５０】図３において横軸がフレーム、縦軸が類似
度である。第iフレームを中心に第i-2から第i+2フレー
ムの最小二乗直線の傾きを求め、これを第iフレームに
おける類似度の時間変化量（回帰係数）とする。回帰係
数を求める式を（数５）に示す。

【００５１】

【数５】

【００５２】この回帰係数を１フレームごとに全フレー
ムに対して求める。また、他の音素標準パターンに対し
ても同様にして回帰係数を全フレームにわたって求め
る。

【００５３】このようにして求めた、類似度ベクトル時
系列および回帰係数ベクトル時系列を認識部１１へ送
る。

【００５４】音声片辞書格納部７には、音韻環境を考慮
した単語セットを予め一人の話者が発声した音声を分析
し、上記の２０個の標準パターンとフレーム毎に類似度
計算を行い、その結果得られる類似度ベクトルの時系列
とその回帰係数ベクトルの時系列（図２と同様な形式の
もの）から、子音から母音へ遷移する部分を切出し、複
数個得られた同一の子音−母音の組合せを互いにＤＰマ
ッチングにより時間的整合を図って平均化したＣＶパタ
ーンと、逆に母音から子音へ遷移する部分を切出した複
数の同一母音−子音の組合せをＤＰマッチングにより時
間的整合を図って平均化したＶＣパターンが格納されて
いる。長母音および連続母音の母音中心から母音中心ま
でのＶＶパターンも含まれている。

【００５５】この音韻環境を考慮した単語セットは、ス
ペクトル情報などを参考に目視により音素の位置が予め
ラベル付けされている。この音素ラベルに従ってＣＶは
子音の中心から後続母音の中心フレームまで、ＶＣは母
音の中心フレームから後続子音の中心フレームまで、Ｖ
Ｖは前の母音の中心フレームから後の母音の中心フレー
ムまで、それぞれ切出しを行ない、音声片辞書格納部７
に登録する。母音の中心フレームを境界にすると子音か
ら母音、母音から子音に音声が遷移する情報を有効に取
り入れることが出来るので高い認識率を得ることができ
る。図４の(1)に「朝日」（／ａｓａｈｉ／）、(2)に
「酒」（／ｓａｋｅ／）、(3)に「パーク」（／ｐａａ
ｋｕ／）の場合のＣＶとＶＣとＶＶの切出し方の例を示
す。

【００５６】図４に示すように、／ａｓａｈｉ／の場合
は、/<A/、/AS/,/SA/,/AH/,/HI/と/I>/（ただし、記号"
<",">"はそれぞれ語頭、語尾を表し、語中のパターンと
は区別する。）の６個の音声片から構成されている。／
ｓａｋｅ／の場合は、/<SA/,/AK/,/KE/,/E>/の４個の音
声片から構成されている。／ｐａａｋｕ／の場合は、/<
PA/,/AA/,/AK/,/KU/,/U>/の５個の音声片から構成され
ている。音韻環境を考慮した単語セット中に１個しか出
現しない音声片は、そのまま音声片辞書に登録する。複
数出現する音声片はＤＰマッチングにより時間整合を行
い、この時間的に整合したフレーム間で各類似度とその
回帰係数の平均値を求める。この平均化した類似度ベク
トルとその回帰係数ベクトルの時系列をＣＶ、ＶＣパタ
ーンとして音声片辞書に登録する。発声話者が２名以上
で同一音声片を複数話者が発声した場合も同様に時間整
合を行い平均化したパターンを登録する。このように複
数のパターンを平均化することによって、音声片辞書の
精度を向上させ、より高い認識率を得ることができる。

【００５７】認識対象辞書文字列格納部８には、認識し
たい単語や文章などの文字列を格納してある。このとき
無声化しやすい母音および音便化しやすい連続母音に予
め異なる符号を付すが、一般に次のような場合に母音が
無声化することがわかっている。・無声子音＋母音（/I/または/U/）＋無声子音のときの
/I/または/U/ ・無声子音＋母音（/I/または/U/）が語尾または息の切
れ目の直前にきて、その拍のアクセントが低いときの/I
/または/U/ ・アクセントが低い語頭の/KA/,/KO/で次に同音のアク
セントのある拍がくるときの/KA/,/KO/ ・アクセントの低い語頭の/HA/,/HO/の次に母音の/A/ま
たは/O/を含む拍がくるときの/HA/,/HO/ ・無声子音＋母音（/I/または/U/）＋/M/または/N/また
は/NN/(撥音)のときの/I/または/U/ このような無声化規則を用いて無声化しやすい母音に対
し、予め認識対象辞書文字列に異なる符号を付してお
く。本実施例では次のような無声化規則について説明を
行う。 (1) 無声子音＋母音（/I/または/U/）＋無声子音のとき
の/I/または/U/をそれぞれ/I./,/U./と書く。 (2) 無声子音＋母音（/I/または/U/）が語尾にくるとき
の/I/または/U/をそれぞれ/I./,/U./と書く。また、母
音の音便化には「えい」と「えー」、「おう」と「お
ー」などがあるが、本実施例では次の規則について説明
を行う。 (3) /EI/または/EE/は/EI+/と書く。

【００５８】これら無声化規則および音便化規則を用い
て、例えば「計画」という単語に対しては、 K E I+K A K U. 「薬」という単語に対しては、 K U.S U R I という文字列が認識対象辞書文字列格納部８に格納され
ている。

【００５９】認識対象辞書作成部９では、認識対象辞書
項目が与えられると音声片辞書格納部から各辞書項目を
作成するのに必要なＣＶ・ＶＣパターンを取り出して接
続を行ない、認識対象辞書の各項目パターンを作成し辞
書格納部１０に登録する。例えば「赤い」（／ａｋａｉ
／）という辞書項目を作成するには/<A/,/AK/,/KA/,/A
I,/I>/の５つのＣＶ・ＶＣパターンを接続して作成す
る。例えば、/<A/は／ａｓａｈｉ／と発声した音声デー
タから切出された/<A/のパターンを使用する。また/AK/
は／ｓａｋｅ／と発声したデータから切出された/AK/の
パターンと／ｐａａｋｕ／と発声したデータから切出さ
れた/AK/のパターンとをＤＰマッチングにより時間整合
を行って平均化した/AK/のパターンを使用する。このよ
うに／ａｋａｉ／という単語パターンを作成するには予
め切出されたＣＶ・ＶＣパターンが登録されている音声
片辞書格納部７から必要なＣＶ・ＶＣを取り出して接続
を行ない、認識対象辞書の各項目パターンを作成して認
識対象辞書格納部１０に格納する。

【００６０】発声変形のあり得る音素については別の符
号を付した辞書文字列に従い、無声化しやすい母音(/I.
/,/U./)について音声片辞書格納部７に格納されている
母音が無声化したＣＶ、ＶＣと無声化していないＣＶ、
ＶＣパターンをマルチパターンとして接続し、辞書パタ
ーンを作成する。音便化しやすい連続母音(/EI+/)につ
いても同様に音便化した場合としない場合のＶＶ、ＶＣ
パターンをマルチパターンとして接続し、辞書パターン
を作成する。

【００６１】認識対象辞書格納部１０に格納する辞書パ
ターンには次のようなラベル Label ＝ L₁ L₂ L₃ ・・・ L_n ・・・ L_N が付加されている。ただし、L_nは (1) ＣＶ、ＶＣのシンボル（/KA/,/OB/,/AA/,/Pu/な
ど） (2) 分岐制御子（"［"，"／"，"］"の三種類）のどちらか一方を表しており、分岐制御子は次のような
意味を持つと定義する。"［"と"］"はそれらに囲まれて
いてかつ"／"で区切られたパターンのどちらか一方を選
択する。例えば、辞書文字列に「薬」（K U.S U R I ）
という単語があった場合、辞書パターンのラベルは L₁ L₂ L₃ L₄ L₅ L₆ L₇ L₈ L₉ L₁₀ L₁₁ ［ /<KU/ /US/ ／ /<Ku/ /uS/ ］ /SU/ /UR/ /RI/ /I>/ と表される。そしてこのラベルに従い、ＣＶ、ＶＣのシ
ンボルであるラベルに対して音素類似度ベクトルとその
回帰係数ベクトルの時系列を、分岐制御子であるラベル
に対して２フレームに相当する空白を並べたものを辞書
パターンとする。

【００６２】図５に「薬」（K U.S U R I ）という単語
に対する辞書パターンを表す図を示す。このようにＣ
Ｖ、ＶＣの音素類似度ベクトルとその回帰係数ベクトル
の時系列を接続したものが辞書パターンとなる。

【００６３】認識部１１では、認識対象辞書格納部１０
にある類似度ベクトルおよびその回帰係数ベクトルの時
系列と、入力音声を分析して得られる類似度ベクトルお
よび回帰係数ベクトルの時系列パターンとをマッチング
し、最もスコアの大きい辞書項目を認識結果とする。認
識対象辞書格納部１０には、類似度ベクトルとその回帰
係数ベクトルの時系列そのものではなく音声片を接続す
る手順のみを記述したものを格納しておいても良い。そ
して入力との類似度計算のとき、この手順に従って類似
度ベクトルとその回帰係数ベクトルを合成しても良い。
マッチング方法としてはＤＰマッチングを用いる。ＤＰ
マッチングを行なう漸化式の例を（数６）に示す。ここ
で、辞書の長さをＪフレーム、入力の長さをＩフレー
ム、第iフレームと第jフレームの距離関数をｌ(i,j)，
累積類似度をｇ(i,j)とする。

【００６４】

【数６】

【００６５】距離関数ｌ(i,j)の距離尺度は、ユークリ
ッド距離、重み付ユークリッド距離、相関余弦距離など
が使用できる。本実施例では距離関数ｌ(i,j)の距離尺
度として相関余弦を用いるので、この場合について説明
を行なう。入力音声のjフレームにおける類似度ベクト
ルを（数７）とし、

【００６６】

【数７】

【００６７】辞書のiフレームにおける類似度ベクトル
を（数８）とし、

【００６８】

【数８】

【００６９】入力音声のjフレームにおける回帰係数ベ
クトルを（数９）とし、

【００７０】

【数９】

【００７１】辞書のiフレームにおける回帰係数ベクト
ルを（数１０）とすると、

【００７２】

【数１０】

【００７３】相関距離を用いた場合のｌ(i,j)は、（数
１１）のようになる。

【００７４】

【数１１】

【００７５】ｗは類似度とその回帰係数の混合比率であ
り、０．４から０．６がよい。認識部１１において入力
音声とのＤＰマッチング時に、ラベルに分岐制御子が表
れたときは"［"と"］"に囲まれた"／"で区切られたパタ
ーンの累積類似度の大きい方を選択するようにする。こ
のときのＤＰマッチングの方法について以下に説明す
る。

【００７６】ＤＰパスは図６のような辞書軸側を基本軸
とした非対称ＤＰとする。本実施例における一部マルチ
パターンを持つ辞書とのＤＰマッチングのアルゴリズム
について以下に示す。なお、ｊフレーム目のラベルL_nを
LBL(j)と書く。例えば図５においてLBL(1)は分岐制御
子"［"、LBL(3)はシンボル"/<KU/"である。

【００７７】初期条件ｇ(i,j)=−∞ ｇ(0,0)=0 入力フレームi=1からi=Iまでiを１ずつ増やしながら以
下くりかえし辞書フレームj=1からj=Jまでjを１ずつ増やしながら以
下くりかえし[I]LBL(j) が分岐制御子であった場合 (1)LBL(j)＝"［"のときラベル"［"の２フレーム前の累積類似度ｇ(i,j-2)をｇ
(i,j)に書き、１フレーム前の累積類似度ｇ(i,j-1)をｇ
(i,j+1)に書く。

【００７８】ｊ←ｊ+1 (2)LBL(j)＝"／"のときラベル"［"の２フレーム前の累積類似度ｇ(i,j-2)をｇ
(i,j)に書き、１フレーム前の累積類似度ｇ(i,j-1)をｇ
(i,j+1)に書く。

【００７９】ｊ←j+1 (3)LBL(j)＝"］"のとき・経路長を次のような平均長に置き換える。即ち、ラベ
ルを L₁ ［ L₃ ／ L₅ ］とすると、始端からL₃の終端までの長さ（音声片L₁のフ
レーム数＋音声片L₂のフレーム数）と、始端からL₅の終
端までの長さ（音声片L₁のフレーム数＋音声片L₅のフレ
ーム数）の平均長とし、L₃とL₅のどちらが選択されたと
しても、それ以降の経路長はこの平均長を用いて計算す
る。

【００８０】・ラベル"／"の１つ前のフレームの累積類
似度を経路の長さで正規化した値と、ラベル"］"の１つ
前のフレームの累積類似度を経路の長さで正規化した値
を比較し、大きい方の値に経路の平均長を掛けた値をｇ
(i,j+1)に書く。

【００８１】・ラベル"／"の２つ前のフレームの累積類
似度を経路の長さで正規化した値と、ラベル"］"の２つ
前のフレームの累積類似度を経路の長さで正規化した値
を比較し、大きい方の値に経路の平均長を掛けた値をｇ
(i,j+1)に書く。ｊ←j+1 [I]終了

【００８２】 [II]LBL(j)がＶＣ、ＣＶを表すシンボルであった場合・（数１２）の漸化式によって辞書軸側を基本軸とした
非対称ＤＰマッチング計算を行う。

【００８３】

【数１２】・経路長に１をたす。[II]終了辞書フレームの繰り返しはここまで入力フレームの繰り返しはここまでｇ(I,J)を経路長で割った値を、入力音声のその辞書パ
ターンに対する類似度とする。

【００８４】このようなＤＰアルゴリズムを用いること
により、辞書が一部マルチパターンとなっても辞書軸を
基本軸としてＤＰマッチングを行うことができ、単語の
スポッティングが可能となる。また入力音声１フレーム
に対する辞書音声の始端から終端までの累積類似度計算
を、入力音声に対してフレーム同期して行えば、リアル
タイムにマッチングを行うことができ、ハード化に適し
ている。

【００８５】本実施例を用いて２１２単語を発声した２
０名の音声データの認識評価実験を行った。音声片であ
るＣＶ、ＶＣは音韻環境を考慮した５３５単語を発声し
た前記２０名とは異なる話者２名（男女各１名）の音声
データ中から切出し、複数個出現したＣＶ、ＶＣは出現
した個数分ＤＰマッチングによる時間整合を行い平均化
したパターンを用いた。その結果、無声化母音および連
続母音の音便化を考慮しなかった場合、９４．２５％の
認識率であったものが、無声化母音および連続母音の音
便化の可能性のある部分がマルチパターンとなるように
ＣＶ、ＶＣを接続した辞書を用いた場合、９４．９５％
の認識率が得られ、０．７％の向上が見られた。

【００８６】このように、少数話者の発声したデータか
ら発声変形するパターンと発声変形しないパターンとを
予め用意しておき、発声変形しやすい箇所のみマルチパ
ターンをもつ辞書にすることにより入力音声の無声化、
音便化に対しても高い認識率が得られる。さらに辞書軸
を基本軸とし、マルチパターンのどちらを選択してもマ
ルチパターンとなっている部分の２つの継続長の平均値
を継続長として用いることにより計算が簡略化し、スポ
ッティングが行いやすくなった。

【００８７】なお、本実施例では（数１０）においてｗ
＝０．５とし、音素類似度とその回帰係数を１：１の割
合で混ぜた距離を用いたが、ｗ＝０として音素類似度の
みとしてもある程度高い認識率が得られ、計算量が削減
できる。なお、本実施例では音声片として、ＣＶ、ＶＣ
パターンで説明を行ったが、ＣＶ（子音＋母音）、ＶＣ
（母音＋子音）、ＶＣＶ（母音＋子音＋母音）またはＣ
Ｖ、ＶＣ、ＶＣＶの任意の組合わせパターンを用いても
実現することができる。

【００８８】

【発明の効果】以上のように本発明は、汎用の音素標準
パタ−ンに対する類似度を特徴パラメータとすることに
より、無声化しやすい母音や音便化しやすい連続母音な
ど発声変形しやすい箇所について、その部分だけ辞書を
マルチパターンとして持ち、認識時には入力音声との類
似度の大きくなるどちらか一方のパターンを選択して類
似度を求めて認識することにより、入力音声の無声化、
音便化に対しても高い認識率が得られるものである。

【００８９】この音声認識法ではＣＶ、ＶＣパターンの
作成に少数の発声データがあればよいため、実際に発声
変形が起こったパターンと起こらなかったパターンを用
意することは比較的容易であり実現しやすいものであ
る。

【００９０】さらに、一部マルチパターンを持つ辞書に
対する入力音声の類似度をＤＰマッチングにより求める
際、辞書軸を基本軸とし、そのマルチパターンのどちら
を選択してもマルチパターンとなっている部分の２つの
継続長の平均値を継続長として用いることにより、計算
を簡略化してスポッティングに適したＤＰマッチングを
高速に行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施例における音声認識方法を表す
ブロック結線図

【図２】同実施例における類似度ベクトルの時系列を説
明する概念図

【図３】同実施例における回帰係数を説明する特性図

【図４】同実施例におけるＣＶパターンおよびＶＣパタ
ーンを説明する概念図

【図５】同実施例における音声認識方法の辞書パターン
を表す概念図

【図６】同実施例における音声認識方法のマッチング方
法を説明する概念図

【図７】本出願人が以前に提案した音声認識方法を表す
ブロック結線図

【符号の説明】

１音響分析部２特徴パラメータ抽出部３類似度計算部４標準パターン格納部５回帰係数計算部６パラメータ系列作成部７音声片辞書格納部８認識対象辞書文字列格納部９認識対象辞書作成部１０認識対象辞書格納部１１認識部

フロントページの続き (56)参考文献特開平４−220699（ＪＰ，Ａ) 特開平４−293095（ＪＰ，Ａ) 特開平５−19786（ＪＰ，Ａ) 特開平５−88692（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 15/06 - 15/12

Claims

(57)【特許請求の範囲】

【請求項１】予め、音韻環境を考慮した単語セットを
１名から数名の少数の話者が発声し、分析時間（フレー
ム）毎にｍ個の特徴パラメータを求め多数の話者で作成
したｎ種類の標準パターンとのマッチングを行ないｎ個
の類似度とｎ個の類似度の時間的変化量をフレーム毎に
求め、この類似度ベクトルと類似度の時間的変化量ベク
トルで作成した時系列パターンから音声片を切出して音
声片辞書として登録しておき、更に前記音声片辞書の音
声片を接続して作成した類似度ベクトルと類似度の時間
的変化量ベクトルの時系列パターンまたは音声片の接続
手順を各認識対象項目ごとに作成して認識対象辞書に格
納しておき、認識時には、入力音声を同様にして分析し
て得られるｍ個の特徴パラメータと、前記ｎ種類の標準
パターンとマッチングを行ないｎ次元の類似度ベクトル
とｎ次元の類似度の時間的変化量ベクトルの時系列を求
め、認識対象辞書の各項目に登録されている類似度ベク
トルと類似度の時間的変化量ベクトルの時系列パターン
または音声片の接続手順にしたがって合成された類似度
ベクトルと類似度の時間的変化量ベクトルの時系列パタ
ーンと照合することによって、辞書に登録した話者およ
びその他の話者の入力音声を認識すると共に、母音の無
声化や連続母音の音便化のような発声変形が起こり得る
辞書パターンについて、少数話者の発声による実際に発
声変形が起こったパターンと起こらなかったパターンか
ら切出した音声片を接続してその部分のみ認識対象辞書
をマルチパターンとして持ち、認識時には入力音声との
類似度の大きくなるどちらか一方のパターンを選択して
類似度を求めて認識することを特徴とする音声認識方
法。
【請求項２】一部マルチパターンを持つ辞書に対する
入力音声の類似度を求める際に、辞書軸を基本軸とし、
マルチパターンの各々の経路長が異なる場合にそれらの
平均値を当該部の経路長として用いることにより計算を
簡略化して、スポッティング可能なＤＰマッチングを行
うことを特徴とする請求項１記載の音声認識方法。
【請求項３】音声片として、ＣＶ（子音＋母音）パタ
ーン、ＶＣ（母音＋子音）パターン、ＶＣＶ（母音＋子
音＋母音）パターン、またはＣＶ、ＶＣ、ＶＣＶの任意
の組合せのパターンのいずれかを用いることを特徴とす
る請求項１または２記載の音声認識方法。