JPS6265091A - 連続音声認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「発明の属する分野」 この発明は、あらかじめ蓄積したＣＶ音節（単音節）標
準パタン系列と、連続的に発声した未知入力音声とのＤ
Ｐマツチングを連続的に行い、各ＣＶ音節標邸パタンに
対応する入力音声区間長とマツチング距離値とをフレー
ムごとに出力し、この結果とセグメンテーションの結果
とを組み合わせてこれら間に所定の関係があるものから
ＣＶ　音節ラテイスを生成する連続音声認識方式に関す
るものである。

「従来の技術」 従来連続音声を認識する方式としては、王に二つの方式
が用いられている。その一つは音声の種々の特徴を用い
て連続音声中の音素（／ｐ／。

／ｌ／、／に／など）を認識する方式で、池の一つはＤ
Ｐマツチング（あらかじめ蓄積している標準パタンと入
力音声パタンとの時間伸縮マツチング）を基本にする方
式である。連続音声中の音素の認識を行う方式は、調音
結合のため音素の特徴が一定ではないため、決定的な認
識方式が存在せず、高い認識率が安定して得られないと
いう欠点がある。一方ＤＰマッチングによる方式は、太
きく分けて入力音声をＣＶ音節（ｔａ、ｐａ、ｋａなど
）などの単位にセグメンテーション（音声区間の切り出
し）を行ってから、標準パタンとのＤＰマツチングを行
う方式と、セグメンテーションを行わず連続的にＤＰマ
ツチングを行う方式とがある。

前者の方式では、高精度なＣＶ音節単位のセグメンテー
ションが不可欠であり、セグメンテーション法の良否が
認識率に決定的な影響を及ぼす。一方後者の方式では、
ＤＰマツチングのための演算ｌが標準パタン数に正比例
して増加するとともに。

マツチング結果からＣＶ行節ラティスに変換する方法が
繁雑であるという欠点があった。

「問題点を解決するための手段」 この発明は、これらの欠点を解決するために、演算計な
大幅に低減できる擬音素標準パタン（音声の短時間スペ
クトルの形状を数百個のパタンで表現したもの。音素よ
りも小さな単位と考えることができ、これらのパタンを
擬音素と呼ぶ。）を用いた連続ＤＰマツチング法を用い
ると共に、認識された結果とセグメンテーションとを柔
軟に組み合わせることによって、セグメンテーションの
誤りが認識結果に決定的な影響を与えることをさけるよ
うにしたもので、その目的は入力された連続音声から各
セグメント区間において複数のＣＶ音節候補を含むＣＶ
音節ラティスを作成することにある。

「実施例」 第１因はこの発明の基本的な構成を示す。音声入力端子
ｌからの入力された音声は、スペクトルパラメータ抽出
部２に入力され、その音声から短時間（例えば８ｍ５ｅ
ｃ、この時間を分析フレーム周期と呼ぶ）のスペクトル
の特徴が抽出される。スペクトルパラメータ抽出部、又
はスイッチＳ１により擬音素標準パタン作成部３とスペ
クトル距離計算部４及び動的尺度計算部５とに切替接続
される。

擬音素標準パタン作成部３は抽出されたスペクトルパラ
メータより擬音素標準パタンを作成する。

その作成された擬音素標準パクンは擬音素標檗パタン蓄
漬部６に記憶される。スペクトル距離計算部４は抽出さ
れたスペクトルパラメータと擬音素標桑パタンとの距離
を計算する。スペクトル距離計算部４はスイッチＳ２に
より最小スペクトル距離選択部７とＤＰマツチング部８
とに切替え接続される。最小スペクトル距離選択部７は
計算されたスペクトルパラメータについて距離が最小の
擬音素振１　パタンを選択する。七の選択されたＣＶ音
節標準パタンなどの擬音素糸列はＣＶ音節標準パタン蓄
漬部９に蓄積される。ＤＰマツチング部８ではスペクト
ル距離計算部４で計算されたスペクトル距離値と蓄漬部
９のＣＶ音節標孕パタンとを用いて、入力音声とＣＶ音
節標準パタンとのＤＰマツチングを時間的に連続して行
い、入力音声の分析フレームごとに各ＣＶ音節標準パタ
ンに対するマツチング距離値と、そのＣ■音節標準パタ
ンに対応する入力音声区間長とを出力する。一方動的尺
度計算部５で分析されたスペクトルパラメータから、ス
ペクトルの時間的な動きを表現する動的尺度が計算され
、この動的尺度の局所的最大値とＤＰマツチング部８の
出力結果との組み合わせでＣＶ音節ラティスがＣＶ音節
ラティス生成部１０で生成され、その生成されたＣＶ音
節ラティスは出力端子１１から出力される。

この発明の連続音声認識方式は、使用に際してつぎの三
つの段階に分けられる。

（１）　　擬音素標準パタンの作成と蓄積（２）ＣＶ音
節標準パタン（擬音素標準パタンの系列で表現）の作成
と蓄積 （３）未知連続音声認識 まず（１）の段階では、スイッチＳ１がａ側（擬音素標
準パタン作成部３側）に接続される。利用者が発声した
音声入力（この場合の音声は、必ずしも認識対象語でな
くてよい）は、入力端子ｌからスペクトルパラメータ抽
出部２に供給され、短時間スペクトル分析され、フレー
ム周期（例えば８ｍ５ｅｃ）ごとに、スペクトルパラメ
ータのセット（Ｐ；　）（’　”　ｔ　ｔ・・・・・・
ｎ）が抽出される。この抽出されたパラメータは、相関
係数やＬＰＣケプストラムなどであり、ｎはパラメータ
の個数を表している。

つぎにフレーム周期ごとに抽出された多くのスペクトル
パラメータのセットを用いて、擬音素標準パタン作成部
３で擬音素標準パタンを作成する。

擬汁素は物理的な尺度を用いたクラスタリング手法によ
って作成した音声の短時間のスペクトルの特徴を表わす
もので、その作成法には、例えば管材、古井、箱出の出
願による特願昭５５−１３９０９４号明細書記載の方法
を用いることができる。その作成された擬音素標準パタ
ンは、擬音素標準パタン蓄積部６に記憶される。

（２）では、まずスイッチＳ、をｂ側（スペクトル距離
計算部４及び動的尺度計算部５側）に、スイッチＳ２を
Ｃ側（最小スペクトル距離選択部７）に接続し、各認識
対象ＣＶ音節、単語ごとに、利用者の音声を擬音素標準
パタンを用いた系列として表わして蓄積する。すなわち
、その各入力音声をスペクトル分析したスペクトルパラ
メータと、（１）で作成した各擬音素標準パクンとのス
ペクトル距離計算をスペクトル距離計算部４でフレーム
周期ごとに行い、その計算結果より最小スペクトル距離
パタン選択部７で、最小のスペクトル距離を有する擬音
素標準パタンを選択する。このような操作を認識対象単
語パタンのそれぞれについて行い、擬音素標準パタンの
番号系列で表現する。すなわち、各Ｃｙ　ｇ節標準パタ
ンは、擬音素標準パタンを示す番号の系列で表現される
。その結果はｃ′ｖ音節標準パタン蓄＠部９に記憶され
る。

（３）では、スイッチＳ１をｂ側に、スイッチＳ２をｄ
側（ＤＰマツチング部８側）に接続し、未知入力連続音
声の認識を行う。入力端子ｌからの入力音声を、スペク
トルパラメータ抽出部２でスペクトル分析し、その分析
結果のスペクトルパラメータについてフレーム周期ごと
にスペクトル距離計算部４で、擬音素標準パタン蓄積部
６から読みだした各擬計素標準パタンとのスペクトル距
離を計算する。この計算結果とＣＶ音節標準パタン蓄噴
部９に蓄積した認識対象単語の擬音素標準パタン系列と
を用いて、音声の時間伸縮を吸収するスペクトルマツチ
ングをＤＰマツチング部８で行い、入力音声の各分析フ
レーム周期ごとに各ＣＶ音節標桑パタンに対するマツチ
ング距離値とそのＣＶ音節標準パタンに対応する入力音
声区間長とを抽出する。この手順を第２図を用いて以下
に説明する。

囚　最小積分値の計算 ｄｉｊを入力音声の第ｉフレームとｃＶ音節標準パタン
の第ｊフレームとの距離値とし、Ｇ（’１１．Ｊ、ｌ）
を（ｉ、Ｊ）における積分値とする。Ｇ（ｉ、ｊ）は、 ここでＧ　（ｉ’、　ｊｅｎｄ　）は、入力音声の第１
１フレームにおけるＣＶ音節［１パタンに対する最小積
分値である。ここでｊｅｎｄは、ｃ■音節標桑パタンの
終端フレームを意味している。ａｌ−３５はＤＰパスに
対応する重み係数であり、バスが対称の場合にはａｌ＝
２．ａ２＝ｌ、ａ８＝２．ａ４＝２ｐａ、＝ｘであり、
非対称の場合は２．＝ｌ、ａ２＝１　ｒ　ａＢ”ｌ　＋
　８４　＝０．５１　”Ｓ＝０．５である。

（６）最適積分路の長さの計算 （Ｃ）　　入力音声の第ｉ“フレームにおけるＣＶ音節
漂準パタンｎに対するＤＰマツチング距離値の計算 ５（ｎ）＝Ｇ　（ｉ’、　ｊｅｎｄ　）／Ｃ（ｉ’、　
ｊｅｎｄ　）（３）Ｉ　最適漬分路によってＣＶ音節標
鴎、パタンと対応づけられる入力音声区間長の計算 ここでＬ（１１，ｊｅｎｄ）が入力音声の第ｉ“フレー
ムにおけるＣＶ音節標賭パタンに対する入力音声区間長
になっている。

この手順において、（１）式におけるスペクトル距ｆｉ
１ｍ　（ｄ１７　）の計算は、従来の方法では入力音声
のフレーム周期ごとに、各ＣＶ　８節標準パタンの各フ
レームに対して実行する必要があったが、この発明によ
ればＣＶ音節標♀バクンは擬音素標準パタンを示す番号
の系列で表現されてあり、このＣＶ音節標準パタンと入
力音声とのＤＰマツチングは、スペクトル距離計算部４
で既に計算した擬音素標夢パタンとの距離計算値のみを
参照して行うことができるので、ＤＰマツチングにおけ
るスペクトル距離計算殴を大幅に減少゛ｆることかでき
る。

動的尺度計算部５では、セグメンテーションに関する情
報を得るため、スペクトルパラメータ抽出部２で得られ
たＬＰＣケプストラムパラメータを用いてつぎのような
尺度を計算する。

いまＬＰＧパラメータの時系列をＣｋ（ｉ）で表わす。

ｋはパラメータの次数で、１はフレーム番号を表わすと
する。このＬＰＧパラメータの時系列を、各次数ごとに
回帰直線 ４（ｉ）　＝　ａｋｉ　−１−ｂ　　　　　　　　　　
（５）で近似し、誤差 が最小になるようにａｋ、ｂｋを決定する。ここでＷｉ
はフレームの値に対する重み係数である。このとき次式
で定義される尺度を計算する。

この尺度はスペクトルの緩やかな動きの度合いを表現し
ており、スペクトルが急激に変化する部分でピーク値を
もつ。ｎの値を適度に設定すればＣＶ音節境界付近でピ
ーク値を持つようにできる。ここでｐはＬＰＣケプスト
ラムの個数である。

ＣＶ音ｄＩＳラティス生成部１０では、ＤＰマツチング
部８及び動的尺度計算部５で得られた結果を組み合わせ
てＣＶ４節ラティスを作成する。その方法を第３図を用
いて以下に説明する。

この図においてＳで示された位置が動的尺度値の局所的
最大値から決定されるセグメンテーション位置とする。

さらに各ＣＶ音節標桑パタンに対するＤＰマツチング距
離値５（ｎ）の時間経過から各ＣＶｖ節標準パタンに対
してＤＰマツチング値の局所的最小値を示す位置をそれ
ぞれ求め、この時点をそれぞれ終点としたＣＶ音節漂ｉ
１１＾パタンに対応する入力音声区間長ｃｖａ、ＣＶｂ
、ＣＶｏ、ＣＶｄを（３）式及び（４）式の計算結果か
ら求めて表示したものであり、隣接セグメンテーション
位置の間隔をＬｌ、入力音声区間長ＣＶの始めから次の
セグメンテーション位置までの間隔をＬ２、入力音声区
間ＣＶの長さをＬ３とする。このとき各ＣＶ　ｆ節標岱
パタンに対して、例えばＬ２／Ｌ、＞０１とＬ２／Ｌ、
＞０２を満たす関係があるパタンのみを、各セグメント
区間における認識結果とする。

このような方法で生成された０７行節ラティスの例を第
４図に示す。単語「音声」（σＮ’Ｓ　Ｅ”・１）を発
声入力した場合でこの図において横軸はセグメンテーシ
ョンの不漉かさ、縦軸はＣＶ旨節の認識の不確かさ？表
現しており、双方に複数の候補を設定することで認識結
果を表現する形式となっている。上述したアルゴリズム
かられかるように、各ＣＶ標標準パラン対してセグメン
ト区間内の−部の区間、あるいは隣り合うセグメント区
間にまたがって認識された場合も、もれなく　ｃ　ｖ　
音節ラテイスの中に表現できる。従ってセグメンテーシ
ョンと連続ＤＰＰマツチング結果を組み合わせてＣＶ４
節ラティスな作成することにより、セグメンテーション
を行−ってからＤＰＰマツチング行う方法に比べ、セグ
メンテーションの誤りに起因する誤認識の割合を小さく
することができる。

以上の各段階のうち、（１）におけるＮ音素標準パタン
の決定および（３）におけるセグメンテーション位置の
決定は、ＤＰマツチング実実行−使用する同一のパラメ
ータを用いた単純な計算によって極めて容易に行うこと
ができる。

「′砲門の効果」 以上説明したように、この発明の特徴は■擬汗素標準パ
タンを用いて連続的なりＰマツチングと、セグメンテー
ションとを並行して行い、これらの結果を組み合：）っ
せることにより最終的な認識結果を得ること、■セグメ
ンテーションのパラメータとして動的尺度を用いること
にある。その結果、以下のような効果が得られる。まず
ＤＰＰマツチング必要なスペクトル距離計算が人力音声
の各フレームに対して、擬音素標準パタンとの計算だけ
でよく、計算像を従来の方法に比べて大幅に減少できる
利点がある。擬音素標準パタンの数をｎ、ＣＶ廿節標準
パタン数をｍ、各ＣＶ音節標桑パタンの平均フレーム数
を１とすると、従来のパラメータ蓄積方式とこの発明の
方式とのスペクトル距離計算回数はＩｎ−ノ二〇の関係
になり、例えばｎ＝２５６　、ｍ＝５００．７＝５０と
すれば、約百分の−で済む。さらに認識対象ＣＶ音節標
準パタンは、擬音素標零パタンの番号の系列で表現され
ているため、Ｃ■音節標準パタン用の記憶容量は従来の
分析パラメータ七のものを蓄積しておく方式に比べ数十
分の位置で済む。またセグメンテーションとＤＰＰマツ
チングを並行して行い、両者の結果を組合わせ最終的な
認識結果を得ることにより、セグメンテーションを行−
ってかうＤＰＰマツチング行う方法に比べ、セグメンテ
ーション精度に対する要求を緩和させることができる。

動的尺度をセグメンテーションのパラメータとして用い
て、動的尺度の局所的極大値を検出する全自動的なセグ
メンテーションを採用することにより、従来のような種
々のパラメータを組み合わせた複雑な判定演算を回避す
ることができる。

【図面の簡単な説明】

第１図はこの発明による連続音声認識方式の基本的な構
成を示すブロック図、第２囚は第１図におけるＤＰマツ
チング部の説明に用い、入力音声とＣＶ漂準パタンと、
マツチングパス、最適積分路、入力音声区間長との関係
例を示す図、第３図は第１図におけるＣ　Ｖ　Ｍ　ｉｆ
＋５ラティス生成部の説明に用い、セグメンテーション
位置と入力音声区間長と、ＤＰマツチング距離呟の局所
的最小値の位置との関係例を示す図、第４図はＣＶ音節
ラティスの例を示す図である。 に音声入力端子、２ニスベクトルパラメ一タ抽出部、３
：擬音素標桑パクン作成部、４ニスベクトル距離計算部
、５：動的尺度計算部、６：擬音素標桑パタン蓄積部、
７：最小スペクトルパタン選択部、８：ＤＰマツチング
部、９：ＣＶ音節標準パタン蓄積部、ｉｏ：ｃＶ音節ラ
うィス生成部、１１：ｃＶ音節ラティス出力部。

Claims (2)

【特許請求の範囲】
1. （１）物理的な尺度を用いたクラスタリング手法によつ
   て作成した音声の短時間のスペクトルの特徴を表す擬音
   素の標準パタンと、擬音素の系列として表現されたＣＶ
   音節（単音節）標準パタンとをあらかじめ蓄積しておき
   、 未知入力音声をスペクトル分析し、これと上記擬音素の
   標準パタンとのスペクトル距離を計算し、 そのスペクトル距離計算の結果を用いてＣＶ音節標準パ
   タンと上記未知入力音声とのＤＰマッチングを、時間的
   に連続して行うことにより、入力音声の分析フレーム周
   期ごとに各ＣＶ音節標準パタンに対するマッチング距離
   とそのＣＶ音節標準パタンに対応する入力音声区間長と
   を計算し、 このＤＰマッチング距離値が局所的最小値を有する時点
   とこの時点を終点としたＣＶ音節標準パタンに対応する
   入力音声区間長とを各ＣＶ音節標準パタンに対して求め
   、 上記未知入力音声に対するセグメンテーションを行い、 そのセグメンテーションの結果と、局所的最小値を有す
   る時点とこの時点を終点としたＣＶ音節標準パタンに対
   応した入力音声区間長との予め決められた関係をもつた
   ものからＣＶ音節ラテイスを生成することを特徴とする
   連続音声認識方式。
2. （２）上記セグメンテーションは未知入力音声のスペク
   トル分析されたパラメータからスペクトルの大局的な動
   きを表現する尺度を計算し、この局所的極大値をセグメ
   ンテーション位置とするものであることを特徴とする特
   許請求の範囲第１項記載の連続音声認識方式。