JP2870268B2 - 音声認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は人間の声を機械に認識さ
せる音声認識装置に関するものである。

【０００２】

【従来の技術】近年、使用者の声を登録することなし
に、誰の声でも認識できる不特定話者用の認識装置が実
用として使われるようになった。不特定話者用の実用的
な方法として、特開昭61-188599号公報を第１の従来
例、特開昭62-111293号公報を第２の従来例として説明
する。

【０００３】第１の従来例の方法は入力音声の始端、終
端を求めて音声区間を決定し、音声区間を一定時間長
（Ｉフレーム）に線形伸縮し、これと単語標準パターン
との類似度を統計的距離尺度を用いてパターンマッチン
グをすることによって求め、単語を認識する方法であ
る。

【０００４】単語標準パターンは、認識対象単語を多く
の人に発声させて音声サンプルを収集し、すべての音声
サンプルを一定時間長Ｉフレーム（実施例ではＩ＝１
６）に伸縮し、その後、単語ごとに音声サンプル間の統
計量（平均値ベクトルと共分散行列）を求め、これを加
工することによって作成している。すなわち、すべての
単語標準パターンの時間長は一定（Iフレーム）であ
り、原則として１単語に対し１標準パターンを用意して
いる。

【０００５】第１の従来例では、パターンマッチングの
前に音声区間を検出する必要があるが、第２の従来例は
音声区間検出を必要としない部分が異なっている。パタ
ーンマッチングによって、ノイズを含む信号の中から音
声の部分を抽出して認識する方法（ワードスポッティン
グ法）を可能とする方法である。すなわち、音声を含む
十分長い入力区間内において、入力区間内に部分領域を
設定し、部分領域を伸縮しながら標準パターンとのマッ
チングを行なう。そして、部分領域を入力区間内で単位
時間ずつシフトして、また同様に標準パターンとのマッ
チングを行なうという操作を設定した入力区間内全域で
行ない、すべてのマッチング計算において距離が最小と
なった単語標準パターン名を認識結果とする。ワードス
ポッティング法を可能にするために、パターンマッチン
グの距離尺度として事後確率に基づく統計的距離尺度を
用いている。

【０００６】

【発明が解決しようとする課題】従来例の方法は、小型
化が可能な実用的な方法であり、特に第２の従来例は、
騒音にも強いことから実用として使われ始めている。し
かし、従来例の問題点は、十分な単語認識率が得られな
いことである。このため、語彙の数が少ない用途になら
ば使うことが出来るが、語彙の数を増やすと認識率が低
下して実用にならなくなってしまう。従って、従来例の
方法では認識装置の用途が限定されてしまうという課題
があった。

【０００７】即ち、従来例において認識率が十分でない
要因は次の２点である。 （１）認識対象とする全ての単語長（標準パターンの時
間長）を一定の長さＩフレームにしている。これは、単
語固有の時間長の情報を欠落させていることになる。

【０００８】（２）入力長をＩフレームに伸縮するので
欠落したり重複するフレームが生じる。前者は情報の欠
落になり、後者は冗長な計算を行なうことになる。そし
てどちらの場合も認識に重要な「近隣フレーム間の時間
的な動き」の情報が欠落してしまう。

【０００９】本発明は上記従来の課題を解決するもの
で、「処理が単純で装置の小型化が可能である」、「方
法が簡単なわりには認識率が高い」、「騒音に対して頑
強である」という従来の長所を生かしながら、従来例よ
りも格段に認識率を向上させ、しかも語彙の変更に容易
に対処できる汎用性の高い音声認識装置を提供すること
を目的とするものである。

【００１０】

【課題を解決するための手段】本発明では上記目的を達
成するもので、以下の手段によって上記課題を解決し
た。

【００１１】まず課題（１）に対しては、単語ごとに標
準時間長Ｉ_k（k＝1,2,…K；Kは認識対象単語の種類）を
設定し、単語長情報の欠落がないようにした。Ｉ_kは単
語ごとに多くの発声サンプルを集め、その平均値とし
た。

【００１２】課題（２）に対しては、情報の欠落がない
ように、音声認識の基本単位である音声片の一部を一定
数の複数フレームからなる部分パターンで構成し、前記
部分パターンはフレームの一部区間が重複するように複
数作成し、前記複数の部分パターンを連接し、常に近隣
の複数フレームをひとまとめにしたものをパラメータと
してパターンマッチングを行なう。また、近隣フレーム
間の時間的な動きが欠落しないようにするために、パタ
ーンマッチングに用いる距離尺度にはフレーム間の相関
を含む統計的な距離尺度を用いる。

【００１３】さらに、予め多数の人が発声した音声デー
タを用いて音声認識の基本単位である音声片の一部を一
定数の複数フレームからなる部分パターンで構成し、前
記部分パターンはフレームの一部区間が重複するように
複数作成し、前記複数の部分パターンを連接して作成さ
れた音声片標準パターンを格納する音声片標準パターン
格納手段と、全認識対象単語を音声片の並びで記述して
ある単語辞書と、上記単語辞書に記述されている認識対
象単語の音声片の並びに従って音声片標準パターンを選
択して連結することにより認識対象語彙の部分パターン
の系列を単語標準パターンとして生成する音声片連結手
段とを設ける。

【００１４】

【作用】本発明は上記構成によって、不特定話者用の音
声認識に対して高い認識率が得られ、また処理が単純な
ので、信号処理プロセッサ（ＤＳＰ）を用いて、小型で
リアルタイム動作が可能な認識装置であり、情報の欠落
がないように、音声認識の基本単位である音声片の一部
を一定数の複数フレームからなる部分パターンで構成
し、前記部分パターンはフレームの一部区間が重複する
ように複数作成し、前記複数の部分パターンを連接し、
常に近隣の複数フレームをひとまとめにしたものをパラ
メータとしてパターンマッチングを行なうによって、実
用性の高いものとなっている。

【００１５】しかも、全認識対象語彙を音声片の記号列
によって表現し、この内容を音声片辞書としてあらかじ
め用意しておき、認識時にはこの音声片の記号列に従っ
て音声片標準パターンを連結して単語標準パターンを生
成する機構を提供する事により、音声データの登録をす
る事なしに認識語彙の設定が可能となるため、語彙の登
録、変更が著しく容易になり、汎用性も高い。

【００１６】

【実施例】図１は本発明の一実施例の構成を示したもの
である。図１において、音響分析部11は入力信号をＡＤ
変換して一定時間長（フレームと呼ぶ、本実施例では１
フレーム＝10ms）ごとに分析する。本実施例では線形予
測分析（ＬＰＣ分析）を用いている。特徴パラメータ抽
出部12では音響分析部11の出力結果に基づき、特徴パラ
メータを抽出する。本実施例では、ＬＰＣケプストラム
係数（C₀〜C₁₀）および差分パワー値V₀の１２個のパラ
メータを用いている。入力の１フレームあたりの特徴パ
ラメータを

【００１７】

【外１】

【００１８】と表すことにすると（数１）のようにな
る。

【００１９】

【数１】

【００２０】ただし、iは入力のフレーム番号、pはケプ
ストラム係数である（p＝10）。音声区間検出部13は入
力信号音声の始端、終端を検出する部分である。音声区
間の検出法は音声のパワーを用いる方法が簡単で一般的
であるが、どのような方法でもよい。ここでは音声の始
端が検出された時点で、認識が始まりi＝1になるとす
る。複数フレームバッファ14は第iフレームの近隣のフ
レームの特徴パラメータを統合してパターンマッチング
（部分マッチング）に用いる入力ベクトルを形成する部
分である。第iフレームにおける入力ベクトル

【００２１】

【外２】

【００２２】は、（数２）のようになる。

【００２３】

【数２】

【００２４】上記入力ベクトルはmフレームおきにi−l₁
〜i＋l₂フレームの特徴パラメータを統合したベクトル
である。l₁=l₂=3，m=1とするとＸ_iの次元数は（p+2）＊
（l₁+l₂+1）＝12×7＝84となる。なお、（数２）ではフ
レーム間隔mは一定になっているが、必ずしも一定であ
る必要はない。mが一定でない場合は非線形にフレーム
を間引くことに相当する。音声片標準パターン格納部15
は音声片の標準パターンを部分パターンの結合として格
納してある部分である。ここで、音声片標準パターン作
成法をやや詳細に説明する。

【００２５】［音声片標準パターン作成方法］音声片と
は、音声認識の基本単位として用いる音声の素片であ
り、種類としては音素、音節（ＣＶ）、半音節（ＶＣ、
ＣＶ）、母音−子音−母音連鎖（ＶＣＶ）等がある。な
おＣは子音をＶは母音を意味する。以下の説明では、一
例として音声片の種類として音節（ＣＶ）を用いる場合
について説明を行う。例えば音声片/sa/の標準パターン
は次のような手順で作成する。

【００２６】（１）多数の人が発声した音声データか
ら、/sa/と発声している部分を切り出す（１００個のサ
ンプルが切り出されているとする）。

【００２７】（２）１００個の/sa/の持続時間分布を調
べ、１００個の平均時間長JSを求める。

【００２８】（３）JSの時間長のサンプルを１００個の
中から探し出す。複数のサンプルがあった場合はフレー
ムごとに複数サンプルの平均値を計算する。このように
求められた代表サンプルを

【００２９】

【外３】

【００３０】とすると、（数３）のようになる。

【００３１】

【数３】

【００３２】ここで

【００３３】

【外４】

【００３４】は１フレームあたりのパラメータベクトル
であり、（数１）と同様に１１個のＬＰＣケプストラム
係数と差分パワーで構成される。

【００３５】（４）１００個分の各サンプル（数２）と
代表サンプル（数３）との間でパターンマッチングを行
ない、代表サンプルのフレームと１００個分の各サンプ
ルのフレーム間の対応関係を求める（最も類似したフレ
ーム同志を対応づける）。なお、フレーム間の対応関係
は例えばダイナミックプログラミングの手法を用いれば
効率よく求めることができる。

【００３６】（５）代表サンプルの各フレーム（j＝1〜
JS）に対応して、１００個分のサンプルそれぞれから
（数２）の形の部分ベクトルを切り出す。簡単のため l
₁＝l₂＝3、m＝1とする。

【００３７】代表サンプルの第jフレームに相当する、
１００個分のデータのうち第n番目のサンプルの部分ベ
クトルを（数４）で表わす。

【００３８】

【数４】

【００３９】ここで（j）は同一単語/sa/の第n番目のサ
ンプル中、代表ベクトルの第jフレームに対応するフレ
ームであることを示す。本実施例では８４次元のベクト
ルである（n＝1〜100）。

【００４０】（６）１００個の

【００４１】

【外５】

【００４２】の平均値

【００４３】

【外６】

【００４４】（８４次元）と共分散行列

【００４５】

【外７】

【００４６】（８４×８４次元）を求める（j＝1〜J
S）。平均値と共分散行列は標準フレーム長の数JSだけ
存在することになる。ただし、これらは必ずしも全フレ
ームに対して作成する必要はない。間引いて作成しても
よい。

【００４７】上記（１）〜（６）同様の手続きで音声片
/sa/以外の音声片に対しても

【００４８】

【外８】

【００４９】を求める。全ての音声区間に対する全ての
サンプルデータに対し、移動平均

【００５０】

【外９】

【００５１】（８４次元）と移動共分散行列

【００５２】

【外１０】

【００５３】（８４×８４次元）を求める。これらを周
囲パターンと呼ぶ。次に平均値と共分散を用いて音声片
標準パターンを作成する。

【００５４】ａ．共分散行列を共通化する。これを次式
で表わす。

【００５５】

【数５】

【００５６】ここでhは音声片の種類で127である。Jhは
音声片h（h＝1,2,…,H）の平均時間長を表わす。また、
gは周囲パターンを混入する割合であり通常g＝1 とす
る。

【００５７】ｂ．各音声片の部分パターン

【００５８】

【外１１】

【００５９】を作成する。これは（数６）、（数７）で
表わされる。

【００６０】

【数６】

【００６１】

【数７】

【００６２】これらの式の導出は後述する。図２に音声
片標準パターン作成法の概念図を示す。音声片サンプル
の始端と終端の間において、代表サンプルとのフレーム
対応を求めて、それによって音声片サンプルをJSに分割
する。図では、代表サンプルとの対応フレームを求めて
（j）で示してある。そして、（j）＝１〜（j）＝JSの
各々について、（j）−l₁〜（j）＋l₂の区間の１００個
分のデータを用いて平均値と共分散を計算し、部分パタ
ーン

【００６３】

【外１２】

【００６４】を求める。従って、音声片hの標準パター
ンは互にオーバーラップする区間を含むJh個の部分パタ
ーンを接続したものになる。周囲パターンは図のように
l₁+l₂+1フレームの部分区間を１フレームずつシフトさ
せながら平均値と共分散を求める。周囲パターン作成の
範囲は音声区間のみならず前後のノイズ区間も対象とし
てもよい。

【００６５】各単語について得られた音声片標準パター
ンは音声片標準パターン格納部15にあらかじめ格納して
おく。

【００６６】［音声片連結］単語辞書16には認識する単
語毎に音声片の連結情報が記述されている。図３にその
例を示す。単語標準パターン生成部17はこの音声片連結
情報に従って音声片標準パターン格納部15に格納されて
いる音声片標準パターンを読み出し連結する。この連結
動作により、図４の例に示すように単語の疑似的な標準
パターン（以下、「単語標準パターン」と記す）が形成
される。この単語標準パターンは格納しておいてもよい
し、しなくてもよい。以上の様にして作成された単語ｋ
の単語標準パターンを（数８）、（数９）と表わす。

【００６７】

【数８】

【００６８】

【数９】

【００６９】［部分距離の計算］上記のようにして形成
された単語標準パターンと複数フレームバッファとの間
の距離（部分距離）を部分距離計算部18において計算す
る。

【００７０】部分距離の計算は（数２）で示す複数フレ
ームの情報を含む入力ベクトルと各単語の部分パターン
との間で、統計的な距離尺度を用いて計算する。単語全
体としての距離は部分パターンとの距離（部分距離と呼
ぶ）を累積して求めることになるので、入力の位置や部
分パターンの違いにかかわらず距離値が相互に比較でき
る方法で部分距離を計算する必要がある。このために
は、事後確率に基づく距離尺度を用いる必要がある。
（数２）の形の入力ベクトルを

【００７１】

【外１３】

【００７２】とする（簡単のため当分の間i,jを除いて
記述する）。単語ｋの部分パターン

【００７３】

【外１４】

【００７４】に対する事後確率

【００７５】

【外１５】

【００７６】はBayesの定理を用いて（数１０）のよう
になる。

【００７７】

【数１０】

【００７８】右辺第１項は、各単語の出現確率を同じと
考え、定数として取扱う。右辺第２項の事前確率は、パ
ラメータの分布を正規分布と考え、（数１１）と表わ
す。

【００７９】

【数１１】

【００８０】

【外１６】

【００８１】は単語とその周辺情報も含めて、生起し得
る全ての入力条件に対する確率の和であり、パラメータ
がＬＰＣケプストラム係数やバンドパスフィルタ出力の
場合は、正規分布に近い分布形状になると考えることが
できる。

【００８２】

【外１７】

【００８３】が正規分布に従うと仮定し、平均値と共分
散行列

【００８４】

【外１８】

【００８５】を用いると、次のようになる。

【００８６】

【数１２】

【００８７】（数１１）、（数１２）を（数１０）に代
入し、対数をとって、定数項を省略し、さらに−２倍す
ると、次式を得る。

【００８８】

【数１３】

【００８９】この式は、Bayes距離を事後確率化した式
であり、識別能力は高いが計算量が多いという欠点があ
る。この式を次のようにして線形判別式に展開する。全
ての単語に対する全ての部分パターンそして周囲パター
ンも含めて共分散行列が等しいものと仮定する。このよ
うな仮定のもとに共分散行列を（数５）によって共通化
し、（数１３）に代入すると、（数１３）の第１項、第
２項は次のように展開できる。

【００９０】

【数１４】

【００９１】（数１３）第１式の第３項は０になる。従
って、（数１３）は次のように簡単な一次判別式にな
る。

【００９２】

【数１５】

【００９３】ここで、改めて単語ｋの第j部分パターン
と入力の第iフレーム近隣ベクトルの部分パターンの類
似度として（数１５）を書き直すと、（数１６）のよう
になる。

【００９４】

【数１６】

【００９５】ここで、

【００９６】

【外１９】

【００９７】はそれぞれ（数８）、（数９）で与えられ
る。Ｌ_(i,j) ^kは単語ｋの第j部分パターンと入力のiフレ
ーム近隣ベクトルの部分類似度として添え字i,jを用い
て（数１５）のＬ^kを改めて書きなおしたものである。

【００９８】図１において距離累積部19は、各単語に対
する部分距離j＝1〜J^kの区間に対して累積し、単語全体
に対する類似度を求める部分である。その場合入力部分
（Ｉフレーム）を各単語の標準時間長J^kに伸縮しながら
累積する必要がある。この計算はダイナミックプログラ
ミングの手法（ＤＰ法）を用いて効率よく計算できる。

【００９９】入力の第ｉフレーム部分と第ｊ番目の部分
パターンとの部分距離をＬ_(i,j)と表現し、(i,j)フレー
ムまでの累積距離をg(i,j)と表現することにすると、経
路判定部110は

【０１００】

【数１７】

【０１０１】の演算を行い、式で示した３つの経路のう
ち累積距離が最小になる経路を選択する。

【０１０２】このようにして、逐次距離を累積してゆ
き、j＝J^k，i＝Iとなる時点での累積距離g(i,J^k)を単語
kの類似度とする。判定部111は、累積距離g(i,J^k)の最
小値を与える単語ｋを求め出力する。

【０１０３】

【発明の効果】本発明は複数のフレームで形成される入
力ベクトルと、単語音声の部分パターンとの部分距離を
事後確率に基づく統計的距離尺度で求め、フレームをシ
フトしながら入力ベクトルを更新して各部分ベクトルと
の間の距離を累積してゆき、累積距離を最小とする単語
を認識結果とする音声認識装置に関するものである。

【０１０４】本発明は先ず、高い認識率が得られること
が特長である。そして、情報の欠落がないように、音声
認識の基本単位である音声片の一部を一定数の複数フレ
ームからなる部分パターンで構成し、前記部分パターン
はフレームの一部区間が重複するように複数作成し、前
記複数の部分パターンを連接し、常に近隣の複数フレー
ムをひとまとめにしたものをパラメータとしてパターン
マッチングを行なうによって、良好な認識率が確保でき
る。

【０１０５】さらに、認識の基本単位である「音声片」
なる概念を導入し、全認識対象語彙を音声片の記号列に
よって表現し、この内容を単語辞書にあらかじめ用意し
ておき、認識時にはこの音声片の記号列に従って音声片
標準パターンを連結して単語標準パターンを生成する機
構を提供することにより、音声データの登録をすること
なしに認識語彙の設定が可能となるため、語彙の登録、
変更が著しく容易であり、汎用性が高い。

【０１０６】このように本発明は実用上有効であり、そ
の効果は大きい。

【図面の簡単な説明】

【図１】本発明による音声認識装置の一実施例の構成図

【図２】同実施例における音声片標準パターン作成の概
念図

【図３】同実施例における単語辞書の記述例の概念図

【図４】同実施例における音声片標準パターンの連結例
の概念図

【符号の説明】

１１ 音響分析部 １２ 特徴パラメータ抽出部 １４ 複数フレームバッファ １５ 音声片標準パターン格納部 １６ 単語辞書 １７ 単語標準パターン生成部 １８ 部分距離計算部 １９ 距離累積部 １１１ 判定部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G10L 3/00 531 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 多数の人が発声した音声データを用い
   て、音声認識の基本単位である音声片の一部を一定数の
   複数フレームからなる部分パターンで構成し、前記部分
   パターンはフレームの一部区間が重複するように複数作
   成し、前記複数の部分パターンを連接して作成された音
   声片標準パターンを格納する音声片標準パターン格納手
   段と、全認識対象単語を音声片の並びで記述してある単
   語辞書と、前記単語辞書に記述されている認識対象単語
   の音声片の並びに従って、前記音声片標準パターンを選
   択して連結することにより認識対象語彙の部分パターン
   の系列を単語標準パターンとして生成する単語標準パタ
   ーン生成手段と、入力音声信号を分析の基本単位である
   フレーム毎に分析し、分析パラメータを抽出する音響分
   析手段と、前記部分パターンと同一数のフレームの分析
   パラメータで入力ベクトルを形成する特徴パラメータ抽
   出手段と、前記入力ベクトルと前記単語標準パターンの
   一部である部分パターンとの部分距離を統計的距離尺度
   で計算する部分距離計算手段と、フレームをシフトしな
   がら繰り返し計算された部分距離を累積することによっ
   て入力音声と単語標準パターンとの累積距離を求める距
   離累積手段と、入力音声の終了時点で全認識対象単語の
   単語標準パターンに対する距離を相互に比較し、前記距
   離が最小となる単語標準パターンに対応する音声名を認
   識結果とする判定手段とを具備することを特徴とする音
   声認識装置。
2. 【請求項２】 入力ベクトルと部分パターンとの距離を
   計算する統計的距離尺度が、事後確率に基づく距離尺度
   であることを特徴とする請求項１記載の音声認識装置。
3. 【請求項３】 統計的距離尺度が事後確率に基づく一次
   判別式であることを特徴とする請求項１記載の音声認識
   装置。