JP3449165B2 - 単語標準パターン作成装置、音声認識装置及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は人間の声を入力して
その入力された単語を認識する単語標準パターン作成装
置、音声認識装置及び音声認識方法に関するものであ
る。

【０００２】

【従来の技術】近年、使用者の声を登録することなしに
誰の声でも認識できる音声認識装置が実用的に使われる
ようになった。

【０００３】従来例として、特開昭６１−１８８５９９
号公報に開示された発明に基づく音声認識装置を図面を
参照しながら説明する。図８は従来例に係る音声認識装
置のブロック図である。この音声認識装置は単語標準パ
ターン作成装置および未知入力音声認識装置より構成さ
れる。単語標準パターン作成装置は、複数の話者が実際
に発声した認識対象単語データより単語標準パターンを
作成する装置である。一方、未知入力音声認識装置は、
入力された人間の声と上記の単語標準パターンとを比較
して最も類似度の高い単語標準パターンに対応する認識
対象単語を認識結果として出力する装置である。

【０００４】以下に、それぞれフローチャートを用い
て、まず未知入力音声認識装置においてなされる処理を
説明し、次に単語標準パターン作成装置でなされる処理
を説明する。

【０００５】図９は従来例に係る音声認識装置の未知入
力音声認識装置における処理を示すフローチャートであ
る。なお、以下の説明において、基準フレーム数はＪ
（J=16）とする。

【０００６】処理９０１では、音声入力部８０１が未知
入力音声を入力する。処理９０２では、音響分析部８０
２が、分析時間（以下フレームという。本従来例では１
フレーム＝10msとする。）ごとに、上記の入力された音
声に関して線形予測（ＬＰＣ）分析を行なう。

【０００７】処理９０３では、特徴パラメータ抽出部８
０３がＰ個の特徴パラメータをフレームごとに求める。
特徴パラメータは、ここでは、ＬＰＣメルケプストラム
係数C₁〜C₀、正規化残差C₀、および音声対数パワーの時
間差分値V₀の１２個（P=12）とする。従って、１フレー
ムごとに１２個の特徴パラメータを用いることになる。
以下では、ｉ番目のフレーム（i=1,2,...,I）のｐ番目
の特徴パラメータはC_ipと表記する。

【０００８】処理９０４では、音声区間検出部８０４が
入力音声の始端フレーム、終端フレームを検出する。音
声区間の検出は、音声パワーを用いる方法が一番簡単で
あるが、この方法に限定するものではなく別の方法を用
いてもよい。

【０００９】処理９０５では、時間軸線形正規化部８０
５が、検出された音声区間に対して、入力音声の特徴パ
ラメータ時系列を基準フレームに線形伸縮する。図１１
は、入力音声が「あさひ」である場合に未知入力音声の
特徴パラメータ時系列を基準フレームに線形伸縮して入
力時系列パターンＸを作成する方法を示す。単語「あさ
ひ」のフレーム数はＩ（Ｉ＞Ｊ）であるので、Ｉフレー
ムの時系列パターンをＪフレームの時系列パターンに縮
減する。本例では、時系列的に第１番目のフレームを入
力時系列パターンＸの第１番目のフレームとする。以後
は、３フレームごとに入力時系列パターンＸのフレーム
とする。すなわち、検出された入力音声区間の始端フレ
ームを第１番目のフレーム、終端フレームを第Ｉ番目の
フレームとすると、伸縮後の第ｊフレームと入力音声の
第ｉ（i=1,2,...,I）フレームの関係は、

【００１０】

【数１】

【００１１】となる。ただし、［］（ガウス記号）はそ
の数を越えない最大の整数を表す。時間軸線形正規化部
８０５は伸縮後のＪフレーム分の特徴パラメータを時系
列に並べた入力音声の時系列パターンＸを作成する。

【００１２】

【数２】

【００１３】このように時系列パターンＸを一つのベク
トルとして扱うことにより、パラメータのフレーム間の
相関を考慮することになる。

【００１４】処理９０６では、距離計算部８０７が上記
入力音声時系列パターンＸと単語標準パターン格納部８
０６に格納されているＮ種の認識対象単語の各々の単語
標準パターンとの距離を求める。この処理の詳細は後述
する。

【００１５】処理９０７では、距離比較部８０８が、距
離計算部８０７で求めた各々の標準パターンとの距離の
中で最小（類似度が最大）の値をもつ単語標準パターン
に対応する音声名を認識結果として選択して出力する。

【００１６】以上の処理により未知入力音声を入力して
この未知入力音声と最も類似度の高い認識対象単語を選
択する。

【００１７】次に、フローチャートおよび図面を用い
て、単語標準パターン作成装置でなされる処理を説明す
る。

【００１８】図１０は、従来例に係る音声認識装置の単
語標準パターン作成装置における処理を示すフローチャ
ートである。また、図１２は、この単語標準パターン作
成装置における処理の中で、認識対象単語発声データか
ら共通化共分散行列Ｗを求めるまでの方法を概念的に示
した説明図である。認識対象単語はω₁が「はちの
へ」、ω₂が「けせんぬま」、ω_nが「あさひ」、・・
・、ω_Nが「きよせ」である（N=1,2,...,100）。また、
話者はＭ人である（M=100）。図１３は、図１２で、話
者mが発声した単語「あさひ」の単語発声データ（網か
け部分）に着目して、この話者mの単語ω_nに対する時系
列パターンＣ_mを求める方法を説明する説明図である。

【００１９】処理１００１では、音響分析部８１１が、
認識対象単語発声データ格納部８１０に格納されたＮ種
の認識対象単語についてＭ人（ここでは人数M=100名）
が発声した認識対象単語発声データを、認識時と同様
に、フレームごとにＬＰＣ分析を行なう。

【００２０】処理１００２では、特徴パラメータ抽出部
８１２が、フレームごとにＰ個の特徴パラメータを求め
る。図１３において、ｉ番目のフレームにおけるｐ番目
の特徴パラメータはC_ipと表す。ここで、各フレームご
とにもとめる特徴パラメータは１２個であって、ＬＰＣ
メルケプストラム係数C₁〜C₁₀、正規化残差C₀、および
音声対数パワーの時間差分値V₀の12個（P=12）である。

【００２１】処理１００３では、音声区間検出部８１３
が認識対象単語発声データの始端フレームおよび終端フ
レームを検出する。図１３では、話者mが発声した単語
「あさひ」の音声区間が検出された結果、音声区間がＩ
フレームになったとしている。

【００２２】処理１００４では、時間軸線形正規化部８
１４が、まず、検出された音声区間に対して、認識対象
単語発声データの特徴パラメータ時系列を基準フレーム
に線形伸縮する。図１２、図１３の例では、話者mが発
声した単語「あさひ」はフレーム数がＩであるので、Ｉ
フレームをＪフレームまで縮減する。本例では、時系列
的に第１番目のフレームをＣ_mの第１番目のフレームと
する。以後は、３フレームごとにＣ_mのフレームとす
る。すなわち、検出された入力音声区間の始端フレーム
を第１番目のフレーム、終端フレームを第Ｉ番目のフレ
ームとすると、伸縮後の第ｊフレームと入力音声の第ｉ
フレームの関係は（数１）となる。ただし、［］はその
数を越えない最大の整数を表す。伸縮後のＪフレーム分
の特徴パラメータを時系列に並べた認識対象単語発声デ
ータの時系列パターンＣ_mを作成する。

【００２３】

【数３】

【００２４】処理１００５では、単語平均値ベクトルμ
_n計算部８１５が単語ω_nの情報を含むM個の時系列パタ
ーンＣ_mから単語ω_nに対する平均値ベクトルμ_nを求め
る。平均値ベクトルμ_nは認識対象単語ω_nの各々(n=1,
…,N)に対して求める。

【００２５】処理１００６では、単語共分散行列Ｗn計
算部８１６が単語ω_nの情報を含むM個の時系列パターン
Ｃ_mから単語ω_nに対する共分散行列Ｗ_nを求める。共分
散行列Ｗ_nは認識対象単語ωnの各々(n=1,…,N)に対して
求める。

【００２６】処理１００７では、共通化共分散行列計算
部８１７が、以下の式

【００２７】

【数４】

【００２８】に基づいて、共通化共分散行列Ｗを求め
る。処理１００８では、単語標準パターン作成部８１８
が（数５）、（数６）

【００２９】

【数５】

【００３０】

【数６】

【００３１】で表される単語標準パターンを作成する。
作成された単語標準パターンは単語標準パターン格納部
８０６に登録する。

【００３２】以上の処理により認識対象単語発声データ
より単語標準パターンを作成する。なお、（数５）、
（数６）については以下で説明する距離計算部８０７に
おける距離計算方法の中であわせて説明する。

【００３３】以下では、図９の処理９０６において、距
離計算部８０７が入力音声時系列パターンＸと単語標準
パターンとの距離計算を行なう方法を説明する。

【００３４】入力音声時系列パターンＸと単語標準パタ
ーンとの距離計算は、共分散行列を共通化したベイズ判
定に基づく距離を用いて計算する。ベイズ判定に基づく
距離は以下のようにして求める。（数２）で表される入
力ベクトルＸが観測されたときにそれが単語ω_nである
確率Ｐ(ω_n|Ｘ)はベイズの定理より

【００３５】

【数７】

【００３６】となる。Ｐ(Ｘ|ω_n)は事前確率で、入力が
カテゴリーω_nであったときに入力ベクトルＸが観測さ
れる確率、Ｐ(Ｘ)は生起し得るすべての入力を考えた場
合のベクトルＸが観測される確率である。単語ω_nの出
現確率Ｐ(ω_n)は各単語同じと仮定して定数とし、入力
Ｘが一定とするとＰ(Ｘ)が定数となるので、事前確率Ｐ
(Ｘ|ω_n)を最大とするカテゴリーω_nを判定結果とすれ
ばよい。パラメータの分布を正規分布と考え、単語ω_n
の単語平均値ベクトルをμ_n、単語共分散行列をＷ_nとす
ると、事前確率Ｐ(Ｘ|ω_n)は（数８）で表される。

【００３７】

【数８】

【００３８】ここでtは転置行列を表す。両辺の対数を
とって識別に不要な定数項を省略しさらに−２倍すると
次式を得る。

【００３９】

【数９】

【００４０】この式は単語ω_nに対するベイズ判定に基
づく距離である。計算量および推定パラメータ数削減の
ため、全共分散行列を共通化してこの式を線形一次判別
式に展開する。認識対象単語の各々の標準パターンの共
分散行列Ｗ_nを共通化し、Ｗとする。Ｗは（数４）のよ
うにして求める。したがって

【００４１】

【数１０】

【００４２】とおくことができる。これを（数９）に代
入し識別に不要な定数項を省略すると、

【００４３】

【数１１】

【００４４】となり、（数５）、（数６）とおくことに
より、

【００４５】

【数１２】

【００４６】のような線形一次判別式になることがわか
る。このようにしてＡ_n，Ｂ_nを認識対象単語の各々に対
して求め、単語標準パターンとし、単語標準パターン格
納部８０６に登録する。距離計算部８０７では（数１
２）を用いて入力音声時系列パターンＸと、単語ω_nの
標準パターンとの距離Ｌ_nを求める。

【００４７】

【発明が解決しようとする課題】上述した従来例に係る
音声認識装置には、音声認識時における計算量が少ない
という実用的な利点がある一方、次のような課題があ
る。すなわち、認識対象単語を１語のみ追加するためだ
けでも、この単語を多数の話者が実際に発声した膨大な
数の音声データの収録があらためて必要となるが、音声
区間位置のラベル付けは非常に作業量が多いために、ユ
ーザが追加・変更することは困難であった。また、実用
上音声認識の対象単語は頻繁に変更する必要があるの
で、これらの課題は、実用的な音声認識装置の実現する
ためには必ず解決しなければならないものである。

【００４８】本発明は上記の課題を解決するためになさ
れたもので、認識対象単語を追加する場合に、あらたに
その単語を多数の話者が実際に発声した膨大な数の音声
データを収録しなおすことなく、その認識対象単語に対
応する単語標準パターンをユーザでも簡単に作成できる
音声認識装置を提供することを目的とする。

【００４９】

【課題を解決するための手段】上記課題を解決するため
に本発明では、音声認識装置で用いる認識対象単語の単
語標準パターンを以下のように作成する手段を採用す
る。すなわち、複数の話者の単語発声データを音響分析
することにより特徴パラメータを抽出して所定の音声片
単位、例えは「母音＋子音」で話者ごとに音声片を作成
する手段と、所定の表記法、例えば仮名表記で、認識対
象単語を格納する手段と、上記の認識対象単語を参照し
て複数の音声片を結合することにより擬似的に認識対象
単語パターンを作成する手段とを備えた単語標準パター
ン作成装置を備えている。本発明に基づく音声認識装置
は、あらかじめ用意された多数の話者が発声した音韻バ
ランス単語セットの単語発声データを組合わせて任意の
認識対象単語データから疑似的に任意の単語標準パター
ンを作成するものである。

【００５０】さらに、本発明に基づく音声認識装置は、
使用者が自由に認識対象単語を追加および削除すること
のできる単語標準パターン作成部を設けることにより、
使用者が認識対象単語かな表記辞書を変更するだけで、
容易に認識対象単語を変更する態様を採ることができ
る。

【００５１】

【発明の実施の形態】本発明の請求項１および請求項７
に記載した発明は、複数話者の単語発声データを音響分
析し、抽出した特徴パラメータから話者毎に音声片単位
の特徴パラメータ時系列の平均パターンを求め、予め前
記音声片単位の特徴パラメータ時系列の平均パターンを
格納しておく音声片平均パターン格納部と、前記話者毎
に前記音声片単位の特徴パラメータ時系列の平均パター
ンを接続し、前記話者毎に認識対象単語毎の時系列パタ
ーンを作成する認識対象疑似単語データ作成部と、前記
話者毎の認識対象単語毎の時系列パターンから複数話者
に共通の認識対象単語毎の単語平均値ベクトルを求める
単語平均値ベクトル作成部と、前記話者毎の認識対象単
語毎の時系列パターンから求められる前記認識対象単語
毎の共分散行列を用いて、全ての認識対象単語に共通の
共分散行列である共通化共分散行列を求める共通化共分
散行列計算部と、前記単語平均値ベクトルと前記共通化
共分散行列とにより示される単語標準パターンを前記認
識対象単語毎に作成する単語標準パターン作成部とを具
備するものであり、単語標準パターンを作成する場合
に、作成する単語に関する多数の話者の発声データをあ
らためて収集するのではなく、複数の音声片情報を結合
して擬似的に認識対象単語パターンを作成することによ
り認識対象単語の単語標準パターンを簡便に作成するこ
とができるという作用を有する。

【００５２】

【００５３】請求項２および請求項８に記載の発明は、
認識対象単語の追加又は変更は、認識対象疑似単語デー
タ作成部が、予め格納された音声片単位の特徴パラメー
タ時系列の平均パターンを接続し、話者毎の追加又は変
更する認識対象単語の時系列パターンを作成し、単語平
均値ベクトル作成部が、前記話者毎の追加又は変更する
認識対象単語の時系列パターンから前記追加又は変更す
る認証対象単語の単語平均値ベクトルを求め、共通化共
分散行列計算部が、前記話者毎の追加又は変更する認識
対象単語の時系列パターンから求められる前記追加又は
変更する認識対象単語の共分散行列を含む全ての認証対
象単語に共通の共分散行列である共通化共分散行列を求
めることを特徴とするもので、新たな認識対象単語を追
加する場合に、追加する単語に関する多数の話者の発声
データをあらためて収集するのではなく、複数の音声片
を結合して擬似的に音声認識対象単語情報を作成するこ
とにより認識対象単語の単語標準パターンを簡便に作成
することができるという作用を有する。

【００５４】請求項３に記載の発明は、複数話者の単語
発声データが学習用音韻バランス単語セット発声データ
であることを特徴とするもので、複数の話者が発する複
数の音韻がバランスよく入っており偏りのない単語標準
パターンを作成することができるという作用を有する。

【００５５】請求項５および６に記載の発明は、請求項
１乃至４のいずれかに記載の単語標準パターン作成装置
で予め作成された単語標準パターンと入力音声とから単
語を認識することを特徴とするもので、新たな認識対象
単語を追加する場合に、追加する単語に関する多数の話
者の発声データをあらためて収集するのではなく、複数
の音声片情報を結合して擬似的に音声認識対象単語情報
を作成することにより認識対象単語の単語標準パターン
を簡便にかつ高速に作成することができる音声認識装置
を提供するという作用を有する。

【００５６】請求項１０、請求項１１および請求項１２
に記載の発明は、コンピュータによって音声認識用の単
語標準パターン作成プログラムを記録した記録媒体であ
って、複数話者の単語発声データを音響分析し、抽出し
た特徴パラメータから話者毎に音声片単位の特徴パラメ
ータ時系列の平均パターンを求めて予め格納し、前記話
者毎に前記音声片単位の特徴パラメータ時系列の平均パ
ターンを接続し、前記話者毎に認識対象単語毎の時系列
パターンを求め、前記認識対象単語毎の時系列パターン
から前記認識対象単語毎の単語平均値ベクトルを求め、
前記話者毎の認識対象単語毎の時系列パターンから求め
られる前記認識対象単語毎の共分散行列を用いて、全て
の認識対象単語に共通の共分散行列である共通化共分散
行列を求め、前記単語平均値ベクトルと前記共通化共分
散行列とにより示される単語標準パターンを前記認識対
象単語毎に作成することを特徴とする単語標準パターン
作成プログラムを記録した記録媒体であり、コンピュー
タにより実現可能となり、新たな認識対象単語を追加す
る場合に、追加する単語に関する多数の話者の発声デー
タをあらためて収集するのではなく、複数の音声片情報
を結合して擬似的に認識対象単語パターンを作成するこ
とにより認識対象単語の単語標準パターンをコンピュー
タでも簡便にかつ高速に作成することができるという作
用を有する。

【００５７】以下、図面を参照しながら本発明に基づく
実施の形態を説明する。 （実施の形態１）図１は、本発明の実施の形態１の音声
認識装置のブロック図を示す。この音声認識装置は、単
語標準パターン作成装置および未知入力音声認識装置よ
り構成される。単語標準パターン作成装置は、複数の話
者が実際に発声した学習用音韻バランス単語セット発声
データより未知入力音声認識装置において用いられる単
語標準パターンを作成する装置である。

【００５８】図１における単語標準パターン作成装置
は、１１２は複数話者の単語発声データ１１１をＬＰＣ
分析を行う音響分析部、１１３はフレームごとに特徴パ
ラメータを求める特徴パラメータ抽出部、１１４は特徴
パラメータ抽出部１１３により抽出した特徴パラメータ
から話者毎に音声片単位の特徴パラメータ時系列の平均
パターンを格納する音声片平均パターン格納部と、１１
６は音声片単位の特徴パラメータ時系列の平均パターン
を話者毎に接続し、認識対象単語かな標記辞書１１５の
認識対象単語を擬似的に認識対象単語時系列パターンを
作成する認識対象疑似単語データ作成部と、１２０は擬
似的に作成された認識対象単語時系列パターンから単語
標準パターンを作成する単語標準パターン作成部から構
成される。

【００５９】一方、未知入力音声認識装置は、未知入力
音声の音声区間を検出し、この未知入力音声に特徴的な
特徴パラメータを抽出し、これらの特徴パラメータを、
あらかじめ作成しておいた単語標準パターンと比較して
最も類似度の高い単語標準パターンに対応する認識結果
を出力する装置である。

【００６０】図１に示した未知入力音声認識装置の構成
は、従来例で説明した音声認識装置の未知入力音声認識
装置と同一である。すなわち、図１に示した未知入力音
声認識装置内の構成要素に付された符号１０１から１０
８は、図８に示した未知入力音声認識装置の構成要素に
付された符号８０１から８０８に対応する。また、未知
入力音声認識装置における処理も従来例で説明した未知
入力音声認識装置におけるそれと同様であるのでその説
明を省略する。

【００６１】従って、以下では単語標準パターン作成装
置における処理のみを説明する。図２は、単語標準パタ
ーン作成装置における処理を示すフローチャートであ
る。

【００６２】処理２０１では、音響分析部１１２が、学
習用音韻バランス単語セット発声データ格納部１１１に
格納された学習用音韻バランス単語セット発声データを
について、フレームごとにＬＰＣ分析を行なう。学習用
音韻バランス単語セット発声データとは、未知入力音声
認識装置において認識されるべき単語とは関連性のない
単語発声データであって、複数の話者が発する複数の音
韻がバランスよく入っているものである。以下で示す実
施の形態においては、学習用音韻バランス単語セットと
して543単語80名分のデータを用いるものとする（単語
数Q=543，人数M=80名）。

【００６３】処理２０２では、特徴パラメータ抽出部１
１３が、フレームごとにＰ個の特徴パラメータを求め
る。Ｐ個のパラメータは、従来例と同様、ＬＰＣメルケ
プストラム係数C₁〜C₁₀、正規化残差C₀、および音声対
数パワーの時間差分値V₀の１２個（P=12）とする。

【００６４】処理２０３では、音声片平均パターン作成
部１１４が、学習話者ごとに各音声片の特徴パラメータ
時系列の平均パターンを求める。図３は、学習用音韻バ
ランス単語セット発声データより音声片平均パターンを
求める方法を表した概念図である。まず、図３の上段に
示すように音韻バランス単語セット発声データを音声片
単位に切り分ける。図中では、単語「まえあし(MA-AE-E
A-AS-SI)」、「たそがれ(TA-AS-SO-0G-GA-AR-RE)」の中
に含まれるＶＣ（母音＋子音）の成分である音声片/AS/
に注目する。これらの音声片を話者mごとに集め、これ
らを線形伸縮し、話者ごとに特徴パラメータ時系列の平
均パターンＵ_kmを求める。本実施の形態では音声片の単
位をＣＶ（子音＋母音）／ＶＣ（母音＋子音）としてい
る。

【００６５】図４は、図３の網かけ部分すなわち、話者
mのデータセット中の音声片/AS/（音声片k）を線形伸縮
して平均パターンＵ_kmを求める方法を表した説明図であ
る。話者mが発声した音韻バランス単語データセットか
ら、語中の/AS/の音声片をその始終端で切り出し、それ
ぞれのフレームを線形伸縮して話者mの/AS/の平均フレ
ーム長（あらかじめ求めておく）に線形伸縮する。ここ
では単語「まえあし」および「たそがれ」よりその中に
含まれる音声片/AS/を抜き出す。そして、これらを平均
して話者mの音声片/AS/の特徴パラメータ時系列の平均
パターンＵ_kmを求める。これを各話者、各音声片ごとに
それぞれ求める。

【００６６】本実施の形態では、音声片の単位を、ＣＶ
（子音＋母音）／ＶＣ（母音＋子音）としているが、音
素や音節、ＶＣＶ、ＣＶＣ等でもよい。また、学習話者
ごとに各音声片の特徴パラメータ時系列の平均パターン
を予め求め、音声片平均パターン格納部等に格納してお
くことが可能である。

【００６７】処理２０４では、認識対象単語データ作成
部１１６が、認識対象単語かな表記辞書１１５に従っ
て、上記で求められた平均パターンＵ_kmより、話者ごと
に音声片平均パターンを結合して構成したＮ種の学習用
単語データをＭ人分作成する。認識対象単語かな表記辞
書１１５は、認識対象とするＮ種の単語をかな文字で記
録している。本実施の形態では、かな表記としたが、ロ
ーマ字表記や音素表記、ＣＶ／ＶＣ列表記等でもよい。

【００６８】図５に、音声片平均パターンから擬似的に
単語標準パターンを作成する方法を示し、以下に説明す
る。例えば、単語「あさひ」に関する単語標準パターン
を擬似的に作成する場合、話者ごとに６つの音声片/<A
/,/AS/,/SA/,/AH/,/HI/,/I>/の特徴パラメータの平均パ
ターンを順に結合して、疑似的に「あさひ」のデータを
作成する。話者ごとに音声片平均パターンのフレーム数
が異なるため、これらを結合して得られる単語データも
話者ごとにフレーム数が異なる。そこで、この認識対象
単語データを認識対象単語データとして、従来例と同様
に、単語標準パターンを作成する。すなわち、単語ω_n
のＭ個の認識対象単語データを（数１）を用いて線形伸
縮を行ないＪフレームに正規化し、単語ω_nの第ｍ番目
のデータに対して伸縮後の特徴パラメータを時系列に並
べたＪ×Ｐ次元の時系列パターンＣ_mを求める。

【００６９】図６は、図５の網かけ部分、すなわち話者
ｍの単語ωn「あさひ」に対する時系列パターンＣ_mを求
める方法を概念的に表した説明図である。図中では説明
を簡単にするためにＪ＝８としてある。単語「あさひ」
はＪより大きいフレーム数を有するので、このフレーム
を基準フレーム数Ｊまで縮減する。すなわち、この例で
は、時系列的に第１番目のフレームをＣ_mの第１番目の
フレームとする。以後は、３フレームごとにＣ_mのフレ
ームとする。すなわち、検出された入力音声区間の始端
フレームを第１番目のフレーム、終端フレームを第Ｉ番
目のフレームとすると、伸縮後の第ｊフレームと入力音
声の第ｉフレームの関係は（数１）となる。ただ
し、［］はその数を越えない最大の整数を表す。

【００７０】伸縮後のＪフレーム分の特徴パラメータを
時系列に並べた認識対象単語データの時系列パターンＣ
_mを作成する。時系列パターンＣ_mは（数３）で表され
る。時系列パターンＣ_mを一つのベクトルとして扱うこ
とにより、パラメータのフレーム間の相関を考慮するこ
とになる。

【００７１】処理２０５では、単語平均値ベクトルμ_n
計算部１１７が単語ω_nの情報を含むＭ個の時系列パタ
ーンＣ_mから単語ω_nに対する平均値ベクトルμ_nを求め
る。平均値ベクトルμ_nは、認識対象単語ω_nの各々(n=
1,…,N)に対して求める。

【００７２】処理２０６では、単語共分散行列Ｗ_n計算
部１１８が、単語ω_nのＭ個の時系列パターンＣ_mから単
語ω_nに対する共分散行列Ｗ_nを求める。共分散行列Ｗ_n
は、認識対象単語ω_nの各々(n=1,…,N)に対して求め
る。

【００７３】処理２０７では、共通化共分散行列計算部
１１９が、（数４）により共通化共分散行列Ｗを求め
る。

【００７４】処理２０８では、単語標準パターン作成部
１２０が平均値ベクトルμ_nおよび共通化共分散行列Ｗ
より（数５）、（数６）で表される単語標準パターンを
作成し、単語標準パターン格納部１０６に登録する。

【００７５】以上、説明したように、単語標準パターン
作成装置と未知入力音声認識装置で構成される音声認識
装置は、認識対象単語を作成または変更する場合に、単
語に関する多数の話者の発声データをあらためて収集す
るのではなく、予め求めておいた音声片単位の特徴パラ
メータ時系列の平均パターンを結合して、擬似的に音声
認識対象単語パターンを作成することにより認識対象単
語の単語標準パターンを簡便に作成することができる。

【００７６】また、音声認識装置は、コンピュータによ
って音声認識するプログラムを実行することにより実現
可能であり、図２の処理２０１〜処理２０８の処理手順
や図９の処理９０１〜処理９０７の処理手順をプログラ
ム化した音声認識プログラムを記録した記録媒体（例え
ば、フロッピィディスク、ＣＲ−ＲＯＭ等）を介してコ
ンピュータに取り込み実行するものである。単語標準パ
ターンも予め記録媒体に記憶して、同様にコンピュータ
に取り込むことも可能である。

【００７７】（実施の形態２） 図７は、実施の形態２の音声認識装置のブロック図を示
す。この音声認識装置は、音声片平均パターン作成装
置、単語標準パターン作成装置および未知入力音声認識
装置より構成される。ここで、実施の形態１と同じ処理
を行なう部分には同じ符号を付している。音声片平均パ
ターン作成装置は、複数の話者が実際に発声した学習用
音韻バランス単語発声データより音声片平均パターンを
作成する装置である。

【００７８】図７に示した未知入力音声認識装置の構成
は、実施の形態１の音声認識装置における未知入力音声
認識装置と同一であり（図１参照）、そこでなされる処
理は実施の形態１における未知入力音声認識装置のそれ
と同様であるのでその説明を省略する。

【００７９】本実施の形態に係る音声平均パターン作成
装置および単語標準パターン作成装置における処理自体
は、実施の形態１における単語標準パターン作成装置に
おける処理と同一であるので、図２を参照して説明す
る。

【００８０】まず、音声片平均パターン作成装置におけ
る処理を説明する。処理２０１では、音響分析部１１２
が、学習用音韻バランス単語セット発声データ格納部１
１１に格納された学習用音韻バランス単語セット発声デ
ータをについて、フレームごとにＬＰＣ分析を行なう。

【００８１】処理２０２では、特徴パラメータ抽出部１
１３が、フレームごとにＰ個の特徴パラメータを求め
る。Ｐ個のパラメータは、従来例と同様、ＬＰＣメルケ
プストラム係数C₁〜C₁₀、正規化残差C₀、および音声対
数パワーの時間差分値V₀の12個（P=12）とする。

【００８２】処理２０３では、音声片平均パターン作成
部１１４が、学習話者ごとに各音声片の特徴パラメータ
時系列の平均パターンを求める。その求め方は実施の形
態１において説明したものと同一であるのでその説明は
省略する。作成された音声片平均パターンは音声片平均
パターン格納部１２３に格納される。この音声片平均パ
ターン格納部１２３を単語標準パターン作成装置に設け
ることにより、実施の形態１における単語標準パターン
作成装置を音声片平均パターン作成装置および新たな単
語標準パターン作成装置に分けることができる。

【００８３】次に、単語標準パターン作成装置における
処理を説明する。処理２０４では、認識対象疑似単語デ
ータ作成部１１６が、認識対象単語かな表記辞書１１５
に従って、音声片平均パターン格納部１２３に格納され
た音声片平均パターンより、話者ごとに音声片平均パタ
ーンを結合して構成したＮ種の学習用単語データをＭ人
分作成する。認識対象単語かな表記辞書１１５は、認識
対象とするＮ種の単語がをかな文字で記録している。本
実施の形態では、かな表記としたが、ローマ字表記や音
素表記、ＣＶ／ＶＣ列表記等でもよい。音声片平均パタ
ーンから単語標準パターンを作成する方法は実施の形態
１において説明したものと同一であるのでその説明は省
略する。

【００８４】また、認識対象単語の追加または変更は、
認識対象単語かな表記辞書１１５の書き換えによって行
われる。

【００８５】処理２０５では、単語平均値ベクトルμ_n
計算部１１７が、単語ω_nの情報を含むＭ個の時系列パ
ターンＣ_mから単語ω_nに対する平均値ベクトルμ_nを求
める。平均値ベクトルμ_nは認識対象単語ω_nの各々(n=
1,…,N)に対して求める。

【００８６】処理２０６では、単語共分散行列Ｗ_n計算
部１１８が、単語ω_nのＭ個の時系列パターンＣ_mから単
語ω_nに対する共分散行列Ｗ_nを求める。共分散行列Ｗ_n
は認識対象単語ω_nの各々(n=1,…,N)に対して求める。

【００８７】処理２０７では、共通化共分散行列計算部
１１９が、（数４）により共通化共分散行列Ｗを求め
る。

【００８８】処理２０８では、単語標準パターン作成部
１２０が平均値ベクトルμ_nおよび共通化共分散行列Ｗ
より（数５）、（数６）で表される単語標準パターンを
作成し、単語標準パターン格納部１０６に登録する。

【００８９】以上、説明したように、認識対象単語の認
識対象単語情報を作成または変更する場合に、単語に関
する多数の話者の発声データをあらためて収集するので
はなく、予め求めておいた音声片単位の特徴パラメータ
時系列の平均パターンを結合して、擬似的に音声認識対
象単語を作成することにより認識対象単語の単語標準パ
ターンを簡便かつ高速に作成することができるものであ
る。

【００９０】音声認識装置は、コンピュータによって音
声認識するプログラムを実行することにより実現可能で
あり、図２の処理２０１〜処理２０３、処理２０４〜処
理２０８の処理手順および図９の処理９０１〜処理９０
７の処理手順をプログラム化した音声認識プログラムを
記録した記録媒体（例えば、フロッピィディスク、ＣＲ
−ＲＯＭ等）を介してコンピュータに取り込み実行する
ことができるものである。

【００９１】また、実施の形態２に係る音声認識装置で
は、例えば音声認識装置を作るメーカ側が計算処理能力
の高いワークステーションで作成した音声片平均パター
ンデータと音声認識プログラムを供給し、実際に使うユ
ーザはパソコン等で認識対象単語を自由に辞書登録し、
さらに音声認識プログラムにより辞書から単語標準パタ
ーンの作成と音声認識を行うことにより、ユーザ側で自
由度のある音声認識を可能とするものである。従って、
ユーザは認識対象単語辞書を編集することにより、容易
に認識対象単語の追加・変更を行なうことができるもの
である。

【００９２】

【発明の効果】以上のように本発明によれば、あらかじ
め用意された多数の話者が発声した単語発声データを音
響分析により抽出した特徴パラメータから話者毎に音声
片単位の特徴パラメータ時系列の平均パターンを話者ご
とに接続し認識対象単語パターンを疑似的に作成するこ
とにより、任意の単語標準パターンを作成できるように
なるため、認識対象単語を容易に変更することができ、
極めて実用的な音声認識装置を実現することができる。
また、共通化共分散行列を音韻バランス単語データセッ
トから作成することにより、汎用的な共通化共分散行列
が得られ、より容易に単語標準パターンを作成すること
ができる。

【００９３】さらに、本発明に基づく音声認識装置は、
使用者が自由に認識対象単語を追加および削除すること
のできる単語標準パターン作成部を設けることにより、
使用者は認識対象単語辞書を変更するだけで、容易に認
識対象単語を変更することができ、実用上極めて有効な
方法であり、その効果は大きい。

【図面の簡単な説明】

【図１】実施の形態１による音声認識装置のブロック図

【図２】単語標準パターン作成装置における処理を示す
フローチャート

【図３】音声片平均パターンの作成方法を説明する概念
図

【図４】話者mの音声片/AS/の平均パターンの作成方法
を説明する概念図

【図５】単語平均値ベクトルおよび単語共分散行列を求
める方法を説明する概念図

【図６】話者mの単語ωnに対する時系列パターンＣmを
求める方法を説明する概念図

【図７】実施の形態２による音声認識装置のブロック図

【図８】従来例による音声認識装置のブロック図

【図９】未知入力音声認識装置における処理を示すフロ
ーチャート

【図１０】単語標準パターン作成装置における処理を示
すフローチャート

【図１１】未知入力音声の特徴パラメータ時系列より入
力時系列パターンＸを作成する方法を示す説明図

【図１２】認識対象単語発声データから共通化共分散行
列Ｗを求めるまでの方法を概念的に示した説明図

【図１３】単語標準パターン作成装置において話者mの
単語ωnに対する時系列パターンＣmを求める方法を説明
する説明図

【符号の説明】

１０１、８０１ 音声入力部 １０２、８０２ 音響分析部 １０３、８０３ 特徴パラメータ抽出部 １０４、８０４ 音声区間検出部 １０５、８０５ 時間軸線形正規化部 １０６、８０６ 単語標準パターン格納部 １０７、８０７ 距離計算部 １０８、８０８ 距離比較部 １１１ 学習用音韻バランス単語セット発声データ格納
部 １１２、８１１ 音響分析部 １１３、８１２ 特徴パラメータ抽出部 １１４ 音声片平均パターン作成部 １１５ 認識対象単語かな表記辞書 １１６ 認識対象単語データ作成部 １１７、８１５ 単語平均値ベクトルμｎ計算部 １１８、８１６ 単語共分散行列Ｗｎ計算部 １１９、８１７ 共通化共分散行列Ｗ計算部 １２０ ８１８ 単語標準パターン作成部 １２３ 音声片平均パターン格納部 ８１０ 認識対象単語発声データ格納部 ８１３ 音声区間検出部 ８１４ 時間軸線形正規化部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−266393（ＪＰ，Ａ) 特開 平６−259089（ＪＰ，Ａ) 特開 平９−68995（ＪＰ，Ａ) 特開 昭61−188599（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 15/06 G10L 15/10

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 複数話者の単語発声データを音響分析
   し、抽出した特徴パラメータから話者毎に音声片単位の
   特徴パラメータ時系列の平均パターンを求め、予め前記
   音声片単位の特徴パラメータ時系列の平均パターンを格
   納しておく音声片平均パターン格納部と、前記話者毎に
   前記音声片単位の特徴パラメータ時系列の平均パターン
   を接続し、前記話者毎に認識対象単語毎の時系列パター
   ンを作成する認識対象疑似単語データ作成部と、前記話
   者毎の認識対象単語毎の時系列パターンから複数話者に
   共通の認識対象単語毎の単語平均値ベクトルを求める単
   語平均値ベクトル作成部と、前記話者毎の認識対象単語
   毎の時系列パターンから求められる前記認識対象単語毎
   の共分散行列を用いて、全ての認識対象単語に共通の共
   分散行列である共通化共分散行列を求める共通化共分散
   行列計算部と、前記単語平均値ベクトルと前記共通化共
   分散行列とにより示される単語標準パターンを前記認識
   対象単語毎に作成する単語標準パターン作成部とを具備
   することを特徴とする単語標準パターン作成装置。
2. 【請求項２】 認識対象単語の追加又は変更は、認識対
   象疑似単語データ作成部が、予め格納された音声片単位
   の特徴パラメータ時系列の平均パターンを接続し、話者
   毎の追加又は変更する認識対象単語の時系列パターンを
   作成し、単語平均値ベクトル作成部が、前記話者毎の追
   加又は変更する認識対象単語の時系列パターンから前記
   追加又は変更する認証対象単語の単語平均値ベクトルを
   求め、共通化共分散行列計算部が、前記話者毎の追加又
   は変更する認識対象単語の時系列パターンから求められ
   る前記追加又は変更する認識対象単語の共分散行列を含
   む全ての認証対象単語に共通の共分散行列である共通化
   共分散行列を求めることを特徴とする請求項１記載の単
   語標準パターン作成装置。
3. 【請求項３】 複数話者の単語発声データが学習用音韻
   バランス単語セット発声データであることを特徴とする
   請求項１又は２記載の単語標準パターン作成装置。
4. 【請求項４】 音声片は、音素、音節、ＣＶ（母音＋子
   音）／ＶＣ（子音＋母音）またはＶＣＶ、ＣＶＣとする
   ことを特徴とする請求項１乃至３のいずれかに記載の単
   語標準パターン作成装置。
5. 【請求項５】 請求項１乃至４のいずれかに記載の単語
   標準パターン作成装置で予め作成された単語標準パター
   ンと入力音声とから単語を認識することを特徴とする音
   声認識装置。
6. 【請求項６】 音声認識用単語標準パターンを格納する
   単語標準パターン格納部と、未知入力音声を所定の分析
   時間ごとに音響分析を行う音響分析部と、前記分析時間
   ごとに前記未知入力音声に関する特徴パラメータを抽出
   する特徴パラメータ抽出部と、前記未知入力音声の始端
   および終端を検出する音声区間検出部と、前記特徴パラ
   メータを所定の分析時間数に線形伸縮して入力音声時系
   列パターンを作成する時間軸線形正規化部と、前記入力
   音声時系列パターンと複数の認識対象単語に対してあら
   かじめ登録されている単語標準パターンとを、統計的距
   離尺度を用いて照合することにより入力音声と各単語標
   準パターンの距離を求める距離計算部と、前記距離計算
   部において入力音声との距離差が最小となる単語標準パ
   ターンに対応する単語音声名を認識結果として出力する
   距離比較部とから構成されることを特徴とする請求項５
   記載の音声認識装置。
7. 【請求項７】 複数話者の単語発声データを音響分析
   し、抽出した特徴パラメータから話者毎に音声片単位の
   特徴パラメータ時系列の平均パターンを求めて予め格納
   し、前記話者毎に前記音声片単位の特徴パラメータ時系
   列の平均パターンを接続し、前記話者毎に認識対象単語
   毎の時系列パターンを求め、前記話者毎の認識対象単語
   毎の時系列パターンから前記認識対象単語毎の単語平均
   値ベクトルを求め、前記話者毎の認識対象単語毎の時系
   列パターンから求められる前記認識対象単語毎の共分散
   行列を用いて、全ての認識対象単語に共通の共分散行列
   である共通化共分散行列を求め、前記単語平均値ベクト
   ルと前記共通化共分散行列とにより示される単語標準パ
   ターンを前記認識対象単語毎に作成することを特徴とす
   る単語標準パターン作成方法。
8. 【請求項８】 認識対象単語の追加又は変更は、予め格
   納された音声片単位の特徴パラメータ時系列の平均パタ
   ーンを接続し、話者毎の追加又は変更する認識対象単語
   の時系列パターンを作成し、前記話者毎の追加又は変更
   する認識対象単語の時系列パターンから前記追加又は変
   更する認証対象単語の単語平均値ベクトルを求め、前記
   話者毎の追加又は変更する認識対象単語の時系列パター
   ンから求められる前記追加又は変更する認識対象単語の
   共分散行列を含む全ての認証対象単語に共通の共分散行
   列である共通化共分散行列を求めることを特徴とする請
   求項７記載の単語標準パターン作成方法。
9. 【請求項９】 請求項７又は８記載の単語標準パターン
   作成方法で予め作成された単語標準パターンと入力音声
   とから単語を認識することを特徴とする音声認識方法。
10. 【請求項１０】 コンピュータによって音声認識用の単
    語標準パターン作成プログラムを記録した記録媒体であ
    って、複数話者の単語発声データを音響分析し、抽出し
    た特徴パラメータから話者毎に音声片単位の特徴パラメ
    ータ時系列の平均パターンを求めて予め格納し、前記話
    者毎に前記音声片単位の特徴パラメータ時系列の平均パ
    ターンを接続し、前記話者毎に認識対象単語毎の時系列
    パターンを求め、前記認識対象単語毎の時系列パターン
    から前記認識対象単語毎の単語平均値ベクトルを求め、
    前記話者毎の認識対象単語毎の時系列パターンから求め
    られる前記認識対象単語毎の共分散行列を用いて、全て
    の認識対象単語に共通の共分散行列である共通化共分散
    行列を求め、前記単語平均値ベクトルと前記共通化共分
    散行列とにより示される単語標準パターンを前記認識対
    象単語毎に作成することを特徴とする単語標準パターン
    作成プログラムを記録した記録媒体。
11. 【請求項１１】 コンピュータによって音声認識用の単
    語標準パターン作成プログラムを記録した記録媒体であ
    って、認識対象単語の追加又は変更は、予め格納された
    音声片単位の特徴パラメータ時系列の平均パターンを接
    続し、話者毎の追加又は変更する認識対象単語の時系列
    パターンを作成し、前記話者毎の追加又は変更する認識
    対象単語の時系列パターンから前記追加又は変更する認
    識対象単語の単語平均値ベクトルを求め、前記話者毎の
    追加又は変更する認識対象単語の時系列パターンから求
    められる前記追加又は変更する認識対象単語の共分散行
    列を含む全ての認証対象単語に共通の共分散行列である
    共通化共分散行列を求めることを特徴とする請求項１０
    記載の単語標準パターン作成プログラムを記録した記録
    媒体。
12. 【請求項１２】 コンピュータによって音声認識をする
    プログラムを記録した記録媒体であって、請求項１０又
    は１１記載の単語標準パターン作成方法で予め作成され
    た単語標準パターンと入力音声とから単語を認識するこ
    とを特徴とする音声認識プログラムを記録した記録媒
    体。