JP2827590B2 - 音声認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、不特定話者の音声を認
識する音声認識装置に関するものである。

【０００２】

【従来の技術】従来のパターン認識技術の例として、音
素を認識の基本単位とする不特定話者用音声認識装置に
ついて説明する。

【０００３】従来、音声認識装置として、図４の機能ブ
ロック図に示す構成が知られている。図４に示す様に、
まず、マイクロホンから入力された入力音声信号１６に
対し、音響分析部１７において、ＬＰＣ（ linear pred
ictive coding ; 線形予測符号化）分析やフィルター分
析などの音響分析を行ない、音声の特徴を表す情報を抽
出する。次に、上記情報に対し、セグメンテーション部
１８において、子音セグメンテーションを行なった後、
音素識別部１９において、標準パターン格納部２０に格
納された音素標準パターンとマッチングを行ない、音素
を識別して音素系列を作る。この音素標準パターンは各
音素とも特徴パラメータのベクトル（特徴セントロイ
ド）数個により構成されている。マッチングは、入力の
特徴ベクトルとの距離計算を行ない、最も距離の近いセ
ントロイドの属する音素を認識結果とするという手順で
行なわれる。

【０００４】次に、上記音素系列に対し、音素系列作成
部２１において、音形規則格納部２２に格納された音形
規則と照合し、修正を加えて最終的な音素系列を作成す
る。そして、単語マッチング部２３において、上記最終
的な音素系列と単語辞書格納部２４に格納された単語辞
書とのマッチングを行ない、類似度の一番大きいものを
認識結果２５とする。

【０００５】ここで、上記音素識別部１９において音素
マッチングに用いられ、標準パターン格納部２０に格納
される不特定話者・多数語用音素標準パターンは、図５
に示す様にして作成する。まず、防音室内でマイクロホ
ンから入力された多人数・多数語の音声データ２６をＡ
／Ｄ変換部２７においてＡ／Ｄ変換し、収録して音声デ
ータベース２８を作る。次に、上記音声データに対し、
音響分析部２９において音響分析を行ない、特徴パラメ
ータのベクトル（特徴ベクトル）を抽出し特徴ベクトル
のデータベースを作成する。

【０００６】一方、音響分析部２９で得られるパワー情
報などを基に、人が目視によってそれぞれのデータに対
して音素のラベリング３０を行ない、ラベリングデータ
ベース３１を作る。そして、標準パターン作成部３２に
おいては、ラベリングデータベース３１と特徴ベクトル
のデータベースをもとに、各音素毎の特徴ベクトルの集
合を作成し、この集合に対して細胞分裂型のクラスタ分
析を行ない複数のセントロイドを求めるという手順で各
音素の標準パターン３３を作成する。このクラスタ分析
アルゴリズムとしてはＬＢＧアルゴリズム（Ｌｉｎｄ
ｅ：アイ イーイー イー トランズアクション ＩＥ
ＥＥ Ｔｒａｎｓ．ＣＯＭ−２８ ｐｐ８４−９５ １
９８０）が知られている。手順を以下に述べる。 （１） Ｋ＝１ （２） Ｋ個のクラスタのセントロイドを単純平均によ
り求める。そして、それぞれのクラスタに属する全ての
サンプルとセントロイドとのユークリッド距離を求め、
その最大値をそのクラスタの歪とする。 （３） Ｋ個のクラスタの中で最も歪の大きいクラスタ
のセントロイドの附近に２つのセントロイドを作る（細
胞分裂の核になる）。 （４） Ｋ＋１個のセントロイドを基にクラスタリング
を行ない、セントロイドを求め直す。 （５） 空のクラスタがあればそのセントロイドを抹消
して（３）へ。 （６） Ｋ＋１個のクラスタの歪を（２）と同様に求
め、その総和の変化量があらかじめ設定した微小なしき
い値以下であれば（７）へ、しきい値より大きければ
（４）へ。 （７） Ｋ＋１が目標のクラスタ数に達していなければ
Ｋ＝Ｋ＋１として（２）へ、達していれば（８）へ。 （８） すべてのクラスタのセントロイドを求め、コー
ドブックを作成する。

【０００７】上記音声認識システムの音素識別部におけ
る音素マッチングは、音素標準パターンとしての複数の
特徴セントロイドとの距離を求めて最も小さい特徴セン
トロイドの属する音素に識別するという手順で行なわれ
る。したがって、この各音素の特徴セントロイドの数を
増やせば、より複雑な特徴空間を表すことができるの
で、認識率は向上する。

【０００８】

【発明が解決しようとする課題】上記音声認識装置の音
素識別部における音素マッチングは、音素標準パターン
としての複数の特徴セントロイドとの距離を求めて、最
も小さい特徴セントロイドの属する音素に識別するとい
う手順で行なわれる。したがって、各音素の特徴セント
ロイドの数を増やせば、より複雑な特徴を表すことがで
きるので、認識率は向上する。しかし、マッチングに必
要な計算量は特徴セントロイドに比例して増加してしま
う。また、認識率の観点から見ると、不特定話者の音素
の特徴は複雑であり、特徴セントロイドの数を増やして
いっても、ある程度の認識性能で頭打ちになる。より高
い性能を得るためには、認識話者や認識環境を自動的に
検知し、音素標準パターンの持つ音素の特徴空間を話者
や環境に適応させるという手段が必要とされていた。

【０００９】本発明は上記課題に鑑み、話者や環境に適
応した認識が行え、高い認識性能を有する音声認識装置
を提供することを目的とするものである。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するもので、その技術的手段はユークリッド空間上に存
在する音声の特徴パラメータのベクトルで、どのカテゴ
リ（音素や音節）に属するかのラベル付けがなされてい
ることを特徴とする特徴ベクトル（特徴セントロイド）
が格納されている標準パターン格納部と、標準パターン
格納部に格納されている特徴セントロイド同士の相関の
度合いを表す値である相関強度が格納されている相関強
度格納部と、標準パターン格納部に格納された特徴セン
トロイド集合の部分集合である標準パターンサブセット
と、入力された特徴ベクトルと標準パターンサブセット
の特徴セントロイドのマッチングを行なうパターンマッ
チング手段と、パターンマッチング手段により得られた
認識結果に応じて相関強度格納部に格納された相関強度
を参照して標準パターン格納部に格納された特徴セント
ロイドの中から候補を選択することにより標準パターン
サブセットを作成する標準パターンサブセット作成手段
とを設けるように構成される。

【００１１】

【作用】本発明は、上記構成により、標準パターン格納
部に格納されている特徴セントロイドと特徴セントロイ
ドの間毎にその２つのベクトルの相関の度合いを表す値
（相関強度）を求め、これを相関強度格納部に格納して
おく。そして認識時においては、認識対象の特徴ベクト
ルと音声コードブックの部分集合であるサブセットに格
納されている特徴セントロイドとの距離を求めて、最も
距離の小さい特徴セントロイドに識別した後、相関強度
格納部に格納された相関強度を参照して、音声コードブ
ックに格納された多くの特徴セントロイドの中から識別
された特徴セントロイドと相関の強い特徴セントロイド
を各カテゴリ毎に少数選択して新たなサブセットを作成
し、次の認識はそのサブセットを用いて行なう。サブセ
ットの持つカテゴリの特徴空間は認識を進める程に話者
や環境に適応するように変化する。

【００１２】即ち、それぞれの話者や環境によって出現
しやすい特徴セントロイドの間に大きな相関強度を設定
し、認識する毎に最も近いと識別された特徴セントロイ
ドと他の特徴セントロイドの間の相関強度を参照してサ
ブセットを作成し、そのサブセットを用いて認識を進め
ることにより、識別された特徴セントロイドはその特徴
セントロイドとともに出現しやすい特徴セントロイドを
選ぶので、サブセットの持つカテゴリの特徴空間は認識
を進める程に話者や環境に適応するように変化する。こ
れにより、適応的な認識を行なうことができ、話者や環
境に適応した高い認識性能を得ることができる。

【００１３】

【実施例】以下、本発明の一実施例について図面を参照
しながら説明する。実施例として、音素を認識の基本単
位とした不特定話者用の音声認識装置への応用例につい
て説明する。ここで、音素識別部の前後の処理は上記従
来例と同じであるので、その説明を省略し、音素識別部
について図面を参照しながら詳細に説明する。

【００１４】図１は、本発明の一実施例における音声認
識装置の音素識別部の機能ブロック図である。まずマッ
チング部２において、マイク入力された音声を音響分析
することによって得られる入力特徴ベクトル１と、標準
パターンサブセット３に格納された特徴セントロイドと
の距離を計算し、最も近い特徴セントロイドが属する音
素を認識結果４とする。

【００１５】次にサブセット作成部６において、得られ
た認識結果４を基に、相関強度格納部７に格納された相
関強度を参照して、次の認識に使用する特徴セントロイ
ドを決定し、音素標準パターン格納部５から特徴セント
ロイドを選び出して新たな標準パターンサブセット３を
作成する。相関強度格納部７に格納された相関強度は、
図２に示す様に、音素標準パターン格納部５に格納され
た音素の特徴セントロイドの間に１つずつ存在し、特徴
セントロイド同士の相関の強さを示している。即ち、値
の大きいものほど相関が強い。

【００１６】マッチング部２で得られた認識結果４が、
例えば「／ａ／の３」であったとすると、「／ａ／の
３」と他の特徴セントロイドとの相関強度を調べ、各音
素の特徴セントロイドから「／ａ／の３」と相関の強い
ものを選択する。そして、それらを格納して新たな標準
パターンサブセットを作成する。こうして新たに作成さ
れた標準パターンサブセットの各音素の特徴空間は、
「／ａ／の３」が出現しやすい話者や認識環境において
認識精度が向上するように変化する。ただし、毎回サブ
セットが急変したのでは音素の特徴空間が時間的に不安
定になり、認識に悪影響を及ぼす事も考えられる。そこ
で、一時の認識結果によってではなく、認識結果の履歴
によって徐々に変化させる工夫が必要となる。この方法
としては次の２通りが挙げられる。 （１）候補を徐々に入替える 認識結果の特徴セントロイドと相関の強い特徴セントロ
イドを音素毎に少数選び、現段階のサブセットから相関
の弱い同数の特徴セントロイドと入替えることにより、
徐々にサブセットのメンバーを変えていく。 （２）出現強度を徐々に変化させる。（または時間平均
を取る。） 特徴セントロイドｉの出現強度をＰi、ある時点の相関
強度をＣi、加速係数をμ（０＜μ＜１）とすると、出
現強度を下記の（数１）により徐々に変化させ、この出
現強度の強いものを候補として選ぶ。

【００１７】

【数１】

【００１８】同様に一定時間の相関強度の平均を取っ
て、これを出現強度とする方法も有効である。

【００１９】上記音素識別部において使用される音素標
準パターンの作成法については従来法と同様であるの
で、その説明を省略する。ただし、ここで作成される音
素標準パターンは、各音素とも複数の特徴セントロイド
により構成されており、サブセットを作成するためにそ
の個数は従来法よりも多く必要とする。

【００２０】次に、本発明の第２および第３の実施例に
ついて説明する。上記音素識別部１９において使用され
る相関強度格納部に格納された相関強度の抽出方法につ
いて詳細に説明する。

【００２１】本発明の目的は、話者や環境に適応した認
識を行なうことであり、相関強度は標準パターンサブセ
ットの各音素の特徴空間が適応的に変化するための推進
力となる。そのために、相関強度は音素ラベリングがな
された多数の学習用の特徴ベクトル（学習ベクトル）を
用いた学習により決定する。学習の手順について図を用
いて説明する。

【００２２】図３は、学習アルゴリズムをブロック図に
したものである。まずマッチング部１１において、音素
ラベリングがなされた学習ベクトル１０を、音素標準パ
ターン格納部１２に格納された音素の特徴セントロイド
とマッチングを行ない、どの特徴セントロイドに認識し
たか（認識セントロイド）の情報を得る。また、学習ベ
クトル１０に付加された音素ラベル９を参照して、その
音素の特徴セントロイドの中で最も近いもの（正解セン
トロイド）を探す。そして、この２つの情報を相関強度
学習部１４に送る。そして、相関強度学習部１４におい
て、認識結果１３とラベルデータ９と相関情報８を基
に、相関強度格納部１４に格納された相関強度の学習を
行なう。ここで、相関強度の学習は下記に示す相関情報
によって徐々に変化させる。 （１）近接相関 ある学習ベクトルと他の学習ベクトルが同一単語におい
て時間的に近い場合に相関があるとして、それぞれの正
解セントロイドの間の相関強度を強める。この学習によ
り、話者の発声の変化に基づき、音素判別のしやすい判
別境界の予測が出来る。 （２）単語内相関 ある学習ベクトルと他の学習ベクトルが同一単語内に存
在する場合に相関があるとして、それぞれの正解セント
ロイドの間の相関強度を強める。この学習により、単語
内における相関を反映させることが出来る。 （３）話者相関 ある学習ベクトルと他の学習ベクトルが同一話者の音声
から抽出した場合に相関があるとして、それぞれの正解
セントロイドの間の相関強度を強める。この学習によ
り、標準パターンサブセットを話者に適応させることが
出来、高い認識精度を得ることができる。 （４）環境（騒音、マイク特性）相関 ある学習ベクトルと他の学習ベクトルが同一環境（騒
音、マイク特性）の音声から抽出した場合に相関がある
として、それぞれの正解セントロイドの間の相関強度を
強める。この学習により、標準パターンサブセットを環
境に適応させることが出来る。 （５）正誤情報による訂正 ある学習ベクトルをマッチングした結果、ラベルとは違
う音素に誤認識した場合に、最も最近に正しく認識した
セントロイドと正解セントロイドの間の相関強度を強
め、認識セントロイド（誤認識されたもの）との間の相
関強度を弱める。この学習により、認識精度を向上させ
ることが出来る。

【００２３】次に本発明の効果を実証するために、音素
識別実験を行なった。識別する音素は／ａ／、／ｏ／、
／ｕ／、／ｉ／、／ｅ／、鼻音の６音素で、学習・認識
するデータは男性４０人の単語データから抽出した特徴
ベクトルである。（サンプル数は各音素とも約１万であ
る。）また、学習・認識はサンプルを抽出した順番に行
なう。サンプリングレートは１２ｋＨｚ、分析窓長は２
０ｍｓｅｃ、特徴パラメータとしては１２次のＬＰＣケ
プストラム係数１フレーム分を用いる。したがって、特
徴ベクトルの次数は１２次である。

【００２４】音素標準パターンの特徴セントロイドの個
数は各音素とも１２８個で、過去１６サンプルの相関強
度から出現強度を求め、この出現強度を基に各音素とも
１６個ずつ選択してサブセットを作成しながら認識を行
なう。相関強度は、正誤情報と話者情報を基に学習を行
なって求めた値を使用する。この識別実験の結果、９
１．５４％の識別率が得られた。この識別率は、相関強
度を用いずに各音素１６個の特徴セントロイドを固定し
て使用した場合よりも高く、本発明によって、認識性能
が向上したことが検証された。

【００２５】

【発明の効果】以上のように本発明は、それぞれの話者
や環境によって出現しやすい特徴セントロイドの間に大
きな相関強度を設定し、認識する毎に最も近いと識別さ
れた特徴セントロイドと他の特徴セントロイドの間の相
関強度を参照してサブセットを作成し、そのサブセット
を用いて認識を進めることにより、識別された特徴セン
トロイドはその特徴セントロイドとともに出現しやすい
特徴セントロイドを選ぶので、認識を進める程に、サブ
セットの持つカテゴリの特徴空間は話者や環境に適応す
るように変化する。したがって、適応的な認識を行なう
ことができ、話者や環境に適応した高い認識性能を得る
ことができる。

【図面の簡単な説明】

【図１】本発明の一実施例における音声認識装置の機能
ブロック図

【図２】本発明の一実施例における音声認識装置の相関
強度格納部に格納された相関強度の例を示す概念図

【図３】本発明の一実施例における音声認識装置の相関
強度の学習アルゴリズムを説明するブロック図

【図４】従来の音声認識装置を示す機能ブロック図

【図５】従来の音声認識装置の音素標準パターンの作成
アルゴリズムを示すブロック図

【符号の説明】

１ 入力特徴ベクトル ２ マッチング部 ３ 標準パターンサブセット ４ 認識結果 ５ 音素標準パターン格納部 ６ サブセット格納部 ７ 相関強度格納部 ８ 相関情報 ９ ラベルデータ １０ 学習ベクトル １１ マッチング部 １２ 音素標準パターン格納部 １３ 認識結果 １４ 相関強度学習部 １５ 相関強度格納部 １６ 入力音声 １７ 音響分析部 １８ セグメンテーション部 １９ 音素識別部 ２０ 標準パターン格納部 ２１ 音素系列作成部 ２２ 音形規則格納部 ２３ 単語マッチング部 ２４ 単語辞書格納部 ２５ 認識結果 ２６ マイク入力（防音室内） ２７ Ａ／Ｄ変換部 ２８ 音声データベース ２９ 音響分析部 ３０ ラベリング ３１ ラベリングデーターベース ３２ 標準パターン作成部 ３３ 標準パターン

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 ユークリッド空間上に存在する音声の特
   徴パラメータのベクトルで、どのカテゴリ（音素や音
   節）に属するかのラベル付けがなされていることを特徴
   とする特徴ベクトル（特徴セントロイド）が格納されて
   いる標準パターン格納部と、前記標準パターン格納部に
   格納されている特徴セントロイド同士の相関の度合いを
   表す値である相関強度が格納されている相関強度格納部
   と、前記標準パターン格納部に格納された特徴セントロ
   イド集合の部分集合である標準パターンサブセットと、
   入力された特徴ベクトルと標準パターンサブセットの特
   徴セントロイドのマッチングを行なうパターンマッチン
   グ手段と、前記パターンマッチング手段により得られた
   認識結果に応じて前記相関強度格納部に格納された相関
   強度を参照して前記標準パターン格納部に格納された特
   徴セントロイドの中から候補を選択することにより標準
   パターンサブセットを作成する標準パターンサブセット
   作成手段とを具備することを特徴とする音声認識装置。
2. 【請求項２】 標準パターン格納部に格納されている特
   徴セントロイド同士の相関の度合いを表す相関強度が、
   音素や音節のラベル付けがなされている多数の学習用ベ
   クトルを用いた学習により求められることを特徴とする
   請求項１記載の音声認識装置。
3. 【請求項３】 音素や音節のラベル付けがなされている
   多数の学習用ベクトルを用いた相関強度学習が、標準パ
   ターン格納部に格納された特徴セントロイドと学習用ベ
   クトルとのマッチングを行なうことによって得られる認
   識結果・正誤情報と、ラベル、同話者内、同単語内、同
   環境内という学習用ベクトルの周辺情報とに基づいて相
   関強度を上下させることにより行なわれることを特徴と
   する請求項１または２記載の音声認識装置。