JPH0823758B2 - 話者適応形音声認識装置 - Google Patents

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は、話者適応機能を持った不特定話者音声認
識装置に関するものである。「従来の技術」 音声認識技術は近年急速に進歩し、人間にとって特別
な訓練を必要としない情報入力手段の１つとして実用化
されはじめている。しかし利用者を特定しない不特定話
者型の音声認識を高精度で可能とするためには、音声の
個人差に充分対処できる方式が必要であり、現状の技術
の中でこれを完全に克服できるものはまだ確立されてい
ない。

このような音声の個人差に対処する一つの方法とし
て、認識装置を利用者の音声に適応させようとする研究
が行なわれている。

例えば「日本音響学会音声研究会資料S83−21（1983
年６月）に掲載されている論文“多数話者単語音声認識
における話者適応化の検討”」（以下、文献〔１〕と称
する）では、1000単語の語彙に対して標準パターン構成
用として20名の話者を用意し、この20名それぞれのパタ
ーンを標準パターンとして利用者が発声した上記語彙中
の100語の認識を行ない、その結果認識率が最高となる
標準パターン構成用の話者を１名あるいは複数名選択し
て、利用者に適応化された標準パターンを作成してい
る。

また別の例「日本音響学会講演論文集１−５−14（Pa
ge27−28,1987年３月）に掲載されている論文“多数話
者単語音声認識におけるパターンセットを用いた学習適
応手法”」（以下、文献〔２〕と称する）では、いくつ
かにグループ分けされた学習用話者セットに対して認識
率が最高となるように最適化された複数個の標準パター
ンセットを予め用意しておき、利用者の発声における母
音などの特徴が最も類似している学習用話者セットに対
応する標準パターンセットを利用者に適応化された標準
パターンとしている。

「発明が解決しようとする課題」 ところで、文献〔１〕，〔２〕で代表される従来の話
者適応化の方法では、いずれも標準パターンを未知の利
用者へ適応化させている。このような標準パターンの適
応化では、文献〔１〕，〔２〕などのように適応化に先
立って利用者に学習のための発声を要求し、それらの発
声に対する認識率が最大となる標準パターン、あるいは
それらの発声に対する類似性が最大となる標準パターン
を選択または作成するため、利用者に対する負担が多く
なるという欠点がある。

また充分に適応化が行なわれていない標準パターンを
用いた距離計算によって、最も類似するカテゴリを選択
するという従来の認識判定法で認識を行なった場合に
は、複数のカテゴリに対して同程度の距離となるような
入力音声は誤認識し易いという傾向がある。

この発明は、上記文献〔１〕，〔２〕に代表される従
来の話者適応化方法が持つ問題点と従来の認識判定法の
問題点を解消し、利用者に対する少ない負担で、良好な
認識性能を発揮することが可能な話者適応形音声認識装
置を提供することを目的とする。

「課題を解決するための手段」 この目的を達成するために、この発明では標準パター
ンの話者適応化ではなく、各認識カテゴリと利用者の音
声との類似性情報を履歴として認識装置内に蓄積し、認
識判定時に利用する次のような構成としている。すなわ
ちこの発明による話者適応形音声認識装置は、利用者に
より入力された音声波形を特徴量系列に変換する音声分
析部と、各認識カテゴリの代表音声パターンを記憶する
標準パターン記憶部と、入力された音声の特徴量系列と
標準パターンから各認識カテゴリに対する距離情報を算
出する距離計算部と、この距離情報を全認識カテゴリに
ついて総和を求めると合計が一定値となるような類似度
情報に変換する類似度計算部と、同一の利用者が過去に
入力した複数の音声に対応する類似度情報を蓄積する類
似度蓄積部と、現時点の入力音声に対する類似度情報と
前記類似度蓄積部中の類似度情報を用いて、最も高い類
似度を持つ入力音声から順にカテゴリ判定を行なうと同
時に、過去及び現時点で入力された音声が同一カテゴリ
に対するものであるかどうかの判定に基づくカテゴリ判
定を繰り返すことにより、現時点の入力音声に対する正
解カテゴリ名を決定する認識判定部とからなることを特
徴としている。

「実施例」 以下、この発明の実施例を図面を参照しながら説明す
る。第１図はこの発明の実施例を示す装置のブロック図
である。この図において１は音声入力部、２は音声分析
部、３は距離計算部、４は標準パターン記憶部、５は類
似度計算部、６は認識判定部、７は類似度蓄積部、８は
認識結果出力部である。

第２図は第１図に示した認識判定部６の動作を示すフ
ローチャート、第３図は認識判定部６の動作を数値例に
よって示したものである。

ここでは認識対象としてＮ単語の語彙を考え、それぞ
れ次のように番号ｉを付ける。

認識対象語彙:W＝｛i|i＝1,2……Ｎ｝ （１） 標準パターン記憶部４には上記語彙の音声パターンが
Ｍ人分記憶されているものとし、これらの標準パターン
発声者に番号ｍを付ける。

初期標準パターン発声者:m＝1,2……Ｍ （２） またｍ番の人が発声したｉ番の単語に相当する標準パ
ターン記憶部４内の音声パターンをＴ（i,m）と表す。
各音声パターンＴ（i,m）は音声分析部２で行なわれる
音声の特徴量抽出の結果と同様に特徴ベクトルの時系列
として表現されるものとする。

類似度蓄積部７には、最大でＬ個までの入力音声に対
応する類似度情報が蓄積可能とする。

距離計算部３におけるパターン間距離の計算処理に
は、公知のDPマッチング法を用いるのが有効である。例
えば「IEEE Transactions on Acoustics,Speech and Si
gnal Processing,Vol ASSP−26,NO.1,page 43−49,Fe
b.,1978に掲載されている論文“Dynamic Programming A
lgorithm Optimization for Spoken Word Recognitio
n"」に掲載されている方式が一例として考えられる。

以下、本実施例における話者適応形の音声認識手順を
説明する。まず類似度蓄積部７への類似度情報の蓄積に
ついて説明する。

利用者が認識語彙中の任意の単語に対する発声Ｊを行
ない、音声入力部１へ入力すると、入力された音声は音
声分析部２によって特徴量の抽出が行なわれ、特徴ベク
トルの時系列である音声パターンV_jに変換される。

次に距離計算部３では入力された音声パターンV_jと標
準パターン記憶部４内の全音声標準パターンＴ（i,m_k）
とのパターン間距離Ｐ（i,m_k）（但しｉ＝1,2……N,m_k
＝1,2……Ｍ）を算出し、各単語カテゴリｉ毎にこの値
が最小であるものから数えてｎ個分（これをＰ（i,
m₁）,P（i,m₂）……Ｐ（i,m_n）とする。但しｎは一定値
とする。）の和をとり、入力音声パターンV_jと各単語カ
テゴリｉとの距離Ｄ（i,j）を求める。

類似度計算部５では、入力音声パターンV_jと各単語カ
テゴリｉとの距離Ｄ（i,j）を、全単語カテゴリについ
て総和を求めると合計が一定値となるような類似度情報
S_jに変換する。この変換を行なう方式の例としては、全
カテゴリについての総和が１となるような次の（４），
（５）式が一例としてあげられる。

S_j＝（Ｓ（1,j）,S（2,j）……Ｓ（N,j）） （４） 但しｉ＝1,2……Ｎ 但しＦは次の条件を満たす任意の定数である。

:1＜Ｆ＜∞ このようにして算出された利用者の音声に対応する類
似度情報S_jの各要素Ｓ（i,j）は、常に正の値をとるこ
とが保証されており、この類似度情報は類似度蓄積部７
に蓄積される。この際に類似度蓄積部７にすでに最大個
数のＬ個の類似度情報が蓄積されている場合には、新し
い類似度情報の蓄積を行なわないか、あるいはすでに蓄
積されている類似度情報の内どれか一つを消去すること
によって蓄積を行なうかのいずれかの動作を行なう。

以下では、類似度情報S_jの全カテゴリについての総和
は１になるとして説明する。次に利用者の音声入力がＭ
−１個だけ行なわれ、類似度蓄積部７にはすでにＭ−１
個の類似度情報（これをS_j:j＝1,2……Ｍ−１とする。
但しＭ−１＜Ｌとする。）が蓄積されているとして、利
用者の第Ｍ番目の入力音声に対する認識判定部６での単
語認識結果の決定動作を第２図のフローチャートを参照
しながら説明する。

まずステップ（１）において、類似度蓄積部７に蓄積
されているＭ−１個の類似度情報：S₁,S₂……S_M-1と利
用者の第Ｍ番目の入力音声に対する類似度情報：S_Mを列
ベクトルとするＮ行Ｍ列の類似度行列Ｑ＝（q_i,j）と判
定済み入力を値:1として表わすための判定済みテーブル
Ｕ（ｋ）を（６），（７）式のように所期設定する。

Ｑ＝（q_i,j），q_i,j＝Ｓ（i,j） 但しｉ＝1,2……N,j＝1,2……Ｍ （６） Ｕ（ｋ）＝０ 但しｋ＝1,2……Ｍ （７） 次にステップ（２）では、類似度行列Ｑにおける最大
値の要素q_{i max},j_maxを検索し、その添字：i_max,j_maxを
求める。

ここで求められた入力j_maxに対しては、この時点で判
定済みテーブルＵ（ｋ）が０であるような他のどの入力
よりも高い信頼性をもって単語i_maxであると判断するこ
とが可能である。

ステップ（３）では、ステップ（２）で類似度が最大
であると判断された入力j_maxが、現時点の入力、すなわ
ち利用者からの第Ｍ番目の入力と同一であるかどうかの
判断が行なわれる。その結果、入力j_maxが第Ｍ番目の入
力であると判断された場合には、ステップ（10）で、第
Ｍ番目の入力に対する単語認識結果として単語番号i_max
が認識結果出力部８に出力され、認識判定部６の動作は
終了する。

ステップ（３）において入力j_maxが利用者からの第Ｍ
番目の入力ではないと判断された場合には、ステップ
（４）で、入力j_maxに対応する判定済みテーブルＵを１
に設定し、また類似度行列Ｑで入力j_maxに対応する第j
_max列の要素を−１に設定する。

Ｕ（j_max）＝１ （10） q_n,j_max＝−1,n＝1,2……Ｎ （11） 次のステップ（５）では、カウンタｋを１に初期設定
し、ステップ（６）からステップ（15）までは、過去
（１からＭ−１の時点）及び現時点Ｍの入力の内、判定
済みテーブルＵ（ｋ）が０であるものとステップ（２）
で最大の類似度を有して単語i_maxであると判断すること
が可能な入力j_maxとの同一カテゴリ性を判定すると同時
に、その判定結果に基づいて単語判定を行なう繰り返し
の処理に入る。

すなわちステップ（６）では、カウンタｋによって指
された入力ｋが判定済みであるかどうかの判断を行な
い、判定済み（Ｕ（ｋ）＝１の場合）と判断された場合
には、ステップ（14）に遷移する。

ステップ（６）で、入力ｋが判定済みではない（Ｕ
（ｋ）＝０）と判断された場合には、次のステップ
（７）で入力j_maxの類似度情報S_{j max}と入力ｋの類似度
情報S_kとの類似性r_{i max,k}を算出する。このr_{j max,k}を
算出する方式の例としては、（12）式で示される類似度
情報S_{j max}とS_kとの重み付きユークリッド距離の逆数、
または（13）式で示される類似度情報S_{j max}とS_kとの相
関係数が例としあげられる。

但しW_iは重み係数 r_{j max,k}＝σ_{j max,k} ^2/〔σ_{j max} ^{２×σk2〕1/2} 但し このようにして算出されたr_{j max,k}の値は、類似度情
報S_{j max}とS_kの類似性が高い場合、すなわち入力j_maxと
入力ｋが同一のカテゴリに属する単語に対する音声であ
る場合には、ある一定値：R₁を越える値に示し、入力j
_maxと入力ｋが異なるカテゴリに属する単語に対する音
声である場合には、ある一定値：R₂未満の値を示す。

次にステップ（８）では、ステップ（７）で算出され
た類似度情報S_{j max}とS_kとの類似性r_{j max,k}が、ある一
定値：R₁を越えているかどうかの判断を行ない、R₁を越
えていると判断された場合には、ステップ（９）におい
て、入力ｋが、現時点の入力、すなわち利用者からの第
Ｍ番目の入力と同一であるかどうかの判断が行なわれ
る。その結果、入力ｋが第Ｍ番目の入力であると判断さ
れた場合には、ステップ（10）で、利用者からの第Ｍ番
目の入力に対する単語認識結果として単語番号i_maxが認
識結果出力部８に出力され、認識判定部６の動作は終了
する。

ステップ（９）において入力ｋが利用者からの第Ｍ番
目の入力ではないと判断された場合には、次のステップ
（11）において、入力ｋに対する判定済みテーブルＵを
１に設定し、また類似度行列Ｑで入力ｋに対応する第ｋ
列の要素を−１に設定し、ステップ（14）に遷移する。

Ｕ（ｋ）＝１ （17） q_n,k＝−1,n＝1,2……Ｎ （18） またステップ（８）において、r_{j max,k}が、ある一定
値：R₁を越えていないと判断された場合には、次のステ
ップ（12）において、r_{j max,k}が、ある一定値：R₂未満
であるかどうかの判断が行なわれる。その結果、r
_{j max,k}がR₂未満であると判断された場合には、ステッ
プ（13）において、類似度行列Ｑで入力ｋの単語i_maxに
相当する第i_max行、第ｋ列の要素を−１に設定し、ステ
ップ（14）に遷移する。

q_{i max,k}＝−１ （19） ステップ（12）において、r_{j max,k}が、ある一定値：
R₂以上であると判断された場合には、そのままステップ
（14）に遷移する。

ステップ（14）では、入力ｋに対する処理が終ったの
で、ｋに１を加算する。

次のステップ（15）では、Ｍ個の入力すべてについて
の処理が完了したかどうか、すなわちｋの値がＭを越え
ているかどうかの判断を行ない、ｋがＭを越えていない
と判断された場合には、ステップ（６）に戻り、処理を
続行する。

ステップ（15）において、ｋがＭを越えていると判断
された場合には、ステップ（16）で、類似度行列Ｑにお
いて各入力ｊに対応する列ｊごとに正の値の要素だけの
総和:A（ｊ）を求め、類似度行列Ｑの要素：q_i,jが正の
値の場合にはq_i,jをＡ（ｊ）で正規化した値:q′_i,jを
持ち、q_i,jが−１の場合には、ｑ′_i,jとして−１の値
を持つような正規化類似度行列Ｑ′を作成する。

但し 但しＡ（ｊ）は、q_i,j≠−１であるところの総和をと
る。

ステップ（17）では、この時点で判定済みではない入
力ｊ（Ｕ（ｊ）＝０の場合）に対応する正規化類似度行
列Ｑ′の列ｊの各行の要素:q′_i,j（ｉ＝1,2……Ｍ）が
すべて−１である場合には、列ｊの各行の要素ｑ′_i,j
を類似度情報S_jの各要素（Ｓ（i,j）に置換するという
正規化類似度行列Ｑ′の補正処理を行なう。

ｑ′_i,j＝Ｓ（i,j）:U（ｊ）＝０かつｑ′_i,j＝−１
（すべてのｉについて）の場合 （22） ステップ（18）では、類似度行列Ｑを正規化類似度行
列Ｑ′に置換した後、ステップ（２）に戻り、新しい類
似度行列Ｑにおける最大値の要素q_imax,j_maxの検索処理
に入り、これ以降、利用者からの第Ｍ番目の入力に対す
る認識結果が得られるまで入力ステップ（３）からステ
ップ（18）までの処理を繰り返し実行する。この繰り返
し処理を多くともＭ回繰り返すことにより、利用者の第
Ｍ番目の入力音声に対する単語認識結果を得ることがで
き、認識判定部６の動作は終了する。

次に認識判定部６の動作を第３図に示した数値例によ
って簡単に説明する。第３図は認識語彙数をＭ＝４、現
時点での入力の数をＭ＝５、ステップ（８）およびステ
ップ（12）におけるしきい値をR₁＝0.9,R₂＝0.7とし、
ステップ（７）における類似度情報間の類似性算出の方
式として、（16）式を使用した場合の数値例を示してい
る。

まずはじめにステップ（１）において、類似度蓄積部
７から４個（１から４）の類似度情報を抽出し、また類
似度情報計算部５から現時点ｊ＝５における類似度情報
を抽出して、のように類似度行列Ｑの作成と判定済み
テーブルＵの設定を行なう。

またこの数値列での類似度情報間の類似性の算出結果
はのようになる。次にステップ（２）では、類似度行
列Ｑの最大値要素としてi_max＝1,j_max＝１を抽出する。
ステップ（３）では、j_max≠５であるので、ステップ
（４）において、入力５に地する認識判定済み処理を
のように行なう。

ステップ（５）〜（15）の同一カテゴリ性判定ループ
では、入力１と入力２から５との類似度情報間の類似性
がいずれも、しきい値R₁およびR₂以下のため、ステップ
（13）の処理が行なわれ、類似度行列及び判定済みテー
ブルはのようになる。

ステップ（16）では、の類似度行列および判定済み
テーブルから、正規化類似度行列Ｑ′をのように作成
する。この例では次のステップ（17）（Ｑ′の補正処
理）では何も行なわなくてもよく、ステップ（18）で類
似度行列ＱをＱ′に置き換えて、ステップ（２）に戻
る。

２回目のステップ（２）では、i_max＝2,j_max＝４が抽
出されるが、ステップ（３）では、j_max≠５であるの
で、ステップ（４）において、入力４に対する認識判定
済み処理がのように行なわれる。

次のステップ（５）〜（15）の同一カテゴリ性判定ル
ープでは、入力４と入力2,3との類似度情報間の類似性
はいずれも、しきい値R₁およびR₂以下であるが、入力４
と入力５の類似度情報間の類似性：r_4,5＝0.99は、しき
い値R₁以上であり、ｋ＝５のループでステップ（８）か
らステップ（９）の判断に遷移する。

ステップ（９）では、ｋが５であるので、ステップ
（10）に遷移し、認識結果としてi_max＝２が出力され、
認識判定部６の動作が終了する。

つまりこの装置では過去の入力と各カテゴリとの類
似度を履歴として蓄積し、現在及び過去の入力の内、
最大の類似度を持つ入力Ａに対する判定結果をカテゴリ
Ｗとし、その他の入力の内で入力Ａと、（ａ）同一カ
テゴリと判別される入力には、カテゴリＷを判定結果と
し、（ｂ）異なるカテゴリと判別される入力には、カテ
ゴリＷを候補から除外し、再度、最大の類似度を持つ
入力を検索し直す（に戻る）という一連の処理を繰り
返すことにより認識を行なう。

以上の動作により本実施例では、従来の話者適応化方
法が持つ問題点と従来の認識判定法の問題点を解消し、
利用者に対する少ない負担で、良好な認識性能を発揮す
ることが可能な話者適応形音声認識装置を実現すること
ができる。

「発明の効果」 この発明による話者適応形音声認識装置では、従来話
者適応化の方法として広く用いられている標準パターン
の選択あるいは作成といった方法を使用せず、各認識カ
テゴリと利用者音声との類似度情報を逐次的に履歴とし
て認識装置内の標準パターンを用意する必要がある。し
かし多くの標準パターンを用いた場合には、入力音声に
対して最も類似するパターンが入力とは異なったカテゴ
リに属するものとなる場合があり、従来の認識判定法で
は認識が困難であった。

この発明では、従来の認識判定法では認識が困難な音
声であっても、第２位以降に類似するカテゴリとの類
似性が話者を一定とするとほぼ安定していること、正
解は第２位以降の比較的高い順位のカテゴリであるこ
と、の２点が多くの音声について成立することを有効に
利用して認識判定を行なっている。

従ってこの発明によれば、従来の標準パターンの選択
あるいは作成といった話者適応化法のように、利用者に
対して学習のための発声を要求せず、また従来の最も類
似するカテゴリを選択するという認識判定法では認識が
困難であった音声でも認識が可能であるため、利用者に
対する少ない負担で、良好な認識性能を発揮できる利点
がある。

【図面の簡単な説明】

第１図はこの発明の実施例を示す装置のブロック構成
図、第２図は第１図の構成要素の一つである認識判定部
６の動作を示すフローチャート、第３図は認識判定部６
の動作を示す数値例である。 1:音声入力部、2:音声分析部、3:距離計算部、4:標準パ
ターン記憶部、5:類似度計算部、6:認識判定部、7:類似
度蓄積部、8:認識結果出力部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】入力された音声波形を特徴量系列に変換す
   る音声分析部と、 各認識カテゴリの代表音声パターンを記憶する標準パタ
   ーン記憶部と、 入力された音声の特徴量系列と標準パターンから各認識
   カテゴリに対する距離情報を算出する距離計算部と、 前記距離情報を全認識カテゴリについて総和を求めると
   合計が一定値となるような類似度情報に変換する類似度
   計算部と、 同一の利用者が過去に入力した複数の音声に対応する前
   記類似度情報を蓄積する類似度蓄積部と、 現時点の入力音声に対する類似度情報と前記類似度蓄積
   部中の類似度情報を用いて、最も高い類似度を持つ入力
   音声から順にカテゴリ判定を行なうと同時に、過去及び
   現時点で入力された音声間の同一カテゴリ性の判定に基
   づくカテゴリ判定を行なうことを繰り返すことにより、
   現時点の入力音声に対する正解カテゴリ名を決定する認
   識判定部とからなる話者適応形音声認識装置。