JPH0199097A - パターン作成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、音声認識等における標準パターンを作成する
装置に関する。

従来の技術 以下、単語音声の認識を行う場合について説明する。ま
た、ベクトル間あるいはパターン間の相違は、類似度、
距離、誤差等の言葉が用いられ、それぞれの尺度も種々
存在するものであるが、本発明にとっては本質的なもの
ではないので、ここでは距離と言う言葉をそれ等を代表
させて用いることにする。即ち、例えば、距離が近い、
距離が小さいと言うことは、類似度が高い、類似度が大
きいと言うことに対応し、距離が遠い、距離が大きいと
言うことは類似度が低い、類似度が小さいと言うことに
対応する等である。

音声認識等の特徴ベクトルの系列からなるパターンを認
識する方法として、所謂ＤＰマッチンク３１、−７ 法がよく用いられる。これは認識すべき単語音声を代表
する、特徴ベクトルの系列からなるパターンを標準パタ
ーンとして、それぞれの前記単語音声について予め登録
しておき、認識時には、同じく特徴ベクトルの系列から
なる認識さるべき入カバターンと前記標準パターンのそ
れぞれと照合を取り、最も距離的に近い標準パターンを
探索し、その標準パターンに対応する単語を入カバター
ンの認識結果とするものである。このとき、時間長の異
なるパターン同志を時間軸を非線形に伸縮させる必要が
あるが、これを効率よく行うために動的計画法を用いる
のがＤＰマツチングと呼ばれる方法であり、今のところ
最もよい結果の得られる方法の一つである。

ところがこの方法は、時間軸の伸縮は比較すべき両パタ
ーンが最も距離的に近くなるように時間軸の伸縮が行な
われるものであって、時間軸に対する傾斜等の特徴ベク
トルの時間的変化に関する特徴（以後、動的特徴と呼ぶ
ことにする）が適切に反映されないきらいがある。従っ
て、ヌベクトルの変化の仕方に特徴のある音韻に対して
は、この方法のみでは認識精度の点で不十分である。

また、単語辞書を音韻や音節（以後、音声素片と呼ぶこ
とにする）を表わす記号系列の形でもち、予めそれぞれ
の音声素片に対応する標準パターンを準備しておき、認
識すべき入カバターンを前記標準パターンを基にして音
声素片系列、即ち、各音声素片を表わす記号の系列に変
換し、前記単語辞書のそれぞれの単語と記号レベルのマ
ツチングを行な層、最も距離的に近い単語を認識結果と
するものがある。このとき、前記入カバターンから変換
された音声素片系列は、音声素片の認識を完全にするこ
とは不可能であるから、挿入、脱落、置換等の多少の間
違いを含んでいる。従って、前記記号レベルのマツチン
グにおいては、予め計算し、準備された音声素片間距離
を基に、ＤＰマツチングによシ音声素片系列間の距離を
求めることになる。この場合も、前記入カバターンに対
して音声素片認識を行う場合や音声素片間距離を求める
に際して、前記動的特徴を反映させることが認５　へ−
ン 識精度を上げる上で重要な問題となる。

発明が解決しようとする問題点 本発明は、上記従来例の欠点に鑑み、時間的動的特徴を
加味した標準パターンの適切な表現方法とそれに基づく
標準パターンを作成するパターン作成装置の実現にある
。

問題点を解決するための手段 特徴ベク）ｚｌｚの系列からなるパターンの第ｉ部分区
間の候補区間を設定する部分区間設定手段と、この設定
された前記パターンの第１区間の候補区間の特徴ベクト
ル系列と、ベクトル値をとる時間関数で与えられる曲線
上のベクｌ−）Ｖ系列との部分距離（部分類似度）が最
小（最大）になるように前記時間関数のパラメータを算
出する最適パラメータ算出手段と、前記部分区間を最適
に定めることにより、前記部分距離ｃ部分類似度）もし
くはそれら部分距離（部分類似度）を当該部分区間のフ
レーム数に関連した値で正規化した正規化部分距離（正
規化部分類似度）のｉ＝１〜■についての合計の最小（
最大）値を求める最小累積距離（最６７、−７ 大累積類似度）算出手段と、前記最適に定められた各部
分区間に対応して算出された前記時間関数のパラメータ
を前記区間番号ｉに関連して記憶する標準パターン記憶
手段とを構成要件とするものである。

作　　用 部分区間設定手段によシ、特徴ベクトルの系列からなる
パターンの第ｉ部分区間の候補区間を設定し、最適パラ
メータ算出手段によシ、この設定された前記パターンの
第ｉ区間の候補区間の特徴ペクト／Ｉ／系列と、ベクト
ル値をとる時間関数で与えられる曲線上のベクトル系列
との部分距離（部分類似度）が最小（最大）になるよう
に前記時間関数のパラメータを算出し、最小累積距離（
最大累積類似度）算出手段により、前記部分距離（部分
類似度）もしくはそれら部分距離（部分類似度）を当該
部分区間のフレーム数に関連した値で正規化した正規化
部分距離（正規化部分類似度）のｉ　＝　１〜■につい
ての合計の最小（最大）値を求めるべく前記部分区間を
最適に定め、標準パター７　ヘーノ 記区間番号ｉに関連して記憶し、このパラメータ列を前
記パターンの新だな標準パターンとするものである。

実施例 前記時間関数としては、ｎ次（ｎ＝＝１．２．・・・）
多項式やスプライン関数等が用いられ得る。ここでは簡
単のためと十分実用に耐え得るという理由から、１次関
数を用いる場合について本発明の１実施例を説明する。

また、前記曲線とそれに対応する実際の特徴ベクトルと
の相違を表す量として、前記特徴ベクトルとそれに対応
する前記曲線上のベクトルのユークリッド距離の２乗和
を用いることにする。この場合は前記曲線は所謂最小２
乗近似直線となシ、前記距離に対応する量は残差平方和
と呼ばれるものになる。

第１図は本発明の第１の１実施例であって、音声信号に
対して前記標準パターンの作成を行う場合について説明
している。

１は特徴抽出部であって、標準パターンとして登録すべ
き入力音声信号をフィルタバンク、フーリエ変換、ＬＰ
Ｃ分析等の周知の方法によって、数ｍ５ｅＣ〜十数ｍ５
ｅｃ毎（フレームと称する）に数次元〜士数次元の特徴
ベクトルの系列　（！（１））＝（Ｘ（１）、　Ｘ（２
）　、・−・、Ｘの）に変換するものである。ｘ（ｔ）
は時刻ｔにおける特徴ベクトルである。

２は入カバソファメモリであって、特徴抽出部１で得ら
れる特徴ベクトルの系列を一時記憶するものである。

４はフレームカウンタであって音声入力がないときリセ
ットされ、１フレーム毎にカウントアツプする。即ち、
その内容は現在処理中のフレームを示すことになる。

３は部分区間設定部であって、前記入カバターンに対し
て部分区間を設定するものである。いま、フレームカウ
ンタ４の内容をｔとするとき、部分区間設定部３は、ｒ
　＝　ｔ−５−ｔ−ｅなるフレームを第ｉ部分区間の始
端候補フレームとして順次設定するものである。ここで
、ｓ、ｅは部分区間とし９　、Ｘ　。

て許される範囲を制限するために、予め与えられる定数
である。

５は平均値計算部であって、前記部分区間として設定さ
れたτ−ｔ−ｒフレームの区間に含まれる特徴ベクトル
を入力バッフ７メモリ２から読み出し、その平均値を求
めるものである。即ち、部分区間を一τ＋１〜ｔがｉ番
目の部分区間であるとし、その平均値をｍ（ｔ、ｉ）と
すれば、 を求めることになる。

６は最小２乗近似直線計算部（部分距離計算部）であっ
て、前記部分区間における特徴ベクトルの最小２乗近似
直線とこの部分区間に含まれる特徴ベクトルの残差平方
和Ｃ部分距離）を求めるものである。即ち、前記部分区
間ｉにおける特徴ベクトルに対する最小２乗近似直線お
よび部分残差平方和Ｃ部分距離）は次のようにして求ま
る。

前記部分区間ｉに対して求めるべき最小２乗近似直線Ｑ
（ｋ　、　ｉ　）　（ｋ−１〜ｒ　）はｕ（ｔ、ｉ）を
その方１０、、、。

向ベクトルとすれば ０（ｋ、　ｉ　）＝ｍ（ｔ　、　ｉ　）＋（ｋ−−〕ｕ
（ｔ　、　ｉ　）　−−−−・−（２）とおける、この
とき、ｘ（ｔ−ｒ＋ｋ）とＱ（ｋ、ｉ）とのに＝１〜τ
の部分残差平方和ｖ（を−τ＋１：ｔ）はｖ（、ｔ−τ
＋１：ｔ） で表される。従って、最小２乗近似直線は式（２）にお
けるｕ（ｔ、ｉ片部分残差平方和ｖ（を−τ＋１：ｔ）
が最小になるように定めることによって得られる。

即ち、ｖ（を−τ＋１：ｔ）をｕ（ｔ、ｉ）で偏微分し
たものが０に等しいとおいて、ｕ（ｔ、ｉ）に関する方
程式を解くことによって得られるものであって、（ｘ（
ｔ−ｒ＋ｋ）−Ｑ（ｋ、　ｉ　）　）−〇・・・・・・
・・・・・・・・・・・・・・・（３）よシ、 １１　べ−７ となる。ただし、ｍ（ｔ、ｉ）、ｕ（ｔ、ｉ）、Ｑ（ｋ
、ｉ）。

ｘ（＋−τ＋１）等は縦ベクトルであって、゛は転置を
意味する。また、ベク）　ｔｖによる微分はその要素毎
に別々に微分することを意味している。

以上のように、平均値計算部５、最小２乗近似直線計算
部６は最適パラメータ算出手段を形成するものであって
、部分区間設定部３で設定された区間に対する最適パラ
メータ、即ち、該区間の特徴ベクトル系列を最もよく近
似する最小２乗近似似直線のパラメータとして平均値と
方向ベクトル、およびその直線に対する部分残差平方和
が算出される。

７は累積残差平方和計算部（累積距離計算部）であって
、１〜Ｔフレームを第１〜第工部分区間における部分残
差平方和の総和　ｖ（１：ｆ（１））＋ｖ（ｆ（１）−
Ｈ：　ｆ（２））＋−・＋ｖ（ｆ（Ｉ　　１　）＋１　
：　ｆ（Ｉ））が最小になるように工分割しく以後、最
適に工分割すると言うことにする）、その総和（以後、
最小累積残差平方和と呼ぶことにする）Ｖ（Ｔ、Ｉ）を
求めるものである。ここで、ｆ（ｉ）（ｉ＝１〜Ｉ）は
分割された第ｉ部分区間の最終フレームである。

この計算は動的計画法を用いることによって効率的に行
うことができる。即ち、漸化式 ％式％） について順次計算すれば、Ｖ（Ｔ、Ｉ）が求めるもので
ある。漸化式（５）の意味するところは、１〜ｔフレー
ムなｉ分割したときの前記最小累積残差平方和Ｖ（ｔ：
ｉ）は、１〜ｒ−１（ｔ−ｓ≦ｒ≦ｔ−ｅ）フレ１３Ａ
−ア ームをｉ−１分割したときの最小累積残差平方和Ｖ（ｒ
−１、ｉ　−１）と、第ｉ区間の部分残差平方和ｙ（ｒ
：ｔ）　　との和のｒに関する最小値として求まるとい
うこ七である。これは、式（６）を満足するｒをτ。ｐ
ｔとすれば、１〜ｔフレームを最適にｉ分割したとき、
１〜ｒＯｐｔフレームにおける各区間の分割点は、１〜
ｒｏｐｔフレームを最適に１−１分割したときの各区間
の分割点に一致する、最適過程の部分過程はその部分で
もまた最適過程になっているという、所謂最適性の原理
に基づくものである。

８は最小累積残差平方和記憶部であって、最小累積残差
平方和計算部７の結果、即ち、１〜ｔフレームを最適に
ｉ分割したときの最小累積残差平方和Ｖ（ｔ、１）ｆｉ
＝１〜Ｉについて記憶する。

Ｖ（ｔ、ｉ）は最小累積残差平方和計算部７における以
後の漸化式の計算に用いられる。

１０はバックポインタ記憶部であって、最小累積残差平
方和計算部７で計算されたＶ（ｔ、ｉ）に対応する第１
−１部分区間の最終フレームＢ（ｔ、１）１４、　。

（以後、第ｔフレームのバンクポインタと呼ぶことにす
る。従って、Ｂ（ｔ　、　１）＝ｒ−１であり、初期値
はｔ＝ｏ〜Ｔについて　Ｂ　（ｔ　、Ｏ）＝　Ｏである
。）をｉ　＝　１〜Ｉについて記憶する。Ｂ（ｔ、ｉ）
は１＝１〜Ｔについて以上の処理を行った後、バンクト
ラックにより最適分割点の最終結果を後述のようにして
見出すのに用いられる。

９は分割数指定部であって、第ｔフレームまでの分割数
１〜Ｉを最小累積残差平方和計算部７に順次与えるもの
であって、最小累積残差平方和計算部７はこの指令に従
って前記漸化式をｉ＝１〜Ｉについて計算することにな
る。

１３は平均・方向ベクトル記憶部であって最小累積残差
平方和計算部子で求めた前記Ｖ（ｔ、ｉ）に対応する第
ｉ部分区間の最小２乗近似直線の平均ベクトルｍ（ｔ、
ｉ）と方向ベクトルｕ（ｔ　、　ｉ）とを１＝＝１〜Ｉ
、ｔ＝１〜丁について記憶するものである。

１４は音声区間検出部であって特徴抽出部１の出力から
周知の方法によシ、入力音声のレベル等１５、、。

を検知することによって、音声区間を検出するものであ
る。前記フレームカウンタ４はこの音声区間検出部１４
の出力によって制御され、音声の存在区間を１フレーム
から順次計数する。

１１はバンクポインタ読出制御部であって、バ゛　　ツ
クポインタ記憶部１ｏに対してフレーム番号ｔとフレー
ム１〜ｔに対する分割数ｉを与えるものであって、音声
区間終了直後はその時の７レームカウンタ４の値Ｔと部
分区間設定部３における設定値工とをバンクポインタ記
憶部１ｏに出力し、以後は、そのバンクポインタの値が
０になるまでバックポインタ記憶部１ｏの出力をバック
ポインタ記憶部１０にフィードバックするものである。

バックポインタ記憶部１ｏは、与えられたフレーム番号
ｔと分割数ｉに対して、第ｉ−１部分区間の最終フレー
ムＢ（ｔ、ｉ）　　を出力する。故に、バックポインタ
読出制御部１１は、先ず、音声区間検出部１４により音
声区間の終了が検出されると、その時の７レームカウン
タ４の値Ｔと部分区間設定部３における設定値Ｉとをバ
ックポインタ記憶部１ｏに出力し、以後、バックポイン
タ記憶部１゜から読み出されるバックポインタＢ（ｔ　
、　ｉ　）が０になるまでそれを新たなフレーム番号と
してバンクポインタ記憶部１０にフィードバックすると
共に、分割数はフィードバックが行われる毎に１ずつ減
じてバックポインタ記憶部１０に供給する。

このことによシ、バンクポインタ読出制御部１１はＴフ
レームを最適にＩ分割したときの各分割区間の最終フレ
ームｉＩから逆の順序で出力することになる。また、フ
レーム１〜ｔを最適にｉ分割したときの最終分割区間（
第ｉ部分区間）における既に計算済みの平均ベクトルお
よび方向ベクトルを読みだすために、このようにして得
られるバンクポインタ読出制御部１１の出力であるフレ
ーム番号ｔ１分割数ｉは、平均・方向ベクトル記憶部１
３に供給される。

１２は標準パターン記憶部であって、以上のようにして
与えられる。バックポインタ読出制御部１１の前記出力
ｉと、それに伴う平均・方向ベクトル記憶部１３の出力
とを記憶するものである。

１７、、−７ 以上のようにして、特徴ベクトルの系列からなる音声パ
ターンを、指定された分割数で前記の意味で最適に分割
したときの各部分区間における最小２乗近似値が得られ
る。

第２図（ａ）は、１次元の特徴ベクトル系列で表された
パターンを想定して、本発明における分割方法の概念を
説明するものである。縦軸は特徴ベクトルの特徴量、横
軸はフレーム、・は各時点における特徴ベクトルの座標
位置を表している。本例では３分割の場合を示しておシ
、線分１００〜１０２は各区間の最小２乗近似直線であ
る。同図（ｂ）は、同降に、最小２乗近似直線の方向ベ
クトルが常に○のときを示すものであって、これは各区
間の平均ベクトルに対するその区間に含まれるベクトル
の誤差の２乗和を最小にすべく分割した場合に相当し、
それぞれの区間はそこに含まれる特徴ベクトルの平均値
という１つの代表ベクトルで表現されることになる。

第３図は本発明の第２の実施例である。

本実施例の第１の実施例との相違点は、前記部１８、、
−／ 分残差平方和を当該部分区間のフレーム数の関数で正規
化する部分残差平方和正規化部１５を設けた点にある。

即ち、ここでの正規化の目的は、正規化をしない場合は
フレーム数の多い部分区間の効果が大きく分割の結果に
影響するのに対して、正規化をすることによってフレー
ム数に関連して当該部分区間の部分残差平方和の影響を
制御するところにある。従って、正規化計数としては、
当該部分区間のフレーム数をτとするとき、例えば、τ
、：ｒ２　等を用いることが出来る。即ち、第ｉ部分区
間のフレーム数をτ１　、正規化数をτ子　とすれば、
最適分割は、１〜Ｔフレームを第１〜第工部分区間にお
ける正規化部分残差平方和の総和ｖ（１：　ｆ（１））
／ｒ２＋ｖ（ｆ　（１）＋　１　：　　ｆ　（２））／
ｆ；＋−・・＋ｖ（ｆ（Ｉ−１）＋１：　ｆ　（Ｉ）　
）／τ工が最小になるように工分割し、その総和Ｖ（Ｔ
、Ｉ）　を求めるものである。このとき、τ、−ｊ−ｒ
　であるから、前記漸化式（５）は次のようになる。

１９Ａ−７ このとき、最小累積残差平方和Ｖ（ｔ、ｉ）は正規化部
分残差平方和の累積和の最小値となる。

本実施例の場合はベクトル間距離の２乗和を部分距離と
しているから正規化係数はオーダー的に釣合をとるため
その部分区間のフレーム数の２乗。

即ち、τ　としている。もし、部分距離をいわゆす る絶体値距離（市街地距離）で定義するなら、この正規
化係数はτ、とするのが妥当である。

以上の説明からも明らかなように、本発明においては、
入カバターンを指定した分割数で最適に分割し、それぞ
れの分割区間における最小２乗近似直線を求め、その平
均値を表すペク）／しと、そこを通る最小２乗近似直線
の傾き（方向）を表すベクトルを標準パターンとして持
つことになる。

発明の効果 本発明によれば、前記部分区間の直線の傾きがその部分
区間の動的特徴を、平均ベクトルが静的特徴を表現する
ことになる。本発明はこれらを標準パターンとして持つ
ことによりその動的特徴が反映されることになり、前述
の従来例の持つ欠点を除去することが出来たものである
。

また、本発明は、標準パターンとして記憶すべきパラメ
ータは、それぞれの部分区間に対するその平均値を表す
ベクトルと、そこを通る最小２乗近似直線の傾き（方向
）を表すベクトルのみでよいから、特徴抽出部の出力の
特徴ベクトルの系列そのものを標準パターンとして持つ
場合の必要記憶容量を多く必要とするという欠点も除去
されることとなる。

さらに、本発明は、不特定話者を対象とする場合は、前
記最小２乗近似直線上の点をそれに対応する時点の特徴
ベク）　／Ｌ／の平均値として分布形倶体的には正規分
布等の分布の種類と分散）を与えることによって実現で
きる等、前記従来例にはない特徴を有するものである。

なお、本実施例では前記近似曲線は直線の場合について
説明したが、本実施例の説明の冒頭でも述べたように、
同様々方法によシ、種々の曲線で近似することもでき、
よシ精密に認識単位の動的特徴を表現することが可能で
あるばかシでなく、２１　ヘ−７ パターンも音声パターンに限るものではないことは言う
までもない。

さらに、ベクトル間の差の尺度として、各成分の差の絶
対値和、即ち、市街地距離の他種々の距離または類似度
を用いることができる。

また、実施例においては音声区間の検出を自動的に行う
場合について説明したが、音声の分析出力を眺めること
により人手によって音節や音韻等の前記音声素片に相当
する区間を抽出し、それを本発明で述べた方法によシ、
さらに細かい区間に分け、それら区間に対応する前記近
似曲線のパラメータによってそれぞれの区間のパターン
を表現し、その連結によって前記音声素片の標準パター
ンとすることもできるのは勿論であシ、前記従来例の後
半で述べた音声素片を認識する方法に適用することが出
来る。

【図面の簡単な説明】

第１図は本発明の１実施例を示すブロック図、第２図は
本発明の詳細な説明する概念図、第３図は本発明の第２
の実施例を示すブロック図である。 ２２　＼−７ １・・・・・・特徴抽出部、２・・・・・・入力バッフ
ァメモリ、３・・・・・・部分区間設定部、４・・・・
・・フレームカウンタ、６・・・・・・平均値計算部、
６・・・・・・最小２乗近似直線計算部、７・・・・・
・最小累積残差平方和計算部、８・・・・・・最小累積
残差平方和記憶部、９・・・・・・分割数指定部、１ｏ
・・・・・・バックポインタ記憶部、１１・・・・・・
バックポインタ読出制御部、１２・・・・・・標準パタ
ーン記憶部、１３・・・・・・平均・方向ベク）　／ｌ
／記憶部、１４・・・・・・音声区間検出部、１５・・
・・・・部分残差平方和正規化部。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名へ　
　　　　　　　　吾耀妙 ｉ￥ａ辿

Claims (1)

【特許請求の範囲】
1. 特徴ベクトルの系列からなるパターンの第ｉ部分区間の
   候補区間を設定する部分区間設定手段と、この設定され
   た前記パターンの第ｉ区間の候補区間の特徴ベクトル系
   列と、ベクトル値をとる時間関数で与えられる曲線上の
   ベクトル系列との部分距離（部分類似度）が最小（最大
   ）になるように前記時間関数のパラメータを算出する最
   適パラメータ算出手段と、前記部分区間を最適に定める
   ことにより、前記部分距離（部分類似度）もしくはそれ
   ら部分距離（部分類似度）を当該部分区間のフレーム数
   に関連した値で正規化した正規化部分距離（正規化部分
   類似度）のｉ＝１〜Ｉについての合計の最小（最大）値
   を求める最小累積距離（最大累積類似度）算出手段と、
   前記最適に定められた各部分区間に対応して算出された
   前記時間関数のパラメータを前記区間番号ｉに関連して
   記憶する標準パターン記憶手段とを備えたことを特徴と
   するパターン作成装置。