JPH0552510B2

JPH0552510B2 -

Info

Publication number: JPH0552510B2
Application number: JP58045233A
Authority: JP
Inventors: Yoichiro Sako; Masao Watari; Makoto Akaha; Atsunobu Hiraiwa
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1983-03-17
Filing date: 1983-03-17
Publication date: 1993-08-05
Also published as: JPS59170897A

Description

【発明の詳細な説明】産業上の利用分野本発明は音声認識に使用して好適な音声過渡点
検出方法に関する。

背景技術とその問題点音声認識においては、特定話者に対する単語認
識によるものがすでに実用化されている。これは
認識対象とする全ての単語について特定話者にこ
れらを発音させ、バンドパスフイルタバンク等に
よりその音響パラメータを検出して記憶（登録）
しておく。そして特定話者が発声したときその音
響パラメータを検出し、登録された各単語の音響
パラメータと比較し、これらが一致したときその
単語であるとの認識を行う。

このような装置において、話者の発声の時間軸
が登録時と異なつている場合には、一定時間（５
〜20m sec）毎に抽出される音響パラメータの時
系列を伸縮して時間軸を整合させる。これによつ
て発声速度の変動に対処させるようにしている。

ところがこの装置の場合、認識対象とする全て
の単語についてその単語の全体の音響パラメータ
をあらかじめ登録格納しておかなければならず、
膨大な記憶容量と演算を必要とする。このため認
識語い数に限界があつた。

一方音韻（日本語でいえばローマ字表記したと
きのＡ，Ｉ，Ｕ，Ｅ，Ｏ，Ｋ，Ｓ，Ｔ等）あるい
は音節（KA，KI，KU，等）単位での認識を行
うことが提案されている。しかしこの場合に、母
音等の準定常部を有する音韻の認識は容易であつ
ても、破裂音（Ｋ，Ｔ，Ｐ等）のように音韻的特
徴が非常に短いものを音響パラメータのみで一つ
の音韻に特定することは極めて困難である。

そこで従来は、各音節ごとに離散的に発音され
た音声を登録し、離散的に発声された音声を単語
認識と同様に時間軸整合させて認識を行つてお
り、特殊な発声を行うために限定された用途でし
か利用できなかつた。

さらに不特定話者を認識対象とした場合には、
音響パラメータに個人差による大きな分散があ
り、上述のように時間軸の整合だけでは認識を行
うことができない。そこで例えば一つの単語につ
いて複数の音響パラメータを登録して近似の音響
パラメータを認識する方法や、単語全体を固定次
元のパラメータに変換し、識別函数によつて判別
する方法が提案されているが、いづれも膨大な記
憶容量を必要としたり、演算量が多く、認識語い
数が極めて少くなつてしまう。

これに対して本発明者は先に、不特定話者に対
しても、容易かつ確実に音声認識を行えるように
した新規な音声認識方法を提案した。以下にまず
その一例について説明しよう。

ところで音韻の発声現象を観察すると、母音や
摩擦音（Ｓ，Ｈ等）等の音韻は長く伸して発声す
ることができる。例えば“はい”という発声を考
えた場合に、この音韻は第１図Ａに示すように、
「無音→Ｈ→Ａ→Ｉ→無音」に変化する。これに
対して同じ“はい”の発声を第１図Ｂのように行
うこともできる。ここでＨ，Ａ，Ｉの準定常部の
長さは発声ごとに変化し、これによつて時間軸の
変動を生じる。ところがこの場合に、各音韻間の
過渡部（斜線で示す）は比較的時間軸の変動が少
いことが判明した。

そこで第２図において、マイクロフオン１に供
給された音声信号がマイクアンプ２、5.5kHz以下
のローパスフイルタ３を通じてＡ−Ｄ変換回路４
に供給される。またクロツク発生器５からの
12.5KHz（80μ sec間隔）のサンプリングクロツ
クがＡ−Ｄ変換回路４に供給され、このタイミン
グで音声信号がそれぞれ所定ビツト数（＝１ワー
ド）のデジタル信号に変換される。この変換され
た音声信号が５×64ワードのレジスタ６に供給さ
れる。またクロツク発生器５からの5.12m sec間
隔のフレームクロツクが５進カウンタ７に供給さ
れ、このカウント値がレジスタ６に供給されて音
声信号が64ワードずつシフトされ、シフトされた
４×64ワードの信号がレジスタ６から取り出され
る。

このレジスタ６から取り出された４×64＝256
ワードの信号が高速フーリエ変換（FFT）回路
８に供給される。ここでこのFFT回路８におい
て、例えばＴの時間長に含まれるn_f個のサンプリ
ングデータによつて表される波形函数を U_ofT(f) ……(1) としたとき、これをフーリエ変換して、 U_ofT(f)＝∫^T/2 _-T/2 U_ofT(f)e^-2〓^jftdt ≡ U_1ofT(f)＋jU_2ofT(f) ……(2) の信号が得られる。

さらにこのFFT回路８からの信号がパワース
ペクトルの検出回路９に供給され、｜U²｜＝U² _1ofT(f)＋U² _2ofT(f) ……(3) のパワースペクトル信号が取り出される。ここで
フーリエ変換された信号は周波数軸上で対称にな
つているので、フーリエ変換によつて取り出され
るn_f個のデータの半分は冗長データである。そこ
で半分のデータを排除して1/2n_f個のデータが取
り出される。すなわち上述のFFT回路８に供給
された256ワードの信号が変換されて128ワードの
パワースペクトル信号が取り出される。

このパワースペクトル信号がエンフアシス回路
１０に供給されて聴感上の補正を行うための重み
付けが行われる。ここで重み付けとしては、例え
ば周波数の高域成分を増強する補正が行われる。

この重み付けされた信号が帯域分割回路１１に
供給され、聴感特性に合せた周波数メルスケール
に応じて例えば32の帯域に分割される。ここでパ
ワースペクトルの分割点と異なる場合にはその信
号が各帯域に按分されてそれぞれの帯域の信号の
量に応じた信号が取り出される。これによつて上
述の128ワードのパワースペクトル信号が、音響
的特徴を保存したまま32ワードに圧縮される。

この信号が対数回路１２に供給され、各信号の
対数値に変換される。これによつて上述のエンフ
アシス回路１０での重み付け等による冗長度が排
除される。ここでこの対数パワースペクトル log｜U² _ofT(f)｜ ……(4) をスペクトルパラメータx_(i)（ｉ＝０，１……31）
と称する。

このスペクトルパラメータx_(i)が離散的フーリ
エ変換（DFT）回路１３に供給される。ここで
このDFT回路１３において、例えば分割された
帯域の数をＭとすると、このＭ次元スペクトルパ
ラメータx_(i)（ｉ＝０，１……Ｍ−１）を2M−１
点の実数対称パラメータとみなして2M−２点の
DFTを行う。従つて X_(n)＝_2M-3 〓ⁱ⁼⁰ x_(i)W^mi _2M-2 ……(5) 但し、 W^mi _2M-2＝ｅ−ｊ（2π・ｉ・ｍ／2M−３）ｍ＝０，１……2M−３となる。さらにこのDFTを行う函数は遇函数と
みなされるため W^mi _2M-2＝cos（2π・ｉ・ｍ／2M−２）＝cosπ・ｉ・ｍ／Ｍ−１となり、これらより X_(n)＝_2M-3 〓ⁱ⁼⁰ x_(i)cosπ・ｉ・ｍ／Ｍ−１ ……(6) となる。このDFTによりスペクトルの包絡特性
を表現する音響パラメータが抽出される。

このようにしてDFTされたスペクトルパラメ
ータx_(i)について、０〜Ｐ−１（例えばＰ＝８）次
までのＰ次元の値を取り出し、これをローカルパ
ラメータL_(p)（Ｐ＝０，１……Ｐ−１）とすると L_(p)＝_2M-3 〓ⁱ⁼⁰ x_(i)cosπ・ｉ・ｐ／Ｍ−１ ……(7) となり、ここでスペクトルパラメータが対称であ
ることを考慮して x_(i)＝x_(2M-i-2) ……(8) とおくと、ローカルパラメータL_(p)は L_(p)＝x_(p)＋_M-2 〓〓ⁱ⁼¹ x_(i)｛cosπ・ｉ・ｐ／Ｍ−１＋cosπ（2M−２−ｉ
）ｐ／Ｍ−１｝＋ｘ（Ｍ−１）cosπ・ｐ／Ｍ ……(9) 但し、ｐ＝０，１……ｐ−１となる。このようにして32ワードの信号がＰ（例
えば８）ワードに圧縮される。

このローカルパラメータL_(p)がメモリ装置１４
に供給される。このメモリ装置１４は１行Ｐワー
ドの記憶部が例えば16行マトリクス状に配された
もので、ローカルパラメータL_(p)が各次元ごとに
順次記憶されると共に、上述のクロツク発生器５
からの5.12m sec間隔のフレームクロツクが供給
されて、各行のパラメータが順次横方向へシフト
される。これによつてメモリ装置１４には5.12m
sec間隔のＰ次元のローカルパラメータL_(p)が16フ
レーム（81.92m sec）分記憶され、フレームク
ロツクごとに順次新しいパラメータに更新され
る。

さらに例えばエンフアシス回路１０からの信号
が音声過渡点検出回路２０に供給されて音韻間の
過渡点が検出される。

この過渡点検出信号T_(t)がメモリ装置１４に供
給され、この検出信号のタイミングに相当するロ
ーカルパラメータL_(p)が８番目の行にシフトされ
た時点でメモリ装置１４の読み出しが行われる。
ここでメモリ装置１４の読み出しは、各次元Ｐご
とに16フレーム分の信号が横方向に読み出され
る。そして読み出された信号がDFT回路１５に
供給される。

このDFT回路１５において上述と同様にDFT
が行われ、音響パラメータの時系列変化の包絡特
性が抽出される。このDFTされた信号の内から
０〜Ｑ−１（例えばＱ＝３）次までのＱ次元の値
を取り出す。このDFTを各次元Ｐごとに行い、
全体でＰ×Ｑ（＝24）ワードの過渡点パラメータ
K_(p,q)（ｐ＝０，１……Ｐ−１）（ｑ＝０，１……
Ｑ−１）が形成される。ここで、K_(0,0)は音声波
形のパワーを表現しているのでパワー正規化のた
め、ｐ＝０のときにｑ＝１〜Ｑとしてもよい。

すなわち第３図において、第３図Ａのような入
力音声信号（HAI）に対して第３図Ｂのような
過渡点が検出されている場合に、この信号の全体
のパワースペクトルは第３図Ｃのようになつてい
る。そして例えば「Ｈ→Ａ」の過渡点のパワース
ペクトルが第３図Ｄのようであつたとすると、こ
の信号がエンフアシスされて第３図Ｅのようにな
り、メルスケールで圧縮されて第３図Ｆのように
なる。この信号がDFTされて第３図Ｇのように
なり、第３図Ｈのように前後の16フレーム分がマ
トリツクされ、この信号が順次時間軸ｔ方向に
DFTされて過渡点パラメータK_(p,q)が形成される。

この過渡点パラメータK_(p,q)がマハラノビス距
離算出回路１６に供給されると共に、メモリ装置
１７からのクラスタ係数が回路１６に供給されて
各クラスタ係数とのマハラノビス距離が算出され
る。ここでクラスタ係数は複数の話者の発音から
上述と同様に過渡点パラメータを抽出し、これを
音韻の内容に応じて分類し統計解析して得られた
ものである。

そしてこの算出されたマハラノビス距離が判定
回路１８に供給され、検出された過渡点が、何の
音韻から何の音韻への過渡点であるかが判定さ
れ、出力端子１９に取り出される。

すなわち例えば“はい”“いいえ”“０（ゼロ）”
〜“９（キユウ）”の12単語について、あらかじめ
多数（百人以上）の話者の音声を前述の装置に供
給し、過渡点を検出し過渡点パラメータを抽出す
る。この過渡点パラメータを例えば第４図に示す
ようなテーブルに分類し、この分類（クラスタ）
ごとに統計解析する。図中＊は無音を示す。

これらの過渡点パラメータについて、任意のサ
ンプルR(a)_r,o（ｒ＝１，２……24）（ａはクラスタ指
標で例えばａ＝１は＊→Ｈ，ａ＝２はＨ→Ａに対
応する。ｎは話者番号）として、共分散マトリク
ス A^(a) _r,s≡Ｅ（R^(a) _r,o−^(a) _r）（R^(a) _s,o−_s ^(a)）
……(15) 但し、_r ^(a)＝Ｅ（R^(a) _r,o）Ｅはアンサンブル平均を計数し、この逆マトリクス B^(a) _r,s≡＝（A^(a) _t,v）^-1 _r,s ……(16) を求める。

ここで任意の過渡点パラメータK_rとクラスタ
ａとの距離が、マハラノビスの距離Ｄ（K_r，^a）≡ｄ〓^r 〓^s （K_r−_r ^(a)）・B^(a) _r,s・（K_r−_s ^(a)） ……(17) で求められる。

従つてメモリ装置１７に上述のB(a)_r,s及び_r ^(a)を
求めて記憶しておくことにより、マハラノビス距
離算出回路１６にて入力音声の過渡点パラメータ
とのマハラノビス距離が算出される。

これによつて回路１６から入力音声の過渡点ご
とに各クラスタとの最小距離と過渡点の順位が取
り出される。これらが判定回路１８に供給され、
入力音声が無声になつた時点において認識判定を
行う。例えば各単語ごとに、各過渡点パラメータ
とクラスタとの最小距離の平均値による単語距離
を求める。なお過渡点の一部脱落を考慮して各単
語は脱落を想定した複数のタイプについて単語距
離を求める。ただし過渡点の順位関係がテーブル
と異なつているものはリジエクトする。そしてこ
の単語距離が最小になる単語を認識判定する。

従つてこの装置によれば音声の過渡点の音韻の
変化を検出しているので、時間軸の変動がなく、
不特定話者について良好な認識を行うことができ
る。

また過渡点において上述のようなパラメータの
抽出を行つたことにより、一つの過渡点を例えば
24次元で認識することができ、認識を極めて容易
かつ正確に行うことができる。

なお上述の装置において120名の話者にて学習
を行い、この120名以外の話者にて上述12単語に
ついて実験を行つた結果、98.2％の平均認識率が
得られた。

さらに上述の例で“はい”の「Ｈ→Ａ」と“８
（ハチ）”の「Ｈ→Ａ」は同じクラスタに分類可能
である。従つて認識すべき言語の音韻数をαとし
てαP²個程度のクラスタをあらかじめ計算してク
ラスタ係数をメモリ装置１７に記憶させておけ
ば、種類の単語の認識に適用でき、多くの語いの
認識を容易に行うことができる。

ところで従来の過渡点検出としては例えば音響
パラメータL_(p)の変化量の総和を用いる方法があ
る。すなわちフレームごとにＰ次のパラメータが
抽出されている場合に、Ｇフレームのパラメータ
をL_(p)（Ｇ）（ｐ＝０，１……Ｐ−１）としたときＴ（Ｇ）＝_p-0 〓^p=0 ｜L_(p)（Ｇ）−L_(p)（Ｇ−１）｜ ……(9′) のような差分量の絶対値の総和を利用して検出を
行う。

ここでＰ＝１次元のときには、第５図Ａ，Ｂに
示すようにパラメータL_(p)（Ｇ）の変化点において
パラメータT_(G)のピークが得られる。ところが例
えばＰ＝２次元の場合に、第５図Ｃ，Ｄに示す０
次，１次のパラメータL₍₀₎（Ｇ）、L₍₁₎（Ｇ）が上述
と同様の変化であつても、それぞれの差分量の変
化が第５図Ｅ，Ｆのようであつた場合に、パラメ
ータT_(G)のピークが２つになつて過渡点を一点に
定めることができなくなつてしまう。これは２次
元以上のパラメータを取つた場合に一般的に起こ
りうる。

また上述の説明ではL_(p)（Ｇ）の変化は第５図Ｈ
のようになり、これから検出されたパラメータ
T_(G)には第５図Ｉに示すように多数の凹凸が生じ
てしまう。

このため上述の方法では、検出が不正確である
と共に、検出のレベルも不安定であるなど、種々
の欠点があつた。

発明の目的本発明はこのような点に鑑み、容易かつ安定な
音声過渡点検出方法を提供するものである。

発明の概要本発明は入力音声信号を人間の聴覚特性に応じ
て等しく重み付けして音響パラメータを抽出し、
この音響パラメータのレベルに対して正規化を行
い、この正規化された音響パラメータを複数フレ
ームにわたつて監視し、上記音響パラメータのピ
ークを検出するようにした音声過渡点検出方法に
おいて、上記複数フレームの中心フレーム及びそ
の前後の所定フレームを除いて音響パラメータの
平均値を求め、該平均値と上記複数フレームの音
響パラメータとの差をそれぞれ求め、該差の総和
を用いて上記音響パラメータのピークを検出する
ことを特徴とするものである。

実施例以下に図面を参照しながら本発明音声過渡点検
出方法の一実施例について説明しよう。

第６図において、第２図のエンフアシス回路１
０からの重み付けされた信号が帯域分割回路２１
に供給され、上述と同様にメルスケールに応じて
Ｎ（例えば20）の帯域に分割され、それぞれの帯
域の信号の量に応じた信号V_(o)（ｎ＝０，１……
Ｎ−１）が取り出される。この信号がバイアス付
き対数回路２２に供給されて v′_(o)＝log（V_(o)＋Ｂ） ……(10) が形成される。また信号V_(o)が累算回路２３に供
給されて V_a＝₂₀ 〓ⁿ⁼¹ V_(o)／20 が形成れ、この信号V_aが対数回路２２に供給さ
れて v′_a＝log（V_a＋Ｂ） ……(11) が形成される。そしてこれらの信号が演算回路２
４に供給されて v_(o)＝v′_a−v′_(o) ……(12) が形成される。

ここで上述のような信号V_(o)を用いることによ
り、この信号は音韻から音韻への変化に対して各
次（ｎ＝０，１……Ｎ−１）の変化が同程度とな
り、音韻の種類による変化量のばらつきを回避で
きる。また対数をとり演算を行つて正規化パラメ
ータv_(o)を形成したことにより、入力音声のレベ
ルの変化によるパラメータv_(o)の変動が排除され
る。さらにバイアスＢを加算して演算を行つたこ
とにより、仮りにＢ→∞とするとパラメータv_(o)
→０となることから明らかなように、入力音声の
微少成分（ノイズ等）に対する感度を下げること
ができる。

このパラメータv_(o)がメモリ装置２５に供給さ
れて2w＋１（例えば９）フレーム分が記憶され
る。この記憶された信号が平均値を求める演算回
路２６に供給される。この場合、この演算回路２
６は複数フレーム2w＋１の中心フレーム（例え
ば５番目のフレーム）及びその前後の所定フレー
ムｚ（例えば１フレーム）を除いて平均値を求め
る如くなされる。この演算回路２６に於いて平均
値信号但しｗ＞ｚが形成され、この平均値信号Y_o,tとパラメータ
v_(o)が演算回路２７に供給されて T_(t)＝_N 〓ⁿ⁼⁰ _w 〓^1=-w ｜v_(o)（Ｉ＋ｔ）−Y_o,t｜^a ……(14) 但しａ≧１が形成される。このT_(t)が過渡点検出パラメータ
であつて、このT_(t)がピーク判別回路２８に供給
されて、入力音声信号の音韻の過渡点が検出さ
れ、出力端子２９に取り出されて例えば第２図の
メモリ装置１４の出力回路に供給される。

ここでパラメータT_(t)が、フレームｔを挾んで
前後ｗフレームずつで定義されているので、不要
な凹凸や多極を生じるおそれがない。更に複数フ
レームの平均値を求め、この平均値よりのこの複
数フレームの夫々の差を求めこれより音響パラメ
ータT_(t)のピークを検出するようにしているので
より安定し過渡点を検出できる。又更に平均値を
得るのに１次元過渡検出パラメータにあまり役に
立つていない複数フレームの中心フレーム及びそ
の前後の所定フレームを除去して演算しているの
でより安定なピーク検出をすることができ安定な
過渡点を検出できる。なお第７図は例えば“ゼ
ロ”という発音を、サンプリング周波数12.5kHz、
12ビツトデジタルデータとし、5.12m secフレー
ム周期で256点のFETを行い、帯域数＝20、バイ
アスＢ＝０、検出フレーム数2w＋１＝９で上述
の検出を行つた場合を示している。第７図Ａは音
声波形、第７図Ｂは音韻、第７図Ｃは検出信号で
あつて、「無音→Ｚ」「Ｚ→Ｅ」「Ｅ→Ｒ」「Ｒ→
Ｏ」「Ｏ→無音」の各過渡部で顕著なピークを発
生する。ここで無音部にノイズによる多少の凹凸
が形成されるがこれはバイアスＢを大きくするこ
とにより破線図示のように略０になる。

こうした音声過渡点が検出されるわけである
が、本発明によれば音韻の種類や入力音声のレベ
ルの変化による検出パラメータの変動が少く、常
に安定な検出を行うことができる。

なお本発明は上述の新規な音声認識方法に限ら
ず、検出された過渡点と過渡点の間の定常部を検
出したり、検出された過渡点を用いて定常部の時
間軸を整合する場合にも適用できる。また音声合
成において、過渡点の解析を行う場合などにも有
効に利用できる。又本発明は上述実施例に限らず
本発明の要旨を逸脱することなくその他種々の構
成が取り得ることは勿論である。

発明の効果本発明に依れば容易かつ安定に音声過渡点を検
出することができる利益がある。

【図面の簡単な説明】

第１図〜第４図は音声認識装置の例の説明に供
する線図、第５図は過渡点検出の説明に供する線
図、第６図は本発明音声過渡点検出方法の一例の
系統図、第７図は本発明の説明に供する線図であ
る。１はマイクロフオン、３はローパスフイルタ、
４はＡ−Ｄ変換回路、５はクロツク発生器、６は
レジスタ、７はカウンタ、８は高速フーリエ変換
回路、９はパワースペクトル検出回路、１０はエ
ンフアシス回路、２１は帯域分割回路、２２は対
数回路、２３，２４，２６，２７は演算回路、２
５はメモリ装置、２８はピーク判別回路、２９は
出力端子である。

Claims

【特許請求の範囲】１入力音声信号を人間の聴覚特性に応じて等し
く重み付けして音響パラメータを抽出し、この音
響パラメータのレベルに対して正規化を行い、こ
の正規化された音響パラメータを複数フレームに
わたつて監視し、上記音響パラメータのピークを
検出するようにした音声過渡点検出方法におい
て、上記複数フレームの中心フレーム及びその前後
の所定フレームを除いて音響パラメータの平均値
を求め、該平均値と上記複数フレームの音響パラ
メータとの差をそれぞれ求め、該差の総和を用い
て上記音響パラメータのピークを検出することを
特徴とする音声過渡点検出方法。