JP2995941B2

JP2995941B2 - 不特定話者用音声認識装置

Info

Publication number: JP2995941B2
Application number: JP3227794A
Authority: JP
Inventors: 香澄堀; 利幸森井; 泰助渡辺
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1991-09-09
Filing date: 1991-09-09
Publication date: 1999-12-27
Anticipated expiration: 2014-12-27
Also published as: JPH0566788A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、不特定話者の音声を認
識するのに使用される不特定話者用音声認識装置に関す
る。

【０００２】

【従来の技術】周知のように、音声認識技術は、発展途
上にある技術で、まだ完成した技術であるとは言えない
が、方式や用途によっては実用されるものも出てきてお
り、各種の機器に音声認識技術が取り入れられるように
なってきている。

【０００３】不特定話者の音声認識では、大体におい
て、入力された音声と登録されている各不特定話者用標
準パターンとを比較して最も似ているものを認識結果と
している。しかし、ユーザの声質は様々であり、話者に
よっては、その話者の音声と標準パターンとの不整合か
ら、認識しにくい場合もある。そのため、現在使用され
ている音声認識装置では、キー入力等のような認識結果
を修正する手段を設けているのが普通である。

【０００４】即ち、従来の不特定話者用音声認識装置
は、例えば図７に示すように、音声・キー入力部４で音
声１がデジタル信号に変換され、パワーが一定値以上の
場合は、この音声信号が音響分析部１０５に入力され、
一定値未満の場合は入力待ちになる。

【０００５】一方、確認キー２が押された場合は、結果
表示部８に表示されているものが認識結果と確定され、
認識が終了される。また、選択キー３の入力があった場
合は、入力値が結果修正部９に入力され、音響分析部１
０５は、音声・キー入力部４から入力された音声信号の
線形予測分析を行い、特徴パラメータを求めることにな
る。マッチング部１０７は、音響分析部１０５で求めた
特徴パラメータと標準パターン格納部１０６に格納され
た標準パターンとのマッチングを行い、最も類似度の高
いものを認識結果として結果表示部８に出力する。結果
修正部９は、音声・キー入力部４から入力する入力値を
認識結果として結果表示部８に出力する。結果表示部８
は、マッチング部７か結果修正部９から出力された認識
結果を表示した後、再び音声・キー入力部４での入力待
ちに戻ることになる。

【０００６】次に、図８のフローチャートを用いて、前
述した不特定話者用音声認識装置の音声認識について説
明すると、Ｓ１で話者は認識させたい単語を発声する
と、この認識結果が結果表示部８に表示されるため、Ｓ
２で正しく認識されたかどうかがチェックされ、正しく
認識された場合は、Ｓ３に進んで確認キー２を押して認
識結果を確定する。認識が誤った場合は、Ｓ２からＳ４
に進んで結果修正の方法がチェックされ、音声入力の場
合はＳ１に戻り、正しい結果が得られるまで発声が繰返
される。また、選択キー３によって正しい結果を選ぶ場
合は、正しい結果が表示されたところで、Ｓ４からＳ３
に進み、確認キー２を押して認識結果を確定される。こ
の場合の選択キーで正しい結果を選ぶ方法としては、認
識させる単語が数字の場合には、＋、−のような選択キ
ーを設けて認識結果を修正したり、結果表示部８に認識
結果以外の単語も表示して、矢印キーのような選択キー
を用いて選択する等が考えられる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来技術のものにあっては、標準パターンが平均的なパタ
ーンであるため、話者によっては常に認識されない単語
が出てくる可能性がある。この場合、話者はその単語を
認識させようとする度に、何度も発声し直したり、キー
選択によって認識結果を選び直すことが必要となり、煩
わしさを感じる場合が多い。

【０００８】本発明の目的は、このような従来の課題を
解決するため、話者が同じ発声を繰り返したかどうかを
判定し、繰り返し発声された単語については、その話者
の音声を個人パターンとして登録することにより、話者
に煩わしさを感じさせずに誤認識を減らすことが可能な
不特定話者用音声認識装置を得るにある。

【０００９】

【課題を解決するための手段】この目的を達成するた
め、本発明は、入力された音声の特徴パラメータを求め
る音響分析部と、音声区間を検出する音声区間検出部
と、不特定話者用標準パターン、仮パターンとその類似
度、および個人パターンを独立に格納する標準パターン
格納部と、前記音声区間検出部より入力音声が検出され
る毎に、入力音声の特徴パラメータと前記標準パターン
格納部に格納された各パターンとのマッチングを行いそ
れぞれ類似度を求め、入力音声と仮パターンで求めた類
似度を前記標準パターン格納部に登録するマッチング部
と、前記入力音声と仮パターンで求めた類似度を登録後
に、前記音声区間検出部で検出された入力音声の特徴パ
ラメータから入力音声の仮パターンを作成し、前記標準
パターン格納部に登録する仮パターン作成部と、前記マ
ッチング部の類似度から認識結果を表示する結果表示部
と、前記認識結果から音声以外の入力手段によって修正
する結果修正部と、前記修正結果が修正された場合また
は前記標準パターン格納部に新たに登録された仮パター
ンの類似度が高い場合は、仮パターンを個人パターンと
して登録する個人パターン登録部とを備える不特定話者
用音声認識装置を提案するものである。

【００１０】

【作用】本発明の構成によれば、話者が同じ発声を二回
以上繰り返した場合に、誤認識をしたことがわかり、発
声を繰り返すか、キー操作で結果を選択するかして最終
的に決定したものが正しい認識結果であることがわか
る。従って、繰り返し発声された音声から作成した仮パ
ターンを、最終的に表示されている結果のパターンと考
え、個人パターンとして登録すればよい。この結果、次
回の認識からは登録した個人パターンが話者の音声に適
合するので、最初に誤認識されたものも、話者にとって
は特別な手段を用いる必要なく、従来の認識作用と同一
に認識されるようになり、話者に煩わしさを感じさせず
に、誤認識を減らすことができる。

【００１１】

【実施例】以下、図１から図６を用いて本発明の実施例
の詳細を説明する。

【００１２】図１は本発明の一実施例における不特定話
者用音声認識装置のブロック図であり、符号１は話者が
発声した音声、２は認識結果の確定を行うための確認キ
ー、３は認識結果を修正するための選択キーであり、４
は音声１、確認キー２、選択キー３のいずれかの入力を
待つ音声・キー入力部をそれぞれ示している。また、同
図中、符号５は音声・キー入力部４から送られた音声信
号の線形予測分析を行い、パワーを求める音響分析部、
６は標準パターン、仮パターン、個人パターンを格納す
る標準パターン格納部、７はマッチング部、８は結果表
示部、９は結果修正部である。そして、１０は音響分析
部５で求めたパワーより音声区間を検出する音声区間検
出部、１２は標準パターン群の共分散行列を格納する共
分散格納部、１１は音声区間検出部１０で検出された音
声区間の音声信号と、共分散格納部に格納された共分散
行列より仮パターンを作成する仮パターン作成部であ
り、１３は確認キー２によって認識結果が確定されたと
きに仮パターンを個人パターンとして標準パターン格納
部６に登録する個人パターン登録部である。

【００１３】なお、図１に示す実施例は、図７に示した
従来の機能を含むので、同一構成部分には同一番号を付
して詳細な説明を省略する。

【００１４】次に、前述した音声認識装置の作用につい
て説明する。まず、音声・キー入力部４では、音声１、
確認キー２、選択キー３のいづれかから入力されるのを
待つ。入力が音声１であった場合は、音声１をデジタル
信号化し、パワーが一定値以上のときは音声信号を音響
分析部５に入力し、一定値未満のときは再び入力待ちと
なる。一方、確認キー２が押された場合は、個人パター
ン登録部１３に入力が行われ、選択キー３が押された場
合は結果修正部９に入力が行われる。

【００１５】音響分析部５は、音声・キー入力部４から
入力する音声信号を一定の長さにフレーミングし、線形
予測分析よりＬＰＣケプストラムパラメータを求め、マ
ッチング部７に入力を行うと同時に、各フレームのパワ
ーを求め、音声区間検出部１０に入力させる。また、マ
ッチング部７は、音響分析部５から入力する音声信号
と、標準パターン格納部６に格納された単語のパターン
とのマッチングを行い、最も類似度の大きいものを認識
結果とする。即ち、標準パターン格納部６は、図２に示
すように、（ａ）に仮パターン及び仮パターンと音声信
号の類似度、（ｂ）に不特定話者用の標準パターン（固
定）、（ｃ）に個人用のパターンを格納している。
（ａ）の内容は発声のある毎に更新され、（ｂ）の内容
は常に不変である。また、（ｃ）の内容は個人パターン
の登録が行われる毎に更新され、登録できるパターンの
数には制限がある。なお、（ｂ）の不特定話者用標準パ
ターンと（ｃ）の個人パターンは、電源が切れても失わ
れないようにデータ保持機能をもっている。

【００１６】マッチング部７の機能につき説明すると、
同じ言葉を発声しても、発声の時間的な長さ（音声長）
は発声方法によっても異なるし、人の違いによっても異
なる。そこで、パターンマッチングによる音声認識方法
では、入力音声の長さを標準的な音声長に正規化した上
で、類似度計算を行なって音声の認識を行なう。図３
は、音声長の正規化の様子を示したものであり、入力音
声の長さの最小長をＮ₁、最大長をＮ₂ とし、音声の標
準的な長さ（標準パターン長）をＩとすると、図３に示
すように、長さＮ（Ｎ₁ ≦Ｎ≦Ｎ₂ ）の音声長を伸縮し
て長さＩに正規化することになる。図５では、音声の終
端を一致させて伸縮するようになっている。伸縮には
（数１）に示す線形伸縮式を用いる。

【００１７】

【数１】

【００１８】未知入力と標準パターンの類似度を計算す
る場合は、未知入力の音声長Ｎを（数１）によって標準
パターン長に伸縮することになるが、この様子を図示し
たのが図４である。横軸に入力長、縦軸に標準パターン
長をとり、終端を一致させると、入力音声長はＮ₁ 〜Ｎ
₂ の範囲であるから、入力と標準パターンとのマッチン
グルートは、入力長のＮ₁ ≦Ｎ≦Ｎ₂ 内の１点を始点と
し、Ｐを終端とする直線となる。従って、類似度計算は
全て三角形の内側で行われることになる。

【００１９】いま、時間長Ｎu の未知入力があり、その
内容が音声ｋであったとする。ただし、未知入力の終端
は既知であるが、始端は未知である（従って、Ｎu も未
知である）とする。この未知入力と単語ｋの標準パター
ンＳk の照合を行う場合は、音声長ＮをＮ₁ からＮ₂ ま
で、１フレームずつずらせながら、各フレームに対して
（数１）を用いて時間長をＩに伸縮し、未知入力パラメ
ータと標準パターンとの類似度を求める。このとき標準
パターンはＳk であるので、発声が正確であるなら、Ｎ
＝Ｎu において類似度は最大となるはずである。

【００２０】一方、図４においては、終端が既知として
説明したが、両端が未知の場合、即ち音声区間が不明で
ある場合にも、この方法を拡張することができる。図５
は、その説明図であり、終端点の横軸（入力の時間軸）
座標をｊとする。ここで、仮にｊの位置が入力音声の終
端に一致していれば、図４の場合と同じであるが、今度
は両端点が未知という仮定であるので、必ずしもｊが音
声の終端点と一致するとは限らない。

【００２１】しかしながら、ｊを音声区間が十分に入る
広い範囲、ｊ₁ ≦ｊ≦ｊ₂ でスキャンすれば、ｊが音声
の終端と一致する時点、ｊ＝ｊ₀ が必ず存在する。その
場合に、始端点はｊ₀ −Ｎ₂ 〜ｊ₀ −Ｎ₁ の範囲内の
点、ｊ₀ −Ｎu に存在するはずである。そして、このよ
うに走査した場合においても、発声した言葉と標準パタ
ーンが一致していれば、始端がｊ₀ −Ｎu 、終端がｊ₀
のときの類似度が、他のどのようなｊおよびＮの組合わ
せよりも大きくなる。しかも、この類似度は他の標準パ
ターンに対する類似度よりも大きい。

【００２２】前述したように、図５に示した方法は、騒
音と音声が混在した信号から、標準パターンに最も類似
した部分を切り出すことができる。従って、一般に用い
られているような複雑な音声区間検出の手続きを必要と
しない。

【００２３】類似度の計算は、以下に説明するように、
特徴パラメータの時系列パターンを用い、統計的距離尺
度（事後確率に基づく距離）によって計算する。１フレ
ームあたりの特徴パラメータの個数をＤとすると、Ｉフ
レームの時系列パターンは、Ｄ×Ｉ次元のベクトルとな
る。いま、未知入力の第ｉフレームのパラメータを、

【００２４】

【外１】

【００２５】単語ｋの標準パターンの第ｉフレームの成
分を、

【００２６】

【外２】

【００２７】とすると、それぞれ（数２）、（数３）で
求められる。

【００２８】

【数２】

【００２９】

【数３】

【００３０】時系列パターンをそれぞれ、

【００３１】

【外３】

【００３２】とすると、（数４）、（数５）で求められ
る。

【００３３】

【数４】

【００３４】

【数５】

【００３５】単語ｋに対する類似度をＬk とすると、次
式で求められる。

【００３６】

【数６】

【００３７】ここで、フレーム番号をｊとし、入力音声
を含む十分広い区間ｊ₁ ≦ｊ≦ｊ₂で、類似度の計算を
行なうものとする。１フレームの期間で次の操作を行
う。標準パターン格納部６に格納された単語数をＫとす
る。一つの標準パターンに対して、各単語の最小音声区
間長Ｎ₁ （ｋ）と最大音声区間長Ｎ₂ （ｋ）を設定す
る。そして、区間長Ｎ（Ｎ₁(k)≦Ｎ＜Ｎ₂(k)）に対し
て、音響分析部５で得られた未知入力パラメータを、ｊ
−Ｎ〜ｊフレームの時間分だけ並べて、入力パラメータ
の時系列を作り、時系列パラメータの時間を（数１）を
用いてＩフレームに伸縮し、（数４）に相当するパラメ
ータ系列を得る。このパラメータ系列と、標準パターン
格納部６中の標準パターン、

【００３８】

【外４】

【００３９】との間で（数６）を用いて類似度Ｌk
（Ｎ）を計算する。そして、Ｌｋ（Ｎ）と、この時点ま
での単語ｋに対する最大類似度値max Ｌk を比較し、Ｌ
k （Ｎ）＞max Ｌk ならば、max Ｌk をＬk （Ｎ）に置
き代える。

【００４０】このような一連の操作を、１つの標準パタ
ーンに対して、Ｎ₂(k)−Ｎ₁(k)＋１回ずつ、１フレーム
の間にＫ個の標準パターンに対して行う。そして、区間
長Ｎ ₁(k)と最大音声区間長Ｎ₂(k)を設定する。

【００４１】対象とする入力の全区間（ｊ＝ｊ₁ 〜ｊ
₂ ）に対してこのような操作を行うと、ｊ＝ｊ₂ フレー
ムを終了した時点では、（数７）に示す、全区間ｊ₁ 〜
ｊ₂ における各標準パターンに対する類似度の最大値の
列、

【００４２】

【外５】

【００４３】が求められる。

【００４４】

【数７】

【００４５】このうち、標準パターン格納部６中の不特
定話者用と、個人用の標準パターンから最大の類似度を
持つものを認識結果として結果表示部８に出力する。同
時に、仮パターンの類似度を標準パターン格納部６に格
納する。なお、（数６）中の、

【００４６】

【外６】

【００４７】は単語ｋの標準パターンであり、（数
８）、（数９）で示される。

【００４８】

【数８】

【００４９】

【数９】

【００５０】ただし、

【００５１】

【外７】

【００５２】は単語ｋの平均値ベクトル、

【００５３】

【外８】

【００５４】は、全ての単語の周囲情報の平均値ベクト
ルである。また、

【００５５】

【外９】

【００５６】は、共分散行列であり、各単語の共分散行
列、

【００５７】

【外１０】

【００５８】と周囲情報の共分散行列、

【００５９】

【外１１】

【００６０】を用いて（数１０）で作成できる。

【００６１】

【数１０】

【００６２】

【外１２】

【００６３】は、各単語に属する多くのサンプルを用い
て次のように作成する。図６に示すように、音声とその
周囲の区間に対して、１フレームずつずらせながら複数
の区間（区間長は１フレーム）を設定する。このような
操作を各単語の多くのサンプルに対して行ない、それら
の区間のパラメータの平均値ベクトル、

【００６４】

【外１３】

【００６５】と共分散行列、

【００６６】

【外１４】

【００６７】を作成する。

【００６８】

【外１５】

【００６９】の値は、後述する仮パターン作成部１１で
仮パターンを作成する際に必要となるので、あらかじめ
共分散格納部１２に格納しておく。

【００７０】一方、音声区間検出部１０は、音響分析部
５から入力するパワー情報より、一定のしきい値以上の
値のパワーが一定時間以上継続したか否かで、入力され
た音声信号の音声区間を検出する。また、検出した音声
区間は、仮パターン作成部１１に入力する。仮パターン
作成部１１は、音声区間検出部１０から入力する音声区
間の音声信号から仮パターンを作成する。仮パターン、

【００７１】

【外１６】

【００７２】は、（数８）、（数９）中の単語ｋの平均
値ベクトル、

【００７３】

【外１７】

【００７４】の代わりに、検出した音声区間の時間軸を
正規化し、時系列パターンのベクトル

【００７５】

【外１８】

【００７６】を求め、また共分散格納部６に格納された
共分散行列、

【００７７】

【外１９】

【００７８】と、周辺情報の平均値ベクトル、

【００７９】

【外２０】

【００８０】を用いて、

【００８１】

【数１１】

【００８２】

【数１２】

【００８３】より求める。この仮パターン作成部１１で
作成された仮パターンは、マッチング部７で認識結果が
得られた後に、標準パターン格納部６に格納される。

【００８４】結果修正部９は、音声・キー入力部４から
入力する入力値を認識結果として結果表示部８に出力す
る。結果表示部８は、マッチング部７と結果修正部９の
いづれから出力される認識結果を表示する。その後、再
び音声・キー入力部４で入力待ちの状態に戻る。

【００８５】個人パターン登録部１３は、結果修正部９
で修正された場合または標準パターン格納部６中の仮パ
ターンの類似度が一定値以上の場合には、誤認識が起こ
って同じ単語を言い直したものと判断し、その仮パター
ンを結果表示部８に表示されている単語の個人パターン
として標準パターン格納部６に格納する。

【００８６】話者が単語を言い間違えた場合には、標準
パターン登録部６中の仮パターンの類似度から、言い間
違えであることが明らかにわかるので、仮パターンは個
人パターンとして登録されることはない。また、最低で
も同じ単語の発声を二回以上繰り返して発声しなければ
個人パターンは登録されないので、誤った個人パターン
を登録してしまうのを避けることができる。

【００８７】このように個人パターンを登録することに
より、次回の認識からは話者に適合したパターンを用い
ることができ、誤認識を減らすことができる。個人パタ
ーン登録部１３で個人パターンの登録が済むと、認識処
理は終了となる。ただし、標準パターン格納部６中の個
人パターンがいっぱいになった場合は、使用頻度の少な
い個人パターンから削除して、新しい個人パターンを登
録する。

【００８８】

【発明の効果】以上説明したように、本発明によれば、
話者の音声の仮パターンを作成し、同時に話者の発声か
ら誤認識を自動的に検出し、認識されない音声の仮パタ
ーンを個人パターンとして登録して不特定話者用標準パ
ターンに付加することにより、話者に適合したパターン
を作るように構成されるので、従来の音声認識装置の操
作手順と変わることなく、発声し直したり、選択キーに
よって結果を修正する手間を減らすことができる。ま
た、話者に煩わしさを感じさせずに繰り返し同じ誤認識
が起こることを防ぐことが可能な、優れた不特定話者用
音声認識装置を実現することができる。

【図面の簡単な説明】

【図１】本発明の一実施例における不特定話者用音声認
識装置のブロック図

【図２】同実施例における標準パターン格納図

【図３】同実施例における音声区間長の伸縮概念図

【図４】同実施例における音声区間長の他の伸縮概念図

【図５】同実施例における音声区間長の別の伸縮概念図

【図６】同実施例における標準パターン作成時の周囲情
報標準パターン作成概念図

【図７】従来の音声認識装置のブロック図

【図８】同音声認識装置のフローチャート

【符号の説明】

１音声２確認キー３選択キー４音声・キー入力部５音響分析部６標準パターン格納部７マッチング部８結果表示部９結果修正部１０音声区間検出部１１仮パターン作成部１２共分散格納部１３個人パターン登録部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭63−229496（ＪＰ，Ａ) 特開昭59−93500（ＪＰ，Ａ) 特開平３−146999（ＪＰ，Ａ) 特開平４−280299（ＪＰ，Ａ) 特開昭63−169698（ＪＰ，Ａ) 特開昭63−53599（ＪＰ，Ａ) 特開昭58−4198（ＪＰ，Ａ) 特開昭58−160994（ＪＰ，Ａ) 特開昭59−119396（ＪＰ，Ａ) 特開平４−254896（ＪＰ，Ａ) 特開平５−108091（ＪＰ，Ａ) 実開昭62−164400（ＪＰ，Ｕ) 特許2639249（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G10L 3/00 561 G10L 3/00 521 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】入力された音声の特徴パラメータを求め
る音響分析部と、音声区間を検出する音声区間検出部
と、不特定話者用標準パターン、仮パターンとその類似
度、および個人パターンを独立に格納する標準パターン
格納部と、前記音声区間検出部より入力音声が検出され
る毎に、入力音声の特徴パラメータと前記標準パターン
格納部に格納された各パターンとのマッチングを行いそ
れぞれ類似度を求め、入力音声と仮パターンで求めた類
似度を前記標準パターン格納部に登録するマッチング部
と、前記入力音声と仮パターンで求めた類似度を登録後
に、前記音声区間検出部で検出された入力音声の特徴パ
ラメータから入力音声の仮パターンを作成し、前記標準
パターン格納部に登録する仮パターン作成部と、前記マ
ッチング部の類似度から認識結果を表示する結果表示部
と、前記認識結果から音声以外の入力手段によって修正
する結果修正部と、前記修正結果が修正された場合また
は前記標準パターン格納部に新たに登録された仮パター
ンの類似度が高い場合は、仮パターンを個人パターンと
して登録する個人パターン登録部とを備えることを特徴
とする不特定話者用音声認識装置。