JP3452443B2

JP3452443B2 - 騒音下音声認識装置及び騒音下音声認識方法

Info

Publication number: JP3452443B2
Application number: JP06821096A
Authority: JP
Inventors: 鈴木　　忠
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1996-03-25
Filing date: 1996-03-25
Publication date: 2003-09-29
Anticipated expiration: 2016-03-25
Also published as: JPH09258768A; US5749068A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、騒音環境下で発声
され、雑音が重畳した音声を対象とする音声認識装置及
び音声認識方法に関するものである。

【０００２】

【従来の技術】音声認識においては、音声のスペクトル
情報に基づく照合処理が行われる。このため、照合用の
音声モデルの学習に用いた好適環境、即ち、照合用の音
声データが発声された好適環境とは異なる騒音環境にお
いて発声された音声を認識対象する場合がある。この場
合、音声信号に重畳する環境騒音信号の影響により、認
識性能が大きく劣化する。

【０００３】この問題に対し、入力信号中の非音声区間
から雑音の様態を学習した上で、音声区間中にも同じ雑
音が重畳していると仮定してこの雑音の成分をパワース
ペクトル上で除去する手法がある。図２３は、文献「日
本音響学会編音響工学講座改訂音声」（中田和男、コ
ロナ社、Ｐ．１３０−１３１）に示されているスペクト
ル差引法を用いる騒音下音声認識装置の構成図の一例で
ある。図において、３は入力端１から入力される雑音重
畳音声信号２００に対しスペクトル分析を行い雑音重畳
音声スペクトル時系列２０１を出力するスペクトル演算
手段、４は予め用意された推定重畳雑音スペクトル５を
用いて、雑音重畳音声スペクトル時系列２０１から雑音
成分を除去し、雑音除去音声スペクトル時系列２０２を
出力する雑音スペクトル除去手段、６は雑音除去音声ス
ペクトル時系列２０２から雑音除去音声特徴ベクトル時
系列２０３を求める特徴ベクトル演算手段、７は雑音除
去音声特徴ベクトル時系列２０３と参照モデルメモリ８
に記憶されている照合用音声モデル２０４との照合処理
を行い、最も尤度が高くなる照合用音声モデル２０４の
カテゴリを認識結果９として出力する照合手段である。

【０００４】また、図２４は、図２３の音声認識装置に
おいて、推定重畳雑音スペクトル５を生成する手段とし
て、平均スペクトル演算手段１０を用いた騒音下音声認
識装置の構成図の一例である。平均スペクトル演算手段
１０は、スペクトル演算手段３の出力である雑音重畳音
声スペクトル時系列２０１を用いて推定重畳雑音スペク
トル５を求め、雑音スペクトル除去手段４に出力する。
図２５は、入力端１から入力された雑音重畳音声信号２
００と分析フレームの関係を示す図である。図２６は、
音声区間Ｔ２，Ｔ４と雑音区間Ｔ１，Ｔ３を示す図であ
る。

【０００５】次に、動作について説明する。照合用音声
モデル２０４は、予め静かな環境で発声され雑音重畳が
ない音声データを用いて作成され、参照モデルメモリ８
に格納されている。入力端１から入力された雑音重畳音
声信号２００は、スペクトル演算手段３において、分析
フレームＦ１，Ｆ２，・・・，Ｆｉ，・・・，ＦＩ毎に
パワースペクトルが計算され、雑音重畳音声スペクトル
時系列２０１として出力される。雑音スペクトル除去手
段４では、この雑音重畳音声スペクトル時系列２０１の
各雑音重畳音声スペクトルに対し、雑音のパワースペク
トルとして推定重畳雑音スペクトル５が重畳していると
見なして、式（１）に示す雑音除去処理が施される。

【０００６】

【数１】

【０００７】ここで、Ｓ（ω）は雑音除去音声スペクト
ルの周波数ωにおけるパワー、Ｘ（ω）は雑音重畳音声
スペクトルの周波数ωにおけるパワー、Ｎ（ω）は推定
重畳雑音スペクトルの周波数ωにおけるパワーである。
αは正の値をとり雑音成分を除去する程度を表すパラメ
ータで、認識精度を最大にするように調整される。な
お、ｍａｘ｛．．．｝は、カンマで区切られたかっこ内
の要素の中で最も大きい値を返す関数である。

【０００８】特徴ベクトル演算手段６は、雑音スペクト
ル除去手段４が出力した雑音除去音声スペクトル時系列
２０２の各雑音除去音声スペクトルに対し、特徴ベクト
ル演算処理を施し、自己相関係数やＬＰＣ（Ｌｉｎｅａ
ｒＰｒｅｄｉｃｔｉｖｅＣｏｄｉｎｇ）ケプストラム
などの、音声認識において用いられる音響的な特徴を示
すベクトルに変換する。これを全ての雑音除去音声スペ
クトル時系列２０２に施し、雑音除去音声特徴ベクトル
時系列２０３として出力する。

【０００９】照合手段７は、特徴ベクトル演算手段６が
出力した雑音除去音声特徴ベクトル時系列２０３に対
し、参照モデルメモリ８に格納されている照合用音声モ
デル２０４との照合を行い、最大尤度を与える照合用音
声モデル２０４のカテゴリを認識結果９として出力す
る。

【００１０】また、平均スペクトル演算手段１０は、ス
ペクトル演算手段３の出力であるところの雑音重畳音声
スペクトル時系列２０１を入力として、図２６に示すよ
うに、雑音重畳音声スペクトル時系列２０１の中で音声
でない区間、例えば、音声区間の直前の雑音区間Ｔ１
や、音声発声中の休止区間に生ずる雑音区間Ｔ３などに
あたる１つ以上の雑音重畳音声スペクトルを各周波数毎
に平均し、推定重畳雑音スペクトル５として出力する。

【００１１】以上の動作により、入力される雑音重畳音
声信号２００のスペクトル分析の結果である雑音重畳音
声スペクトル時系列２０１の音声区間Ｔ２又はＴ４の各
雑音重畳音声スペクトルに、音声発声直前などの雑音区
間Ｔ１又はＴ３の平均パワースペクトルが重畳している
と見なして、パワースペクトル上で雑音成分を除去した
上で、雑音無し照合モデルとの照合処理が施され、認識
結果が得られる。

【００１２】

【発明が解決しようとする課題】従来の装置は、以上の
ように構成されているため、音声発声直前などの雑音区
間Ｔ１，Ｔ３の平均パワースペクトルと、実際の音声区
間Ｔ２，Ｔ４の音声に重畳している雑音のパワースペク
トルとの差が小さい場合、即ち、環境騒音の変動が小さ
い場合は、比較的良好に動作する。しかし、音声認識装
置使用者が音声の入力端である音声入力マイクの装着動
作中であったり、騒音源が移動物であるなど、音声信号
の入力端と騒音源との距離が経時変化する場合や、環境
騒音が非定常で変動が大きい場合は、音声発声直前など
から得られる平均パワースペクトルと、実際に音声に重
畳してる雑音のパワースペクトルとの誤差が大きくな
り、認識性能が劣化するという問題があった。

【００１３】本発明は、上記の問題を解決するためにな
されたもので、雑音重畳音声スペクトル時系列２０１の
各雑音重畳音声スペクトル毎に、雑音信号を表す雑音モ
デルと雑音無し音声を表す雑音無し音声モデルとを用い
て、推定重畳雑音スペクトルを求めるようにすること
で、環境騒音の変動や騒音源と音声入力マイクとの距離
変動による認識性能劣化に対処することを目的としてい
る。

【００１４】

【課題を解決するための手段】この発明に係る騒音下音
声認識装置は、雑音モデルを記憶する雑音モデルメモリ
と、雑音無し音声モデルを記憶する音声モデルメモリ
と、照合用音声モデルを記憶する参照モデルメモリと、
雑音重畳音声信号を入力し音響分析を施し、雑音重畳音
声特徴ベクトル時系列を出力する音響分析手段と、前記
音響分析手段の出力である雑音重畳音声特徴ベクトル時
系列に対し、雑音モデルメモリに記憶されている雑音モ
デルと、音声モデルメモリに記憶されている雑音無し音
声モデルとを用いて、重畳雑音推定処理を行い、推定重
畳雑音スペクトルを出力する重畳雑音推定手段と、雑音
重畳音声信号を入力しスペクトル分析を施し、雑音重畳
音声スペクトル時系列を出力するスペクトル演算手段
と、前記スペクトル演算手段の出力である雑音重畳音声
スペクトル時系列に対し、前記重畳雑音推定手段の出力
である推定重畳雑音スペクトルを用いて雑音のスペクト
ル成分を除去する雑音スペクトル除去手段と、前記雑音
スペクトル除去手段の出力である雑音除去音声スペクト
ル時系列から、特徴ベクトルを演算し、雑音除去音声特
徴ベクトル時系列を出力する特徴ベクトル演算手段と、
前記特徴ベクトル演算手段の出力である雑音除去音声特
徴ベクトル時系列に対し、参照モデルメモリに記憶され
ている照合用音声モデルとの照合を行い、最も尤度が高
くなる照合用音声モデルを認識結果として出力する照合
手段とで構成されることを特徴とする。

【００１５】前記重畳雑音推定手段は、音響分析手段の
出力である雑音重畳音声特徴ベクトル時系列を入力とし
て、雑音モデルメモリに記憶されている雑音モデルと、
音声モデルメモリに記憶されている雑音無し音声モデル
とを用いて、各雑音重畳音声特徴ベクトルの推定ＳＮ比
を演算する推定ＳＮ比演算手段と、前記推定ＳＮ比演算
手段の出力である推定ＳＮ比に従って、雑音モデルメモ
リに記憶されている雑音モデルと音声モデルメモリに記
憶されている雑音無し音声モデルとの合成を行い、雑音
重畳音声モデルを生成する雑音重畳音声モデル生成手段
と、前記雑音重畳音声モデル生成手段の出力である雑音
重畳音声モデルと、前記推定ＳＮ比演算手段において推
定ＳＮ比演算の対象となった雑音重畳音声特徴ベクトル
との照合を行い尤度を求め照合データとして出力する尤
度演算手段と、前記尤度演算手段から出力される照合デ
ータを用いて、各雑音重畳音声特徴ベクトルと雑音モデ
ルと雑音無し音声モデルとの３者の組み合わせに対する
重みデータを演算する重みデータ演算手段と、前記重み
データ演算手段から出力される重みデータと、前記推定
ＳＮ比演算手段の出力である推定ＳＮ比と、雑音重畳音
声特徴ベクトル時系列と、雑音モデルとを用いて、推定
重畳雑音スペクトルを生成する雑音スペクトル生成手段
とで構成されることを特徴とする。

【００１６】前記雑音モデルメモリに記憶される雑音モ
デルとして、１個以上の雑音スペクトルと各雑音スペク
トルに対応する特徴ベクトルを用いたことを特徴とす
る。

【００１７】前記音声モデルメモリに記憶される雑音無
し音声モデルとして、１個以上の雑音無し音声特徴ベク
トルを用いたことを特徴とする。

【００１８】前記音声モデルメモリに記憶される雑音無
し音声モデルとして、音節のモデルを相互に接続したモ
デルを用いたことを特徴とする。

【００１９】前記尤度演算手段は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算手段は、前記尤度演算手段が
出力した照合データの中から、最も尤度の高いものを選
択して重みデータを演算することを特徴とする。

【００２０】前記尤度演算手段は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算手段は、前記尤度演算手段が
出力した照合データの中から、尤度の高いものを順に複
数個選択して重みデータを演算することを特徴とする。

【００２１】前記尤度演算手段は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算手段は、前記尤度演算手段が
出力した照合データの中から、尤度の高いものを順に複
数個選択し、同一の雑音モデルにより得られた尤度を重
み付け加算し、この重み付け加算の結果の値が最も大き
い雑音モデルを求めて重みデータを演算することを特徴
とする。

【００２２】この発明に係る騒音下音声認識方法は、雑
音モデルを記憶する雑音モデルメモリと、雑音無し音声
モデルを記憶する音声モデルメモリと、照合用音声モデ
ルを記憶する参照モデルメモリとを備え、雑音重畳音声
信号を入力し音響分析を施し、雑音重畳音声特徴ベクト
ル時系列を出力する音響分析工程と、前記音響分析工程
の出力である雑音重畳音声特徴ベクトル時系列に対し、
雑音モデルメモリに記憶されている雑音モデルと、音声
モデルメモリに記憶されている雑音無し音声モデルとを
用いて、重畳雑音推定処理を行い、推定重畳雑音スペク
トルを出力する重畳雑音推定工程と、雑音重畳音声信号
を入力しスペクトル分析を施し、雑音重畳音声スペクト
ル時系列を出力するスペクトル演算工程と、前記スペク
トル演算工程の出力である雑音重畳音声スペクトル時系
列に対し、前記重畳雑音推定工程の出力である推定重畳
雑音スペクトルを用いて雑音のスペクトル成分を除去す
る雑音スペクトル除去工程と、前記雑音スペクトル除去
工程の出力である雑音除去音声スペクトル時系列から特
徴ベクトルを演算し、雑音除去音声特徴ベクトル時系列
を出力する特徴ベクトル演算工程と、前記特徴ベクトル
演算工程の出力である雑音除去音声特徴ベクトル時系列
に対し、参照モデルメモリに記憶されている照合用音声
モデルとの照合を行い、最も尤度が高くなる照合用音声
モデルを認識結果として出力する照合工程とで構成され
ることを特徴とする。

【００２３】前記重畳雑音推定工程は、音響分析工程の
出力である雑音重畳音声特徴ベクトル時系列を入力とし
て、雑音モデルメモリに記憶されている雑音モデルと、
音声モデルメモリに記憶されている雑音無し音声モデル
とを用いて、各雑音重畳音声特徴ベクトルの推定ＳＮ比
を演算する推定ＳＮ比演算工程と、前記推定ＳＮ比演算
工程の出力である推定ＳＮ比に従って、雑音モデルメモ
リに記憶されている雑音モデルと音声モデルメモリに記
憶されている雑音無し音声モデルとの合成を行い、雑音
重畳音声モデルを生成する雑音重畳音声モデル生成工程
と、前記雑音重畳音声モデル生成工程の出力である雑音
重畳音声モデルと、前記推定ＳＮ比演算工程において推
定ＳＮ比演算の対象となった雑音重畳音声特徴ベクトル
との照合を行い尤度を求め照合データとして出力する尤
度演算工程と、前記尤度演算工程から出力される照合デ
ータを用いて、各雑音重畳音声特徴ベクトルと雑音モデ
ルと雑音無し音声モデルとの３者の組み合わせに対する
重みデータを演算する重みデータ演算工程と、前記重み
データ演算工程から出力される重みデータと、前記推定
ＳＮ比演算工程の出力である推定ＳＮ比と、雑音重畳音
声特徴ベクトル時系列と、雑音モデルとを用いて、推定
重畳雑音スペクトルを生成する雑音スペクトル生成工程
とで構成されることを特徴とする。

【００２４】前記尤度演算工程は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算工程は、照合データの中か
ら、最も尤度の高いものを選択して重みデータを演算す
ることを特徴とする。

【００２５】前記尤度演算工程は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算工程は、照合データの中か
ら、尤度の高いものを順に複数個選択して重みデータを
演算することを特徴とする。

【００２６】前記尤度演算工程は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算工程は、照合データの中か
ら、尤度の高いものを順に複数個選択し、同一の雑音モ
デルにより得られた尤度を重み付け加算し、この重み付
け加算の結果の値が最も大きい雑音モデルを求めて重み
データを演算することを特徴とする。

【００２７】

【発明の実施の形態】

実施の形態１．図１は、この発明に係る音声認識システ
ムの構成図である。音声認識システム６０は、ディスプ
レイユニット６１、キーボード６２、マウス６３、マウ
スパット６４、システムユニット６５、音声入力マイク
６６、音声認識装置１００を備えている。この発明の音
声認識システムは、例えば、図１に示すように、音声入
力マイク６６から入力した音声を音声認識装置１００で
認識し、認識した音声をシステムユニット６５に転送
し、ディスプレイユニット６１に文字として表示するも
のである。しかし、この発明に係る音声認識システム
は、このようにパーソナルコンピューターやワークステ
ーションと一緒に用いられる必要はなく、以下に述べる
音声認識装置１００が用いられるシステムであれば、ど
のような形式のものであっても良い。例えば、音声入力
マイク６６の代わりに、テープレコーダを入力装置にし
ても構わないし、ネットワークからの音声データを入力
するようにしても構わない。また、入力するデータは、
アナログデータであっても構わないし、デジタルデータ
であっても構わない。また、音声認識装置１００は、独
立した筐体で存在しても構わないが、システムユニット
６５の内部に納められているものでも構わないし、その
他の測定機や計算機のシステムボードの一部分として存
在している場合であっても構わない。また、認識結果を
文字として表示する場合に限らず、認識結果に基づいて
データ検索や加工作業や測定作業を行わせるようにして
も良い。

【００２８】図２は、本発明に係る騒音下の音声認識装
置１００の一実施の形態の構成を示すブロック図であ
る。図において、１１は入力端１から入力される雑音重
畳音声信号２００に対し音響分析を行い、雑音重畳音声
特徴ベクトル時系列１２０を出力する音響分析手段、１
３は雑音無し音声を表す雑音無し音声モデルを記憶して
いる音声モデルメモリ、１４は雑音を表す雑音モデルを
記憶している雑音モデルメモリ、１５は音響分析手段１
１から出力された雑音重畳音声特徴ベクトル時系列１２
０に対し、雑音モデルメモリに記憶されている雑音モデ
ル１２１と、音声モデルメモリに記憶されている雑音無
し音声モデル１２２を用いて、重畳雑音推定を行い、推
定重畳雑音スペクトル５を出力する重畳雑音推定手段で
ある。他の構成要素は、従来例と同じである。

【００２９】図３は、本発明に係る騒音下の音声認識装
置１００における重畳雑音推定手段１５の一実施の形態
の構成を示すブロック図である。図において、１６は音
響分析手段１１の出力であるところの雑音重畳音声特徴
ベクトル時系列１２０の各雑音重畳音声特徴ベクトルに
対し、音声モデルメモリ１３に記憶されている雑音無し
音声モデル１２２と、雑音モデルメモリ１４に記憶され
ている雑音モデル１２１を用いて推定ＳＮ（シグナルノ
イズ）比１３０を演算する推定ＳＮ比演算手段、１７は
推定ＳＮ比演算手段１６の出力である推定ＳＮ比データ
に従い、雑音無し音声モデル１２２と雑音モデル１２１
の合成を行い、雑音重畳音声モデル１３１を生成する雑
音重畳音声モデル生成手段、１８は生成された雑音重畳
音声モデル１３１と雑音重畳音声特徴ベクトル時系列１
２０との照合を行い、各雑音重畳音声特徴ベクトルと雑
音重畳音声モデル１３１との対応付けデータと尤度を求
め、照合データ１３２として出力する尤度演算手段、１
９は尤度演算手段１８の出力である照合データ１３２を
入力とし、尤度最大基準重みデータ１３３を作成する最
大尤度選択型重みデータ演算手段、２０は雑音重畳音声
特徴ベクトル時系列１２０と、推定ＳＮ比演算手段の出
力である推定ＳＮ比データと、最大尤度選択型重みデー
タ演算手段１９の出力である重みデータ１３３と、雑音
モデルメモリ１４に記憶されている雑音モデル１２１を
用いて、推定重畳雑音スペクトル５を生成する雑音スペ
クトル生成手段である。

【００３０】次に、動作について説明する。まず、図４
を用いて自己相関係数、正規化自己相関係数について説
明する。図４は、分析フレームＦ１を示す図である。分
析フレームＦ１において、Ａ個のサンプリングを行い、
各サンプリングにおける特徴ベクトルの値をＢ（１），
Ｂ（２），・・・，Ｂ（ａ），・・・，Ｂ（Ａ）とす
る。自己相関係数は、自分自身の特徴ベクトルの値Ｂ
（ａ）と、自分自身からｋだけ離れた特徴ベクトルの値
Ｂ（ａ＋ｋ）を積算し、その総和を取ることにより求め
られる。即ち、自己相関係数ｚ（ｋ）は、式（２）のよ
うにして求められる。

【００３１】

【数２】

【００３２】ここで、ｋは次元を表し、ｋ＝０は０次元
を示す。即ち、ｚ（０）は０次元の自己相関係数を示
し、０次の自己相関係数は、式（３）に示すように、特
徴ベクトルの値Ｂ（ａ）²の総和となる。

【００３３】

【数３】

【００３４】この０次の自己相関係数は、パワーを示す
値である。そして、自己相関係数ｚ（ｋ）をパワーで正
規化したものが、式（４）に示すように、正規化自己相
関係数ｚｎ（ｋ）である。

【００３５】

【数４】

【００３６】そして、このようにして求められた正規化
自己相関係数を０次から一例として１５次までベクトル
化したものが、式（５）に示す正規化自己相関係数ベク
トルＺである。

【００３７】

【数５】

【００３８】なお、自己相関係数は、分析フレームＦ１
におけるパワースペクトルを逆フーリエ変換して求めて
も構わない。図４に示した場合は、分析フレームＦ１か
ら正規化自己相関係数ベクトルを求める場合を説明した
が、雑音無し音声及び雑音についても同様にして正規化
自己相関係数ベクトルを求めることができる。

【００３９】以下に、この実施の形態の具体的動作につ
いて説明する。図５に示すように、予め、雑音無し音声
の代表的なパワースペクトル、例えば、母音「あ」
「い」「う」「え」「お」や種々の子音のパワースペク
トルを複数個（Ｍ個）求め、それぞれ対応する正規化自
己相関係数ベクトルを、雑音無し音声モデル１２２とし
て音声モデルメモリ１３に格納しておく。即ち、音声モ
デルメモリに記憶される雑音無し音声モデルとして、１
個以上の雑音無し音声特徴ベクトルを記憶している。第
ｍ正規化自己相関係数ベクトルをＳｍ（１≦ｍ≦Ｍ）と
する。雑音無し音声において、それぞれの代表点にあた
る正規化自己相関係数ベクトルが等確率で観測されると
見なす。

【００４０】また、図６に示すように、雑音についても
複数個（Ｎ個）の代表的なパワースペクトルを求め、そ
れに対応する正規化自己相関係数ベクトルと正規化パワ
ースペクトルを雑音モデル１２１として雑音モデルメモ
リ１４に格納しておく。即ち、雑音モデルメモリに記憶
される雑音モデルとして、１個以上の雑音スペクトルと
各スペクトルに対応する特徴を記憶している。正規化パ
ワースペクトルは、正規化自己相関係数をフーリエ変換
して求めることができる。従って、処理時間に十分余裕
がある場合には、正規化パワースペクトルを予め計算し
ておく必要はなく、必要がある度に正規化自己相関係数
ベクトルからフーリエ変換を施して、正規化パワースペ
クトルを求めるようにしても構わない。ここでは、第ｎ
正規化自己相関係数ベクトルをＶｎ（１≦ｎ≦Ｎ）、正
規化パワースペクトルをＷｎ（１≦ｎ≦Ｎ）とする。ま
た、雑音において、それぞれの代表点に当たる正規化自
己相関係数ベクトルが等確率で観測されると見なす。

【００４１】音響分析手段１１は、入力端１から入力さ
れる雑音重畳音声信号２００について、スペクトル演算
手段３におけるスペクトル分析処理の対象となる各分析
フレームＦ１，Ｆ２，・・・，Ｆｉ，・・・，ＦＩに対
し、音響分析を行い、雑音重畳音声特徴ベクトル時系列
１２０として出力する。図７に示すように、第ｉフレー
ム目の雑音重畳音声特徴ベクトルの正規化自己相関係数
ベクトルを、Ｘｉ（１≦ｉ≦Ｉ、Ｉはフレーム数）とす
る。推定ＳＮ比演算手段１６は、図８に示すように、雑
音重畳音声特徴ベクトル時系列１２０に対し、音声モデ
ルメモリ１３に記憶されている雑音無し音声モデル１２
２と、雑音モデルメモリ１４に記憶されている雑音モデ
ル１２１を用いて、式（６）のように推定ＳＮ比Ｒｉ
（ｍ，ｎ）（１≦ｉ≦Ｉ、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）を
求める。

【００４２】

【数６】

【００４３】ここで、（ｋ）で表しているのは、各ベク
トルのｋ次元成分、Ｒｉ（ｍ，ｎ）は、第ｉフレーム目
の雑音重畳音声特徴ベクトルに対し、雑音無し音声モデ
ル１２２の第ｍ正規化自己相関係数ベクトルＳｍと、雑
音モデル１２１の第ｎ正規化自己相関係数ベクトルＶｎ
を用いた時の推定ＳＮ比である。また、Ａｍは、雑音無
し音声モデル１２２の正規化自己相関係数ベクトルＳｍ
から求められる最尤パラメータである。

【００４４】図９に示すように、雑音重畳音声モデル生
成手段１７は、推定ＳＮ比演算手段１６の出力である推
定ＳＮ比データＲｉ（ｍ，ｎ）（１≦ｉ≦Ｉ、１≦ｍ≦
Ｍ、１≦ｎ≦Ｎ）に従い、音声モデルメモリ１３に記憶
されている雑音無し音声モデル１２２と、雑音モデルメ
モリ１４に記憶されている雑音モデル１２１とを用い
て、雑音重畳音声モデルＴｉ（ｍ，ｎ）（１≦ｉ≦Ｉ、
１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）を式（７）のように、雑音無
し音声モデル１２２の正規化自己相関係数ベクトルと、
雑音モデル１２１の正規化自己相関係数ベクトルの推定
ＳＮ比に従う重み付け和として生成する。

【００４５】

【数７】

【００４６】尤度演算手段１８は、図１０に示すよう
に、雑音重畳音声特徴ベクトル時系列１２０に対し、雑
音重畳音声モデル生成手段１７の出力である雑音重畳音
声モデル１３１との照合を行い、尤度Ｌｉ（ｍ，ｎ）
（１≦ｉ≦Ｉ、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）を式（８）の
ように求める。

【００４７】

【数８】

【００４８】ここで、ｄ（＊，＊）は、２つの正規化自
己相関係数ベクトルの間で定義される適当な距離を表
し、例えば、それぞれの正規化自己相関係数ベクトルを
ＬＰＣ分析により、ＬＰＣケプストラムベクトルに変換
した時のユークリッド距離などである。

【００４９】最大尤度選択型重みデータ演算手段１９
は、まず、尤度演算手段の出力である尤度データを用い
て、雑音重畳音声特徴ベクトル時系列１２０に対し、尤
度最大にする雑音重畳音声モデル１３１の系列データ
（Ｐｉ，Ｑｉ）を求める。即ち、例えば、１≦ｐｉ≦Ｍ
を満たす任意の系列｛ｐｉ｜ｉ＝１・・・Ｉ｝と、１≦
ｑｉ≦Ｎを満たす任意の系列｛ｑｉ｜ｉ＝１・・・Ｉ｝
について、常に、

【００５０】

【数９】を満たすか、もしくは、

【００５１】

【数１０】を満たす系列データ（Ｐｉ，Ｑｉ）（但し、ｉ＝１・・
・Ｉ）を求める。

【００５２】上記系列データの求め方を、図１１を用い
て説明する。図１１は、図１０に示した尤度Ｌｉ（ｍ，
ｎ）がＭ個×Ｎ個＝２×２で構成され、かつ、第１と第
２の分析フレーム（ｉ＝１，ｉ＝２）が存在する場合
（Ｉ＝２）の系列データ（Ｐｉ，Ｑｉ）の求め方を示し
ている。尤度が図１１に示すように求められている場
合、式（５）は、第１と第２の分析フレームから得られ
た尤度の全ての組み合わせの総和を演算し、その総和が
最大となるものを選び出す。図１１に示す場合は、５＋
４＝９が最大となる。従って、尤度Ｌ１（１，１）＋Ｌ
２（２，２）＝９の場合が最大となる。従って、（Ｐ
１，Ｑ１）＝（１，１）と（Ｐ２，Ｑ２）＝（２，２）
を、系列データとして求める。

【００５３】次に、この系列データに従い、重みデータ
Ｇｉ（ｍ，ｎ）を、式（１１）のように求める。

【００５４】

【数１１】

【００５５】図１２は、図１１に示した具体例から求め
られた重みデータを示す図である。第１の分析フレーム
（ｉ＝１）に対して、系列データ（１，１）で示された
重みだけが１となり、他の値は０となる。また、第２の
分析フレーム（ｉ＝２）の場合も、系列データ（２，
２）に対応する重みデータが１となり、その他の重みデ
ータは０となる。

【００５６】雑音スペクトル生成手段２０は、最大尤度
選択型重みデータ演算手段１９の出力である重みデータ
と、推定ＳＮ比演算手段１６が演算した推定ＳＮ比デー
タと、雑音重畳音声特徴ベクトル時系列１２０と、雑音
モデルメモリ１４に記憶されている雑音モデル１２１の
パワースペクトルを用いて、推定重畳雑音スペクトル５
を生成する。まず、重みデータＧｉ（ｍ，ｎ）が０でな
い（即ち、１である）ｉとｍとｎの組み合わせについ
て、推定ＳＮ比データＲｉ（ｍ，ｎ）と雑音重畳音声特
徴ベクトル時系列１２０の第ｉフレーム目の雑音重畳音
声特徴ベクトルにおける雑音パワーデータＵｉ、雑音モ
デルメモリ１４に記憶されている正規化パワースペクト
ルＷｎを用いて、重畳雑音パワースペクトルＺｉ（ｍ，
ｎ）を式（１２）で求める。これにより、Ｚｉ（ｍ，
ｎ）は、パワースペクトルの概形が雑音モデル１２１の
正規化パワースペクトルＷｎに同じで、推定ＳＮ比デー
タＲｉ（ｍ，ｎ）に従うところの第ｉ雑音重畳音声特徴
ベクトルの中の雑音パワーを持つパワースペクトルとな
る。

【００５７】

【数１２】

【００５８】図１２に示す場合は、重みデータが１であ
るｉとｍとｎの組み合わせは、ｉ＝１，ｍ＝１，ｎ＝１
の場合と、ｉ＝２，ｍ＝２，ｎ＝２の２つの場合であ
る。従って、重畳雑音パワースペクトルは、Ｚ１（１，
１）とＺ２（２，２）の２つの場合について計算され
る。その他の場合は、重みデータが０なので、重畳雑音
パワースペクトルの計算は行われない。

【００５９】次に、ｉ毎に、全てのｍとｎの組み合わせ
について、重みデータＧｉ（ｍ，ｎ）による重畳雑音パ
ワースペクトルＺｉ（ｍ，ｎ）の重み付け平均を式（１
３）のように行い、得られたＹｉを推定重畳雑音スペク
トル５として出力する。

【００６０】

【数１３】

【００６１】上記重み付け平均の計算は、後述する実施
の形態２及び実施の形態３において特に意味を持つもの
であり、この実施の形態１においては、重みデータが１
であるため、重畳雑音パワースペクトルＺｉ（ｍ，ｎ）
がそのまま出力される。図１２に示す具体例の場合は、Ｙ１＝Ｚ１（１，１）Ｙ２＝Ｚ２（２，２）として出力される。推定重畳雑音スペクトル５が得られ
た後は、従来例と同様の認識照合処理が行われ認識結果
が得られる。

【００６２】上記のような処理により、雑音重畳音声特
徴ベクトル時系列１２０に対し、雑音モデル１２１が表
す雑音が重畳することを考慮した雑音無し音声モデル１
２２との尤度演算が行われ、雑音重畳入力音声の各分析
フレーム毎に、尤度最大基準による重畳雑音のパワース
ペクトル推定がなされるため、非定常騒音環境や、音声
入力マイクと騒音源との距離変動による重畳雑音の変動
の影響を受けにくい推定重畳雑音スペクトルが得られる
こととなり、認識性能の劣化を抑えることができる。

【００６３】また、雑音無し音声の代表的なパワースペ
クトルに対応する正規化自己相関係数ベクトルが、雑音
無し音声において等確率で観測されると見なして、雑音
無し音声モデル１２２を構成したこと、また、雑音も同
様に、雑音の代表的なパワースペクトルに対応する正規
化自己相関係数ベクトルが、雑音において等確率で観測
されると見なして、雑音モデル１２１を構成したことに
より、式（９）や式（１０）を満たす系列データの決定
が、各ｉについて、式（１４）を満たすｍとｎの組み合
わせを見つけることで代用できる。

【００６４】

【数１４】

【００６５】上記系列データの決定方法を、具体的に図
１１を用いて説明する。上記式（１４）は、各分析フレ
ームｉ毎に最大の尤度を見つければよいものである。従
って、図１１に示すｉ＝１の場合は、４つの尤度５，
１，４，２の中から最大の尤度５を選択すれば良い。ま
た、ｉ＝２の場合は、４つの尤度３，１，２，４の中か
ら最大の尤度４を選択すれば良い。この例においては、
前述した図１１と同じ尤度が選択され、結果として図１
１の場合と同じ系列データ（１，１）と（２，２）が決
定されるが、場合によっては、異なる系列データが決定
される。このように、式（１４）に従えば、各分析フレ
ーム毎に最大尤度を決定することができるので、式
（９）や式（１０）に従った場合のように、全ての分析
フレームの尤度が計算されるのを待つ必要がない。これ
により、雑音重畳入力音声の分析フレーム毎に、推定重
畳雑音スペクトルが推定でき、特徴ベクトル演算手段６
までの処理が、パイプライン処理などによる高速化が可
能になる。

【００６６】以下に、この実施の形態の処理手順をまと
めて記載する。（１）入力音声の任意の分析フレームに対し、雑音モデ
ルと雑音無し音声モデルの全ての組み合わせについて推
定ＳＮ比を求める。（２）得られた推定ＳＮ比に従い、それぞれの組み合わ
せについて、雑音無し音声モデルに雑音モデルを重畳さ
せる。（３）入力音声の分析フレームと（２）で求められた雑
音重畳音声との距離を求め、最小距離を与える雑音モデ
ルと雑音無し音声モデルの組み合わせを決定する。（４）（３）で決定された組み合わせによる推定ＳＮ比
と、入力音声の該当分析フレームのパワーから、雑音パ
ワーを計算する。（５）入力音声の分析フレームに、（３）で決定された
組み合わせの雑音モデルに対応するパワースペクトル
が、（４）で計算されたパワーで重畳していると見なし
てスペクトルサブトラクション処理する。（６）（１）〜（５）を入力音声の全ての分析フレーム
について行う。以上の処理により、入力音声の各分析フレーム毎に雑音
の重畳を考慮した雑音無し音声モデルとの尤度最大基準
による重畳雑音の雑音モデル選択とパワー計算がなさ
れ、非定常雑音や推定ＳＮ比の変動の影響を受けにくい
雑音除去が行われる。

【００６７】本発明における雑音無し音声モデル１２２
は、上記の複数個の代表的なパワースペクトルに対応す
る正規化自己相関係数ベクトルに限定されるものではな
く、日本語に現れる音節のモデルを相互に全て接続した
モデルを用いても構わない。音節のモデルとして、連続
分布型のＨＭＭ（ＨｉｄｅｎＭａｒｃｏｖＭｏｄｅ
ｌ）を用いた場合、ＨＭＭにおける平均ベクトルに対応
する正規化自己相関係数ベクトルを各ＨＭＭの平均ベク
トル毎に求め、雑音無し音声モデル１２２として音声モ
デルメモリに格納する。式（６）における推定ＳＮ比演
算は、該正規化自己相関係数ベクトルを用いて行う。雑
音重畳音声モデルの生成は、式（７）により雑音無し音
声モデル１２２の正規化自己相関係数ベクトルと、雑音
モデル１２１の正規化自己相関係数ベクトルとの推定Ｓ
Ｎ比に従う重み付け和で得られた自己相関係数ベクトル
を音響分析し、その分析結果をＨＭＭの平均ベクトルと
置き換えることで行う。式（８）の尤度は、ＨＭＭにお
ける出力確率を用い、最大尤度選択型重みデータ演算手
段１９における系列データ（Ｐｉ，Ｑｉ）は、式（９）
や式（１０）の代わりにＨＭＭにおけるビタビ演算によ
り求める。これにより、雑音無し音声を表す雑音無し音
声モデル１２２としての精度が向上し、重畳雑音の推定
精度が改善され、より精度の高い騒音下音声認識が実現
する。

【００６８】実施の形態２．図１３は、本発明における
重畳雑音推定手段１５の一実施の形態の構成を示すブロ
ック図である。実施の形態１との差異は、最大尤度選択
型重みデータ演算手段の代わりに、複数候補併用型重み
データ演算手段２１を用いている点である。

【００６９】次に、動作について説明する。複数候補併
用型重みデータ演算手段２１は、まず、尤度演算手段１
８の出力である尤度データを用いて、雑音重畳音声特徴
ベクトル時系列１２０の雑音重畳音声特徴ベクトル毎
に、尤度Ｌｉ（ｍ，ｎ）を１≦ｍ≦Ｍ、１≦ｎ≦Ｎにつ
いてソーティングを行い、尤度の大きい順に、その尤度
を与えるｍとｎの組み合わせ（ｍ，ｎ）の系列データ
（Ｐｉ（ｊ），Ｑｉ（ｊ））を求める。ｊは順位を表
し、Ｐｉ（ｊ）｛１，２，．．．，Ｍ｝、Ｑｉ（ｊ）
｛１，２，．．．，Ｎ｝である。

【００７０】次に、この系列データに従い、重みデータ
Ｇｉ（ｍ，ｎ）を式（１５）のように求める。式中、Ｈ
は推定重畳雑音スペクトルの生成に用いる尤度上位候補
の数である。

【００７１】

【数１５】

【００７２】図１４は、この実施の形態の具体例を示す
図である。図１４は、図１１に示すような尤度が計算さ
れた場合、かつ、尤度上位候補の数Ｈ＝２の場合の重み
データを示している。図１１に示す第１の分析フレーム
（ｉ＝１）の場合、尤度の大きい順に並べると５，４，
２，１となる。その上位２つの尤度５，４に対して、重
みデータが均等に１／２ずつ割り当てられる。また、第
２の分析フレーム（ｉ＝２）の尤度を大きい順に並べる
と４，３，２，１となり、尤度が４，３に対して重みデ
ータが１／２ずつ与えられる。このように、重みが１／
２ずつ割り当てられた場合は、前述した式（１３）によ
り２つの重畳雑音パワースペクトルの平均が計算され、
推定重畳雑音スペクトルＹｉとして出力される。これに
より、尤度が大きい複数のｍとｎの組み合わせを併用し
た推定重畳雑音スペクトルが生成されることになり、雑
音モデル１２１と実際の雑音との誤差や、雑音無し音声
モデル１２２と実際の音声のとの誤差による推定重畳雑
音スペクトルの精度の劣化を抑えられ、認識精度も向上
する。

【００７３】また、重みデータの演算式は、式（１５）
に限定されるものではなく、図１５に示すように、尤度
に比例して重みを大きくするようなものでも構わない。

【００７４】実施の形態３．図１６は、本発明における
重畳雑音推定手段１５の一実施の形態の構成を示すブロ
ック図である。実施の形態１との差異は、最大尤度選択
型重みデータ演算手段の代わりに、平均尤度演算型重み
データ演算手段２２を用いている点である。

【００７５】次に、動作について説明する。平均尤度演
算型重みデータ演算手段２２は、まず、尤度演算手段１
８の出力である尤度データを用いて、雑音重畳音声特徴
ベクトル時系列１２０の雑音重畳音声特徴ベクトル毎に
任意のｎに対し、尤度Ｌｉ（ｍ，ｎ）を１≦ｍ≦Ｍにつ
いてソーティングし、尤度の大きい順に、その尤度を与
えるｍの系列Ｐｉｎ（ｊ）｛１，２，．．．，Ｍ｝を求
める。ｊは順位を表す。ついで、各ｎ毎の平均尤度Ｅｉ
ｎ，をｊ≦Ｃを満たすＬｉ（Ｐｉｎ（ｊ），ｎ）を平均
することで求める。ここで、Ｃは平均尤度の計算に用い
る尤度上位候補の数である。１≦ｎ≦Ｎにおいて、Ｅｉ
ｎの最大値を与えるｎをｎｍａｘとすると、重みデータ
Ｇｉ（ｍ，ｎ）を式（１６）のように求める。

【００７６】

【数１６】

【００７７】この実施の形態３における具体的な重みデ
ータの算出方法を、図１７を用いて説明する。図１７
は、算出された尤度を示している。ここで、尤度上位候
補の数ＣをＣ＝２とする。ｎ＝１の場合、上位候補２つ
は５と３であり、その平均値は４である。ｎ＝２の場
合、上位候補は４と２であり、その平均値は３である。
同様にして、ｎ＝３の場合、平均値は３．５、ｎ＝４の
場合、平均値は３となる。従って、平均値は、ｎ＝１の
場合が最大となり、ｎ＝１の雑音モデルを用いることが
決定される。そして、図１８に示すように、尤度上位候
補の数Ｃの逆数である重みデータが計算される。ここで
は、重みを単に均等に１／２にした場合を示している
が、重みデータの演算式は、式（１６）に限定されるも
のではなく、図示しないが、尤度に比例して重みを大き
くするようなものでも構わない。

【００７８】これにより、各雑音モデル１２１毎に雑音
無し音声モデル１２２との組み合わせにおいて、尤度が
高いものを複数個用いて平均尤度を求め、最大平均尤度
を与える雑音モデル１２１を選択するため、雑音モデル
１２１と実際の雑音との誤差や、雑音無し音声モデル１
２２と実際の音声のとの誤差による推定重畳雑音スペク
トルの精度の劣化を抑えられ、認識精度も向上する。

【００７９】実験例．（１）実験条件実施の形態１で述べた雑音除去手法を、連続分布型の音
素片ＨＭＭに基づく特定話者離散単語認識実験により評
価を行なった。実験条件を図１９に示す。ＰＩＮＫ雑音
並びに工場内の非定常騒音を重畳させた１００地名音声
に対し、音素片ＨＭＭによる離散単語認識実験を行う。
雑音重畳音声は、雑音無し音声データに、計算機上で雑
音データを付加することで得た。推定ＳＮ比は、雑音部
を除く音声データの平均パワーと、雑音データの平均パ
ワー比で定義している。音声モデルは、学習用音声の音
声部について、ＬＢＧ（Ｌｉｎｄｅ，Ｂｕｚｏ，Ｇｒａ
ｙ）アルゴリズムによるクラスタリングを行い、各クラ
スタの正規化自己相関係数を平均することで求めた。各
雑音の雑音モデルは、それぞれの全雑音データに対し、
ＬＢＧアルゴリズムによるクラスタリングを行い、各カ
テゴリの正規化自己相関係数の平均と、パワースペクト
ルの平均を求めた。クラスタリングにおける距離尺度は
共に、ＬＰＣケプストラムのユークリッド距離である。
認識実験には、１００地名辞書を用い、従来手法として
音声直前の１０フレームのパワースペクトルの平均を、
推定重畳雑音とするスペクトルサブトラクション（Ｓ
Ｓ）法と比較した。（２）ＰＩＮＫ雑音重畳音声による評価定常的なＰＩＮＫ雑音を重畳させた音声データによる認
識評価を行なった。推定ＳＮ比は、１０ｄＢである。雑
音モデルはクラスタ数１、音声モデルはクラスタ数６４
の時のセントロイドを用いた。スペクトルサブトラクシ
ョン（ＳＳ）における雑音除去係数を変えた時の誤認識
率を、各話者（ＴＨ，ＴＳ）について求めた結果が図２
０である。図中、ＳＳが従来法、ＥＳＴ−ＳＳが実施の
形態１で述べた雑音除去手法である。実施の形態１で述
べた雑音除去手法において、話者や除去係数によらず、
従来方式とほぼ同じか、若干良好な認識性能が得られて
いること、誤認識が最小となる除去係数は、２．０であ
ることが分かる。このことから、定常的なＰＩＮＫ雑音
が重畳した音声データに対し、実施の形態１で述べた雑
音除去手法が良好に動作することが確認された。（３）非定常雑音重畳音声による評価次に、自動車工場の検査ラインで収録した非定常騒音を
重畳させた音声データを用いて、認識実験を行なった。
雑音モデルはクラスタ数４でのセントロイド、音声モデ
ルは先の実験と共通である。図２１は、推定ＳＮ比が１
０ｄＢの非定常雑音重畳音声データに対する認識実験の
結果である。図中の記号並びに軸は、図２０と同じであ
る。ＰＩＮＫ雑音を用いた先の実験結果と比較して、同
じ推定ＳＮ比でありながら、方式、話者、除去係数によ
らず誤認識が増大しており、非定常雑音による性能低下
が著しい。実施の形態１で述べた雑音除去手法は、話者
や除去係数によらず、従来法式を上回る認識精度が得ら
れており、非定常雑音においても、実施の形態１で述べ
た雑音除去手法の有効性が明らかである。次に、音声デ
ータの推定ＳＮ比を変えた時の認識実験を行った。結果
を図２２に示す。横軸が推定ＳＮ比である。先の実験結
果から除去係数は、２．０とした。ここでは、比較デー
タとして、全く雑音除去処理を行わない場合の認識性能
も示している。推定ＳＮ比によらず、実施の形態１で述
べた雑音除去手法が有効に動作していることが分かる。（４）結び以上のように、雑音重畳音声の認識手法として、雑音モ
デルと雑音無し音声モデルを用いて重畳雑音推定し、パ
ワースペクトル上で除去する手法を実験した。ＰＩＮＫ
雑音並びに非定常な工場雑音を重畳させた１００地名音
声データによる認識実験の結果、その有効性が確認され
た。

【００８０】

【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に記載するような効果を持つ。

【００８１】以上のように、この発明によれば、環境騒
音の変動などによる推定重畳雑音スペクトルと実際に重
畳している雑音スペクトルとの誤差が小さく、認識精度
の劣化が抑えられる。

【００８２】また、この発明によれば、雑音重畳音声特
徴ベクトル時系列１２０に対し、雑音モデル１２１が表
す雑音が重畳することを考慮した雑音無し音声モデル１
２２との尤度演算が行われ、雑音重畳入力音声の各分析
フレーム毎に尤度最大基準による重畳雑音のパワースペ
クトル推定がなされるため、非定常騒音環境や、音声入
力マイクと騒音源との距離変動による重畳雑音の変動の
影響を受けにくい推定重畳雑音スペクトルが得られるこ
ととなり、認識性能の劣化を抑えることができる。

【００８３】また、この発明によれば、１個以上の雑音
スペクトルと各スペクトルに対応する特徴ベクトルを、
雑音モデル１２１として雑音モデルメモリに記憶するた
め、非定常な環境騒音による重畳雑音を精度良くモデル
化でき、推定重畳雑音スペクトルの精度が向上し、認識
精度の劣化が抑えられる。

【００８４】また、この発明によれば、１個以上の雑音
無し音声特徴ベクトルを雑音無し音声モデル１２２とし
て、音声モデルメモリに記憶するため、雑音無し音声を
精度良くモデル化でき、推定重畳雑音スペクトルの精度
が向上する。また、雑音重畳入力音声の分析フレームに
毎に推定重畳雑音スペクトルが推定でき、特徴ベクトル
演算手段までの処理が、パイプライン処理などによる高
速化が可能になる。

【００８５】また、この発明によれば、音節のモデルを
相互に全て接続したモデルを、雑音無し音声モデル１２
２として音声モデルメモリに記憶するため、雑音無し音
声を表す雑音無し音声モデル１２２としての精度が向上
し、重畳雑音の推定精度が改善され、より精度の高い騒
音下音声認識が実現する。

【００８６】また、この発明によれば、尤度演算手段が
雑音モデル１２１と音声モデルの組み合わせ毎に尤度を
演算し、出力する照合データ１３２の中から最も尤度の
高いものを選択して重みデータを演算するため、少ない
演算量で推定重畳雑音スペクトルを求めることができ
る。

【００８７】また、この発明によれば、尤度演算手段が
雑音モデル１２１と音声モデルの組み合わせ毎に尤度を
演算し、出力する照合データ１３２の中から尤度の高い
ものを順に複数個選択して重みデータを演算するため、
雑音モデル１２１と実際に重畳している雑音との誤差
や、雑音無し音声モデル１２２と実際の音声との誤差に
よる推定重畳雑音スペクトルの精度低下が抑制される。

【００８８】また、この発明によれば、尤度演算手段が
雑音モデル１２１と音声モデルの組み合わせ毎に尤度を
演算し、出力する照合データ１３２の中から尤度の高い
ものを順に複数個選択し、同一の雑音モデル１２１によ
り得られた尤度を重み付け加算し、この重み付け加算の
結果の値が最も大きい雑音モデル１２１を求めて重みデ
ータを演算するため、雑音モデル１２１と実際に重畳し
ている雑音との誤差や、雑音無し音声モデル１２２と実
際の音声との誤差による推定重畳雑音スペクトルの精度
低下が抑制される。

【図面の簡単な説明】

【図１】この発明の実施の形態１における音声認識シ
ステムの構成を示す図である。

【図２】この発明の実施の形態１における騒音下音声
認識装置の一実施の形態の構成を示すブロック図であ
る。

【図３】この発明の実施の形態１における重畳雑音推
定手段の一実施の形態の構成を示すブロック図である。

【図４】この発明の実施の形態１における自己相関係
数を説明する図である。

【図５】この発明の実施の形態１における音声モデル
メモリを示す図である。

【図６】この発明の実施の形態１における雑音モデル
メモリの構成を示す図である。

【図７】この発明の実施の形態１における各分析フレ
ームの正規化自己相関係数ベクトルを示す図である。

【図８】この発明の実施の形態１における推定ＳＮ比
を示す図である。

【図９】この発明の実施の形態１における雑音重畳音
声モデルを示す図である。

【図１０】この発明の実施の形態１における尤度を示
す図である。

【図１１】この発明の実施の形態１における系列デー
タの求め方を示す図である。

【図１２】この発明の実施の形態１における重みデー
タを示す図である。

【図１３】この発明の実施の形態２における重畳雑音
推定手段の一実施の形態の構成を示すブロック図であ
る。

【図１４】この発明の実施の形態２における重みデー
タを示す図である。

【図１５】この発明の実施の形態２における重みデー
タを示す図である。

【図１６】この発明の実施の形態３における重畳雑音
推定手段の一実施の形態の構成を示すブロック図であ
る。

【図１７】この発明の実施の形態３における平均尤度
の最大値を求める方法を示す図である。

【図１８】この発明の実施の形態３における重みデー
タを示す図である。

【図１９】この発明の実験条件を示す図である。

【図２０】この発明のＰＩＮＫ雑音重畳音声の認識結
果を示す図である。

【図２１】この発明の非定常雑音重畳音声の認識結果
を示す図である。

【図２２】この発明の推定ＳＮ比による認識性能の変
化を示す図である。

【図２３】従来のスペクトル差引法を用いる騒音下音
声認識装置の一実施の形態の構成を示すブロック図であ
る。

【図２４】従来の騒音下音声認識装置の一実施の形態
の構成を示すブロック図である。

【図２５】入力された雑音重畳音声信号と分析フレー
ムの関係を示す図である。

【図２６】音声区間と雑音区間の関係を示す図であ
る。

【符号の説明】

１入力端、３スペクトル演算手段、４雑音スペク
トル除去手段、５推定重畳雑音スペクトル、６特徴
ベクトル演算手段、７照合手段、８参照モデルメモ
リ、９認識結果、１０平均スペクトル演算手段、１
１音響分析手段、１３音声モデルメモリ、１４雑
音モデルメモリ、１５重畳雑音推定手段、１６推定
ＳＮ比演算手段、１７雑音重畳音声モデル生成手段、
１８尤度演算手段、１９最大尤度選択型重みデータ
演算手段、２０雑音スペクトル生成手段、２１複数
候補併用型重みデータ演算手段、２２平均尤度演算型
重みデータ演算手段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平６−289891（ＪＰ，Ａ) 鈴木忠，阿部芳春，中島邦男，発声変形モデルを用いた騒音環境下音声認識, 日本音響学会平成７年度春季研究発表会講演論文集，1995年３月14日，１−５ −１，ｐ．１−２鈴木忠，阿部芳春，雑音標準パタンを用いた非定常騒音下音声認識の検討，日本音響学会平成８年度春季研究発表会講演論文集，1996年３月26日，２−５− 12，ｐ．81−82 鈴木忠，阿部芳春，重畳雑音のパタン選択とパワー推定を用いた騒音下音声認識手法の改良，日本音響学会平成８年度秋季研究発表会講演論文集，1996年９月25日，２−Ｑ−16，ｐ．161−162 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 15/20 G10L 21/02 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】パワースペクトルを含む雑音モデルを記
憶する雑音モデルメモリと、入力音声に重畳した雑音を推定するために用いるところ
の、雑音無し音声モデルを記憶する音声モデルメモリ
と、入力音声から雑音成分が除去された特徴ベクトル時系列
に対し認識照合処理を行うために用いるところの、照合
用音声モデルを記憶する参照モデルメモリと、雑音重畳音声信号を入力し音響分析を施し、雑音重畳音
声特徴ベクトル時系列を出力する音響分析手段と、前記音響分析手段の出力である雑音重畳音声特徴ベクト
ル時系列に対し、雑音モデルメモリに記憶されている雑
音モデルと、音声モデルメモリに記憶されている雑音無
し音声モデルとを用いて、重畳雑音推定処理を行い、推
定重畳雑音スペクトルを出力する重畳雑音推定手段と、雑音重畳音声信号を入力しスペクトル分析を施し、雑音
重畳音声スペクトル時系列を出力するスペクトル演算手
段と、前記スペクトル演算手段の出力である雑音重畳音声スペ
クトル時系列に対し、前記重畳雑音推定手段の出力であ
る推定重畳雑音スペクトルを用いて雑音のスペクトル成
分を除去する雑音スペクトル除去手段と、前記雑音スペクトル除去手段の出力である雑音除去音声
スペクトル時系列から、特徴ベクトルを演算し、雑音除
去音声特徴ベクトル時系列を出力する特徴ベクトル演算
手段と、前記特徴ベクトル演算手段の出力である雑音除去音声特
徴ベクトル時系列に対し、参照モデルメモリに記憶され
ている照合用音声モデルとの照合を行い、最も尤度が高
くなる照合用音声モデルを認識結果として出力する照合
手段とを備え、前記重畳雑音推定手段は、音響分析手段の出力である雑音重畳音声特徴ベクトル時
系列を入力として、雑音モデルメモリに記憶されている
雑音モデルと、音声モデルメモリに記憶されている雑音
無し音声モデルとを用いて、各雑音重畳音声特徴ベクト
ルの推定ＳＮ（シグナルノイズ）比を演算する推定ＳＮ
比演算手段と、前記推定ＳＮ比演算手段の出力である推定ＳＮ比に従っ
て、雑音モデルメモリに記憶されている雑音モデルと音
声モデルメモリに記憶されている雑音無し音声モデルと
の合成を行い、雑音重畳音声モデルを生成する雑音重畳
音声モデル生成手段と、前記雑音重畳音声モデル生成手段の出力である雑音重畳
音声モデルと、前記推定ＳＮ比演算手段において推定Ｓ
Ｎ比演算の対象となった雑音重畳音声特徴ベクトルとの
照合を行い尤度を求め照合データとして出力する尤度演
算手段と、前記尤度演算手段から出力される照合データを用いて、
各雑音重畳音声特徴ベクトルと雑音モデルと雑音無し音
声モデルとの３者の組み合わせに対する重みデータを演
算する重みデータ演算手段と、前記重みデータ演算手段から出力される重みデータと、
前記推定ＳＮ比演算手段の出力である推定ＳＮ比と、雑
音重畳音声特徴ベクトル時系列と、雑音モデルのパワー
スペクトルとを用いて、重みデータが０でないものに対
してパワースペクトルの概形が雑音モデルのパワースペ
クトルと同じで推定ＳＮ比に従うところの雑音重畳音声
特徴ベクトルの中の雑音パワーを持つ推定重畳雑音スペ
クトルを生成する雑音スペクトル生成手段とを備えたこ
とを特徴とする騒音下音声認識装置。
【請求項２】前記雑音モデルメモリに記憶される雑音
モデルとして、１個以上の雑音スペクトルと各雑音スペ
クトルに対応する特徴ベクトルを用いたことを特徴とす
る請求項１記載の騒音下音声認識装置。
【請求項３】前記音声モデルメモリに記憶される雑音
無し音声モデルとして、１個以上の雑音無し音声特徴ベ
クトルを用いたことを特徴とする請求項１記載の騒音下
音声認識装置。
【請求項４】前記音声モデルメモリに記憶される雑音
無し音声モデルとして、音節のモデルを相互に接続した
モデルを用いたことを特徴とする請求項１記載の騒音下
音声認識装置。
【請求項５】前記尤度演算手段は、雑音モデルと音声
モデルの組み合わせ毎に照合データを演算し出力すると
ともに、前記重みデータ演算手段は、前記尤度演算手段
が出力した照合データの中から、最も尤度の高いものを
選択して重みデータを演算することを特徴とする請求項
１記載の騒音下音声認識装置。
【請求項６】前記尤度演算手段は、雑音モデルと音声
モデルの組み合わせ毎に照合データを演算し出力すると
ともに、前記重みデータ演算手段は、前記尤度演算手段
が出力した照合データの中から、尤度の高いものを順に
複数個選択して重みデータを演算することを特徴とする
請求項１記載の騒音下音声認識装置。
【請求項７】前記尤度演算手段は、雑音モデルと音声
モデルの組み合わせ毎に照合データを演算し出力すると
ともに、前記重みデータ演算手段は、前記尤度演算手段
が出力した照合データの中から、尤度の高いものを順に
複数個選択し、同一の雑音モデルにより得られた尤度を
重み付け加算し、この重み付け加算の結果の値が最も大
きい雑音モデルを求めて重みデータを演算することを特
徴とする請求項６記載の騒音下音声認識装置。
【請求項８】パワースペクトルを含む雑音モデルを記
憶する雑音モデルメモリと、入力音声に重畳した雑音を推定するために用いるところ
の、雑音無し音声モデルを記憶する音声モデルメモリ
と、入力音声から雑音成分が除去された特徴ベクトル時系列
に対し認識照合処理を行うために用いるところの、照合
用音声モデルを記憶する参照モデルメモリとを備え、雑音重畳音声信号を入力し音響分析を施し、雑音重畳音
声特徴ベクトル時系列を出力する音響分析工程と、前記音響分析工程の出力である雑音重畳音声特徴ベクト
ル時系列に対し、雑音モデルメモリに記憶されている雑
音モデルと、音声モデルメモリに記憶されている雑音無
し音声モデルとを用いて、重畳雑音推定処理を行い、推
定重畳雑音スペクトルを出力する重畳雑音推定工程と、雑音重畳音声信号を入力しスペクトル分析を施し、雑音
重畳音声スペクトル時系列を出力するスペクトル演算工
程と、前記スペクトル演算工程の出力である雑音重畳音声スペ
クトル時系列に対し、前記重畳雑音推定工程の出力であ
る推定重畳雑音スペクトルを用いて雑音のスペクトル成
分を除去する雑音スペクトル除去工程と、前記雑音スペクトル除去工程の出力である雑音除去音声
スペクトル時系列から特徴ベクトルを演算し、雑音除去
音声特徴ベクトル時系列を出力する特徴ベクトル演算工
程と、前記特徴ベクトル演算工程の出力である雑音除去音声特
徴ベクトル時系列に対し、参照モデルメモリに記憶され
ている照合用音声モデルとの照合を行い、最も尤度が高
くなる照合用音声モデルを認識結果として出力する照合
工程とを備え、前記重畳雑音推定工程は、音響分析工程の出力である雑音重畳音声特徴ベクトル時
系列を入力として、雑音モデルメモリに記憶されている
雑音モデルと、音声モデルメモリに記憶されている雑音
無し音声モデルとを用いて、各雑音重畳音声特徴ベクト
ルの推定ＳＮ比を演算する推定ＳＮ比演算工程と、前記推定ＳＮ比演算工程の出力である推定ＳＮ比に従っ
て、雑音モデルメモリに記憶されている雑音モデルと音
声モデルメモリに記憶されている雑音無し音声モデルと
の合成を行い、雑音重畳音声モデルを生成する雑音重畳
音声モデル生成工程と、前記雑音重畳音声モデル生成工程の出力である雑音重畳
音声モデルと、前記推定ＳＮ比演算工程において推定Ｓ
Ｎ比演算の対象となった雑音重畳音声特徴ベクトルとの
照合を行い尤度を求め照合データとして出力する尤度演
算工程と、前記尤度演算工程から出力される照合データを用いて、
各雑音重畳音声特徴ベクトルと雑音モデルと雑音無し音
声モデルとの３者の組み合わせに対する重みデータを演
算する重みデータ演算工程と、前記重みデータ演算工程から出力される重みデータと、
前記推定ＳＮ比演算工程の出力である推定ＳＮ比と、雑
音重畳音声特徴ベクトル時系列と、雑音モデルとを用い
て、重みデータが０でないものに対してパワースペクト
ルの概形が雑音モデルのパワースペクトルと同じで推定
ＳＮ比に従うところの雑音重畳音声特徴ベクトルの中の
雑音パワーを持つ推定重畳雑音スペクトルを生成する雑
音スペクトル生成工程とを備えたことを特徴とする騒音
下音声認識方法。
【請求項９】前記尤度演算工程は、雑音モデルと音声
モデルの組み合わせ毎に照合データを演算し出力すると
ともに、前記重みデータ演算工程は、照合データの中か
ら、最も尤度の高いものを選択して重みデータを演算す
ることを特徴とする請求項８記載の騒音下音声認識方
法。
【請求項１０】前記尤度演算工程は、雑音モデルと音
声モデルの組み合わせ毎に照合データを演算し出力する
とともに、前記重みデータ演算工程は、照合データの中
から、尤度の高いものを順に複数個選択して重みデータ
を演算することを特徴とする請求項８記載の騒音下音声
認識方法。