JPH11224098A - 単語音声認識システムにおける環境適応装置 - Google Patents
単語音声認識システムにおける環境適応装置Info
- Publication number
- JPH11224098A JPH11224098A JP10024996A JP2499698A JPH11224098A JP H11224098 A JPH11224098 A JP H11224098A JP 10024996 A JP10024996 A JP 10024996A JP 2499698 A JP2499698 A JP 2499698A JP H11224098 A JPH11224098 A JP H11224098A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- phoneme
- speech
- amplitude
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 音素認識性能を向上させ、もって単語認識性
能の向上を図るようにした。 【解決手段】 音声入力装置４１からの入力音声データ
に対してフレーム毎に平均エネルギを計算し、あらかじ
め設定した閾値により、有音区間であるか、無音区間で
あるかを有音・無音区間判定部１１で判定する。この判
定部１１での判定結果に応じて、フレーム毎に特徴抽出
部４２で周波数分析する。この特徴抽出部４２での周波
数分析の後、有音・無音区間分配部１２で有音と無音区
間を分配し、有音区間なら入力音声の有音区間の音声ス
ペクトルは音素認識部４３に供給する。また、無音区間
なら入力音声の無音区間の音声スペクトルは、雑音スペ
クトル抽出部５１で得られる推定雑音スペクトル５１ｄ
から引算部５２で引き算されて雑音成分が除去される。
能の向上を図るようにした。 【解決手段】 音声入力装置４１からの入力音声データ
に対してフレーム毎に平均エネルギを計算し、あらかじ
め設定した閾値により、有音区間であるか、無音区間で
あるかを有音・無音区間判定部１１で判定する。この判
定部１１での判定結果に応じて、フレーム毎に特徴抽出
部４２で周波数分析する。この特徴抽出部４２での周波
数分析の後、有音・無音区間分配部１２で有音と無音区
間を分配し、有音区間なら入力音声の有音区間の音声ス
ペクトルは音素認識部４３に供給する。また、無音区間
なら入力音声の無音区間の音声スペクトルは、雑音スペ
クトル抽出部５１で得られる推定雑音スペクトル５１ｄ
から引算部５２で引き算されて雑音成分が除去される。
Description
【０００１】
【発明の属する技術分野】この発明は、離散単語音声認
識システムにおける環境適応装置に関する。
識システムにおける環境適応装置に関する。
【０００２】
【従来の技術】図９は離散単語音声認識システムの概要
を示すブロック構成図で、図９において、４１は電話な
どから音声データが入力される音声入力装置で、この音
声入力装置４１から入力された単語音声データは特徴抽
出部４２に供給される。音声データは特徴抽出部４２で
周波数分析され、ＳＳ（Spectrum Subtraction）法を用
いてスペクトル変形が施される（後述する）。スペクト
ル変形が施された特徴抽出部４２の出力は、出力が多重
化されたニューラルネットワークからなる音声認識部４
３に入力されて音素認識が行われる。
を示すブロック構成図で、図９において、４１は電話な
どから音声データが入力される音声入力装置で、この音
声入力装置４１から入力された単語音声データは特徴抽
出部４２に供給される。音声データは特徴抽出部４２で
周波数分析され、ＳＳ（Spectrum Subtraction）法を用
いてスペクトル変形が施される（後述する）。スペクト
ル変形が施された特徴抽出部４２の出力は、出力が多重
化されたニューラルネットワークからなる音声認識部４
３に入力されて音素認識が行われる。
【０００３】この音素認識の結果として認識音素第１位
候補と第２位候補が得られる。その認識された音素候補
列と、認識させたい語彙の音素パターンを持たせた辞書
４４中のテンプレートとの類似度を単語認識部４５で認
識させる。単語認識部４５では、テンプレート中の音素
と認識された音素候補列中の第１位および第２位候補と
の類似度を局所スコアとし、その局所スコアをＤＴＷ
（時間正規化法）によって累積することで全体の類似度
スコアを求め、認識させたい全ての語彙の中で、その類
似度スコアが最小となる単語を認識結果として出力す
る。
候補と第２位候補が得られる。その認識された音素候補
列と、認識させたい語彙の音素パターンを持たせた辞書
４４中のテンプレートとの類似度を単語認識部４５で認
識させる。単語認識部４５では、テンプレート中の音素
と認識された音素候補列中の第１位および第２位候補と
の類似度を局所スコアとし、その局所スコアをＤＴＷ
（時間正規化法）によって累積することで全体の類似度
スコアを求め、認識させたい全ての語彙の中で、その類
似度スコアが最小となる単語を認識結果として出力す
る。
【０００４】上記のような音声認識システムを使用する
場合、音声を入力する環境が、学習データを収録した環
境と、大きく異なると認識性能が劣化することがある。
環境変動の大きな要因としては、背景雑音（加法性雑
音）、マイク特性（乗法性雑音）等の収録環境によるも
のがある。
場合、音声を入力する環境が、学習データを収録した環
境と、大きく異なると認識性能が劣化することがある。
環境変動の大きな要因としては、背景雑音（加法性雑
音）、マイク特性（乗法性雑音）等の収録環境によるも
のがある。
【０００５】前記ＳＳ法は、加法性雑音がスペクトルの
和の形で表されることを利用して、あらかじめ推定した
雑音スペクトルを、雑音が重畳している音声スペクトル
から引き去ることにより、雑音が付加される前の音声を
求める方法である。具体的には、図１０に示すように、
あらかじめ雑音スペクトル抽出部５１（この抽出部は詳
細を後述する）で推定雑音スペクトルを得て、これをシ
ステム動作時に特徴抽出部４２から出力される入力音声
の全区間の音声スペクトルから引算部５２で差し引いた
ものを音素認識部４３に入力するようにしたものであ
る。
和の形で表されることを利用して、あらかじめ推定した
雑音スペクトルを、雑音が重畳している音声スペクトル
から引き去ることにより、雑音が付加される前の音声を
求める方法である。具体的には、図１０に示すように、
あらかじめ雑音スペクトル抽出部５１（この抽出部は詳
細を後述する）で推定雑音スペクトルを得て、これをシ
ステム動作時に特徴抽出部４２から出力される入力音声
の全区間の音声スペクトルから引算部５２で差し引いた
ものを音素認識部４３に入力するようにしたものであ
る。
【０００６】前記雑音スペクトル抽出部５１は、あらか
じめ入力音声の無音部の平均音声スペクトル５１ａか
ら、学習音声の無音部の平均音声スペクトル５１ｂを、
引算部５１ｃから差し引いて推定雑音スペクトル５１ｄ
を得るように構成したものである。
じめ入力音声の無音部の平均音声スペクトル５１ａか
ら、学習音声の無音部の平均音声スペクトル５１ｂを、
引算部５１ｃから差し引いて推定雑音スペクトル５１ｄ
を得るように構成したものである。
【０００７】また、認識性能が劣化するのは上記のよう
な場合の外に、人間が発生した区間以外の無音区間の認
識性能に大きく影響を及ぼす。音声を入力する環境に背
景雑音が存在し、無音区間の音声振幅が学習データの音
声振幅より大きい場合、無音区間の音素認識性能が顕著
に劣化し、システム全体の認識性が大きく劣化する。但
し、無音区間の音声振幅が学習データのそれより小さい
場合は、学習データの中に、音声振幅の小さい無音デー
タが含まれているため、さほど認識性能に大きく影響し
ない。
な場合の外に、人間が発生した区間以外の無音区間の認
識性能に大きく影響を及ぼす。音声を入力する環境に背
景雑音が存在し、無音区間の音声振幅が学習データの音
声振幅より大きい場合、無音区間の音素認識性能が顕著
に劣化し、システム全体の認識性が大きく劣化する。但
し、無音区間の音声振幅が学習データのそれより小さい
場合は、学習データの中に、音声振幅の小さい無音デー
タが含まれているため、さほど認識性能に大きく影響し
ない。
【０００８】
【発明が解決しようとする課題】上記ＳＳ法において、
推定する雑音スペクトルは、図１０に示すように、入力
音声の無音部の平均音声スペクトル５１ａと学習音声の
無音部の平均音声スペクトル５１ｂとの差により決定さ
れる。すなわち、雑音スペクトルの品質は、学習・入力
音声の無音部の選択に左右されることになる。雑音スペ
クトルの品質が高ければ、音素認識性能が向上するため
に、音声認識システムの認識性能は向上することにな
る。入力音声全区間の音素認識結果を見ると、雑音スペ
クトルの品質にさほど影響されない無音部と、影響され
やすい有音部に分かれる傾向になる。無音部の音素認識
性能は比較的、学習・入力音声の選択によらず向上する
が、有音部（特に母音部）の音声認識性能は劣化する問
題がある。
推定する雑音スペクトルは、図１０に示すように、入力
音声の無音部の平均音声スペクトル５１ａと学習音声の
無音部の平均音声スペクトル５１ｂとの差により決定さ
れる。すなわち、雑音スペクトルの品質は、学習・入力
音声の無音部の選択に左右されることになる。雑音スペ
クトルの品質が高ければ、音素認識性能が向上するため
に、音声認識システムの認識性能は向上することにな
る。入力音声全区間の音素認識結果を見ると、雑音スペ
クトルの品質にさほど影響されない無音部と、影響され
やすい有音部に分かれる傾向になる。無音部の音素認識
性能は比較的、学習・入力音声の選択によらず向上する
が、有音部（特に母音部）の音声認識性能は劣化する問
題がある。
【０００９】また、学習型の音素認識部を使用している
場合、入力音声の無音区間音声振幅が、学習データの無
音区間音声振幅と同等である方が望ましい。入力音声の
無音区間音声振幅が、学習データの無音区間音声振幅と
大きく異なれば、認識性能が劣化するからである。図９
に示すシステムにおいて、音声入力装置４１より入力さ
れた単語音声データを、特徴抽出部４２で直接、周波数
分析し、それを音素認識部４３の出力多重化ニューラル
ネットに入力して音素認識を行わせているため、音声振
幅に対する制御を何ら加えていない。
場合、入力音声の無音区間音声振幅が、学習データの無
音区間音声振幅と同等である方が望ましい。入力音声の
無音区間音声振幅が、学習データの無音区間音声振幅と
大きく異なれば、認識性能が劣化するからである。図９
に示すシステムにおいて、音声入力装置４１より入力さ
れた単語音声データを、特徴抽出部４２で直接、周波数
分析し、それを音素認識部４３の出力多重化ニューラル
ネットに入力して音素認識を行わせているため、音声振
幅に対する制御を何ら加えていない。
【００１０】従って、入力される無音区間音声振幅の変
動により、認識性能が大きく変化する。例えば、学習デ
ータの無音区間の平均音声振幅をL0dB、入力データの無
音区間の平均音声振幅をLdBとすると，Ｌ＞Ｌ0なら、無
音区間の音声認識性能が劣化する問題がある。なお、Ｌ
＜Ｌ0なら、学習データの中に、音声振幅の小さい無音
データが含まれているため、さほど音声認識性能に影響
しない。
動により、認識性能が大きく変化する。例えば、学習デ
ータの無音区間の平均音声振幅をL0dB、入力データの無
音区間の平均音声振幅をLdBとすると，Ｌ＞Ｌ0なら、無
音区間の音声認識性能が劣化する問題がある。なお、Ｌ
＜Ｌ0なら、学習データの中に、音声振幅の小さい無音
データが含まれているため、さほど音声認識性能に影響
しない。
【００１１】この発明は上記の事情に鑑みてなされたも
ので、音素認識性能を向上させ、もって単語認識性能の
向上を図るようにした単語音声認識システムにおける環
境適応装置を提供することを課題とする。
ので、音素認識性能を向上させ、もって単語認識性能の
向上を図るようにした単語音声認識システムにおける環
境適応装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】この発明は、上記の課題
を達成するために、第１発明は、音声入力装置より入力
された単語音声データを周波数分析し、それを出力多重
化ニューラルネットに入力させて音素認識を行わせて、
認識音素第１位音素候補と第２位音素候補を得、その認
識された音素候補列と、認識させたい語彙の音素パター
ンを持たせた辞書中のテンプレートとの類似度を、テン
プレート中の音素と認識された音素候補列中の第１位お
よび第２位候補との類似度を局所スコアとし、その局所
スコアをＤＴＷ法によって累積することで、全体の類似
度スコアを求めた後、認識させたい全ての語彙の中で、
その類似度スコアが最小となる単語を認識結果として出
力する音声認識システムにおいて、前記音声入力装置か
ら出力される音声データを周波数分析する前に、そのデ
ータの有音、無音を有音・無音判定部で判定してから周
波数分析し、前記判定部で有音と判定されたなら、その
有音区間の音声スペクトルは前記ニューラルネットに供
給し、前記判定部で無音と判定されたなら、その無音区
間の音声スペクトルからあらかじめ推定した雑音スペク
トルを引いて雑音成分を除去して前記ニューラルネット
に供給したことを特徴とするものである。
を達成するために、第１発明は、音声入力装置より入力
された単語音声データを周波数分析し、それを出力多重
化ニューラルネットに入力させて音素認識を行わせて、
認識音素第１位音素候補と第２位音素候補を得、その認
識された音素候補列と、認識させたい語彙の音素パター
ンを持たせた辞書中のテンプレートとの類似度を、テン
プレート中の音素と認識された音素候補列中の第１位お
よび第２位候補との類似度を局所スコアとし、その局所
スコアをＤＴＷ法によって累積することで、全体の類似
度スコアを求めた後、認識させたい全ての語彙の中で、
その類似度スコアが最小となる単語を認識結果として出
力する音声認識システムにおいて、前記音声入力装置か
ら出力される音声データを周波数分析する前に、そのデ
ータの有音、無音を有音・無音判定部で判定してから周
波数分析し、前記判定部で有音と判定されたなら、その
有音区間の音声スペクトルは前記ニューラルネットに供
給し、前記判定部で無音と判定されたなら、その無音区
間の音声スペクトルからあらかじめ推定した雑音スペク
トルを引いて雑音成分を除去して前記ニューラルネット
に供給したことを特徴とするものである。
【００１３】第２発明は、あらかじめ音声入力装置より
無音音声を取得し、入力音声の無音部の平均音声振幅
（Ｌ）を得る第１平均音声振幅抽出部と、学習音声の無
音部の平均音声振幅（Ｌ0）を得る第２平均音声振幅抽
出部と、前記第１、第２平均音声振幅抽出部からの平均
音声振幅（Ｌ），（Ｌ0）が供給され、平均音声振幅
が、Ｌ0＜Ｌのときには、入力音声データに一定倍率を
乗算して出力し、Ｌ0＞Ｌのときには、入力音声データ
のまま出力する音声振幅比較判定出力部と、この比較判
定出力部からの出力が供給され、前記音声入力装置の入
力音声の全フレームに対して振幅変更処理を行う振幅変
更処理部とを備え、前記振幅変更処理部で変更処理され
た音声データを周波数分析させるようにしたことを特徴
とするものである。
無音音声を取得し、入力音声の無音部の平均音声振幅
（Ｌ）を得る第１平均音声振幅抽出部と、学習音声の無
音部の平均音声振幅（Ｌ0）を得る第２平均音声振幅抽
出部と、前記第１、第２平均音声振幅抽出部からの平均
音声振幅（Ｌ），（Ｌ0）が供給され、平均音声振幅
が、Ｌ0＜Ｌのときには、入力音声データに一定倍率を
乗算して出力し、Ｌ0＞Ｌのときには、入力音声データ
のまま出力する音声振幅比較判定出力部と、この比較判
定出力部からの出力が供給され、前記音声入力装置の入
力音声の全フレームに対して振幅変更処理を行う振幅変
更処理部とを備え、前記振幅変更処理部で変更処理され
た音声データを周波数分析させるようにしたことを特徴
とするものである。
【００１４】第３発明は、前記振幅変更処理部は、入力
音声の無音区間音声のみに振幅変更処理を施し、有音区
間音声の音素認識性能を維持させるようにしたことを特
徴とするものである。
音声の無音区間音声のみに振幅変更処理を施し、有音区
間音声の音素認識性能を維持させるようにしたことを特
徴とするものである。
【００１５】第４発明は、前記無音区間音声は、前記音
声入力装置の出力に有音・無音判定部を設けて得るよう
にしたことを含むものである。
声入力装置の出力に有音・無音判定部を設けて得るよう
にしたことを含むものである。
【００１６】
【発明の実施の形態】以下この発明の実施の形態を図面
に基づいて説明するに、図９、図１０と同一部分は同一
符号を付して示す。図１はこの発明の実施の第１形態を
示すブロック構成図で、図１において、音声入力装置４
１からの入力音声データに対してフレーム毎に平均エネ
ルギを計算し、あらかじめ設定した閾値により、有音区
間であるか、無音区間であるかを有音・無音区間判定部
１１で判定する。この判定部１１での判定結果に応じ
て、フレーム毎に特徴抽出部４２で周波数分析する。
に基づいて説明するに、図９、図１０と同一部分は同一
符号を付して示す。図１はこの発明の実施の第１形態を
示すブロック構成図で、図１において、音声入力装置４
１からの入力音声データに対してフレーム毎に平均エネ
ルギを計算し、あらかじめ設定した閾値により、有音区
間であるか、無音区間であるかを有音・無音区間判定部
１１で判定する。この判定部１１での判定結果に応じ
て、フレーム毎に特徴抽出部４２で周波数分析する。
【００１７】この特徴抽出部４２での周波数分析の後、
有音・無音区間分配部１２で有音と無音区間を分配し、
有音区間なら入力音声の有音区間の音声スペクトルは音
素認識部４３に供給する。これにより有音区間（特に母
音部）における音素認識性能が劣化するのが防止され
る。また、無音区間なら入力音声の無音区間の音声スペ
クトルは、前記ＳＳ法による雑音スペクトル抽出部５１
で得られる推定雑音スペクトル５１ｄから引算部５２で
引き算されて雑音成分が除去される。
有音・無音区間分配部１２で有音と無音区間を分配し、
有音区間なら入力音声の有音区間の音声スペクトルは音
素認識部４３に供給する。これにより有音区間（特に母
音部）における音素認識性能が劣化するのが防止され
る。また、無音区間なら入力音声の無音区間の音声スペ
クトルは、前記ＳＳ法による雑音スペクトル抽出部５１
で得られる推定雑音スペクトル５１ｄから引算部５２で
引き算されて雑音成分が除去される。
【００１８】このようにして雑音成分を除去することに
より、音素認識性能の向上が可能となり、これによって
単語認識性能の向上が図れるようになる。また、ＳＳ法
に有音・無音区間判定部１１と分配部１２を設けるだけ
で選択型ＳＳ法を実現できるため、ＳＳ法から選択型Ｓ
Ｓ法へのシステムの変更が容易になるとともに、選択型
ＳＳ法は、音素認識部４３の前段に設けられ、音素認識
部４３への入力形式のみ一致させれば良いため、音素認
識部、単語認識部の方式に依存しないでシステムの変更
を行うことができる。
より、音素認識性能の向上が可能となり、これによって
単語認識性能の向上が図れるようになる。また、ＳＳ法
に有音・無音区間判定部１１と分配部１２を設けるだけ
で選択型ＳＳ法を実現できるため、ＳＳ法から選択型Ｓ
Ｓ法へのシステムの変更が容易になるとともに、選択型
ＳＳ法は、音素認識部４３の前段に設けられ、音素認識
部４３への入力形式のみ一致させれば良いため、音素認
識部、単語認識部の方式に依存しないでシステムの変更
を行うことができる。
【００１９】次に学習環境に対して環境変動させた環境
において、上記実施の第１形態の選択型ＳＳ法と従来の
ＳＳ法の両者を使用して、離散単語認識実験を行って見
た。使用した音声データは、音素バランス単語セット１
０１単語、３話者、２回発声で音声入力機器としてはPH
S（Personal Handyphone System）を使用した。
において、上記実施の第１形態の選択型ＳＳ法と従来の
ＳＳ法の両者を使用して、離散単語認識実験を行って見
た。使用した音声データは、音素バランス単語セット１
０１単語、３話者、２回発声で音声入力機器としてはPH
S（Personal Handyphone System）を使用した。
【００２０】認識実験を実施した環境と学習環境の違い
は、ＰＣ内のサウンドデバイスのみである。実験結果を
次の表１に示す。
は、ＰＣ内のサウンドデバイスのみである。実験結果を
次の表１に示す。
【００２１】
【表１】
【００２２】表１から環境変動により離散単語認識率が
９５％から３５％へと、大きく認識性能が低下している
ことが判明した。この原因として、無音区間の音素認識
性能が極めて悪いことが上げられる。この実験環境で取
得した音声データに対して、再度ＳＳ法と選択型ＳＳ法
を用いて離散単語認識実験を行った。その実験結果を次
の表２に示す。
９５％から３５％へと、大きく認識性能が低下している
ことが判明した。この原因として、無音区間の音素認識
性能が極めて悪いことが上げられる。この実験環境で取
得した音声データに対して、再度ＳＳ法と選択型ＳＳ法
を用いて離散単語認識実験を行った。その実験結果を次
の表２に示す。
【００２３】
【表２】
【００２４】この表２から全体としては、３５％の単語
認識率であったものが、ＳＳ法でも８５％、選択型ＳＳ
法に至っては９０％となって、学習環境時の９５％に近
づいていることが判明した。また、話者別のデータを見
ても選択型ＳＳ法の認識率がＳＳ法のそれと比較しても
向上している。
認識率であったものが、ＳＳ法でも８５％、選択型ＳＳ
法に至っては９０％となって、学習環境時の９５％に近
づいていることが判明した。また、話者別のデータを見
ても選択型ＳＳ法の認識率がＳＳ法のそれと比較しても
向上している。
【００２５】両者の音素認識結果の例を図２に示す。こ
の図２は、話者３による「牛乳」という発声データを入
力音声として、ＳＳ法と選択型ＳＳ法を用いた場合にお
ける音素認識結果である。単語認識結果は、選択型ＳＳ
法が正解単語を導出し、ＳＳ法が不正解単語を導出して
いる例である。なお、選択型ＳＳ法は、図中下線で示し
た母音部への悪影響を防止しているので、有効であるこ
とが分かる。
の図２は、話者３による「牛乳」という発声データを入
力音声として、ＳＳ法と選択型ＳＳ法を用いた場合にお
ける音素認識結果である。単語認識結果は、選択型ＳＳ
法が正解単語を導出し、ＳＳ法が不正解単語を導出して
いる例である。なお、選択型ＳＳ法は、図中下線で示し
た母音部への悪影響を防止しているので、有効であるこ
とが分かる。
【００２６】図３はこの発明の実施の第２形態を示すブ
ロック構成図で、図３において、あらかじめ音声入力装
置４１より無音音声を取得し、入力音声の無音部の平均
音声振幅（ＬdB）を第１平均音声振幅抽出部２１で得
る。この抽出部２１で得られた平均音声振幅（ＬdB）
と、学習音声の無音部の平均音声振幅（Ｌ0dB）を第２
平均音声振幅抽出部２２で得た平均音声振幅（Ｌ0dB）
は、音声振幅比較判定出力部２３に与えられる。この音
声比較判定出力部２３は、次式（１）、（２）を入力音
声データに対して、Ｌ0＜Ｌなら（１）式を、Ｌ0＞Ｌな
ら（２）式を選択して、その出力を振幅変更処理部２４
に与える。
ロック構成図で、図３において、あらかじめ音声入力装
置４１より無音音声を取得し、入力音声の無音部の平均
音声振幅（ＬdB）を第１平均音声振幅抽出部２１で得
る。この抽出部２１で得られた平均音声振幅（ＬdB）
と、学習音声の無音部の平均音声振幅（Ｌ0dB）を第２
平均音声振幅抽出部２２で得た平均音声振幅（Ｌ0dB）
は、音声振幅比較判定出力部２３に与えられる。この音
声比較判定出力部２３は、次式（１）、（２）を入力音
声データに対して、Ｌ0＜Ｌなら（１）式を、Ｌ0＞Ｌな
ら（２）式を選択して、その出力を振幅変更処理部２４
に与える。
【００２７】
【数１】
【００２８】振幅変更処理部２４では、システム稼働時
に、入力音声データに対して音声振幅比較判定出力部２
３で選択された（１）式あるいは（２）式で振幅変更処
理を施し、変更処理したＶ'(n)を出力し、この出力を特
徴抽出部４２に与える。特徴抽出部４２は入力された
Ｖ'（n)を用いて、周波数分析を行った後、音素認識部
４３で音素認識してから単語認識部４５で単語認識し
て、その出力に単語認識出力結果を送出する。なお、前
記振幅変更処理は、入力音声データに前記（１）式に示
すように一定倍率を乗算することにより処理される。
に、入力音声データに対して音声振幅比較判定出力部２
３で選択された（１）式あるいは（２）式で振幅変更処
理を施し、変更処理したＶ'(n)を出力し、この出力を特
徴抽出部４２に与える。特徴抽出部４２は入力された
Ｖ'（n)を用いて、周波数分析を行った後、音素認識部
４３で音素認識してから単語認識部４５で単語認識し
て、その出力に単語認識出力結果を送出する。なお、前
記振幅変更処理は、入力音声データに前記（１）式に示
すように一定倍率を乗算することにより処理される。
【００２９】上記のように、第２形態は、特徴抽出部
（周波数分析）の前段で、あらかじめオフラインで、無
音区間音声振幅を学習音声の無音区間音声振幅レベルに
なるように計算し、できるだけ無音区間の認識性能を高
めるようにした環境適応方式である。次に第２形態を入
力音声の全フレームに対して、振幅変更処理を実施した
実験結果を示す。
（周波数分析）の前段で、あらかじめオフラインで、無
音区間音声振幅を学習音声の無音区間音声振幅レベルに
なるように計算し、できるだけ無音区間の認識性能を高
めるようにした環境適応方式である。次に第２形態を入
力音声の全フレームに対して、振幅変更処理を実施した
実験結果を示す。
【００３０】ここで、学習音声の無音区間平均音声振幅
（Ｌ0）は３０dBで、入力音声の無音区間音声振幅
（Ｌ）が４０dBであった場合、音声振幅比較判定出力部
２３は前記（１）式を選択して、振幅変更処理部２４に
与えるため、振幅変更処理部２４は前記（１）式を用い
て処理するようになる。この場合の単語認識結果例と音
素認識結果例を図４に示す。なお、発声内容は、男声の
「ぼんやり」を使用した。
（Ｌ0）は３０dBで、入力音声の無音区間音声振幅
（Ｌ）が４０dBであった場合、音声振幅比較判定出力部
２３は前記（１）式を選択して、振幅変更処理部２４に
与えるため、振幅変更処理部２４は前記（１）式を用い
て処理するようになる。この場合の単語認識結果例と音
素認識結果例を図４に示す。なお、発声内容は、男声の
「ぼんやり」を使用した。
【００３１】なお、比較のために、振幅変更処理を実行
しなかった場合の単語認識結果例と音素認識結果例を図
５に示す。上記図４と図５から振幅変更処理を施すこと
により、振幅変更処理を施さなかった場合に比べて、音
素認識結果から無音区間の認識性能が向上し、正しい単
語認識結果を出力していることがわかる。
しなかった場合の単語認識結果例と音素認識結果例を図
５に示す。上記図４と図５から振幅変更処理を施すこと
により、振幅変更処理を施さなかった場合に比べて、音
素認識結果から無音区間の認識性能が向上し、正しい単
語認識結果を出力していることがわかる。
【００３２】図６はこの発明の実施の第３形態を示すブ
ロック構成図で、この図６の第３形態は前記第２形態で
は、入力音声の全フレームに対して振幅変更処理を実施
したのを有音・無音判定部１１を設けて、音声入力装置
４１から入力されたデータのエネルギを分析して有音区
間か無音区間かを判定し、無音区間フレームのみに対し
て振幅変更処理を実施したものである。
ロック構成図で、この図６の第３形態は前記第２形態で
は、入力音声の全フレームに対して振幅変更処理を実施
したのを有音・無音判定部１１を設けて、音声入力装置
４１から入力されたデータのエネルギを分析して有音区
間か無音区間かを判定し、無音区間フレームのみに対し
て振幅変更処理を実施したものである。
【００３３】図６に示すように、音声入力装置４１から
入力されたデータをエネルギ分析し、有音区間か無音区
間であるかの判定を有音・無音判定部１１で行う。この
判定部１１で有音区間と判定されたなら、その有音区間
は、振幅変更処理を行わず特徴抽出部４２へ供給する。
また、判定部１１で無音区間と判定されたなら、その無
音区間は振幅変更処理部２４へ供給して、第２形態と同
様な振幅変更処理を行ってから特徴抽出部４２へ供給す
る。
入力されたデータをエネルギ分析し、有音区間か無音区
間であるかの判定を有音・無音判定部１１で行う。この
判定部１１で有音区間と判定されたなら、その有音区間
は、振幅変更処理を行わず特徴抽出部４２へ供給する。
また、判定部１１で無音区間と判定されたなら、その無
音区間は振幅変更処理部２４へ供給して、第２形態と同
様な振幅変更処理を行ってから特徴抽出部４２へ供給す
る。
【００３４】この第３形態のように処理するのは、第２
形態のように実施した場合、音素認識結果において、無
音区間の認識性能を高めることができる反面、有音区間
で誤認識を招く恐れがある（図４の波線部）からであ
る。
形態のように実施した場合、音素認識結果において、無
音区間の認識性能を高めることができる反面、有音区間
で誤認識を招く恐れがある（図４の波線部）からであ
る。
【００３５】次に、第３形態を入力音声の無音区間フレ
ームに対して、振幅変更処理を実施した実験結果を示
す。ここでは、学習音声の無音区間平均音声振幅
（Ｌ0）は、３０dBで、入力音声の無音区間音声振幅
（Ｌ）が４０dBであった場合、音声振幅比較判定出力部
２３は前記（１）式を選択して、振幅変更処理部２４に
与えるため、振幅変更処理部２４は前記（１）式を用い
て処理するようになる。この場合の単語認識結果例と音
素認識結果例を図７に示す。なお、発声内容は、図４に
示した音声データと同じ、男声の「ぼんやり」を使用し
た。
ームに対して、振幅変更処理を実施した実験結果を示
す。ここでは、学習音声の無音区間平均音声振幅
（Ｌ0）は、３０dBで、入力音声の無音区間音声振幅
（Ｌ）が４０dBであった場合、音声振幅比較判定出力部
２３は前記（１）式を選択して、振幅変更処理部２４に
与えるため、振幅変更処理部２４は前記（１）式を用い
て処理するようになる。この場合の単語認識結果例と音
素認識結果例を図７に示す。なお、発声内容は、図４に
示した音声データと同じ、男声の「ぼんやり」を使用し
た。
【００３６】なお、比較のために、振幅変更処理を実行
しなかった場合の単語認識結果例と音素認識結果例を図
８に示す。上記図７と図８から振幅変更処理を施すこと
により、振幅変更処理を施さなかった場合に比べて、音
素認識結果から無音区間の認識性能が向上し、正しい単
語認識結果を出力していることがわかる。特に、第３形
態では、図４に示した音素認識結果の音素第１、第２候
補列の波線部分と比較して、図７に示すように、有音区
間の音素認識性能が維持されていることがわかる。
しなかった場合の単語認識結果例と音素認識結果例を図
８に示す。上記図７と図８から振幅変更処理を施すこと
により、振幅変更処理を施さなかった場合に比べて、音
素認識結果から無音区間の認識性能が向上し、正しい単
語認識結果を出力していることがわかる。特に、第３形
態では、図４に示した音素認識結果の音素第１、第２候
補列の波線部分と比較して、図７に示すように、有音区
間の音素認識性能が維持されていることがわかる。
【００３７】上記第２、第３形態においては、無音音声
データを用いて、疑似的に音声入力環境の音声データの
音声振幅を、学習データの音声振幅に近づけ、認識性能
の向上を図ることができるとともに、入力音声データに
振幅変更処理を施すことにより、音素認識性能を向上さ
せ、もって単語認識性能の向上を図ることができる。ま
た、無音区間の音声のみに振幅変更処理を施すことによ
り、有音区間の音素認識性能を維持させつつ、単語認識
性能の向上を図ることができる。さらに、振幅変更処理
は、入力音声データに一定倍率を乗算するという簡易な
手段を用いているため、システムの変更が容易になると
ともに、それは特徴抽出部の前段に設けられ、特徴抽出
部への入力形式のみ一致させればよいため、特徴抽出
部、音素認識部、単語認識部の方式に依存しないシステ
ム変更を行うことができる。なお、選択型振幅変更処理
は、有音、無音判定部を付加するだけの簡易な手段で構
成できるため、システム変更が容易になる。
データを用いて、疑似的に音声入力環境の音声データの
音声振幅を、学習データの音声振幅に近づけ、認識性能
の向上を図ることができるとともに、入力音声データに
振幅変更処理を施すことにより、音素認識性能を向上さ
せ、もって単語認識性能の向上を図ることができる。ま
た、無音区間の音声のみに振幅変更処理を施すことによ
り、有音区間の音素認識性能を維持させつつ、単語認識
性能の向上を図ることができる。さらに、振幅変更処理
は、入力音声データに一定倍率を乗算するという簡易な
手段を用いているため、システムの変更が容易になると
ともに、それは特徴抽出部の前段に設けられ、特徴抽出
部への入力形式のみ一致させればよいため、特徴抽出
部、音素認識部、単語認識部の方式に依存しないシステ
ム変更を行うことができる。なお、選択型振幅変更処理
は、有音、無音判定部を付加するだけの簡易な手段で構
成できるため、システム変更が容易になる。
【００３８】
【発明の効果】以上述べたように、この発明によれば、
音素認識性能を向上させ、もって単語認識性能の向上を
図ることができるとともに、システム変更が容易になる
等の利点がある。
音素認識性能を向上させ、もって単語認識性能の向上を
図ることができるとともに、システム変更が容易になる
等の利点がある。
【図１】この発明の実施の第１形態を示すブロック構成
図。
図。
【図２】選択ＳＳ法と従来のＳＳ法を用いた認識実験に
おける音素認識結果の説明図。
おける音素認識結果の説明図。
【図３】この発明の実施の第２形態を示すブロック構成
図。
図。
【図４】振幅変更処理を実行したときの単語および音素
認識結果例の説明図。
認識結果例の説明図。
【図５】振幅変更処理を実行しなかったときの単語およ
び認識結果例の説明図。
び認識結果例の説明図。
【図６】この発明の実施の第３形態を示すブロック構成
図。
図。
【図７】振幅変更処理を実行したときの単語および音素
認識結果例の説明図。
認識結果例の説明図。
【図８】振幅変更処理を実行しなかったときの単語およ
び認識結果例の説明図。
び認識結果例の説明図。
【図９】離散単語認識システムの概要を示すブロック構
成図。
成図。
【図１０】従来のＳＳ法のブロック構成図。
【符号の説明】 １１…有音・無音判定部 １２…有音・無音区間分配部 ２１…第１平均音声振幅抽出部 ２２…第２平均音声振幅抽出部 ２３…音声振幅比較判定出力部 ２４…振幅変更処理部 ４１…音声入力装置 ４２…特徴抽出部 ４３…音素認識部 ４４…辞書 ４５…単語認識部 ５１…雑音スペクトル抽出部 ５２…引算部
Claims (4)
- 【請求項１】 音声入力装置より入力された単語音声デ
ータを周波数分析し、それを出力多重化ニューラルネッ
トに入力させて音素認識を行わせて、認識音素第１位音
素候補と第２位音素候補を得、その認識された音素候補
列と、認識させたい語彙の音素パターンを持たせた辞書
中のテンプレートとの類似度を、テンプレート中の音素
と認識された音素候補列中の第１位および第２位候補と
の類似度を局所スコアとし、その局所スコアをＤＴＷ法
によって累積することで、全体の類似度スコアを求めた
後、認識させたい全ての語彙の中で、その類似度スコア
が最小となる単語を認識結果として出力する単語音声認
識システムにおいて、 前記音声入力装置から出力される音声データを周波数分
析する前に、そのデータの有音、無音を有音・無音判定
部で判定してから周波数分析し、前記判定部で有音と判
定されたなら、その有音区間の音声スペクトルは前記ニ
ューラルネットに供給し、 前記判定部で無音と判定されたなら、その無音区間の音
声スペクトルからあらかじめ推定した雑音スペクトルを
引いて雑音成分を除去して前記ニューラルネットに供給
したことを特徴とする単語音声認識システムにおける環
境適応装置。 - 【請求項２】 音声入力装置より入力された単語音声デ
ータを周波数分析し、それを出力多重化ニューラルネッ
トに入力させて音素認識を行わせて、認識音素第１位音
素候補と第２位音素候補を得、その認識された音素候補
列と、認識させたい語彙の音素パターンを持たせた辞書
中のテンプレートとの類似度を、テンプレート中の音素
と認識された音素候補列中の第１位および第２位候補と
の類似度を局所スコアとし、その局所スコアをＤＴＷ法
によって累積することで、全体の類似度スコアを求めた
後、認識させたい全ての語彙の中で、その類似度スコア
が最小となる単語を認識結果として出力する単語音声認
識システムにおいて、 あらかじめ音声入力装置より無音音声を取得し、入力音
声の無音部の平均音声振幅（Ｌ）を得る第１平均音声振
幅抽出部と、 学習音声の無音部の平均音声振幅（Ｌ0）を得る第２平
均音声振幅抽出部と、 前記第１、第２平均音声振幅抽出部からの平均音声振幅
（Ｌ），（Ｌ0）が供給され、平均音声振幅が、Ｌ0＜Ｌ
のときには、入力音声データに一定倍率を乗算して出力
し、Ｌ0＞Ｌのときには、入力音声データのまま出力す
る音声振幅比較判定出力部と、 この比較判定出力部からの出力が供給され、前記音声入
力装置の入力音声の全フレームに対して振幅変更処理を
行う振幅変更処理部とを備え、前記振幅変更処理部で変
更処理された音声データを周波数分析させるようにした
ことを特徴とする単語音声認識システムにおける環境適
応装置。 - 【請求項３】 前記振幅変更処理部は、入力音声の無音
区間音声のみに振幅変更処理を施し、有音区間音声の音
素認識性能を維持させるようにしたことを特徴とする請
求項２記載の単語音声認識システムにおける環境適応装
置。 - 【請求項４】 前記無音区間音声は、前記音声入力装置
の出力に有音・無音判定部を設けて得るようにしたこと
を含む請求項３記載の単語音声認識システムにおける環
境適応装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10024996A JPH11224098A (ja) | 1998-02-06 | 1998-02-06 | 単語音声認識システムにおける環境適応装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10024996A JPH11224098A (ja) | 1998-02-06 | 1998-02-06 | 単語音声認識システムにおける環境適応装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11224098A true JPH11224098A (ja) | 1999-08-17 |
Family
ID=12153599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10024996A Pending JPH11224098A (ja) | 1998-02-06 | 1998-02-06 | 単語音声認識システムにおける環境適応装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11224098A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020208926A1 (ja) * | 2019-04-08 | 2020-10-15 | ソニー株式会社 | 信号処理装置、信号処理方法及びプログラム |
| WO2021043015A1 (zh) * | 2019-09-05 | 2021-03-11 | 腾讯科技（深圳）有限公司 | 语音识别方法及装置、神经网络训练方法及装置 |
-
1998
- 1998-02-06 JP JP10024996A patent/JPH11224098A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020208926A1 (ja) * | 2019-04-08 | 2020-10-15 | ソニー株式会社 | 信号処理装置、信号処理方法及びプログラム |
| WO2021043015A1 (zh) * | 2019-09-05 | 2021-03-11 | 腾讯科技（深圳）有限公司 | 语音识别方法及装置、神经网络训练方法及装置 |
| JP2022531574A (ja) * | 2019-09-05 | 2022-07-07 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | 音声認識方法及び装置、ニューラルネットワークの訓練方法及び装置、並びにコンピュータープログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7319960B2 (en) | Speech recognition method and system | |
| KR100815115B1 (ko) | 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치 | |
| CN116018638A (zh) | 使用话音转换和语音识别模型的合成数据增强 | |
| US20070239444A1 (en) | Voice signal perturbation for speech recognition | |
| CN1162365A (zh) | 语音识别 | |
| CN101030369A (zh) | 基于子词隐含马尔可夫模型的嵌入式语音识别方法 | |
| JPH075892A (ja) | 音声認識方法 | |
| CN111508498A (zh) | 对话式语音识别方法、系统、电子设备和存储介质 | |
| Schulze-Forster et al. | Joint phoneme alignment and text-informed speech separation on highly corrupted speech | |
| CN110663080A (zh) | 通过频谱包络共振峰的频移动态修改语音音色的方法和装置 | |
| JPH04158397A (ja) | 声質変換方式 | |
| JP2019008120A (ja) | 声質変換システム、声質変換方法、及び声質変換プログラム | |
| KR102197387B1 (ko) | 자연어 대화체 음성 인식 방법 및 장치 | |
| WO2019212375A1 (ru) | Способ получения дикторозависимых малоразмерных высокоуровневых акустических признаков речи | |
| JPH09179581A (ja) | 音声認識システム | |
| US20080228477A1 (en) | Method and Device For Processing a Voice Signal For Robust Speech Recognition | |
| JP2000194392A (ja) | 騒音適応型音声認識装置及び騒音適応型音声認識プログラムを記録した記録媒体 | |
| JP4461557B2 (ja) | 音声認識方法および音声認識装置 | |
| JPH11224098A (ja) | 単語音声認識システムにおける環境適応装置 | |
| JP3250604B2 (ja) | 音声認識方法および装置 | |
| US11043212B2 (en) | Speech signal processing and evaluation | |
| Tzudir et al. | Low-resource dialect identification in Ao using noise robust mean Hilbert envelope coefficients | |
| JPH07121197A (ja) | 学習式音声認識方法 | |
| JPH11212588A (ja) | 音声処理装置、音声処理方法、及び音声処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Khalifa et al. | Statistical modeling for speech recognition |