JP4236726B2 - 音声活動検出方法及び音声活動検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、スピーチ信号と、雑音信号と、無音期間とを含む入力信号における音声活動を検出する音声活動検出方法に関する。本発明は、同様に、この方法を実施するための音声活動を検出する音声活動検出装置に関する。
【０００２】
【従来の技術】
本発明は、スピーチ信号（及び純粋な低周波信号以外の信号）が発生する場合や、スピーチ、背景雑音及び無音期間を含む音響帯域と、雑音又は無音期間のみを含む低周波帯域とを区別することが望ましい場合への用途であればどのような用途にでも利用することができる。本発明は、特に、句又は孤立している語を認識するための用途において有用な前処理モードを構成する。
【０００３】
【発明が解決しようとする課題】
本発明の第１の目的は、伝送ネットワークの場合に、スピーチのみ以外のデータ（スピーチが全通過帯域を占めていないこと、即ち、スピーチと他のデータの同時通過が実際に可能であることを確認する必要がある。）を習慣的に転送する他の種類の信号に対してスピーチ信号のために確保されている通過帯域を最適にするため、又は、たとえば、デジタル電話応答機に蓄積されているメッセージによりメモリ内で占められる領域を最適にすることである。
【０００４】
本発明の他の目的は、本発明の方法を簡単に使用可能とする、音声活動を検出する装置を提案することである。
【０００５】
【課題を解決するための手段】
上記第１の目的のために、本発明は、エネルギ、及び、中心化された雑音信号の零交差率を計算する第１のステップと、入力信号を分類する第２のステップとを入力信号に適用し、入力信号をスピーチとして又は雑音として分類及び処理する上記ステップは、適応閾値Ｂに関する入力信号のエネルギ値と、計算した零交差率とに依存することを特徴とする、発明の詳細な説明の最初の段落で述べられている方法に関するものである。
【０００６】
上記他の目的のために、本発明は、スピーチ信号と、雑音信号と、無音期間とを含む入力信号における音声活動を検出する音声活動検出装置において、上記入力信号は所定の持続時間の連続するデジタル化されたフレームの形で利用でき、かつ、上記装置は、使用した変数の初期化のための段階と、各フレームのエネルギと中心化された雑音信号の零交差率との計算のための段階と、３段階オートメーションの形で実現される処理及びテスト段階とからなる一連の段階配列を行う手段を備え、これら３つの段階は、
第１のＮ−ＩＮＩＴフレーム中の状態であって、上記変数の調整のために行われ、かつ、その期間中はいずれの入力信号も常にスピーチ信号とみなされる初期化の第１の状態と、
その期間中はいずれの入力信号も「スピーチ＋雑音＋無音」信号、「雑音＋無音」信号とそれぞれみなされる第２の状態、及び、第３の状態であり、
上記装置は、第１のＮ−ＩＮＩＴフレームの後は常に、第２の状態又は第３の状態のいずれかの状態であることを特徴とする音声活動検出装置に関するものである。
【０００７】
提案した実施の形態においては、この分類によって、初期化状態と、スピーチの存在する状態と、雑音の存在する状態とそれぞれ呼称される３つの発生しうる状態になる。
【０００８】
【発明の実施の形態】
本発明について説明する前に、提案する方法の使用における最初のいくつかの使用条件、即ち、単一の入力源から来る入力信号が、人により発せられ、起源が非常に異なることがある背景雑音（レストラン、事務所、走行車両等の背景雑音）が混じった音声信号（又はスピーチ信号）に対応するという最初の条件について詳細に説明する。さらに、これらの入力信号は本発明に従って処理する前にデジタル化すべきであり、この処理は、これらのデジタル化された入力信号の十分な範囲（又はフレーム）、例えば、約５ｍｓ乃至２０ｍｓの連続するフレーム、を使用できることを意味する。最後に、スピーチ信号に適用される他の任意の後の処理とは独立である提案した方法を、ここでは８ｋＨｚで標本抽出し、電話周波数帯（３００〜３４００Ｈｚ）内にのみ含まれるように濾波したデジタル信号を用いて試験したことを指摘する。
【０００９】
本発明に係る方法の動作モードの原理を図１に示す。手順の過程で使用する変数の初期化段階１０の予備ステップの後、計算段階１１において、入力Ｅに受信された入力信号の現在の各フレームＴＲnについて、このフレームのエネルギＥn、及び、このフレームにおける中心化された雑音信号の零交差率の最初の計算ステップが行われる（以下の説明でＺＣＲ、又はＺＣとも呼称されるこの変数の意味については後述する）。その後、試験及び処理段階１２における第２のステップが、入力信号が「スピーチ＋雑音＋無音」信号を表すのか、又は「雑音＋無音」のみの信号を表すのかを判定するために、そのエネルギを適応閾値と比較すること、及び、ＺＣＲを固定閾値と比較することを可能にする。この第２のステップは、以下で３状態オートメーションと呼称されるものにおいて実行する。その３状態オートメーションの動作を図２に示す。これら３つの状態は図１にも示す。
【００１０】
第１の状態、ＳＴＡＲＴ ＶＡＤは、図１にＡで示すスタート状態である。本発明に従った処理の各スタートにおいて、システムはこの状態に入る。この状態では、入力信号は常にスピーチ信号とみなされる（雑音も検出されたとしても）。この初期化状態によって内部変数を調整することが特に可能にされ、必要とされる期間だけ維持される（種々の連続するフレームの間、Ｎ−ＩＮＩＴで示すフレームの数は明らかに調整できる）。
【００１１】
第２の状態、ＳＰＥＥＣＨ ＶＡＤは、入力信号が「スピーチ＋雑音＋無音」信号とみなされる場合に対応する。第３の状態、ＮＯＩＳＥ ＶＡＤは、入力信号が「雑音＋無音」のみの信号とみなされる場合に対応する（「第１の」状態及び「第２の」状態という用語は重要度を定めるためのものではなく、状態を区別することを意図するためのものであることに、ここでは注意されたい）。第１のＮ−ＩＮＩＴフレームの後は、システムは常にこの第２の状態又は第３の状態にある。１つの状態から次の状態への遷移については後述する。
【００１２】
初期化の後、段階１１における第１の計算ステップは２つの副ステップを含む。一方の副ステップは、現在のフレームのエネルギを計算する計算回路１１１で実行され、このフレームについてのＺＣＲの計算は計算回路１１２で実行される。
【００１３】
一般に、スピーチ信号（即ち、「スピーチ＋雑音＋無音」信号）は「雑音＋無音」のみの信号より大きなエネルギを有する。背景雑音が非常に激しいことは確かに避け難く、背景雑音は雑音として（即ち、「雑音＋無音」信号として）検出されず、スピーチ信号として検出される。従って、エネルギを計算するための回路１１１は、下記の方法で実現される試験を行うために、可変閾値の値に応じてエネルギに可変閾値を関連づける。
【００１４】
（ａ）現在のフレームのエネルギＥnがある閾値Ｂより小さいとすると（Ｅn＜閾値Ｂ）、現在のフレームはＮＯＩＳＥとして分類される。
【００１５】
（ｂ）他方、エネルギＥnが閾値Ｂより大きいか、閾値Ｂに等しいとすると（Ｅn≧閾値Ｂ）、現在のフレームはＳＰＥＥＣＨとして分類される。
【００１６】
実際に、背景雑音の関数として適応性のある、即ち、例えば、その閾値を「雑音＋無音」信号の平均エネルギＥの関数として調整する、閾値Ｂを有することを選択する。さらに、この「雑音＋無音」信号のレベルの変動が許される。すると、適応基準は、以下の通りになる。
【００１７】
（ｉ）（Ｅn＜閾値Ｂ）であるとすると、閾値Ｂは閾値Ｂ−αＥで置き換えられる。ここで、αは経験的に決定される定数であるが、この場合には０と１との間に含まれる。
【００１８】
（ｉｉ）（閾値Ｂ＜Ｅn＜閾値Ｂ＋Δ）であるとすると、閾値Ｂは閾値Ｂ＋αＥで置き換えられる（Δ＝相補閾値）。
【００１９】
これら２つの状況（ｉ）（ｉｉ）においては、信号は「雑音＋無音」とみなされ、平均エネルギＥは更新される。もしそうでなければ、Ｅn≧閾値Ｂ＋Δであるとすると、信号はスピーチであるとみなされ、平均エネルギＥは不変のままである。それを避けるために、その閾値Ｂをあまり大きくしたり、あまり小さくしたりせず、その値は、経験的に決定される２つの閾値ＴＨＲＥＳＨＯＬＤ Ｂ ＭＩＮとＴＨＲＥＳＨＯＬＤ Ｂ ＭＡＸとの間に留まることを強制される。他方、Δ自体の値は、入力信号（それがスピーチのみ、雑音＋無音、又は２つの混合のいずれであっても）が大きいか、小さいかに応じて、ここでは大きかったり、小さかったりする。例えば、Ｅn-1を入力信号の先行するフレームＴＲn-1（これは保存されている）のエネルギとすることにより、以下の種類の判定が行われる。
【００２０】
（ｉ）｜Ｅn−Ｅn-1｜＜閾値であれば、Δ＝ＤＥＬＴＡ１、
（ｉｉ）もしそうでなければ、Δ＝ＤＥＬＴＡ２、
Δのとり得る２つの値ＤＥＬＴＡ１及びＤＥＬＴＡ２はやはり経験的に決定される一定値である。
【００２１】
回路１１１でエネルギの計算が行われると、回路１１２で行う、現在のフレームについてのＺＣＲの計算がそれに関連づけられる。段階１１におけるこれらの計算の後に、説明した種々のステップを開始した後で装置がとる状態についての判定動作が続く。より正確には、段階１２で行うこの判定方法は２つの重要なテスト１２１及び１２２を含む。これらのテストについて引き続き説明する。
【００２２】
本発明に従った処理の各スタートにおいては、連続するＮ−ＩＮＩＴフレームの間、スタートステップはＡ＝ＳＴＡＲＴ ＶＡＤであったことが観察されている。装置の状態についての最初のテスト１２１は、装置の入力に加えられるフレームの数に関するものであって、状態がＳＴＡＲＴ ＶＡＤ（テスト１２１の後の応答Ｙ）となりその状態を継続する結論を導くが、加えられるフレームの数はＮ−ＩＮＩＴより少ないままである。その場合に、ＳＴＡＲＴ ＶＡＤ Ｐと呼称され、ステップ１４１で実行される結果的な処理を後述の図３に示す。しかし、このＳＴＡＲＴ ＶＡＤ Ｐの間は、必然的に、観察された状態がもはやスタート状態ＳＴＡＲＴ ＶＡＤではなく、他の状態の１つ、即ち、その区別がテスト１２２で行われるＮＯＩＳＥ ＶＡＤ、又はＳＰＥＥＣＨ ＶＡＤのいずれかであることが起こることを、今から示すことができる。
【００２３】
確かに、最初のテスト１２１の後でこのときの応答がＮである（即ち、「いいえ（ｎｏ）、状態はもはやＳＴＡＲＴ ＶＡＤでない」）とすると、第２のテスト１２２は観察された状態がＢ＝ＮＯＩＳＥ ＶＡＤであるかどうかを前のように「肯定（ｙｅｓ）」応答又は「否定（ｎｏ）」応答で判定する。応答が「肯定」（テスト１２２の後の応答Ｙ）であれば、ＮＯＩＳＥ ＶＡＤと呼称される結果的な処理がブロック１４２で実行される。その処理を図４に示す。応答が「否定」（テスト１２２の後の応答Ｎ）であれば、ブロック１４３でＳＰＥＥＣＨ ＶＡＤ Ｐと呼称される結果的な処理が実行される。その処理を図５に示す（ＳＴＡＲＴ ＶＡＤ Ｐに関する限り、図４及び図５については以下に説明する）。これらのテスト１２１及び１２２の後で実行される３つの処理のうちの１つがどのようなものであっても、その後、ブロック１４１及び１４３の出力と回路１１の入力とを接続する経路１５を経て、装置の入力に戻る動作が続く。従って、次のフレームを検査して処理することが可能となる。
【００２４】
その重要な面が図２に要約されている図３、図４及び図５は、処理ＳＴＡＲＴ ＶＡＤ Ｐと、ＮＯＩＳＥ ＶＡＤ Ｐと、ＳＰＥＥＣＨ ＶＡＤ Ｐとがどのように実行されるかを詳細に記述している。これらの図で用いられている変数は種類ごとに説明する下記の変数である。
【００２５】
（１）エネルギ：Ｅnが現在のフレームのエネルギを示し、Ｅn-1が先行するフレームのエネルギ（蓄積されている）を示し、Ｅが背景雑音の平均エネルギを示す。
【００２６】
（２）カウンタ：
（ａ）カウンタｆｒ ｃｔｒがこの方法の使用開始以後捕捉されたフレームの数を数える（このカウンタは状態ＳＴＡＲＴ ＶＡＤにおいてのみ使用され、それが到達できる値は多くてもＮ−ＩＮＩＴに等しい値である）；
（ｂ）カウンタｆｒ ｃｔｒ ｎｏｉｓｅがこの方法の使用開始以後雑音として検出したフレームの数を数える（過剰な計算を避けるため、このカウンタはそれが到達する値が、それを超えるとカウンタがもはや使用されなくなるようなある値より小さいときに更新されるだけである）；
（ｃ）スピーチ／雑音の遷移を滑らかにするために用いるカウンタｔｒａｎｓｉｔ ｃｔｒは、状態ＳＰＥＥＣＨ ＶＡＤから状態ＮＯＩＳＥ ＶＡＤへの切り替えを条件付きで延期する間に、句の終りの切れを避け、又は音節の間のスペース（それはスピーチ信号を完全に分割する）を背景雑音として検出することを避ける；
−ある人が話している状態にあるとして、雑音が検出されると、このカウンタｔｒａｎｓｉｔ ｃｔｒはカウントを増加する；
−スピーチが再び検出されると、このカウンタは零にリセットされ、もし検出されなければ、閾値Ｎ−ＴＲＡＮＳＭに達するまでカウンタのカウントは増加を続ける。入力信号が今は全く背景雑音であるというこの確認は、状態ＮＯＩＳＥ ＶＡＤへの切り替えを行わせ、カウンタｔｒａｎｓｉｔ ｃｔｒは零にリセットされる。
【００２７】
（３）閾値：閾値Ｂはスピーチを低レベル背景雑音から識別するために用いる閾値を示し、（ＴＨＲＥＳＨＯＬＤ Ｂ ＭＩＮ及びＴＨＲＥＳＨＯＬＤ Ｂ ＭＡＸはその許容された最小値及び最大値である）、αは閾値Ｂの更新係数の値であり、Δはスピーチを激しい背景雑音から識別するために用いる相補閾値である（その２つのとり得る値はＤＥＬＴＡ１及びＤＥＬＴＡ２であり、｜Ｅn−Ｅn-1｜に使用する閾値であって、入力信号が大きく変動しているか否かを、Δの更新を考慮して、知ることができるようにするＤＥＬＴＡＥのために決定されるものである）；
（４）現在のフレームのＺＣＲ：中心化された雑音信号のこの零交差率がかなり変動する；
−ある種の雑音は時間的に非常に不安定であり、したがって、雑音信号（中心化された、即ち、その平均値が除去されている）が零としばしば交差し、そのためにＺＣＲが高い（これは、とくに、ガウス型の背景雑音の場合である）；
−背景雑音が会話のがやがやという雑音であるとき（レストラン、事務所、近くの会話等）、背景雑音の特徴がスピーチ信号の特徴に近くなり、ＺＣＲがより低い値をとる；
−ある種類のスピーチ音は有声音と呼ばれ、ある周期を持つ。それは、多くのエネルギと低いＺＣＲとに対応する母音の場合である；
−他方、無声スピーチ音と呼称される他の種類のスピーチは、有声音と比較して、より小さいエネルギと、より高いＺＣＲとを持つ。これは、特に摩擦音及び破裂音の場合である（そのような信号は、このテストがエネルギの１つにより終了されなければ、それらのＺＣＲが与えられた閾値ＺＣＧＡＵＳＳを超える雑音として分類される；それらの信号のエネルギが（閾値Ｂ＋ＤＥＬＴＡ２）より低いままであるならばそれらの信号は雑音として確認されるだけであるが、逆の場合にはスピーチとして分類され続ける）；
−最後に、ＺＣＲが零である（ＺＣが０）という特別の場合も考慮に入れるべきである；これは平坦な入力信号に対応し（総てのサンプルが同じ値を持つ）、従って、それは「雑音＋無音」に系統的に同化させられる；
（５）出力信号ＩＮＦＯ ＶＡＤ：各処理の初めに（ブロック１４１乃至１４３のいずれかにおいて）、現在のフレームについての判定が行われ、後の方のものは、実際に、スピーチ信号（ＩＮＦＯ ＶＡＤ＝ＳＰＥＥＣＨ）として宣言され、又は背景雑音＋無音（ＩＮＦＯ ＶＡＤ＝ＮＯＩＳＥ）として宣言される。
【００２８】
ブロック１４１乃至１４３におけるこれらの処理は、図示のように、エネルギのテスト、又はダイヤモンドの形のフレーム中に示されているＺＣＲのテスト（フレームの数が値Ｎ−ＩＮＩＴより依然として小さいこと及び人が装置の初期化段階に依然としてあることを確認するために、カウンタｆｒ ｃｔｒの値のテストである第１の処理ＳＴＡＲＴ ＶＡＤ Ｐにおける最初のテストを除く）、又はこれらのテストの結果により制御される動作（閾値の可能な変更、平均エネルギの計算、装置の状態の決定、カウンタの増加又は零リセット、次のフレームへの移行、等）を含む。したがって、これらの動作は長方形のフレーム内に示されている。
【００２９】
以上提案した方法及び装置は非常に簡単であるから、リアルタイムでの導入が特に簡単になる。また、本発明に組合わされるメモリは扱いにくいことがほとんどないことも分かる。もちろん、本発明の範囲を逸脱することなく本発明を変更することができる。より具体的には、テスト１２２の性質を変更でき、かつ、テスト１２１の結果が否定であった後で観察される新しい状態がＳＰＥＥＣＨ ＶＡＤ（及びもはやＮＯＩＳＥ ＶＡＤでない）かどうかを、上述した肯定応答又は否定応答（Ｙ又はＮ）で調べることができる。テスト１２２の後の応答が肯定（Ｙ）であれば、結果としての処理はＳＰＥＥＣＨ ＶＡＤ Ｐであり（従って、ブロック１４２で実行される）、もしそうでなければ、この処理はＮＯＩＳＥ ＶＡＤ Ｐである（従って、ブロック１４３で実行される）。
【図面の簡単な説明】
【図１】本発明に係る音声活動検出方法の実施の形態の全体的な動作モードを示すフローチャート。
【図２】上記動作モードを一層詳細に示し、かつ、上記動作モードを確実なものとする本発明に係る音声活動検出装置がとることができる３つの状態の概略を示す説明図。
【図３】上記３つの状態のうちの第１の状態にあるときの本発明に係る音声活動検出装置で実行される処理を示すフローチャート。
【図４】上記３つの状態のうちの第２の状態にあるときの本発明に係る音声活動検出装置で実行される処理を示すフローチャート。
【図５】上記３つの状態のうちの第３の状態にあるときの本発明に係る音声活動検出装置で実行される処理を示すフローチャート。
【符号の説明】
１０ 初期化段階
１１ 計算段階
１２ 試験及び処理段階

Claims (5)

1. スピーチ信号と、雑音信号と、無音期間とを含む入力信号において前記スピーチ信号を検出する検出方法であって、
   前記入力信号の現在のフレームに関するエネルギと、前記現在のフレームにわたって前記雑音信号のエネルギを平均化することによって導出される中心化された雑音信号が前記現在のフレームで零と交差する回数を表す零交差率とを計算する第１のステップと、
   前記入力信号のエネルギ値を適応閾値Ｂと比較し、且つ、前記計算した零交差率を固定閾値と比較することによって、前記入力信号をスピーチ信号として又は雑音信号として分類する第２のステップとを有し、
   前記第２のステップは、前記入力信号のエネルギ値が前記閾値Ｂ及び相補閾値の和を上回り、且つ、前記計算した零交差率が零ではなく前記固定閾値を下回る場合は、前記入力信号はスピーチ信号に分類されると決定するステップを含み、
   前記閾値Ｂは、現在のフレームのエネルギＥｎの値が前記閾値Ｂよりも低い場合に、経験的に決定される定数を乗じられた前記平均エネルギを減じられ、前記閾値Ｂは、前記現在のフレームのエネルギＥｎの値が前記閾値Ｂを上回り、且つ、前記閾値Ｂ及び前記相補閾値の和よりも低い場合に、経験的に決定される定数を乗じられた前記平均エネルギを加えられる、ことを特徴とする検出方法。
2. 前記入力信号は、予めデジタル化されており、
   前記第１の計算ステップ及び第２の分類ステップは、前記デジタル化された入力信号の現在のフレームに適用される、ことを特徴とする請求項１記載の検出方法。
3. 前記相補閾値は、前記現在のフレームのエネルギＥｎの値から先行のフレームの対応するエネルギＥｎ−１の値を減じた値の絶対値が所定の閾値ＤＥＬＴＡＥよりも低いか否かに依存して経験的に決定される２つのとり得る値のうちのいずれか一方である、ことを特徴とする請求項１記載の検出方法。
4. 前記閾値Ｂの変動は、所定の範囲（ＴＨＲＥＳＨＯＬＤ Ｂ ＭＩＮ，ＴＨＲＥＳＨＯＬＤＢ ＭＡＸ）に制限される、ことを特徴とする請求項１乃至３のうちいずれか一項記載の検出方法。
5. スピーチ信号と、雑音信号と、無音期間とを含む入力信号においてスピーチ信号を検出する検出装置であって、
   前記入力信号は、所定の持続時間の連続するデジタル化したフレームの形で利用することができ、
   当該装置は、
   夫々のフレームに関して、前記入力信号の現在のフレームに関するエネルギと、前記現在のフレームにわたって前記雑音信号のエネルギを平均化することによって導出される中心化された雑音信号が前記現在のフレームで零と交差する回数を表す零交差率とを計算する手段と、
   前記入力信号のエネルギ値を適応閾値Ｂと比較し、且つ、前記計算した零交差率を固定閾値と比較することによって、前記入力信号をスピーチ信号として又は雑音信号として分類する手段とを有し、
   前記分類する手段は、前記入力信号のエネルギ値が前記閾値B及び相補閾値の和を上回り、且つ、前記計算した零交差率が零ではなく前記固定閾値を下回る場合は、前記入力信号をスピーチ信号に分類し、
   前記閾値Ｂは、現在のフレームのエネルギＥｎの値が前記閾値Ｂよりも低い場合に、経験的に決定される定数を乗じられた前記平均エネルギを減じられ、前記閾値Ｂは、前記現在のフレームのエネルギＥｎの値が前記閾値Ｂを上回り、且つ、前記閾値Ｂ及び前記相補閾値の和よりも低い場合に、経験的に決定される定数を乗じられた前記平均エネルギを加えられる、ことを特徴とする検出装置。

Images