JP5027127B2 - 背景雑音に応じてバイブレータの動作を制御することによる移動通信装置の音声了解度の向上 - Google Patents

Description

本発明は、概して移動通信装置に関し、特に近くに環境雑音が存在する場合に音声信号出力の了解度（intelligibility）を向上する手段を有する移動通信装置に関する。

セルラ電話のような移動通信装置は、実質的に全ての世界の大都市圏で広く使用されており、かなりの量の音声通信が移動電話を使用して実行されている。しかし、これらの装置の移動する性質のため、本質的に広範囲の音響環境で使用される傾向にある。いくつかの音響環境は騒々しい可能性がある。環境雑音は、通信の受信側で生じても、送信側で生じても、又は（どの程度であっても）これらの２つの組み合わせで生じても、問題を引き起こすことがある。

背景雑音は、音声了解度を低下させることが知られている。この理由は、音声了解度は、信号対雑音比SNRの減少と共に減少するからである。近年では、不都合な雑音条件で音声了解度を改善する取り組みが行われている。例えば、米国特許第6,741,873号は、マイクロフォンで背景雑音レベルが決定され、閾値が定められる移動通信装置について記載している。閾値を超過すると、音声エネルギーがマイクロフォンで受信されている可能性が高いことが決定される。従って、入力信号が閾値を超過すると、移動通信装置は入力信号を送信し、閾値は背景雑音のレベルに応じて変化する。

しかし、この構成は、不都合な雑音条件で必ずしも音声了解度を改善するとは限らない。これは、単に受信者の知覚に従って音声信号に対する背景雑音の有意性を低減することを試み、これによって、音声が受信者にわかりやすくなる可能性を増加させる。しかし、様々な音響環境で性能を向上するために、実際に移動通信装置で音声了解度を改善することがかなり望ましい。

従って、音声了解度が異なる環境雑音レベルに応じて向上する移動通信装置を提供することが、本発明の目的である。また、移動通信装置で音声了解度を向上する対応の方法を提供することも、本発明の目的である。

本発明によれば、音声信号から音声を再生するスピーカと、バイブレータと、この再生された音声に関する背景雑音を測定する手段と、この背景雑音のレベルに応じて音声再生中にこのバイブレータの動作を制御するために、この背景雑音に応じて制御信号を生成するバイブレータ処理ユニットとを有する移動通信装置が提供される。

有利には、移動通信装置は、背景雑音のレベルを表す背景雑音スペクトル信号を計算する手段を有し、バイブレータ処理ユニットは、背景雑音スペクトル信号に基づいて音声再生中にバイブレータを選択的に動作するように制御信号を生成するように適合される。背景雑音を測定する手段は、１つ以上のマイクロフォンを有してもよく、背景雑音スペクトル信号は、１つ以上のマイクロフォンから得られた１つ以上の信号での環境雑音の寄与から生成されてもよい。

本発明の実施例によれば、この背景雑音スペクトル信号は、単一のマイクロフォン信号から推定される。本発明の他の実施例によれば、この背景雑音スペクトル信号は、複数のマイクロフォン信号から推定される。

移動通信装置は、この音声信号をフィルタリングする低域フィルタと、この背景雑音スペクトル信号に応じてこのフィルタリングされた音声信号を利得値で乗算し、この制御信号を生成する増幅器とを更に有してもよい。更に、複数の周波数でこの背景雑音スペクトルを積分し、雑音電力に関する瞬時値を得る手段と、所定の伝達関数を適用することにより、この瞬時値をこの利得値に変換する手段とを有してもよい。

本発明は、音声信号から移動通信装置により再生された音声の了解度を向上する方法に及び、この移動通信装置はバイブレータを有し、この方法は、この再生された音声に関する背景雑音を決定し、この背景雑音に応じて制御信号を生成し、この背景雑音のレベルに応じて音声再生中にこのバイブレータの動作を制御するようにこの制御信号をこのバイブレータに適用することを有する。

本発明の前記及び他の態様は、以下に説明する実施例から明らかになり、これを参照して説明する。

本発明の実施例について、添付図面を参照して一例のみとして説明する。

本発明は、音声再生中にスピーカと共にバイブレータ又は振動器を使用することにより、移動通信装置での音声了解度を向上する方法及び手段を提供する。バイブレータは、サイレントモードであれ、選択された着信音と共であれ、入来する呼及びメッセージに対してユーザを警告する際に使用するため、ほとんどの移動電話で既に利用可能である。本発明では、バイブレータは、音声信号の低周波数部分を処理し、これをバイブレータに供給することにより、装置のスピーカの通常の動作と同時に制御された方法で振動させる。この処理は、異なる環境雑音レベルで音声了解度が最適になるようなものである。

図面の図１を参照すると、入力信号s(n)は、再生されるために必要になるデジタル音声信号を表す。第１のデジタル・アナログD/A変換器10は、デジタル信号s(n)をアナログ領域に変換し、これに続いて、アナログ信号はスピーカ増幅器12により増幅され、出力用のスピーカ14に供給される。同じデジタル信号s(n)は、バイブレータ処理ユニット16により処理され、処理されたバイブレータ信号は、バイブレータ増幅器20により増幅されてバイブレータ22に供給される前に、第２のD/A変換器18によりアナログ領域に変換される。バイブレータ処理ユニット16は、大きい雑音レベルで大きい出力が実現されるように、測定された環境雑音により駆動されるバイブレータ処理アルゴリズムを使用する。環境雑音は、Mのマイクロフォン24のバンクから入来する信号を使用して測定される。ただし、Mは1以上の整数であり、これらの信号は、各マイクロフォン増幅器26により増幅され、各アナログ・デジタルA/D変換器28によりデジタル領域に変換される。Mの変換されたマイクロフォン信号x₁(n)〜x_M(n)から、環境雑音のスペクトルが背景雑音スペクトル処理ユニット30（例えばデジタルシグナルプロセッサ）により計算され、雑音スペクトル信号|N(f)|が、バイブレータ信号を生成する際にバイブレータ処理アルゴリズムにより使用されるバイブレータ処理ユニット16に供給される。

図１の構成のD/A変換器の代わりに、例えば振動処理ユニット16に提供され得る手段によりオン・オフ信号が生成されてもよく、本発明はこの点に限定されることを意図しないことがわかる。更に、唯一のバイブレータ22が図示されているが、例えば異なる周波数範囲に関して複数のバイブレータが提供されてもよく、本発明はこの点に限定されることを意図しない。

図面の図２を参照すると、スピーカ信号s(n)からバイブレータ22を制御する信号を生成するバイブレータ処理ブロック16の基本構成要素が詳細に図示されている。デジタルスピーカ信号s(n)は、低域フィルタLPF50によりフィルタリングされる。適切なフィルタは、(1-a)*z/(z-a)で与えられるz領域の伝達関数を有する。ただし、aは0a<1の範囲にあるパラメータである。低域フィルタ後の信号は、振動増幅器52により利得g(n)で乗算され、結果の信号は、バイブレータ22に供給される電流を制御するために使用される。この例示的な実施例では、利得g(n)は、以下のように雑音規模スペクトル|N(f)|から計算される。まず、雑音スペクトルは、積分器54を介して全ての周波数を通じて積分され、雑音電力に関する平方根に関する瞬時値P_NNを得る（すなわち、P_NNは雑音電力の平方根を表す）。雑音電力は、|N(f)|²の積分によっても計算され得るが、このような計算は乗算を必要とし、本発明の目的では、これを行うことに必ずしも大きな利点があるとは限らないことに留意すべきである。

P_NNは、図２に示す伝達関数58を計算することもできる処理ユニットを用いて、利得数g(n)に変換される。低い値の雑音電力（すなわち、第１の閾値T1未満のP_NN）では、音声了解度を向上するためにバイブレータ22は必要ない。従って、g(n)は1に設定される。特定の雑音レベルの上（すなわち、第１の閾値T1より上）では、雑音が増加すると共に増加する程度でバイブレータが必要になる。従って、g(n)はP_NNの増加と共に増加する。最高レベルの環境雑音（すなわち、第２の閾値T2より大きいP_NN）では、利得g(n)は、振動システムの物理的制約により制限される。

マイクロフォン信号は、環境雑音と音声の寄与（contribution）とを有し、環境雑音規模スペクトル|N(f)|を推定するために、単一マイクロフォン又は複数マイクロフォンの環境雑音スペクトル推定が本発明で使用されてもよい。

図面の図３を参照すると、単一マイクロフォンの雑音スペクトル推定で使用される基本ステップが概略的に図示されている。マイクロフォン信号x(n)からの環境雑音の規模スペクトル|N(f)|は、Reiner Martinによる“Spectral subtraction based on minimum statistics”, Signal Processing VII, Proc. EUSIPCO, Edinburgh, Sept. 1994, pp.1182-1185に記載のように、スペクトル最小統計（spectral minimum statistics）に基づいて推定され得る。ただし、nはサンプリングインデックスであり、fは周波数インデックスである。まず、ステップ32において、デジタルのマイクロフォン信号x(n)は、直列−並列変換器によりBの連続サンプルのブロックに時間で分割される。次に、ステップ34において、Bのサンプルの古いブロックとBのサンプルの新しいブロックとが連結され、ステップ36において、2Bの連続サンプルの結果のブロックがハニング・ウィンドウ（Hanning window）により乗算される。ステップ38において、ウィンドウ後の信号は、離散フーリエ変換DFTにより複素数値のフーリエ領域に変換され、ステップ40において、マイクロフォン信号の規模は、周波数毎にDFT結果の複素数値の大きさ（すなわち、絶対値）を取ることにより決定される。最後に、ステップ42において、各周波数で、限られた過去の時間に渡って最小検索が実行され、推定雑音規模スペクトル|N(f)|に到達する。この方法は、準定常雑音を見つける。準定常は、スペクトル特性が時間と共に少しだけ変化することを意味する。

図面の図４を参照すると、複数マイクロフォンの雑音スペクトル推定で使用される基本ステップが概略的に図示されている。環境雑音のスペクトル|N(f)|を推定するために、ビーム形成技術が使用されている。この技術は、例えばPeter S. K. Hansen, “Signal subspace methods for speech enhancement”, Ph.D. thesis, Technical University of Denmark, 1997に記載のように、空間選択性（spatial selectivity）に基づいて音声から環境雑音を分離する。従って、この場合には、x₁(n)〜x_M(n)に及ぶ信号空間から、ユーザが話すことを想定する方向から（例えばマイクロフォンの前から直接に）入来する成分のみを抽出するために、Mのデジタルのマイクロフォン信号x₁(n)〜x_M(n)がフィルタ行列44によりフィルタリングされる。その結果、フィルタ行列44の出力での音声対雑音比は、Mのマイクロフォンのいずれかより大きくなる。フィルタ行列44の例示的な設計は、Peter S. K. Hansenによる前記の参照文献に与えられる。当然に、本発明の場合には、関心のあるものは向上した音声ではなく、環境雑音である。フィルタ行列の出力から、ユーザの方向から入来する信号をブロックし、全ての他の信号を通過するブロックフィルタ行列46を計算することが可能である。その結果が環境雑音を表す信号である。雑音規模スペクトル|N(f)|を得るために、信号はウィンドウ化され、DFTにより周波数領域に変換され、最後に、周波数毎に絶対値が取られる。これらの動作は、併せてステップ48で表される。ブロックフィルタ行列46の例示的な設計についても、Peter S. K. Hansenによる前記の参照文献に与えられる。

図２を参照して説明した単一マイクロフォンの方法に比べて、図３を参照して説明した複数マイクロフォンの方法の利点は、準定常だけでなく、非定常の環境雑音の寄与が測定される点にある。

本発明による移動通信装置での音声了解度は、例えば人間の音声をそれを表す動画に変換する音声−アニメーション技術を使用する視覚合図（visual cue）により更に向上されてもよいことがわかる。リアルタイム音声認識エンジンは、人間の音声を音素に変換し、この音素は、人間の音声の基本的又は原子的な構成単位である。アニメーションパッケージは、リアルタイムで適切な顔のジェスチャー及び各音素の視覚合図を受け取って表示し、わずかの遅延で一種の動画を生成する。この動画は話者の音声と完全に同期する。代替として又は更に、言葉自体も実質的にリアルタイムで生成されて表示されてもよい。

本発明は、移動電話を対象としているが、必ずしもこれに限定されないこともわかる。

前述の実施例は、本発明を限定するものではなく、例示するものであり、特許請求の範囲に記載の本発明の範囲を逸脱することなく、当業者は、多数の代替実施例を設計することができる点に留意すべきである。請求項において、括弧の中の参照符号は、請求項を限定するものとして解釈されるべきではない。“有する”等という用語は、いずれかの請求項又は全体としての明細書に記載のもの以外の要素又はステップの存在を除外しない。要素の単数の言及は、このような要素の複数の存在を除外せず、その逆も同様である。

本発明は、複数の異なる要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実施されてもよい。複数の手段を列挙した装置の請求項において、これらの手段のうちいくつかはハードウェアの同一のアイテムにより具現されてもよい。特定の手段が相互に異なる従属項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを意味しているのではない。

本発明の例示的な実施例による移動通信装置の基本構成要素を示す概略ブロック図 図１のバイブレータの処理ブロックの基本構成要素を示す概略図 本発明の例示的な実施例による音声了解度向上方法で使用される単一マイクロフォンの環境雑音スペクトル推定処理の基本ステップを示す概略ブロック図 本発明の例示的な実施例による音声了解度向上方法で使用される複数マイクロフォンの環境雑音スペクトル推定処理の基本ステップを示す概略ブロック図

Claims (8)

1. 音声信号から音声を再生するスピーカと、
   バイブレータと、
   前記再生された音声に関する背景雑音を測定する手段と、
   前記背景雑音のレベルに応じて音声再生中に前記バイブレータの動作を制御するために、前記背景雑音に応じて制御信号を生成するバイブレータ処理ユニットと
   を有し、
   前記音声信号の低周波数部分を処理して前記バイブレータに供給することにより、前記バイブレータは、前記スピーカの通常の動作と同時に制御された方法で振動するようにされる移動通信装置。
2. 前記背景雑音のレベルを表す背景雑音スペクトル信号を計算する手段を有し、
   前記バイブレータ処理ユニットは、前記背景雑音スペクトル信号に基づいて音声再生中に前記バイブレータを選択的に動作するように前記制御信号を生成するように適合される、請求項１に記載の移動通信装置。
3. 前記背景雑音を測定する手段は、１つ以上のマイクロフォンを有し、
   前記背景雑音スペクトル信号は、前記１つ以上のマイクロフォンから得られた１つ以上の信号での環境雑音の寄与から生成される、請求項２に記載の移動通信装置。
4. 前記背景雑音スペクトル信号は、単一のマイクロフォン信号から推定される、請求項３に記載の移動通信装置。
5. 前記背景雑音スペクトル信号は、複数のマイクロフォン信号から推定される、請求項３に記載の移動通信装置。
6. 前記音声信号をフィルタリングする低域フィルタと、
   前記背景雑音スペクトル信号に応じて前記フィルタリングされた音声信号を利得値で乗算し、前記制御信号を生成する増幅器と
   を更に有する、請求項２に記載の移動通信装置。
7. 複数の周波数で前記背景雑音スペクトルを積分し、雑音電力に関する瞬時値を得る手段と、
   所定の伝達関数を適用することにより、前記瞬時値を前記利得値に変換する手段と
   を有する、請求項６に記載の移動通信装置。
8. 音声信号から移動通信装置により再生された音声の了解度を向上する方法であって、
   前記移動通信装置は、前記音声信号から音声を再生するスピーカと、バイブレータとを有し、
   前記方法は、
   前記再生された音声に関する背景雑音を決定し、
   前記背景雑音に応じて制御信号を生成し、
   前記背景雑音のレベルに応じて音声再生中に前記バイブレータの動作を制御するように前記制御信号を前記バイブレータに適用することを有し、
   前記音声信号の低周波数部分を処理して前記バイブレータに供給することにより、前記バイブレータは、前記スピーカの通常の動作と同時に制御された方法で振動するようにされる方法。

Images