JP6129316B2 - 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法 - Google Patents

情報に基づく多チャネル音声存在確率推定を提供するための装置および方法 Download PDF

Info

Publication number
JP6129316B2
JP6129316B2 JP2015528886A JP2015528886A JP6129316B2 JP 6129316 B2 JP6129316 B2 JP 6129316B2 JP 2015528886 A JP2015528886 A JP 2015528886A JP 2015528886 A JP2015528886 A JP 2015528886A JP 6129316 B2 JP6129316 B2 JP 6129316B2
Authority
JP
Japan
Prior art keywords
speech
probability
sound
speech probability
estimate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015528886A
Other languages
English (en)
Other versions
JP2015526767A (ja
Inventor
エマヌエル・ハベツ
マヤ・タセスカ
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2015526767A publication Critical patent/JP2015526767A/ja
Application granted granted Critical
Publication of JP6129316B2 publication Critical patent/JP6129316B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、オーディオ信号処理に関し、かつ具体的には、情報に基づいて多チャネル音声存在確率を推定するための装置および方法に関する。
オーディオ信号処理はますます重要となっている。具体的には、多くのヒューマン−マシンインタフェースおよび通信システムにおいて、音声のハンズフリーな捕捉が必要とされている。内蔵式の音響センサは、通常、望まれる音（例えば、音声）と、望まれていない音（例えば、周囲雑音、干渉話者、残響音およびセンサ雑音）とが混合したものを受信する。望まれていない音は、望まれる音の品質と了解度を低下させることから、音響センサの信号は、望まれる音源信号を抽出するために、又は言い替えれば、望まれていない音信号を減らすために、処理（例えば、フィルタ・アンド・サム）される場合がある。このようなフィルタを計算するために、通常、雑音の電力スペクトル密度（ＰＳＤ）行列の正確な推定が必要とされる。実際には、雑音信号は観測不可であり、そのＰＳＤ行列は、雑音の多い音響センサ信号から推定する必要がある。
雑音ＰＳＤの推定（例えば、非特許文献［１−５］参照）および雑音低減と音声歪とのトレードオフの制御（例えば、非特許文献［６、７］参照）には、単チャネル音声存在確率（ＳＰＰ）推定器が使用されてきた。最近では、雑音ＰＳＤ行列を推定するために多チャネル事後ＳＰＰが使用されている（例えば、非特許文献［８］参照）。さらに、ＳＰＰ推定は、デバイスの電力消費量を減じるために使用される場合もある。
以下、多チャネル音声処理における十分に確立された信号モデルについて考察する。そのモデルでは、Ｍ要素アレイの各音響センサが望まれる信号と望まれていない信号の加法混合を捕捉する。ｍ番目の音響センサにおいて受信される信号は、時間−周波数領域において、次のように記述することができる。
Ｙm（ｋ，ｎ）＝Ｘm（ｋ，ｎ）＋Ｖm（ｋ，ｎ） （１）
但し、Ｘm（ｋ，ｎ）およびＶm（ｋ，ｎ）は、各々、ｍ番目の音響センサにおける望まれる音源信号、雑音成分の複素スペクトル係数を示し、ｎおよびｋは各々時間指数および周波数指数である。
望まれる信号は、例えば、マイクロフォンを通じて空間的にコヒーレントであるとすることができ、雑音の空間的コヒーレンスは、例えば、理想的な球状等方性音場の空間的コヒーレンスに従うとすることができる。非特許文献［２４］を参照されたい。
言い替えれば、例えば、Ｘm（ｋ，ｎ）はｍ番目の音響センサにおける望まれる音源信号の複素スペクトル係数を示し、Ｖm（ｋ，ｎ）はｍ番目の音響センサにおける雑音成分の複素スペクトル係数を示し、ｎは時間指数を示し、ｋは周波数指数を示すものとすることができる。
観測される雑音の多い音響センサ信号は、ベクトル表記法において、
ｙ（ｋ，ｎ）＝[Ｙ1（ｋ，ｎ）...ＹM（ｋ，ｎ）]T （２）
と書くことができ、かつｙ（ｋ，ｎ）の電力スペクトル密度（ＰＳＤ）行列は、
Φyy（ｋ，ｎ）＝Ｅ{ｙ（ｋ，ｎ）ｙH（ｋ，ｎ）}， （３）
と定義される。但し、上付き文字Ｈは、行列の共役転置行列を示す。ベクトルｘ（ｋ，ｎ）およびｖ（ｋ，ｎ）、並びに行列Φxx（ｋ，ｎ）およびΦvv（ｋ，ｎ）も、同様に定義される。望まれる信号および望まれていない信号は、無相関かつゼロ平均であることが想定され、よって、公式（３）を、
Φyy（ｋ，ｎ）＝Φxx（ｋ，ｎ）＋Φvv（ｋ，ｎ） （４）
と書くことができる。
所定の時間−周波数ビンにおける望まれる信号（例えば、音声信号）の存在に関しては、次の標準仮説を導入する。
Ｈ0（ｋ，ｎ）：ｙ（ｋ；ｎ）＝ｖ（ｋ；ｎ） 音声の不在を示す、
Ｈ1（ｋ，ｎ）：ｙ（ｋ；ｎ）＝ｘ（ｋ；ｎ）＋ｖ（ｋ；ｎ） 音声の存在を示す。
これは、例えば、条件付き事後ＳＰＰ、即ち、ｐ［Ｈ1（ｋ，ｎ）│ｙ（ｋ，ｎ）］を推定するために評価できる。
アレイのｉ番目のマイクロフォンを基準にすれば、これは、例えば、望まれる信号Ｘi（ｎ，ｋ）を推定するために評価できる。
望まれる成分と望まれていない成分は複素多変量ガウス確率変数としてモデリングすることができるという仮定に基づけば、多チャネルＳＰＰ推定値は、
によって与えられる（非特許文献［９］参照）。但し、ｑ（ｋ，ｎ）＝ｐ［Ｈ1（ｋ，ｎ）］は事前音声存在確率（ＳＰＰ）を示し、
である。ここで、ｔｒ｛・｝はトレース演算子を示す。また、別のタイプの分布（例えば、ラプラス分布）を仮定する別の推定器も導出でき、使用できる。
この多チャネルＳＰＰは、望まれる信号ＰＳＤ行列の階数が１である［例えば、
但し、
φxixi（ｋ，ｎ）＝Ｅ{｜Ｘi（ｋ，ｎ）｜2}
でありかつγiは、長さＭの列ベクトルを示す］という仮定に基づく場合にのみ、単チャネルＳＰＰ推定器を最小分散無歪応答（ＭＶＤＲ：minimum variance distortionless response）ビームフォーマの出力へ適用することによって得ることができる。
従来技術の手法は、一定の事前ＳＰＰ（非特許文献［４，９］）、又は単チャネルもしくは多チャネルの事前信号対雑音比（ＳＮＲ）に依存する値（非特許文献［２，８，１０］参照）の何れかを用いる。Cohen他（非特許文献［１０］）は、推定される単チャネル事前ＳＮＲの時間−周波数分布に基づく３つの変数、Ｐlocal（ｋ，ｎ），Ｐglobal（ｋ，ｎ），およびＰframe（ｎ）を用いて、次式により与えられる事前ＳＰＰを計算する。
ｑ（ｋ，ｎ）＝Ｐlocal（ｋ，ｎ）Ｐglobal（ｋ，ｎ）Ｐframe（ｎ） （８）
これらの変数は、連続する時間フレームの隣接する周波数ビンにおける音声存在の強い相関関係を利用している。従来技術による他の手法（非特許文献［１１］参照）においては、これらの変数は対数エネルギー領域で計算される。従来技術によるさらに他の手法（非特許文献［８］参照）においては、代わりに多チャネル事前ＳＮＲを用いてＰlocal（ｋ，ｎ），Ｐglobal（ｋ，ｎ）およびＰframe（ｎ）が計算されている。
従来技術によるＳＰＰ推定器の主たる欠点は、望まれる音と望まれていない音とを区別できないことにある。
[1] I. Cohen and B. Berdugo, "Noise estimation by minima controlled recursive averaging for robust speech enhancement," IEEE Signal Process. Lett., vol. 9, no. 1, pp. 12-15, Jan. 2002. [2] I. Cohen, "Noise spectrum estimation in adverse environments: Improved minima controlled recursive averaging," IEEE Trans. Speech Audio Process., vol. 11, no. 5, pp. 466-475, Sep. 2003. [3] "Appａratus and method for computing speech absence probability, and appａratus and method removing noise using computation appａratus and method," U.S. Patent No. US 7,080,007 B2, Jul. 18, 2006. [4] T. Gerkmann and R. C. Hendriks, "Noise power estimation base on the probability of speech presence," in Proc. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, New Paltz, NY, 2011. [5] "Wind noise suppression," US Patent Application Publication Pub. No. US 2011/0103615 A1, May 5, 2011. [6] K. Ngo, A. Spriet, M. Moonen, J. Wouters, and S. Jensen, "Incorporating the conditional speech presence probability in multi-channel Wiener filter based noise reduction in hearing aids," EURASIP Journal on Applied Signal Processing, vol. 2009, p. 7, 2009. [7] T. Yu and J. Hansen, "A speech presence microphone array beamformer using model based speech presence probability estimation," in Proc. IEEE Intl. Conf. on Acoustics, Speech and Signal Processing (ICASSP), 2009, pp. 213-216. [8] M. Souden, J. Chen, J. Benesty, and S. Affes, "An integrated solution for online multichannel noise tracking and reduction," IEEE Trans. Audio, Speech, Lang. Process., vol. 19, pp. 2159 - 2169, 2011. [9] M. Souden, J. Chen, J. Benesty, and S. Affes, "Gaussian model-based multichannel speech presence probability," IEEE Transactions on Audio, Speech, and Language Processing, vol. 18, no. 5, pp. 1072-1077, July 2010. [10] I. Cohen and B. Berdugo, "Microphone array post-filtering for non-stationary noise suppression," in Proc. IEEE Intl. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Orlando, Florida, USA, May 2002, pp. 901-904. [11] "Method for estimating priori SAPｂased on statistical model," US Patent Application Publication Pub. No. US 2008/0082328 A1, Apr. 3, 2008. [12] O. Thiergart, G. D. Galdo, and E. A. P. Habets, "Signal-to-reverberant ratio estimation based on the complex spatial coherence between omnidirectional microphones," in Proc. IEEE Intl. Conf. on Acoustics, Speech and Signal Processing (ICASSP), 2012, pp. 309-312. [13] I. Cohen, "Relative transfer function identification using speech signals," IEEE Trans. Speech Audio Process., vol. 12, no. 5, pp. 451{459, Sep. 2004. [14] S. Gannot and I. Cohen, "Adaptive beamforming and postfiltering," in Springer Handbook of Speech Processing, J. Benesty, M. M. Sondhi, and Y. Huang, Eds. Springer-Verlag, 2007, ch. 48. [15] A. Spriet, M. Moonen, and J. Wouters, "Spatially pre-processed speech distortion weighted multi-channel Wiener filtering for noise reduction," Signal Processing, vol. 84, no. 12, pp. 2367-2387, Dec. 2004. [16] J. Benesty, J. Chen, and Y. Huang, Microphone Array Signal Processing. Berlin, Germany: Springer-Verlag, 2008. [17] S. Mehrez, J. Benesty, and S. Affes, "On optimal frequency-domain multichannel linear filtering for noise reduction," IEEE Trans. Audio, Speech, Lang. Process., vol. 18, no. 2, pp. 260-276, 2010. [18] J. Benesty, J. Chen, and E. A. P. Habets, Speech Enhancement in the STFT Domain, ser. SpringerBriefs in Electrical and Computer Engineering. Springer-Verlag, 2011. [19] Henry Stark, John W. Woods: Probability and Random Processes with Applications to Signal Processing [20] A. Papoulis, U. Pillai: Probability, Random Variables and Stochastic Processes [21] E. A. P. Habets, I. Cohen, and S. Gannot, "Generating nonstationary multisensor signals under a spatial coherence constraint," Journal Acoust. Soc. of America, vol. 124, no. 5, pp. 2911-2917, Nov. 2008 [22] E. A. P. Habets, "Room impulse response generator," Tech. Rep., Technische Universiteit Eindhoven, 2006. [23] A. Rix, J. Beerends, M. Hollier, and A. Hekstra, "Perceptual evaluation of speech quality (PESQ) - a new method for speech quality assessment of telephone networks and codecs," in Proc. IEEE Intl. Conf. on Acoustics, Speech and Signal Processing (ICASSP), 2001, vol. 2, pp. 749-752. [24] G. W. Elko, "Spatial coherence functions," in Microphone Arrays: Signal Processing Techniques and Applications, M. Brandstein and D. Ward, Eds., chapter 4, pp. 61-85. Springer-Verlag, 2001.
本発明の目的は、情報に基づく多チャネル音声存在確率推定を提供するための改良された概念を提供することにある。
本発明のこの目的は、請求項１に記載の装置、請求項１９に記載の方法および請求項２０に記載のコンピュータプログラムによって解決される。
以下の説明では、「シーン」という用語を用いる。シーンは、音場が生成される環境である。シーンに関する空間的情報は、例えば、音場を生成する１つ以上の音源の位置に関する情報、音響センサの位置に関する情報、音源から音響センサまでの距離に関する情報、話者もしくは人間の口が検出されるかどうかに関する情報、および／又は話者もしくは人間の口が音響センサの近傍に存在するかどうかに関する情報を含むことができる。
音場は、例えば、ある環境、例えば音場が存在する環境、における各位置での音圧によって特徴づけることができる。例えば、音場は、ある環境、例えば音場が存在する環境、における各位置での音圧の振幅によって特徴づけることができる。又は、スペクトル領域もしくは時間−周波数領域が考察される場合、音場は、例えば、ある環境、例えば音場が存在する環境における各位置での複素音圧によって特徴づけることができる。例えば、音場を特徴づける環境における位置での音圧は、例えば１つ以上の音響センサによって、例えば１つ以上のマイクロフォンによって記録することができる。音場に関する空間的情報は、例えば、到来方向ベクトル、又は例えば、環境内の位置での音場を特徴づける音圧を記録する１つ以上の音響センサの記録によって決定される直接音と拡散音とのエネルギー比を含むことができる。
音声確率推定を提供するための装置を提供する。本装置は、あるシーンの音場が音声を含むかどうか又は前記音場が音声を含まないかどうかに関する第１の確率を示す音声確率情報を推定するための第１の音声確率推定器（事前音声存在確率推定器に等しいものであってもよい）を備えている。さらに、本装置は、音声確率情報に依存して音声確率推定を出力するための出力インタフェースを備えている。第１の音声確率推定器は、少なくとも音場に関する空間的情報又はシーンに関する空間的情報を基礎として第１の音声確率情報を推定するように構成されている。
条件付き事後ＳＰＰの計算において、音響センサ信号および恐らくは非音響センサ信号から導出される事前情報を活用することにより、従来技術の欠点を克服するための概念を提供する。具体的には、音場に関する空間的情報、例えば方向性、近接性およびロケーション等が利用される。
変数Ｐａ、Ｐｂおよび／又はＰｃ、Ｐlocal（ｋ，ｎ）、Ｐglobal（ｋ，ｎ）および／又はＰframe（ｎ）が決定されることがある。
コンバイナを用いて音声確率情報を得るために、変数Ｐａ、Ｐｂおよび／又はＰｃと、他の既知の変数、例えばＰlocal（ｋ，ｎ）、Ｐglobal（ｋ，ｎ）および／又はＰframe（ｎ）とのあらゆる組合せ（例えば、積、和、加重和）を使用できる点に留意することは重要である。また、これは、変数Ｐａ、Ｐｂ又はＰｃのみを用いて音声確率情報を得ることも可能であることも意味する。
以下、これらの変数の意味についてさらに説明する。
可能性のある変数の組合せ、例えば、
ａ）ｑ＝Ｐｃ（例えば、センサの近傍にオブジェクトが存在する場合をＰｃ＝０．７と仮定すると、何れのアクティブな音源も（近接性に関わらず）１−０．７＝０．３の事前ＳＰＰをもつ望まれる音源とされる）
ｂ）ｑ＝ＰａＰｃ（例えば、センサの近くにオブジェクトが存在しかつＤＤＲが十分に高ければ、音は望まれる音とされる）
ｃ）ｑ＝ＰｂＰｃ（例えば、センサの近くにオブジェクトが存在しかつ音源のロケーションが対象エリア、例えば到来方向範囲、内であれば、音は望まれる音とされる）
ｄ）ｑ＝ＰａＰｂＰｃ（例えば、センサの近くにオブジェクトが存在し、観測される音のＤＤＲが十分に高くかつ音源のロケーションが対象エリア内であれば、音は望まれる音とされる）、
は、何れも使用可能である。
ある実施形態によれば、本装置は、さらに、音場が音声を含むかどうか又はその音場が音声を含まないかどうかに関する第２の確率を示す音声確率を推定するための第２の音声確率推定器を備えることができる。第２の音声確率推定器は、第１の音声確率推定器により推定される音声確率情報に基づいて、かつ音場に依存する１つ以上の音響センサ信号に基づいて音声確率を推定するように構成することができる。
別の実施形態において、第１の音声確率推定器は、音声確率情報を、方向性情報に基づいて推定するように構成することができ、方向性情報は音場の方向性の音が如何なるものかを示す。他の方法として又はそれに加えて、第１の音声確率推定器は、音声確率情報を、ロケーション情報に基づいて推定するように構成してもよく、ロケーション情報はシーンの音源の少なくとも１つのロケーションを示す。さらに他の方法として又はそれに加えて、第１の音声確率推定器は、音声確率情報を、近接性情報に基づいて推定するように構成してもよく、近接性情報は少なくとも１つの近接センサに対する少なくとも１つの（可能な）音オブジェクトの少なくとも１つの近接性を示す。
さらなる実施形態によれば、第１の音声確率推定器は、音声確率を、直接音対拡散音比の直接音対拡散音比推定を空間的情報として決定することにより推定するように構成しててもよく、直接音対拡散音比は音響センサ信号に包含される拡散音に対する、音響センサ信号により包含される直接音の割合を示す。
別の実施形態において、第１の音声確率推定器は、直接音対拡散音比推定を、音響センサ信号の第１の音響信号と音響センサ信号の第２の音響信号との間の複素コヒーレンスのコヒーレンス推定を決定することにより決定するように構成してもよい。第１の音響信号は第１の音響センサｐにより記録されるものであり、第２の音響信号は第２の音響センサｑにより記録されるものである。第１の音声確率推定器は、さらに、直接音対拡散音比を、第１の音響信号と第２の音響信号との間の直接音の位相シフトの位相シフト推定に基づいて決定するように構成してもよい。
一実施形態によれば、第１の音声確率推定器は、第１の音響信号と第２の音響信号との間の直接音対拡散音比推定
を、公式、
を適用することにより決定するように構成してもよい。
は時間−周波数ビン（ｋ，ｎ）に対する第１の音響信号と第２の音響信号との間の複素コヒーレンスのコヒーレンス推定とすることができ、ｎは時間を示し、ｋは周波数を示す。
θ（ｋ，ｎ）は時間−周波数ビン（ｋ，ｎ）に対する第１の音響信号と第２の音響信号との間の直接音の位相シフトの位相シフト推定とすることができ、Γpq,diff（ｋ）は純粋な拡散音場における音響センサｐと音響センサｑとの間の空間的コヒーレンスに対応することができる。
関数Γpq,diff（ｋ）は、想定される拡散音場に依存して、測定されたものであってもよく、事前に計算されたものであってもよい。
別の実施形態において、第１の音声確率推定器は、音声確率情報を、
を決定することによって推定するように構成してもよい。ここで、
は直接音対拡散音比推定とすることができ、
は直接音対拡散音比推定を０から１までの間の値へマッピングすることを表すマッピング関数とすることができる。
別の実施形態において、マッピング関数
は、公式、
によって定義することができる。ここで、ｌminはマッピング関数の最小値、ｌmaxはマッピング関数の最大値、ｃはΓ軸に沿ったオフセットを制御するための値とすることができ、ρはｌminとｌmaxとの間の遷移の険しさを定義するものとすることができる。
さらなる実施形態によれば、第１の音声確率推定器はロケーション変数Ｐｂを公式
を用いて決定するように構成してもよい。ここで、Ωは特定のロケーション、
は推定されたロケーション、
は条件付き確率密度関数、Ｐ（Ω）はΩの事前確率密度関数、
は
の確率密度関数であり、ΣΩはΩの推定に関連づけられる不確定性を示し、Ｒ（Ω）は対象エリアを記述する多次元関数であって、０≦Ｒ（Ω）≦１である。
別の実施形態において、第１の音声確率推定器は、音声確率情報ｑ（ｋ，ｎ）を公式
を適用することにより決定するように構成してもよい。ここで、θは特定の到来方向、
は推定された到来方向、
は条件付き確率密度関数、ｐ（θ）はθの事前確率密度関数、
は
の確率密度関数であり、σはθの推定に関連づけられる不確定性を示し、
は直接音対拡散音比推定
の０から１までの間の値へのマッピングを表し、Ｒ(θ)は対象エリアを記述する多次元関数であって、０≦Ｒ（Ω）≦１である。
さらなる実施形態において、第１の音声確率推定器は近接変数を空間的情報として決定するように構成してもよい。そこでは、近接変数は、第１の音声確率推定器が近接センサから予め規定された距離内に１つ以上の音源の可能性を検出する場合に第１の変数値を有し、第１の音声確率推定器が近接センサに直近する音源の可能性を検出しない場合に第１の変数値より小さい第２の変数値を有する。第１の音声確率推定器は、近接変数が第１の変数値を有する場合に第１の音声確率値を音声確率情報として決定するように構成され、近接変数が第２の変数値を有する場合に第２の音声確率値を音声確率情報として決定するように構成される。第１の音声確率値は音場が音声を包含する第１の確率を示し、第１の確率は、音場が音声を包含する第２の確率より大きい。第２の確率は第２の音声確率値によって示される。
一実施形態では、雑音電力スペクトル密度推定を決定するための装置が提供され、本装置は、これまでに述べた実施形態のうちの１つによる装置と、雑音電力スペクトル密度推定ユニットとを備える。これまでに述べた実施形態のうちの１つによる装置は、音声確率推定を雑音電力スペクトル密度推定ユニットへ提供するように構成することができる。雑音電力スペクトル密度推定ユニットは、雑音電力スペクトル密度推定を、音声確率推定および複数の入力オーディオチャネルに基づいて決定するように構成される。
さらなる実施形態では、指向性ベクトルを推定するための装置が提供され、本装置は、これまでに述べた実施形態のうちの１つによる装置と、指向性ベクトル推定ユニットとを備える。これまでに述べた実施形態のうちの１つによる装置は、音声確率推定を指向性ベクトル推定ユニットへ提供するように構成することができる。指向性ベクトル推定ユニットは、指向性ベクトルを、音声確率推定および複数の入力オーディオチャネルに基づいて推定するように構成することができる。
別の実施形態によれば、多チャネル雑音を低減するための装置が提供され、本装置は、これまでに述べた実施形態のうちの１つによる装置と、フィルタユニットとを備える。フィルタユニットは、複数のオーディオ入力チャネルを受け入れるように構成することができる。これまでに述べた実施形態のうちの１つによる装置は、音声確率情報をフィルタユニットへ提供するように構成することができる。フィルタユニットは、音声確率情報および複数の入力オーディオチャネルに基づいてフィルタリングされたオーディオチャネルを取得するために、複数のオーディオ入力チャネルをフィルタリングするように構成することができる。
一実施形態において、第１の音声確率推定器は、トレードオフ変数を生成するように構成することができ、トレードオフ変数は音場に関する空間的情報又はシーンに関する空間的情報に依存する。
さらなる実施形態によれば、フィルタユニットはトレードオフ変数に依存して複数のオーディオ入力チャネルをフィルタリングするように構成することができる。
アレイに渡って強くコヒーレントである音を無条件に抽出するための概念を提案する。事後ＳＰＰに基づく多チャネル雑音ＰＳＤ行列推定器を提供する。従来技術とは対照的に、事前ＳＰＰの決定にはＤＤＲの推定が使用される。さらに、ＰＭＷＦのトレードオフ変数を制御するために、推定されたＤＤＲを用いることを提案する。さらに、提案するＤＤＲ制御式ＰＷＭＦは、ＳＮＲの分節的改善およびＰＥＳＱの改善に関して、ＭＶＤＲビームフォーマおよびＭＷＦを凌ぐことを実証する。
一実施形態では、音声確率推定を提供するための方法が提供される。本方法は、
音場が音声を包含するかどうか又はその音場が音声を包含しないかどうかに関する第１の確率を示す音声確率情報を推定することと、
前記音声確率情報に依存して音声確率推定を出力すること、を含む。
第１の音声確率情報の推定は、少なくとも音場に関する空間的情報又はシーンに関する空間的情報に基づいている。
さらに、コンピュータ又は信号プロセッサ上で実行される場合に上述の方法を実装するためのコンピュータプログラムも提供する。
実施形態は、従属請求項において規定されている。
以下、図面を参照して、本発明の実施形態をさらに詳細に述べる。
図１は、一実施形態による、音声確率推定を提供するための装置を示す。 図２は、別の実施形態による、音声確率推定を提供するための装置を示す。 図３は、一実施形態による、情報に基づく多チャネル事後ＳＰＰ推定器を示すブロック図である。 図４は一実施形態による事前ＳＰＰ推定器を示すブロック図である。 図５は、一実施形態による、ＤＤＲ Γから変数Ｐａ、即ちｌmin＝０．２、ｌmax＝０．８、ρ＝２、ｃ＝３、へのマッピングを示す。 図６は、一実施形態による、対象エリアを決定するためにユーザ／アプリケーション設定を用いる、Ｐｂの推定器を示すブロック図である。 図７は、一実施形態による、対象エリアを決定するために音響および非音響データを用いる、Ｐｂの推定器を示すブロック図である。 図８は、一実施形態による、雑音電力スペクトル密度推定を決定するための装置を示す。 図９は、さらなる実施形態による、提案する雑音ＰＳＤ行列推定器を示すブロック図である。 図１０Ａは一実施形態による指向性ベクトルを推定するための装置を示す。 図１０Ｂは一実施形態による指向性ベクトル推定器を示すブロック図である。 図１１は、一実施形態による、多チャネル雑音を低減するための装置を示す。 図１２はＤＤＲからトレードオフ変数β＝１−Ｐａ（ｌmin＝０、ｌmax＝５、ρ＝２、ｃ＝０）へのマッピングを示す。 図１３は定常雑音（左）およびバブル雑音（右）のＰＥＳＱの改善を示す。 図１４は定常雑音（左）およびバブル雑音（右）のＳＮＲ利得を示す。 図１５はバブル雑音（Ｓi＝１１ｄＢ）の模範的なスペクトル写真を示す。 図１６は推定されたＤＤＲおよび対応するＳＰＰを示す（Ｓi＝１１ｄＢ）。
図１は、一実施形態による、音声確率推定を提供するための装置を示す。本装置は、あるシーンの音場が音声を包含するかどうか又はその音場が音声を包含しないかどうかについての第１の確率を示す音声確率情報を推定するための第１の音声確率推定器１１０を備えている。さらに、本装置は、音声確率情報に依存して音声確率推定を出力するための出力インタフェース１２０を備えている。第１の音声確率推定器１１０は、第１の音声確率情報を、少なくとも音場に関する空間的情報又はシーンに関する空間的情報に基づいて推定するように構成されている。
シーンは音場が生成される環境である。シーンに関する空間的情報は、例えば、音場を生成する１つ以上の音源の位置に関する情報、音響センサの位置に関する情報、音源から音響センサまでの距離に関する情報、話者もしくは人間の口が検出されるかどうかに関する情報、および／又は話者もしくは人間の口が音響センサの近傍に存在するかどうかに関する情報を含むことができる。
音場に関する空間的情報は、例えば、音場の方向性の音が如何なるものかを示す方向性情報とすることができる。例えば、方向性情報は、後述するような直接音対拡散音比（ＤＤＲ）とすることができる。
図２は、別の実施形態による、音声確率推定を提供するための装置を示す。本装置は、第１の音声確率推定器２１０と、出力インタフェース２２０とを備えている。さらに、本装置は、音場が音声を包含するかどうか又はその音場が音声を包含しないかどうかについての第２の確率を示す音声確率推定を推定するための第２の音声確率推定器２１５を備えている。第２の音声確率推定器２１５は、音声確率推定を、第１の音声確率推定器により推定された音声確率情報に基づいて、かつ１つ以上の音響センサ信号に基づいて推定するように構成されている。音声確率情報と音響センサ信号は音場に依存する。
この目的のために、第１の音声確率推定器は、音場に関する空間的情報および／又はシーンに関する空間的情報を受信する。第１の音声確率推定器２１０は、次に、シーンの音場が音声を包含するかどうか又はその音場が音声を包含しないかどうかについての第１の確率を示す音声確率情報を推定する。第１の音声確率推定器２１０は、次に、音声確率情報を第２の音声確率推定器２１５へ供給することができる。その上、第２の音声確率推定器２１５は１つ以上の音響センサ信号をさらに受信することができる。第２の音声確率推定器２１５は、次に、音声確率推定を、第１の音声確率推定器２１０により推定された音声確率情報に基づいて、かつ１つ以上の音響センサ信号に基づいて推定する。音声確率情報と音響センサ信号は音場に依存する。
従来技術とは対照的に、とりわけ、音声確率の推定は、空間的情報に基づいて実行される。これは、音声確率の推定を著しく向上させる。
次に、所定の時間−周波数ビンにおける望まれる音声信号の存在に関する以下の仮定を導入する。
Ｈ0（ｋ，ｎ）：ｙ（ｋ，ｎ）＝ｖ（ｋ，ｎ）は、望まれる音声の不在を示し、
Ｈ1（ｋ，ｎ）：ｙ（ｋ，ｎ）＝ｘ（ｋ，ｎ）＋ｖ（ｋ，ｎ）は、望まれる音声の存在を示す。
言い替えれば、Ｈ0（ｋ，ｎ）は望まれる音声が存在しないことを示し、Ｈ1（ｋ，ｎ）は望まれる音声が存在することを示す。
図３は情報に基づく多チャネルＳＰＰ推定器を示すブロック図である。モジュール「条件付き事後ＳＰＰの計算」は、公式（５）を実装することができる。
図３において、モジュール３１０は、「事前ＳＰＰの計算」の実装を実現する。図３の実施形態において、「事前ＳＰＰの計算」モジュール３１０として、図２の第１の音声確率推定器２１０の特定の実施例を実装することができる。さらに、図３において、モジュール３１５は、「条件付き事後ＳＰＰの計算」の実装を実現する。図３の実施形態において、「条件付き事後ＳＰＰの計算」モジュール３１５として、図２の第２の音声確率推定器２１５の特定の実施例を実装することができる。
図４には、ある特定の実施形態による「事前ＳＰＰの計算」モジュール３１０の一実装が示されている。図４において、ユーザ／アプリケーション設定は、モジュール４０1、……、４０Pにおける変数の計算に利用できる。ユーザ／アプリケーション設定は、コンバイナ４１１へも提供することができる。ここでは、音響センサデータおよび非音響センサデータ、ならびにユーザ／アプリケーション設定を用いてＰ個の変数が計算される。変数Ｐ1……ＰPは、事前ＳＰＰｑ（ｋ，ｎ）を計算するために、コンバイナ４１１によって結合（例えば、加重和、積、最大比コンバイナ）される。
以下の小項目では、情報に基づく多チャネルＳＰＰに必要とされる事前ＳＰＰを計算するために使用可能な３つの変数を提示する。
以下、とりわけ、方向性に基づく変数Ｐａを規定する。
望まれる音は方向性であり、望まれていない音は無方向性である、と仮定することは妥当である。したがって、観測される音の方向性の度合いを示すために変数が使用される。音場の方向性を測定する１つの可能性は、直接音対拡散音比（ＤＤＲ）である。ＤＤＲの推定は、非特許文献［１２］に示されているような複素コヒーレンス（ＣＣ）によって得ることができる。音響センサｐおよびｑで測定される２信号間の複素コヒーレンスは、時間−周波数領域において、
として定義される。ここで、φpq(k,n)は交差ＰＳＤであり、φpp(k,n)およびφqq(k,n)は２信号の自己ＰＳＤである。非特許文献［１２］におけるＤＤＲ推定器は、任意の位置および時間−周波数ビンにおける音圧が、単一の単色平面波によって表される直接音と理想の拡散場との重畳としてモデリングされる音場モデルに基づいている。全方向性の音響センサを想定すると、ＣＣ関数は、
として表すことができる。ここで、θ（ｋ，ｎ）は２音響センサ間の直接音の位相シフトであり、Γ（ｋ，ｎ）はＤＤＲを示し、Γpq,diff（ｋ）＝sin（κｄ）/κｄは理想的な球状等方性音場のＣＣであって、κは周波数指数ｋにおける波数に相当し、ｄは音響センサｐおよびｑ間の距離に相当する。関数Γpq,diff（ｋ）は測定から生じることもあり得る。（９）式を用いてΓpq（ｋ）を計算するために必要とされるＰＳＤは時間的平均によって概算され、直接音の位相シフトθ（ｋ，ｎ）は推定された雑音の多いＰＳＤ、即ち
から得ることができる。
次に、ＤＤＲΓ（ｋ，ｎ）は、推定された
および推定された位相シフト
に関連して、次式のように表すことができる。
アプリケーション又は音響的シナリオ（屋内又は屋外）に依存して、ＣＣ関数Γpq,diff（ｋ）は別の雑音場に相当する空間的コヒーレンスで置換することもできる。３つ以上の音響センサを利用できる場合は、区別可能な音響センサペアにより取得されるＤＤＲ推定を結合することができる。
明らかに、低値の
は方向性音源の不在を示し、高値の
は方向性音源の存在を示す。この観測に基づくと、
は、事前ＳＰＰを取得するために使用される、Ｐａで示される変数を計算するために使用できる。一例示的なマッピング関数は、
によって与えられる。ここで、ｌminおよびｌmaxは本関数が達成できる最小値および最大値を決定し、ｃ（単位、ｄＢ）は、Γ軸に沿ったオフセットを制御し、ρはｌminおよびｌmax間の遷移の険しさを定義する。
図５は、ＤＤＲΓから変数Ｐａ（ｌmin＝０．２、ｌmax＝０．８、ρ＝２、ｃ＝３）へのマッピング（１２）を示す。
最終的に、変数は、
によって与えられる。
事前ＳＰＰは、例えば、

によって、又は、
によって得ることができる。
マッピング関数の変数は、低ＤＤＲが低ＳＰＰに相当し、高ＤＤＲが高ＳＰＰに相当するように選定される。
以下では、とりわけ、ロケーションおよび不確定性に基づく変数Ｐｂを規定する。
実施形態によれば、瞬間ロケーション推定および関連の不確定性により取得される変数が計算される。「ロケーション」という用語は、二次元および三次元ロケーションだけでなく、一次元ロケーション（ＤＯＡのみ）も指す。ロケーションはデカルト座標（即ち、ｘ、ｙおよびｚ位置）又は球座標（即ち、方位角、仰角および距離）で記述することができる。
特定の条件下、例えば、ＤＤＲ、ＳＮＲ、ＤＯＡ、アレイ形状、並びにロケーション変数およびＤＤＲ用に使用される推定器といった条件下では、特定のロケーションにおける音源の推定ロケーションの確率分布を記述する経験的な確率密度関数（ＰＤＦ）を見出すことができる。この経験的ＰＤＦの計算には、トレーニング位相が使用される。次に、解析的ＰＤＦ（例えば、一次元事例におけるガウスＰＤＦ、並びに二次元および三次元事例における多変量ガウスＰＤＦ）が、音源ロケーションおよび特定の条件毎に推定ロケーション変数へ当てはめられる。
この例において、ＰＤＦは
で示される。ここで、行列ΣはΩの推定に関連づけられる不確定性を記述する。このデータから、前述の条件を不確定性Σへマッピングする多次元マッピング関数ｆΣが導出される。さらに、周辺確率ｐ（Ω）および
も、トレーニング位相において計算することができる。例えば、ｐ(Ω)は可能な音源ロケーションに関する事前情報に基づいてモデリングすることができるのに対して、
はトレーニング位相の間に推定を観測することによって計算することができる。
さらに、対象エリアを関数Ｒ（Ω）によって定義する。ロケーション変数として距離が使用される場合、望まれる音源のロケーションを決定する最小および最大距離を定義することができる。あるいは、望まれる距離範囲は、深度センサ又は飛行時間センサから自動的に引き出すことができる。この場合、望まれる範囲は、予め規定された偏差およびユーザ／アプリケーションが規定する限度だけでなく、深度プロファイルの平均および変動に基づいても選定することができる。
提案する変数の計算は次の通りである。
１．観測される音響信号ｙ（ｋ，ｎ）を用いて、条件（例えば、瞬間ロケーション変数
、瞬間方向性Ｄ（ｋ，ｎ）およびＳＮＲ）を推定する。
２．望まれる音源の対象エリアが、ｉ）ユーザ／アプリケーションによって（図６参照）、又はｉｉ）音響センサデータおよび非音響センサデータを解析することによって（図７参照）決定される。後者の場合、Ｒ（Ω，ｎ）で示される対象エリアは時変性である。画像は、例えば、話者の口のロケーションを決定するために解析することができる。話者の識別だけでなく、顔およびオブジェクトの検出も、望まれる音源と望まれていない音源を定義するために使用することができる。本アプリケーションは、望まれる音源／オブジェクトおよび望まれていない音源／オブジェクトをユーザインタフェースによりオンラインで選択することを可能にする。先行するｐ（Ω）は、ユーザ／アプリケーションによって、又は非音響センサを解析することによって決定することができる。
３．ステップ１で計算した条件および多次元マッピング関数ｆΣに基づいて、対象範囲のあらゆる点の不確定性指標ΣΩを決定する。
４．変数を、
によって計算する。ここで、Ｓは考慮される全ロケーションの可能性を規定し、Ｒ（Ω）は対象エリアを記述する多次元関数（０≦Ｒ（Ω）≦１）である。方程式（１７）は、ベイズ規則（Bayes rule）に従って式（１６）から直に得られ、かつトレーニング位相において推定されるＰＤＦを用いるＰｂの計算を可能にする。
一次元事例において、
は推定される瞬間ＤＯＡを示し、σ（ｋ，ｎ）は関連の不確定性に比例する。例えば、線形的な音響センサアレイが使用されるのであれば、アレイの側面における推定ＤＯＡの精度は、アレイの縦方向における推定ＤＯＡの精度より高い。したがって、側面方向よりも縦方向で不確定性は大きく、故にσも大きい。また、ＤＯＡ推定器の性能はＳＮＲに依存することも知られており、低ＳＮＲレベルは高ＳＮＲレベルよりも大きい推定変動をもたらし、故に、より大きい不確定性をもたらす。この一次元事例において、対象エリアは、例えば、θminとθmaxとの間でアクティブである音源が何れも望まれるものとされるように、
として定義することができる。
事前ＳＰＰは、例えば、Ｐａ（ｋ，ｍ）とＰｂ（ｋ,ｎ）とを結合すること、即ち、
によって得ることができる。ここで、ｆ（Γ）は式（１２）によって与えられる。
図６は、対象エリアを決定するためにユーザ／アプリケーション設定を用いる、Ｐｂの推定器を示すブロック図である。瞬間ロケーション推定モジュール６１０は瞬間的なロケーションを推定するように構成されている。不確定性計算モジュール６２０は不確定性の計算を実行するように構成されている。さらに、変数計算モジュール６３０は変数の計算を実行するように構成されている。
図７は、対象エリアを決定するために音響および非音響データを用いる、Ｐｂの推定器を示すブロック図である。この場合もやはり、瞬間ロケーション推定モジュール７１０は瞬間的なロケーションを推定するように構成されている。不確定性計算モジュール７２０は不確定性の計算を実行するように構成されている。さらに、対象エリア決定モジュール７２５は対象となるエリアを決定するように構成されている。変数計算モジュール７３０は変数の計算を実行するように構成されている。
以下では、とりわけ、近接性を基礎とする変数Ｐｃを規定する。
変数Ｐｃはあるオブジェクトの近接センサへの近接性に基づいている。この場合、近接センサのデータは、近接センサの直近にオブジェクトが存在する場合がＰｃ（ｎ）＝１であり、センサの近傍にオブジェクトが存在しない場合がＰｃ（ｎ）＝Ｐminであるように、Ｐｃ（ｎ）へマッピングされる。但し、Ｐminは予め定義された下限である。
近接性を示す変数Ｐｃは、古典的な近接センサ（多くのスマートフォンに使用されるようなもの、http://en.wikipedia.org/wiki/Proximity_sensor参照）から導出することができる。あるいは、この変数は、センサからＲメートル以内にオブジェクトが存在することを伝え得る深度センサ又は飛行時間センサの情報に基づくことができる。
ある特定の実施形態において、Ｐｃは近接変数として実装することができる。第１の音声確率推定器は、近接変数Ｐｃを音声確率情報を表す値、例えば音声確率値、へマップするためのマッピングを実装することができる。
近接変数Ｐｃは、例えば、近接センサから予め規定された距離内に１つ以上の音源の可能性が存在する場合に、第１の変数値（例えば、Ｐｃ＝０．６０）をもつことができる。さらに、近接変数Ｐｃは、近接センサから予め規定された距離内に音源の可能性が存在しない場合に、第１の変数値より小さい第２の変数値（例えば、Ｐｃ＝０．４０）をもつことができる。近接変数Ｐｃは、０から１．０までの間の任意の値を、例えば、検出されるオブジェクトの近接性に依存してとることができる。
第１の音声確率推定器は、第１の音声確率値をＰｃに依存して決定するように構成することができる。
次に、音声確率情報の決定の概要を考察する。
コンバイナを用いて音声確率情報を入手する際に、変数Ｐａ、Ｐｂおよび／又はＰｃと、他の既知の変数、例えばＰlocal（ｋ，ｎ）、Ｐglobal（ｋ，ｎ）および／又はＰframe（ｎ）との任意の組合せ（例えば、積、和、加重和）を使用できる点に留意することは重要である。また、これは、変数Ｐａ、Ｐｂ又はＰｃのみを用いて音声確率情報を得ることも可能であることをも意味する。
可能性のある変数の組合せ、例えば、
ａ）ｑ＝Ｐｃ（例えば、センサの近傍にオブジェクトが存在する場合を、Ｐｃ＝０．７と仮定すると、アクティブな音源（近接性に関わらず）は何れも事前ＳＰＰが１−０．７＝０．３の望まれる音源とされる）、
ｂ）ｑ＝ＰａＰｃ（例えば、センサの近くにオブジェクトが存在し、かつＤＤＲが十分に高ければ、音は望まれる音とされる）、
ｃ）ｑ＝ＰｂＰｃ（例えば、センサの近くにオブジェクトが存在し、かつ音源のロケーションが対象エリア内、例えば到来方向範囲内であれば、音は望まれる音とされる）、
ｄ）ｑ＝ＰａＰｂＰｃ（例えば、センサの近くにオブジェクトが存在し、観測される音のＤＤＲが十分に高く、かつ音源のロケーションが対象エリア内であれば、音は望まれる音とされる）、
は、何れも使用可能である。
以下では、これまでに述べた概念のアプリケーションの実施形態を提供する。
まず、雑音ＰＳＤ行列推定について述べる。
非特許文献［２］では、単チャネル事後ＳＰＰに基づく軟判定更新規則（soft-decision update rule）を用いる最小制御再帰平均（ＭＣＲＡ：minima controlled recursive averaging）雑音ＰＳＤ推定器が提案されている。ここでは、式（８）を用いて事前ＳＰＰを計算した。非特許文献［４］では類似のＳＰＰ推定器が提案されており、そこでは非特許文献［２］の場合のような信号依存の量ではなく一定の事前ＳＰＰおよび一定の事前ＳＮＲを用いている。Souden他は非特許文献［８］において、多チャネルＳＰＰ推定器（非特許文献［９］）を用いる多チャネル雑音ＰＳＤ行列推定器を提案している。非特許文献［８］において、著者らはＭＣＲＡ雑音ＰＳＤ推定器に類似する方法で事前ＳＮＲを用いて事前ＳＰＰを決定している。
従来技術による多チャネルＳＰＰ推定器の主たる欠点は、これらが、雑音ＰＳＤ行列の推定に大きく依存することにある。例えば、空調にスイッチが入ったり、遠い話者が話し始めたりすれば、信号レベルは増大し、そしてＳＰＰ推定器は音声の存在を示すことになる。
この点に関し、実施形態は、従来技術とは対照的に、さらに、望まれるものと望まれていないものとの精確な判断を可能にする。
音声存在の不確定性を考慮して、非特許文献［８］により、所定の時間−周波数ビンにおける雑音ＰＳＤ行列の最小平均二乗誤差（ＭＭＳＥ：minimum mean square error）推定が与えられる。
但し、ｐ［Ｈ0（ｋ，ｎ）｜ｙ（ｋ，ｎ）］は望まれる音声が不在である条件付き確率を示し、ｐ［Ｈ1（ｋ，ｎ）｜ｙ（ｋ，ｎ）］は望まれる音声が存在する条件付き確率を示す。
図８は、一実施形態による、雑音電力スペクトル密度推定を決定するための装置を示す。この雑音電力スペクトル密度推定を決定するための装置は、これまでに述べた実施形態のうちの１つによる、音声確率推定を提供するための装置９１０と、雑音電力スペクトル密度推定ユニット９２０とを備えている。音声確率推定を提供するための装置９１０は音声確率推定を雑音電力スペクトル密度推定ユニット９２０へ提供するように構成されている。雑音電力スペクトル密度推定ユニット９２０は、雑音電力スペクトル密度推定を、音声確率推定に基づき、かつ複数の入力オーディオチャネルに基づいて決定するように構成されている。
図９は、さらなる実施形態による、雑音ＰＳＤ行列推定器を示すブロック図である。この雑音ＰＳＤ行列推定器は、「事前ＳＰＰの計算」モジュール９１２を備えている。「事前ＳＰＰの計算」モジュール９１２は、音声確率推定を提供するための装置の第１の音声確率推定器とすることができる。さらに、この雑音ＰＳＤ行列推定器は、「条件付き事後ＳＰＰの計算」モジュール９１４を備えている。「条件付き事後ＳＰＰの計算」モジュール９１４は、音声確率推定を提供するための装置の第２の音声確率推定器とすることができる。さらに、この雑音ＰＳＤ行列推定器は「雑音ＰＳＤ行列推定」ユニット９２０を備えている。
実施形態によれば、式（１９）を近似する雑音推定技術は、単チャネル事例については非特許文献［２、４］に、多チャネル事例については非特許文献［９］に記述されているように、雑音の多い観測の再帰平均瞬間ＰＳＤ行列（例えば、ｙ（ｋ，ｎ）ｙH（ｋ，ｎ））と先行フレームの雑音ＰＳＤの推定との加重和を用いる。この推定技術は、次のように表すことができる。
但し、
は推定された雑音ＰＳＤ行列であり、０≦αv（ｋ，ｎ）≦１は選定された平滑化変数である。式（２０）を配列し直すと、次のような更新規則が得られる。
よって、
α'＝ｐ[Ｈ0（ｋ，ｎ）｜ｙ（ｋ，ｎ）][１−αv（ｋ，ｎ）]
である。
雑音ＰＳＤ行列推定への望まれる音声の漏出をさらに減らすために、推定された変数Ｐ1……Ｐpに基づいてαv（ｋ，ｎ）を計算することを提案する。
非特許文献［４］におけるアルゴリズムとは対照的に、事前ＳＰＰは、変数Ｐ1……Ｐpに基づいて、かつ非音響データだけでなく音響データからも推測される時間的、分光的かつ空間的情報を活用する。提案する雑音ＰＳＤ行列推定器は図１０に概説されている。
次に、一実施形態による、雑音ＰＳＤ行列を推定するための方法を提供する。一実施形態による雑音ＰＳＤ行列推定器は、このような方法を実装するように構成することができる。
１．変数Ｐ1……Ｐpを計算する。
２．変数Ｐ1……Ｐpを用いて現行フレームの事前ＳＰＰｑ（ｋ，ｎ）を計算する。
３．変数Ｐ1……Ｐpに基づいて平滑化変数αv（ｋ，ｎ）を決定する。
４．式（５）によるｐ［Ｈ1（ｋ，ｎ）｜ｙ（ｋ，ｎ）］を、先行フレーム［例えば、
Φvv（ｋ，ｎ−１）］からの推定された雑音ＰＳＤ行列およびΦyy（ｋ，ｎ）の現行推定を用いて推定する。
但し、αy（ｋ，ｎ）は、平滑化定数を示す。
５．再帰的に平滑化されるＳＰＰを、次のように計算する。
但し、αpは平滑化定数を示す。
６．
であればいつでも、選定される最大値ｐmaxへ
ｐ［Ｈ1（ｋ，ｎ）｜ｙ（ｋ，ｎ）］を設定することによって雑音ＰＳＤ行列更新の淀みを回避する。
７．ｐ[Ｈ1（ｋ，ｎ）｜ｙ（ｋ，ｎ）]および式（２２）を用いて雑音ＰＳＤ行列を更新する。
以下では、指向性ベクトルの推定について考察する。
図１０Ａは指向性ベクトルを推定するための装置を示す。指向性ベクトルを推定するためのこの装置は、これまでに述べた実施形態のうちの１つによる、音声確率推定を提供するための装置１０１０と、指向性ベクトル推定ユニット１０２０とを備えている。音声確率推定を提供するための装置１０１０は、音声確率推定を指向性ベクトル推定ユニット１０２０へ提供するように構成されている。指向性ベクトル推定ユニット１０２０は、指向性ベクトルを、音声確率推定に基づいて、かつ複数の入力オーディオチャネルに基づいて推定するように構成されている。
図１０Ｂは、さらなる実施形態による、指向性ベクトルを推定するための装置を示すブロック図である。指向性ベクトルを推定するためのこの装置は、「事前ＳＰＰ推定」モジュール１０１２を備えている。「事前ＳＰＰ推定」モジュール１０１２は、音声確率推定を提供するための装置の第１の音声確率推定器とすることができる。さらに、指向性ベクトルを推定するためのこの装置は、「条件付き事後ＳＰＰ推定」モジュール１０１４を備えている。「条件付き事後ＳＰＰ推定」モジュール１０１４は、音声確率推定を提供するための装置の第２の音声確率推定器とすることができる。さらに、指向性ベクトルを推定するためのこの装置は、「指向性ベクトル推定」ユニット１０２０を備えている。
アプリケーションによっては、雑音ＰＳＤ行列に加えて、又は雑音ＰＳＤ行列の代わりに、望まれる方向性音源の指向性ベクトルが必要とされる。非特許文献［１３］では、単チャネルＳＰＰ推定器を用いて２つの音響センサの指向性ベクトルが計算されている。ｉ番目の音響センサが受信する望まれる信号に関連する指向性ベクトルは、
として定義される。但し、（・）*は共役演算子を示し、
φxixi（ｋ，ｎ）＝Ｅ｛｜Ｘi（ｋ，ｎ）｜2｝であり、かつ
である。
明らかに、指向性ベクトルは、
のｉ番目の列をとり、かつこれを
のｉ番目の要素により除することによって得ることができる。定義により、指向性ベクトルγi（ｋ，ｎ）のｉ番目の要素は１に等しい。
式（４）を用いれば、音源ＰＳＤ行列を
Φxx（ｋ，ｎ）＝Φyy（ｋ，ｎ）−Φvv（ｋ，ｎ）
として表すことができる。したがって指向性ベクトルγi（ｋ，ｎ）は、
として表すことができる。
分子における項は行列
および
のｉ番目の列として得ることができ、分母における項は列ベクトル
および
のｉ番目の要素として得ることができる。あるいは、指向性ベクトルγiは行列ペア（Φyy，Φxx）の一般化された固有値分解を計算することにより得ることができる。ｊ番目の一般化された固有値および固有ベクトルペア（λj，ｂj）の場合、次式が成り立つ。
Φyy（ｋ，ｎ）ｂj＝λjｂj （２８）
これは、式（４）を用いて、
[Φxx（ｋ，ｎ）＋Φvv（ｋ，ｎ）]ｂj＝λiｂj （２９）
と書くことができる。式（２９）を配置し直し、かつΦxxの階数１特性（即ち、
Φxx＝φxixiγiγi H）を想起すれば、
ということになり、これは、次式に等しい。
式（３１）から、λj≠１であれば、指向性ベクトルγi（ｋ，ｎ）は固有ベクトルｂjの回転およびスケーリングされたバージョンを表す、と結論することができる。しかしながら、ここでの階数１という仮定に起因して、一意の固有値λiは、１ではなく、故に、固有ベクトルｂjは一意に決定される。最終的に、スケーリングの曖昧さを回避するために、γi（ｋ，ｎ）は、次式のように正規化することができる。
但し、［Φvv（ｋ，ｎ）ｂj］iは、ベクトルΦvv（ｋ，ｎ）ｂjのｉ番目の要素である。情報に基づく多チャネルＳＰＰ推定器を使用して、指向性ベクトルは次式のように再帰的に推定される。
但し、α'(ｋ，ｎ)＝ｐ[Ｈ1（ｋ，ｎ）｜ｙ（ｋ，ｎ）][１−αx（ｋ，ｎ）]であり、かつ０＜αx（ｋ，ｎ）＜１は、適切に選定された平滑化定数である。平滑化定数αxは、時間および周波数依存性であり、よって、例えばＳＮＲ又はＤＤＲが低すぎる場合、指向性ベクトルの更新速度を最低限に抑えるために、Ｐ1，Ｐ2，……，Ｐpによって制御される。
以下では、多チャネル雑音低減について説明する。
図１１は、一実施形態による、多チャネル雑音を低減するための装置を示す。多チャネル雑音を低減するためのこの装置は、これまでに述べた実施形態のうちの１つによる音声確率推定を提供するための装置１１１０と、フィルタユニット１１２０とを備えている。フィルタユニット１１２０は複数のオーディオ入力チャネルを受け入れるように構成されている。音声確率推定を提供するための装置１１１０は、音声確率情報をフィルタユニット１１２０へ提供するように構成されている。フィルタユニット１１２０は、音声確率情報に基づいて複数のオーディオ入力チャネルをフィルタリングしてフィルタリングされたオーディオチャネルを得るように構成されている。
次に、実施形態による多チャネル雑音低減について、さらに詳しく説明する。
ＳＰＰ推定器は、多チャネル雑音低減ではしばしば使用される（非特許文献［６、７、１４］）。実施形態による情報に基づく多チャネルＳＰＰ推定器も同様に用いることができる。さらに、事前ＳＰＰの計算に使用される変数は、雑音低減と音声歪との間のトレードオフの制御に用いることができる。
ｉ番目の音響センサを基準として考察すると、時間−周波数領域の変数多チャネルウィーナフィルタ（ＰＭＷＦ：time-frequency domain Parametric multichannel Wiener filter）は、非特許文献［１５−１７］によって与えられる。
但し、β（ｋ，ｎ）はトレードオフ変数である。
周知の（空間的）フィルタは、変数多チャネルウィーナフィルタ（ＰＭＷＦ）の特殊事例である。例えば、最小分散無歪応答（ＭＶＤＲ）フィルタはβ＝０で得られ、多チャネルウィーナフィルタ（ＭＷＦ）はβ＝１で得られる。式（３４）を異なる方法で表すことができ、かつＭＶＤＲフィルタおよび単チャネル変数ウィーナフィルタへ分解できることは留意されるべきである（例えば、非特許文献［１４、１８］およびこれらに記載されている引例参照）。さらに、空間フィルタは指向性ベクトルおよびＰＳＤ行列を用いて表すことができる。式（３４）におけるフィルタの主たる優位点は、これが、望まれる音源に関連する指向性ベクトル（別名、アレイ・マニフォールド・ベクトル又は伝搬ベクトル）に依存しないことにある。
ｉ番目の音響センサにより受信される望まれる信号の推定は、次式、
によって得られる。
音声存在の不確定下では、望まれる信号の推定を次式に従って得ることができる。
但し、右辺の第２項は、偽陰性決定の場合の音声歪を緩和するものである。利得係数Ｇmin（ｋ）は、望まれる音声がアクティブでないことが想定される場合に雑音低減の最大量を決定する。
ＭＭＳＥ推定器が音声存在および音声不在の双方の事例に適用され、かつ音声存在事例においては望まれる音声の歪を最小限に抑えることを目的とし、音声不在事例においてはフィルタ出力における残留雑音を最小限に抑えることを目的とすることを望むのであれば、トレードオフ変数（非特許文献［６、７］）、
を用いて、事後ＳＰＰ ｐ［Ｈ1（ｋ，ｎ）│ｙ（ｋ，ｎ）］＝１のとき、β＝０（よって、ＰＭＷＦはＭＶＤＲフィルタに等しい）であり、ｐ［Ｈ1（ｋ，ｎ）│ｙ（ｋ，ｎ）］＝０．５のとき、β＝１（よって、ＰＭＷＦはＭＷＦに等しい）であり、かつ事後ＳＰＰ ｐ［Ｈ1（ｋ，ｎ）│ｙ（ｋ，ｎ）］がゼロに接近すると、βが無限大に接近するように、式（３４）を計算して出す。故に、後者の事例では、残留雑音電力もゼロまで低減する。
図１２はＤＤＲからトレードオフ変数β＝１−Ｐａ（ｌmin＝０、ｌmax＝５、ρ＝２、ｃ＝０）へのマッピングを示す。
事前ＳＰＰへの直接的適用は、望まれる信号の望ましくない可聴歪に繋がる場合も多くある。本発明は、トレードオフ変数が変数Ｐ1，Ｐp，……，Ｐpの組合せ（例えば、加重和、積、最大比コンバイナ、他）に依存するＰＭＷＦを包含する。変数の結合に使用されるマッピング関数として、事前ＳＰＰの計算に使用されるものとは異なるものを使用することができる。
例えば、トレードオフ変数は、観測される音の方向性を反映する変数Ｐａ（ｋ，ｎ）を用いてβ（ｋ，ｎ）＝１−Ｐａ（ｋ，ｎ）であるように制御することができる。変数ｌmin、ｌmax、ρおよびｃは、推定されるＤＤＲが低ければ標準的なＭＷＦより多い雑音低減量を達成すべくβ（ｋ，ｎ）＞１を得るように、推定されるＤＤＲが高ければ音声歪を回避すべくβ（ｋ，ｎ）≒０（例えば、ＭＶＤＲフィルタ（非特許文献［１６］）に略等しい）を得るように選定される。図１２には、トレードオフ変数βのマッピング関数の一例が、β＝１−Ｐａ（ｌmin＝０、ｌmax＝５、ρ＝２、ｃ＝０）で描かれている。
より一般的な実施形態において、トレードオフ変数β（ｋ，ｎ）は、少なくとも音場に関する空間的情報又はシーンに関する空間的情報に依存する。
ある特定の実施形態において、トレードオフ変数β（ｋ，ｎ）は、β（ｋ，ｎ）＝ｆ［ｑ（ｋ，ｎ）］によって定義される。但し、ｑは、第１の音声確率推定器の出力を示す。
特定の実施形態において、トレードオフ変数β（ｋ，ｎ）は、β（ｋ，ｎ）＝１−ｆ［Γ（ｋ，ｎ）］によって定義される。
以下では、ＰＭＷＦの出力において達成される音声強調に関連して、提案するアルゴリズムの性能を評価する。まずは、構成と性能の基準について述べる。
解析は、異なるＳＮＲ毎に、かつ３００ミリ秒の残響時間に渡って実行した。２種類の雑音を使用した。すなわち、音声の長期ＰＳＤに等しい長期ＰＳＤを有する定常雑音と非定常のバブル雑音である。双方の事例で、雑音信号のＣＣは、理想的な拡散場（非特許文献［２１］）のＣＣに一致している。
サンプリング周波数は１６ｋＨｚであり、フレーム長さＬは５１２サンプルであった。シミュレーションは、マイクロフォン間のスペーシングｄが２．３ｃｍである４個（Ｍ＝４）のマイクロフォンよりなる均一な線形アレイについて実行した。望まれる信号は、クリーン音声に、画像音源モデル（非特許文献［２２］）の効率的な実装を用いて発生された室内インパルス応答（ＲＩＲ：room impulse responses）を４５秒間重畳させることによって得た。ＤＤＲ推定に要するＰＳＤを、１５の時間フレームに渡って平均することにより概算する。これらの実験に、図５および図１２Ａに示されているような変数を用いたｑおよびβのマッピングを用いた。αN、αyおよびαpの再帰平均に用いる平滑化変数αを、各々、０．７５、０．８および０．９として選定した。推定される雑音ＰＳＤ行列により向きを変えられる異なるビームフォーマの出力において、ＰＥＳＱ（音声品質の知覚的評価：Perceptual Evaluation of Speech Quality）スコアの改善（非特許文献［２３］）および分節的ＳＮＲ利得を調べた。ＰＥＳＱの改善は、
の逆ＳＴＦＴとＹ1の逆ＳＴＦＴとのＰＥＳＱ値の差として計算する。分節的ＳＮＲは、信号を１０ミリ秒の重なり合わない分節に分割し、かつ得られたＳＮＲ値（単位ｄＢ）に渡って平均することによって得た。入力および出力における分節的ＳＮＲを、各々ＳiおよびＳoで示す。標準的なＭＶＤＲおよびウィーナビームフォーマ、ＤＤＲ制御式ＰＭＷＦ、並びにｉ＝１としたときの式（３６）による推定の性能を比較する。
次に、結果を提示する。図１３には、ビームフォーマの出力におけるＰＥＳＱの改善が、入力ＳＮＲ Ｓiの関数として示されている。提案するＭＭＳＥ推定器は、標準的なビームフォーマより性能がよいことが分かる。さらに、ＤＤＲ制御式ＰＭＷＦは、トレードオフが一定である２つのビームフォーマより性能がよい。本アルゴリズムはバブル雑音の場合にＰＥＳＱの著しい改善をもたらす。バブル雑音は、その非定常性に起因して多くのアルゴリズムにとって困難な問題を示すものである。その対応する分節的ＳＮＲ利得が図１４に示されている。
第１のマイクロフォンにおける望まれる音源信号、受信された雑音の多い信号、標準的なＭＷＦおよびＭＭＳＥベースの推定のスペクトル写真が１１秒間の抜粋で図１５に示されている。推定されたＤＤＲから事前ＳＰＰへの対応するマッピングが図１６に示されている。ＳＰＰが高い周波数においても正しく推定され、よって、入力されるＳＮＲが低値であるこれらの周波数において音声信号を保全することが分かる。
幾つかの態様を、装置について記述してきたが、これらの態様は対応方法の記述をも表すことは明らかである。方法では、ブロック又はデバイス装置が方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップについて記述された態様も、対応する装置の対応するブロック、アイテム又は特徴の記述を表す。
本発明の分解信号は、デジタル記憶媒体上へ格納することができ、又は無線伝送媒体等の伝送媒体上、又はインターネット等の有線伝送媒体上で伝送することができる。
所定の実装要件に依存して、本発明の実施形態は、ハードウェアにおいて又はソフトウェアにおいて実装することができる。実装は、個々の方法が実行されるようにプログラム可能コンピュータシステムと協働する（又は協働できる）電子読取り可能制御信号を格納したデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はＦＬＡＳＨメモリ、を用いて実行することができる。
本発明による実施形態の中には、本明細書に記述されている方法のうちの１つが実行されるように、プログラム可能コンピュータシステムと協働することができる電子的に読取り可能な制御信号を有する非一時的データキャリアを備えるものがある。
概して、本発明の実施形態はプログラムコードを有するコンピュータ・プログラム・プロダクトとして実装することができ、そのプログラムコードは、そのコンピュータ・プログラム・プロダクトがコンピュータ上で実行されると、方法のうちの１つを実行するように作動する。プログラムコードは、例えば、機械読取り可能キャリア上へ格納することができる。
他の実施形態は、機械読取り可能キャリア上へ格納され、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを含む。
したがって、言い替えれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行される場合に、本明細書に記述されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを記録したデータキャリア（又は、デジタル記憶媒体又はコンピュータ読取り可能媒体）である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
さらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するように構成又は適合化される処理手段、例えばコンピュータ又はプログラマブル論理デバイスを含む。
さらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
実施形態によっては、本明細書に記述されている方法の機能の幾つか又は全てを実行するために、プログラマブル論理デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）を使用することができる。実施形態によっては、フィールド・プログラマブル・ゲート・アレイは、本明細書に記述されている方法のうちの１つを実行するために、マイクロプロセッサと協働することができる。概して、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
これまでに述べた実施形態は、単に、本発明の原理を例示するものである。当業者には本明細書に記述されている配置および詳細の変更および変形が明らかとなるものといえる。したがって、意図していることは、本発明は本明細書において実施形態の記述および説明を通じて提示されている特有の詳細ではなく、添付の特許請求の範囲によってのみ限定されるということである。

Claims (19)

  1. 音声確率推定を提供するための装置であって、
    あるシーンの音場が音声を含むかどうかに関して、又はその音場が音声を含まないかどうかに関して、第１の確率を示す音声確率情報を推定するための第１の音声確率推定器（１１０；２１０；３１０）と、
    前記音場が音声を含むかどうかに関して、又は前記音場が音声を含まないかどうかに関して、第２の確率を示す前記音声確率推定を推定するための第２の音声確率推定器（２１５；３１５）と、を備え、
    前記第１の音声確率推定器（１１０；２１０；３１０）は、少なくとも前記音場に関する空間的情報又は前記シーンに関する空間的情報に基づいて前記第１の音声確率情報を推定するように構成され、
    前記第２の音声確率推定器（２１５；３１５）は、前記第１の音声確率推定器（１１０；２１０；３１０）により推定され前記音場に依存する前記音声確率情報に基づいて、かつ前記音場に依存する１つ以上の音響センサ信号に基づいて前記音声確率推定を推定するように構成され、
    前記音声確率情報に依存して前記音声確率推定を出力するための出力インタフェース（１２０；２２０）を備えている装置。
  2. 前記第１の音声確率推定器（１１０；２１０；３１０）は、前記音声確率情報を、前記音場の方向性の音が如何なるものかを示す方向性情報に基づいて推定するように構成されており、
    前記第１の音声確率推定器（１１０；２１０；３１０）は、前記音声確率情報を、前記シーンの音源の少なくとも１つのロケーションを示すロケーション情報に基づいて推定するように構成されており、又は、
    前記第１の音声確率推定器（１１０；２１０；３１０）は、前記音声確率情報を、少なくとも１つの近接センサに対する少なくとも１つの可能な音オブジェクトの少なくとも１つの近接性を示す近接性情報に基づいて推定するように構成されている請求項１に記載の装置。
  3. 前記第１の音声確率推定器（１１０；２１０；３１０）は、前記音声確率推定を、直接音対拡散音比の直接音対拡散音比推定を前記空間的情報として決定することにより推定するように構成されており、前記直接音対拡散音比は、前記音響センサ信号に包含される拡散音に対する、前記音響センサ信号に包含される直接音の割合を示すものである請求項１又は２に記載の装置。
  4. 前記第１の音声確率推定器（１１０；２１０；３１０）は、前記直接音対拡散音比推定を、前記音響センサ信号の第１の音響信号であって第１の音響センサｐにより記録されたものと、前記音響センサ信号の第２の音響信号であって第２の音響センサｑにより記録されたものとの間の複素コヒーレンスのコヒーレンス推定を決定することにより決定するように構成され、かつ、
    前記第１の音声確率推定器（１１０；２１０；３１０）は、さらに、前記直接音対拡散音比を、前記第１の音響信号と前記第２の音響信号との間の前記直接音の位相シフトの位相シフト推定に基づいて決定するように構成されている請求項３に記載の装置。
  5. 前記第１の音声確率推定器（１１０；２１０；３１０）は、前記第１の音響信号と前記第２の音響信号との間の前記直接音対拡散音比推定
    を、公式
    を適用することにより決定するように構成されている請求項４に記載の装置。
    ここで、
    は、時間−周波数ビン（ｋ，ｎ）に対する前記第１の音響信号と前記第２の音響信号との間の前記複素コヒーレンスの前記コヒーレンス推定であり、ｎは時間を示し、ｋは周波数を示し、
    θ（ｋ，ｎ）は、前記時間−周波数ビン（ｋ，ｎ）に対する前記第１の音響信号と前記第２の音響信号との間の前記直接音の前記位相シフトの前記位相シフト推定であり、かつ、
    Γpq,diff（ｋ）は、純粋な拡散音場における前記音響センサｐと前記音響センサｑとの間の前記空間的コヒーレンスに対応する。
  6. 前記第１の音声確率推定器（１１０；２１０；３１０）は、前記音声確率情報を、
    を決定することによって推定するように構成されている請求項３から５のいずれか一項に記載の装置。
    ここで、
    は前記直接音対拡散音比推定であり、かつ
    は前記直接音対拡散音比推定の０から１までの間の値へのマッピングを表すマッピング関数である。
  7. 前記マッピング関数
    は、公式、
    によって定義される請求項６に記載の装置。
    ここで、ｌminは前記マッピング関数の最小値であり、ｌmaxは前記マッピング関数の最大値であり、ｃはΓ軸に沿ってオフセットを制御するための値であり、かつρはｌminとｌmaxとの間の遷移の険しさを定義するものである。
  8. 前記第１の音声確率推定器（１１０；２１０；３１０）は、前記音声確率情報を得るために、ロケーション変数Ｐｂを、音源の推定されたロケーションの確率分布に基づいて、かつ対象エリアに基づいて決定するように構成される請求項１から７のいずれか一項に記載の装置。
  9. 前記第１の音声確率推定器（１１０；２１０；３１０）はロケーション変数Ｐｂを公式、
    を用いて決定するように構成されている請求項８に記載の装置。
    ここで、Ωは特定のロケーションであり、
    は推定されたロケーションであり、
    は条件付き確率密度関数であり、
    ｐ（Ω）はΩの事前確率密度関数であり、
    は、
    の前記確率密度関数であり、
    ΣΩはΩの推定に関連づけられる不確定性を示し、かつ、
    Ｒ（Ω）は対象エリアを記述する多次元関数であって、０≦Ｒ（Ω）≦１である。
  10. 前記第１の音声確率推定器（１１０；２１０；３１０）は、前記音声確率情報としての前記事前音声存在確率ｑ（ｋ，ｎ）を、公式、
    を適用することにより決定するように構成されている請求項３から６のいずれか一項に記載の装置。
    ここで、θは特定の到来方向であり、
    は推定された到来方向であり、
    は条件付き確率密度関数であり、
    ｐ（θ）はθの前記事前確率密度関数であり、
    は
    の前記確率密度関数であり、
    σはθの推定に関連づけられる前記不確定性を示し、
    は前記直接音対拡散音比推定
    の０から１までの間の値へのマッピングを表し、かつ、
    Ｒ（Ω）は対象エリアを記述する多次元関数であって、０≦Ｒ（Ω）≦１である。
  11. 前記第１の音声確率推定器（１１０；２１０；３１０）は近接変数を前記空間的情報として決定するように構成され、
    前記近接変数は、前記第１の音声確率推定器（１１０；２１０；３１０）が近接センサから予め規定された距離内に１つ以上の音源の可能性を検出する場合に第１の変数値を有し、前記第１の音声確率推定器（１１０；２１０；３１０）が前記近接センサに直近する音源の可能性を検出しない場合に、前記第１の変数値より小さい第２の変数値を有し、かつ、
    前記第１の音声確率推定器（１１０；２１０；３１０）は、前記近接変数が前記第１の変数値を有する場合に第１の音声確率値を前記音声確率情報として決定し、前記近接変数が前記第２の変数値を有する場合に第２の音声確率値を前記音声確率情報として決定するように構成され、前記第１の音声確率値は前記音場が音声を包含する第１の確率を示し、前記第１の確率は前記音場が音声を包含する第２の確率より大きく、前記第２の確率は、前記第２の音声確率値によって示される請求項１から１０のいずれか一項に記載の装置。
  12. 雑音電力スペクトル密度推定を決定するための装置であって、
    請求項１から１１のいずれか一項に記載の装置（９１０）と、
    雑音電力スペクトル密度推定ユニット（９２０）と、を備え、
    請求項１から１１のいずれか一項に記載の前記装置（９１０）は、前記音声確率推定を前記雑音電力スペクトル密度推定ユニット（９２０）へ提供するように構成され、かつ、
    前記雑音電力スペクトル密度推定ユニット（９２０）は、前記雑音電力スペクトル密度推定を、前記音声確率推定および複数の入力オーディオチャネルに基づいて決定するように構成されている、装置。
  13. 請求項１から１１のいずれか一項に記載の前記装置（９１０）は、前記音場に関する空間的情報を示す１つ以上の空間変数を計算するように構成されており、
    請求項１から１１のいずれか一項に記載の前記装置（９１０）は、前記音声確率推定を、前記１つ以上の空間変数を用いて計算するように構成されており、かつ、
    前記雑音電力スペクトル密度推定ユニット（９２０）は、前記音声確率推定に依存して先行する雑音電力スペクトル密度行列を更新して更新された雑音電力スペクトル密度行列を前記雑音電力スペクトル密度推定として得ることにより前記雑音電力スペクトル密度推定を決定するように構成されている請求項１２に記載の装置。
  14. 指向性ベクトルを推定するための装置であって、
    請求項１から１１のいずれか一項に記載の装置（１０１０）と、
    指向性ベクトル推定ユニット（１０２０）と、を備え、
    請求項１から１１のいずれか一項に記載の前記装置（１０１０）は、前記音声確率推定を前記指向性ベクトル推定ユニット（１０２０）へ提供するように構成されており、かつ、
    前記指向性ベクトル推定ユニット（１０２０）は、前記指向性ベクトルを、前記音声確率推定および複数の入力オーディオチャネルに基づいて推定するように構成されている、装置。
  15. 多チャネル雑音を低減するための装置であって、
    請求項１から１１のいずれか一項に記載の装置（１１１０）と、
    フィルタユニット（１１２０）と、を備え、
    前記フィルタユニット（１１２０）は複数のオーディオ入力チャネルを受け入れるように構成され、
    請求項１から１１のいずれか一項に記載の前記装置（１１１０）は、前記音声確率情報を前記フィルタユニット（１１２０）へ提供するように構成されており、かつ、
    前記フィルタユニット（１１２０）は、前記音声確率情報に基づいて複数のオーディオ入力チャネルをフィルタリングしてフィルタリングされたオーディオチャネルを取得するように構成されている、装置。
  16. 請求項１から１１のいずれか一項に記載の前記装置（１１１０）の前記第１の音声確率推定器（１１０；２１０；３１０）は、前記音場に関する空間的情報又は前記シーンに関する空間的情報を示す少なくとも１つの空間変数に依存するトレードオフ変数を生成するように構成されている請求項１５に記載の装置。
  17. 前記フィルタユニット（１１２０）は、前記トレードオフ変数に依存して前記複数のオーディオ入力チャネルをフィルタリングするように構成されている請求項１６に記載の装置。
  18. 音声確率推定を提供するための方法であって、
    あるシーンの音場が音声を包含するかどうかに関して、又は前記音場が音声を包含しないかどうかにに関して、第１の確率を示す音声確率情報を推定することであって、少なくとも前記音場に関する空間的情報又はシーンに関する空間的情報に基づいて前記第１の音声確率情報を推定することと、
    前記音場が音声を含むかどうかに関して、又は前記音場が音声を含まないかどうかに関して、第２の確率を示す前記音声確率推定を推定することであって、前記音場に依存する前記音声確率情報に基づいて、かつ前記音場に依存する１つ以上の音響センサ信号に基づいて前記音声確率推定を推定することと、
    前記音声確率情報に依存して前記音声確率推定を出力することと、を含む、方法。
  19. コンピュータ又は信号プロセッサ上で実行される場合に請求項１８に記載の方法を実装するためのコンピュータプログラム。
JP2015528886A 2012-09-03 2012-09-03 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法 Active JP6129316B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/067124 WO2014032738A1 (en) 2012-09-03 2012-09-03 Apparatus and method for providing an informed multichannel speech presence probability estimation

Publications (2)

Publication Number Publication Date
JP2015526767A JP2015526767A (ja) 2015-09-10
JP6129316B2 true JP6129316B2 (ja) 2017-05-17

Family

ID=46888395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015528886A Active JP6129316B2 (ja) 2012-09-03 2012-09-03 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法

Country Status (7)

Country Link
US (1) US9633651B2 (ja)
EP (1) EP2893532B1 (ja)
JP (1) JP6129316B2 (ja)
CN (1) CN104781880B (ja)
BR (1) BR112015004625B1 (ja)
RU (1) RU2642353C2 (ja)
WO (1) WO2014032738A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI738532B (zh) * 2019-10-27 2021-09-01 英屬開曼群島商意騰科技股份有限公司 具多麥克風之語音增強裝置及方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10175335B1 (en) 2012-09-26 2019-01-08 Foundation For Research And Technology-Hellas (Forth) Direction of arrival (DOA) estimation apparatuses, methods, and systems
US10149048B1 (en) 2012-09-26 2018-12-04 Foundation for Research and Technology—Hellas (F.O.R.T.H.) Institute of Computer Science (I.C.S.) Direction of arrival estimation and sound source enhancement in the presence of a reflective surface apparatuses, methods, and systems
US9554203B1 (en) 2012-09-26 2017-01-24 Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) Sound source characterization apparatuses, methods and systems
US9955277B1 (en) 2012-09-26 2018-04-24 Foundation For Research And Technology-Hellas (F.O.R.T.H.) Institute Of Computer Science (I.C.S.) Spatial sound characterization apparatuses, methods and systems
US20160210957A1 (en) 2015-01-16 2016-07-21 Foundation For Research And Technology - Hellas (Forth) Foreground Signal Suppression Apparatuses, Methods, and Systems
US10136239B1 (en) 2012-09-26 2018-11-20 Foundation For Research And Technology—Hellas (F.O.R.T.H.) Capturing and reproducing spatial sound apparatuses, methods, and systems
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US9449609B2 (en) * 2013-11-07 2016-09-20 Continental Automotive Systems, Inc. Accurate forward SNR estimation based on MMSE speech probability presence
US9449610B2 (en) * 2013-11-07 2016-09-20 Continental Automotive Systems, Inc. Speech probability presence modifier improving log-MMSE based noise suppression performance
US9449615B2 (en) 2013-11-07 2016-09-20 Continental Automotive Systems, Inc. Externally estimated SNR based modifiers for internal MMSE calculators
EP3230981B1 (en) 2014-12-12 2020-05-06 Nuance Communications, Inc. System and method for speech enhancement using a coherent to diffuse sound ratio
JP6592940B2 (ja) * 2015-04-07 2019-10-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20170069309A1 (en) * 2015-09-03 2017-03-09 Google Inc. Enhanced speech endpointing
CN110493692B (zh) 2015-10-13 2022-01-25 索尼公司 信息处理装置
CN108141654B (zh) * 2015-10-13 2020-02-14 索尼公司 信息处理装置
CN108074582B (zh) * 2016-11-10 2021-08-06 电信科学技术研究院 一种噪声抑制信噪比估计方法和用户终端
US10219098B2 (en) * 2017-03-03 2019-02-26 GM Global Technology Operations LLC Location estimation of active speaker
CN106960672B (zh) * 2017-03-30 2020-08-21 国家计算机网络与信息安全管理中心 一种立体声音频的带宽扩展方法与装置
US10573301B2 (en) * 2018-05-18 2020-02-25 Intel Corporation Neural network based time-frequency mask estimation and beamforming for speech pre-processing
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
US11417351B2 (en) * 2018-06-26 2022-08-16 Google Llc Multi-channel echo cancellation with scenario memory
CN109616139B (zh) * 2018-12-25 2023-11-03 平安科技（深圳）有限公司 语音信号噪声功率谱密度估计方法和装置
WO2020180719A1 (en) 2019-03-01 2020-09-10 Magic Leap, Inc. Determining input for speech processing engine
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
US12075210B2 (en) * 2019-10-04 2024-08-27 Soundskrit Inc. Sound source localization with co-located sensor elements
CN110830870B (zh) * 2019-11-26 2021-05-14 北京声加科技有限公司 一种基于传声器技术的耳机佩戴者语音活动检测系统
CN112951264B (zh) * 2019-12-10 2022-05-17 中国科学院声学研究所 一种基于混合式概率模型的多通道声源分离方法
US11270720B2 (en) * 2019-12-30 2022-03-08 Texas Instruments Incorporated Background noise estimation and voice activity detection system
US11917384B2 (en) * 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
CN111192569B (zh) * 2020-03-30 2020-07-28 深圳市友杰智新科技有限公司 双麦语音特征提取方法、装置、计算机设备和存储介质
KR20210125846A (ko) 2020-04-09 2021-10-19 삼성전자주식회사 복수의 마이크로폰들을 사용한 음성 처리 장치 및 방법
US11380302B2 (en) 2020-10-22 2022-07-05 Google Llc Multi channel voice activity detection
US12119019B2 (en) * 2022-01-18 2024-10-15 Google Llc Privacy-preserving social interaction measurement
CN117275528B (zh) * 2023-11-17 2024-03-01 浙江华创视讯科技有限公司 语音存在概率的估计方法及装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774837A (en) * 1995-09-13 1998-06-30 Voxware, Inc. Speech coding system and method using voicing probability determination
FI114422B (fi) * 1997-09-04 2004-10-15 Nokia Corp Lähteen puheaktiviteetin tunnistus
US5924066A (en) * 1997-09-26 1999-07-13 U S West, Inc. System and method for classifying a speech signal
US5970446A (en) * 1997-11-25 1999-10-19 At&T Corp Selective noise/channel/coding models and recognizers for automatic speech recognition
US6594629B1 (en) * 1999-08-06 2003-07-15 International Business Machines Corporation Methods and apparatus for audio-visual speech detection and recognition
US6374216B1 (en) * 1999-09-27 2002-04-16 International Business Machines Corporation Penalized maximum likelihood estimation methods, the baum welch algorithm and diagonal balancing of symmetric matrices for the training of acoustic models in speech recognition
US6609094B1 (en) * 2000-05-22 2003-08-19 International Business Machines Corporation Maximum entropy and maximum likelihood criteria for feature selection from multivariate data
KR100400226B1 (ko) 2001-10-15 2003-10-01 삼성전자주식회사 음성 부재 확률 계산 장치 및 방법과 이 장치 및 방법을이용한 잡음 제거 장치 및 방법
US7146315B2 (en) * 2002-08-30 2006-12-05 Siemens Corporate Research, Inc. Multichannel voice detection in adverse environments
KR100486736B1 (ko) * 2003-03-31 2005-05-03 삼성전자주식회사 두개의 센서를 이용한 목적원별 신호 분리방법 및 장치
CA2473195C (en) * 2003-07-29 2014-02-04 Microsoft Corporation Head mounted multi-sensory audio input system
EP1509065B1 (en) * 2003-08-21 2006-04-26 Bernafon Ag Method for processing audio-signals
US7613607B2 (en) * 2003-12-18 2009-11-03 Nokia Corporation Audio enhancement in coded domain
US8788265B2 (en) * 2004-05-25 2014-07-22 Nokia Solutions And Networks Oy System and method for babble noise detection
US7518631B2 (en) * 2005-06-28 2009-04-14 Microsoft Corporation Audio-visual control system
JP5088701B2 (ja) * 2006-05-31 2012-12-05 日本電気株式会社 言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム
KR100821177B1 (ko) * 2006-09-29 2008-04-14 한국전자통신연구원 통계적 모델에 기반한 선험적 음성 부재 확률 추정 방법
US8218460B2 (en) * 2006-12-27 2012-07-10 Laura Laaksonen Network entity, method and computer program product for mixing signals during a conference session
US8005238B2 (en) * 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US7626889B2 (en) * 2007-04-06 2009-12-01 Microsoft Corporation Sensor array post-filter for tracking spatial distributions of signals and noise
US8005237B2 (en) * 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
JP5642339B2 (ja) * 2008-03-11 2014-12-17 トヨタ自動車株式会社 信号分離装置及び信号分離方法
US8244528B2 (en) * 2008-04-25 2012-08-14 Nokia Corporation Method and apparatus for voice activity determination
JP5215826B2 (ja) * 2008-11-28 2013-06-19 日本電信電話株式会社 複数信号区間推定装置とその方法とプログラム
KR101253102B1 (ko) * 2009-09-30 2013-04-10 한국전자통신연구원 음성인식을 위한 모델기반 왜곡 보상형 잡음 제거 장치 및 방법
US8600073B2 (en) 2009-11-04 2013-12-03 Cambridge Silicon Radio Limited Wind noise suppression
ES2643163T3 (es) * 2010-12-03 2017-11-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para codificación de audio espacial basada en geometría
FR2976710B1 (fr) * 2011-06-20 2013-07-05 Parrot Procede de debruitage pour equipement audio multi-microphones, notamment pour un systeme de telephonie "mains libres"
US8935164B2 (en) * 2012-05-02 2015-01-13 Gentex Corporation Non-spatial speech detection system and method of using same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI738532B (zh) * 2019-10-27 2021-09-01 英屬開曼群島商意騰科技股份有限公司 具多麥克風之語音增強裝置及方法

Also Published As

Publication number Publication date
JP2015526767A (ja) 2015-09-10
WO2014032738A1 (en) 2014-03-06
BR112015004625A2 (pt) 2017-07-04
EP2893532B1 (en) 2021-03-24
US20150310857A1 (en) 2015-10-29
RU2642353C2 (ru) 2018-01-24
BR112015004625B1 (pt) 2021-12-07
US9633651B2 (en) 2017-04-25
CN104781880B (zh) 2017-11-28
EP2893532A1 (en) 2015-07-15
RU2015112126A (ru) 2016-10-20
CN104781880A (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
JP6129316B2 (ja) 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法
US9984702B2 (en) Extraction of reverberant sound using microphone arrays
Taseska et al. MMSE-based blind source extraction in diffuse noise fields using a complex coherence-based a priori SAP estimator
JP6636633B2 (ja) 音響信号を向上させるための音響信号処理装置および方法
EP2647221B1 (en) Apparatus and method for spatially selective sound acquisition by acoustic triangulation
KR101591220B1 (ko) 공간적 전력 밀도에 기초하여 마이크 위치 결정을 위한 장치 및 방법
EP3526979B1 (en) Method and apparatus for output signal equalization between microphones
Kjems et al. Maximum likelihood based noise covariance matrix estimation for multi-microphone speech enhancement
TWI530201B (zh) 經由自抵達方向估值提取幾何資訊之聲音擷取技術
JP7041156B6 (ja) ビームフォーミングを使用するオーディオキャプチャのための方法及び装置
Taseska et al. Informed spatial filtering for sound extraction using distributed microphone arrays
CN105165026A (zh) 使用多个瞬时到达方向估计的知情空间滤波的滤波器及方法
Braun et al. A multichannel diffuse power estimator for dereverberation in the presence of multiple sources
EP3320311B1 (en) Estimation of reverberant energy component from active audio source
Transfeld et al. Acoustic event source localization for surveillance in reverberant environments supported by an event onset detection
Scharrer et al. Sound field classification in small microphone arrays using spatial coherences
Raikar et al. Effect of Microphone Position Measurement Error on RIR and its Impact on Speech Intelligibility and Quality.
Taseska et al. Minimum Bayes risk signal detection for speech enhancement based on a narrowband DOA model
Gburrek et al. On source-microphone distance estimation using convolutional recurrent neural networks
Ji et al. Coherence-Based Dual-Channel Noise Reduction Algorithm in a Complex Noisy Environment.
Ceolini et al. Speaker Activity Detection and Minimum Variance Beamforming for Source Separation.
Zheng et al. Statistical analysis and improvement of coherent-to-diffuse power ratio estimators for dereverberation
US11425495B1 (en) Sound source localization using wave decomposition
US11483644B1 (en) Filtering early reflections
CN117037836B (zh) 基于信号协方差矩阵重构的实时声源分离方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160926

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170411

R150 Certificate of patent or registration of utility model

Ref document number: 6129316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250