JP5678023B2 - 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム - Google Patents

高度に相関する混合のための強調ブラインド信号源分離アルゴリズム Download PDF

Info

Publication number
JP5678023B2
JP5678023B2 JP2012245596A JP2012245596A JP5678023B2 JP 5678023 B2 JP5678023 B2 JP 5678023B2 JP 2012245596 A JP2012245596 A JP 2012245596A JP 2012245596 A JP2012245596 A JP 2012245596A JP 5678023 B2 JP5678023 B2 JP 5678023B2
Authority
JP
Japan
Prior art keywords
signal
input signal
input
signals
calibration factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012245596A
Other languages
English (en)
Other versions
JP2013070395A (ja
Inventor
ソン・ワン
ディネッシュ・ラマクリシュナン
サミア・クマー・グプタ
エディー・エル.ティー.・チョイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013070395A publication Critical patent/JP2013070395A/ja
Application granted granted Critical
Publication of JP5678023B2 publication Critical patent/JP5678023B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/028Voice signal separating using properties of sound source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

少なくとも1つの態様は、信号処理に関し、より詳細には、ブラインド信号源分離(blind source separation)(BSS)技法とともに使用される処理技法に関する。
いくつかのモバイル通信デバイスは、1つまたは複数の信号源からキャプチャされたサウンド信号および/またはオーディオ信号の品質を改善しようとして複数のマイクロホンを採用することができる。これらのオーディオ信号は、バックグラウンドノイズ、妨害、干渉、漏話および他の不要な信号でしばしば乱される。したがって、所望のオーディオ信号を強調するために、そのような通信デバイスは、一般に、複数のマイクロホンによってキャプチャされたオーディオ信号を処理するために、高度信号処理方法を使用する。このプロセスは、他の無関係な信号を抑制しながら、所望のオーディオ信号において改善されたサウンド/ボイス品質、低減されたバックグラウンドノイズなどを提供する信号強調としばしば呼ばれる。スピーチ通信では、所望の信号は通常スピーチ信号であり、信号強調はスピーチ強調と呼ばれる。
ブラインド信号源分離(BSS)は信号強調のために使用されることができる。ブラインド信号源分離は、信号源信号の複数の独立した信号混合を使用して、独立した信号源信号を復元するために使用される技術である。各センサは異なる位置に配置され、各センサは、信号源信号の混合である信号を記録する。BSSアルゴリズムは、両方のセンサによって記録された共通情報の空間ダイバーシチを明示する信号差を利用することによって、信号を分離するために使用されることができる。スピーチ通信処理では、異なるセンサは、記録されているスピーチの信号源に対して異なる位置に配置されたマイクロホンを備えることができる。
ビームフォーミングは、信号強調のための代替技術である。ビームフォーマは、異なる空間位置から生じる信号を分離するために、空間フィルタリングを実行する。他の方向からの信号は減衰するのに対し、ある方向からの信号は増幅される。したがって、ビームフォーミングは、所望の信号を強調するために、入力信号の指向性を使用する。
ブラインド信号源分離とビームフォーミングの両方は、異なる位置に配置された複数のセンサを使用する。各センサは、信号源信号の異なる混合を記録またはキャプチャする。これらの混合は、信号源信号とセンサ(たとえば、マイクロホン)との間の空間的な関係を含む。信号強調を達成するために、この情報が利用される。
間隔が密なマイクロホンを有する通信デバイスでは、マイクロホンからキャプチャされた入力信号は、マイクロホン同士が極めて近接しているために、高度に相関することがある。この場合、ブラインド信号源分離を含む従来のノイズ抑制方法は、ノイズから所望の信号をうまく分離することできないことがある。たとえば、デュアルマイクロホンシステムでは、BSSアルゴリズムは、混合入力信号を取り、所望のスピーチ信号と周囲ノイズとの推定値を含む2つの出力を生成することがある。しかしながら、信号分離の後、2つの出力信号のうちのどちらが所望のスピーチ信号であり、どちらが周囲ノイズであるかを判断することができないことがある。BSSアルゴリズムのこの固有の不確定性は、大きなパフォーマンス劣化を生じる。
したがって、間隔が密なマイクロホンを有する通信デバイス上でのブラインド信号源分離のパフォーマンスを改善するための方法が必要である。
高度に相関する信号混合のブラインド信号源分離のための方法が提供される。第1のマイクロホンに関連付けられた第1の入力信号が受信される。第2のマイクロホンに関連付けられた第2の入力信号も受信される。ビームフォーミング技法は、第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、第1および第2の入力信号に適用されることができる。ブラインド信号源分離(BSS)技法は、第1のBSS信号と第2のBSS信号とを生成するために、第1の出力信号と第2の出力信号とに適用されることができる。第1および第2の入力信号、第1および第2の出力信号、または第1および第2のBSS信号、のうちの少なくとも1つが較正されることができる。
ビームフォーミング技法は、第1および第2の入力信号に空間フィルタを適用することによって第1および第2の入力信号に指向性を与えることができる。第1および第2の入力信号に空間フィルタを適用することは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅することができる。第1および第2の入力信号に空間フィルタを適用することは、得られた第1の出力信号中の所望のスピーチ信号を増幅することができ、第2の出力信号中の所望のスピーチ信号を減衰させる。
一例では、第1および第2の入力信号のうちの少なくとも1つを較正することは、第2の入力信号に適応フィルタを適用することを備えることができる、ビームフォーミング技法を適用することは、第2の入力信号から第1の入力信号を減算することを含むことができる。ビームフォーミング技法を適用することは、フィルタ処理された第2の入力信号を第1の入力信号に加算することをさらに備えることができる。
別の例では、第1および第2の入力信号のうちの少なくとも1つを較正することは、第1の入力信号と第2の入力信号とのエネルギー推定値の比に基づいて較正ファクタを生成することと、第1の入力信号または第2の入力信号のうちの少なくともいずれか1つに較正ファクタを適用することと、をさらに備えることができる。
さらに別の例では、第1および第2の入力信号のうちの少なくとも1つを較正することは、第1の入力信号と第2の入力信号との間の相互相関推定値と、第2の入力信号のエネルギー推定値との比に基づいて較正ファクタを生成することと、第2の入力信号にその較正ファクタを適用することとをさらに備えることができる。
さらに別の例では、第1および第2の入力信号のうちの少なくとも1つを較正することは、第1の入力信号と第2の入力信号との間の相互相関推定値と、第1の入力信号のエネルギー推定値との比に基づいて較正ファクタを生成することと、第1の入力信号にその較正ファクタを適用することとをさらに備えることができる。
さらに別の例では、第1および第2の入力信号のうちの少なくとも1つを較正することは、第1の入力信号と第2の入力信号との間の相互相関推定値と、第2の入力信号のエネルギー推定値との比に基づいて較正ファクタを生成することと、第2の入力信号にその較正ファクタを乗算することと、第1の入力信号をその較正ファクタで除算することと、をさらに備えることができる。
一例では、第1および第2の入力信号にビームフォーミング技法を適用することは、変更された第1の信号を取得するために第2の入力信号を第1の入力信号に加算することと、変更された第2の信号を取得するために第2の入力信号から第1の入力信号を減算することと、をさらに備えることができる。第1および第2の入力信号のうちの少なくとも1つを較正することは、(a)変更された第1の信号の第1のノイズフロア推定値を取得すること、(b)変更された第2の信号の第2のノイズフロア推定値を取得すること、(c)第1のノイズフロア推定値と第2のノイズフロア推定値との比に基づいて較正ファクタを生成すること、(d)較正ファクタを変更された第2の信号に適用すること、および/または(e)変更された第1の信号に適応フィルタを適用し、変更された第2の信号からフィルタ処理された変更された第1の信号を減算すること、をさらに備えることができる。
高度に相関する信号混合のブラインド信号源分離のための方法はまた、(a)第1および第2の出力信号に基づいて較正ファクタを取得すること、および/または(b)第1および第2の出力信号にブラインド信号源分離技法を適用するより前に、第1および第2の出力信号のうちの少なくとも1つを較正することをさらに備えることができる。
高度に相関する信号混合のブラインド信号源分離のための方法はまた、(a)第1および第2の出力信号に基づいて較正ファクタを取得すること、および/または(b)較正ファクタに基づいてブラインド信号源分離技法の動作を変更することをさらに備えることができる。
高度に相関する信号混合のブラインド信号源分離のための方法はまた、第1のBSS信号中のノイズを低減するために第1のBSS信号に適応フィルタを適用することをさらに備えることができ、第2のBSS信号は、適応フィルタへの入力として使用される。
高度に相関する信号混合のブラインド信号源分離のための方法はまた、(a)振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを適用することによって、第1および第2の入力信号のうちの少なくとも1つを較正すること、(b)振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを適用することによって、第1および第2の出力信号のうちの少なくとも1つを較正すること、および/または(c)ノイズベースの較正を適用することを含む、第1および第2のBSS信号のうちの少なくとも1つを較正すること、をさらに備えることができる。
1つまたは複数の較正モジュールとブラインド信号源分離モジュールとに結合された1つまたは複数のマイクロホンを備える通信デバイスもまた提供される。第1のマイクロホンは、第1の入力信号を取得するように構成されることができる。第2のマイクロホンは、第2の入力信号を取得するように構成されることができる。較正モジュールは、対応する第1および第2の出力信号を取得するために、第1および第2の入力信号に対してビームフォーミングを実行するように構成される。ブラインド信号源分離モジュールは、第1のBSS信号と第2のBSS信号とを生成するために、ブラインド信号源分離(BSS)技法を第1の出力信号と第2の出力信号とに実行するように構成されることができる。少なくとも1つの較正モジュールは、第1および第2の入力信号、第1および第2の出力信号、または第1および第2のBSS信号のうちの少なくとも1つを較正するように構成されることができる。通信デバイスは、また、第1のBSS信号中のノイズを低減するために、第1のBSS信号に適応フィルタを適用するように構成された後処理モジュールをも含むことができ、第2のBSS信号は、適応フィルタへの入力として使用される。
ビームフォーミングモジュールは、第1および第2の入力信号に空間フィルタを適用することによってビームフォーミングを実行することができ、第1および第2の入力信号に空間フィルタを適用することは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する。第1の入力信号と第2の入力信号とに空間フィルタを適用することは、得られた第1の出力信号中の所望のスピーチ信号を増幅することができ、第2の出力信号中の所望のスピーチ信号を減衰させることができる。
一例では、第1および第2の入力信号に対してビームフォーミングを実行することにおいて、ビームフォーミングモジュールは、(a)第2の入力信号に適応フィルタを適用し、(b)第2の入力信号から第1の入力信号を減算し、(c)フィルタ処理された第2の入力信号を第1の入力信号に加算する、ようにさらに構成されることができる。
一例では、第1および第2の入力信号のうちの少なくとも1つを較正することにおいて、較正モジュールは、(a)第1の入力信号と第2の入力信号との間の相互相関推定値と、第2の入力信号のエネルギー推定値との比に基づいて較正ファクタを生成し、および/または(b)較正ファクタを第2の入力信号に適用する、ようにさらに構成されることができる。
別の例では、第1および第2の入力信号のうちの少なくとも1つを較正することにおいて、較正モジュールは、(a)第1の入力信号と第2の入力信号との間の相互相関推定値と、第1の入力信号のエネルギー推定値との比に基づいて較正ファクタを生成し、および/または(b)較正ファクタを第1の入力信号に適用するようにさらに構成されることができる。
別の例では、第1および第2の入力信号のうちの少なくとも1つを較正することにおいて、較正モジュールは、(a)第1の入力信号と第2の入力信号との間の相互相関推定値と、第2の入力信号のエネルギー推定値とに基づいて較正ファクタを生成し、(b)第2の入力信号に較正ファクタを乗算し、および/または(c)第1の入力信号を較正ファクタで除算する、ようにさらに構成されることができる。
別の例では、第1および第2の入力信号に対してビームフォーミングを実行することにおいて、ビームフォーミングモジュールは、(a)変更された第1の信号を取得するために、第2の入力信号を第1の入力信号に加算し、(b)変更された第2の信号を取得するために、第2の入力信号から第1の入力信号を減算し、(c)変更された第1の信号の第1のノイズフロア推定値を取得し、(d)変更された第2の信号の第2のノイズフロア推定値を取得する、ようにさらに構成されることができ、および/または較正モジュールは、(e)第1のノイズフロア推定値と第2のノイズフロア推定値との比に基づいて較正ファクタを生成し、および/または(f)較正ファクタを変更された第2の信号に適用する、ようにさらに構成されることができる。
一例では、少なくとも1つの較正モジュールは、振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを、第1および第2の入力信号に適用するように構成された第1の較正モジュールを含むことができる。
別の例では、少なくとも1つの較正モジュールは、振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを、第1および第2の出力信号に適用するように構成された第2の較正モジュールを含むことができる。
別の例では、少なくとも1つの較正モジュールは、ノイズベースの較正を第1および第2のBSS信号に適用するように構成された第3の較正モジュールを含むことができる。
したがって、(a)第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号とを受信するための手段、(b)指向性を第1および第2の入力信号に与えて、対応する第1および第2の出力信号を取得するために、第1および第2の入力信号にビームフォーミング技法を適用するための手段、(c)第1のBSS信号と第2のBSS信号とを生成するために、ブラインド信号源分離(BSS)技法を第1の出力信号と第2の出力信号とに適用するための手段、(d)第1および第2の入力信号、第1および第2の出力信号、または第1および第2のBSS信号のうちの少なくとも1つを較正するための手段、(e)第1のBSS信号中のノイズを低減するために第1のBSS信号に適応フィルタを適用するための手段であって、第2のBSS信号は、適応フィルタへの入力として使用される、第1のBSS信号に適応フィルタを適用するための手段、(f)第2の入力信号に適応フィルタを適用するための手段、(g)第2の入力信号から第1の入力信号を減算するための手段、(h)フィルタ処理された第2の入力信号を第1の入力信号に加算するための手段、(i)第1および第2の出力信号に基づいて較正ファクタを取得するための手段、(j)第1および第2の出力信号にブラインド信号源分離技法を適用するより前に、第1および第2の出力信号のうちの少なくとも1つを較正するための手段、(k)第1および第2の出力信号に基づいて較正ファクタを取得するための手段、および/または(l)較正ファクタに基づいてブラインド信号源分離技法の動作を修正するための手段、を備える通信デバイスが提供される。
2つ以上の信号のブラインド信号源分離を強調するための回路であって、(a)第1のマイクロホンに関連付けられた第1の入力信号と第2のマイクロホンに関連付けられた第2の入力信号とを受信し、(b)指向性を第1および第2の入力信号に与え、対応する第1および第2の出力信号を取得するために、第1および第2の入力信号にビームフォーミング技法を適用し、(c)第1のBSS信号と第2のBSS信号とを生成するために、ブラインド信号源分離(BSS)技法を第1の出力信号と第2の出力信号とに適用し、および/または(d)第1および第2の入力信号、第1および第2の出力信号、または第1および第2のBSS信号のうちの少なくとも1つを較正するように適合される、回路が提供される。ビームフォーミング技法は、第1の入力信号と第2の入力信号とに空間フィルタを適用し、空間フィルタは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する。一例では、回路は集積回路である。
2つ以上の信号のブラインド信号源分離を強調するための命令を備えるコンピュータ可読媒体がまた提供され、その命令は、プロセッサによって実行されるときに、(a)第1のマイクロホンに関連付けられた第1の入力信号と第2のマイクロホンに関連付けられた第2の入力信号とを取得すること、(b)指向性を第1および第2の入力信号に与え、対応する第1および第2の出力信号を取得するために、第1および第2の入力信号にビームフォーミング技法を適用すること、(c)第1のBSS信号と第2のBSS信号とを生成するために、ブラインド信号源分離(BSS)技法を前処理された第1の出力信号と前処理された第2の出力信号とに適用すること、および/または(d)第1および第2の入力信号、第1および第2の出力信号、または第1および第2のBSS信号のうちの少なくとも1つを較正することをプロセッサに行わせることができる。
本態様の特徴、特性、および利点は、全体を通じて同様の参照符号が同様のものを指す図面とともに、以下に記載する詳細な説明を読めばより明らかになるだろう。
図1は、信号強調を実行するように構成されたモバイル通信デバイスの例を示す図である。 図2は、間隔が密なマイクロホンのために信号強調を実行するように構成されたモバイル通信デバイスのコンポーネントおよび機能を示すブロック図である。 図3は、一例による、連続ビームフォーマおよびブラインド信号源分離段の一例のブロック図である。 図4は、空間ビームフォーミングを実行するように構成されたビームフォーミングモジュールの例のブロック図である。 図5は、2つ以上のマイクロホンからの入力信号を使用する較正およびビームフォーミングの第1の例を示すブロック図である。 図6は、2つのマイクロホン信号に基づいてビームフォーミングを実装する前に、2つのマイクロホン信号を較正するために適用される較正ファクタを取得するための第1の方法を示す流れ図である。 図7は、2つのマイクロホン信号に基づいてビームフォーミングを実装する前に、2つのマイクロホン信号を較正するために適用される較正ファクタを取得するための第2の方法を示す流れ図である。 図8は、2つ以上のマイクロホンからの入力信号を使用する較正およびビームフォーミングの第2の例を示すブロック図である。 図9は、2つ以上のマイクロホンからの入力信号を使用する較正およびビームフォーミングの第3の例を示すブロック図である。 図10は、2つ以上のマイクロホンからの入力信号を使用する較正およびビームフォーミングの第4の例を示すブロック図である。 図11は、複数の混合入力信号から信号源信号を復元する畳み込みブラインド信号源分離の動作を示すブロック図である。 図12は、ビームフォーミング前処理段の後であるが、ブラインド信号源分離段の前に信号がどのように較正されるかの第1の例を示すブロック図である。 図13は、ブラインド信号源分離より前に信号較正を実装する代替方式を示すブロック図である。 図14は、所望のスピーチ基準信号からノイズを低減するために使用される後処理モジュールの動作の例を示すブロック図である。 図15は、一例によるブラインド信号源分離を強調する方法を示す流れ図である。
以下の説明では、構成の十分な理解が得られるように具体的な詳細が与えられる。ただし、その構成は、これらの具体的な詳細なしに実施できることを、当業者なら理解されよう。たとえば、構成を不必要な詳細で不明瞭にしないために、回路をブロック図で示すことがある。他の場合、構成を不明瞭にしないために、よく知られている回路、構造および技法を詳細に示すことがある。
また、構成は、フローチャート、流れ図、構造図、またはブロック図として示されるプロセスとして説明されることがあることに留意されたい。フローチャートは、動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実行されることができる。さらに、動作の順序は、並べ替えられることができる。プロセスは、その動作が完了されると終了される。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応することができる。プロセスが関数に対応する場合、その終了は、呼出し側関数またはメイン関数への関数の復帰に対応する。
1つまたは複数の例および/または構成では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで実装されることができる。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信されることができる。コンピュータ可読媒体は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を可能にするいかなる媒体をも含む通信媒体との両方を含む。記憶媒体は、汎用または専用コンピュータによってアクセスされることができる任意の利用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROM、あるいは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、もしくは命令またはデータ構造の形の所望のプログラムコード手段を搬送または記憶するために使用されることができ、汎用または専用コンピュータあるいは汎用または専用プロセッサによってアクセスされることができる任意の他の媒体を備えることができる。さらに、いかなる接続も、正しくはコンピュータ可読媒体と呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモート信号源から送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書では、ディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイディスク(disc)を含み、この場合、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)はデータをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含められる。
さらに、記憶媒体は、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、および/または情報を記憶するための他の機械可読媒体を含む、データを記憶するための1つまたは複数のデバイスを表すことができる。
さらに、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、および/またはそれらの任意の組合せによって様々な構成が実装されることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装された場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、記憶媒体または(1つまたは複数の)他の記憶装置などのコンピュータ可読媒体に記憶されることができる。プロセッサは、必要なタスクを実行することができる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造もしくはプログラムステートメントの任意の組合せを表すことができる。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容をパスおよび/または受信することによって、別のコードセグメントまたはハードウェア回路に結合されることができる。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む任意の適切な手段を介してパス、転送、または送信されることができる。
1つの特徴は、ブラインド信号源分離を実行する前に入力信号を事前調整する前処理段を設け、それによってブラインド信号源分離アルゴリズムのパフォーマンスを改善する。ブラインド信号源分離に関連付けられた不確定性問題を回避するために、まず、マイクロホン信号を事前調整するために、較正およびビームフォーミング段が使用される。次いで、所望のスピーチ信号と周囲ノイズとを分離するために、ビームフォーマ出力信号に対してブラインド信号源分離が実行される。この特徴は、少なくとも2つのマイクロホンが使用され、(少なくとも2つのマイクロホン信号からの)ただ1つの信号が、強調されるべき所望される信号であると仮定する。たとえば、所望の信号は、通信デバイスを使用している人から発生するスピーチ信号とすることができる。
一例では、それぞれ所望のスピーチ信号および周囲ノイズの混合物を含むと仮定される2つのマイクロホン信号が通信デバイス上でキャプチャされることができる。まず、マイクロホン信号を事前調整するために、較正およびビームフォーミング段が使用される。事前調整された信号の1つまたは複数は、さらなる処理の前および/または後に、再び較正されることができる。たとえば、まず事前調整された信号が較正されることができ、次いで、ブラインド信号源分離アルゴリズムが元の信号を再構成するために使用される。ブラインド信号源分離アルゴリズムは、信号分離パフォーマンスをさらに改善するために後処理モジュールを使用しても使用しなくてもよい。
いくつかの例は、説明のために「スピーチ信号」という用語を使用することがあるが、様々な特徴は、ボイス、ボイス、ミュージックなどを含むすべてのタイプの「サウンド信号」にも当てはまることは明らかである。
1つの態様は、マイクロホン信号記録が高度に相関され、1つの信号源信号が所望の信号であるブラインド信号源分離パフォーマンスを改善することを提供する。システムの全体的なパフォーマンスを改善するために、スペクトル減算技法などの非線形処理方法が、後処理の後に採用されることができる。非線形処理はさらに、ノイズおよび他の望ましくない信号源信号から所望の信号を区別するのに役立つことができる。
図1は、信号強調を実行するように構成されたモバイルデバイスの例を示す。モバイルデバイス102は、1つまたは複数の信号源からオーディオ信号をキャプチャするために配置された少なくとも2つのマイクロホン104および106を含む、携帯電話、セルラー電話、携帯情報端末、デジタルオーディオレコーダー、通信デバイスなどとすることができる。マイクロホン104および106は、通信デバイス102中の様々な位置に配置されることができる。たとえば、マイクロホン104および106は、所望のスピーチ信号源(たとえば、ユーザ)からのオーディオ信号をキャプチャするように、モバイルデバイス102の同じ側に互いにかなり近接して配置されることができる。2つのマイクロホン間の距離は、たとえば、0.5センチメートルから10センチメートルまで変動することがある。この例は、2つのマイクロホン構成を示しているが、他の実装形態は、異なる位置にある追加のマイクロホンを含むことができる。
スピーチ通信では、所望のスピーチ信号は、街頭ノイズ、バブルノイズ、自動車ノイズなどを含む周囲ノイズでしばしば乱される。そのようなノイズは、所望のスピーチの了解度を低減するだけでなく、スピーチを聴取者にとって不快なものにする。したがって、スピーチ信号を通信の他の当事者に送信する前に、周囲ノイズを低減することが望ましい。したがって、モバイルデバイス102は、キャプチャされたサウンド信号の品質を強調するために、信号処理を実行するように構成または適合されることができる。
ブラインド信号源分離(BSS)は、周囲ノイズを低減するために使用されることができる。BSSは、所望のスピーチを1つの元の信号源として扱い、周囲ノイズを別の信号源として扱う。分離された信号を互いから独立させることによって、周囲ノイズから所望のスピーチを分離すること、すなわち、スピーチ信号中の周囲ノイズを低減し、周囲ノイズ信号中の所望のスピーチを低減することができる。一般に、所望のスピーチは、独立した信号源である。しかし、ノイズは、いくつかの方向から来ることができる。したがって、周囲ノイズ信号のスピーチ低減は、よく行われことができる。ただし、スピーチ信号のノイズ低減は、音響環境に依存することがあり、周囲ノイズ信号のスピーチ低減よりも難しいことがある。すなわち、周囲ノイズの分散性質のために、ブラインド信号源分離の目的でそれを単一の信号源として表すことが困難になる。
2つのマイクロホン104および106を近くに配置した結果として、2つのマイクロホン104および106によってキャプチャされたオーディオ信号は高度に相関し、信号差は非常に小さくなることがある。したがって、従来のブラインド信号源分離処理は、所望のオーディオ信号を強調することに成功しないことがある。したがって、モバイルデバイス102は、たとえば、ブラインド信号源分離段の前段に較正およびビームフォーミング段を実装することによって、周囲ノイズから所望のスピーチを分離するように構成または適合されることができる。
図2は、間隔が密なマイクロホンのために信号強調を実行するように構成されたモバイルデバイスのコンポーネントおよび機能を示すブロック図である。モバイルデバイス202は、随意の前処理(較正)段208に通信可能に結合された少なくとも2つの(単方向または全方向)マイクロホン204および206と、後続のビームフォーミング段211と、後続の別の随意の中間処理(較正)段213と、後続のブラインド信号源分離段210と、後続の随意の後処理(たとえば、較正)段215と、を含むことができる。少なくとも2つのマイクロホン204および206は、1つまたは複数の音源216、218および220から、混合音響信号S212およびS214をキャプチャすることができる。たとえば、音響信号S212およびS214は、音源216、218および220からの2つ以上のソースサウンド信号so1とso2とsoNとの混合とすることができる。音源216、218および220は、1つまたは複数のユーザ、バックグラウンドまたは周囲ノイズなどを表すことができる。キャプチャされた入力信号S’およびS’は、サンプリングされたサウンド信号s(t)およびs(t)を提供するために、アナログデジタル変換器207および209によってサンプリングされることができる。
音響信号S212およびS214は、所望のサウンド信号と不要なサウンド信号とを含むことがある。「サウンド信号」という用語は、限定はしないが、オーディオ信号、スピーチ信号、ノイズ信号、および/またはマイクロホンによって音響的に送信およびキャプチャされることができる他のタイプの信号を含む。
前処理(較正)段208、ビームフォーミング段211および/または中間処理(較正)段213は、ブラインド信号源分離に関連する不確定性問題を回避するために、キャプチャされたサンプリングされた信号s(t)とs(t)とを事前調整するように構成または適合されることができる。すなわち、ブラインド信号源分離アルゴリズムは、所望のスピーチ信号と周囲ノイズとを分離するために使用されることができるが、これらのアルゴリズムは、信号分離の後、どの出力信号が所望のスピーチ信号であり、どの出力信号が周囲ノイズであるかを判断することができない。これは、すべてブラインド信号源分離アルゴリズムの固有の不確定性による。ただし、いくつかの仮定の下で、一部のブラインド信号源分離アルゴリズムは、そのような不確定性を回避することが可能であることがある。たとえば、所望のスピーチが1つの入力チャネル中で他のチャネル中よりもはるかに強い場合、ブラインド信号源分離の結果が確定する可能性がある。しかし、信号S’およびS’が、間隔が密なマイクロホンを使用してキャプチャされた場合、そのような仮定は有効ではない。したがって、ブラインド信号源分離アルゴリズムが受信信号S’およびS’(または、デジタル化サウンド信号s(t)およびs(t))に直接適用された場合、不確定性問題が持続する可能性がある。その結果、信号S’およびS’は、所望の方向からの信号受信を強調するために、2つ以上の信号源サウンド信号so1、so2およびsoNの指向性を利用する前処理(たとえば、較正段208および/または213および/またはビームフォーミング段211)にかけられることがある。
ビームフォーミング段211は、受信したサウンド信号s(t)およびs(t)の指向性を利用することによって、有用なサウンド信号を区別するように構成されることができる。ビームフォーミング段211は、少なくとも2つ以上のマイクロホン212および214によってキャプチャされた信号を線形結合することによって、空間フィルタ処理を実行することができる。空間フィルタ処理は、所望の方向からのサウンド信号の受信を強調し、他の方向から来る干渉信号を抑制する。たとえば、2つのマイクロホンシステムでは、ビームフォーミング段211は、第1の出力x(t)および第2の出力x(t)を生成する。第1の出力x(t)では、所望のスピーチが空間フィルタ処理によって強調される。第2の出力x(t)では、所望のスピーチが抑制されることができ、周囲ノイズ信号が強調されることができる。
たとえば、ユーザが第1の音源218である場合、元のソース信号so2が、所望のソースサウンド信号(たとえば、所望のスピーチ信号)である。したがって、第1の出力x(t)では、ビームフォーミング段211は、他の音源216および220からの信号so1およびsoNを抑制しながら、第1の音源218からの受信を強調するようにビームフォーミングを実行することができる。第2の出力x(t)では、較正段208および/または213および/またはビームフォーミング段211は、所望のスピーチ信号を抑制し、周囲ノイズ信号を強調するように空間ノッチフィルタ処理(spatial notch filtering)を実行することができる。
出力信号x(t)およびx(t)は、所望のスピーチ信号と周囲ノイズとを分離するために、ブラインド信号源分離段210を通過されることができる。独立成分分析(Independent Component Analysis:ICA)としても知られているブラインド信号源分離(BSS)は、これらの信号の複数の混合に基づいてソース信号を復元するために使用されることができる。信号分離プロセス中に、ソースサウンド信号so1とso2とsoNとの混合である限られた数の信号x(t)、x(t)のみが利用可能である。混合プロセスに関する従来の情報は、利用可能ではない。ソースサウンド信号の直接的な測定値は、利用可能ではない。一部または全部のソース信号so1、so2およびsoNの演繹的な統計情報が利用可能である場合がある。たとえば、ソース信号の1つは、ガウス分布されることができ、別のソース信号は、一様に分布されることができる。
ブラインド信号源分離段210は、ノイズが低減された第1のBSS信号
Figure 0005678023
およびスピーチが低減された第2のBSS信号s<(t)を与えることができる。その結果、第1のBSS信号s<(t)は、所望のスピーチ信号を搬送することができる。第1のBSS信号s<(t)は、送信機222によってその後送信される224とすることができる。
図3は、一例による、連続ビームフォーマおよびブラインド信号源分離段のブロック図である。較正およびビームフォーミングモジュール302は、2つ以上の入力信号s(t)、s(t)およびs(t)を事前調整し、次いで、ブラインド信号源分離モジュール304への入力として使用される、対応する出力信号x(t)、x(t)およびx(t)を与えるように構成されることができる。2つ以上の入力信号s(t)、s(t)およびs(t)は、互い相関されるか、または依存されることができる。ビームフォーミングを介した信号強調は、2つ以上の入力信号s(t)、s(t)およびs(t)が、独立ランダムプロセスとしてモデル化されることを必要としないことができる。入力信号s(t)、s(t)およびs(t)は、サンプリングされた離散時間信号とすることができる。
ビームフォーミング段原理
ビームフォーミングでは、入力信号s(t)は、出力信号x(t)を生成するために、空間と時間の両方において線形フィルタ処理されることができる。即ち、
Figure 0005678023
式中、k−1は、n個のマイクロホンチャネル入力の各々での遅延タップの数である。所望のソース信号がssource(t)(たとえば、図2中の第1の音源218からのソース信号so2)によって表される場合、ビームフォーマ重みw(p)は、ビームフォーマ出力x(t)が、所望のソース信号ssource(t)の推定値s<source(t)を与えるように選択されることができる。この現象は、一般に所望のソース信号ssource(t)の方向でのビームの形成と呼ばれる。
ビームフォーマは、概して、固定のビームフォーマおよび適応型ビームフォーマの2つのタイプに分類されることができる。固定のビームフォーマは、複数のマイクロホンから取得された空間時間サンプルを組み合わせるために固定のフィルタ重みを採用するデータ独立型ビームフォーマである。適応型ビームフォーマは、ビームフォーマのフィルタ重みを導出するために、入力信号の統計知識を採用するデータ従属型ビームフォーマである。
図4は、空間ビームフォーミングを実行するように構成されたビームフォーミングモジュールの一例のブロック図である。空間のみのビームフォーミングは、空間時間ビームフォーミング方法のサブセット(すなわち、固定のビームフォーマ)である。ビームフォーミングモジュール402は、複数の入力信号s(t),s(t),... s(t)を受信し、指向強調された1つまたは複数の出力信号
Figure 0005678023
を与えるように構成されることができる。トランスポーザ404は、複数の入力信号s(t),s(t),... s(t)を受信し、信号ベクトルs>(t)=[s(t),s(t),... s(t)]を取得するための転置演算を実行するものであり、式中、上付き文字Tは転置演算を示す。
次いで、信号ベクトルs>(t)は、関連する信号を強調することか、または不要な信号を抑制することのいずれかを行うように、空間重みベクトルによってフィルタ処理されることができる。空間重みベクトルは、他の方向からの信号を抑制しながら、特定の方向(たとえば、重みによって規定されたビームの方向)からキャプチャされた信号を強調する。
たとえば、空間ノイズフィルタ406は、信号ベクトルs>(t)を受信し、
x>(t)=w>s>(t) (式2)
となるような第1のビームフォーマ出力x>(t)を生成するために、n×1の第1の空間重みベクトルw>=[w,w,... wを適用することによってそれをフィルタ処理することができる。このビームフォーマは、所望の(サウンドまたはスピーチ)信号の信号強調を行うために、入力信号s(t),s(t),... s(t)の空間情報を利用することができる。
別の例では、ビームフォーミングモジュール402は、第2のビームフォーマ出力Z>(t)から所望の信号を抑制する空間ノッチフィルタ408を含むことができる。この場合、空間ノッチフィルタ408は、
v>w>=0 (式3)
となるように、第1の空間重みベクトルw>と直交する、第2のn×1空間重みベクトルv>=[v,v,..., vを使用することによって、所望の方向から来る信号を抑制する。所望の信号が最小限に抑えられた、第2のビームフォーマ出力z>(t)を生成するために、空間ノッチフィルタ408が入力信号ベクトルs>(t)に適用される。
z>(t)=z>s>(t) (式4)
第2のビームフォーマ出力z>(t)は、キャプチャされた入力信号中のバックグラウンドノイズの推定値を与えることができる。このようにして、第2のビームフォーマ出力z>(t)は、第1のビームフォーマ出力x>(t)に対して直交方向からのものとすることができる。
ビームフォーミングモジュール402によって提供される空間弁別機能は、伝搬する信号の波長に対して使用される2つ以上のマイクロホンの間隔に依存することができる。2つ以上のマイクロホン間の相対的な距離が増加するにつれて、ビームフォーミングモジュール402の指向性/空間弁別は一般に改善する。したがって、間隔が密なマイクロホンについて、ビームフォーミングモジュール402の指向性はより不十分であることがあり、信号強調または抑制を改善するために、さらに時間的な後処理が実行されることができる。ただし、ビームフォーミングモジュール402のそのようなパフォーマンスの限界にもかかわらず、後続のブラインド信号源分離段のパフォーマンスを改善することは、それでも出力信号x>(t)中とz>(t)中とで空間弁別を十分に行うことができる。図4のビームフォーミングモジュール402中の出力信号x>(t)およびz>(t)は、図3のビームフォーミングモジュール302または図2のビームフォーミング段211からの出力信号x(t)およびx(t)とすることができる。
ビームフォーミングモジュール302は、入力信号に対して様々な追加の前処理動作を実装することができる。いくつかの例では、2つのマイクロホンによってキャプチャされた信号間のサウンドレベル(たとえば、電力レベル、エネルギーレベル)にかなりの差があることがある。サウンドレベルのそのような差は、ビームフォーミングを実行することを困難にすることがある。したがって、1つの態様は、ビームフォーミングを実行することの一部として入力信号を較正することを提供することができる。入力信号のそのような較正は、ビームフォーミング段の前および/または後に実行されることができる(たとえば、図2、較正段208および213)。様々な実装形態では、(1つまたは複数の)前ブラインド信号源分離較正段は、振幅ベースおよび/または相互相関ベースの較正とすることができる。すなわち、振幅ベースの較正では、スピーチまたはサウンド入力信号の振幅は、互いと比較することによって較正される。相互相関ベースの較正では、スピーチまたはサウンド信号の相互相関は、互いと比較することによって較正される。
較正およびビームフォーミング−例1
図5は、2つ以上のマイクロホンからの入力信号を使用する較正およびビームフォーミングの第1の例を示すブロック図である。この実装形態では、第2の入力信号s(t)は、ビームフォーミングがビームフォーミングモジュール504によって実行される前に、較正モジュール502によって較正されることができる。較正プロセスは、s’(t)=c(t)・s(t)として公式化されることができる。較正ファクタc(t)は、s’(t)中の所望のスピーチのサウンドレベルが第1の入力信号s(t)のサウンドレベルに近接するように、第2の入力s(t)をスケーリングすることができる。
較正ファクタc(t)を取得することにおいて、図5の2つの入力信号s(t)とs(t)とを較正するために、様々な方法が使用されることができる。図6および図7は、較正ファクタc(t)を取得することに使用されることができる2つの方法を示している。
図6は、2つのマイクロホン信号に基づいてビームフォーミングを実装する前に、2つのマイクロホン信号を較正するために適用されることができる較正ファクタを取得するための第1の方法を示す流れ図である。較正ファクタc(t)は、第1の入力信号s(t)と第2の入力信号s(t)との短期スピーチエネルギー推定値からそれぞれ、取得されることができる。602で、第1の複数エネルギー期間または推定値Ps(t)(1...k)は、第1の入力信号s(t)のブロック用に取得されることができ、ここで、各ブロックは、第1の入力信号s(t)の複数のサンプルを含む。同様に、604で、第2の複数エネルギー期間または推定値Ps(t)(1...k)は、第2の入力信号s(t)のブロック用に取得されることができ、ここで、各ブロックは、第2の入力信号s(t)の複数のサンプルを含むことができる。たとえば、以下の式を使用して、エネルギー推定値Ps(t)およびPs(t)が信号サンプルのブロックから計算されることができる。即ち、
Figure 0005678023
第1の最大エネルギー推定値Qs(t)は、606で、第1の複数のエネルギー期間または推定値Ps(t)(1...k)を、たとえば、50ブロックまたは100ブロックのエネルギー期間にわたって探索することによって取得されることができる。同様に、第2の最大エネルギー推定値Qs(t)は、608で、第2の複数のエネルギー期間または推定値Ps(t)(1...k)を探索することによって取得されることができる。いくつかのブロックにわたってこれらの最大エネルギー推定値を計算することは、スピーチアクティビティ検出器を実装することなく、所望のスピーチのエネルギーを計算する、より単純な方法とすることができる。一例では、以下の式を使用して、第1の最大エネルギー推定値Qs(t)が計算されることができる。即ち、
Figure 0005678023
式中、tmaxは、最大エネルギー推定値Qs(t)で識別される信号ブロックに対応する。第2の最大エネルギー推定値Qs(t)は、同様に計算されることができる。あるいは、第2の最大エネルギー推定値Qs(t)は、tmax信号ブロックにおいて計算された第2のマイクロホン信号のエネルギー推定値として、Qs(t)=Ps(tmax)で計算されることもできる。第1および第2の最大エネルギー推定値Qs(t)およびQs(t)は、較正ファクタc(t)を計算する前に、610で、時間で平均化(平滑化)されることもできる。たとえば、指数平均化は、次のように実行されることができる。即ち、
Figure 0005678023
較正ファクタc(t)は、612で、第1および第2の最大エネルギー推定値Qs(t)およびQs(t)に基づいて取得されることができる。一例では、以下の式を使用して較正ファクタが取得されることができる。即ち、
Figure 0005678023
較正ファクタc(t)は、614で、較正推定値中の任意の過渡分をフィルタ除去するために、時間でさらに平滑化されることができる。次いで、較正ファクタc(t)は、616で、第1および第2の入力信号s(t)およびs(t)を使用するビームフォーミングを実行する前に、第2の入力信号s(t)に適用されることができる。あるいは、較正ファクタc(t)の逆数が計算されて時間で平滑化され、次いで、616で、第1および第2の入力信号s(t)およびs(t)を使用するビームフォーミングを実行する前に、第1の入力信号s1(t)に適用されることができる。
図7は、2つのマイクロホン信号に基づいてビームフォーミングを実装する前に、2つのマイクロホン信号を較正するために適用される較正ファクタを取得するための第2の方法を示す流れ図である。この第2の方法では、短期エネルギー推定値Ps(t)およびPs(t)の代わりに、2つの入力信号s(t)とs(t)との間の相互相関が使用されることができる。2つのマイクロホンが互いに近接して配置された場合、2つの入力信号中の所望のスピーチ(サウンド)信号は、互いと高度に相関することが予想されることができる。したがって、第1の入力信号s(t)と第2の入力信号s(t)との間の相互相関推定値Ps12(t)は、第2のマイクロホン信号s(t)中のサウンドレベルを較正するために取得されることができる。たとえば、702で、第1の入力信号s(t)について第1の複数のブロックが取得されることができるもので、ここで、各ブロックは、第1の入力信号s(t)の複数のサンプルを含む。同様に、704で、第2の入力信号s(t)について第2の複数のブロックが取得されることができ、ここで、各ブロックは、第2の入力信号s(t)の複数のサンプルを含む。706で、第1の入力信号s(t)と第2の入力信号s(t)との間の複数の相互相関推定値Ps12(t)(1...k)は、第1および第2の複数のブロックのうちの相互相関している対応するブロックによって取得されることができる。たとえば、以下の式を使用して、相互相関推定値Ps12(t)が計算されることができる。即ち、
Figure 0005678023
708で、第1の入力信号s(t)と第2の入力信号s(t)との間の最大相互相関推定値Qs12(t)は、複数の相互相関推定値Ps12(t)(1...k)を探索することによって取得されることができる。たとえば、以下を使用して、最大相互相関推定値Qs12(t)が取得されることができる。即ち、
Figure 0005678023
第2の最大エネルギー推定値Qs(t)は、712で、式(6)および式(7)を使用して、最大の第2のマイクロホンエネルギー推定値として計算されることができる。あるいは、第2の最大エネルギー推定値は、tmax信号ブロックにおいて計算された第2のマイクロホン信号のエネルギー推定値として、Qs(t)=Ps(tmax)で計算されることもできる。710で、最大相互相関推定値Qs12(t)および最大エネルギー推定値Qs(t)は、たとえば、以下の式を使用して、指数平均化を実行することによって平滑化されることができる。即ち、
Figure 0005678023
較正ファクタc(t)は、714で、たとえば、以下の式を使用して、最大相互相関推定値Qs12(t)と第2の最大エネルギー推定値Q~s(t)とに基づいて取得される。即ち、
Figure 0005678023
その結果、較正ファクタc(t)は、第1の入力信号s(t)と第2の入力信号s(t)との間の相互相関推定値と、第2の入力信号s(t)のエネルギー推定値と、の間の比に基づいて生成されることができる。次いで、較正ファクタc(t)は、較正された第2の入力信号を第1の入力信号s(t)に加算されることが次にできる較正された第2の入力信号s’(t)を取得するために、第2の入力信号s(t)に適用される。
再び図5を参照すると、較正の後の得られた第1および第2の出力信号x(t)およびx(t)は、
Figure 0005678023
となるように、ビームフォーミングモジュール504によって加算または減算されることができる。第1の出力信号x(t)は、所望の音源に向かってビームを形成する固定の空間ビームフォーマの出力と考えられることができる。第2の出力信号x(t)は、所望の音源方向でヌルを形成することによって所望のスピーチ信号を抑制する固定のノッチビームフォーマの出力と考えられることができる。
別の例では、較正ファクタc(t)は、第1の入力信号s(t)と第2の入力信号s(t)との間の相互相関推定値と、第1の入力信号s(t)のエネルギー推定値と、の比に基づいて生成されることができる。次いで、較正ファクタc(t)は、第1の入力信号s(t)に適用される。次いで、較正された第1の入力信号は、第2の入力信号s(t)から減算されることができる。
較正およびビームフォーミング−例2
図8は、2つ以上のマイクロホンからの入力信号を使用する較正およびビームフォーミングの第2の例を示すブロック図である。この実装形態では、(図5におけるような)第2の入力信号s(t)をスケーリングするために較正ファクタを使用する代わりに、較正ファクタc(t)は、ビームフォーミングの前に、入力信号s(t)とs(t)の両方を調整するために使用されることができる。この実装形態の場合の較正ファクタc(t)は、たとえば、図6および図7で説明されたのと同じ手順を使用して、較正モジュール802によって取得されることができる。較正ファクタc(t)が取得されると、ビームフォーミングモジュール804は、
Figure 0005678023
となるように、出力信号x(t)およびx(t)を生成することができるものであり、式中、第1の出力信号x(t)は、所望の音源に向かってビームを形成する固定の空間ビームフォーマの出力と考えられることができる。第2の出力信号x(t)は、所望の音源方向でヌルを形成することによって所望のスピーチ信号を抑制する固定のノッチビームフォーマの出力と考えられることができる。
一例では、較正ファクタc(t)は、第1の入力信号と第2の入力信号との間の相互相関と、第2の入力信号s(t)のエネルギー推定値と、に基づかれることができる。第2の入力信号s(t)は、較正ファクタc(t)で乗算され、第1の入力信号s(t)に加算されることができる。第1の入力信号s(t)は、較正ファクタc(t)で除算され、第1の入力信号s(t)から減算されることができる。
較正およびビームフォーミング−例3
図9は、2つ以上のマイクロホンからの入力信号を使用する較正およびビームフォーミングの第3の例を示すブロック図である。この実装形態は、適応フィルタ902を含むように、図5および図8に示す較正手順を一般化する。第2のマイクロホン信号s(t)は、適応フィルタ902の入力信号として使用されることができ、第1のマイクロホン信号s(t)は、基準信号として使用されることができる。適応フィルタ902は、重みw=[w(0)w(1)...w(N―1)]を含むことができるものであり、式中、Nは、適応フィルタ902の長さである。適応フィルタ処理プロセスは、
Figure 0005678023
のように表されることができる。適応フィルタ902は、様々なタイプの適応フィルタ処理アルゴリズムを使用して適合されることができる。たとえば、適応フィルタ902は、次のように最小平均二乗(Least-Mean-Square:LMS)タイプアルゴリズムを使用して適合されることができる。
=wi−1+2μx(t)s(t) (式23)
式中、μはステップサイズであり、
Figure 0005678023
は、式24に示されるような第2の入力信号ベクトルである。即ち、
Figure 0005678023
適応フィルタ902は、適応型ビームフォーマとして作動することができ、第2のマイクロホン入力信号s(t)中の所望のスピーチを抑制することができる。適応フィルタ長が1となるように選択された場合、この方法は、2つのマイクロホン信号間の相互相関が第2のマイクロホン信号を較正するために使用されることができる図7で説明された較正手法と等価になる。
ビームフォーミングモジュール904は、第1および第2の出力信号x(t)およびx(t)を取得するために、第1のマイクロホン信号s(t)とフィルタ処理された第2のマイクロホン信号s’(t)とを処理する。第2の出力信号x(t)は、所望の音源(スピーチソース)方向でヌルを形成することによって所望のスピーチ信号を抑制する固定のノッチビームフォーマの出力と考えられることができる。第1の出力信号x(t)は、所望の音源信号のビームフォーミングされた出力を取得するために、以下のように、フィルタ処理された第2のマイクロホン信号s’(t)を第1のマイクロホン信号s(t)に加算することによって取得されることができる。即ち、
(t)=s(t)+s’(t) (式25)
第1の出力信号x(t)は、x(t)におけるスピーチレベルをs(t)におけるスピーチレベルと同じに保持するために、0.5倍にスケーリングされることができる。したがって、第1の出力信号x(t)は、所望のスピーチ(サウンド)信号と周囲ノイズの両方を含み、第2の出力信号x(t)は、大部分は周囲ノイズと所望のスピーチ(サウンド)信号のいくつかとを含む。
較正およびビームフォーミング−例4
図10は、2つ以上のマイクロホンからの入力信号を使用する較正およびビームフォーミングの第4の例を示すブロック図である。この実装形態では、較正はビームフォーミングの前に実行されない。代わりに、最初に、ビームフォーミングが、
Figure 0005678023
のように、2つの入力信号s(t)およびs(t)を組み合わせるビームフォーミングモジュール1002によって実行される。ビームフォーミングの後、ビームフォーマの第2の出力信号x’(t)におけるノイズレベルは、第1の出力信号x(t)におけるノイズレベルよりもはるかに低くなることがある。したがって、較正モジュール1004は、ビームフォーマの第2の出力信号x’(t)におけるノイズレベルをスケーリングするために使用されることができる。較正モジュール1004は、ビームフォーマ出力信号x(t)およびx’(t)のノイズフロア推定値から較正ファクタc(t)を取得することができる。出力信号x(t)およびx’(t)の短期エネルギー推定値はそれぞれ、Px(t)およびPx’(t)によって示されることができ、対応するノイズフロア推定値は、Nx(t)およびNx’(t)によって示されることができる。ノイズフロア推定値Nx(t)およびNx’(t)は、短期エネルギー推定値Px(t)およびNx’(t)の最小値を、入力信号サンプルのいくつかの連続するブロック、すなわち、50ブロックまたは100ブロックにわたって見つけることによって取得されることができる。たとえば、ノイズフロア推定値Nx(t)およびNx’(t)はそれぞれ、式27および式28を使用して計算されることができる。即ち、
Figure 0005678023
ノイズフロア推定値Nx(t)およびNx’(t)は、不連続性を平滑化するために、時間で平均化されることができ、較正ファクタc(t)は、
Figure 0005678023
のように、平滑化されたノイズフロア推定値の比として計算されることができる。式中、Nx’(t)およびN’x’(t)は、平滑化されたノイズフロア推定値x(t)およびx’である。ビームフォーミングされた第2の出力信号x’(t)は、
x”(t)=c(t)x’(t) (式30)
となるように、最終のノイズ基準出力信号x”(t)を取得するために、較正ファクタc(t)によってスケーリングされる。
較正の後、適応フィルタ1006が適用されることができる。適応フィルタ1006は、適応フィルタ902(図9)に関して説明されるように実装されることができる。第1の出力信号x(t)は、適応フィルタ1006への入力信号として使用されることができ、較正された出力信号x”(t)は、基準信号として使用されることができる。適応フィルタ1006は、較正されたビームフォーマ出力信号x”(t)中の所望のスピーチ信号を抑制することができる。したがって、第1の出力信号x(t)は、所望のスピーチと周囲ノイズの両方を含むことができ、第2の出力信号x(t)は、大部分は周囲ノイズといくつかの所望のスピーチとを含むことができる。その結果、2つの出力信号x(t)およびx(t)は、すなわち、それらが高度に相関しないというBSSの不確定性を回避するための上述の仮定を満たすことができる。
図5〜図10に示す様々な例では、(1つまたは複数の)較正段は、スピーチまたはサウンド符号上で振幅ベースおよび/または相互相関ベースの較正を実装することができる。
ブラインド信号源分離段
再び図3を参照すると、ビームフォーミングモジュール302からの出力信号x(t)、x(t)およびx(t)は、ブラインド信号源分離モジュール304に渡されることができる。ブラインド信号源分離モジュール304は、ビームフォーマ出力信号x(t)、x(t)およびx(t)を処理することができる。信号x(t)、x(t)およびx(t)は、ソース信号の混合とすることができる。ブラインド信号源分離モジュール304は入力混合を分離し、ソース信号の推定値y(t)、y(t)およびy(t)を生成する。たとえば、わずか1つのソース信号が所望の信号とすることができる二重マイクロホンノイズ低減の場合、ブラインド信号源分離モジュール304は、所望のスピーチ信号(たとえば、図2の第1の音源信号so2)と周囲ノイズ(たとえば、図2のノイズso1およびsoN)とを無相関化する(decorrelate)ことができる。
ブラインド信号源分離−原理
ブラインド信号源分離または無相関化(decorrelation)では、入力信号は、独立ランダムプロセスとして扱われる。信号をブラインド分離するのに使用される仮定は、すべてのランダムプロセスが互いに統計的に独立である、すなわち、すべてのランダムプロセスS、SおよびSの同時確率分布Pは、すべて個々のランダムプロセスの積であるということである。この仮定は、
Figure 0005678023
のように公式化されることができるものであり、式中、
Figure 0005678023
は、すべてのランダムプロセスS,...,Sの同時分布(joint distribution)であり、
Figure 0005678023
は、j番目のランダムプロセスSの分布である。
一般に、ブラインド信号源分離は、2つのカテゴリ、瞬時BSSおよび畳み込みBSSに分類されることがある。瞬時BSSは、瞬時の行列混合としてモデル化されることができる混合入力信号s(t)を指し、
x(t)=As(t) (式32)
のように公式化されるものであり、式中、s(t)は、m×1ベクトルであり、x(t)は、n×1ベクトルであり、Aはn×mのスカラー行列である。分離プロセスでは、m×nスカラー行列Bは、s<(t)が任意の置換および任意のスケーリングまでs(t)に似るように、信号s<(t)=Bx(t)=BAs(t)を再構成するために、計算され、使用される。すなわち、行列BAは、PDに分解されることができるものであり、ここで、行列Pは置換行列であり、行列Dは対角行列である。置換行列は、同じ次元の単位行列を置換することによって導出される行列である。対角行列は、その対角線上に0でないエントリのみを有する行列である。対角行列Dが単位行列でなければならないわけでないことに留意されたい。すべてのm個の音源が互いに独立している場合、行列Dの対角線上に0エントリがあってはならないべきである。一般に、n≧m、すなわち、マイクロホンの数nが音源の数m以上であることが、完全な信号分離のために望ましい。
実際問題として、瞬時の混合を使用してモデル化されることができる課題はほとんどない。信号は、典型的に、マイクロホンまたはオーディオセンサによってキャプチャされる前に、非理想的なチャネルを通って進む。したがって、畳み込みBSSは、入力信号をより良くモデル化するために使用されることができる。
図11は、複数の混合入力信号からソース信号を復元する畳み込みブラインド信号源分離の動作を示すブロック図である。ソース信号s(t)1102およびs(t)1104は、それらが混合されるチャネルを通過することができる。混合信号は、入力信号s’(t)およびs’(t)としてマイクロホンによってキャプチャされ、信号x(t)およびx(t)としてブラインド信号源分離段1108を通過するより前に、事前調整(たとえば、ビームフォーミング)されることができる前処理段1106を通過されることができる。
入力信号s’(t)およびs’(t)は、元の信号源信号s(t)1102およびs(t)1104と、音源から1つまたは複数のマイクロホンへのチャネル伝達関数と、入力の混合とに基づいてモデル化されることができる。たとえば、混合入力信号s’(t)が、
Figure 0005678023
のようにモデル化されることができる畳み込みBSSが使用されることがではるものであり、式中、s(t)は、j番目の音源発の信号源信号であり、s’(t)は、i番目のマイクロホンによってキャプチャされた入力信号であり、hij(t)は、j番目の音源とi番目のマイクロホンとの間の伝達関数であり、シンボル
Figure 0005678023
は畳み込み操作を示す。一方、畳み込みBSSの場合、n≧m、すなわち、マイクロホンの数nが音源の数m以上である場合、完全な分離が達成されることができる。
図11では、伝達関数h11(t)およびh12(t)は、第1の信号源から第1および第2のマイクロホンへのチャネル伝達関数を表す。同様に、伝達関数h21(t)およびh22(t)は、第2の信号源から第1および第2のマイクロホンへのチャネル伝達関数を表す。信号は、ブラインド信号源分離段1108に渡すより前に、前処理段1106(ビームフォーミング)を通過する。次いで、(第1および第2のマイクロホンによってキャプチャされるような)混合入力信号s’(t)およびs’(t)は、信号x(t)およびx(t)を取得するために、ビームフォーミング前処理段1106を通過する。
次いで、ブラインド信号源分離は、元のソース信号s(t)に対応する推定値s<(t)を分離または抽出するために、混合信号x(t)に適用されることができる。これを達成するために、フィルタのセットWji(z)は、信号混合を逆転させるために、ブラインド信号源分離段1108において使用されることができる。便宜のために、ブラインド信号源分離は、Z変換領域で表される。この例で、X(z)はx(t)のZ領域バージョンであり、X(z)はx(t)のZ領域バージョンである。
信号X(z)およびX(z)は、
Figure 0005678023
となるように、(時間領域でs(t)に等価である)元のソース信号S(z)の推定値S<(z)を取得するために、フィルタWji(z)に従って変更される。信号推定値S<(z)は、任意の置換および任意の畳み込みまで元の信号S(z)に近似することができる。混合伝達関数hij(t)がZ領域で表される場合、全体的なシステムの伝達関数は、
W(z)H(z)=PD(z) (式35)
のように公式化することができるものであり、式中、Pは置換行列であり、D(z)は対角伝達関数行列である。D(z)の対角線上の要素は、(瞬時BSSで表される)スカラーではなく伝達関数である。
ブラインド信号源分離段−無相関化
再び図3を参照すると、元の入力信号s(t)およびs(t)が高度に相関することでもあるので、第2の出力x(t)の信号レベルは、ビームフォーミングモジュール302の後では低くなることができる。これは、ブラインド信号源分離モジュール304の収束レートを低減することがある。ブラインド信号源分離モジュール304の収束レートを最大にするために、第2の較正は、ブラインド信号源分離の前に使用されることができる。図12は、ビームフォーミング前処理段の後であるが、ブラインド信号源分離段1204の前に信号がどのように較正されることができるかの第1の例を示すブロック図である。信号x(t)およびx(t)を較正モジュール1202への入力として与えられることができる。この例で、信号x(t)は、
x~(t)=c(t)・x(t) (式36)
のように、スカラーc(t)によってスケーリングされる。
スカラーc(t)は、信号x(t)およびx(t)に基づいて判断されることができる。たとえば、較正ファクタは、図10および式27、式28および式29に示されるようなx(t)およびx(t)のノイズフロア推定値を使用して計算されることができる。
較正の後、x(t)における所望のスピーチ信号は、x~(t)における所望のスピーチ信号よりはるかに強い。そして、ブラインド信号源分離アルゴリズムが使用されたとき、不確定性を回避することが可能である。実際問題として、ブラインド信号源分離アルゴリズムの別の一般的な問題である信号スケーリングを回避することができるブラインド信号源分離アルゴリズムを使用することが望ましい。
図13は、ブラインド信号源分離より前に信号較正を実装する代替方式を示すブロック図である。図8に示された較正プロセスと同様に、較正モジュール1302は、信号x(t)をスケーリングするためにそれを使用する代わりに、ブラインド信号源分離モジュール1304の適合(たとえば、アルゴリズム、重み、ファクタなど)を変化、構成、または変更するために、第2のスケーリングファクタc(t)を生成する。
ブラインド信号源分離−後処理
再び図3を参照すると、ブラインド信号源分離モジュール304によって出力される1つまたは複数のソース信号推定値y(t)、y(t)およびy(t)は、出力信号s<(t),s<(t)およびs<(t)を与える後処理モジュール308によってさらに処理されることができる。後処理モジュール308は、所望のスピーチ信号推定値の信号対雑音比(SNR)をさらに改善するために追加されることができる。いくつかの場合では、事前調整較正およびビームフォーミングモジュール302が周囲ノイズの良好な推定値を生成した場合、ブラインド信号源分離モジュール304はバイパスされ、後処理モジュール308単独で、所望のスピーチ信号の推定値を生成することができる。同様に、後処理モジュール308は、ブラインド信号源分離モジュール304が所望のスピーチ信号の良好な推定値を生成した場合、バイパスされることができる。
信号分離プロセスの後、信号y(t)およびy(t)が与えられる。信号y(t)は、主に所望の信号といくぶん減衰した周囲ノイズとを含むことができる。信号y(t)は、スピーチ基準信号と呼ばれることがある。周囲ノイズの低減は、ノイズの環境および特性に応じて異なる。信号y(t)は、主に周囲ノイズを含むことができ、そこでは、所望の信号は低減されている。それはまた、ノイズ基準信号とも呼ばれる。
較正およびビームフォーミングモジュール302およびブラインド信号源分離モジュール304の様々な実装形態に従って、ノイズ基準信号中の所望のスピーチ信号は、大部分は除去された。したがって、後処理モジュール308は、スピーチ基準信号からノイズを除去することに集中することができる。
図14は、所望のスピーチ基準信号からノイズを低減するために使用される後処理モジュールの動作の例を示すブロック図である。非因果的適応フィルタ1402は、スピーチ基準信号y(t)中のノイズをさらに低減するために使用されることができる。ノイズ基準信号y(t)は、適応フィルタ1402への入力として使用されることができる。遅延信号y(t)は、適応フィルタ1402への基準として使用されることができる。適応フィルタP(z)1402は、最小平均二乗(Least Means Square:LMS)タイプ適応フィルタまたは任意の他の適応フィルタを使用して適合させられることができる。その結果、後処理モジュールは、低減されたノイズとともに所望のスピーチ基準信号を含む出力信号s<(t)を与えることができることがある。
より一般的な意味で、後処理モジュール308は、図2の後処理段215に示すように、出力信号y(t)およびy(t)上でノイズ較正を実行することができる。
例示的な方法
図15は、一例によるブラインド信号源分離を強調する方法を示す流れ図である。1502で、第1のマイクロホンに関連付けられた第1の入力信号および第2のマイクロホンに関連付けられた第2の入力信号が受信されるか、または取得されることができる。1504で、第1および第2の入力信号は、指向性を第1および第2の入力信号に与え、対応する第1および第2の出力信号を取得するために、第1および第2の入力信号を較正して、ビームフォーミング技法を適用することによって、前処理されることができる。すなわち、このビームフォーミング技法は、ビームフォーミング技法の中でも、図4、図5、図6、図7、図8、図9および/または図10に示された技法を含むことができる。たとえば、2つのマイクロホンシステムにおいて、ビームフォーミング技法は、所望の方向からのサウンド信号をビームフォーマの第1の出力信号中で増幅し、所望の方向からのサウンド信号をビームフォーマの第2の出力信号中で抑制するように、第1および第2の出力信号を生成する。
一例では、ビームフォーミング技法は、(たとえば、図9に示されるように)第2の入力信号に適応フィルタを適用すること、第2の入力信号から第1の入力信号を減算すること、および/またはフィルタ処理された第2の入力信号を第1の入力信号に加算すること、を含むことができる。
別の例では、ビームフォーミング技法は、(たとえば図5および図6に示されるように)第1の入力信号と第2の入力信号とのエネルギー推定値の比に基づいて較正ファクタを生成することと、較正ファクタを第1の入力信号または第2の入力信号のいずれか1つに適用することと、を含むことができる。
代替的に、別の例では、ビームフォーミング技法は、(たとえば図5、図7および図8に示されるように)第1の入力信号と第2の入力信号との間の相互相関推定値と、第2の入力信号のエネルギー推定値との比に基づいて較正ファクタを生成することと、較正ファクタを第1の入力信号または第2の入力信号のうちの少なくともいずれか1つに適用することと、を含むことができる。
さらに別の例では、ビームフォーミング技法は、(a)変更された第1の信号を取得するために、第2の入力信号を第1の入力信号に加算すること、(b)変更された第2の信号を取得するために、第2の入力信号から第1の入力信号を減算すること、(c)変更された第1の信号の第1のノイズフロア推定値を取得すること、(d)変更された第2の信号の第2のノイズフロア推定値を取得すること、(e)第1のノイズフロア推定値と第2のノイズフロア推定値との比に基づいて較正ファクタを生成すること、(f)較正ファクタを変更された第2の信号に適用すること、および/または(g)対応する第1および第2の出力信号を取得するために、(たとえば図10に示されるように)変更された第1の信号に適応フィルタを適用し、変更された第2の信号から、フィルタ処理された変更された第1の信号を減算すること、を含むことができる。
次いで、1506で、ブラインド信号源分離(BSS)技法は、第1のBSS信号と第2のBSS信号とを生成するために、前処理された第1の出力信号と前処理された第2の出力信号とに適用されることができる。一例では、前較正は、ブラインド信号源分離技法を適用するより前に、出力信号の1つまたは複数上で、(a)第1および第2の出力信号に基づいて較正ファクタを取得することと、(b)(たとえば図12に示されるように)第1および第2の出力信号にブラインド信号源分離技法を適用するより前に、第1および第2の出力信号のうちの少なくとも1つを較正することとによって、実行されることができる。別の例では、ブラインド信号源分離技法を適用するより前に実行される前較正は、(a)第1および第2の出力信号に基づいて較正ファクタを取得することと、(b)(たとえば図13に示されるように)較正ファクタに基づいてブラインド信号源分離技法の動作を変更することと、を含む。
1508で、第1および第2の入力信号、第1および第2の出力信号、または第1および第2のBSS信号のうちの少なくとも1つは、随意に較正されることができる。たとえば、第1の較正(たとえば、図2の前処理段較正208)は、振幅ベースの較正または相互相関ベースの較正のいずれかとして、第1および第2の入力信号のうちの少なくとも1つに適用されることができる。さらに、第2の較正(たとえば、図2の中間処理段較正213)は、振幅ベースの較正または相互相関ベースの較正のいずれかとして、ビームフォーミング段からの第1および第2の出力信号のうちの少なくとも1つに適用されることができる。
さらに、第3の較正(たとえば、図2の後処理段較正215)は、ノイズベースの較正としてブラインド信号源分離段からの第1および第2のBSS信号のうちの少なくとも1つに適用されることができる。たとえば、1508で、適応フィルタは、第1のBSS信号中のノイズを低減するために第1のBSS信号に(後処理段較正中に)適用されることができ、ここで、第2のBSS信号は、適応フィルタへの入力として使用される。後処理段較正の一例では、適応フィルタは、(たとえば図14に示されるように)第1のBSS信号中のノイズを低減するために第1のBSS信号に適用され、ここで、第2のBSS信号は、適応フィルタへの入力として使用される。
さらに別の構成によれば、モバイルデバイス中の回路は、第1のマイクロホンに関連付けられた第1の入力信号を受信するように適合されることができる。同じ回路、異なる回路、あるいは同じまたは異なる回路の第2の部分は、第2のマイクロホンに関連付けられた第2の入力信号を受信するように適合されることができる。さらに、同じ回路、異なる回路、あるいは同じまたは異なる回路の第3の部分は、指向性を第1および第2の入力信号に与えて、対応する第1および第2の出力信号を取得するために、第1および第2の入力信号にビームフォーミング技法を適用するように適合されることができる。第1および第2の入力信号を取得するように適合された回路の部分は、第1および第2の入力信号にビームフォーミングを適用する(1つまたは複数の)回路の部分に直接または間接的に結合されることができ、または、同じ回路とすることができる。同じまたは異なる回路の第4の部分は、第1のBSS信号および第2のBSS信号を生成するために、ブラインド信号源分離(BSS)技法を第1の出力信号と第2の出力信号とに適用するように適合されることができる。随意に、同じまたは異なる回路の第5の部分は、第1および第2の入力信号、第1および第2の出力信号、または第1および第2のBSS信号のうちの少なくとも1つを較正するように適合されることができる。ビームフォーミング技法は、第1の入力信号と第2の入力信号とに異なる指向性を適用することができ、異なる指向性は、他の方向からの(たとえば、直交方向または反対の方向からの)サウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する。当業者は、一般に、本開示で説明される処理の大部分は、同様の形態で実装されることができることを認識されよう。(1つまたは複数の)回路または回路部分のいずれも、1つまたは複数のプロセッサをもつ集積回路の一部として、単独で、または組合せで実装されることができる。回路の1つまたは複数は、集積回路、アドバンスRISCマシン(Advance RISC Machine:ARM)プロセッサ、デジタル信号プロセッサ(DSP)、汎用プロセッサ上などに実装されることができる。
図1、図2、図3、図4、図5、図6、図7、図8、図9、図10、図11、図12、図13、図14および/または図15に示されたコンポーネント、ステップ、および/または機能のうちの1つまたは複数は、単一のコンポーネント、ステップ、または機能に再構成され、および/または組み合わされることができ、あるいは、複数のコンポーネント、ステップ、または機能で実施されることができる。追加の要素、コンポーネント、ステップ、および/または機能が追加されることもできる。図1、図2、図3、図4、図5、図6、図7、図8、図9、図10、図11、図12、図13および/または図14に示された装置、デバイス、および/またはコンポーネントは、図6、図7および/または図15に記載された方法、特徴、またはステップの1つまたは複数を実行するように構成されることができる。本明細書に記載された新規のアルゴリズムは、ソフトウェアおよび/または組込みハードウェアで効率的に実施されることができる。
当業者は、さらに、本明細書で開示された構成に関連して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されることができることを諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップは、上記では概して、それらの機能に関して説明された。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。
本明細書で説明された様々な特徴は、様々なシステムで実装されることができる。たとえば、ビームフォーミング段およびブラインド信号源分離段は、単一の回路またはモジュール中に、別々の回路またはモジュール上で実装され、1つまたは複数のプロセッサによって実行され、機械可読またはコンピュータ可読媒体中に組み込まれたコンピュータ可読命令によって実行され、および/またはハンドヘルドデバイス、モバイルコンピュータおよび/または移動電話中で実施されることができる。
上記の構成は例にすぎず、特許請求の範囲を限定するものと解釈されるべきではないことに留意されたい。構成についての説明は、例示的なものであり、特許請求の範囲の範囲を限定するものではない。したがって、本教示は、他のタイプの装置、ならびに多くの代替形態、修正形態、および変更形態に容易に適用されることができることが当業者には明らかであろう。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(1) 第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号とを受信することと、
前記第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号にビームフォーミング技法を適用することと、
第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記第1の出力信号と第2の出力信号とにBSS技法を適用することと、
前記第1および第2の入力信号、前記第1および第2の出力信号、または前記第1および第2のBSS信号、のうちの少なくとも1つを較正することと、
を備える方法。
(2) 前記ビームフォーミング技法は、前記第1および第2の入力信号に空間フィルタを適用することによって、前記第1および第2の入力信号に指向性を与える、(1)に記載の方法。
(3) 前記第1および第2の入力信号に空間フィルタを適用することは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する、(2)に記載の方法。
(4) 前記第1および第2の入力信号に空間フィルタを適用することは、前記得られた第1の出力信号中の所望のスピーチ信号を増幅し、前記第2の出力信号中の前記所望のスピーチ信号を減衰させる、(2)に記載の方法。
(5) 前記第1および第2の入力信号のうちの少なくとも1つを較正することは、前記第2の入力信号に適応フィルタを適用することを備え、前記ビームフォーミング技法を適用することは、前記第2の入力信号から前記第1の入力信号を減算することを含む、(1)に記載の方法。
(6) 前記ビームフォーミング技法を適用することは、前記フィルタ処理された第2の入力信号を前記第1の入力信号に加算することをさらに備える、(5)に記載の方法。
(7) 前記第1および第2の入力信号のうちの少なくとも1つを較正することは、
前記第1の入力信号と前記第2の入力信号とのエネルギー推定値の比に基づいて較正ファクタを生成することと、
前記較正ファクタを前記第1の入力信号または前記第2の入力信号のうちの少なくともいずれか1つに適用することと、
をさらに備える、(1)に記載の方法。
(8) 前記第1および第2の入力信号のうちの少なくとも1つを較正することは、
前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第2の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成することと、
前記較正ファクタを前記第2の入力信号に適用することと、
をさらに備える、(1)に記載の方法。
(9) 前記第1および第2の入力信号のうちの少なくとも1つを較正することは、
前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第1の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成することと、
前記較正ファクタを前記第1の入力信号に適用することと、
をさらに備える、(1)に記載の方法。
(10) 前記第1および第2の入力信号のうちの少なくとも1つを較正することは、
前記第1の入力信号と前記第2の入力信号との間の相互相関と、前記第2の入力信号のエネルギー推定値と、に基づいて、較正ファクタを生成することと、
前記第2の入力信号に前記較正ファクタを乗算することと、
前記第1の入力信号を前記較正ファクタで除算することと、
をさらに備える、(1)に記載の方法。
(11) 前記第1および第2の入力信号に前記ビームフォーミング技法を適用することは、
変更された第1の信号を取得するために、前記第2の入力信号を前記第1の入力信号に加算することと、
変更された第2の信号を取得するために、前記第2の入力信号から前記第1の入力信号を減算することと、
をさらに備える、(1)に記載の方法。
(12) 前記第1および第2の入力信号のうちの少なくとも1つを較正することは、
前記変更された第1の信号の第1のノイズフロア推定値を取得することと、
前記変更された第2の信号の第2のノイズフロア推定値を取得することと、
前記第1のノイズフロア推定値と前記第2のノイズフロア推定値との比に基づいて較正ファクタを生成することと、
前記較正ファクタを前記変更された第2の信号に適用することと、
をさらに備える、(11)に記載の方法。
(13) 前記変更された第1の信号に適応フィルタを適用し、前記変更された第2の信号から前記フィルタ処理された変更された第1の信号を減算すること、
をさらに備える、(12)に記載の方法。
(14) 前記第1および第2の出力信号に基づいて較正ファクタを取得することと、
前記第1および第2の出力信号に前記ブラインド信号源分離技法を適用するより前に、前記第1および第2の出力信号のうちの少なくとも1つを較正することと、
をさらに備える、(1)に記載の方法。
(15) 前記第1および第2の出力信号に基づいて較正ファクタを取得することと、
前記較正ファクタに基づいて前記ブラインド信号源分離技法の前記動作を変更することと、
をさらに備える、(1)に記載の方法。
(16) 前記第1のBSS信号中のノイズを低減するために、前記第1のBSS信号に適応フィルタを適用することをさらに備え、ここで、前記第2のBSS信号は前記適応フィルタへの入力として使用される、
(1)に記載の方法。
(17) 前記第1および第2の入力信号のうちの少なくとも1つを較正することは、振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを適用することを含む、(1)に記載の方法。
(18) 前記第1および第2の出力信号のうちの少なくとも1つを較正することは、振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを適用することを含む、(1)に記載の方法。
(19) 前記第1および第2のBSS信号のうちの少なくとも1つを較正することは、ノイズベースの較正を適用することを含む、(1)に記載の方法。
(20) 第1の入力信号を取得するように構成された第1のマイクロホンと、
第2の入力信号を取得するように構成された第2のマイクロホンと、
対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号に対してビームフォーミングを実行するように構成された較正モジュールと、
第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記第1の出力信号と前記第2の出力信号とにBSS技法を実行するように構成されたブラインド信号源分離モジュールと、
前記第1および第2の入力信号、前記第1および第2の出力信号、または前記第1および第2のBSS信号、のうちの少なくとも1つを較正するように構成された少なくとも1つの較正モジュールと、
を備える通信デバイス。
(21) 前記ビームフォーミングモジュールは、前記第1および第2の入力信号に空間フィルタを適用することによってビームフォーミングを実行するものであって、ここで、前記第1および第2の入力信号に空間フィルタを適用することは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する、(20)に記載の通信デバイス。
(22) 前記第1の入力信号と前記第2の入力信号とに空間フィルタを適用することは、前記第1の出力信号中の所望のスピーチ信号を増幅し、前記第2の出力信号中の前記所望のスピーチ信号を減衰させる、(21)に記載の通信デバイス。
(23) 前記第1および第2の入力信号に対してビームフォーミングを実行することであって、前記ビームフォーミングモジュールは、
前記第2の入力信号に適応フィルタを適用し、
前記第2の入力信号から前記第1の入力信号を減算し、
前記フィルタ処理された第2の入力信号を前記第1の入力信号に加算する
ようにさらに構成される、(20)に記載の通信デバイス。
(24) 前記第1および第2の入力信号のうちの少なくとも1つを較正することであって、前記較正モジュールは、
前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第2の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成し、
前記較正ファクタを前記第2の入力信号に適用する、
ようにさらに構成される、(20)に記載の通信デバイス。
(25) 前記第1および第2の入力信号のうちの少なくとも1つを較正することであって、前記較正モジュールは、
前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第1の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成し、
前記較正ファクタを前記第1の入力信号に適用する、
ようにさらに構成される、(20)に記載の通信デバイス。
(26) 前記第1および第2の入力信号のうちの少なくとも1つを較正することであって、前記較正モジュールは、
第1の入力信号と第2の入力信号との間の相互相関と、前記第2の入力信号のエネルギー推定値と、に基づいて、較正ファクタを生成し、
前記第2の入力信号に前記較正ファクタを乗算し、
前記第1の入力信号を前記較正ファクタで除算する、
ようにさらに構成される、(20)に記載の通信デバイス。
(27) 前記第1および第2の入力信号に対してビームフォーミングを実行することであって、前記ビームフォーミングモジュールは、
変更された第1の信号を取得するために、前記第2の入力信号を前記第1の入力信号に加算し、
変更された第2の信号を取得するために、前記第2の入力信号から前記第1の入力信号を減算し、
前記変更された第1の信号の第1のノイズフロア推定値を取得し、
前記変更された第2の信号の第2のノイズフロア推定値を取得する、
ようにさらに構成され、
前記較正モジュールは、
前記第1のノイズフロア推定値と前記第2のノイズフロア推定値との比に基づいて較正ファクタを生成し、
前記較正ファクタを前記変更された第2の信号に適用する、
ようにさらに構成される、(20)に記載の通信デバイス。
(28) 前記第1のBSS信号中のノイズを低減するために、前記第1のBSS信号に適応フィルタを適用するように構成された後処理モジュールをさらに備え、ここで、前記第2のBSS信号は前記適応フィルタへの入力として使用される、
(20)に記載の通信デバイス。
(29) 前記少なくとも1つの較正モジュールは、振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを、前記第1および第2の入力信号に適用するように構成された第1の較正モジュールを含む、(20)に記載の通信デバイス。
(30) 前記少なくとも1つの較正モジュールは、振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを、前記第1および第2の出力信号に適用するように構成された第2の較正モジュールを含む、(20)に記載の通信デバイス。
(31) 前記少なくとも1つの較正モジュールは、ノイズベースの較正を前記第1および第2のBSS信号に適用するように構成された第3の較正モジュールを含む、(20)に記載の通信デバイス。
(32) 第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号と、を受信するための手段と、
前記第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号にビームフォーミング技法を適用するための手段と、
第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記第1の出力信号と第2の出力信号とにBSS技法を適用するための手段と、
前記第1および第2の入力信号、前記第1および第2の出力信号、または前記第1および第2のBSS信号、のうちの少なくとも1つを較正するための手段と、
を備える通信デバイス。
(33) 前記第1のBSS信号中のノイズを低減するために、前記第1のBSS信号に適応フィルタを適用するための手段をさらに備え、ここで、前記第2のBSS信号は前記適応フィルタへの入力として使用される、
(32)に記載の通信デバイス。
(34) 前記第2の入力信号に適応フィルタを適用するための手段と、
前記第2の入力信号から前記第1の入力信号を減算するための手段と、
前記フィルタ処理された第2の入力信号を前記第1の入力信号に加算するための手段と、
をさらに備える、(32)に記載の通信デバイス。
(35) 前記第1および第2の出力信号に基づいて較正ファクタを取得するための手段と、
前記第1および第2の出力信号にブラインド信号源分離技法を適用するより前に、前記第1および第2の出力信号のうちの少なくとも1つを較正するための手段と、
をさらに備える、(32)に記載の通信デバイス。
(36) 前記第1および第2の出力信号に基づいて較正ファクタを取得するための手段と、
前記較正ファクタに基づいて前記ブラインド信号源分離技法の前記動作を変更するための手段と、
をさらに備える、(32)に記載の通信デバイス。
(37) 2つ以上の信号のブラインド信号源分離を強調するための回路であって、前記回路が、
第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号と、を受信し、
前記第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号にビームフォーミング技法を適用し、
第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記第1の出力信号と前記第2の出力信号とにBSS技法を適用し、
前記第1および第2の入力信号、前記第1および第2の出力信号、または前記第1および第2のBSS信号、のうちの少なくとも1つを較正する、
ように適合された回路。
(38) 前記ビームフォーミング技法は、前記第1の入力信号と前記第2の入力信号とに空間フィルタ処理を適用し、前記空間フィルタは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する、(37)に記載の回路。
(39) 前記回路は、集積回路である、(37)に記載の回路。
(40) 2つ以上の信号のブラインド信号源分離を強調するための命令を備えるコンピュータ可読媒体であって、プロセッサによって実行されるときに、
第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号と、を取得することと、
前記第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号にビームフォーミング技法を適用することと、
第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記前処理された第1の信号と前処理された第2の信号とにBSS技法を適用することと、
前記第1および第2の入力信号、前記第1および第2の出力信号、または前記第1および第2のBSS信号、のうちの少なくとも1つを較正することと、
を前記プロセッサに行わせるコンピュータ可読媒体。

Claims (25)

  1. 第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号とを受信することと、
    前記第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号にビームフォーミング技法を適用することと、
    第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記第1の出力信号と第2の出力信号とにBSS技法を適用することと、
    前記ビームフォーミング技法を適用することの前の、前記第1および第2の入力信号を較正することと、
    を備え
    前記第1および第2の入力信号を較正することは、
    (1)前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第2の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成すること、及び、前記較正ファクタを前記第2の入力信号に適用することと、
    (2)前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第1の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成すること、及び、前記較正ファクタを前記第1の入力信号に適用することと、
    (3)前記第1の入力信号と前記第2の入力信号との間の相互相関と、前記第2の入力信号のエネルギー推定値と、に基づいて、較正ファクタを生成すること、前記第2の入力信号に前記較正ファクタを乗算すること、及び、前記第1の入力信号を前記較正ファクタで除算することと、
    の何れかをさらに備える、方法。
  2. 前記ビームフォーミング技法は、前記第1および第2の入力信号に空間フィルタを適用することによって、前記第1および第2の入力信号に指向性を与える、請求項1に記載の方法。
  3. 前記第1および第2の入力信号に空間フィルタを適用することは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する、請求項2に記載の方法。
  4. 前記第1および第2の入力信号に空間フィルタを適用することは、前記第1の出力信号中の所望のスピーチ信号を増幅し、前記第2の出力信号中の前記所望のスピーチ信号を減衰させる、請求項2に記載の方法。
  5. 前記第1および第2の入力信号に前記ビームフォーミング技法を適用することは、
    変更された第1の信号を取得するために、前記第2の入力信号を前記第1の入力信号に加算することと、
    変更された第2の信号を取得するために、前記第2の入力信号から前記第1の入力信号を減算することと、
    をさらに備える、請求項1に記載の方法。
  6. 前記第1および第2の入力信号を較正することは、
    前記変更された第1の信号の第1のノイズフロア推定値を取得することと、
    前記変更された第2の信号の第2のノイズフロア推定値を取得することと、
    前記第1のノイズフロア推定値と前記第2のノイズフロア推定値との比に基づいて較正ファクタを生成することと、
    前記較正ファクタを前記変更された第2の信号に適用することと、
    をさらに備える、請求項に記載の方法。
  7. 前記変更された第1の信号に適応フィルタを適用し、前記変更された第2の信号から前記フィルタ処理された変更された第1の信号を減算すること、
    をさらに備える、請求項に記載の方法。
  8. 前記第1および第2の出力信号に基づいて較正ファクタを取得することと、
    前記第1および第2の出力信号に前記ブラインド信号源分離技法を適用するより前に、前記第1および第2の出力信号のうちの少なくとも1つを較正することと、
    をさらに備える、請求項1に記載の方法。
  9. 前記第1および第2の出力信号に基づいて較正ファクタを取得することと、
    前記較正ファクタに基づいて前記ブラインド信号源分離技法の動作を変更することと、
    をさらに備える、請求項1に記載の方法。
  10. 前記第1のBSS信号中のノイズを低減するために、前記第1のBSS信号に適応フィルタを適用することをさらに備え、ここで、前記第2のBSS信号は前記適応フィルタへの入力として使用される、
    請求項1に記載の方法。
  11. 前記第1および第2の出力信号を較正することは、振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを適用することを含む、請求項1に記載の方法。
  12. 第1の入力信号を取得するように構成された第1のマイクロホンと、
    第2の入力信号を取得するように構成された第2のマイクロホンと、
    対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号に対してビームフォーミングを実行するように構成されたビームフォーミングモジュールと、
    第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記第1の出力信号と前記第2の出力信号とにBSS技法を実行するように構成されたブラインド信号源分離モジュールと、
    ビームフォーミング技法を適用することの前の、前記第1および第2の入力信号を較正するように構成された少なくとも1つの較正モジュールと、
    を備え
    前記較正モジュールは、
    (1)前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第2の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成し、及び、前記較正ファクタを前記第2の入力信号に適用することと、
    (2)前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第1の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成し、及び、前記較正ファクタを前記第1の入力信号に適用することと、
    (3)第1の入力信号と第2の入力信号との間の相互相関と、前記第2の入力信号のエネルギー推定値と、に基づいて、較正ファクタを生成し、前記第2の入力信号に前記較正ファクタを乗算し、及び、前記第1の入力信号を前記較正ファクタで除算することと、
    の何れかを行うようにさらに構成される、通信デバイス。
  13. 前記ビームフォーミングモジュールは、前記第1および第2の入力信号に空間フィルタを適用することによってビームフォーミングを実行するものであって、ここで、前記第1および第2の入力信号に空間フィルタを適用することは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する、請求項12に記載の通信デバイス。
  14. 前記第1の入力信号と前記第2の入力信号とに空間フィルタを適用することは、前記第1の出力信号中の所望のスピーチ信号を増幅し、前記第2の出力信号中の前記所望のスピーチ信号を減衰させる、請求項13に記載の通信デバイス。
  15. 前記第1および第2の入力信号に対してビームフォーミングを実行することであって、前記ビームフォーミングモジュールは、
    変更された第1の信号を取得するために、前記第2の入力信号を前記第1の入力信号に加算し、
    変更された第2の信号を取得するために、前記第2の入力信号から前記第1の入力信号を減算し、
    前記変更された第1の信号の第1のノイズフロア推定値を取得し、
    前記変更された第2の信号の第2のノイズフロア推定値を取得する、
    ようにさらに構成され、
    前記較正モジュールは、
    前記第1のノイズフロア推定値と前記第2のノイズフロア推定値との比に基づいて較正ファクタを生成し、
    前記較正ファクタを前記変更された第2の信号に適用する、
    ようにさらに構成される、請求項12に記載の通信デバイス。
  16. 前記第1のBSS信号中のノイズを低減するために、前記第1のBSS信号に適応フィルタを適用するように構成された後処理モジュールをさらに備え、ここで、前記第2のBSS信号は前記適応フィルタへの入力として使用される、
    請求項12に記載の通信デバイス。
  17. 前記少なくとも1つの較正モジュールは、振幅ベースの較正または相互相関ベースの較正のうちの少なくとも1つを、前記第1および第2の出力信号に適用するように構成された第2の較正モジュールを含む、請求項12に記載の通信デバイス。
  18. 第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号と、を受信するための手段と、
    前記第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号にビームフォーミング技法を適用するための手段と、
    第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記第1の出力信号と第2の出力信号とにBSS技法を適用するための手段と、
    前記ビームフォーミング技法を適用することの前の、前記第1および第2の入力信号を較正するための手段と、
    を備え
    前記第1および第2の入力信号を較正するための手段は、
    (1)前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第2の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成し、及び、前記較正ファクタを前記第2の入力信号に適用するための手段と、
    (2)前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第1の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成し、及び、前記較正ファクタを前記第1の入力信号に適用するための手段と、
    (3)前記第1の入力信号と前記第2の入力信号との間の相互相関と、前記第2の入力信号のエネルギー推定値と、に基づいて、較正ファクタを生成し、前記第2の入力信号に前記較正ファクタを乗算し、及び、前記第1の入力信号を前記較正ファクタで除算するための手段と、
    の何れかをさらに備える、通信デバイス。
  19. 前記第1のBSS信号中のノイズを低減するために、前記第1のBSS信号に適応フィルタを適用するための手段をさらに備え、ここで、前記第2のBSS信号は前記適応フィルタへの入力として使用される、
    請求項18に記載の通信デバイス。
  20. 前記第1および第2の出力信号に基づいて較正ファクタを取得するための手段と、
    前記第1および第2の出力信号にブラインド信号源分離技法を適用するより前に、前記第1および第2の出力信号のうちの少なくとも1つを較正するための手段と、
    をさらに備える、請求項18に記載の通信デバイス。
  21. 前記第1および第2の出力信号に基づいて較正ファクタを取得するための手段と、
    前記較正ファクタに基づいて前記ブラインド信号源分離技法の動作を変更するための手段と、
    をさらに備える、請求項18に記載の通信デバイス。
  22. 2つ以上の信号のブラインド信号源分離を強調するための回路であって、前記回路が、
    第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号と、を受信し、
    前記第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号にビームフォーミング技法を適用し、
    第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前記第1の出力信号と前記第2の出力信号とにBSS技法を適用し、
    前記ビームフォーミング技法を適用することの前の、前記第1および第2の入力信号を較正する、
    ように適合され
    前記第1および第2の入力信号を較正するように適合された回路は、
    (1)前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第2の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成すること、及び、前記較正ファクタを前記第2の入力信号に適用することと、
    (2)前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第1の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成すること、及び、前記較正ファクタを前記第1の入力信号に適用することと、
    (3)前記第1の入力信号と前記第2の入力信号との間の相互相関と、前記第2の入力信号のエネルギー推定値と、に基づいて、較正ファクタを生成すること、前記第2の入力信号に前記較正ファクタを乗算すること、及び、前記第1の入力信号を前記較正ファクタで除算することと、
    の何れかを行うようにさらに適合された、回路
  23. 前記ビームフォーミング技法は、前記第1の入力信号と前記第2の入力信号とに空間フィルタ処理を適用し、前記空間フィルタは、他の方向からのサウンド信号を減衰させながら、第1の方向からのサウンド信号を増幅する、請求項22に記載の回路。
  24. 前記回路は、集積回路である、請求項22に記載の回路。
  25. 2つ以上の信号のブラインド信号源分離を強調するためのプログラムを記録したコンピュータ可読記録媒体であって、前記プログラムは、
    コンピュータに、第1のマイクロホンに関連付けられた第1の入力信号と、第2のマイクロホンに関連付けられた第2の入力信号と、を取得させるためのコードと、
    前記コンピュータに、前記第1および第2の入力信号に指向性を与え、対応する第1および第2の出力信号を取得するために、前記第1および第2の入力信号にビームフォーミング技法を適用させるためのコードと、
    前記コンピュータに、第1のブラインド信号源分離(BSS)信号と第2のBSS信号とを生成するために、前処理された第1の信号と前処理された第2の信号とにBSS技法を適用させるためのコードと、
    前記コンピュータに、前記ビームフォーミング技法を適用させることの前の、前記第1および第2の入力信号を較正させるためのコードと、
    を備え
    前記コンピュータに前記第1および第2の入力信号を較正させるためのコードは、
    (1)前記コンピュータに、前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第2の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成させ、及び、前記較正ファクタを前記第2の入力信号に適用させるためのコードと、
    (2)前記コンピュータに、前記第1の入力信号と前記第2の入力信号との間の相互相関推定値と、前記第1の入力信号のエネルギー推定値と、の比に基づいて、較正ファクタを生成させ、及び、前記較正ファクタを前記第1の入力信号に適用させるためのコードと、
    (3)前記コンピュータに、前記第1の入力信号と前記第2の入力信号との間の相互相関と、前記第2の入力信号のエネルギー推定値と、に基づいて、較正ファクタを生成させ、前記第2の入力信号に前記較正ファクタを乗算させ、及び、前記第1の入力信号を前記較正ファクタで除算させるためのコードと、
    の何れかをさらに備える、コンピュータ可読記録媒体。
JP2012245596A 2008-01-29 2012-11-07 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム Expired - Fee Related JP5678023B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/022,037 US8223988B2 (en) 2008-01-29 2008-01-29 Enhanced blind source separation algorithm for highly correlated mixtures
US12/022,037 2008-01-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010545157A Division JP2011511321A (ja) 2008-01-29 2009-01-29 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム

Publications (2)

Publication Number Publication Date
JP2013070395A JP2013070395A (ja) 2013-04-18
JP5678023B2 true JP5678023B2 (ja) 2015-02-25

Family

ID=40673297

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010545157A Pending JP2011511321A (ja) 2008-01-29 2009-01-29 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム
JP2012245596A Expired - Fee Related JP5678023B2 (ja) 2008-01-29 2012-11-07 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010545157A Pending JP2011511321A (ja) 2008-01-29 2009-01-29 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム

Country Status (6)

Country Link
US (1) US8223988B2 (ja)
EP (1) EP2245861B1 (ja)
JP (2) JP2011511321A (ja)
KR (2) KR20100113146A (ja)
CN (2) CN106887239A (ja)
WO (1) WO2009097413A1 (ja)

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8954324B2 (en) * 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
WO2009076523A1 (en) 2007-12-11 2009-06-18 Andrea Electronics Corporation Adaptive filtering in a sensor array system
US9392360B2 (en) 2007-12-11 2016-07-12 Andrea Electronics Corporation Steerable sensor array system with video input
US8150054B2 (en) * 2007-12-11 2012-04-03 Andrea Electronics Corporation Adaptive filter in a sensor array system
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8812309B2 (en) * 2008-03-18 2014-08-19 Qualcomm Incorporated Methods and apparatus for suppressing ambient noise using multiple audio signals
US9113240B2 (en) * 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
US8184816B2 (en) 2008-03-18 2012-05-22 Qualcomm Incorporated Systems and methods for detecting wind noise using multiple audio sources
US8731211B2 (en) * 2008-06-13 2014-05-20 Aliphcom Calibrated dual omnidirectional microphone array (DOMA)
KR101178801B1 (ko) * 2008-12-09 2012-08-31 한국전자통신연구원 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR101233271B1 (ko) * 2008-12-12 2013-02-14 신호준 신호 분리 방법, 상기 신호 분리 방법을 이용한 통신 시스템 및 음성인식시스템
KR20100111499A (ko) * 2009-04-07 2010-10-15 삼성전자주식회사 목적음 추출 장치 및 방법
JP5493611B2 (ja) * 2009-09-09 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9384757B2 (en) * 2009-10-01 2016-07-05 Nec Corporation Signal processing method, signal processing apparatus, and signal processing program
DE112010004682T5 (de) 2009-12-04 2013-03-28 Masimo Corporation Kalibrierung für mehrstufige physiologische Monitore
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US8583428B2 (en) * 2010-06-15 2013-11-12 Microsoft Corporation Sound source separation using spatial filtering and regularization phases
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
CN102447993A (zh) * 2010-09-30 2012-05-09 Nxp股份有限公司 声音场景操纵
US8682006B1 (en) * 2010-10-20 2014-03-25 Audience, Inc. Noise suppression based on null coherence
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
CN102164328B (zh) * 2010-12-29 2013-12-11 中国科学院声学研究所 一种用于家庭环境的基于传声器阵列的音频输入系统
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
JP5662276B2 (ja) * 2011-08-05 2015-01-28 株式会社東芝 音響信号処理装置および音響信号処理方法
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
TWI473077B (zh) * 2012-05-15 2015-02-11 Univ Nat Central 盲訊號分離系統
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20140031790A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 잡음 환경에서 강인한 음성 구간 검출 방법 및 장치
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
CZ304330B6 (cs) * 2012-11-23 2014-03-05 Technická univerzita v Liberci Způsob potlačení šumu a zvýraznění řečového signálu pro mobilní telefon se dvěma nebo více mikrofony
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9257952B2 (en) 2013-03-13 2016-02-09 Kopin Corporation Apparatuses and methods for multi-channel signal compression during desired voice activity detection
US10306389B2 (en) 2013-03-13 2019-05-28 Kopin Corporation Head wearable acoustic system with noise canceling microphone geometry apparatuses and methods
US9633670B2 (en) * 2013-03-13 2017-04-25 Kopin Corporation Dual stage noise reduction architecture for desired signal extraction
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN104244153A (zh) * 2013-06-20 2014-12-24 上海耐普微电子有限公司 超低噪音高振幅音频捕获的数字麦克风
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
CN103903631B (zh) * 2014-03-28 2017-10-03 哈尔滨工程大学 基于变步长自然梯度算法的语音信号盲分离方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
CN106716526B (zh) * 2014-09-05 2021-04-13 交互数字麦迪逊专利控股公司 用于增强声源的方法和装置
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9953661B2 (en) * 2014-09-26 2018-04-24 Cirrus Logic Inc. Neural network voice activity detection employing running range normalization
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9456276B1 (en) * 2014-09-30 2016-09-27 Amazon Technologies, Inc. Parameter selection for audio beamforming
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
CN104637494A (zh) * 2015-02-02 2015-05-20 哈尔滨工程大学 基于盲源分离的双话筒移动设备语音信号增强方法
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
EP3278575B1 (en) * 2015-04-02 2021-06-02 Sivantos Pte. Ltd. Hearing apparatus
CN106297820A (zh) 2015-05-14 2017-01-04 杜比实验室特许公司 具有基于迭代加权的源方向确定的音频源分离
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US20190147852A1 (en) * 2015-07-26 2019-05-16 Vocalzoom Systems Ltd. Signal processing and source separation
US10079031B2 (en) * 2015-09-23 2018-09-18 Marvell World Trade Ltd. Residual noise suppression
US11631421B2 (en) 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11234072B2 (en) 2016-02-18 2022-01-25 Dolby Laboratories Licensing Corporation Processing of microphone signals for spatial playback
US11120814B2 (en) 2016-02-19 2021-09-14 Dolby Laboratories Licensing Corporation Multi-microphone signal enhancement
WO2017143105A1 (en) 2016-02-19 2017-08-24 Dolby Laboratories Licensing Corporation Multi-microphone signal enhancement
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10701483B2 (en) 2017-01-03 2020-06-30 Dolby Laboratories Licensing Corporation Sound leveling in multi-channel sound capture system
WO2018129086A1 (en) * 2017-01-03 2018-07-12 Dolby Laboratories Licensing Corporation Sound leveling in multi-channel sound capture system
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CN107025465A (zh) * 2017-04-22 2017-08-08 黑龙江科技大学 光缆传输煤矿井下求救信号重构方法和装置
JP2018191145A (ja) * 2017-05-08 2018-11-29 オリンパス株式会社 収音装置、収音方法、収音プログラム及びディクテーション方法
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
GB2562518A (en) * 2017-05-18 2018-11-21 Nokia Technologies Oy Spatial audio processing
EP3682651B1 (en) * 2017-09-12 2023-11-08 Whisper.ai, LLC Low latency audio enhancement
WO2019084214A1 (en) 2017-10-24 2019-05-02 Whisper.Ai, Inc. AUDIO SEPARATION AND RECOMBINATION FOR INTELLIGIBILITY AND COMFORT
US10839822B2 (en) * 2017-11-06 2020-11-17 Microsoft Technology Licensing, Llc Multi-channel speech separation
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
CN108198569B (zh) * 2017-12-28 2021-07-16 北京搜狗科技发展有限公司 一种音频处理方法、装置、设备及可读存储介质
CN109994120A (zh) * 2017-12-29 2019-07-09 福州瑞芯微电子股份有限公司 基于双麦的语音增强方法、系统、音箱及存储介质
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10957337B2 (en) 2018-04-11 2021-03-23 Microsoft Technology Licensing, Llc Multi-microphone speech separation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
DE102018220722A1 (de) * 2018-10-31 2020-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von komprimierten Daten
US11277685B1 (en) * 2018-11-05 2022-03-15 Amazon Technologies, Inc. Cascaded adaptive interference cancellation algorithms
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US12014710B2 (en) 2019-01-14 2024-06-18 Sony Group Corporation Device, method and computer program for blind source separation and remixing
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11170760B2 (en) * 2019-06-21 2021-11-09 Robert Bosch Gmbh Detecting speech activity in real-time in audio signal
CN110675892B (zh) * 2019-09-24 2022-04-05 北京地平线机器人技术研发有限公司 多位置语音分离方法和装置、存储介质、电子设备
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN111863012B (zh) * 2020-07-31 2024-07-16 北京小米松果电子有限公司 一种音频信号处理方法、装置、终端及存储介质
CN112151036B (zh) * 2020-09-16 2021-07-30 科大讯飞(苏州)科技有限公司 基于多拾音场景的防串音方法、装置以及设备
CN113077808B (zh) * 2021-03-22 2024-04-26 北京搜狗科技发展有限公司 一种语音处理方法、装置和用于语音处理的装置
CN113362847B (zh) * 2021-05-26 2024-09-24 北京小米移动软件有限公司 音频信号处理方法及装置、存储介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IE61863B1 (en) 1988-03-11 1994-11-30 British Telecomm Voice activity detection
US5276779A (en) * 1991-04-01 1994-01-04 Eastman Kodak Company Method for the reproduction of color images based on viewer adaption
IL101556A (en) 1992-04-10 1996-08-04 Univ Ramot Multi-channel signal separation using cross-polyspectra
US5825671A (en) 1994-03-16 1998-10-20 U.S. Philips Corporation Signal-source characterization system
SE502888C2 (sv) * 1994-06-14 1996-02-12 Volvo Ab Adaptiv mikrofonanordning och förfarande för adaptering till en inkommande målbrussignal
JP2758846B2 (ja) 1995-02-27 1998-05-28 埼玉日本電気株式会社 ノイズキャンセラ装置
US5694474A (en) 1995-09-18 1997-12-02 Interval Research Corporation Adaptive filter for signal processing and method therefor
FI100840B (fi) 1995-12-12 1998-02-27 Nokia Mobile Phones Ltd Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin
US5774849A (en) 1996-01-22 1998-06-30 Rockwell International Corporation Method and apparatus for generating frame voicing decisions of an incoming speech signal
JP3505085B2 (ja) 1998-04-14 2004-03-08 アルパイン株式会社 オーディオ装置
US6526148B1 (en) 1999-05-18 2003-02-25 Siemens Corporate Research, Inc. Device and method for demixing signal mixtures using fast blind source separation technique based on delay and attenuation compensation, and for selecting channels for the demixed signals
US6694020B1 (en) 1999-09-14 2004-02-17 Agere Systems, Inc. Frequency domain stereophonic acoustic echo canceller utilizing non-linear transformations
US6424960B1 (en) 1999-10-14 2002-07-23 The Salk Institute For Biological Studies Unsupervised adaptation and classification of multiple classes and sources in blind signal separation
US6778966B2 (en) 1999-11-29 2004-08-17 Syfx Segmented mapping converter system and method
WO2001095666A2 (en) 2000-06-05 2001-12-13 Nanyang Technological University Adaptive directional noise cancelling microphone system
US20030179888A1 (en) 2002-03-05 2003-09-25 Burnett Gregory C. Voice activity detection (VAD) devices and methods for use with noise suppression systems
KR100394840B1 (ko) 2000-11-30 2003-08-19 한국과학기술원 독립 성분 분석을 이용한 능동 잡음 제거방법
US7941313B2 (en) 2001-05-17 2011-05-10 Qualcomm Incorporated System and method for transmitting speech activity information ahead of speech features in a distributed voice recognition system
JP3364487B2 (ja) 2001-06-25 2003-01-08 隆義 山本 複合音声データの音声分離方法、発言者特定方法、複合音声データの音声分離装置、発言者特定装置、コンピュータプログラム、及び、記録媒体
GB0204548D0 (en) 2002-02-27 2002-04-10 Qinetiq Ltd Blind signal separation
US6904146B2 (en) 2002-05-03 2005-06-07 Acoustic Technology, Inc. Full duplex echo cancelling circuit
JP3682032B2 (ja) 2002-05-13 2005-08-10 株式会社ダイマジック オーディオ装置並びにその再生用プログラム
US7082204B2 (en) 2002-07-15 2006-07-25 Sony Ericsson Mobile Communications Ab Electronic devices, methods of operating the same, and computer program products for detecting noise in a signal based on a combination of spatial correlation and time correlation
US7359504B1 (en) 2002-12-03 2008-04-15 Plantronics, Inc. Method and apparatus for reducing echo and noise
EP1570464A4 (en) 2002-12-11 2006-01-18 Softmax Inc SYSTEM AND METHOD FOR LANGUAGE PROCESSING USING AN INDEPENDENT COMPONENT ANALYSIS UNDER STABILITY RESTRICTIONS
JP2004274683A (ja) 2003-03-12 2004-09-30 Matsushita Electric Ind Co Ltd エコーキャンセル装置、エコーキャンセル方法、プログラムおよび記録媒体
JP3949150B2 (ja) 2003-09-02 2007-07-25 日本電信電話株式会社 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
GB0321722D0 (en) 2003-09-16 2003-10-15 Mitel Networks Corp A method for optimal microphone array design under uniform acoustic coupling constraints
SG119199A1 (en) 2003-09-30 2006-02-28 Stmicroelectronics Asia Pacfic Voice activity detector
JP2005227512A (ja) 2004-02-12 2005-08-25 Yamaha Motor Co Ltd 音信号処理方法及びその装置、音声認識装置並びにプログラム
DE102004049347A1 (de) 2004-10-08 2006-04-20 Micronas Gmbh Schaltungsanordnung bzw. Verfahren für Sprache enthaltende Audiosignale
US7925504B2 (en) * 2005-01-20 2011-04-12 Nec Corporation System, method, device, and program for removing one or more signals incoming from one or more directions
WO2006131959A1 (ja) 2005-06-06 2006-12-14 Saga University 信号分離装置
US7464029B2 (en) 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
JP4556875B2 (ja) 2006-01-18 2010-10-06 ソニー株式会社 音声信号分離装置及び方法
US7970564B2 (en) * 2006-05-02 2011-06-28 Qualcomm Incorporated Enhancement techniques for blind source separation (BSS)
US7817808B2 (en) 2007-07-19 2010-10-19 Alon Konchitsky Dual adaptive structure for speech enhancement
US8046219B2 (en) * 2007-10-18 2011-10-25 Motorola Mobility, Inc. Robust two microphone noise suppression system

Also Published As

Publication number Publication date
KR20100113146A (ko) 2010-10-20
JP2013070395A (ja) 2013-04-18
EP2245861B1 (en) 2017-03-22
WO2009097413A1 (en) 2009-08-06
US20090190774A1 (en) 2009-07-30
CN106887239A (zh) 2017-06-23
CN101904182A (zh) 2010-12-01
EP2245861A1 (en) 2010-11-03
KR20130035990A (ko) 2013-04-09
US8223988B2 (en) 2012-07-17
JP2011511321A (ja) 2011-04-07

Similar Documents

Publication Publication Date Title
JP5678023B2 (ja) 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム
CN110085248B (zh) 个人通信中降噪和回波消除时的噪声估计
EP2237271B1 (en) Method for determining a signal component for reducing noise in an input signal
EP3542547B1 (en) Adaptive beamforming
US7386135B2 (en) Cardioid beam with a desired null based acoustic devices, systems and methods
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
US8229129B2 (en) Method, medium, and apparatus for extracting target sound from mixed sound
US8374358B2 (en) Method for determining a noise reference signal for noise compensation and/or noise reduction
EP1855457B1 (en) Multi channel echo compensation using a decorrelation stage
US20150371659A1 (en) Post Tone Suppression for Speech Enhancement
US20140355752A1 (en) Echo cancellation
US10276181B2 (en) System and method for addressing acoustic signal reverberation
JP2009049998A (ja) ビームフォーミングおよびポストフィルタリングの組み合わせによる雑音低減
KR101182017B1 (ko) 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치
TWI465121B (zh) 利用全方向麥克風改善通話的系統及方法
KR102517939B1 (ko) 원거리 장 사운드 캡처링
US20190035382A1 (en) Adaptive post filtering
US9729967B2 (en) Feedback canceling system and method
WO2015049921A1 (ja) 信号処理装置、メディア装置、信号処理方法および信号処理プログラム
Ngo et al. Variable speech distortion weighted multichannel wiener filter based on soft output voice activity detection for noise reduction in hearing aids
JP2021150959A (ja) 聴覚装置および聴覚装置に関連する方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131114

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131213

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150105

R150 Certificate of patent or registration of utility model

Ref document number: 5678023

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees