JP5855571B2

JP5855571B2 - オーディオズーム

Info

Publication number: JP5855571B2
Application number: JP2012542167A
Authority: JP
Inventors: アヴェンダノ，カーロス; ソルバッハ，ルドガー
Original assignee: オーディエンス，インコーポレイテッド
Priority date: 2009-12-02
Filing date: 2010-12-01
Publication date: 2016-02-09
Anticipated expiration: 2030-12-01
Also published as: JP2013513306A; KR20120101457A; TW201143475A; WO2011068901A1; US20110129095A1; US9210503B2; US8903721B1; FI20125600L

Description

本発明は概してオーディオ処理に関し、より具体的にはオーディオ信号のノイズ抑制処理に関する。

ビデオと画像における共通の機能は「ズーム」機能である。ビデオズームでは、製品のユーザは、画面の小さい部分をフルサイズ画像として見るか、「後に下がって」現在の画像の広い部分を見る。

現在、オーディオ信号内に複数のソースを含むオーディオソースには、「ズーム」メカニズムはない。ユーザはオーディオ信号の音量を大きくできるが、これでは受信信号内の異なる音源方向間の差異化にならない。オーディオ信号に対してオーディオズーム機能が必要である。

本技術により、ビデオ録画、通信アプリケーション、及びビデオポストプロダクションプロセス用の、ビデオズーム機能のオーディオ版が得られる。オーディオズームはビデオズーム機能と共に行っても、独立に行ってもよい。オーディオズームは、信号の残響効果の制御により、信号のゲインの制御により、及びフォーカスするオーディオ成分に向かう有向ビームの幅と方向の制御により、実現できる。オーディオズームは、特定方向をユーザが選択するなど、ユーザ入力に応じて行われ、又はその時の環境その他の要因に基づき自動的に行われる。オーディオズームを行う一実施形態では、デバイス上のマイクロホンにより音響信号を受け取る。各音響信号は、環境中の空間的ソースに関連している。環境内の空間的エリアのインジケーションを受け取る。音響信号成分のエネルギーを低減する。音響信号成分は、空間的エリア外にあるソースに関連している。音響信号成分に関連する残響レベルを調整する。音響信号成分は、インジケーションに基づく空間的エリア内にあるソースに関連していてもよい。

オーディオズームを行うシステムの一実施形態は、メモリと、ビームフォーマモジュールと、残響モジュールとを含む。ビームフォーマモジュールは、メモリに記憶され、プロセッサにより実行され、ズームインするオーディオソースに関連する空間的エリア内のオーディオソースと関連するサブバンド信号を特定する。残響モジュールは、メモリに記憶され、プロセッサにより実行され、サブバンド信号の少なくとも一部をキャンセルする。

また、プロセッサにより実行されると、オーディオズームを行う方法を実行するプログラムを記憶するコンピュータ読み取り可能記憶媒体を実施してもよい。

本技術を利用できる環境の一例を示すブロック図である。オーディオデバイスの一例を示すブロック図である。オーディオ処理システムの一例を示すブロック図である。ビーム形成モジュールの一例を示すブロック図である。オーディオズームを実行する方法の一例を示すフローチャートである。音響信号成分をエンハンスする方法の一例を示すフローチャートである。乗法マスクを生成する方法の一例を示すフローチャートである。

本技術により、ビデオ録画、通信アプリケーション、及びビデオポストプロダクションプロセス用の、ビデオズーム機能のオーディオ版が得られる。オーディオズームはビデオズーム機能と共に行っても、独立に行ってもよい。オーディオズームは、信号の残響効果の制御により、信号のゲインの制御により、及びフォーカスするオーディオ成分に向かう有向ビームの幅と方向の制御により、実現できる。オーディオズームは、特定方向をユーザが選択するなど、ユーザ入力に応じて行われ、又はその時の環境その他の要因に基づき自動的に行われる。

図１は、本技術を利用できる環境１００の一例を示すブロック図である。図示した環境１００は、オーディオデバイス１０４と、オーディオソース１１２、１１４、１１６とを含み、すべては壁１３２、１３４を有する環境内にある。

モバイルデバイス１０４のユーザは、環境１００内の複数のオーディオソースのうちあるオーディオソースにフォーカスすなわち「ズーム」することを選択できる。環境１００は、オーディオソース１１２、１１４、１１６を含み、これらはオーディオデバイス１０４に向かう方向も含む他方向オーディオのオーディオを提供する。また、オーディオソース１１２、１１６やその他のオーディオソースからの反射により、環境の壁１３２、１３４により反射されるオーディオが得られ、オーディオデバイス１０４に向かう。例えば、反射１２８は、オーディオソース１１２により発生され壁１３２で反射されたオーディオ信号の反射であり、反射１２９は、オーディオソース１１６により発生され壁１３４で反射されたオーディオ信号の反射であり、両方ともオーディオデバイス１０４に向かって進む。

本技術によりユーザは「ズーム」するエリアを選択できる。あるエリアにオーディオズームをすることにより、本技術によりそのエリア内が音源となっているオーディオ信号を検出して、その信号をそのエリア外の音源からの信号に対してエンハンス（enhance）する。そのエリアは、図１のビーム例１４０などのビームを用いて画定できる。図１において、ビーム１４０はオーディオソース１１４を含むエリアを含む。オーディオソース１１２、１１４はビームエリア外にある。そのため、本技術では、オーディオソース１１４により供給されるオーディオ信号を強調すなわち「ズーム」し、オーディオソース１１２、１１６により供給されるオーディオは強調しない。これには、反射１２８、１２９などの環境１００により提供される反射もすべて含む。

オーディオデバイス１０４の主マイクロホン１０６と補助マイクロホン１０８は、全方向マイクロホンであり得る。別の実施形態では、指向性マイクロホンなどの、他の形式のマイクロホンや音響センサを利用することもできる。

マイクロホン１０６と１０８は、オーディオソース１０２からサウンド（すなわち、音響信号）を受け取るが、ノイズ１１２も拾う。ノイズ１１０は、図１では、信号があるところから来るように示したが、オーディオソース１０２とは異なるところからのサウンドも含み、残響やエコーを含んでいてもよい。ノイズ１１０は静的なものでもよく、非静的なものでもよく、静的なものと非静的なものの組み合わせでもよい。

ある実施形態では、２つのマイクロホン１０６と１０８とが受け取る音響信号の間のレベル差（例えば、エネルギー差）を利用する。クローズトーク利用の場合、主マイクロホン１０６は副マイクロホン１０８よりオーディオソース１０２に近いので、主マイクロホン１０６の強度レベルの方が高く、例えばスピーチ／ボイスセグメントにおいて主マイクロホン１０６により受け取られるエネルギーレベルの方が高くなる。

レベル差を用いて時間・周波数領域においてスピーチ（speech）とノイズとを区別する。別の実施形態では、エネルギーレベル差と時間遅れとの組み合わせを用いて、スピーチを区別する。バイノーラル・キュー符号化に基づき、スピーチ信号抽出やスピーチエンハンスメントを行える。

図２は、オーディオデバイスの一例を示すブロック図である。ある実施形態では、図２のオーディオデバイスは、図１に示したオーディオデバイス１０４をより詳細に示すものである。

図示した実施形態では、オーディオデバイス２００は、レシーバ２１０と、プロセッサ２２０と、主マイクロホン１０６と、任意的な補助マイクロホン１０８と、オーディオ処理システム２３０と、出力デバイス２４０とを含む。オーディオデバイス１０４は、オーディオデバイス１０４の動作に必要な、その他のコンポーネントを含んでいてもよい。同様に、オーディオデバイス１０４は、図２に示したコンポーネントと同等又は同じ機能を実行する、より少ないコンポーネントを含んでいてもよい。

プロセッサ２２０は、オーディオデバイス１０４中のメモリ（図２には図示せず）に記憶された命令とモジュールを実行して、音響信号のノイズリダクションを含む、ここに説明する機能を実行する。プロセッサ２２０は、処理ユニットとして実施されるハードウェアとソフトウェアを含み、これは浮動小数点演算とプロセッサ２２０のその他の演算を処理できる。

レシーバ２１０の一例は、通信ネットワークから信号を受信するように構成された音響センサである。ある実施形態では、レシーバ２１０はアンテナデバイスを含んでもよい。信号は、次に、オーディオ処理システム２３０に転送され、ここに説明する技術を用いてノイズリダクションされ、出力デバイス２４０に供給される。本技術は、オーディオデバイス１０４の送信パスと受信パスの一方又は両方で用いることができる。

オーディオ処理システム２３０は、主マイクロホン１０６と補助マイクロホン１０８とを介して、音響ソースから音響信号を受け取り、その音響信号を処理するように構成されている。処理には音響信号におけるノイズリダクションの実行が含まれる。オーディオ処理システム２３０は後でより詳しく説明する。主マイクロホン１０６と補助マイクロホン１０８は、エネルギーレベル差、時間差、又は位相差を検出できるようにするため、離間していてもよい。主マイクロホン１０６と補助マイクロホン１０８とにより受け取られた音響信号は、電気信号（すなわち、主電気信号と補助電気信号）に変換される。ある実施形態では、電気信号は、アナログ・ツー・デジタル・コンバータ（図示せず）によりデジタル信号に変換され、処理される。明確化のために音響信号を差別化する目的で、ここでは主マイクロホン１０６により受け取られる音響信号を主音響信号と呼び、一方、補助マイクロホン１０８により受け取られる音響信号を補助音響信号と呼ぶ。主音響信号と補助音響信号はオーディオ処理システム２３０により処理し、信号対雑音比が改善された信号を生成する。留意点として、ここに説明する技術の実施形態は、主マイクロホン１０６のみを利用して実施できる。

出力デバイス２４０はユーザにオーディオ出力を提供する任意のデバイスである。例えば、出力デバイス２４０は、スピーカ、ヘッドセットやハンドセットのイヤピース、又は会議デバイスのスピーカであってもよい。

いろいろな実施形態では、主マイクロホンと補助マイクロホンが、（例えば、１−２ｃｍだけ隔てて）近くに配置された無指向性マイクロホンである場合、ビームフォーミング法を用いて、前向き方向のマイクロホンと後ろ向き方向のマイクロホンとをシミュレーションしてもよい。レベル差を用いて時間・周波数領域においてスピーチ（speech）とノイズとを区別できる。これはノイズリダクションで用いることができる。

図３は、オーディオ処理システムの一例を示すブロック図である。図３のブロック図は、図２のブロック図のオーディオ処理システムモジュール２３０をより詳細に示している。オーディオ処理システム２３０は、ＦＣＴモジュール３０２、３０４と、ビームフォーマ３１０と、乗法ゲインエクスパンションモジュール３２０と、残響モジュール３３０と、ミキサモジュール３４０と、ズーム制御部３５０とを含む。

ＦＣＴモジュール３０２と３０４は、オーディオデバイスマイクロホンから音響信号を受け取り、その音響信号を周波数レンジサブバンド信号に変換する。ＦＣＴモジュール３０２と３０４は、受け取った各マイクロホン信号のサブバンド信号を生成するモジュールとして実施してもよい。ＦＣＴモジュール３０２と３０４は、オーディオデバイス１０４に含まれる各マイクロホンから音響信号を受け取れる。受け取ったこれらの信号を信号Ｘ１−Ｘｉとして示した。ここでＸ１は主マイクロホン信号であり、Ｘｉはその他のマイクロホン信号を表す。図３のオーディオ処理システム２３０は、フレームごと、サブバンドごとにオーディオズームを行う。

ビームフォーマモジュール３１０は、周波数サブバンド信号及びズーム表示信号を受け取る。ズーム表示はズーム制御モジュール３５０から受け取る。ズームインジケータ信号Ｋにより伝えられるズームインジケーションは、ユーザ入力に応じて、オーディオデバイス１０４により受け取られる主マイクロホン信号又はその他の音響信号の分析に応じて、ビデオズーム機能の選択に応じて、又はその他のデータに応じて生成される。動作中、ビームフォーマ３１０は、サブバンド信号を受け取り、そのサブバンド信号を処理してどの信号がエンハンス（すなわち「ズーム」）するエリア内にあるか識別し、選択された信号のデータを乗法ゲインエクスパンションモジュール３２０への出力として供給する。出力はエンハンスするエリア内のオーディオソースのサブバンド信号を含む。ビームフォーマモジュール３１０は、乗法ゲインエクスパンションモジュール３２０にゲインファクタも供給する。ゲインファクタは、乗法ゲインエクスパンションモジュール３２０がビームフォーマ３１０から受け取った信号に対してゲインを大きくするか小さくするかを示す。ある実施形態では、ゲインファクタは、受け取ったマイクロホン信号とコンポーネントに基づくエネルギー比として生成される。ビームフォーマモジュール３１０により出力されるゲインインジケーションは、出力エネルギーに対して、主マイクロホン信号中でどれだけエネルギーが減少したかの比である。よって、ゲインはブース又はキャンセレーションゲインエクスパンションファクタであり得る。ゲインファクタは後でより詳細に説明する。

ビームフォーマ３１０は、ヌル処理ノイズ減算（ＮＰＮＳ）モジュール、乗法モジュール、又はこれらのモジュールの組み合わせとして実施できる。ビームフォーマ３１０は、図４のビームフォーマモジュールを参照して説明するアレイ処理アルゴリズムを実施できる。ＮＰＮＳモジュールをマイクロホンで用いてビームを生成し、ビーム形成をするとき、そのビームはαとγの狭める制約（narrowing constraints）によりフォーカスできる。あるビームに対しては、制約は大きくしてもよい。よって、ビームには、好ましい方向の周りに保護レンジを設けてもよい。ビームフォーマモジュール３１０は、米国特許出願第６１／３２５，７６４号（発明の名称「Multi-Microphone Robust Noise Suppression System」）に記載されたシステムにより実施できる。この開示はここに参照援用する。信号の望まないオーディオコンポーネントを低減する別の方法が、米国特許出願第１２／６９３，９９８号（発明の名称「Adaptive Noise Reduction Using Level Cues」）に記載されている。この開示はここに参照援用する。

乗法ゲインエクスパンションモジュール３２０は、選択されたビーム内のオーディオソースに関連するサブバンド信号と、ビームフォーマ３１０からのゲインファクタと、ズームインジケータ信号とを受け取る。乗法ゲインエクスパンションモジュール３２０は、受け取ったゲインファクタに基づき乗法ゲインを用いる。実際、モジュール３２０は、ビームフォーマ３１０により供給されるビームフォーマ信号をフィルタする。

ゲインファクタは複数の異なるエネルギー比の一つとして実施してもよい。例えば、エネルギー比は、主マイクロホンから受け取った主音響信号に対するノイズリダクションした信号の比、ノイズリダクションした信号と主マイクロホン信号中に検出したノイズ成分との比、ノイズリダクションした信号と補助音響信号との比、又は主信号とその他の信号との間のイントラレベル差（intra level difference）と比較したノイズリダクションした信号の比であってもよい。ゲインファクタは、他のすべての方向に対する、目標方向における信号強度のインジケーションであってもよい。言い換えると、ゲインファクタは予定の乗法エクスパンションのインジケーションであり、乗法ゲインエクスパンションモジュール３２０においてさらにエクスパンションするか減らすかのインジケーションである。乗法ゲインエクスパンションモジュール３２０は、修正信号を出力し、信号を残響・残響除去モジュール３３０に供給する。

残響モジュール３３０は、乗法ゲインエクスパンションモジュール３２０により出力されたサブバンド信号と、ビームフォーマモジュール３１０も受け取ったマイクロホン信号とを受け取り、乗法ゲインエクスパンションモジュール３２０により出力されたサブバンド信号に残響又は残響除去（dereverberation）を行う。残響モジュール３３０は、ズーム制御モジュール３５０により供給されるズーム制御インジケータに基づき、信号中の残余エネルギーに対する直接エネルギーの比を調整できる。

信号の残響の調節は、信号の成分のエネルギーの調節を含み得る。オーディオ信号は周波数領域で複数のコンポーネントを有し、それには直接成分、早期反射、及びテール成分（tail component）を含む。直接成分は、一般的にはエネルギーレベルが最も高く、その後にエネルギーレベルが少し低い反射が続く。ある信号にはテールも含まれ、ノイズとエネルギーが低いその他のデータやオーディオとを含む。残響は直接オーディオ成分の反射として定義される。そのため、広い周波数レンジにわたり多くの反射を有する残響は、より顕著な残響となる。反射成分が少ない信号の残響成分は小さい。

一般的に、リスナがオーディオソースから離れていればいるほど、信号中の残響は大きくなる。リスナがオーディオソースに近ければ近いほど、残響信号（反射成分）の強度は小さくなる。そのため、ズーム制御モジュール３５０から受け取ったズームインジケータに基づき、残響モジュール３５０は乗法ゲインエクスパンションモジュール３２０から受け取った信号中の残響成分を調整できる。それゆえ、受け取ったズームインジケータが動作中のズームがオーディオに対して行うものであることを示すとき、受け取った信号の反射成分を最小化して、残響を減少させる。オーディオ信号にズームアウトを行うことをズームインジケータが示すとき、早期反射成分を増幅して信号中にさらに残響があるかのように見せる。残響モジュール３３０は、受け取った信号の残響を調整した後、修正した信号をミキシングコンポーネント３４０に供給する。

ミキサコンポーネント３４０は、残響調整した信号を受け取り、その信号を主マイクロホンからの信号とミックスする。ミキサ３４０は、フレーム中にオーディオがある場合、信号のエネルギーを適宜大きくしてもよく、フレーム中にオーディオエネルギーがほとんどない場合、小さくしてもよい。

図４は、ビーム形成モジュールの一例を示すブロック図である。ビームフォーマモジュール３１０は、タップごと（すなわちサブバンドごと）に設けられる。モジュール３１０は、（主マイクロホンなどの）第１のマイクロホンと第２のマイクロホンのＦＣＴ出力信号を受け取る。第１のマイクロホンＦＣＴ信号は、次の関数：

によりモジュール４１０により処理され、パラメータの第１の差分アレイを生成する。

第２のマイクロホンＦＣＴ信号は、次の関数：

によりモジュール４２０により処理され、パラメータの第２の差分アレイを生成する。

次に、モジュール４１０の出力は、コンバイナ４４０において補助マイクロホンＦＣＴ信号から引かれ、モジュール４２０の出力は、コンバイナ４３０において主マイクロホンＦＣＴ信号から引かれる。コンバイナ４３０からカージオイド信号Ｃｆが出力され、モジュール４５０に供給され、次の関数：

が適用される。

コンバイナ４３０からカージオイド信号Ｃｆが出力され、モジュール４５０に供給され、次の関数：

が適用される。

モジュール４５０と４６０の出力差を決定し、ＩＬＤキューとして出力する。ＩＬＤキューがビームフォーマ３１０からポストフィルタ、例えば乗法ゲインエクスパンションモジュール３２０により実施されるフィルタに出力される。

図５は、オーディオズームを実行する方法の一例を示すフローチャートである。ステップ５１０で、ソースから音響信号を受け取る。音響信号はオーディオデバイス１０４上のマイクロホンを介して受け取られる。例えば、オーディオソース１１２ー１１６からのオーディオ信号と反射１２８−１２９は、オーディオデバイス１０４のマイクロホン１０６と１０８を介して受け取られる。

ステップ５２０で、空間エリアに対するズームインジケーションを受け取る。ズームインジケーションは、ユーザから受け取っても、その他のデータから判断してもよい。例えば、ズームインジケーションは、ビデオズームの設定、ある方向へオーディオデバイスを向けること、ビデオズームの入力、その他の方法により、ユーザから受け取れる。

ステップ５３０で、音響信号成分エネルギーレベルがズームインジケーションに基づきエンハンスされる。音響信号成分エネルギーレベルは、選択されたビームエリア内のソースデバイスから発するオーディオソースサブバンド信号のエネルギーレベルを高くすることにより、エンハンスできる。選択されたビームエリア外のデバイスからのオーディオ信号は強調除去（de-emphasize）される。音響信号成分エネルギーレベルのエンハンスは、図６に示した方法を参照して、後でより詳細に説明する。

ステップ５４０で、上記空間エリア内の一部に関連する残響信号成分は、受け取ったインジケーションに基づき調整される。上記の通り、調整は、その信号の反射成分に対する直接成分の比の修正を含む。ズームイン機能を行うとき、オーディオ信号中の反射成分に対する直接成分の比を大きくすることにより、残響を小さくすべきである。オーディオ信号にズームアウト機能を行うとき、反射成分に対して直接成分を小さくして、オーディオ信号の反射成分に対する直接成分の比を小さくする。

ステップ５５０で、修正したゲインを信号成分に適用する。このゲインは、残響処理音響信号を主音響信号（又はオーディオデバイス１０４が受け取る他のオーディオ信号）とミックスすることにより適用される。ステップ５６０で、オーディオズームにより処理されたミックス信号を出力する。

上記の通り、ズームインジケーションに基づきサブバンド信号をエンハンスする。図６は、音響信号成分をエンハンスする方法の一例を示すフローチャートである。ある実施形態では、図６の方法は、図５に示した方法のステップ５３０に対し、より詳細を提供する。ステップ６１０で、ビームの方向のオーディオソースを検出する。これは、ヌル処理ノイズ減算メカニズムにより、又は２つ以上のマイクロホンにより受け取ったオーディオ信号に基づきソースの空間的一を特定できるその他のモジュールにより行える。

ステップ６２０で、上記の空間エリア外にある音響信号ソースは減衰される。空間エリア外の音響ソースは、あるオーディオソース（例えば、図１の１１２）と、信号１２８と１２９などの反射オーディオ信号とを含む。ステップ６３０で、適応制約を用いて、ズームインジケーションに基づきビームを誘導（steer）する。適応制約は、ヌル処理ノイズ抑制システムで用いられるαとσの制約を含む。適応制約は、ビームパターンに基づき好ましい方向の周りの領域の乗法エクスパンションや選択により求めることもできる。

ステップ６４０でエネルギー比を決定する。エネルギー比を用いて、信号成分のビームフォーマキャンセレーションゲインを大きく又は小さくする乗法マスクを求めることができる。次に、ステップ６５０で、エネルギー比に基づき乗法マスクを生成する。エネルギー比に基づく乗法マスクの生成は、図７に示した方法を参照して、後でより詳細に説明する。

図７は、乗法マスクを生成する方法の一例を示すフローチャートである。図７の方法は、図６の方法のステップ６５０の詳細を提供するものである。ステップ７１０で、マイクロホン信号から差分アレイを生成する。このアレイはビームフォーマモジュール３１０の一部として生成される。ビームパターンは、少なくとも一部は差分出力信号に基づいて生成されるカージオイドパターンである。次に、ステップ７２０で、差分エリアからビームパターンを生成する。ステップ７３０で、ビームパターンからエネルギー比を生成する。エネルギー比は信号の組み合わせとして生成できる。一旦生成すると、エネルギー比から周波数ごとのＩＬＤマップを生成する。所望の選択に対応するＩＬＤレンジを選択する。マップにＩＬＤウィンドウを適用し、そのウィンドウ内の信号成分は大きくし、そのウィンドウ該にある信号成分は減衰する。ステップ７４０で、ポストフィルタなどのフィルタをエネルギー比から求めることができる。

上記のモジュールは、図３を参照して説明したものも含め、機械読み取り可能媒体（例えば、コンピュータ読み取り可能媒体）などの記憶媒体に記憶された命令を含み得る。これらの命令は、プロセッサ２０２により読み出され、実行され、ここに説明した機能を実行する。命令の例としては、ソフトウェア、プログラムコード、ファームウェアがある。記憶媒体の例としては、メモリデバイスや集積回路がある。

以上詳しく説明した好ましい実施形態と実施例を参照して本発明を開示したが、言うまでもなく、これらは例示であって限定ではない。当業者には修正や組み合わせが容易に思いつくと思うが、そうした修正や組み合わせは、本発明の精神と、以下の請求項の範囲内に入る。

Claims

信号の処理方法であって、
デバイス上の一以上のマイクロホンにより捕捉された一以上の音響信号を受け取るステップと、
環境内の空間的エリアのインジケーションを受け取る、前記インジケーションは前記デバイスのユーザから受け取られる、ステップと、
少なくとも１つのハードウェアプロセッサを用いて、前記一以上の音響信号のうちの少なくとも１つの音響信号の少なくとも１つの第１の音響信号成分のエネルギーを低減する、前記少なくとも１つの音響信号は前記空間的エリア外にある第１のソースに関連する、ステップと、
前記一以上の音響信号のうちの他の少なくとも１つの音響信号の少なくとも１つの第２の音響信号成分に関連する残響レベルを調整する、前記他の少なくとも１つの音響信号は前記インジケーションに基づき前記空間的エリア内にある第２のソースに関連する、ステップと、
を有する方法。
前記デバイスは２つ以上のマイクロホンを有し、前記少なくとも１つの第１の音響信号成分のエネルギーを低減するステップは、
前記受け取ったインジケーションに基づきビームを形成する、前記ビーム外にある前記第１のソースに関連する前記一以上の音響信号の前記少なくとも１つの第１の音響信号成分のエネルギーが低減される、ステップを有する、請求項１に記載の方法。
前記ビームを形成するステップは、前記ビームの幅を制御するステップを有する、請求項２に記載の方法。
前記少なくとも１つの第１の音響信号成分のエネルギーを低減するステップは、減算キャンセレーションにより行う、請求項１に記載の方法。
前記少なくとも１つの第１の音響信号成分のエネルギーを低減するステップは、乗法エクスパンション又は乗法キャンセレーションにより行う、請求項１に記載の方法。
前記少なくとも１つの第１の音響信号成分のエネルギーを低減するステップは、２つ以上の固定ビームパターンに基づき領域を選択するステップを含む、請求項１に記載の方法。
残響レベルを調整するステップは、前記空間的エリアを小さくする前記インジケーションに応じて前記残響レベルを下げるステップを有する、請求項１に記載の方法。
残響レベルを調整するステップは、前記空間的エリアを大きくする前記インジケーションに応じて前記残響レベルを上げるステップを有する、請求項１に記載の方法。
前記他の少なくとも１つの音響信号の少なくとも１つの第２の音響信号成分にゲインを適用する、前記他の少なくとも１つの音響信号は前記空間的エリア内にある前記第２のソースに関連する、ステップをさらに有する、請求項１に記載の方法。
プログラムを記憶した非一時的コンピュータ読み取り可能記憶媒体であって、前記プログラムはプロセッサにより実行されるとオーディオズーム方法を実行し、前記方法は
デバイス上の一以上のマイクロホンにより捕捉された一以上の音響信号を受け取るステップと、
環境内の空間的エリアのインジケーションを受け取る、前記インジケーションは前記デバイスのユーザから受け取られる、ステップと、
少なくとも１つのハードウェアプロセッサを用いて、前記一以上の音響信号のうちの少なくとも１つの音響信号の少なくとも１つの第１の音響信号成分のエネルギーを低減する、前記少なくとも１つの音響信号は前記空間的エリア外にある第１のソースに関連する、ステップと、
前記一以上の音響信号のうちの他の少なくとも１つの音響信号の少なくとも１つの第２の音響信号成分に関連する残響レベルを調整する、前記他の少なくとも１つの音響信号は前記インジケーションに基づき前記空間的エリア内にある第２のソースに関連する、ステップと
を有する、コンピュータ読み取り可能記憶媒体。
前記デバイスは２つ以上のマイクロホンを有し、前記少なくとも１つの第１の音響信号成分のエネルギーを低減するステップは、
前記受け取ったインジケーションに基づきビームを形成する、前記ビーム外にある前記第１のソースに関連する前記一以上の音響信号の前記少なくとも１つの第１の音響信号成分のエネルギーが低減される、ステップを有する、請求項１０に記載のコンピュータ読み取り可能記憶媒体。
前記ビームを形成するステップは、前記ビームの幅を制御するステップを有する、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
前記少なくとも１つの第１の音響信号成分のエネルギーを低減するステップは、減算キャンセレーションにより行う、請求項１０に記載のコンピュータ読み取り可能記憶媒体。
前記少なくとも１つの第１の音響信号成分のエネルギーを低減するステップは、乗法エクスパンション又は乗法キャンセレーションにより行う、請求項１０に記載のコンピュータ読み取り可能記憶媒体。
前記少なくとも１つの第１の音響信号成分のエネルギーを低減するステップは、２つ以上の固定ビームパターンに基づき領域を選択するステップを含む、請求項１０に記載のコンピュータ読み取り可能記憶媒体。
残響レベルを調整するステップは、前記空間的エリアを小さくする前記インジケーションに応じて前記残響レベルを下げるステップを有する、請求項１０に記載のコンピュータ読み取り可能記憶媒体。
残響レベルを調整するステップは、前記空間的エリアを大きくするインジケーションに応じて前記残響レベルを上げるステップを有する、請求項１０に記載のコンピュータ読み取り可能記憶媒体。
オーディオ信号のノイズリダクションを行うシステムであって、
非一時的メモリと、
前記メモリに記憶され、プロセッサにより実行され、環境中の空間的エリア内のオーディオソースと関連するサブバンド信号を特定する、前記空間的エリアはユーザ入力により示される、ビームフォーマモジュールと、
前記メモリに記憶され、前記プロセッサにより実行され、前記サブバンド信号のＩＬＤウィンドウ外の信号成分を減衰する残響モジュールと
を有する、システム。
前記ユーザからの前記環境中の前記空間的エリアのインジケーションを受け取るステップは、ビデオズーム設定、オーディオデバイスの一方向への向けること、及びビデオズームの入力のうちの１つによる、請求項１に記載の方法。
ヌル処理ノイズ減算メカニズムにより、前記第２のソースが前記空間的エリア内にあることを検知するステップと、
前記インジケーションに基づきビームを誘導するのに用いられる適応制約を決定する、前記適応制約は乗法エクスパンションから求めた、ヌル処理ノイズ圧縮システムで用いられる制約を含む、ステップと、
エネルギー比を決定するステップと、
前記エネルギー比に基づき少なくとも１つの乗法マスクを生成する、前記少なくとも１つの乗法マスクは、前記他の少なくとも１つの音響信号の前記少なくとも１つの第２の音響信号成分のゲインを調整するものである、ステップと
をさらに有する、請求項９に記載の方法。
前記エネルギー比に基づいて前記少なくとも１つの乗法マスクを生成するステップは、
前記一以上の音響信号から差分エリアを生成するステップと、
前記差分エリアからビームパターンを生成する、前記ビームパターンは前記エネルギー比の決定に用いられる、ステップと、
前記エネルギー比からフィルターを求めるステップと
を有する、請求項２０に記載の方法。