JP7342859B2

JP7342859B2 - 信号処理装置、信号処理方法および信号処理プログラム

Info

Publication number: JP7342859B2
Application number: JP2020513207A
Authority: JP
Inventors: 慎平土谷; 繁利林; 宏平浅田; 一敦大栗
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2018-04-09
Filing date: 2019-04-01
Publication date: 2023-09-12
Anticipated expiration: 2039-04-01
Also published as: JPWO2019198557A1; CN111788627A; EP3779962A1; EP3779962A4; WO2019198557A1; US20210027758A1

Description

本技術は、信号処理装置、信号処理方法および信号処理プログラムに関する。

従来から、所定数のスピーカとマイクロホンを用いて、閉空間における騒音低減を行うノイズキャンセリングの手法が提案されている（特許文献１）。

特定の空間の騒音を制御する為には、ヘッドホンにおけるノイズキャンセリングにおける単一入力を基本としたものとは異なり、数十チャンネル、数百チャンネルにも及ぶ多入力-多出力（Multi Input Multi Output）のシステム構成を用いて、複数の騒音低減装置を相互作用させる必要がある。

特開２０１５－０８０１９９号公報

しかし、例えば、住居や公共スペース等の広い空間の騒音低減を行う場合、まんべんなく空間内にマイクロホンおよびスピーカを配置して演算処理ができなければならない。汎用のＡＤコンバータや演算装置、ＤＡコンバータは多くても十数チャンネル対応程度で、処理対象空間の大きさや、信号処理リソースを考慮すると、数十チャンネル～数百チャンネル必要な場合、それに応じて使用するＡＤコンバータ、演算装置、ＤＡコンバータなどの数も増え、システムの規模が大きくなり過ぎるという問題がある。

本技術はこのような問題点に鑑みなされたものであり、配置されたマイクロホンおよびスピーカの数よりも少ないマイクロホンおよびスピーカを用いて騒音低減を行うことができる信号処理装置、信号処理方法および信号処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、騒音低減の対象となる範囲の音声および騒音を集音する複数のマイクロホンと、複数のマイクロホンのそれぞれに対応し、騒音低減用のキャンセル信号を出力する複数のスピーカのうち、騒音を低減させるノイズキャンセリング処理に用いるマイクロホンおよびスピーカを選択してノイズキャンセリング処理を行う際に、騒音に関する情報として騒音の周波数特性を取得し、周波数特性の高域成分が所定の値以下である場合、ノイズキャンセリング処理に用いるマイクロホンおよびスピーカが略均一に配置されるように１または複数のマイクロホンおよびスピーカを選択する信号処理装置である。

また、第２の技術は、騒音低減の対象となる範囲の音声および騒音を集音する複数のマイクロホンと、複数のマイクロホンのそれぞれに対応し、騒音低減用のキャンセル信号を出力する複数のスピーカのうち、騒音を低減させるノイズキャンセリング処理に用いるマイクロホンおよびスピーカを選択してノイズキャンセリング処理を行う際に、騒音に関する情報として騒音の周波数特性を取得し、周波数特性の高域成分が所定の値以下である場合、ノイズキャンセリング処理に用いるマイクロホンおよびスピーカが略均一に配置されるように１または複数のマイクロホンおよびスピーカを選択する信号処理方法である。

さらに、第３の技術は、騒音低減の対象となる範囲の音声および騒音を集音する複数のマイクロホンと、複数のマイクロホンのそれぞれに対応し、騒音低減用のキャンセル信号を出力する複数のスピーカのうち、騒音を低減させるノイズキャンセリング処理に用いるマイクロホンおよびスピーカを選択してノイズキャンセリング処理を行う際に、騒音に関する情報として騒音の周波数特性を取得し、周波数特性の高域成分が所定の値以下である場合、ノイズキャンセリング処理に用いるマイクロホンおよびスピーカが略均一に配置されるように１または複数のマイクロホンおよびスピーカを選択する信号処理方法をコンピュータに実行させる信号処理プログラムである。

本技術によれば、配置されたマイクロホンおよびスピーカの数よりも少ないマイクロホンおよびスピーカを用いて騒音低減を行うことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。

本技術の実施の形態に係る信号処理装置の構成を示すブロック図である。本技術におけるマイクロホンとスピーカの配置例を示す図である。騒音情報取得部の第１の態様における構成を示すブロック図である。騒音情報取得部への音声信号供給の第１の例を示す図である。騒音情報取得部の第１の態様における音圧レベル比較処理の説明図である。騒音情報取得部への音声信号供給の第２の例を示す図である。騒音情報取得部への音声信号供給の第３の例を示す図である。騒音情報取得部の第１の態様における騒音源の位置と選択チャンネルの説明図である。騒音源の位置が移動した場合におけるチャンネルの選択を説明する図である。騒音の周波数特性と基準の比較を説明する図である。騒音情報取得部の第２の態様におけるチャンネル選択の説明図である。騒音情報取得部の第３の態様におけるチャンネル選択の説明図である。騒音情報取得部に供給される画像の例を示す図である。図１４Ａはフィードフォワード方式を用いた場合のマイクロホンとスピーカの配置例を示す図であり、図１４Ｂはフィードフォワード方式とフィードバック方式の両方を用いた場合のマイクロホンとスピーカの配置例を示す図である。信号処理装置の変形例を示す図である。信号処理装置の変形例を示す図である。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１－１．信号処理装置の構成］
［１－２．信号処理装置における処理］
［１－２－１．処理の第１の態様］
［１－２－２．処理の第２の態様］
［１－２－３．処理の第３の態様］
［１－２－４．処理の第４の態様］
＜２．変形例＞

＜１．実施の形態＞
［１－１．信号処理装置の構成］
まず図１および図２を参照して信号処理装置１００の構成について説明する。信号処理装置１００は、ノイズキャンセリング処理部１１０、ＡＤ（Analog/Digital）コンバータ１２０、ＤＡ（Digital/Analog）コンバータ１３０、入力セレクタ１４０、出力セレクタ１５０および騒音情報取得部１６０を備えるように構成されている。なお、図１においては実線が音声信号および騒音低減用のオーディオ信号（以下、キャンセル信号と称する。）を示し、破線が制御信号または情報伝達信号を示す。

信号処理装置１００のノイズキャンセリング処理部１１０には複数のＡＤコンバータ１２０を介して入力セレクタ１４０が接続されている。また、ノイズキャンセリング処理部１１０には複数のＤＡコンバータ１３０を介して出力セレクタ１５０が接続されている。入力セレクタ１４０には８個のマイクアンプ１０を介してマイクロホンＭ１乃至Ｍ８が接続されている。また。出力セレクタ１５０には、８個の複数のパワーアンプ２０を介してスピーカＳ１乃至Ｓ８が接続されている。マイクロホンおよびスピーカの数はこれに限られず、８つ以上でも８つ以下でもよく、信号処理装置１００に数十、数百のマイクロホンおよびスピーカを接続することも可能である。マイクロホンが特許請求の範囲における入力部であり、スピーカが出力部である。

本実施の形態では、図２に示すように、騒音低減処理の対象となる空間（以下、処理範囲と称する。）を囲うようにマイクロホンＭ１乃至Ｍ８とスピーカＳ１乃至Ｓ８が環状アレイ状に配置されている。マイクロホンとスピーカはそれぞれ組として対応してチャンネルを構成しており、同数設けられている。

以下の説明において、チャンネルＣ１はマイクロホンＭ１およびスピーカＳ１により構成されるものとする。チャンネルＣ２はマイクロホンＭ２およびスピーカＳ２により構成されるものとする。チャンネルＣ３はマイクロホンＭ３およびスピーカＳ３により構成されるものとする。チャンネルＣ４はマイクロホンＭ４およびスピーカＳ４により構成されるものとする。チャンネルＣ５はマイクロホンＭ５およびスピーカＳ５により構成されるものとする。チャンネルＣ６はマイクロホンＭ６およびスピーカＳ６により構成されるものとする。チャンネルＣ７はマイクロホンＭ７およびスピーカＳ７により構成されるものとする。チャンネルＣ８はマイクロホンＭ８およびスピーカＳ８により構成されるものとする。

このように信号処理装置１００には複数の入力と、複数の出力が接続されている。よって、信号処理装置１００は多入力多出力(Multi Input-Multi Output)の装置として構成されている。複数の入力と複数の出力により、ノイズキャンセリング処理の対象となる処理範囲において、騒音源１０００から発せられる騒音を低減することが可能となっている。

マイクロホンは、信号処理装置１００による騒音低減の対象となる処理範囲内の音声および騒音を集音するものである。マイクロホンによる集音結果に基づく音声信号は、マイクアンプ１０によりゲインが調整されて入力セレクタ１４０を介してＡＤコンバータ１２０に供給される。また、マイクロホンからの音声信号は騒音情報取得部１６０にも供給され、騒音情報取得部１６０における騒音情報取得に用いられる。騒音情報取得部１６０への音声信号の供給の詳細については後述する。

入力セレクタ１４０は、接続された複数のマイクロホンのうち、音声信号をＡＤコンバータ１２０に供給するマイクロホンを選択することにより、入力側のチャンネルを切り替えるものである。本実施の形態では、入力セレクタ１４０は４チャンネル分の音声信号を同時に４つのＡＤコンバータ１２０のそれぞれに供給することができる。入力セレクタ１４０によるチャンネルの切り替えは騒音情報取得部１６０からの制御により行われる。

本技術においては、全てのマイクロホンから同時に音声信号がノイズキャンセリング処理部１１０に供給されるのではなく、全マイクロホン数よりも少ない数のマイクロホンから音声信号がノイズキャンセリング処理部１１０に供給される。

ＡＤコンバータ１２０は、アナログ信号である音声信号をデジタル信号に変換して、ノイズキャンセリング処理部１１０に供給する。本実施の形態では信号処理装置１００はＡＤコンバータ１２０を４つ備えている。

ノイズキャンセリング処理部１１０は騒音低減用のキャンセル信号を生成するためのデジタルフィルタを備える。ノイズキャンセリング処理部１１０は、供給されたデジタル音声信号を用いて、所定のパラメータとしてのフィルタ係数に応じた特性のキャンセル信号を生成してＤＡコンバータ１３０に供給する。ノイズキャンセリング処理部１１０はＤＳＰ（Digital Signal Processor）などにより構成される。

なお、信号処理装置１００はプログラムで構成され、そのプログラムは、予めＤＳＰなどのプロセッサ内や信号処理を行うコンピュータにインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、信号処理装置１００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

ＤＡコンバータ１３０は供給されたキャンセル信号をアナログ信号に変換して出力セレクタ１５０に供給する。キャンセル信号は出力セレクタ１５０を介してパワーアンプ２０に供給され、パワーアンプ２０からスピーカに供給されてスピーカから出力される。これにより、処理範囲の騒音を低減することができる。スピーカは特許請求の範囲における出力部に相当するものである。本実施の形態では、８個のパワーアンプ２０を介して８つのスピーカＳ１乃至Ｓ８が出力セレクタ１５０に接続されている。また、ＤＡコンバータ１３０は４つ設けられている。

出力セレクタ１５０は、複数のスピーカのうち、ノイズキャンセリング処理部１１０により生成されたキャンセル信号の供給するスピーカを選択することにより、出力側のチャンネルを切り替えるものである。本実施の形態では、出力セレクタ１５０は４チャンネル分のキャンセル信号を同時に４つのスピーカのそれぞれに供給することができる。出力セレクタ１５０によるチャンネルの切り替えは騒音情報取得部１６０からの制御により行われる。

なお、出力セレクタ１５０からのキャンセル信号の供給先は、入力セレクタ１４０により選択されたマイクロホンのチャンネルに対応したスピーカとなっている。すなわち、チャンネルＣ１が選択され、マイクロホンＭ１からの音声信号を用いて生成されたキャンセル信号はチャンネルＣ１のスピーカＳ１に供給される。同様に、例えば、チャンネルＣ８が選択され、マイクロホンＭ８からの音声信号を用いて生成されたキャンセル信号はチャンネルＣ８のスピーカＳ８に供給される。

本技術においては、全てのスピーカから同時にキャンセル信号が出力されるのではなく、全スピーカ数よりも少ない数のスピーカからキャンセル信号が出力される。

騒音情報取得部１６０は、ＤＳＰなどにより構成され、騒音に関する情報（以下、騒音情報と称する。）を取得するものである。騒音情報の詳細については後述する。また、騒音情報取得部１６０は、入力セレクタ１４０および出力セレクタ１５０が選択するチャンネルと騒音情報とを予め対応させたテーブルを保持しており、テーブルを参照して入力セレクタ１４０および出力セレクタ１５０が選択するチャンネルを決定する。選択するチャンネルを決定すると、騒音情報取得部１６０は所定の制御信号を入力セレクタ１４０および出力セレクタ１５０に送信する。入力セレクタ１４０は、騒音情報取得部１６０からの制御信号に基づいて内部のスイッチを切り替えることにより音声信号をＡＤコンバータ１２０に供給するマイクロホンを選択する。出力セレクタ１５０は、騒音情報取得部１６０からの制御信号に基づいて内部のスイッチを切り替えることによりキャンセル信号を供給するスピーカを選択する。騒音情報取得部１６０における処理の詳細は後述する。

このように信号処理装置１００を含んだ信号処理システムが構成されている。なお、図２におけるマイクロホンとスピーカの数は、あくまで一例であり、本技術はその数に限定されるものではない。騒音低減の対象である処理範囲の大きさに応じてマイクロホンとスピーカの数を増減させるとよい。

従来の騒音低減システムでは、全てのマイクロホンとスピーカがノイズキャンセリング処理部に接続されて全ての信号を同時に処理するのが通常である。しかし、ノイズキャンセリング処理部を担うＤＳＰなどの入力チャンネル数は有限であり、全てのマイクロホンをＤＳＰに同時接続することは困難である。そこで本技術は、騒音情報に基づいて実際に使用するマイクロホン、スピーカの組からなるチャンネルを動的に切り替えることで、限られた演算リソースで騒音低減を行うものである。

本技術は、空間内における騒音を低減する目的であればあらゆる環境において利用可能である。例えば、住宅の部屋に本技術を適用し、住宅の外から部屋に入ってくる騒音や部屋の内部で発生する騒音を低減することができる。そして、部屋の広さに応じてマイクロホンとスピーカの数を増減させて信号処理システムの規模を調整することにより、大きい部屋であっても適切に騒音を低減することができる。また、車両に本技術を適用し、車両外からの騒音を低減する、車両内部で発生している騒音を低減する、ことも可能である。

ノイズキャンセリングの方式は大きくフィードフォワード方式とフィードバック方式に分けることができる。

フィードフォワード方式とは、騒音をマイクロホンで集音して騒音信号を得て、この騒音信号に所定の信号処理を施してキャンセル信号を生成し、そのキャンセル信号をスピーカ等から出力することにより騒音を低減させるものである。フィードフォワード方式では騒音を集音する参照マイクロホンが必要となる。

フィードバック方式では、処理範囲内で再生される音声と共に騒音をマイクロホンで集音し、この音声信号に所定の信号処理を施してキャンセル信号を生成する。そして、そのキャンセル信号をスピーカ等から出力することにより、騒音を低減させる。

［１－２．信号処理装置における処理］
［１－２－１．処理の第１の態様］
次に騒音情報取得部１６０における処理の第１の態様について説明する。第１の態様において騒音情報取得部１６０は、マイクロホンから供給される音声信号に基づいて騒音の発生源である騒音源の位置を取得し、選択するチャンネルを決定する処理を行う。

まず、騒音情報取得部１６０による騒音源の位置を取得する処理について説明する。図３は騒音情報取得部１６０のブロック構成を示す図である。騒音情報取得部１６０は複数の音圧レベル取得部１６１、平均化処理部１６２、保持部１６３および比較部１６４を備えるように構成されている。

音圧レベル取得部１６１はマイクロホンから供給された音声信号の音圧レベルを取得し、平均化処理部１６２に供給する。平均化処理部１６２は、音声信号の音圧レベルの時間平均値を算出するものである。平均化処理部１６２により算出された音声信号のゲインの時間平均値が比較部１６４による比較の対象となる。保持部１６３は、音声信号のゲインの時間平均値を所定時間保持して所定タイミングで比較部１６４に供給するものである。各チャンネルのマイクロホンに音声が入力されるのは同時とは限らず時間差があるのが通常であるため、比較対象となる時間平均値を適切なタイミングで比較部１６４に供給するためのものである。

騒音情報取得部１６０では、複数の比較部１６４がステップラダーの多段構成となるように構成されている。比較部１６４には、隣り合う各チャンネルの音声信号のゲインの時間平均値が入力されるとそれらを比較し、値が大きい方を次の比較部１６４に供給する。

複数の比較部１６４でチャンネルごとの比較を行っていくと最も音圧レベルが大きいチャンネルが１つ決定する。そして騒音情報取得部１６０は、その最も音圧レベルが大きいチャンネルのマイクロホンを騒音源に一番近いマイクロホンとして決定する。すなわち、最も音圧レベルが大きいチャンネルのマイクロホンの近傍に騒音源があるとして騒音源の位置を取得する。なぜなら、騒音源に最も近いマイクロホンには最も大きな音圧レベルで騒音が入力されるはずだからである。このように、騒音情報取得部１６０は音圧レベルに基づく推定により騒音源の位置を取得する。

次に、図４および図５を参照してマイクロホンから騒音情報取得部１６０への音声信号の供給について説明する。

図４は、騒音情報取得部１６０への音声信号供給の第１の例である。第１の例は、騒音情報取得部１６０とマイクアンプ１０との間に第３セレクタ１７０が設けられている。第３セレクタ１７０は、全チャンネルのマイクロホンＭ１乃至Ｍ８からの音声信号のうちの複数を選択して騒音情報取得部１６０に供給するものである。

この第１の例では、全チャンネル内の複数のチャンネル（図４においては８チャンネルの内の４チャンネル）の音声信号が同時に第３セレクタ１７０を介して騒音情報取得部１６０に供給される。全てのチャンネルの音声信号を同時に騒音情報取得部１６０に供給はせず、全てのチャンネルの音圧レベルの比較を同時に行なわない。全てのチャンネルからの音声信号に対する処理を同時に行おうとすると、チャンネルと同数の音圧レベル取得部１６１、平均化処理部１６２、保持部１６３を騒音情報取得部１６０が備えていなければならず、本技術を用いたシステムが大型化してしまい、またコストもかかるからである。

通常、騒音は継続的に鳴り続け、また騒音源も頻繁に移動するものは少ないと考えられるため、全てのチャンネルの音声信号を同時に処理する必要性は低いと考えられる。よって、全ての音声信号を同時に処理せず、段階的に処理しても騒音源の位置の取得することは可能である。

そこで、図５に示すように、まず奇数チャンネルの音声信号を騒音情報取得部１６０に供給して、奇数チャンネルの音声信号の音圧レベル取得および平均化処理を行う。次に第３セレクタ１７０を切り替えて、偶数チャンネルの音声信号を騒音情報取得部１６０に供給して、偶数チャンネルの音声信号の音圧レベル取得および平均化処理を行う。そして、複数の比較部１６４による比較処理により全チャンネルの音声信号の音圧レベルが最も高いものを決定する。

なお、図５では奇数チャンネルの音声信号を騒音情報取得部１６０に供給し、次に偶数チャンネルの音声信号を騒音情報取得部１６０に供給したが、供給順はその順序に限られず、先に偶数チャンネルの音声信号を供給した後に奇数チャンネルの音声信号を供給するようにしてもよい。また、奇数、偶数で分けるのではなく、チャンネルの番号順に、チャンネルＣ１、チャンネルＣ２、チャンネルＣ３、チャンネルＣ４の音声信号をまず供給し、その後にチャンネルＣ５、チャンネルＣ６、チャンネルＣ７、チャンネルＣ８の音声信号を供給するようにしてもよい。

また、２段階に分けて音声信号を騒音情報取得部１６０に供給するのではなく、３段階以上に分けて供給してもよい。全チャンネルのマイクロホンからの音声信号を同時に騒音情報取得部１６０に供給するのではなく、最終的に全チャンネルの音声信号が騒音情報取得部１６０に供給されれば、第３セレクタ１７０でどのようにチャンネルを選択してもよい。

騒音情報取得部１６０においてチャンネル数と同数の音声信号を同時処理できない場合に、このように騒音情報取得部１６０とマイクアンプ１０との間に第３セレクタ１７０を設けるとよい。第３セレクタ１７０を設けることにより、複数段階に分けて音声信号を騒音情報取得部１６０に供給し、最終的に全てのチャンネルの音声信号を騒音情報取得部１６０に供給して、処理を行うことができる。

図６は、騒音情報取得部１６０への音声信号供給の第２の例である。第２の例は、全てのチャンネルのマイクロホンから音声信号が第３セレクタ１７０に供給され、第３セレクタ１７０が順々に１チャンネルごとにチャンネルを選択して音声信号を騒音情報取得部１６０に供給していく。そして最終的に全てのチャンネルのマイクロホンからの音声信号が騒音情報取得部１６０に供給される。

この第２の例では、騒音情報取得部１６０は１チャンネルごとにゲイン算出、平均化処理を行う。第２の例ではノイズキャンセリング処理部１１０に音声信号が供給されるチャンネル以外のチャンネルの音声信号も含めて騒音源の位置の取得が行われる。この場合、騒音情報取得部１６０は供給されたチャンネルの音声信号に対して音圧レベル取得および平均化処理を行い、全てのチャンネルの音声信号の音圧レベル取得および平均化処理を完了するまで保持部１６３で音声信号の音圧レベルを保持する。そして、全てのチャンネルの音圧レベルの音圧レベルが得られたら比較部１６４による比較処理を行い、最も音圧レベルが高い音声信号を決定し、騒音源の位置を取得する。

図７は、騒音情報取得部１６０への音声信号供給の第３の例である。第３の例では、入力セレクタ１４０で選択され、ＡＤコンバータ１２０を経てノイズキャンセリング処理部１１０に供給される音声信号を騒音情報取得部１６０に供給する。第３の例では入力セレクタ１４０で選択されてノイズキャンセリング処理部１１０に供給される音声信号のみに基づいて騒音情報の取得が行われる。

なお、この第３の例では、まずいずれかのチャンネルが選択されないと騒音情報取得部１６０に音声信号が供給されない。よって、デフォルトで最初にノイズキャンセリング処理部１１０および騒音情報取得部１６０に音声信号を供給するチャンネルを設定しておき、供給された音声信号に基づいて騒音情報を取得してから適切なチャンネルを選択するとよい。

以上のようにして、第１の態様における騒音源の位置の取得と、騒音源の位置に基づくチャンネルの選択が行われる。本技術によれば、例えば、図８Ａに示す位置に騒音源１０００が存在する場合、騒音源１０００の近傍に位置するチャンネルＣ１、Ｃ２、Ｃ３、Ｃ４を選択してマイクロホンＭ１、Ｍ２、Ｍ３、Ｍ４から音声信号をノイズキャンセリング処理部１１０に供給する。また、出力セレクタ１５０はキャンセル信号をスピーカＳ１、Ｓ２、Ｓ３、Ｓ４に供給する。なお、図８および図８以降の図９、図１１、図１２において、太線で描いているマイクロホンＭおよびスピーカＳが選択されたチャンネルＣのマイクロホンおよびスピーカであることを示している。

また、図８Ｂに示す位置に騒音源１０００が存在する場合、騒音源１０００の近傍に位置するチャンネルＣ５、Ｃ６、Ｃ７、Ｃ８を選択してマイクロホンＭ５、Ｍ６、Ｍ７、Ｍ８を選択して音声信号をノイズキャンセリング処理部１１０に供給する。また、出力セレクタ１５０はキャンセル信号をスピーカＳ５、Ｓ６、Ｓ７、Ｓ８に供給する。このように選択するチャンネルを騒音源に近いチャンネルに集中させることにより、効率的に騒音低減を行うことができる。

なお、図８は常に騒音源１０００の近傍に位置する４つのチャンネルを選択するということを示しているのではなく、４つのチャンネルが選択されているのはあくまで例示である。騒音源１０００の近傍に位置するチャンネルの内、いくつのチャンネルを選択するかは騒音源１０００の距離、騒音の音圧レベルなどに基づき様々なパターンを予めテーブルに格納しておき、それに基づき決定するとよい。

このようなチャンネルの選択処理を継続して行うことにより、図９に示すように騒音源１０００が移動した場合でもそれに追従してノイズキャンセリング処理に使用するチャンネルを切り替えることができる。図９では、騒音源１０００が図９Ａに示す第１の位置にある時点では、チャンネルＣ１、Ｃ２、Ｃ３、Ｃ４を使用し、マイクロホンＭ１、Ｍ２、Ｍ３、Ｍ４からの音声信号がＡＤコンバータ１２０に供給され、キャンセル信号はスピーカＳ１、Ｓ２、Ｓ３、Ｓ４に供給される。

そして、騒音源１０００が図９Ｂに示すように第２の位置に移動すると、騒音情報取得部１６０が騒音源１０００の移動後の位置を取得し、騒音源１０００の第２の位置に合わせて使用するチャンネルを切り替える。図９Ｂでは、騒音源１０００が第２の位置に合わせて、チャンネルＣ３、Ｃ４、Ｃ５、Ｃ６を使用し、マイクロホンＭ３、Ｍ４、Ｍ５、Ｍ６からの音声信号がＡＤコンバータ１２０に供給され、キャンセル信号はスピーカＳ３、Ｓ４、Ｓ５、Ｓ６に供給される。

さらに、騒音源１０００が図９Ｃに示すように第３の位置に移動すると、騒音情報取得部１６０が騒音源１０００の移動後の位置を取得し、騒音源１０００の第３の位置に合わせて使用するチャンネルを切り替える。図９Ｃでは、騒音源１０００が第３の位置に合わせて、チャンネルＣ４、Ｃ５、Ｃ６、Ｃ７を使用し、マイクロホンＭ４、Ｍ５、Ｍ６、Ｍ７からの音声信号がＡＤコンバータ１２０に供給され、キャンセル信号はスピーカＳ４、Ｓ５、Ｓ６、Ｓ７に供給される。

このように、騒音源の位置が移動しても、それに追従し、騒音低減の為のマイクロホンおよびスピーカを選択し、限られた演算リソースを用いて効果的に処理範囲の騒音を低減させることができる。

［１－２－２．処理の第２の態様］
次に騒音情報取得部１６０における処理の第２の態様について説明する。第２の態様において騒音情報取得部１６０は騒音を解析して騒音情報として周波数特性を取得するアナライザとしての機能を有する。

騒音情報取得部１６０は、予め周波数特性と選択するチャンネルを対応付けたテーブルを保持している。テーブルでは、騒音の周波数帯域ごとに選択するチャンネルが対応付けられている。処理範囲において図１０Ａに示すように、騒音の周波数特性の高域成分があらかじめ定めた所定の基準よりも低い場合、図１１に示すように、音声信号をノイズキャンセリング処理部１１０に供給するマイクロホンＭおよびキャンセル信号を出力するスピーカＳが略均一に配置されるようにチャンネルＣを選択する。

マイクロホンおよびスピーカを略均一に配置する例としては、図１１Ａに示すような、マイクロホンＭおよびスピーカＳが等間隔で配置されている場合に、１つ飛ばしで選択するなどである。ただし、略均一に配置する配置例は、図１１Ａに示す配置に限られず、図１１Ｂに示すような配置でもよい。

これは、音声は高音に比べて低音は指向性は低くなり、空間全体に広がるように鳴るという特性を有するためである。騒音が空間全体に広がるように鳴っている場合には、空間全体から略均一に音声信号を取得してノイズキャンセリング処理を行うことにより、適切に空間の騒音を低減させることができるからである。

騒音情報取得部１６０はマイクロホンが取得した音声信号が供給されると既存の音声解析処理を施して騒音の周波数特性を取得し、テーブルを参照することにより選択するチャンネルを決定する。

そして、選択するチャンネルが決定すると騒音情報取得部１６０は所定の制御信号を入力セレクタ１４０および出力セレクタ１５０に供給する。入力セレクタ１４０は制御信号に基づき、選択するマイクロホンを切り替える。また、出力セレクタ１５０も制御信号に基づき、選択するスピーカを切り替える。

騒音情報取得部１６０における処理の第２の態様はこのように構成されている。この第２の態様によれば、騒音の周波数特性の高域成分があらかじめ定めた所定の基準よりも低い場合、配置されている全てのチャンネルを使用しなくても空間全体に広がる低音を適切に低減させることができる。

なお、第２の態様におけるマイクロホンから騒音情報取得部１６０への音声信号の供給は、第１の態様において説明した、騒音情報取得部１６０への音声信号供給の第１乃至第３の例と同様である。

［１－２－３．処理の第３の態様］
次に騒音情報取得部１６０における処理の第３の態様について説明する。第３の態様において騒音情報取得部１６０は騒音情報として騒音の指向性を取得する。騒音の指向性は種々の手法により得ることができる。例えば、騒音情報取得部１６０は、空間内に配置されている全てのマイクロホンから音声信号を取得し、各音声信号の音圧レベルを測定し、音圧レベルが極端に高いマイクロホン（例えば、他のマイクロホンからの音声信号の音圧レベルとの間に所定値以上の差があるなど）が存在する方向への指向性が高いと判断することができる。

騒音情報取得部１６０は、チャンネルを構成するマイクロホンとスピーカの配置と、それに対する騒音の指向性と、選択するチャンネルとを予め対応付けたテーブルを保持している。例えば、図１２に示すように、騒音の指向性が高い方向の延長線上に位置するチャンネルのマイクロホンからの音声信号をノイズキャンセリング処理部１１０に供給し、キャンセル信号をスピーカに供給するようにチャンネルを選択する。図１２の例では、騒音の進行方向に存在するチャンネルＣ２のマイクロホンＭ２とスピーカＳ２が選択されている。

一方、指向性が高い騒音が取得できなかった場合、騒音は処理範囲全体に広がるように鳴っているものであると考えられる。このような場合には、処理対象空間において音声信号をノイズキャンセリング処理部１１０に供給するマイクロホンおよびキャンセル信号を出力するスピーカが略均一に配置されるようにチャンネルを選択する。略均一の配置とは図１１を参照して説明したような配置である。

騒音情報取得部１６０はマイクロホンが取得した音声信号が供給されると騒音の指向性情報を取得し、テーブルを参照することにより選択するチャンネルを決定する。

そして、選択するチャンネルが決定すると騒音情報取得部１６０は所定の制御信号を入力セレクタ１４０および出力セレクタ１５０に供給する。入力セレクタ１４０は制御信号に基づき、選択するマイクロホンＭを切り替える。また、出力セレクタ１５０も制御信号に基づき、選択するスピーカＳを切り替える。

騒音情報取得部１６０における処理の第３の態様はこのように構成されている。この第３の態様によれば、騒音が高い指向性を有し、一定の方向に向けて進む場合、その方向に存在するマイクロホンおよびスピーカを用いることで適切に騒音を低減させることができる。

また、騒音が到来する方向に配置されているマイクロホンおよびスピーカのみを使用して騒音を低減させることができるため、騒音が到来する方向以外に配置されているマイクロホンおよびスピーカは使用する必要がない。このように、騒音低減に寄与していないチャンネルを使用せずに、騒音低減性能を低下させることはなく、リソース、電力、コストにおいて効率的に騒音低減を行うことができる。なお、図１２におけるチャンネルＣ６のマイクロホンＭ６とスピーカＳ６も騒音源１０００からの騒音の進行方向に位置しているが、騒音がマイクロホンＭ６に到達する前に騒音は処理範囲に到達している。よって、処理範囲を挟んで騒音源から対極の位置にあるチャンネルは選択する必要はない。

なお、第３の態様におけるマイクロホンから騒音情報取得部１６０への音声信号の供給は、第１の態様において説明した、騒音情報取得部１６０への音声信号供給の第１乃至第３の例と同様である。

［１－２－４．処理の第４の態様］
次に騒音情報取得部１６０における処理の第４の態様について説明する。第４の態様において騒音情報取得部１６０は信号処理装置１００の処理対象である空間を撮影した画像の供給を受けて、その画像に対して所定の画像解析処理を行うことにより騒音情報を取得する。画像解析処理として被写体認識処理を行うことにより、空間における騒音源の位置を取得することができる。例えば、図１３に示すような部屋を撮影した画像２０００が供給された場合、被写体認識処理で騒音源としてのエアコン３０００を認識してその位置を取得する、などである。

これは例えば、騒音源となり得る家電製品や各種機器などの外観の特徴を示したデータを予め騒音情報取得部１６０の保持させておき、特徴量マッチングを用いた被写体認識処理などにより行うことができる。

また、被写体認識処理により騒音源の動作状態を取得することができる。また、被写体認識処理により騒音源の向きを取得することにより騒音の進行方向を得ることもできる。さらに、被写体認識処理により空間内に存在する物体を把握することにより、空間における騒音の反射方向および反射率などを取得することもできる。騒音情報として騒音の反射方向および反射率が得られた場合、騒音が反射によって進む方向に存在するチャンネルのマイクロホンとスピーカを選択するとよい。

なお、画像はユーザがデジタルカメラなどで撮影したものでもよいし、監視カメラ、自動撮影カメラ、カメラ機能を備える、家庭用コミュニケーションロボットなどで撮影した画像でもよい。

画像から騒音源の位置を取得した場合のチャンネル選択処理は上述した第１の態様と同様である。また、画像から騒音の進行方向を取得した場合のチャンネル選択処理は上述した第２の態様と同様である。

騒音源が家電製品等の場合、その騒音源が動作しているか否かに基づいてチャンネル選択を切り替えることができる。例えば、家電製品のオンオフを示すＬＥＤなどが点灯しているか否かを被写体認識処理により確認することにより、家電製品が動作しているか否かを判断することができる。そして、例えば、騒音源としての家電製品が動作している場合には、その家電製品の近傍に位置するマイクロホンおよびスピーカを選択し、家電製品が動作していない場合には、マイクロホンおよびスピーカが略均一に配置されるようにチャンネルを選択する、などの切り替えを行うことができる。

なお、ＩｏＴ（Internet of Things）などの手法を用いて騒音源になり得る家電製品と信号処理装置１００とをインターネットで接続し、家電製品等が動作しているか否かの情報をその家電製品から直接取得してもよい。

また、空間における騒音の反射方向および反射率を取得した場合、騒音の反射方向に配置されているマイクロホンおよびスピーカを選択することにより、効率的に騒音を低減させることができる。

以上のようにして騒音情報取得部１６０の第１乃至第４の態様が構成されている。

なお、騒音源の位置、騒音源からの騒音の指向性、家電製品などの騒音源の動作状況などを予めユーザが把握している場合には、ユーザが信号処理装置１００に直接それらの情報を入力してもよい。

なお、実施の形態ではフィードバック方式のノイズキャンセリング処理用のマイクロホンＭとスピーカＳの配置を例にして説明したが、図１４Ａに示すようにフィードフォワード方式のノイズキャンセリング処理にも本技術は適用可能である。

また、図１４Ｂに示すように、フィードバック方式とフィードフォワード方式を同時に使用するデュアル方式の信号処理システムに本技術を適用してもよい。図１４Ｂの例では、マイクロホンＭ１乃至Ｍ８がフィードフォワード方式用の参照マイクロホンであり、マイクロホンＭ２１乃至Ｍ２８がフィードバック方式用の誤差マイクロホンである。騒音情報取得部１６０に音声信号を供給するのはフィードバック方式における誤差マイクロホンＭとフィードフォワード方式における参照マイクロホンＭのどちらでもよい。

全てのマイクロホンＭとスピーカＳを同時に接続してノイズキャンセリング処理を行うシステムに比べると、ノイズキャンセリングに用いるチャンネル数が少ないため、騒音低減性能が低下するのではないかとも考えられる。しかし、例えば、フィードフォワード方式においては必ず処理範囲に騒音が到達する前に騒音を集音し、キャンセル信号を出力する必要がある。図１４Ａに示す例では騒音源１０００とは逆側にあるマイクロホンＭ６においては、マイクロホンＭ６に騒音が到達するときには既に処理範囲に騒音が到達しているため、そのような配置ではマイクロホンＭ６とスピーカＳ６は騒音低減には寄与しない。

この様に空間の騒音低減においては、全てのマイクロホンおよびスピーカが同じだけ騒音低減の処理に寄与しているわけでなく、寄与するか否かは音源の位置に大きく関係する。よって、騒音低減に寄与していないチャンネルがあったとしても騒音低減性能が低下することはなく、リソース、電力、コストにおいて効率的に騒音低減を行うことができる。

このように本技術によれば、配置されたマイクロホンおよびスピーカの数よりも少ないマイクロホンおよびスピーカを用いて騒音低減を行うことができる。すなわち、配置されているマイクロホンおよびスピーカの数よりも少ない数のＡＤコンバータ１２０、ＤＡコンバータ１３０で騒音低減を行うことができる。よって、性能が限られているノイズキャンセリング処理部であっても適切に騒音低減を行うことができる。また、ノイズキャンセリング処理部１１０の性能をあげることなく、ＡＤコンバータ１２０、ＤＡコンバータ１３０の数を増やすくことなく、マイクロホンおよびスピーカの数を増やして騒音低減の対象である処理範囲を広くすることができる。

＜２．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

実施の形態ではノイズキャンセリング処理部１１０が１つであるとして説明を行った。しかし、図１５に示すように複数のノイズキャンセリング処理部を設けてもよい。図１５の例では、第１ノイズキャンセリング処理部１１１、第２ノイズキャンセリング処理部１１２の計２つのノイズキャンセリング処理部が設けられている。これにより、１つのノイズキャンセリング処理部にかかる負荷を低減させることができ、リソース確保、処理の高速化などを図ることができる。なお、ノイズキャンセリング処理部の数は３つ以上でもよい。

実施の形態では、ノイズキャンセリング処理部１１０に音声信号を供給するためのマイクロホンと、騒音情報取得部１６０へ音声信号を供給するマイクロホンは同一であったが、ノイズキャンセリング処理部１１０への音声信号供給用と、騒音情報取得部１６０への音声信号供給用で別々のマイクロホンを使用してもよい。

実施の形態では騒音情報取得部１６０が騒音情報に基づきテーブルを参照してチャンネルを選択し、制御信号を入力セレクタ１４０および出力セレクタ１５０に供給することによりチャンネルの切り替えを行った。しかし、騒音情報に基づくチャンネルの選択は、入力セレクタ１４０、出力セレクタ１５０がそれぞれ行ってもよい。この場合、入力セレクタ１４０と出力セレクタ１５０は予めそれぞれテーブルを保持し、騒音情報取得部１６０から騒音情報が供給されるとそのテーブルを参照して選択するチャンネルを決定し、チャンネルの切り替えを行う。これによっても実施の形態と同様の騒音低減を実現することができる。

また、入力セレクタ１４０または出力セレクタ１５０の一方がチャンネルの選択を行うようにしてもよい。例えば、入力セレクタ１４０のみがテーブルを保持し、出力セレクタ１５０はテーブルを保持しない構成の場合、入力セレクタ１４０が選択するチャンネルを決定し、所定の制御信号を出力セレクタ１５０に供給する。出力セレクタ１５０はその制御信号に基づいて入力セレクタ１４０が選択したチャンネルと同じチャンネルを選択する。これによっても実施の形態と同様の騒音低減を実現することができる。

なお、ノイズキャンセリング処理部１１０にデジタルI／Ｆ２００を介して音源３００から音声コンテンツ信号を供給するようにしてもよい。音源３００とは音楽プレーヤ、ＤＶＤプレーヤ、Blue-ray（登録商標）プレーヤ、カーステレオなどの各種のメディアプレーヤなどである。音源３００から供給される音声コンテンツ信号はそのメディアプレーヤが再生する音声信号である。この音声コンテンツ信号は、信号処理装置１００によるノイズキャンセリングの処理範囲内においてユーザが音声コンテンツとして聴取するものである。

信号処理装置１００の処理範囲においてユーザが音源３００からの音声コンテンツを聴取する場合、マイクロホンには処理範囲内で音源３００から再生された音声コンテンツと騒音とが入力される。そしてノイズキャンセリング処理部１１０においてデジタルI／Ｆ２００を介して供給された音声コンテンツ信号を用いて、音声コンテンツと騒音の信号から音声コンテンツを除くことにより騒音のみの信号を生成する。この騒音のみの信号からキャンセル信号を生成してスピーカから出力することにより、処理範囲内で音源３００から再生されている音声コンテンツに影響を与えることなく騒音のみを低減させることができる。

さらに、部屋や車両において信号処理装置１００を使用する場合、音声コンテンツ出力用のスピーカと、キャンセル信号出力用のスピーカとして共通のスピーカを使用する場合がある。そのような場合、騒音のみを低減し、スピーカから出力される音声コンテンツは低減させない。そのために、音源３００をデジタルI／Ｆ２００を介して信号処理装置１００に接続し、音声コンテンツ信号をノイズキャンセリング処理部１１０に供給する。そして、マイクロホンで集音した音声コンテンツと騒音の信号から音声コンテンツ信号を除くことにより騒音のみの信号を生成する。この騒音のみの信号からキャンセル信号を生成して用いることにより、処理範囲内で音源１３０から音声コンテンツを低減させることなく騒音のみを低減させることができる。

実施の形態では、全てのスピーカから同時にキャンセル信号は出力されず、全スピーカ数よりも少ない数のスピーカからキャンセル信号が出力されるとしたが、全てのスピーカからキャンセル信号の出力を可能にしつつ、本技術を用いて、全スピーカ数よりも少ない数のスピーカからキャンセル信号が出力できるようにしてもよい。

また、音声信号に基づく騒音情報の取得、騒音情報に基づくチャンネルの選択には人工知能、ニューラルネットワークなどを用いて、使用回数が増えるに従い精度が高くなるようにしてもよい。

本技術は以下のような構成も取ることができる。
（１）
複数の入力部と、該複数の入力部のそれぞれに対応する複数の出力部のうち、騒音を低減させるノイズキャンセリング処理に用いる前記入力部および前記出力部を選択してノイズキャンセリング処理を行う
信号処理装置。
（２）
前記騒音に関する情報を取得し、
前記騒音に関する情報に基づいて前記入力部および前記出力部の選択を切り替える（１）に記載の信号処理装置。
（３）
前記騒音に関する情報は、前記騒音を発生させる騒音源の位置である（２）に記載の信号処理装置。
（４）
前記入力部から入力される音声信号のレベルに基づいて前記騒音源の位置を取得する（３）に記載の信号処理装置。
（５）
前記複数の入力部のうち、前記騒音源の位置に近い１または複数の前記入力部および該入力部に対応する前記出力部を選択する（３）または（４）に記載の信号処理装置。
（６）
前記騒音に関する情報は、前記騒音の周波数特性である（２）から（５）のいずれかに記載の信号処理装置。
（７）
前記周波数特性の高域成分が所定の値以下である場合、ノイズキャンセリング処理に用いる前記入力部および前記出力部が略均一に配置されるように１または複数の前記入力部および前記出力部を選択する（６）に記載の信号処理装置。
（８）
前記騒音に関する情報は、前記騒音の指向性である（２）から（７）のいずれかに記載の信号処理装置。
（９）
前記騒音の前記指向性が高い方向の延長線上に位置する１または複数の前記入力部および前記出力部を選択する（８）に記載の信号処理装置。
（１０）
前記騒音の前記指向性が低い場合、ノイズキャンセリング処理に用いる前記入力部および前記出力部が略均一に配置されるように１または複数の前記入力部および前記出力部を選択する（８）または（９）に記載の信号処理装置。
（１１）
前記騒音に関する情報は、前記騒音の反射を示す情報である（２）から（１０）のいずれかに記載の信号処理装置。
（１２）
前記反射により、前記騒音が向かう位置に近い１または複数の前記入力部および該入力部に対応する前記出力部を選択する（１１）に記載の信号処理装置。
（１３）
ノイズキャンセリング処理の対象となる空間を撮影した画像に基づいて前記騒音に関する情報を取得する（２）から（１２）のいずれかに記載の信号処理装置。
（１４）
前記騒音に関する情報は、ユーザにより入力される（２）に記載の信号処理装置。
（１５）
複数の入力部と、該複数の入力部のそれぞれに対応する複数の出力部のうち、騒音を低減させるノイズキャンセリング処理に用いる前記入力部および前記出力部を選択してノイズキャンセリング処理を行う
信号処理方法。
（１６）
複数の入力部と、該複数の入力部のそれぞれに対応する複数の出力部のうち、騒音を低減させるノイズキャンセリング処理に用いる前記入力部および前記出力部を選択してノイズキャンセリング処理を行う
信号処理方法をコンピュータに実行させる信号処理プログラム。

１００・・・信号処理装置
１１０・・・ノイズキャンセリング処理部
Ｍ・・・・・マイクロホン
Ｓ・・・・・スピーカ

Claims

騒音低減の対象となる範囲の音声および騒音を集音する複数のマイクロホンと、前記複数のマイクロホンのそれぞれに対応し、騒音低減用のキャンセル信号を出力する複数のスピーカのうち、騒音を低減させるノイズキャンセリング処理に用いる前記マイクロホンおよび前記スピーカを選択してノイズキャンセリング処理を行う際に、
前記騒音に関する情報として前記騒音の周波数特性を取得し、
前記周波数特性の高域成分が所定の値以下である場合、前記ノイズキャンセリング処理に用いる前記マイクロホンおよび前記スピーカが略均一に配置されるように１または複数の前記マイクロホンおよび前記スピーカを選択する
信号処理装置。
前記騒音に関する情報は、前記騒音を発生させる騒音源の位置である
請求項１に記載の信号処理装置。
前記マイクロホンから入力される音声信号のレベルに基づいて前記騒音源の位置を取得する
請求項２に記載の信号処理装置。
前記複数のマイクロホンのうち、前記騒音源の位置に近い１または複数の前記マイクロホンおよび前記マイクロホンに対応する前記スピーカを選択する
請求項２に記載の信号処理装置。
前記騒音に関する情報は、前記騒音の指向性である
請求項１に記載の信号処理装置。
前記騒音の前記指向性が高い方向の延長線上に位置する１または複数の前記マイクロホンおよび前記スピーカを選択する
請求項５に記載の信号処理装置。
前記騒音の前記指向性が低い場合、ノイズキャンセリング処理に用いる前記マイクロホンおよび前記スピーカが略均一に配置されるように１または複数の前記マイクロホンおよび前記スピーカを選択する
請求項５に記載の信号処理装置。
前記騒音に関する情報は、前記騒音の反射を示す情報である
請求項１に記載の信号処理装置。
前記反射により、前記騒音が向かう位置に近い１または複数の前記マイクロホンおよび前記マイクロホンに対応する前記スピーカを選択する
請求項８に記載の信号処理装置。
ノイズキャンセリング処理の対象となる空間を撮影した画像に基づいて前記騒音に関する情報を取得する
請求項１に記載の信号処理装置。
前記騒音に関する情報は、ユーザにより入力される
請求項１に記載の信号処理装置。
騒音低減の対象となる範囲の音声および騒音を集音する複数のマイクロホンと、前記複数のマイクロホンのそれぞれに対応し、騒音低減用のキャンセル信号を出力する複数のスピーカのうち、騒音を低減させるノイズキャンセリング処理に用いる前記マイクロホンおよび前記スピーカを選択してノイズキャンセリング処理を行う際に、
前記騒音に関する情報として前記騒音の周波数特性を取得し、
前記周波数特性の高域成分が所定の値以下である場合、前記ノイズキャンセリング処理に用いる前記マイクロホンおよび前記スピーカが略均一に配置されるように１または複数の前記マイクロホンおよび前記スピーカを選択する
信号処理方法。
騒音低減の対象となる範囲の音声および騒音を集音する複数のマイクロホンと、前記複数のマイクロホンのそれぞれに対応し、騒音低減用のキャンセル信号を出力する複数のスピーカのうち、騒音を低減させるノイズキャンセリング処理に用いる前記マイクロホンおよび前記スピーカを選択してノイズキャンセリング処理を行う際に、
前記騒音に関する情報として前記騒音の周波数特性を取得し、
前記周波数特性の高域成分が所定の値以下である場合、前記ノイズキャンセリング処理に用いる前記マイクロホンおよび前記スピーカが略均一に配置されるように１または複数の前記マイクロホンおよび前記スピーカを選択する
信号処理方法をコンピュータに実行させる信号処理プログラム。