JP7456106B2 - 信号処理装置、信号処理方法および信号処理システム - Google Patents

Description

本開示は、信号処理装置、信号処理方法および信号処理システムに関する。

音場における音声の波面を複数のマイクロホンで収音し、得られた収音信号に基づいて音場を再現する音場再現手法として、波面合成技術が知られている（例えば、下記特許文献１参照）。

特開２０１６－１００６１３

一般にこの分野では、音声信号の低域成分が極力損なわれることなく音声信号が再生され、且つ、音声信号の再生（出力）に関して様々な設定を行うことが可能とされることが望まれる。

本開示は、音場全体で低域成分が失われることを極力抑制しつつ、音声信号の再生（出力）に関して様々な設定を行うことが可能とされる信号処理装置、信号処理方法および信号処理システムを提供することを目的の一つとする。

本開示は、例えば、
複数の音源データの少なくとも一部に対して波面合成処理を行う音声信号処理部と、
前記音声信号処理部から出力されるＮチャンネルの音声信号に低域をカットする処理を施すフィルタ処理部と、
前記フィルタ処理部から出力されるＮチャンネルの音声信号を第１スピーカー装置に出力する第１出力部と、
前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスするミックス処理部と、
前記ミックス処理部から出力される音声信号をウーハーとして用いられる第２スピーカー装置に出力する第２出力部と
を有し、
前記第２スピーカー装置の出力に関する設定として、前記複数の音源データを前記第２スピーカー装置から再生するか否かの設定が、音源データ毎に可能とされている
信号処理装置である。

本開示は、例えば、
音声信号処理部が、複数の音源データの少なくとも一部に対して波面合成処理を行い、
フィルタ処理部が、前記音声信号処理部から出力されるＮチャンネルの音声信号に低域をカットする処理を施し、
第１出力部が、前記フィルタ処理部から出力されるＮチャンネルの音声信号を第１スピーカー装置に出力し、
ミックス処理部が、前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスし、
第２出力部が、前記ミックス処理部から出力される音声信号をウーハーとして用いられる第２スピーカー装置に出力し、
前記第２スピーカー装置の出力に関する設定として、前記複数の音源データを前記第２スピーカー装置から再生するか否かの設定が、音源データ毎に可能とされている
信号処理方法である。

本開示は、例えば、
第１スピーカー装置と、
第２スピーカー装置と、
前記第１スピーカー装置および前記第２スピーカー装置が接続される信号処理装置と
を有し、
前記信号処理装置は、
複数の音源データの少なくとも一部に対して波面合成処理を行う音声信号処理部と、
前記音声信号処理部から出力されるＮチャンネルの音声信号に低域をカットする処理を施すフィルタ処理部と、
前記フィルタ処理部から出力されるＮチャンネルの音声信号を第１スピーカー装置に出力する第１出力部と、
前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスするミックス処理部と、
前記ミックス処理部から出力される音声信号をウーハーとして用いられる第２スピーカー装置に出力する第２出力部と
を有し、
前記第２スピーカー装置の出力に関する設定として、前記複数の音源データを前記第２スピーカー装置から再生するか否かの設定が、音源データ毎に可能とされている
信号処理システムである。

図１Ａおよび図１Ｂは、波面合成技術の一例を説明する際に参照される図である。 図２は、本開示の一実施形態に係る信号処理システムの構成例を説明する際に参照される図である。 図３は、信号処理システムの他の構成例を説明する際に参照される図である。 図４は、本開示の一実施形態に係る信号処理部の構成例を説明する際に参照される図である。 図５は、本開示の一実施形態に係るフィルタ処理部が有するフィルタの特性を示す図である。 図６は、本開示の一実施形態に係るミックス処理部で行われる処理の具体例を説明する際に参照される図である。 図７は、本開示の一実施形態に係るミックス処理部で行われる処理の具体例を説明する際に参照される図である。 図８は、設定情報を設定する際に使用されるＧＵＩの一例を説明する際に参照される図である。 図９は、設定情報を設定する際に使用されるＧＵＩの一例を説明する際に参照される図である。 図１０は、設定情報を設定する際に使用されるＧＵＩの一例を説明する際に参照される図である。 図１１は、設定情報を設定する際に使用されるＧＵＩの一例を説明する際に参照される図である。 図１２Ａ～図１２Ｃは、設定情報を設定する際に使用されるＧＵＩの一例を説明する際に参照される図である。 図１３は、所定の設定情報を設定する際の処理の流れを示すフローチャートである。 図１４は、変形例を説明するための図である。

以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜波面合成技術について＞
＜一実施形態＞
＜変形例＞
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。

＜波面合成技術について＞
始めに、本技術の理解を容易とするために、波面合成技術と称される音響技術について説明する。近年、多チャンネルのスピーカーから構成されるスピーカーアレイを用いて、新たな音響体験を可能にする波面合成技術が注目されている。係る波面合成技術は、スピーカーアレイの各々のスピーカーの振幅と位相とを制御することにより、空間内の音の波面を物理的に制御する技術（波面合成処理）である。

図１Ａおよび図１Ｂを参照して、波面合成技術を実現する信号処理装置において行われる処理を概略的に説明する。音源データが信号処理装置に入力される。音源メタデータは、音データそのものと、音データの再生位置（位置情報）やゲイン等が記述されたメタデータとを含む。このような音源データは、オブジェクトオーディオとも称され、音源に対応するオブジェクト毎（例えば、楽器や動物毎）に規定されている。音源データが入力された信号処理装置は、再生信号を計算する。信号処理装置は、例えば、音源データに含まれる再生位置とスピーカーアレイの位置とをリアルタイムに比較し、個々のオブジェクトの音データをどのスピーカーから、どれだけの振幅、位相等に基づいて再生するかを計算することで、スピーカーを駆動するためのスピーカー信号を得る。そして、図１Ｂに示すように、得られたスピーカー信号が、対応するスピーカーから再生される。スピーカーから再生される音により合成音場が形成され、波面合成による音の再生が行われる。

ところで、波面合成処理がなされた音声信号を再生するために多チャンネルのスピーカーが用いられることから、一般に個々のスピーカーの口径は小さくなる（例えば、４ｃｍ程度）。スピーカーの口径が小さいことから低域を再生する能力に限界がある。このように口径が小さいスピーカーから低域を含めて音声信号を再生すると、音がでない、若しくは、異音が再生されてしまう虞がある。そこで、予め再生対象の音声信号の低域成分をカットすることが考えられるが、係る方法では異音の発生を防止できるものの、再生音の低域感が欠如してしまう。また、多チャンネルの音声信号の出力に関して様々な設定が可能とされることが好ましい。係る点が考慮されつつ、実施形態の詳細な説明がなされる。

＜一実施形態＞
図２は、本開示の一実施形態に係る信号処理システム（信号処理システム１）の構成例を説明するための図である。信号処理システム１は、例えば、第１スピーカー装置１０と、第２スピーカー装置２０と、第１スピーカー装置１０および第２スピーカー装置２０と有線または無線で接続可能とされる信号処理装置３０とを有している。図２では、第１スピーカー装置１０および第２スピーカー装置２０が信号処理装置３０に有線（ケーブル）で接続された状態が示されている。

（第１スピーカー装置）
第１スピーカー装置１０（アクティブスピーカー等とも称される）は、複数のスピーカーアレイを有している。本実施形態では、第１スピーカー装置１０は、１６個のスピーカーアレイ（スピーカーアレイＳＰＡ１、ＳＰＡ２・・・ＳＰＡ１６）を有している。なお、個々のスピーカーアレイを区別する必要がない場合には、各スピーカーアレイは、スピーカーアレイＳＰＡと総称される。スピーカーアレイＳＰＡは、例えば８個のスピーカーＳＰを有している。各スピーカーＳＰには、チャンネル（ｃｈ）番号が割り当てられている。例えば、スピーカーアレイＳＰＡ１の８個のスピーカーＳＰには、１ｃｈ～８ｃｈのチャンネル番号が割り当てられおり、スピーカーアレイＳＰＡ２の８個のスピーカーＳＰには、９ｃｈ～１６ｃｈのチャンネル番号が割り当てられている。スピーカーアレイＳＰＡ３以降が有する各スピーカーＳＰについても同様にチャンネル番号が割り当てられている。

第１スピーカー装置１０によりＮチャンネルの音声信号の再生が可能とされている。具体的には、本実施形態では、第１スピーカー装置１０により１２８ｃｈ（８×１６）の音声信号の再生が可能とされている。１２８個のスピーカーＳＰは、例えば、水平方向に延在するバーに支持されている。上述したように、スピーカーＳＰは比較的口径が小さい（例えば、４ｃｍ）スピーカーである。第１スピーカー装置１０からは、波面合成処理がなされた音源データに含まれる音データが再生される。

（第２スピーカー装置）
第２スピーカー装置２０は、外部スピーカーユニットＳＰＵを有している。図２では、１個の外部スピーカーユニットＳＰＵが示されているが、第２スピーカー装置２０が、複数個の外部スピーカーユニットＳＰＵを有していても良い。外部スピーカーユニットＳＰＵの接続数が、第２スピーカー装置２０のチャンネル数（Ｘチャンネル）に対応している。外部スピーカーユニットＳＰＵは、外部スピーカー２１と外部スピーカー信号処理部２２とを有している。外部スピーカー信号処理部２２は、信号処理装置３０から供給される音声信号の帯域を所定の周波数以下（例えば、２００Ｈｚ）以下に制限するフィルタ処理（ローパスフィルタによる処理）や、ＤＡ(Digital to Analog)変換処理、増幅処理等を行う。外部スピーカー信号処理部２２により処理が施された音声信号が外部スピーカー２１から再生される。このように、第２スピーカー装置２０はウーハーとして用いられる。

第１スピーカー装置１０と第２スピーカー装置２０とは、音の放射面が互いに対向するように配置されても良いし、音の放射面が同一方向となるように配置されても良い。第１スピーカー装置１０および第２スピーカー装置２０が音の放射面が同一方向となるように配置される場合には、音の放射面が同一面となるようにそれぞれのスピーカー装置が配置されても良いし、音の放射面が聴取位置に対して奥行方向にずれた状態でそれぞれのスピーカー装置が配置されても良い。

（信号処理装置）
信号処理装置３０は、例えば、入力部３１と、信号処理部３２と、操作入力部３３とを有している。入力部３１には、複数の音源データが入力される。入力部３１に対しては、半導体メモリや光ディスク等の記録メディアから音源データが供給されても良いし、インターネットや無線ＬＡＮ(Local Area Network)等のネットワークを介して音源データが供給されても良い。

入力部３１に入力される複数の音源データの少なくとも一部は、波面合成処理が行われる波面合成処理対象の音源データである。複数の音源データに、波面合成処理が行わない波面合成処理非対象の音源データが含まれても良い。一般には、波面合成処理対象の音源データとしては、移動を伴うオブジェクトに対応する音源データが挙げられ、波面合成処理非対象の音源データとしては、自然環境音、ノイズや物音等の空間環境音等のＢＧＭ(Back Ground Music)の音源データが挙げられる。本実施形態では、説明の便宜を考慮してオブジェクトの音源データを波面合成処理対象の音源データとし、ＢＧＭ音源の音源データを波面合成処理非対象の音源データとした説明がなされる。

なお、波面合成処理の対象の音源データであるか否か、即ち、波面合成処理の対象／非対象の何れであるかは、例えば、ユーザにより設定される。音源データに含まれる音データの周波数解析結果等に応じて、波面合成処理の対象／非対象の何れであるかが自動で設定されても良い。また、オブジェクトの音源データの中には移動を伴わない、若しくは移動量が小さいオブジェクトの音源データも存在する。このようなオブジェクトの音源データが、波面合成処理非対象の音源データとして設定されても良い。反対に、ＢＧＭ音源の音源データの中に、波面合成処理対象として設定される音源データがあっても良い。波面合成処理の対象であるかまたは非対象であるかは、例えば、音源データに含まれるメタデータに記述される。

信号処理部３２は、入力部３１から供給される複数の音源データに対して、所定の信号処理を行う。信号処理部３２で行われる処理の詳細については後述される。

操作入力部３３は、操作入力を行うための構成を総称したものである。操作入力部３３には、ボタン、ダイヤル、レバー等の物理的な構成の他、ＧＵＩ(Graphical User Interface)を含む。操作入力部３３に対する操作により、例えば、設定情報が生成される。設定情報の詳細については後述される。

なお、信号処理システム１の構成については、適宜、変更可能である。例えば、図３に示すように、信号処理システム（信号処理システム１Ａ）が、スピーカーアレイＳＰＡのうち半分のスピーカーアレイＳＰＡ１～８に対して音声信号を分配するコントロールユニット４０Ａと、残りのスピーカーアレイＳＰＡ９～１６に対して音声信号を分配するコントロールユニット４０Ｂとを有する構成でも良い。それぞれのコントロールユニットが信号処理装置３０に接続される。係る構成の場合には、コントロールユニット４０Ａ、４０Ｂの動作を同期させる同期制御部４５がそれぞれのコントロールユニットに接続される。

［信号処理部の詳細について］
（信号処理部の構成例）
続いて、図４が参照されつつ、信号処理部３２についての詳細な説明がなされる。図４に示すように、信号処理部３２は、音声信号処理部３２１を有している。また、信号処理部３２は、第１スピーカー装置１０に対応する系として、フィルタ処理部３２２と、第１出力部３２３とを有している。また、信号処理部３２は、第２スピーカー装置２０に対応する系として、ミックス処理部３２４と、第２出力部３２５とを有している。また、信号処理部３２は、設定情報実行部３２６を有している。

音声信号処理部３２１に対しては、上述した入力部３１を介して音源データが供給される。オブジェクトの音源データは、音データそのものと位置情報等のメタデータとを含む。音データは、モノラル（１ｃｈ）の音声データである。音データに対して所定のゲイン調整がなされた後の音データが、当該音データに対応する位置情報と共に、音声信号処理部３２１に供給される。ＢＧＭの音源データは、音データそのものと出力チャンネル情報等のメタデータとを含む。音データは、モノラル（１ｃｈ）の音声データである。音データに対して所定のゲイン調整がなされた後の音データが、当該音データに対応する出力チャンネル情報と共に、音声信号処理部３２１に供給される。

音声信号処理部３２１は、供給される音源データに所定の音声信号処理を行う。例えば、音声信号処理部３２１は、複数の音源データの少なくとも一部、具体的には波面合成処理対象の音源データに対しては波面合成処理を行う。具体的には、音声信号処理部３２１は、個々のスピーカーＳＰうち音データを再生するスピーカーＳＰや当該スピーカーＳＰで再生される音データの振幅、位相等を計算し決定する。このように、音声信号処理部３２１は、オブジェクトオーディオレンダラーとして機能する。音声信号処理部３２１は、波面合成処理非対象の音源データに対しては波面合成処理を行わずに出力する。音声信号処理部３２１による音声信号処理により、第１スピーカー装置１０のチャンネル数に対応するＮチャンネル（本実施形態では、Ｎ＝１２８）の音声信号が生成される。Ｎチャンネルの音声信号が、フィルタ処理部３２２およびミックス処理部３２４のそれぞれに対して出力される。

フィルタ処理部３２２は、例えば、Ｎチャンネルの音声信号の低域をカットするハイパスフィルタである。フィルタ処理部３２２は、例えば１次のＩＩＲ(Infinite Impulse Response)フィルタにより構成されている。フィルタ処理部３２２が、ＦＩＲ(Finite Impulse Response)フィルタによって構成されても良い。フィルタ処理部３２２のカットオフ周波数は、例えば１００～２００Ｈｚの間に設定される。本実施形態では、フィルタ処理部３２２のカットオフ周波数が２００Ｈｚに設定される。図５に、本実施形態に係るフィルタ処理部３２２が有するフィルタの特性が示されている。フィルタ処理部３２２によるフィルタ処理が行われることにより、上述したスピーカーＳＰの再生能力の限界に起因する異音の発生等を防止することができると共に、スピーカーＳＰを保護することができる。フィルタ処理部３２２によるフィルタ処理がなされたＮチャンネルの音声信号が第１出力部３２３に供給される。

第１出力部３２３は、例えば、第１スピーカー装置１０と接続される端子である。第１出力部３２３を介してＮチャンネルの音声信号が第１スピーカー装置１０に対して出力され、Ｎチャンネルの音声信号が第１スピーカー装置１０により再生される。

音声信号処理部３２１から出力されたＮチャンネルの音声信号がミックス処理部３２４に供給される。ミックス処理部３２４で行われる処理の詳細については後述される。ミックス処理部３２４による処理が行われた音声信号が第２出力部３２５に供給される。

第２出力部３２５は、例えば、第２スピーカー装置２０と接続される端子である。第２出力部３２５を介してＸチャンネルの音声信号が第２スピーカー装置２０に対して出力され、Ｘチャンネルの音声信号が第２スピーカー装置２０により再生される。

設定情報実行部３２６は、操作入力部３３を介して入力される設定情報に応じた制御を行う。具体的には、設定情報実行部３２６は、設定情報に対応する設定を実行するように、信号処理部３２の所定の機能を制御する。なお、設定情報の具体例およびそれに伴う設定情報実行部３２６の具体的な動作については後述される。

（ミックス処理部について）
続いて、図６および図７が参照されつつ、ミックス処理部３２４で行われるミックス処理の具体的な内容が説明される。

例えば、図６Ａに示すように、第２スピーカー装置２０が１個の外部スピーカーユニットＳＰＵ１を有する場合（１ｃｈの場合）、ミックス処理部３２４は、図７Ａに示すように、音声信号処理部３２１から供給されるＮチャンネルの音声信号の全てをミックスするミックス処理、すなわちＮチャンネルの音声信号の合成（例えば重ね合わせ）処理を行うことで、所望の出力数（チャンネル数）の音声信号を生成する。係るミックス処理により、例えば１ｃｈの音声信号が生成される。生成された１ｃｈの音声信号は、外部スピーカーユニットＳＰＵ１の外部スピーカー信号処理部２２による処理が行われた後に外部スピーカー２１から再生される。

また、例えば、図６Ｂに示すように、第２スピーカー装置２０が２個の外部スピーカーユニットＳＰＵ１、ＳＰＵ２を有する場合（２ｃｈの場合）、ミックス処理部３２４は、図７Ｂに示すように、音声信号処理部３２１から供給されるＮチャンネルの音声信号を前半、後半の２グループに分離する。例えば、チャンネル数に基づいたグループ分けが行われる。具体的には、Ｎチャンネルの音声信号のうち、１～６４ｃｈの音声信号が前半のグループとして設定され、６５ｃｈ～１２８ｃｈの音声信号が後半のグループとして設定される。そして、前半の（Ｎ／２）ｃｈの音声信号がミックスされ１ｃｈの音声信号が生成される。生成された１ｃｈの音声信号は、外部スピーカーユニットＳＰＵ１の外部スピーカー信号処理部２２による処理が行われた後に、外部スピーカーユニットＳＰＵ１の外部スピーカー２１から再生される。また、後半の（Ｎ／２）ｃｈの音声信号がミックスされ１ｃｈの音声信号が生成される。生成された１ｃｈの音声信号は、外部スピーカーユニットＳＰＵ２の外部スピーカー信号処理部２２による処理が行われた後に、外部スピーカーユニットＳＰＵ２の外部スピーカー２１から再生される。

一般化すると、第２スピーカー装置２０がＸチャンネルの外部スピーカーユニットＳＰＵ（ＳＰＵ１～ＳＰＵＸ）を有する場合に、ミックス処理部３２４は、Ｎチャンネルの音声信号をＮ／Ｘチャンネルの音声信号に分離してからミックス処理を行う（図７Ｃ参照）。

以上説明した本実施形態に係る信号処理システム１では、第２スピーカー装置２０を用いて波面合成処理に使用されるスピーカーアレイが不得意とする低音成分を補強することができるので、低域感が失われることを極力抑制することができると共に、音場全体に音艶の増強と音の広がり感の増大を実現することができる。

［設定情報］
本実施形態に係る信号処理システム１では、様々な設定が可能とされている。係る設定は例えば操作入力部３３を用いて行われる。操作入力部３３は、操作入力に応じた設定情報を生成し、生成した設定情報を設定情報実行部３２６に供給する。設定情報実行部３２６は、設定情報に基づく処理を実行するための制御を行う。係る設定情報は、例えば、第２スピーカー装置２０の出力に関する設定のための情報を含む。設定情報の具体例としては、以下に示す情報が挙げられる。なお、本実施形態では、設定情報Ｉ１、Ｉ３およびＩ４が第２スピーカー装置２０の出力に関する設定のための情報に対応している。複数の設定情報を設定することも可能である。

（設定情報の具体例）
「設定情報Ｉ１」
設定情報Ｉ１は、第２スピーカー装置２０に出力する音源データのオン／オフに関する情報である。設定情報Ｉ１は、例えば、音源データ（波面合成処理対象、非対象を訪わない）毎に設定可能とされる。
設定情報Ｉ１としてオンが設定された音源データはミックス処理部３２４によりミックス処理がなされた後に第２スピーカー装置２０から出力され、設定情報Ｉ１としてオフが設定された音源データは音声信号処理部３２１からミックス処理部３２４に出力されず第２スピーカー装置２０から出力されない。音源データの選択は、例えば、設定情報実行部３２６の制御に応じて音声信号処理部３２１により行われる。

「設定情報Ｉ２」
設定情報Ｉ２は、第１スピーカー装置１０に出力する、波面合成処理非対象の音源データ（本実施形態ではＢＧＭ音源の音源データ）のオン／オフに関する情報である。
設定情報Ｉ２としてオンが設定された音源データはフィルタ処理部３２２によるフィルタがなされた後に第１スピーカー装置１０から出力され、設定情報Ｉ２としてオフが設定された音源データは音声信号処理部３２１からフィルタ処理部３２２に出力されず第１スピーカー装置１０から出力されない。音源データの選択は、例えば、設定情報実行部３２６の制御に応じて音声信号処理部３２１により行われる。

「設定情報Ｉ３」
設定情報Ｉ３は、個別の音源データに対して設定されたイコライザーの設定値に関する情報である。なお、設定情報Ｉ３は、全ての音源データでなく一部の音源データに対してのみ設定された情報でも良い。
設定情報実行部３２６は、設定情報Ｉ３に対応する音源データおよびイコライザーの設定値を音声信号処理部３２１に供給する。音声信号処理部３２１は、設定情報Ｉ３に対応する音源データに対して、設定情報Ｉ３で示される設定値に基づいたイコライザー処理を行う。イコライザー処理は、例えば、設定情報実行部３２６の制御に応じて音声信号処理部３２１により行われる。

「設定情報Ｉ４」
設定情報Ｉ４は、第２スピーカー装置２０から再生される再生信号に対する設定（調整）に関する情報であり、具体的には、ゲイン調整、カットオフ周波数、ディレイ、位相、イコライザーの少なくとも一つに対する設定に関する情報である。
設定情報実行部３２６は、設定情報Ｉ４に対応する音源データおよびイコライザーの設定値をミックス処理部３２４に供給する。ミックス処理部３２４は、設定情報実行部３２６の制御に応じて、ミックス処理後の信号に対して、設定情報Ｉ４で示される設定値に基づいた処理を行う。

（ＧＵＩの例）
上述した設定情報は、例えば、所定のＧＵＩを使用したユーザの操作入力に基づいて設定される。ＧＵＩは、信号処理装置３０が有するディスプレイに表示されても良いし、信号処理装置３０とは異なる装置（パーソナルコンピュータやスマートフォン）に表示されても良い。

図８は、ＧＵＩの一例を示す図である。ＧＵＩの左側には、音源データのリスト５１が表示される。リスト５１に表示された音源データは１つのコンテンツを構成する音源データである。リスト５１に表示されている各音源データに対しては適宜な名称が設定可能とされている。設定された名称は「Ｎａｍｅ」と表示された箇所の下側に表示される。図８に示す例では「Ｏｂｊｅｃｔ１」、「Ｏｂｊｅｃｔ２」・・・「Ａｒｅａ１」と表示されている。なお、「Ａｒｅａ」は、再生エリアが特定のエリアとなるように波面合成処理がなされる音源データを意味する。

ＧＵＩの中央付近には、「Ｅｘｔ．ＳＰ」との文字が表示されており、当該文字の下側には、各音源データに対応するチェックボックス５２が表示されている。「Ｅｘｔ．ＳＰ」は、第２スピーカー装置２０を意味している。チェックボックス５２は、上述した設定情報Ｉ１を設定するための項目である。チェックボックス５２にチェックが付された音源データ（例えば「Ｏｂｊｅｃｔ３」）は、第２スピーカー装置２０から再生される音源データとして設定される。チェックボックス５２にチェックが付されていない音源データ（例えば「Ｏｂｊｅｃｔ１」）は、第２スピーカー装置２０から再生されない音源データとして設定される。設定情報Ｉ１は、波面合成処理対象の音源データだけでなく波面合成処理非対象の音源データに対しても設定可能である。図８に示す例では、チェックボックス５２にチェックが付された波面合成処理非対象の音源データ（例えば「ＢＧＭ１」）は、第２スピーカー装置２０から再生される音源データとして設定される。チェックボックス５２にチェックが付されていない波面合成処理非対象の音源データ（例えば「ＢＧＭ２」）は、第２スピーカー装置２０から再生されない音源データとして設定される。

「Ｅｘｔ.ＳＰ」の左側には「ＡＳ」と表示される。「ＡＳ」はアクティブスピーカーを意味し、具体的には、第１スピーカー装置１０を意味している。波面合成処理対象であるオブジェクトの音源データは全て第１スピーカー装置１０から再生されることから、「ＡＳ」の文字の下側であって各オブジェクトの音源データに対応する位置には全てチェックボックスが付されている。波面合成処理非対称の音源データに対しては、第１スピーカー装置１０から再生するか否かの設定である設定情報Ｉ２が設定可能とされている。図８に示す例では、「ＢＧＭ１」および「ＢＧＭ２」の音源データに対応するチェックボックス欄にチェックが付されていることから当該音源データが第１スピーカー装置１０から再生される。一方、「ＢＧＭ３」の音源データに対応するチェックボックス欄にチェックが付されていないことから当該音源データは第１スピーカー装置１０から再生されない。

「ＡＳ」の右側には、「Ｇａｉｎ」との文字５４が表示されており、各音源データに対するゲインが設定可能とされている。また、文字５４の右側には、横方向に延びるラインとライン上の黒点が各音源データに対応するように表示されている。係る表示は、ボリューム調整用表示５５である。ボリューム調整用表示５５における黒点の位置を左右に動かすことで音源データ毎のボリューム調整が例えば－６０ｄｂ～２４ｄＢの間で可能とされている。ボリューム調整用表示５５で設定されるボリュームは、第１スピーカー装置１０および第２スピーカー装置２０の両方に作用する。ボリューム調整用表示５５で設定されたボリュームは、例えば、第１出力部３２３および第２出力部３２５の前段に設けられるボリューム調整部（不図示）に設定される。

なお、図９に示すように、ボリューム調整用表示５５の右側にボリューム調整用表示５５Ａが表示されても良い。ボリューム調整用表示５５Ａは、第２スピーカー装置２０から出力される音源データに対してのみ適用されるボリュームの設定を行うための表示である。従って、チェックボックス５２にチェックが付された音源データのみ、ボリューム調整用表示５５Ａによる設定が可能とされる。チェックボックス５２にチェックが付された音源データのみに対応するようにボリューム調整用表示５５Ａが表示されても良い。

「ＡＳ」との表示の左側には、各音源データに対応するマーク５６が表示される。マーク５６は、設定情報Ｉ３を設定するためのマークである。例えば、調整したい対象の音源データに対応するマーク５６をクリックすると、ＧＵＩの画面が図１０に示す画面に遷移する。図１０に示す画面の横軸は周波数（Ｈｚ）を示し、縦軸はゲイン（ｄＢ）を示す。図１０に示す画面を用いてユーザが周波数に対応するゲインを操作入力部３３を用いて適宜、調整することにより設定情報Ｉ３が設定される。

「Ｅｘｔ.ＳＰ」との表示の上には、三角のマークおよび「－２０ｄＢ」との文字を含む表示５７が表示される。表示５７は、音場全体の周波数特性を調整するための表示である。表示５７がクリック等されると、ＧＵＩの画面が図１１に示す画面に遷移する。図１１に示す画面において横軸は周波数（Ｈｚ）を示し、縦軸はゲイン（ｄＢ）を示している。また、図１１に示す画面には、ラインＬ０～ラインＬ３が示されている。ラインＬ０は、第２スピーカー装置２０のカットオフ周波数（例えば、２００Ｈｚ）を示す。ラインＬ１は、第１スピーカー装置１０の出力の周波数特性を示す。ラインＬ２は、第２スピーカー装置２０の出力の周波数特性を示す。ラインＬ３は、第１スピーカー装置１０および第２スピーカー装置を含む音場全体の周波数特性（ラインＬ１とラインＬ２を合成した特性）を示す。

ユーザにより設定情報Ｉ４が設定されることによりラインＬ２の周波数特性が調整され、これに伴い、ラインＬ３で示される周波数特性が極力、フラットにされる。例えば、第１スピーカー装置１０と第２スピーカー装置２０とが、音の放射面が互いに対向するように配置される場合には、ユーザが第１スピーカー装置１０と第２スピーカー装置２０と間で音を聴取しつつ、設定情報Ｉ４が設定される。

設定情報Ｉ４を設定するＧＵＩの具体例についての説明がなされる。特定の周波数領域のゲインを調整するＧＵＩとしては、例えば、図１０に示したＧＵＩと同様のＧＵＩを適用することができる。また、位相を調整可能なＧＵＩとしては、図１２Ａに示すダイヤル状のＧＵＩを例示することができる。ダイヤル状のＧＵＩを適宜な方向に回転させることにより位相が調整される。また、ディレイを調整可能なＧＵＩとしては図１２Ｂに示すＧＵＩを例示することができる。図１２Ｂに示す丸のマークを左右に適宜、移動させることによりディレイが調整される。また、カットオフ周波数（クロスオーバー周波数）を調整可能なＧＵＩとしては図１２Ｃに示すＧＵＩを例示することができる。図１２Ｃに示す丸のマークを左右に適宜、移動させることによりカットオフ周波数が調整される。

例えば、これまでに説明した各種の設定がなされる毎に、図８に示すＧＵＩのおける再生ボタン６１をクリックすることにより音源データの再生を行うことができ、設定の効果を確認することができる。また、図８に示すＧＵＩには、再生を停止するボタン６２や再生を一時停止するボタン６３、再生時間６４、設定を保存する「Ｓａｖｅ」との文字６５等が表示される。

図１３は、例えば設定情報Ｉ４を設定する際の処理の流れを示すフローチャートである。ステップＳＴ１１では、接続される第２スピーカー装置２０の仕様（スペック）が確認され、仕様に応じたカットオフ周波数が設定される。そして、処理がステップＳＴ１２に進む。

ステップＳＴ１２では、第２スピーカー装置２０から音が再生されていることがわかる程度に、第２スピーカー装置２０から再生される音声信号のゲインが調整される。そして、処理がステップＳＴ１３に進む。

ステップＳＴ１３では、例えば、ユーザが第１スピーカー装置１０と第２スピーカー装置２０との間に立ち、位相調整を行う。位相調整の結果、一番、音が大きく聞こえるところに位相が設定される。そして、処理がステップＳＴ１４に進む。

ステップＳＴ１４では、単発音が連続するような音源が再生されつつ、ディレイの調整が行われ、第１スピーカー装置１０と第２スピーカー装置２０との間の音ズレが調整（補正）される。そして、処理がステップＳＴ１５に進む。

ステップＳＴ１５では、スイープ音が再生され、第２スピーカー装置２０側のゲインが調整される。そして、処理がステップＳＴ１６に進む。

ステップＳＴ１６では、スイープ音が再生され、カットオフ周波数が微調整される。以上説明した各調整処理が適宜、繰り返される。もちろん、各調整処理は必ずしも連続的に行われることなく、それぞれが独立して行われても良いし、一部の調整処理のみが行われも良い。

以上説明したように、第２スピーカー装置２０の出力等に関する様々な設定情報が設定可能とされることにより音による演出を拡張することができる。
例えば、設定情報Ｉ１が設定可能とされることにより、オブジェクト音源毎の差別化が可能となり、メリハリのある音場を作ることが可能となる。
また、設定情報Ｉ２が設定可能とされることにより、音像定位不要な音源データ（波面合成処理非対象の音源データ）に対して、第１スピーカー装置１０、第２スピーカー装置２０からの再生のオン／オフの組み合わせを自由に行うことができ、より自然で雰囲気豊かな音表現が可能となる。
また、設定情報Ｉ３が設定可能とされることにより、個別のオブジェクトの音源データにコンテンツ制作者の嗜好を反映させることができる。
また、設定情報Ｉ４が設定可能とされることにより、音場全体の周波数特性をフラットにすることができる。

＜変形例＞
以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例についての説明がなされる。

図１４に示すように、信号処理装置３０と外部機器（例えばパーソナルコンピュータ７０）とがインターネット等のネットワークを介して遠隔接続されても良い。第１スピーカー装置１０および第２スピーカー装置２０を有する音場の所定位置（例えば、第１スピーカー装置１０と第２スピーカー装置２０との間）には、バイノーラルマイクが装着されたダミーヘットＤＨが配置されている。ダミーヘットＤＨに装着されたマイクにより収音された音声は信号処理装置３０によりネットワークを介してパーソナルコンピュータ７０に転送される。パーソナルコンピュータ７０には上述したＧＵＩが表示される。ユーザは、信号処理装置３０から転送された音声を聴取しつつ、ＧＵＩを用いて上述した各種の調整を行う。調整の結果得られる設定情報がネットワークを介して信号処理装置３０に供給され、信号処理装置３０に設定される。係る構成により実際の音場に居なくても、当該現場にいる場合と同様の調整を遠隔操作により可能とすることができる。係るシステムは、音場調整サービスとして提供されることも可能である。

上述した実施形態で説明したように、自然環境音、空間環境音等が波面合成処理非対象の音源データとして扱われることにより、より自然な音場を実現することができる。なお、波面合成処理対象、非対象の仕分けは、コンテンツ制作者の創作意図に基づいてプログラムに対象、非対象の属性を付加することで決定される場合の他、プログラムが音データを解析することにより、自動で行われることも可能である。解析の結果、例えば、周波数的にシンプルな構成になっている音データや、一定の時間間隔で同様の波形が複数回登場する繰り返し音の音データ等については、波面合成処理非対象に仕分けした方が適切である旨がユーザに推奨されても良い。

上述した一実施形態において、コンテンツの内容に対してより相性のいい外部スピーカーユニットＳＰＵの設置個数が、リコメンドされても良い。例えば、複数のオブジェクトの音源データを音場に定位させ、移動しない状態が継続するような場合は、音場の周波数特性を高品質に保持できるので、設置個数として、シンプルに１個の外部スピーカーユニットＳＰＵがリコメンドされる。一方、音源データが、時系列的にスピーカーアレイに対して平行に移動するようなコンテンツの場合、その移動感を第２スピーカー装置２０でもアシストできるように、設置個数として２個の外部スピーカーユニットＳＰＵがリコメンドされる。２個の外部スピーカーユニットＳＰＵを用いて実施形態で説明した信号処理が行われることにより、オブジェクト音源の移動に合わせてパディングで追随するような音表現が可能となる。

上述した実施形態では、第２スピーカー装置２０がウーハーの外部スピーカーユニットＳＰＵにより構成される例について説明されたが、第２スピーカー装置２０がフルレンジのＳＰで構成されても良い。外部スピーカーユニットＳＰＵからは、少なくとも第１スピーカー装置１０に対する系においてカットされる帯域の音声信号が再生されれば良い。

本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。また、本明細書で例示された効果により本開示の内容が限定して解釈されるものではない。

本開示は、以下の構成も採ることができる。
（１）
複数の音源データの少なくとも一部に対して波面合成処理を行う音声信号処理部と、
前記音声信号処理部から出力されるＮチャンネルの音声信号を第１スピーカー装置に出力する第１出力部と、
前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスするミックス処理部と、
前記ミックス処理部から出力される音声信号を第２スピーカー装置に出力する第２出力部と
を有し、
前記第２スピーカー装置の出力に関する設定が可能とされている
信号処理装置。
（２）
前記第２スピーカー装置の出力に関する設定として、前記複数の音源データを前記第２スピーカー装置から再生するか否かの設定が、音源データ毎に可能とされている
（１）に記載の信号処理装置。
（３）
前記波面合成処理の対象とならない音源データについて、前記第１スピーカー装置から再生するか否かの設定が可能とされている
（１）または（２）に記載の信号処理装置。
（４）
前記波面合成処理の対象とならない音源データが複数ある場合に、前記第１スピーカー装置から再生するか否かの設定が音源データ毎に可能とされている
（３）に記載の信号処理装置。
（５）
前記第２スピーカー装置の出力に関する設定として、イコライザーの設定が前記音源データ毎に可能とされている
（１）から（４）までの何れかに記載の信号処理装置。
（６）
前記前記第２スピーカー装置の出力に関する設定として、第２スピーカー装置から再生される音声信号に対するゲインに関する調整、カットオフ周波数に関する設定、ディレイに関する設定、位相の設定、イコライザーの設定の少なくとも一つが可能とされている
（１）から（５）までの何れかに記載の信号処理装置。
（７）
前記第２スピーカー装置の出力に関する設定が、ユーザによって行われるように構成されている
（１）から（６）までの何れかに記載の信号処理装置。
（８）
前記第２スピーカー装置の出力に関する設定が、遠隔操作によってなされるように構成されている
（１）から（７）までの何れかに記載の信号処理装置。
（９）
前記音源データ毎に、前記波面合成処理の対象／非対象の何れの音源データであるかが設定されている
（１）から（８）までの何れかに記載の信号処理装置。
（１０）
前記波面合成処理の対象／非対象の何れの音源データであるかが自動で設定される
（９）に記載の信号処理装置。
（１１）
音声信号処理部が、複数の音源データの少なくとも一部に対して波面合成処理を行い、
第１出力部が、前記音声信号処理部から出力されるＮチャンネルの音声信号を第１スピーカー装置に出力し、
ミックス処理部が、前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスし、
第２出力部が、前記ミックス処理部から出力される音声信号を第２スピーカー装置に出力し、
前記第２スピーカー装置の出力に関する設定が可能とされている
信号処理方法。
（１２）
第１スピーカー装置と、
第２スピーカー装置と、
前記第１スピーカー装置および前記第２スピーカー装置が接続される信号処理装置と
を有し、
前記信号処理装置は、
複数の音源データの少なくとも一部に対して波面合成処理を行う音声信号処理部と、
前記音声信号処理部から出力されるＮチャンネルの音声信号を前記第１スピーカー装置に出力する第１出力部と、
前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスするミックス処理部と、
前記ミックス処理部から出力される音声信号を前記第２スピーカー装置に出力する第２出力部と
を有し、
前記第２スピーカー装置の出力に関する設定が可能とされている
信号処理システム。

１・・・信号処理システム
１０・・・第１スピーカー装置
２０・・・第２スピーカー装置
３０・・・信号処理装置
３２・・・信号処理部
３２１・・・音声信号処理部
３２２・・・フィルタ処理部
３２３・・・第１出力部
３２４・・・ミックス処理部
３２５・・・第２出力部
３２６・・・設定情報実行部
ＳＰＡ・・・スピーカーアレイ
ＳＰ・・・スピーカー
ＳＰＵ・・・外部スピーカーユニット

Claims (11)

1. 複数の音源データの少なくとも一部に対して波面合成処理を行う音声信号処理部と、
   前記音声信号処理部から出力されるＮチャンネルの音声信号に低域をカットする処理を施すフィルタ処理部と、
   前記フィルタ処理部から出力されるＮチャンネルの音声信号を第１スピーカー装置に出力する第１出力部と、
   前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスするミックス処理部と、
   前記ミックス処理部から出力される音声信号をウーハーとして用いられる第２スピーカー装置に出力する第２出力部と
   を有し、
   前記第２スピーカー装置の出力に関する設定として、前記複数の音源データを前記第２スピーカー装置から再生するか否かの設定が、音源データ毎に可能とされている
   信号処理装置。
2. 前記波面合成処理の対象とならない音源データについて、前記第１スピーカー装置から再生するか否かの設定が可能とされている
   請求項１に記載の信号処理装置。
3. 前記波面合成処理の対象とならない音源データが複数ある場合に、前記第１スピーカー装置から再生するか否かの設定が音源データ毎に可能とされている
   請求項２に記載の信号処理装置。
4. 前記第２スピーカー装置の出力に関する設定として、イコライザーの設定が前記音源データ毎に可能とされている
   請求項１に記載の信号処理装置。
5. 前記第２スピーカー装置の出力に関する設定として、第２スピーカー装置から再生される音声信号に対するゲインに関する調整、カットオフ周波数に関する設定、ディレイに関する設定、位相の設定、イコライザーの設定の少なくとも一つが可能とされている
   請求項１に記載の信号処理装置。
6. 前記第２スピーカー装置の出力に関する設定が、ユーザによって行われるように構成されている
   請求項１に記載の信号処理装置。
7. 前記第２スピーカー装置の出力に関する設定が、遠隔操作によってなされるように構成されている
   請求項１に記載の信号処理装置。
8. 前記音源データ毎に、前記波面合成処理の対象／非対象の何れの音源データであるかが設定されている
   請求項１に記載の信号処理装置。
9. 前記波面合成処理の対象／非対象の何れの音源データであるかが自動で設定される
   請求項８に記載の信号処理装置。
10. 音声信号処理部が、複数の音源データの少なくとも一部に対して波面合成処理を行い、
    フィルタ処理部が、前記音声信号処理部から出力されるＮチャンネルの音声信号に低域をカットする処理を施し、
    第１出力部が、前記フィルタ処理部から出力されるＮチャンネルの音声信号を第１スピーカー装置に出力し、
    ミックス処理部が、前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスし、
    第２出力部が、前記ミックス処理部から出力される音声信号をウーハーとして用いられる第２スピーカー装置に出力し、
    前記第２スピーカー装置の出力に関する設定として、前記複数の音源データを前記第２スピーカー装置から再生するか否かの設定が、音源データ毎に可能とされている
    信号処理方法。
11. 第１スピーカー装置と、
    第２スピーカー装置と、
    前記第１スピーカー装置および前記第２スピーカー装置が接続される信号処理装置と
    を有し、
    前記信号処理装置は、
    複数の音源データの少なくとも一部に対して波面合成処理を行う音声信号処理部と、
    前記音声信号処理部から出力されるＮチャンネルの音声信号に低域をカットする処理を施すフィルタ処理部と、
    前記フィルタ処理部から出力されるＮチャンネルの音声信号を第１スピーカー装置に出力する第１出力部と、
    前記音声信号処理部から出力されるＮチャンネルの音声信号をミックスするミックス処理部と、
    前記ミックス処理部から出力される音声信号をウーハーとして用いられる第２スピーカー装置に出力する第２出力部と
    を有し、
    前記第２スピーカー装置の出力に関する設定として、前記複数の音源データを前記第２スピーカー装置から再生するか否かの設定が、音源データ毎に可能とされている
    信号処理システム。

Images