JP7146404B2 - 信号処理装置、信号処理方法、及びプログラム - Google Patents

Description

本発明は、複数のスピーカにより再生される音響信号を生成する技術に関する。

複数のスピーカを用いて音を再生する際に、各スピーカから出力される音の音量や位相を制御することで特定の音を指定された方向に定位させるパンニングという技術がある。この技術によれば、特定の音が指定された方向から聞こえるように聴者に知覚させることができる。特許文献１では、音を定位させる目標範囲が決定された場合に、目標範囲内に複数の仮想音源を設定することで、目標範囲に応じた空間的な広がりを知覚させる音を再生するための音響信号を生成することが開示されている。

特許第５６５５３７８号公報

しかしながら、特許文献１に記載の技術を用いる場合には、生成される音響信号の再生環境によっては、聴者に知覚される音の広がりが適切に制御できない虞がある。例えば、５．１ｃｈサラウンドなどのスピーカ構成では、前方に対して後方のスピーカの数が少なく、スピーカの配置が等方的ではない。このような配置のスピーカを用いて、特許文献１に記載の方法で生成された音響信号に基づく音を再生した場合、聴者に知覚される音の広がりが音を定位させる方向によって意図せず変化してしまう虞がある。

本発明は上記課題に鑑み、スピーカを用いて音を再生した場合に聴者に知覚される音の広がりを適切に制御するための技術を提供することを目的とする。

上記の課題を解決するため、本発明に係る信号処理装置は、例えば以下の構成を有する。すなわち、入力音響信号から再生用信号を生成する信号処理装置であって、前記再生用信号に基づく音の再生に係る複数のスピーカの配置に関する情報を取得する取得手段と、前記入力信号に対応する音が聴取される聴取位置を特定する特定手段と、前記入力音響信号に対応する音の定位のための複数の仮想音源のそれぞれに対応する重み係数を、前記取得手段により取得される情報により表される前記複数のスピーカの配置と、前記複数の仮想音源に基づいて定位される音に対する前記聴取位置からの方向と、に基づいて設定する設定手段と、前記設定手段により設定される重み係数に基づいて前記入力音響信号を処理することにより、前記再生用信号を生成する生成手段とを有し、前記設定手段は、前記聴取位置に対する前記複数のスピーカの配置が等方的でない場合、前記設定手段により所定値以上の重み係数を設定される仮想音源の数が前記方向に応じて異なる係数となるように、前記重み係数を設定する。

本発明によれば、スピーカを用いて音を再生した場合に聴者に知覚される音の広がりを適切に制御することが可能になる。

実施形態に係る信号処理システムの構成を示すブロック図である。 実施形態に係る信号処理装置の動作について説明するためのフローチャートである。 実施形態に係るスピーカの配置について説明するための図である。 実施形態に係る分布音源について説明するための図である。 実施形態に係るパンニングカーブについて説明するための図である。 実施形態に係る音の広がりについて説明するための図である。 実施形態に係る分布音源の３次元配置について説明するための図である。 実施形態に係る信号処理装置のハードウェア構成を示すブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［システム構成］
図１は、本実施形態に係る音響システム１０の構成例を示すブロック図である。音響システム１０は、マイクロホン１１０、信号処理装置１００、及び１０台のスピーカ（スピーカ１２０－１からスピーカ１２０－１０）を有する。以降では、スピーカ１２０－１からスピーカ１２０－１０を特に区別しない場合には単にスピーカ１２０と記載する。マイクロホン１１０は、所定の収音対象領域の近傍に設置され、収音対象領域における音を収音する。そしてマイクロホン１１０は、収音に基づく音響信号（収音信号）を、マイクロホン１１０に接続された信号処理装置１００へ出力する。

マイクロホン１１０により収音可能な所定の収音対象領域としては、例えば競技場やコンサート会場などが挙げられる。具体的には、マイクロホン１１０は、収音対象領域としての競技場の観客席付近に設置され、観客席に位置する複数の人物から発せられる音を収音する。ただし、マイクロホン１１０により収音される音は人物から発せられる声などの音に限らず、楽器やスピーカなどから発せられる音であってもよい。また、マイクロホン１１０は、複数の音源から発せられる音を収音するものに限らず、単一の音源から発せられる音を収音してもよい。また、マイクロホン１１０の設置位置や収音対象領域は上記に限定されない。なお、マイクロホン１１０は、単一のマイクユニットで構成されていてもよいし、複数のマイクユニットを有するマイクアレイであってもよい。また、音響システム１０において複数のマイクロホン１１０が複数の位置に設置されており、各マイクロホン１１０が信号処理装置１００に収音信号を出力してもよい。

信号処理装置１００は、マイクロホン１１０から入力された入力音響信号としての収音信号に対して信号処理を行うことで再生用の音響信号（再生用信号）を生成し、生成された再生用信号を各スピーカ１２０へ出力する。信号処理装置１００のハードウェア構成について、図８を用いて説明する。信号処理装置１００は、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、補助記憶装置８０４、表示部８０５、操作部８０６、通信Ｉ／Ｆ８０７、及びバス８０８を有する。

ＣＰＵ８０１は、ＲＯＭ８０２やＲＡＭ８０３に格納されているコンピュータプログラムやデータを用いて信号処理装置１００の全体を制御する。なお、信号処理装置１００がＣＰＵ８０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ８０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ８０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ８０３は、補助記憶装置８０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ８０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置８０４は、例えばハードディスクドライブ等で構成され、音響信号などの種々のコンテンツデータを記憶する。

表示部８０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが信号処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部８０６は、例えばキーボードやマウス、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ８０１に入力する。通信Ｉ／Ｆ８０７は、マイクロホン１１０やスピーカ１２０などの外部の装置との通信に用いられる。例えば、信号処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ８０７に接続される。なお、信号処理装置１００が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ８０７はアンテナを備える。バス８０８は、信号処理装置１００の各部を繋いで情報を伝達する。

信号処理装置１００は、図１に示すように、その機能的な構成要素として記憶部１０１、信号処理部１０２、表示制御部１０３、操作検出部１０４、入力部１０５、及び出力部１０６を備える。これらの各機能部は、図８に示したハードウェア構成要素により実現される。記憶部１０１は、収音信号や信号処理に関する設定情報、スピーカ１２０の配置などの各種データを記憶する。信号処理部１０２は、収音信号に対して後述する各種の処理を行い、スピーカ１２０により再生するための再生用信号を生成する。表示制御部１０３は、表示部８０５に各種の情報を表示させる。操作検出部１０４は、操作部８０６を介して入力された操作を検出する。入力部１０５は、マイクロホン１１０からの入力の受付により、マイクロホン１１０による収音に基づく収音信号を取得する。出力部１０６は、生成された複数チャネルの再生用信号を複数のスピーカ１２０へ出力する。

スピーカ１２０は、信号処理装置１００から出力された再生用信号を再生する。具体的には、スピーカ１２０－１からスピーカ１２０－１０にそれぞれ異なるチャネルの再生用信号が入力され、各スピーカ１２０が入力された再生用信号を再生する。これにより、音響システム１０は、スピーカ１２０を利用するユーザ（聴取者１３０）に対して音を聴かせるサラウンド音響システムとして機能する。なお、図１では音響システム１０が１０台のスピーカ１２０を有する場合を示しているが、スピーカ１２０の第数はこれに限らず、複数のスピーカ１２０が音響システム１０に含まれていればよい。また、複数のスピーカ１２０は聴取者１３０が装着可能なヘッドホンやイヤホンに実装されていてもよい。

なお、図１ではマイクロホン１１０と信号処理装置１００が直接接続されており、信号処理装置１００とスピーカ１２０とが直接接続されている例を示しているが、これに限らない。例えば、マイクロホン１１０による収音に基づく収音信号が信号処理装置１００と接続可能な記憶装置（不図示）に記憶され、信号処理装置１００はその記憶装置から収音信号を取得してもよい。また例えば、信号処理装置１００は再生用信号を信号処理装置１００と接続可能な音響機器（不図示）に出力し、その音響機器が再生用信号に処理を行ってスピーカ１２０へ出力してもよい。また、信号処理装置１００は、マイクロホン１１０による収音に基づく収音信号に代えて、コンピュータにより生成された音響信号を入力音響信号として取得してもよい。

［目標範囲への音の定位］
次に、本実施形態に係る信号処理の目的及び概要について説明する。信号処理装置１００は、複数のスピーカ１２０により再生される再生用信号の生成において、各スピーカから出力される音の音量や位相を制御することで、収音信号に基づく特定の音を指定された位置や方向に定位させるパンニングを行う。特定の音を指定された位置や方向に定位させるとは、すなわち、指定された位置や方向から特定の音が聞こえるように聴取者１３０に知覚させるということである。特に本実施形態における音響システム１０においては、音を定位させる目標範囲が指定され、指定された目標範囲の大きさに応じた広がりの感じられる音を定位させるための信号処理が行われる。

図３は、信号処理装置１００が管理するスピーカ１２０の配置と音の定位に関する情報を表している。基準点３００は聴取者１３０の位置と向きを表し、方向３０１から方向３１０は各スピーカ１２０が配置される位置の聴取者１３０から見た方向を表す。目標範囲３２０は、収音信号に基づく特定の音を定位させる範囲を表す。信号処理装置１００は、例えば、目標範囲３２０を基準点３００の真後ろから反時計回りに一周、すなわち水平面で方位角－１８０°～１８０°まで移動させて、定位対象の音の音源が聴取者１３０の周囲を回るように聞こえる音をスピーカに１２０に再生させる。

ここで、目標範囲３２０の大きさに対応する音の広がりを表現するために、図４（ａ）に示すように、目標範囲３２０内に複数の仮想音源（信号処理のパラメータを決定するために仮想空間上に設定される音源。以降、分布音源と呼ぶ。）を設定することを考える。具体的には、基準点３００に対して目標範囲３２０の中心と同じ方向に分布音源４００を設定し、目標範囲３２０内に分布音源４０１から分布音源４０４を等方的に設置する。このように、信号処理装置１００が複数の分布音源を設定し、定位対象の音が各分布音源から発せられているものとして信号処理を行って再生用信号を生成することで、スピーカから広がりの感じられる音を再生することができる。具体的には、信号処理装置１００は、各分布音源にＶＢＡＰ（Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ）処理を行って得られるパンニングゲインを合計して正規化し、各スピーカ１２０に対応するパンニングゲインを決定する。この処理はＭｕｌｔｉｐｅ－Ｄｉｒｅｃｔｉｏｎ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ（ＭＤＡＰ）と呼ばれる。

本実施形態におけるパンニングゲインは、音を所望の方向に定位させるために各スピーカ１２０から再生されるその音の大きさに対応するパラメータである。例えば、スピーカ１２０－１とスピーカ１２０－２のそれぞれに特定の音響信号についてのパンニングゲインが割り振られ、スピーカ１２０－１のパンニングゲインがスピーカ１２０－２のパンニングゲインより大きい場合を考える。この場合、スピーカ１２０－１からは、スピーカ１２０－２から再生されるより大きい音量でその特定の音響信号が再生される。その結果、聴取者１３０には、その特定の音響信号に対応する音がスピーカ１２０－２よりもスピーカ１２０－１に近い方向から聞こえるように知覚される。

図４（ａ）の例では、分布音源４００から分布音源４０４を目標範囲３２０の方向を中心として等方的に分布させている。このため式（１）で表される、各スピーカ１２０のパンニングゲインｇ_ｉを線形結合の係数とする、スピーカ方向ベクトルｓ_ｉの合成ベクトルｐの方向（再生される音の定位方向を表す）は、目標範囲３２０の中心方向を表すベクトルｔと一致する。式（１）においてＳはスピーカの数を表し、図４の例ではＳ＝１０である。

図４（ａ）のように分布音源を設定した場合、目標範囲３２０を一周させた際の各スピーカのパンニングゲインの移り変わり（パンニングカーブ）は、図５（ａ）のようになる。－１８０°～１８０°の各方向において、上記合成ベクトルｐの方向こそ目標範囲３２０の中心方向を表すベクトルｔと一致するものの、縦点線で示される各スピーカの方向とはずれた方向で極大となる、不自然でいびつなパンニングカーブになっている。これは、複数のスピーカ１２０が均等に配置されず、隣接するスピーカ１２０との配置方向の差がスピーカ１２０によって異なる（例えば聴取者１３０の前方には多数のスピーカ１２０が配置され、後方には少数のスピーカが配置される）ためであると考えられる。

そこで図４（ｂ）のように、目標範囲３２０の中心方向との成す角（方向の差）が大きいほど重み係数を小さくしたＤ個の分布音源を設定することを考える。図４（ｂ）における各分布音源の大きさは、各分布音源の重み係数を表している。各分布音源の重み係数は、例えばσをパラメータとするガウス関数に従って設定される。図４（ｂ）において分布音源は、図４（ａ）のように目標範囲３２０内に限定して設定されるのではなく、基準点３００に対して全周にわたって等方的にＤ個設定されている。このとき各スピーカ１２０のパンニングゲインは、各分布音源にＶＢＡＰ処理を行って得られるパンニングゲインを、全分布音源について重み付きで合計して正規化することで得られる。すなわち、信号処理装置１００は、定位対象の音が各分布音源から重み係数に応じた音の大きさで発せられているものとして信号処理を行って再生用信号を生成する。図４（ｂ）のように分布音源を設定した場合、目標範囲３２０を一周させた際のパンニングカーブは図５（ｂ）のようになる。すなわち、スピーカの配置に偏りがあっても、縦点線で示される各スピーカ方向の近傍で極大となる、自然で滑らかなパンニングカーブが得られる。

しかしながら、図４（ｂ）に示すような重み付きの分布音源の設定を行った場合でも、再生される音の広がりに関してスピーカ配置の疎密に起因する以下のような課題がある。図６（ａ）は、目標範囲３２０の中心方向θ_ｔ＝－１５６°で、分布音源の重み係数を制御するガウス関数のσ＝２０°とした例を示している。ここで、各方向３０１～３１０を表す線における太線部分の割合が、各方向に配置されるスピーカの算出されたパンニングゲインを表している。図６（ａ）の場合、θ_５＝－１３５°の方向３０５に対応するスピーカ１２０－５のパンニングゲインや、θ_６＝１８０°の方向３０６に対応するスピーカ１２０－６のパンニングゲインが大きく、その他のスピーカ１２０のパンニングゲインは小さい値となる。

一方、図６（ｂ）は、分布音源の重み係数を制御するσ＝２０°のまま、目標範囲３２０の中心方向θ_ｔ＝０°とした例である。この場合、θ_ｔと一致するθ_１＝０°の方向３０１に対応するスピーカ１２０－１のパンニングゲインが最も大きい。そしてその両側に位置する、θ_２＝－２２．５°の方向３０１に対応するスピーカ１２０－２及びθ_１０＝２２．５°の方向３１０に対応するスピーカ１２０－１０もある程度のパンニングゲインを有する。そして、より外側のθ_３＝－４５°の方向３０３に対応するスピーカ１２０－３や、θ_９＝４５°の方向３０９に対応するスピーカ１２０－９などのパンニングゲインは小さい。

ここで、図６（ａ）において大きいパンニングゲインを有するスピーカ１２０－５の方向３０５とスピーカ１２０－６の方向３０６との差（開き角）は４５°であり、定位する音は範囲６０１に示されるような音の広がりを持つと考えられる。一方図６（ｂ）において、方向３０２のスピーカ１２０－２と方向３１０のスピーカ１２０－１０との開き角は同じく４５°だが、その間により大きいパンニングゲインを有する方向３０１のスピーカ１２０－１がある。このため、定位する音は範囲６０２に示されるような音の広がりになると考えられ図６（ａ）の範囲６０１と比較すると、図６（ｂ）の場合の音の広がりは図６（ａ）の場合より狭くなっていると考えられる。

以上のことは、分布音源の状態、すなわち分布音源の配置の角度範囲や重み係数を制御するパラメータ等が同じであっても、スピーカ配置の疎密に起因して、得られる音の広がりが方向ごとに変わってしまうことを示唆している。分布音源は、実在する音源ではなく、実際に音を発するスピーカ１２０のパンニングゲインを決定するために設定され計算に用いられる仮想的な音源である。そのため、分布音源を目標範囲３２０に応じて設定しても、聴取者１３０に知覚されるのは算出されたパンニングゲインに基づき再生された各スピーカ１２０からの音であり、その音の広がりはスピーカ配置の疎密に影響されている。

そこで本実施形態では、信号処理装置１００がスピーカ１２０の配置に関する情報を取得し、スピーカ１２０の配置に基づいて分布音源を設定することで、スピーカ配置に偏りがある場合でも所望の音の広がりを実現する。具体的には、信号処理装置１００は、各スピーカ１２０のパンニングゲインと各スピーカ１２０の配置とに基づいて、再生される音の広がりを推定する。そして信号処理装置１００は、推定される音の広がりが指定された目標範囲３２０に合致するように、等方的に配置される複数の分布音源の重み係数を制御するパラメータσを調整する。すなわち、本実施形態では重み最適化ＡＤＡＰ（Ａｌｌ－Ｄｉｒｅｃｔｉｏｎ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ）とも言うべき処理を行う。

ただし、分布音源の設定方法はこれに限らず、例えば、三角波関数の傾斜や、矩形波関数の幅をパラメータとして分布音源の重み係数を制御してもよい。また、これらの関数を用いて分布音源の配置の密度を制御してもよく、具体的には、目標範囲３２０との方向の差が大きいほど分布音源の密度を小さく（間隔を大きく）するように設定してもよい。

スピーカの配置に基づいて分布音源を設定する本実施形態の方法によれば、例えば、図６（ｂ）に示すものと同様の目標範囲３２０が指定された場合に、図６（ｃ）に示すように重み係数の大きい分布音源が広い範囲に設定される。このとき、方向３０１のスピーカ１２０－１と、その両側のスピーカ１２０－２および１２０－１０とのパンニングゲインの差が図６（ｂ）の場合に比べて小さくなる。また、方向３０３のスピーカ１２０－３や方向３０９のスピーカ１２０－９のパンニングゲインが図６（ｂ）の場合に比べて大きくなる。すなわち、再生される音のエネルギーの一方向への集中が抑えられ、より広範囲に分散されている。これにより、範囲６０３に示される図６（ｃ）の場合の音の広がりは、図６（ｂ）の場合の範囲６０２が示す音の広がりより広くなり、図６（ａ）の場合の範囲６０１が示す音の広がりと同程度になる。すなわち、目標範囲３２０の基準点３００に対する方向によらず、目標範囲３２０に合致する音の広がりを感じさせる音を再生することが可能となる。

［動作フロー］
以下では、本実施形態に係る信号処理装置１００の動作について、図２のフローチャートを用いて説明する。図２に示す処理は、信号処理装置１００に収音信号が入力され、再生用信号を生成するための指示が行われたタイミングで開始される。再生用信号を生成するための指示は、信号処理装置１００の操作部８０６を介したユーザ操作により行われてもよいし、他の装置から指示が入力されてもよい。そして、所定の時間長を有する時間ブロックごとに図２に示す処理が繰り返し実行される。ただし図２に示す処理の実行タイミングは上記タイミングに限定されない。図２に示す処理はマイクロホン１１０による収音と並行して実行されてもよいし、マイクロホンによる収音が終了した後に実行されてもよい。図２に示す処理は、ＣＰＵ８０１がＲＯＭ８０２に格納されたプログラムをＲＡＭ８０３に展開して実行することで実現される。なお、図２に示す処理の少なくとも一部を、ＣＰＵ８０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。

Ｓ２００では、入力部１０５が、マイクロホン１１０からの入力を受け付け、マイクロホンによる収音に基づく入力音響信号を取得する。なお、Ｓ２００において取得される入力音響信号は、マイクロホン１１０による収音に基づく収音信号に限らず、コンピュータにより生成された音響信号などであってもよい。

Ｓ２０１では、操作検出部１０４が操作部８０６を介した操作入力を検出し、検出結果に基づいて、仮想空間における特定の音源の位置を表す座標値及び当該特定の音源の大きさを表す音源半径ｒを取得する。この特定の音源は、収音信号に対応する音を発する音源である。例えば、Ｓ２００において取得される収音信号が、競技場の観客席における歓声等をマイクロホン１１０により収音したものである場合に、特定の音源としての観客集団の大きさと位置に対応する情報が取得される。Ｓ２０１において取得される座標値は、例えば仮想空間に対応する世界座標系で表される。

Ｓ２０２では、操作検出部１０４が操作部８０６を介した操作入力を検出し、検出結果に基づいて、仮想空間における聴取者の位置及び向きを表す仮想聴取位置及び仮想聴取方向を取得する。Ｓ２０３では、信号処理部１０２が、Ｓ２０１で取得された仮想空間における音源の位置を表す座標値を、Ｓ２０２で取得された仮想聴取位置を原点とし仮想聴取方向を基準方向とする座標系における座標値に変換する。この座標系は、仮想聴取位置において仮想聴取方向を向いている聴者の頭部を基準とした座標系と考えることができ、以降ではこの座標系を頭部座標系と呼ぶ。これにより、収音信号に対応する音を定位させる目標範囲３２０の中心方向を表す目標定位方向が決定される。

Ｓ２０４では、信号処理部１０２が、仮想空間における仮想聴取位置から特定の音源の位置までの距離及び特定の音源の大きさに基づいて、目標範囲３２０の大きさを表す目標広がり角φ_ｔを決定する。目標広がり角φ_ｔは例えば、Ｓ２０１で取得した音源半径をｒ、Ｓ２０３で算出した頭部座標系における音源位置までの距離をｄとして、式（２）のように算出される。

式（２）に示すように、目標広がり角φ_ｔは、仮想聴取位置が音源半径まで近づいた場合に９０°となり、音源中心に達した場合に１８０°となる。なお、目標広がり角φ_ｔの算出方法はこれに限らず、例えば仮想聴取位置から音源半径を有する円に引いた２本の接線の成す角をφ_ｔとしてもよく、この場合は仮想聴取位置が音源半径まで近づくとφ_ｔが１８０°となる。

上記のように、信号処理部１０２は、Ｓ２０３及びＳ２０４において、再生用信号の再生において収音信号に対応する音を定位させる目標範囲３２０を決定し、決定された目標範囲３２０を示す情報を取得する。具体的には、信号処理部１０２は、空間内の仮想的な聴取位置及び仮想的な聴取方向を指定するための操作に基づいて、目標範囲３２０を決定する。このように決定された目標範囲３２０に応じた再生用信号を後述の処理により生成し再生することで、聴取者１３０に、あたかも指定された位置及び方向で収音信号に対応する特定の音源から発せられる音を聴いているかのように知覚させることができる。例えば、スピーカ１２０により再生される音を聴く聴取者１３０は、競技場内の任意の位置を指定すると、その位置で聴こえるはずの音の方向及び音の広がりを再現した観客の歓声等を聴くことができる。

なお、目標範囲３２０の決定方法は上記に限定されない。例えば、仮想聴取位置、仮想聴取方向、及びその両方が、自動で決定されてもよい。また、仮想聴取位置及び仮想聴取方向が固定されており、信号処理部１０２が特定の音源の位置及び大きさを指定するユーザ操作のみに基づいて目標範囲３２０を決定してもよい。また、表示制御部１０３が図３に示すような画像を表示部８０５に表示させ、操作検出部１０４が表示画像に対するユーザ操作を検出し、その検出結果に基づいて信号処理部１０２が目標範囲３２０を決定してもよい。

また、信号処理装置１００は、マイクロホン１１０の配置情報や、収音対象領域の少なくとも一部を含む撮影画像などを用いて、マイクロホン１１０と特定の音源との位置関係を特定し、目標範囲３２０を決定してもよい。また信号処理装置１００は、マイクロホン１１０による収音の特性（指向性など）に関わる情報として、マイクロホン１１０の識別情報や種別を示す情報を取得し、その情報を用いて目標範囲３２０を決定してもよい。例えばガンマイクのような狭指向性のマイクロホン１１０による収音信号が入力される場合には、目標範囲３２０のサイズを小さくし、広指向性や無指向性のマイクロホン１１０による収音信号が入力される場合には、目標範囲３２０のサイズを大きくしてもよい。これら方法によれば、目標範囲３２０を決定するためのユーザの手間を削減できる。また、信号処理装置１００は、目標範囲３２０を示す情報を他の装置から取得してもよい。また、信号処理装置１００は、目標範囲３２０の指定がない場合に、目標範囲３２０に関するデフォルトで設定されたパラメータを用いてもよい。

なお、本実施形態では目標範囲３２０に対応する方向を表す情報（中心方向と広がり角）が信号処理部１０２により決定される場合について説明するが、目標範囲３２０の表し方はこれに限らない。例えば、信号処理装置１００は、仮想聴取位置と仮想聴取方向を基準とする座標系における目標範囲３２０に対応する領域を表す情報（例えば領域の頂点座標）を決定し、その情報を用いて後述の処理を行ってもよい。また、
Ｓ２０５では、操作検出部１０４が操作部８０６を介した操作入力を検出し、検出結果に基づいて、再生用信号の再生に係る複数のスピーカ１２０の配置に関する情報を取得する情報取得を行う。具体的には、操作検出部１０４は、図３の方向３０１から方向３１０に示すようなそれぞれのスピーカ１２０に対応するスピーカ方向ベクトルｓ_ｉ（ｉ＝１～Ｓ）を取得する。スピーカ１２０の配置はユーザが任意に指定できるようにしてもよいし、５．１ｃｈ配置や２２．２ｃｈ配置などの所定の配置からユーザが選択できるようにしてもよい。

本実施形態において、再生環境（リスニングルーム）における各スピーカ１２０は図１に示すように聴取者１３０を中心に配置され、各スピーカ１２０の配置に関する情報は目標定位方向と同じく、頭部座標系における方向で表される。ただし、スピーカ１２０の配置に関する情報の形式はこれに限らず、例えば各スピーカ１２０の位置を表す座標値の形式であってもよい。また、スピーカ１２０の配置に関する情報はスピーカ１２０の配置を直接的に示す情報でなくてもよく、例えば予め定められた複数パターンのスピーカ配置の何れかに対応する識別情報であってもよい。

また、スピーカ１２０の配置に関する情報の取得方法は上記に限定されない。例えば、信号処理装置１００に接続されているスピーカ１２０の台数などに基づく推定により、スピーカ１２０の配置を示す情報が取得されてもよい。また例えば、スピーカ１２０により再生された音を収音した結果に基づいて、スピーカ１２０の配置を示す情報が取得されてもよい。なお、Ｓ２０５の処理は時間ブロックごとに毎回行われる必要はなく、図２の処理フローが一回目に行われる場合や、スピーカの配置が変更された場合に行われればよい。

Ｓ２０６では、信号処理部１０２が、Ｓ２０５で取得された情報が示す配置のスピーカ１２０における再生において、収音信号に対応する音をＳ２０３で算出した目標定位方向に定位させるための、各スピーカ１２０のパンニングゲインを算出する。なおＳ２０６においては、図４（ａ）から図４（ｃ）に示したような複数の分布音源の設定は行わず、目標定位方向に単一の音源があるものとしてパンニングゲインを算出する。このパンニングゲインは公知のＶＢＡＰ処理により算出可能であり、各スピーカ１２０のパンニングゲインｇ_ｉ（ｉ＝１～Ｓ）が得られる。

Ｓ２０７では、信号処理部１０２が、Ｓ２０５で取得されたスピーカ方向ベクトルｓ_ｉ（ｉ＝１～Ｓ）と、Ｓ２０６で算出されたパンニングゲインｇ_ｉ（ｉ＝１～Ｓ）を用いて、広がり角指標φ_ｅを算出する。広がり角指標φ_ｅは、算出されたパンニングゲインに応じてスピーカ１２０による再生を行った場合の音の広がり度合を表す。広がり各指標φ_ｅの算出方法は限定しないが、例えば、隣接する２つのスピーカのみにパンニングゲインが割り振られ、それらのパンニングゲインが同一の値である場合に、それら２つのスピーカの方向の差と対応する値となるようにφ_ｅが決められる。目標定位方向が何れかのスピーカ１２０の方向と完全に一致しない限り、複数のスピーカ１２０にパンニングゲインが割り振られるため、φ_ｅ＞０となる。

Ｓ２０８では、信号処理部１０２が、Ｓ２０７で算出された広がり角指標φ_ｅがＳ２０４で算出した目標広がり角φ_ｔ未満、すなわちφ_ｅ＜φ_ｔであるかを判定する。φ_ｅ＜φ_ｔであると判定された場合、音の広がり度合を大きくするために、複数の分布音源を設定するべく２０９に進む。一方、広がり角指標φ_ｅが目標広がり角φ_ｔ以上、すなわちφ_ｅ≧φ_ｔであると判定された場合、音の広がり度合を大きくする必要はないため、複数の分布音源の設定は行わずに再生用信号を生成するべくＳ２１６へ進む。すなわち、Ｓ２０８において信号処理部１０２は、再生用信号の生成において複数の分布音源を設定するか否かを判定する。このように、複数の分布音源を設定しなくても十分な音の広がりが得られる場合には分布音源の設定を行わずに再生用信号を生成することで、音の広がり度合が目標広がり角よりも大きくなりすぎてしまうことを抑制できる。ただし、信号処理装置１００は、Ｓ２０８における判定を行わず、広がり角指標φ_ｅの大小によらずにＳ２０９へ処理を進めてもよい。

Ｓ２０９では、信号処理部１０２が、それぞれ異なる方向に対応する複数の分布音源を、仮想聴取位置に対応する基準点を中心として全周に配置する。すなわち、信号処理部１０２により設定される複数の分布音源は、等方的に分布する。例えば、水平面全周３６０°に対し、方位角１０°間隔でＤ＝３６個の分布音源が配置される。なお、各分布音源の方向を示す角度が設定される代わりに、各分布音源の位置を示す座標が設定されてもよい。Ｓ２１０では、信号処理部１０２が、配置された複数の分布音源それぞれに対応する重み係数を設定する。上述したように、本実施形態ではσをパラメータとするガウス関数に従って重み係数が決定される。具体的には、目標範囲３２０の中心に対応する目標定位方向と分布音源に対応する方向との成す角が大きいほど、当該分布音源の重み係数は小さい値に決定される。Ｓ２０９及びＳ２１０において設定された分布音源は、例えば図６（ｃ）に示すようになる。

仮に、図４（ａ）に示すように分布音源を目標範囲３２０内のみに設定すると、複数の分布音源の重み係数の差が無い又は小さい場合には、図５（ａ）のようないびつなパンニングカーブとなる。また、複数の分布音源の重み係数の差が大きい場合には、パンニングカーブこそ滑らかにはなっても、限定された角度範囲内で重み係数の大きい分布音源が支配的となるため、所望の目標広がり角φ_ｔより狭い音の広がりしか実現できないと考えられる。一方、本実施形態では、複数の分布音源を目標範囲３２０内に限らず等方的に分布させ、各分布音源の重み係数を目標範囲３２０に応じて設定することで、所望の目標広がり角φ_ｔに合致する音の広がりを実現できる。

なお本実施形態では、Ｓ２１０における分布音源の重み係数の決定において、複数のスピーカ１２０の配置に関する情報が用いられる。すなわち、信号処理部１０２は、Ｓ２０５で取得される情報が示す複数のスピーカ１２０の配置と、Ｓ２０３及びＳ２０４で決定される目標範囲３２０とに基づいて、収音信号に対応する複数の分布音源を設定する。その結果、複数の分布音源の設定が、複数のスピーカ１２０の配置に応じた設定となる。具体的には、分布音源の重み係数を或る値に設定した場合の各スピーカのパンニングゲインｇ_ｉ（ｉ＝１～Ｓ）が算出され、ｇ_ｉと各スピーカのスピーカ方向ベクトルｓ_ｉ（ｉ＝１～Ｓ）を用いて、分布音源を設定した場合の広がり角指標φ_ｅが算出される。そして、算出されたφ_ｅとＳ２０４で決定された目標広がり角φ_ｔとの差が閾値以下になるように、例えばガウス関数のパラメータσを調整することで、重み係数が更新される。

このような方法で複数の分布音源を設定すると、複数のスピーカ１２０の配置が等方的でない場合には、目標範囲３２０の大きさが一定であっても、所定値以上の重み係数が設定される分布音源の数が目標範囲３２０の方向に応じて異なる。例えば、図６（ａ）に示す場合と図６（ｃ）に示す場合とで、目標範囲３２０の大きさは同一であるが、目標範囲３２０の方向は異なっており、所定値以上の重み係数が設定される分布音源は図６（ｃ）の場合の方が広範囲に広がっている。しかしながら、聴取者１３０の前方のスピーカ１２０の数が多く後方のスピーカ１２０の数が少ない配置となっているため、図６（ａ）の場合と図６（ｃ）の場合とで、音の広がりが同じで音の方向が異なるように聴取者１３０に知覚される。

なお、複数の分布音源の設定方法は上記に限定されるものではなく、スピーカ１２０の配置に関する情報と目標範囲３２０とに基づいて複数の分布音源が設定されれば、他の方法で設定されてもよい。例えば、大きい重み係数を有する２つの分布音源の間に小さい重み係数を有する分布音源が存在してもよい。また、複数の分布音源の配置の密度が方向によって異なっていてもよい。また、複数の分布音源が目標定位方向を中心とする所定の範囲（例えば半周）にのみ設定されてもよい。

また、Ｓ２０９及びＳ２１０において分布音源が設定された場合に、表示制御部１０３は、例えば図６（ｃ）のような設定された複数の分布音源を示す画像を表示部８０５に表示させてもよい。これにより、信号処理装置１００を操作するユーザは、分布音源がどのように設定されているかを確認でき、意図と異なる再生用信号が生成される虞を低減することができる。さらに、操作検出部１０４がこの表示画像に対するユーザの操作を検出し、信号処理部１０２がその検出結果に応じて分布音源の設定を変更してもよい。すなわち、信号処理装置１００は、ユーザによる操作に基づいて複数の分布音源を設定してもよい。また、表示制御部１０３は、図５（ｂ）に示すようなパンニングカーブを表示部８０５に表示させてもよい。

複数の分布音源が設定された場合、Ｓ２１１では、信号処理部１０２が、Ｓ２００で取得された収音信号を、Ｓ２０９及びＳ２１０における複数の分布音源の設定に基づいて処理することで、再生用信号を生成する。具体的には、信号処理部１０２は、設定された複数の分布音源の位置又は方向とＳ２０５で取得された情報が示す複数のスピーカ１２０の配置とに基づいて決まるパラメータを用いて収音信号を処理することで、再生用信号を生成する。ここで生成される再生用信号は、複数のスピーカ１２０に対応する複数チャネルの再生用信号である。上記のパラメータは、例えば各スピーカ１２０から再生される収音信号に基づく音の大きさに対応するパンニングゲインｇ_ｉ（ｉ＝１～Ｓ）である。

なお、分布音源の設定に基づく再生用信号の生成方法は、上記に限定されない。複数のスピーカ１２０が聴取者１３０から等距離に配置されない場合には、再生用信号にスピーカ１２０ごとのレベル補正や遅延補正が行われてもよい。また、Ｓ２０３で算出される、仮想空間における特定の音源の位置と仮想聴取位置との距離ｄに応じて、再生用信号にレベル補正や遅延補正が行われてもよい。

一方、Ｓ２０８において広がり角指標φ_ｅが目標広がり角φ_ｔ以上であると判定された場合、すなわち複数の分布音源を設定しないと判定された場合、Ｓ２１１で信号処理部１０２は、分布音源の設定を用いずに再生用信号を生成する。具体的には、信号処理部１０２は、目標範囲３２０の中心の位置又は方向とＳ２０５で取得される情報が示す複数のスピーカ１２０の配置とに基づいて決まるパラメータを用いて収音信号を処理することで、複数チャネルの再生用信号を生成する。

Ｓ２１１で生成された再生用信号は、記憶部１０１により逐次記憶される。そしてＳ２１２では、出力部１０６が、記憶部１０１に記憶された再生用信号を複数のスピーカ１２０に出力する。この出力された音が複数のスピーカ１２０で再生されることにより、収音信号に対応する音が目標範囲３２０に応じた方向及び音の広がり度合で定位する。なお、再生用信号の出力先のスピーカ１２０が聴取者１３０に装着されるヘッドホンやイヤホンに実装される場合などには、出力部１０６は、再生用信号に対して各スピーカ１２０に対応する頭部伝達関数（ＨＲＴＦ）が適用された信号を出力してもよい。

以上で図２の説明を終わる。なお、以上の説明では、信号処理装置１００が１つの音源に対応する収音信号を取得し、当該収音信号に対応する再生用信号を生成する場合について説明した。ただし、信号処理装置１００は、複数の音源に対応する複数チャネルの収音信号を取得し、複数チャネルの収音信号に対応する再生用信号を生成してもよい。この場合、収音信号のチャネルごとにＳ２０１からＳ２１０の処理が行わる。そして、Ｓ２１１における再生用信号の生成においては、収音信号のチャネルごとに生成された再生用信号を合成することで、スピーカ１２０へ出力される最終的な再生用信号が生成される。なお、信号処理装置１００は、取得した複数チャネルの収音信号のうち一部のチャネルの収音信号について図２で説明した定位処理を行い、他のチャネルの収音信号については定位処理を行わずに再生用信号に合成してもよい。

なお、以上の説明においては、分かり易さのためにスピーカ１２０の配置や分布音源の配置が２次元的である場合を中心に説明したが、本実施形態はスピーカ１２０の配置が３次元的である場合にも適用できる。このとき、Ｓ２０９における分布音源の配置は、例えば以下のように行われる。まず、水平面全周３６０°に対し、方位角１０°間隔で３６個の分布音源が設けられる。次に、水平面における隣接する分布音源間の円弧長Ｌを基準として、１０°間隔の各仰角における隣接する分布音源間の円弧長がＬ以下となるよう、各仰角における分布音源の方位角間隔が定められる。このようにして配置されたＤ＝４５０個の分布音源に対して、Ｓ２１０において重み係数が設定される。図７に、本実施形態を２２．２ｃｈの３次元スピーカ配置に適用した場合における分布音源の設定の例を示す。

以上説明したように、本実施形態に係る信号処理装置１００は、入力音響信号から再生用信号を生成する。具体的には、信号処理装置１００は、再生用信号に基づく音の再生に係る複数のスピーカ１２０の配置に関する情報を取得し、入力音響信号に対応する複数の仮想音源を設定する。この設定において、信号処理装置１００は、複数のスピーカ１２０の配置に応じた複数の仮想音源の設定となるように、取得した複数のスピーカ１２０の配置に関する情報に基づいて複数の仮想音源を設定する。そして信号処理装置１００は、複数の仮想音源の設定に基づいて入力音響信号を処理することにより、再生用信号を生成する。以上のような構成によれば、複数のスピーカ１２０の配置が等方的でない場合においても、所望の音の広がりを実現するための音響信号を生成することができる。

なお、信号処理装置１００は、目標範囲３２０の方向や大きさに対応する各スピーカ１２０のパンニングゲインをルックアップテーブルなどの形式で保持していてもよい。すなわち、信号処理装置１００は、目標範囲３２０と複数のスピーカ１２０それぞれから再生される音の大きさとを対応付ける対応情報を記憶する。そして信号処理装置１００は、目標範囲３２０の設定を受け付け、目標範囲３２０の設定と、予め記憶している上記の対応情報とに基づいて入力音響信号を処理することにより、複数のスピーカ１２０に対応する複数チャネルの再生用信号を生成してもよい。この場合に信号処理装置１００は、上記の対応情報としてのテーブルに登録されていない値を線形補間などにより算出してもよい。このような方法によれば、目標範囲３２０が変わる度に仮想音源を設定し直してパンニングゲインを算出する場合と比較して、信号処理装置１００の処理量を低減することができる。

なお、目標範囲３２０に応じた適切なパンニングゲインは、複数のスピーカ１２０の配置によって異なる。そこで、信号処理装置１００は、上記の対応情報を複数のスピーカ１２０の配置のパターンごとに（例えば５．１ｃｈのパターンと２２．２ｃｈのパターンとで別々に）記憶してもよい。この場合に信号処理装置１００は、スピーカ１２０の配置に関する情報を取得し、取得したスピーカ１２０の配置に関する情報と、受け付けた目標範囲３２０の設定と、記憶している上記の対応情報とに基づいて、再生用信号を生成する。これにより、スピーカ１２０の配置が複数のパターンを取りうる場合においても、所望の音の広がりを実現するための音響信号を生成することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１０ 音響システム
１００ 信号処理装置
１１０ マイクロホン
１２０ スピーカ

Claims (17)

1. 入力音響信号から再生用信号を生成する信号処理装置であって、
   前記再生用信号に基づく音の再生に使用される複数のスピーカの配置に関する情報を取得する取得手段と、
   前記入力信号に対応する音が聴取される聴取位置を特定する特定手段と、
   前記入力音響信号に対応する音の定位のための複数の仮想音源のそれぞれに対応する重み係数を、前記取得手段により取得される情報により表される前記複数のスピーカの配置と、前記複数の仮想音源に基づいて定位される音に対する前記聴取位置からの方向と、に基づいて設定する設定手段と、
   前記設定手段により設定される重み係数に基づいて前記入力音響信号を処理することにより、前記再生用信号を生成する生成手段とを有し、
   前記設定手段は、前記聴取位置に対する前記複数のスピーカの配置が等方的でない場合、前記設定手段により所定値以上の重み係数を設定される仮想音源の数が前記方向に応じて異なる係数となるように、前記重み係数を設定する
   ことを特徴とする信号処理装置。
2. 前記取得手段はさらに、前記入力音響信号に対応する音を定位させる目標範囲を示す情報を取得することを特徴とする請求項１に記載の信号処理装置。
3. 前記取得手段により取得される情報は、前記目標範囲に対応する前記聴取位置からの方向を表す情報、及び前記目標範囲に対応する領域を表す情報の少なくとも何れかを含むことを特徴とする請求項２に記載の信号処理装置。
4. 前記取得手段は、ユーザ操作に基づいて決定される前記目標範囲を取得することを特徴とする請求項２又は３に記載の信号処理装置。
5. 前記特定手段は、空間内の仮想的な聴取位置を指定するためのユーザ操作に基づいて、前記聴取位置を特定することを特徴とする請求項１乃至４の何れか１項に記載の信号処理装置。
6. 前記入力音響信号を取得するためのマイクロホンの配置を示す情報、前記マイクロホンにより収音可能な所定の領域の少なくとも一部を含む撮影画像、及び前記マイクロホンによる収音の特性に関わる情報の少なくとも何れかに基づいて前記目標範囲を決定する決定手段を有し、
   前記取得手段により取得される情報は、前記決定手段により決定される前記目標範囲を示す情報を含むことを特徴とする請求項２乃至５の何れか１項に記載の信号処理装置。
7. 前記設定手段は、前記方向と、前記仮想音源に対応する前記聴取位置からの方向との成す角が大きいほど、当該仮想音源の重み係数を小さい値に設定することを特徴とする請求項１乃至６の何れか１項に記載の信号処理装置。
8. 前記設定手段による前記複数の仮想音源の設定を行うか否かを判定する判定手段を有し、
   前記生成手段は、前記複数の仮想音源の設定を行わないと前記判定手段により判定された場合、前記取得手段により取得される情報により表される前記目標範囲の中心の位置と、前記取得手段により取得される情報により表される前記複数のスピーカの配置とに基づいて決定されるパラメータを用いて前記入力音響信号を処理することで、前記複数のスピーカに対応する複数チャネルの前記再生用信号を生成することを特徴とする請求項２乃至７の何れか１項に記載の信号処理装置。
9. 前記判定手段は、前記複数のスピーカのそれぞれに対する前記聴取位置からの方向に基づいて決定される指標を使用して判定を行うことを特徴とする請求項８に記載の信号処理装置。
10. 前記設定手段により設定される前記複数の仮想音源を示す画像を表示部に表示させる表示制御手段を有することを特徴とする請求項１乃至９の何れか１項に記載の信号処理装置。
11. 前記複数の仮想音源は、等方的に分布することを特徴とする請求項１乃至１０の何れか１項に記載の信号処理装置。
12. 前記入力音響信号は、マイクロホンによる収音に基づいて取得される音響信号であることを特徴とする請求項１乃至１１のいずれか１項に記載の信号処理装置。
13. 前記入力音響信号は、前記マイクロホンにより収音可能な所定の領域に位置する複数の音源から発せられる音に対応する音響信号であることを特徴とする請求項１２に記載の信号処理装置。
14. 前記生成手段は、前記複数の仮想音源の位置又は前記複数の仮想音源に対する前記聴取位置からの方向と、前記情報取得手段により取得される情報により表される前記複数のスピーカの配置とに基づいて決まるパラメータを用いて前記入力音響信号を処理することにより、前記複数のスピーカに対応する複数チャネルの前記再生用信号を生成することを特徴とする請求項１乃至１３の何れか１項に記載の信号処理装置。
15. 入力音響信号から再生用信号を生成するための信号処理方法であって、
    前記再生用信号に基づく音の再生に使用される複数のスピーカの配置を特定する第１の特定工程と、
    前記入力信号に対応する音が聴取される聴取位置を特定する第２の特定工程と、
    前記入力音響信号に対応する音の定位のための複数の仮想音源のそれぞれに対応する重み係数を、前記第１の特定工程において特定される前記複数のスピーカの配置と、前記複数の仮想音源に基づいて定位される音に対する前記聴取位置からの方向と、に基づいて設定する設定工程と、
    前記設定工程において設定される重み係数に基づいて前記入力音響信号を処理することにより、前記再生用信号を生成する生成工程とを有し、
    前記設定工程では、前記聴取位置に対する前記複数のスピーカの配置が等方的でない場合、前記設定手段により所定値以上の重み係数を設定される仮想音源の数が前記方向に応じて異なる係数となるように、前記重み係数が設定される
    ことを特徴とする信号処理方法。
16. 前記設定工程において設定される前記複数の仮想音源は、前記聴取位置に対して等方的に分布することを特徴とする請求項１５に記載の信号処理方法。
17. コンピュータを、請求項１乃至１４の何れか１項に記載の信号処理装置として機能させるためのプログラム。

Images