JP5773540B2

JP5773540B2 - 記録された音場の再構築

Info

Publication number: JP5773540B2
Application number: JP2012532418A
Authority: JP
Inventors: クレイグジン，; スカイク，アンドレヴァン; ニコラスエパイン，
Original assignee: University of Sydney
Current assignee: University of Sydney
Priority date: 2009-10-07
Filing date: 2010-10-06
Publication date: 2015-09-02
Anticipated expiration: 2030-10-06
Also published as: AU2010305313B2; US9113281B2; US20120259442A1; EP2486561A4; WO2011041834A1; EP2486561A1; AU2010305313A1; EP2486561B1; JP2013507796A

Description

本開示は一般に、記録された音場の再構築に関し、より詳細には、圧縮検知及び独立成分解析のうちの少なくとも一方に関する技術を使用して音場を記録し、次いで再構築するための機器及び方法に関する。

［関連出願の相互参照］
本出願は、本明細書にその内容が参照により完全に組み込まれる、２００９年１０月７日出願のオーストラリア特許仮出願第２００９９０４８７１号の優先権を主張する。

マイクロフォン及びスピーカ（又はヘッドホン）を使用して音場を記録し、次いで再生するための様々な手段が存在する。本開示の焦点は、創造的な変更が許容される芸術的な音場の再生と比較して、正確な音場の再構築及び／又は再生である。現在、音場を正確に記録し、再生するために使用される主な最新の技術が２つあり、すなわち、高次アンビソニックス（ｈｉｇｈｅｒｏｒｄｅｒａｍｂｉｓｏｎｉｃｓ：ＨＯＡ）及び波面合成（ｗａｖｅ−ｆｉｅｌｄｓｙｎｔｈｅｓｉｓ：ＷＦＳ）である。ＷＦＳ技術は一般に、音源ごとにスポットマイクを必要とする。さらに、各音源の位置を決定し、記録しなければならない。次いで、各スポットマイクからの記録は、ＷＦＳの数学的装置を使用して行われる。スポットマイクは、音源ごとに使用可能でないことがあり、又はスポットマイクは、使いにくい場合がある。こうした場合、一般に、例えば線形、円形、又は球状のアレイなど、よりコンパクトなマイクロフォンアレイを使用する。現在、コンパクトなマイクロフォンアレイからの音場の再構築に使用可能な最適な技術は、ＨＯＡである。しかし、ＨＯＡは、（１）スイートスポットが小さいこと、及び（２）数学系が過小制約されているとき（例えば、非常に多くのスピーカが使用されるとき）、再構築の劣化という主に２つの問題を被る。スイートスポットが小さい現象は、音場が小さいスペース領域について正確であるにすぎないことを意味する。

本開示に関するいくつかの用語については、以下で定義される。

「音場を再構築すること」とは、記録された音場を再生することに加えて、１組の解析平面波の方向を使用して、１組の平面波ソース信号及びその関連のソース方向を決定することを指す。通常、密度の高い１組の平面波ソース方向に関連して、平面波ソース信号のベクトルｇの各エントリが関連するソース方向に明確に一致するｇを取得するための解析が行われる。

「頭部伝達関数」（ＨＲＴＦ）又は「頭部インパルス応答」（ＨＲＩＲ）とは、線型システムとして外耳、頭、肩、及び胴を含む人間の聴覚末梢系の方向の音響特性を数学的に指定する伝達関数を指す。ＨＲＴＦは、周波数領域における伝達関数を表し、ＨＲＩＲは、時間領域における伝達関数を表す。

「ＨＯＡ領域」及び「ＨＯＡ領域フーリエ展開」とは、例えばフーリエベッセルシステム、円形高調波法（ｃｉｒｃｕｌａｒｈａｒｍｏｎｉｃｓ）など、高次アンビソニックスのための解析及び合成に使用され得る任意の数学的基準の組を指す。信号は、ＨＯＡ領域の数学的基準の組における信号の展開に基づいて、信号の成分で表され得る。信号がこうした成分で表されるとき、「ＨＯＡ領域」で表されると言われる。ＨＯＡ領域における信号は、他の信号と類似の方法で周波数及び時間領域において表され得る。

「ＨＯＡ」とは、ＨＯＡ領域における音場の表現及び操作を含む一般的な用語である高次アンビソニックスを指す。

「圧縮サンプリング」又は「圧縮検知（ＣｏｍｐｒｅｓｓｅｄＳｅｎｓｉｎｇ）」又は「圧縮検知（ＣｏｍｐｒｅｓｓｉｖｅＳｅｎｓｉｎｇ）」はすべて、スパース領域（ｓｐａｒｓｅｄｏｍａｉｎ）（以下に定義）における信号を解析する１組の技術を指す。

「スパース領域（ＳｐａｒｓｉｔｙＤｏｍａｉｎ）」又は「スパース領域（ＳｐａｒｓｅＤｏｍａｉｎ）」は、サンプリングされた観察値のベクトルｙが、例えば以下の通り行列ベクトル積として書かれ得ることを指す圧縮サンプリング用語である。
ｙ＝Ψｘ
式中、Ψは基本関数の基準であり、ｘにおける係数はほとんどすべてヌルである。ｘにおけるＳ個の係数がヌル以外である場合、観察された現象がスパース領域ΨにおいてＳスパースであると言う。

関数「ｐｉｎｖ」とは、疑似逆行列、正規化された疑似逆行列、又はムーアペンローズ逆行列を指す。

ベクトルｘのＬ１ノルムは、｜｜ｘ｜｜_１によって表され、

によって得られる。

ベクトルｘのＬ２ノルムは、｜｜ｘ｜｜_２によって表され、

によって得られる。

行列ＡのＬ１−Ｌ２ノルムは、｜｜Ａ｜｜_１−２によって表され、
｜｜Ａ｜｜_１−２＝｜｜ｕ｜｜_１
によって得られ、この場合、

であり、ｕ［ｉ］は、ｕのｉ番目の要素であり、Ａ［ｉ，ｊ］は、Ａのｉ番目の行及びｊ番目の列の要素である。

「ＩＣＡ」は、例えば、所与の１組の混合信号について、混合行列及び非混合行列を推定するための手段を提供する数学的方法である独立成分解析である。ＩＣＡは、１組の混合信号についての１組の分離されたソース信号も提供する。

記録された音場の「スパース性（ｓｐａｒｓｉｔｙ）」は、どの程度少数のソースが音場を支配するかの基準を提供する。

ベクトル又は行列の「優位な成分」とは、他の成分の一部より相対値においてかなり大きいベクトル又は行列の成分を指す。例えば、ベクトルｘについて、比率

又は比率の対数

を計算することによって、ｘ_ｊと比較して成分ｘ_ｉの相対値を測定することができる。比率又はログ比が何らかの特定の閾値、すなわちθ_ｔｈを超える場合、ｘ_ｉは、ｘ_ｊと比較して優位な成分と考えられ得る。

「ベクトル又は行列をクリーニングすること」とは、ベクトル又は行列において優位な成分（上記で定義した通り）を検索し、次いで、優位な成分ではない成分の一部を削除する、又はゼロに設定することによってベクトル又は行列を変更することを指す。

「行列Ｍを縮小すること」とは、すべてゼロを含むＭの列を削除し得る操作、及び／又は優位な成分を有していない列を削除し得る操作を指す。代わりに、「行列Ｍを縮小すること」とは、何らかのベクトルｘに応じて行列Ｍの列を削除することを指し得る。この場合、ベクトルｘの優位な成分に対応しない行列Ｍの列は削除される。さらにまた、「行列Ｍを縮小すること」とは、何らかの他の行列Ｎに応じて行列Ｍの列を削除することを指し得る。この場合、行列Ｍの列は、行列Ｎの列又は行に何らかの形で対応していなければならない。この対応があるとき、「行列Ｍを縮小すること」とは、優位な成分を有していない行列Ｎの行又は列に対応する行列Ｍの列を削除することを指す。

「行列Ｍを拡大すること」とは、すべてゼロを含む１組の列を行列Ｍに挿入し得る操作を指す。こうした操作が必要とされ得るときの一例は、行列Ｍの列がより小さい１組の基底関数に対応し、より大きい１組の基底関数に適した方法で行列Ｍを表すことが必要とされるときである。

「時間信号ｘ（ｔ）のベクトルを拡大すること」とは、すべてゼロを含む信号を時間信号のベクトルｘ（ｔ）に挿入し得る操作を指す。こうした操作が必要とされ得るときの一例は、ｘ（ｔ）のエントリがより小さい１組の基底関数に一致する時間信号に対応し、より大きい１組の基底関数に適した方法で時間信号のベクトルｘ（ｔ）を表すことが必要とされるときである。

「ＦＦＴ」とは、高速フーリエ変換を意味する。

「ＩＦＦＴ」とは、逆高速フーリエ変換を意味する。

「バフル付き球状マイクロフォンアレイ」とは、固体球など、剛体バフルに取り付けられるマイクロフォンの球状アレイを指す。バフル付き球状マイクロフォンアレイは、バフルを有していないマイクロフォンのオープン球状アレイとは対照的である。

この開示に関連したいくつかの表記について、以下で説明される。

時間領域及び周波数領域のベクトルは、以下の表記を使用して表されることがある。時間領域信号のベクトルは、ｘ（ｔ）と書かれる。周波数領域において、このベクトルは、ｘと書かれる。換言すれば、ｘは、ｘ（ｔ）のＦＦＴである。この表記との混同を避けるために、時間信号のすべてのベクトルは、明示的にｘ（ｔ）と書き出される。

行列及びベクトルは、太字を使用して表される。行列は太字の大文字を使用して表され、ベクトルは太字の英小文字を使用して表される。

フィルタの行列は、太字の大文字を使用して、例えば時間領域において表されるときには明示的な時間成分によってＭ（ｔ）のように、又は周波数領域において表されるときには明示的な周波数成分によってＭ（ω）のように表される。この定義の残りの部分では、フィルタの行列が時間領域において表されると仮定する。次いで、行列の各エントリは、それ自体、有限インパルス応答フィルタである。行列Ｍ（ｔ）の列インデックスは、行列によってフィルタ処理されるべき時間信号の何らかのベクトルのインデックスに対応するインデックスである。行列Ｍ（ｔ）の行インデックスは、出力信号のグループのインデックスに対応する。フィルタの行列が時間信号のベクトルに対して演算を行うとき、「乗算演算子」は、以下でさらに詳細に説明される畳込み演算子である。

は、畳込みを意味する数学的演算子である。この演算子は、時間信号のベクトルによる（一般の行列として表される）フィルタの行列の畳込みを表すために使用され得る。例えば、

は、ｘ（ｔ）の対応する時間信号のベクトルによるフィルタの行列Ｍ（ｔ）の畳込みを表す。Ｍ（ｔ）の各エントリはフィルタであり、Ｍ（ｔ）の各列に沿って並ぶエントリは、時間信号ｘ（ｔ）のベクトルに含まれる時間信号に対応する。Ｍ（ｔ）の各行に沿って並ぶフィルタは、出力信号のベクトルｙ（ｔ）における異なる時間信号に対応する。具体例として、ｘ（ｔ）は、１組のマイクロフォン信号に対応し、一方、ｙ（ｔ）は、１組のＨＯＡ領域の時間信号に対応し得る。この場合、式

は、マイクロフォン信号がＭ（ｔ）の各行によって得られる１組のフィルタでフィルタ処理され、次いで合計されて、ｙ（ｔ）でＨＯＡ領域成分信号のうちの１つに対応する時間信号を提供することを示す。

信号処理操作のフローチャートは、数字を使用して、特定のステップ番号を示し、文字を使用して、いくつかの異なる操作パスのうちの１つを示すことによって表される。したがって、例えば、ステップ１．Ａ．２．Ｂ．１は、第１のステップに、代替の操作パスＡがあり、パスＡは第２のステップを有し、第２のステップは代替の操作パスＢを有し、パスＢは第１のステップを有することを示す。

第１の態様において、記録された音場を再構築するための機器が提供され、当該機器が
音場を測定して記録されたデータを取得するための検知装置と、
検知装置と通信し、
（ａ）記録された音場のスパース性を推定すること、及び
（ｂ）記録された音場を再構築することができるように平面波信号及びその関連のソース方向を取得することのうちの少なくとも１つのために記録されたデータを処理する信号処理モジュールと
を含む。

検知装置は、マイクロフォンアレイを備え得る。マイクロフォンアレイは、バフル付きアレイ及びオープン球状アレイのうちの一方でもよい。

信号処理モジュールは、以下の態様３及び４のうちの一方の方法に従って記録されたデータのスパース性を推定するように構成され得る。

さらに、信号処理モジュールは、以下の態様５〜７の方法を使用して、記録された音場を解析して、音場におけるソースを分離し、ソース位置を識別する１組の平面波信号を取得し、音場を再構築できるように構成され得る。

信号処理モジュールは、１組の平面波信号を変更して、残響などの不要なアーチファクト及び／又は不要な音源を低減するように構成され得る。残響を低減するために、信号処理モジュールは、平面波信号における信号のうちのいくつかの信号値を低減することができる。不要な音源が低減され得るように、音場の再構築において音源を分離するために、信号処理モジュールは、１組の平面波信号における信号のうちのいくつかをゼロに設定するように動作可能であり得る。

当該機器は、再構築された音場を再生するための再生装置を含み得る。再生装置は、スピーカアレイ及びヘッドホンのうちの一方とすることができる。信号処理モジュールは、再構築された音場を再生するためにどの再生装置が使用されるかに基づいて、記録されたデータを変更するように動作可能とすることができる。

第２の態様において、記録された音場を再構築するための方法が提供され、当該方法が、
時間領域技術及び周波数領域技術のうちの一方を使用して、スパース領域における記録されたデータを解析するステップと、
周波数領域技術を使用するとき、ＦＦＴを使用して１組の信号ｓ _ｍｉｃ（ｔ）を周波数領域に変換してｓ _ｍｉｃを取得して、以下の第１の凸計画問題を解決することによって、前記記録された音場の平面波解析を行い、周波数領域の平面波形振幅のベクトルｇ _{ｐｌｗ−ｃｓ} を生成し、
前記第１の凸計画問題は、

という条件で、｜｜ｇ _{ｐｌｗ−ｃｓ} ｜｜ _１を最小にする問題であり、
式中で、Ｔ _{ｐｌｗ／ｍｉｃ} が、前記平面波とマイクロフォンとの間の伝達行列であり、
ｓ _ｍｉｃが、マイクロフォンアレイによって記録される前記１組の信号であり、
ε _１が、負でない実数であり、
時間領域技術を使用するとき、信号ｓ _ｍｉｃ（ｔ）から行列Ｂ _ＨＯＡを取得し、以下の第２の凸計画問題を解決することによって、前記記録された音場の平面波解析を行い、時間領域の平面波形信号の行列Ｇ _ｐｌｗを生成し、
前記第２の凸計画問題は、
｜｜Ｙ _ｐｌｗＧ _ｐｌｗ −Ｂ _ＨＯＡ｜｜ _Ｌ２ ≦ε _１という条件で、
｜｜Ｇ _ｐｌｗ｜｜ _{Ｌ１−Ｌ２} を最小にする問題であり、
式中のＹ _ｐｌｗが、列が何らかの組の解析平面波に対応する１組の方向についての球面調和関数の値である行列であり、
ε _１が、負でない実数である、ステップと、
前記記録された音場を再構築することができるように、選択された技術から生成された平面波信号及びその関連のソース方向を取得するステップと、
を含む。

当該方法は、音響検知装置を使用して、１組の信号ｓ_ｍｉｃ（ｔ）の形で記録されたデータを取得するために、音場の音声の時間フレームを記録するステップを含み得る。好ましくは、音響検知装置は、マイクロフォンアレイを備える。マイクロフォンアレイは、バフル付き、又はオープン球状マイクロフォンアレイとすることができる。

当該方法は、記録された音場のスパース性を計算するために圧縮検知又は凸最適化技術を使用して記録されたデータを解析することによって、記録された音場のスパース性を推定するステップを含み得る。

当該方法は、ＨＯＡ領域における記録された音場を解析して、ＨＯＡ領域の時間信号のベクトルｂ_ＨＯＡ（ｔ）を取得し、所与の時間フレームＬにわたってＨＯＡ領域の時間信号のベクトルをサンプリングして、時刻ｔ_１〜ｔ_Ｎにおいて時間サンプルの集まりを取得して、以下によって、行列Ｂ_ＨＯＡとして表される各時刻における１組のＨＯＡ領域ベクトルｂ_ＨＯＡ（ｔ_１），ｂ_ＨＯＡ（ｔ_２），・・・，ｂ_ＨＯＡ（ｔ_Ｎ）を取得するステップを含み得る。

Ｂ_ＨＯＡ＝［ｂ_ＨＯＡ（ｔ_１），ｂ_ＨＯＡ（ｔ_２），・・・，ｂ_ＨＯＡ（ｔ_Ｎ）］
当該方法は、特異値分解をＢ_ＨＯＡに適用して、行列分解
Ｂ_ＨＯＡ＝ＵＳＶ^Ｔ
を取得するステップを含み得る。

当該方法は、ｍがＢ_ＨＯＡの行の数である場合、Ｓの最初のｍ個の列のみを保持することによって行列Ｓ_{ｒｅｄｕｃｅｄ}を形成し、
Ω＝ＵＳ_{ｒｅｄｕｃｅｄ}
によって得られる行列Ωを形成するステップを含み得る。

当該方法は、行列Γについて、以下の凸計画問題を解決するステップを含み得る。

ここでの凸計画問題とは、
｜｜Ｙ_ｐｌｗΓ−Ω｜｜_Ｌ２≦ε_１の条件で、｜｜Γ｜｜_{Ｌ１−Ｌ２}を最小にする問題である。
Ｙ_ｐｌｗは、列が何らかの１組の解析平面波に対応する１組の方向についての球面調和関数の値である行列（高い球面調和次数に切り捨てられる）であり、
ε_１は、負でない実数である。

当該方法は、以下を使用して、ΓからＧ_ｐｌｗを取得するステップを含み得る。

Ｇ_ｐｌｗ＝ΓＶ^Ｔ
式中、Ｖ^Ｔは、Ｂ_ＨＯＡの行列分解から取得される。

当該方法は、以下を計算することによって、Ｌ番目の時間フレームについて、非混合行列Π_Ｌを取得するステップを含み得る。

Π_Ｌ＝（１−α）Π_Ｌ−１＋αΓｐｉｎｖ（Ω）
式中、Π_Ｌ−１は、Ｌ−１時間フレームについての混合行列であり、
αは、０≦α≦１となるような忘却因子である。

当該方法は、以下を使用してＧ_{ｐｌｗ−ｓｍｏｏｔｈ}を取得するステップを含み得る。
Ｇ_{ｐｌｗ−ｓｍｏｏｔｈ}＝Π_ＬＢ_ＨＯＡ

当該方法は、標準の重畳加算（ｏｖｅｒｌａｐ−ａｄｄ）技術を使用して、平面波時間サンプルの集まりＧ_{ｐｌｗ−ｓｍｏｏｔｈ}から平面波信号のベクトルｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するステップを含み得る。代わりに、平面波信号のベクトルｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するとき、当該方法は、標準の重畳加算技術を使用して平滑化することなく、平面波時間サンプルの集まりＧ_ｐｌｗからｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するステップを含み得る。

当該方法は、最初にｇ_{ｐｌｗ−ｃｓ}（ｔ）の優位な成分の数Ｎ_ｃｏｍｐを計算し、次いで

を計算することによって、記録されたデータのスパース性を推定するステップを含み得る。式中、Ｎ_ｐｌｗは、解析平面波基準方向の数である。

当該方法は、スパース領域における記録されたデータを解析するために圧縮サンプリング技術を使用することによって、記録された音場を再構築するステップと、記録された音場を再構築することができるように圧縮サンプリング技術から平面波信号を取得するステップとを含み得る。

当該方法は、ＦＦＴを使用して１組の信号ｓ_ｍｉｃ（ｔ）を周波数領域に変換してｓ_ｍｉｃを取得するステップを含み得る。

当該方法は、平面波解析を使用して周波数領域における記録された音場を解析して、平面波形振幅のベクトルｇ_{ｐｌｗ−ｃｓ}を生成するステップを含み得る。

当該方法は、平面波形振幅のベクトルｇ_{ｐｌｗ−ｃｓ}について、以下の凸計画問題を解決することによって、記録された音場の平面波解析を行うステップを含み得る。

ここでの凸計画問題とは、

の条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ｍｉｃ}は、平面波とマイクロフォンとの間の伝達行列であり、
ｓ_ｍｉｃは、マイクロフォンアレイによって記録される信号の組であり、
ε_１は、負でない実数である。

当該方法は、平面波振幅のベクトルｇ_{ｐｌｗ−ｃｓ}について、以下の凸計画問題を解決することによって、記録された音場の平面波解析を行うステップを含み得る。

ここでの凸計画問題とは、

及び

の条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ｍｉｃ}は、平面波とマイクロフォンとの間の伝達行列であり、
ｓ_ｍｉｃは、マイクロフォンアレイによって記録される信号の組であり、
ε_１は、負でない実数であり、
Ｔ_{ｐｌｗ／ＨＯＡ}は、平面波とＨＯＡ領域フーリエ展開との間の伝達行列であり、
ｂ_ＨＯＡは、Ｔ_{ｍｉｃ／ＨＯＡ}がマイクロフォンとＨＯＡ領域フーリエ展開との間の伝達行列である場合、ｂ_ＨＯＡ＝Ｔ_{ｍｉｃ／ＨＯＡ}ｓ_ｍｉｃによって得られる１組のＨＯＡ領域フーリエ係数であり、
ε_２は、負でない実数である。

ここでの凸計画問題とは、

の条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ｍｉｃ}は、平面波とマイクロフォンとの間の伝達行列であり、
Ｔ_{ｍｉｃ／ＨＯＡ}は、マイクロフォンとＨＯＡ領域フーリエ展開との間の伝達行列であり、
ｂ_ＨＯＡは、ｂ_ＨＯＡ＝Ｔ_{ｍｉｃ／ＨＯＡ}ｓ_ｍｉｃによって得られる１組のＨＯＡ領域フーリエ係数であり、
ε_１は、負でない実数である。

ここでの凸計画問題とは、

及び

の条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ｍｉｃ}は、平面波とマイクロフォンとの間の伝達行列であり、
ε_１は、負でない実数であり、
Ｔ_{ｐｌｗ／ＨＯＡ}は、平面波とＨＯＡ領域フーリエ展開との間の伝達行列であり、
ｂ_ＨＯＡは、Ｔ_{ｍｉｃ／ＨＯＡ}がマイクロフォンとＨＯＡ領域フーリエ展開との間の伝達行列である場合、ｂ_ＨＯＡ＝Ｔ_{ｍｉｃ／ＨＯＡ}ｓ_ｍｉｃによって得られる１組のＨＯＡ領域フーリエ係数であり、
ε_２は、負でない実数である。

当該方法は、１組の解析平面波に対応する１組の方向の空間分割の解に基づいてε_１を設定するステップと、音場の計算されたスパース性に基づいてε_２の値を設定するステップとを含み得る。さらに、当該方法は、逆ＦＦＴを使用してｇ_{ｐｌｗ−ｃｓ}を時間領域に変換し直して、ｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するステップを含み得る。方法は、ｇ_{ｐｌｗ−ｃｓ}又はｇ_{ｐｌｗ−ｃｓ}（ｔ）の各エントリによりソース方向を識別するステップを含み得る。

当該方法は、１組の基準平面波に従って平面波解析を使用して時間領域における記録された音場を解析して、１組の平面波信号ｇ_{ｐｌｗ−ｃｓ}（ｔ）を生成するステップを含み得る。方法は、ＨＯＡ領域における記録された音場を解析して、ＨＯＡ領域の時間信号のベクトルｂ_ＨＯＡ（ｔ）を取得するステップと、所与の時間フレームＬにわたってＨＯＡ領域の時間信号のベクトルをサンプリングして、時刻ｔ_１〜ｔ_Ｎにおいて時間サンプルの集まりを取得して、以下によって、行列Ｂ_ＨＯＡとして表される各時刻における１組のＨＯＡ領域ベクトルｂ_ＨＯＡ（ｔ_１），ｂ_ＨＯＡ（ｔ_２），・・・，ｂ_ＨＯＡ（ｔ_Ｎ）を取得するステップとを含み得る。
Ｂ_ＨＯＡ＝［ｂ_ＨＯＡ（ｔ_１），ｂ_ＨＯＡ（ｔ_２），・・・，ｂ_ＨＯＡ（ｔ_Ｎ）］

当該方法は、相関ベクトルγをγ＝Ｂ_ＨＯＡｂ_ｏｍｎｉの通り計算するステップを含み得る。式中、ｂ_ｏｍｎｉは、ｂ_ＨＯＡ（ｔ）の全方向のＨＯＡ成分である。

当該方法は、平面波利得のベクトルβ_{ｐｌｗ−ｃｓ}について、以下の凸計画問題を解決するステップを含み得る。

ここでの凸計画問題とは、

の条件で、｜｜β_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
γ＝Ｂ_ＨＯＡｂ_ｏｍｎｉであり、
Ｔ_{ｐｌｗ／ＨＯＡ}は、平面波とＨＯＡ領域フーリエ展開との間の伝達行列であり、
ε_１は、負でない実数である。

ここでの凸計画問題とは、

及び

の条件で、｜｜β_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
γ＝Ｂ_ＨＯＡｂ_ｏｍｎｉであり、
Ｔ_{ｐｌｗ／ＨＯＡ}は、平面波とＨＯＡ領域フーリエ展開との間の伝達行列であり、
ε_１は、負でない実数であり、
ε_２は、負でない実数である。

当該方法は、１組の解析平面波に対応する１組の方向の空間分割の解に基づいてε_１を設定するステップと、音場の計算されたスパース性に基づいてε_２の値を設定するステップとを含み得る。方法は、β_{ｐｌｗ−ｃｓ}を閾値処理し、クリーニングして、その小さい成分のいくつかをゼロに設定するステップを含み得る。

当該方法は、平面波基準に従って行列

を形成し、次いでβ_{ｐｌｗ−ｃｓ}におけるゼロ以外の成分に対応する列のみを保持することによって

を

に縮小するステップを含むことができ、式中、

は平面波基準についてのＨＯＡ方向行列であり、

におけるハット演算子は、その行列が何らかのＨＯＡ次数Ｍに切り捨てられたことを示す。

当該方法は、ｇ_{ｐｌｗ−ｃｓ−ｒｅｄｕｃｅｄ}（ｔ）を

により計算するステップを含み得る。さらに、ｇ_{ｐｌｗ−ｃｓ}（ｔ）が平面波基準に一致するように、ゼロの時間信号の行を挿入することによって、ｇ_{ｐｌｗ−ｃｓ−ｒｅｄｕｃｅｄ}（ｔ）を拡大して、ｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するステップを含み得る。

当該方法は、行列Ｇ_ｐｌｗについて、以下の凸計画問題を解決するステップを含み得る。

ここでの凸計画問題とは、｜｜Ｙ_ｐｌｗＧ_ｐｌｗ−Ｂ_ＨＯＡ｜｜_Ｌ２≦ε_１
の条件で、｜｜Ｇ_ｐｌｗ｜｜_{Ｌ１−Ｌ２}を最小にする問題である。
Ｙ_ｐｌｗは、列が何らかの組の解析平面波に対応する１組の方向についての球面調和関数の値である行列（高い球面調和次数に切り捨てられる）であり、
ε_１は、負でない実数である。

Π_Ｌ＝（１−α）Π_Ｌ−１＋αＧ_ｐｌｗｐｉｎｖ（Ｂ_ＨＯＡ）
式中、Π_Ｌ−１は、Ｌ−１時間フレームについての非混合行列を指し、
αは、０≦α≦１となるような忘却因子である。

当該方法は、特異値分解をＢ_ＨＯＡに適用して、行列分解
Ｂ_ＨＯＡ＝ＵＳＶ^Ｔ
を取得するステップを含み得る。

ここでの凸計画問題とは、｜｜Ｙ_ｐｌｗΓ−Ω｜｜_Ｌ２≦ε_１
の条件で、｜｜Γ｜｜_{Ｌ１−Ｌ２}を最小にする問題である。
ε_１及びＹ_ｐｌｗは、上記に定義した通りである。

Π_Ｌ＝（１−α）Π_Ｌ−１＋αΓｐｉｎｖ（Ω）
式中、Π_Ｌ−１は、Ｌ−１時間フレームについての非混合行列であり、
αは、０≦α≦１となるような忘却因子である。

当該方法は、標準の重畳加算技術を使用して、平面波時間サンプルの集まりＧ_{ｐｌｗ−ｓｍｏｏｔｈ}から平面波信号のベクトルｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するステップを含み得る。代わりに、平面波信号のベクトルｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するとき、当該方法は、標準の重畳加算技術を使用して平滑化することなく、平面波時間サンプルの集まりＧ_ｐｌｗからｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するステップを含み得る。方法は、ｇ_{ｐｌｗ−ｃｓ}（ｔ）の各エントリによりソース方向を識別するステップを含み得る。

当該方法は、ｇ_{ｐｌｗ−ｃｓ}（ｔ）を変更して、残響などの不要なアーチファクト及び／又は不要な音源を低減するステップを含み得る。さらに、当該方法は、残響を低減するために、信号ベクトルｇ_{ｐｌｗ−ｃｓ}（ｔ）における信号のうちのいくつかの信号値を低減するステップを含み得る。方法は、不要な音源が低減され得るように、音場の再構築において音源を分離するために、信号ベクトルｇ_{ｐｌｗ−ｃｓ}（ｔ）における信号のうちのいくつかをゼロに設定するステップを含み得る。

さらに、当該方法は、再構築された音場の再生の手段に応じてｇ_{ｐｌｗ−ｃｓ}（ｔ）を変更するステップを含み得る。再構築された音場がスピーカを介して再生されることになっているとき、一実施形態において、当該方法はｇ_{ｐｌｗ−ｃｓ}（ｔ）を以下の通り変更するステップを含み得る。

ｇ_ｓｐｋ（ｔ）＝Ｐ_{ｐｈｗ／ｓｐｋ}ｇ_{ｐｌｗ−ｃｓ}（ｔ）
式中、Ｐ_{ｐｈｗ／ｓｐｋ}は、スピーカパニング行列（ｌｏｕｄｓｐｅａｋｅｒｐａｎｎｉｎｇｍａｔｒｉｘ）である。

再構築された音場がスピーカを介して再生されることになっているとき、当該方法は、

を計算することによって、ｇ_{ｐｌｗ−ｃｓ}（ｔ）をＨＯＡ領域に変換し直すステップを含み得る。式中、ｂ_{ＨＯＡ−ｈｉｇｈｒｅｓ}（ｔ）は、任意のＨＯＡ領域次数に展開することができるｇ_{ｐｌｗ−ｃｓ}（ｔ）の高分解能のＨＯＡ領域表現であり、

は、平面波基準のＨＯＡ方向行列であり、

におけるハット演算子は、その行列が何らかのＨＯＡ次数Ｍに切り捨てられたことを示す。方法は、ＨＯＡデコード技術を使用して、ｂ_{ＨＯＡ−ｈｉｇｈｒｅｓ}（ｔ）をｇ_ｓｐｋ（ｔ）にデコードするステップを含み得る。

再構築された音場がヘッドホンを介して再生されることになっているとき、当該方法は、ｇ_{ｐｌｗ−ｃｓ}（ｔ）を以下の通り変更してヘッドホン利得を決定するステップを含み得る。

この式中、Ｐ_{ｐｌｗ／ｈｐｈ}（ｔ）は、１組の平面波方向に対応するフィルタの頭部インパルス応答行列である。

本開示は、上述したように方法を実行するようにプログラムされるとき、コンピュータに拡張する。

また、本開示は、コンピュータが上述されたように方法を実行することができるようにコンピュータ可読媒体に拡張する。

記録された音場を再構築し、また記録された音場のスパース性を推定するための機器の一実施形態のブロック図を示す図である。図１の機器を使用して記録された音場のスパース性を推定することに関与するステップのフローチャートを示す図である。図１の機器を使用して記録された音場のスパース性を推定することに関与するステップのフローチャートを示す図である。図１の機器を使用して記録された音場のスパース性を推定することに関与するステップのフローチャートを示す図である。図１の機器を使用して記録された音場のスパース性を推定することに関与するステップのフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。図１の機器を使用して記録された音場を再構築する実施形態のフローチャートを示す図である。記録された音場を再構築するためのＨＯＡの解の写真表現の第１の例をそれぞれ示す図である。記録された音場を再構築するための最初の音場の写真表現の第１の例をそれぞれ示す図である。記録された音場を再構築するための本開示によって提供される解の写真表現の第１の例をそれぞれ示す図である。記録された音場を再構築するためのＨＯＡの解の写真表現の第２の例をそれぞれ示す図である。記録された音場を再構築するための最初の音場の写真表現の第２の例をそれぞれ示す図である。記録された音場を再構築するための本開示によって提供される解の写真表現の第２の例をそれぞれ示す図である。

図面の図１において、参照番号１０は、記録された音場を再構築し、及び／又は音場のスパース性を推定するための機器の一実施形態を全般的に示す。機器１０は、音場を測定して記録されたデータを取得するための検知装置１２を含む。検知装置１２は、例えばマイクロプロセッサなどの信号処理モジュール１４に接続されており、信号処理モジュール１４は、記録されたデータを処理して、平面波信号を取得して、記録された音場を再構成できるようにし、及び／又は記録されたデータを処理して、音場のスパース性を取得する。音場のスパース性、分離された平面波ソース、及びその関連のソース方向は、出力ポート２４を介して提供される。簡潔にするために、信号処理モジュール１４は、以下、ＳＰＭ１４と呼ばれる。

データアクセスモジュール１６は、ＳＰＭ１４に接続される。一実施形態において、データアクセスモジュール１６は、データが格納されるメモリモジュールである。ＳＰＭ１４は、必要に応じて、メモリモジュールにアクセスして、メモリモジュールから必要なデータを取り出す。他の実施形態では、データアクセスモジュール１６は、ＳＰＭ１４が遠隔地からデータを取り出すことができるようにするための、例えばモデムなどの接続モジュールである。

機器１０は、再構築された音場を再生するための再生モジュール１８を含む。再生モジュール１８は、スピーカアレイ２０及び／又は１つ又は複数のヘッドホン２２を備える。

検知装置１２は、音場を記録して、１組の信号ｓ_ｍｉｃ（ｔ）の形で記録されたデータを生成するためのバフル付き球状マイクロフォンアレイである。

ＳＰＭ１４は、平面波解析を使用して音場に関係する記録されたデータを解析して、平面波信号のベクトルｇ_ｐｌｗ（ｔ）を生成する。平面波信号のベクトルｇ_ｐｌｗ（ｔ）を生成することは、関連の１組の平面波ソース方向を取得することとしても理解されたい。平面波振幅のベクトルを生成するために使用される特定の方法に応じて、ｇ_ｐｌｗ（ｔ）は、より詳細には、圧縮検知技術が使用される場合、ｇ_{ｐｌｗ−ｃｓ}（ｔ）と呼ばれ、又はＩＣＡ技術が使用される場合、ｇ_{ｐｌｗ−ｉｃａ}（ｔ）と呼ばれる。以下でさらに詳しく説明されるように、ＳＰＭ１４は、必要に応じてｇ_ｐｌｗ（ｔ）を変更するためにも使用される。

ＳＰＭ１４は、一旦その解析を実行すると、音場のスパース性、分離された平面波ソース信号、及び平面波ソース信号の関連のソース方向を含み得る出力ポート２４の出力データを生成する。さらに、ＳＰＭ１４は、一旦その解析を実行すると、信号ｓ_ｏｕｔ（ｔ）を生成して、スピーカアレイ２０及び／又は１つ又は複数のヘッドホン２２を介して再生される音声として決定されたｇ_ｐｌｗ（ｔ）をレンダリングする。

信号がマイクロフォンアレイ１２によって記録された後、ＳＰＭ１４は、１組の信号ｓ_ｍｉｃ（ｔ）に一連の操作を実行して、信号を、記録された音場に著しく近似する音場に再構築できるようにする。

信号処理操作を簡潔に説明するために、マイクロフォンアレイ１２を特徴付ける１組の行列が定義される。これらの行列は、ＳＰＭ１４によって必要に応じて計算されるようにしてもよく、又はデータアクセスモジュール１６を使用してデータストレージから必要に応じて取り出されるようにしてもよい。これらの行列のうちの１つは、言及されるとき、「定義済み行列のうちの１つ」として表される。

以下は、必要に応じて計算され得る又は取り出され得る定義済み行列のリストである。

は、球面調和領域とマイクロフォン信号との間の伝達行列であり、行列

は、以下の通り次数Ｍに切り捨てられる。

式中、

は、列が球面調和関数

の値である行列の転置であり、式中、（ｒ_ｌ，θ_ｌ，φ_ｌ）はｌ番目のマイクロフォンについての極座標であり、

におけるハット演算子は、その行列が何らかの次数Ｍに切り捨てられたことを示し、

は、係数が

によって定義される対角行列であり、式中、Ｒは、マイクロフォンアレイの球体の半径であり、ｈ_ｍ ^（２）は、第２の種類の次数ｍの球ハンケル関数であり、ｊ_ｍは、次数ｍの球ベッセル関数であり、ｊ’’_ｍ及びｈ’_ｍ ^（２）はそれぞれｊ_ｍ及びｈ_ｍ ^（２）の派生物である。この場合もまた、

におけるハット演算子は、その行列が何らかの次数Ｍに切り捨てられたことを示す。

Ｔ_{ｓｐｈ／ｍｉｃ}は、かなり高い次数Ｍ’’（Ｍ’’＞Ｍ）に切り捨てられたことを除いて、

と類似する。

Ｙ_ｐｌｗは、列が何らかの組の解析平面波に対応する１組の方向についての球面調和関数の値である行列（高い次数Ｍ’’に切り捨てられる）である。

は、低次のＭ（Ｍ＜Ｍ’’）に切り捨てられたことを除いて、Ｙ_ｐｌｗと類似する。

Ｔ_{ｐｌｗ／ＨＯＡ}は、以下の通り、解析平面波と（マイクロフォンアレイ１２から導出された）ＨＯＡ推定球面調和の展開との間の伝達行列である。

Ｔ_{ｐｌｗ／ｍｉｃ}は、以下の通り、解析平面波とマイクロフォンアレイ１２との間の伝達行列である。
Ｔ_{ｐｌｗ／ｍｉｃ}＝Ｔ_{ｓｐｈ／ｍｉｃ}Ｙ_ｐｌｗ
式中、Ｔ_{ｓｐｈ／ｍｉｃ}は、上記で定義された通りである。

Ｅ_{ｍｉｃ／ＨＯＡ}（ｔ）は、畳込み演算を介して、マイクロフォンアレイ１２の時間信号とＨＯＡ領域の時間信号との間にその変形を実施するフィルタの行列であり、以下の通り定義される。

Ｅ_{ｍｉｃ／ＨＯＡ}（ｔ）＝ＩＦＦＴ（Ｅ_{ｍｉｃ／ＨＯＡ}（ω））
式中、Ｅ_{ｍｉｃ／ＨＯＡ}（ω）の各周波数成分は、

によって得られる。

次に、図面の図２〜図１６に示されるフローチャートを参照して、信号の組ｓ_ｍｉｃ（ｔ）に実行される操作について説明される。図２に示されるフローチャートは、記録された音場のスパース性（Ｓ）を推定するための操作のフローの概要を示す。このフローチャートは、図３〜図５における高レベルの詳細に分けられる。図６に示されるフローチャートは、記録された音場を再構築するための操作のフローの概要を示す。図６のフローチャートは、図７〜図１６における高レベルの詳細に分けられる。

次に、図２〜図５のフローチャートを参照して、音場のスパース性Ｓを決定するために、ＳＰＭ１４によって信号の組ｓ_ｍｉｃ（ｔ）に対して実行される操作について説明される。図２において、ステップ１で、１組の信号ｓ_ｍｉｃ（ｔ）を記録するために、マイクロフォンアレイ１２が使用される。ステップ２で、ＳＰＭ１４は、音場のスパース性を推定する。

図３に示されるフローチャートは、ステップ２の計算の詳細について説明する。ステップ２．１で、ＳＰＭ１４は、ＨＯＡ領域の時間信号のベクトルｂ_ＨＯＡ（ｔ）を以下の通り計算する。

ステップ２．２で、ステップ２．２．Ａ及びステップ２．２．Ｂの利用可能な２つの異なるオプションがある。ステップ２．２．Ａで、ＳＰＭ１４は、ＨＯＡ領域においてＩＣＡを適用することによって、音場のスパース性を推定する。代わりに、ステップ２．２．Ｂで、ＳＰＭ１４は、圧縮サンプリング技術を使用して音場のスパース性を推定する。

図４のフローチャートは、ステップ２．２．Ａの詳細について説明する。ステップ２．２．Ａ．１で、ＳＰＭ１４は、独立成分解析技術を使用して、混合行列Ｍ_ＩＣＡを決定する。

ステップ２．２．Ａ．２で、ＳＰＭ１４は、１組の平面波基準方向と関連したＨＯＡ方向ベクトル上に混合行列Ｍ_ＩＣＡを投影する。この投影は、

を計算することによって取得され、式中、

は、定義済み行列

の転置である。

ステップ２．２．Ａ．３で、ＳＰＭ１４は、Ｖ_{ｓｏｕｒｃｅ−ｃｌｅａｎ}を取得するために、閾値処理技術を適用して、Ｖ_{ｓｏｕｒｃｅ}をクリーニングする。Ｖ_{ｓｏｕｒｃｅ}のクリーニングの操作は、以下の通りに行われる。まず、Ｖ_{ｓｏｕｒｃｅ}の理想的なフォーマットが定義される。Ｖ_{ｓｏｕｒｃｅ}は、理想的には、すべての成分をゼロとして有する、又は特定の平面波方向に対応する単一の優位な成分を含み、列の残りの成分がゼロである、列から成る行列である。閾値処理技術は、Ｖ_{ｓｏｕｒｃｅ}がその理想的なフォーマットになることを確実にするために適用される。すなわち、優位な成分未満のすべての成分がゼロに設定されるように、列の残りの成分と比較して優位な値を含むＶ_{ｓｏｕｒｃｅ}の列は閾値処置される。また、優位な成分を有していないＶ_{ｓｏｕｒｃｅ}の列では、その成分のすべてがゼロに設定される。上記の閾値処理操作をＶ_{ｓｏｕｒｃｅ}に適用することによって、Ｖ_{ｓｏｕｒｃｅ−ｃｌｅａｎ}が得られる。

ステップ２．２．Ａ．４で、ＳＰＭ１４は、音場のスパース性を計算する。ＳＰＭ１４は、Ｖ_{ｓｏｕｒｃｅ−ｃｌｅａｎ}の優位な平面波方向の数Ｎ_{ｓｏｕｒｃｅ}を計算することによって、このステップを行う。次いでＳＰＭ１４は、音場のスパース性Ｓを

の通り計算する。式中、Ｎ_ｐｌｗは、解析平面波基準方向の数である。

図５のフローチャートは、図３におけるステップ２．２．Ｂの詳細について説明し、ステップ２．２．Ｂは、ステップ２．２．Ａの代替である。ステップ２．２．Ｂ．１で、ＳＰＭ１４は、時間が行列Ｂ_ＨＯＡの行に沿って並び、様々なＨＯＡ次数が行列Ｂ_ＨＯＡの列に沿って並ぶように、ｂ_ＨＯＡ（ｔ）における各信号をＢ_ＨＯＡの行に沿って並ぶように設定することによって、ＨＯＡ信号のベクトルｂ_ＨＯＡ（ｔ）から、行列Ｂ_ＨＯＡを計算する。より詳細には、ＳＰＭ１４は、Ｌによってラベル表示される所与の時間フレームにわたってｂ_ＨＯＡ（ｔ）をサンプリングして、時刻ｔ_１〜ｔ_Ｎにおいて時間サンプルの集まりを取得する。したがって、ＳＰＭ１４は、各時刻で１組のＨＯＡ領域ベクトルｂ_ＨＯＡ（ｔ_１），ｂ_ＨＯＡ（ｔ_２），・・・，ｂ_ＨＯＡ（ｔ_Ｎ）を取得する。次いでＳＰＭ１４は、以下によって行列Ｂ_ＨＯＡを形成する。
Ｂ_ＨＯＡ＝［ｂ_ＨＯＡ（ｔ_１），ｂ_ＨＯＡ（ｔ_２），・・・，ｂ_ＨＯＡ（ｔ_Ｎ）］

ステップ２．２．Ｂ．２で、ＳＰＭ１４は、相関ベクトルγを
γ＝Ｂ_ＨＯＡｂ_ｏｍｎｉ
の通り計算する。式中、ｂ_ｏｍｎｉは、列ベクトルとして表されるｂ_ＨＯＡ（ｔ）の全方向のＨＯＡ成分である。

ステップ２．２．Ｂ．３で、ＳＰＭ１４は、平面波利得のベクトルβ_{ｐｌｗ−ｃｓ}を取得するために、以下の凸計画問題を解決する。

ここでの凸計画問題とは、

の条件で、｜｜β_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ＨＯＡ}は定義済み行列のうちの１つであり、ε_１は負でない実数である。

ステップ２．２．Ｂ．４で、ＳＰＭ１４は、音場のスパース性を推定する。ＳＰＭ１４は、その優位な成分の数Ｎ_ｃｏｍｐを推定するために、閾値処理技術をβ_{ｐｌｗ−ｃｓ}に適用することによって、このステップを行う。次いで、ＳＰＭ１４は、音場のスパース性Ｓを

の通り計算し、式中、Ｎ_ｐｌｗは、解析平面波基準方向の数である。

次に、音場を再構築するために、ＳＰＭ１４によって信号の組ｓ_ｍｉｃ（ｔ）に実行される操作が説明され、図６〜図２３のフローチャートを使用して示される。

図６において、ステップ１及びステップ２は、上述された図２のフローチャートと同じである。しかし、図６の操作フローで、ステップ２は、オプションであり、したがって、点線ボックスによって表される。

ステップ３で、ＳＰＭ１４は、音場を再構築することができるように、平面波信号ｇ_ｐｌｗ（ｔ）の形でパラメータを推定する。平面波信号ｇ_ｐｌｗ（ｔ）は、導出の方法に応じて、ｇ_{ｐｌｗ−ｃｓ}（ｔ）又はｇ_{ｐｌｗ−ｉｃａ}（ｔ）のいずれかとして表される。ステップ４で、残響を低減し、及び／又は不要な音を分離するために、推定されたパラメータがＳＰＭ１４によって変更されるオプションのステップ（点線ボックスによって表される）がある。ステップ５で、ＳＰＭ１４は、音場を再構築し、再生するために使用される（場合によっては変更された）平面波信号ｇ_{ｐｌｗ−ｃｓ}（ｔ）又はｇ_{ｐｌｗ−ｉｃａ}（ｔ）を推定する。

ステップ１及びステップ２の操作は上述されており、次にステップ３に含まれる操作のフローについて説明される。

図７のフローチャートは、図６に示されるフローチャートのステップ３に必要とされる操作の概要を示す。図７のフローチャートは、ステップ３．Ａ、ステップ３．Ｂ、ステップ３．Ｃ、及びステップ３．Ｄの４つの利用可能な異なるパスがあることを示す。

ステップ３．Ａで、ＳＰＭ１４は、時間領域において圧縮サンプリング技術を使用して平面波信号を推定する。ステップ３．Ｂで、ＳＰＭ１４は、周波数領域において圧縮サンプリング技術を使用して平面波信号を推定する。ステップ３．Ｃで、ＳＰＭ１４は、ＨＯＡ領域においてＩＣＡを使用して平面波信号を推定する。ステップ３．Ｄで、ＳＰＭ１４は、多重測定ベクトル技術を使用して時間領域において圧縮サンプリングを使用して平面波信号を推定する。

図８に示されるフローチャートは、ステップ３．Ａの詳細について説明する。ステップ３．Ａ．１で、ｂ_ＨＯＡ（ｔ）及びＢ_ＨＯＡは、それぞれステップ２．１及びステップ２．２．Ｂ．１について上述されたようにＳＰＭ１４によって決定される。

ステップ３．Ａ．２で、相関ベクトルγは、ステップ２．２．Ｂ．２について上述されたようにＳＰＭ１４によって決定される。

ステップ３．Ａ．３で、ステップ３．Ａ．３．Ａ及びステップ３．Ａ．３．Ｂの２つのオプションがある。ステップ３．Ａ．３．Ａで、ＳＰＭ１４は、平面波方向利得β_{ｐｌｗ−ｃｓ}を決定するために、凸計画問題を解決する。この凸計画問題は、スパース制約を含まない。より詳細には、以下の凸計画問題が解決される。

ここでの凸計画問題とは、

の条件で、｜｜β_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
γは上記で定義された通りであり、Ｔ_{ｐｌｗ／ＨＯＡ}は定義済み行列のうちの１つであり、
ε_１は、負でない実数である。

ステップ３．Ａ．３．Ｂで、ＳＰＭ１４は、平面波方向利得β_{ｐｌｗ−ｃｓ}を決定するために、凸計画問題を解決し、今回のみ、スパース制約は、凸計画問題に含まれる。より詳細には、以下の凸計画問題は、β_{ｐｌｗ−ｃｓ}を決定するために解決される。

ここでの凸計画問題とは、

及び

の条件で、｜｜β_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
γ、ε_１は上記で定義された通りであり、
Ｔ_{ｐｌｗ／ＨＯＡ}は、定義済み行列のうちの１つであり、
ε_２は、負でない実数である。

ステップ３．Ａ．３での凸計画問題について、ε_１は、解析平面波の組に対応する１組の方向の空間分割の解に基づいて、ＳＰＭ１４によって設定され得る。さらに、ε_２の値は、音場の計算されたスパース性に基づいて、ＳＰＭ１４によって設定され得る（オプションのステップ２）。

ステップ３．Ａ．４で、ＳＰＭ１４は、その小さい成分のうちのいくつかがゼロに設定されるように、閾値処理技術を適用して、β_{ｐｌｗ−ｃｓ}をクリーニングする。

ステップ３．Ａ．５で、ＳＰＭ１４は、平面波基準に従って行列

を形成し、次いでβ_{ｐｌｗ−ｃｓ}におけるゼロ以外の成分に対応する列のみを保持することによって、

を

に縮小する。式中、

は平面波基準のＨＯＡ方向行列であり、

ステップ３．Ａ．６で、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｃｓ−ｒｅｄｕｃｅｄ}（ｔ）を以下の通り計算する。

ｇ_{ｐｌｗ−ｃｓ−ｒｅｄｕｃｅｄ}（ｔ）＝ｐｉｎｖ（Ｔ_{ｐｌｗ／ＨＯＡ−ｒｅｄｕｃｅｄ}）ｂ_ＨＯＡ（ｔ）
式中、

及びｂ_ＨＯＡ（ｔ）は、上記で定義した通りである。

ステップ３．Ａ．７で、ＳＰＭ１４は、解析のために使用された平面波基準と一致させるためにゼロの時間信号の行を挿入することによって、ｇ_{ｐｌｗ−ｃｓ−ｒｅｄｕｃｅｄ}（ｔ）を拡大してｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得する。

上述したように、ステップ３．Ａの代替は、ステップ３．Ｂである。図９のフローチャートは、ステップ３．Ｂを詳述する。ステップ３．Ｂ．１で、ＳＰＭ１４は、ｂ_ＨＯＡ（ｔ）を

により計算する。さらに、ステップ３．Ｂ．１で、ＳＰＭ１４は、ｓ_ｍｉｃ（ｔ）のＦＦＴ、ｓ_ｍｉｃ、及び／又はｂ_ＨＯＡ（ｔ）のＦＦＴ、ｂ_ＨＯＡを計算する。

ステップ３．Ｂ．２で、ＳＰＭ１４は、４つのオプションの凸計画問題のうちの１つを解決する。ステップ３．Ｂ．２．Ａに示される凸計画問題は、ｓ_ｍｉｃに対して演算を行い、スパース制約を使用しない。より正確には、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｃｓ}を決定するために、以下の凸計画問題を解決する。

ここでの凸計画問題とは、

の条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ｍｉｃ}は、定義済み行列のうちの１つであり、
ｓ_ｍｉｃは、上記で定義された通りであり、
ε_１は、負でない実数である。

ステップ３．Ｂ．２．Ｂに示される凸計画問題は、ｓ_ｍｉｃに対して演算を行い、スパース制約を含む。より正確には、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｃｓ}を決定するために、以下の凸計画問題を解決する。

ここでの凸計画問題とは、

及び

の条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ｍｉｃ}、Ｔ_{ｐｌｗ／ＨＯＡ}はそれぞれ、定義済み行列のうちの１つであり、
ｓ_ｍｉｃ、ｂ_ＨＯＡ、ε_１は、上記で定義された通りであり、
ε_２は、負でない実数である。

ステップ３．Ｂ．２．Ｃに示される凸計画問題は、ｂ_ＨＯＡに対して演算を行い、スパース制約を使用しない。より正確には、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｃｓ}を決定するために、以下の凸計画問題を解決する。

ここでの凸計画問題とは、

の条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ｍｉｃ}、Ｔ_{ｐｌｗ／ＨＯＡ}はそれぞれ、定義済み行列のうちの１つであり、
ｂ_ＨＯＡ、及びε_１は、上記で定義された通りである。

ステップ３．Ｂ．２．Ｄに示される凸計画問題は、ｂ_ＨＯＡに対して演算を行い、スパース制約を含む。より正確には、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｃｓ}を決定するために、以下の凸計画問題を解決する。

ここでの凸計画問題とは、

及び

の条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題である。
Ｔ_{ｐｌｗ／ｍｉｃ}、Ｔ_{ｐｌｗ／ＨＯＡ}、Ｔ_{ｍｉｃ／ＨＯＡ}はそれぞれ、定義済み行列のうちの１つであり、
ｂ_ＨＯＡ、ε_１、及びε_２は、上記で定義された通りである。

ステップ３．Ｂ．３で、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｃｓ}（ｔ）を取得するために、ｇ_{ｐｌｗ−ｃｓ}の逆ＦＦＴを計算する。複数の時間フレームに対して演算を行うとき、重畳加算手順に従う。

ステップ３．Ａ又はステップ３．Ｂに対するさらなるオプションは、ステップ３．Ｃである。図１０のフローチャートは、ステップ３．Ｃの概要を提供する。ステップ３．Ｃ．１で、ＳＰＭ１４は、ｂ_ＨＯＡ（ｔ）を

により計算する。

ステップ３．Ｃ．２で、ステップ３．Ｃ．２．Ａ及びステップ３．Ｃ．２．Ｂの２つのオプションがある。ステップ３．Ｃ．２．Ａで、ＳＰＭ１４は、ＨＯＡ領域においてＩＣＡを使用して、混合行列を推定し、混合行列は、次いでｇ_{ｐｌｗ−ｉｃａ}（ｔ）を取得するために使用される。代わりに、ステップ３．Ｃ．２．Ｂで、ＳＰＭ１４は、ＨＯＡ領域においてＩＣＡを使用して、混合行列、及び１組の分離されたソース信号も推定する。次いで、混合行列及び分離されたソース信号は、ｇ_{ｐｌｗ−ｉｃａ}（ｔ）を取得するために、ＳＰＭ１４によって使用される。

図１１のフローチャートは、ステップ３．Ｃ．２．Ａの詳細について説明する。ステップ３．Ｃ．２．Ａ．１で、ＳＰＭ１４は、混合行列Ｍ_ＩＣＡを取得するために、ＩＣＡを信号のベクトルｂ_ＨＯＡ（ｔ）に適用する。

ステップ３．Ｃ．２．Ａ．２で、ＳＰＭ１４は、ステップ２．２．Ａ．２に記載されているように、１組の平面波基準方向と関連したＨＯＡ方向ベクトル上に混合行列Ｍ_ＩＣＡを投影する。すなわち、投影は、

を計算することによって取得され、式中、

は、定義済み行列

の転置である。

ステップ３．Ｃ．２．Ａ．３で、ＳＰＭ１４は、Ｖ_{ｓｏｕｒｃｅ}における優位な平面波方向を識別するために、閾値処理技術をＶ_{ｓｏｕｒｃｅ}に適用する。ステップ３．Ｃ．２．Ａ．３は、ステップ２．２．Ａ．３を参照して上述した操作と同様に達成される。

ステップ３．Ｃ．２．Ａ．４で、ステップ３．Ｃ．２．Ａ．４．Ａ及びステップ３．Ｃ．２．Ａ．４．Ｂの２つのオプションがある。ステップ３．Ｃ．２．Ａ．４．Ａで、ＳＰＭ１４は、ＨＯＡ領域行列

を使用して、ｇ_{ｐｌｗ−ｉｃａ−ｒｅｄｕｃｅｄ}（ｔ）を計算する。代わりに、ステップ３．Ｃ．２．Ａ．４．Ｂで、ＳＰＭ１４は、マイクロフォン信号ｓ_ｍｉｃ（ｔ）及び行列Ｔ_{ｐｌｗ／ｍｉｃ}を使用して、ｇ_{ｐｌｗ−ｉｃａ−ｒｅｄｕｃｅｄ}（ｔ）を計算する。

図１２のフローチャートは、ステップ３．Ｃ．２．Ａ．４．Ａの詳細について説明する。ステップ３．Ｃ．２．Ａ．４．Ａ．１で、ＳＰＭ１４は、行列Ｖ_{ｓｏｕｒｃｅ}と関連した優位なソース方向に対応しない

における平面波方向ベクトルを削除することによって、行列

を縮小して、行列

を取得する。

ステップ３．Ｃ．２．Ａ．４．Ａ．２で、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｉｃａ−ｒｅｄｕｃｅｄ}（ｔ）を

により計算する。式中、

及びｂ_ＨＯＡ（ｔ）は、上記で定義した通りである。

ステップ３．Ｃ．２．Ａ．４．Ａの代替は、ステップ３．Ｃ．２．Ａ．４．Ｂである。図１３のフローチャートは、ステップ３．Ｃ．２．Ａ．４．Ｂを詳述する。

ステップ３．Ｃ．２．Ａ．４．Ｂ．１で、ＳＰＭ１４は、ｓ_ｍｉｃ（ｔ）のＦＦＴ、ｓ_ｍｉｃを計算する。ステップ３．Ｃ．２．Ａ．４．Ｂ．２で、ＳＰＭ１４は、行列Ｖ_{ｓｏｕｒｃｅ}と関連した優位なソース方向に対応しないＴ_{ｐｌｗ／ｍｉｃ}における平面波方向ベクトルを削除することによって、行列Ｔ_{ｐｌｗ／ｍｉｃ}を縮小して、行列Ｔ_{ｐｌｗ／ｍｉｃ−ｒｅｄｕｃｅｄ}を取得する。

ステップ３．Ｃ．２．Ａ．４．Ｂ．３で、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｉｃａ−ｒｅｄｕｃｅｄ}を
ｇ_{ｐｌｗ−ｉｃａ−ｒｅｄｕｃｅｄ}＝ｐｉｎｖ（Ｔ_{ｐｌｗ／ｍｉｃ−ｒｅｄｕｃｅｄ}）ｓ_ｍｉｃ
の通り計算し、式中、Ｔ_{ｐｌｗ／ｍｉｃ−ｒｅｄｕｃｅｄ}及びｓ_ｍｉｃは、上記で定義された通りである。

ステップ３．Ｃ．２．Ａ．４．Ｂ．４で、ＳＰＭ１４は、ｇ_{ｐｌｗ−ｉｃａ−ｒｅｄｕｃｅｄ}のＩＦＦＴとして、ｇ_{ｐｌｗ−ｉｃａ−ｒｅｄｕｃｅｄ}（ｔ）を計算する。

図１１に戻って、ステップ３．Ｃ．２．Ａ．５で、ＳＰＭ１４は、解析のために使用された平面波基準と一致させるためにゼロの時間信号の行を挿入することによって、ｇ_{ｐｌｗ−ｉｃａ−ｒｅｄｕｃｅｄ}（ｔ）を拡大してｇ_{ｐｌｗ−ｉｃａ}（ｔ）を取得する。

ステップ３．Ｃ．２．Ａの代替は、ステップ３．Ｃ．２．Ｂである。図１４のフローチャートは、ステップ３．Ｃ．２．Ｂの詳細について説明する。

ステップ３．Ｃ．２．Ｂ．１で、ＳＰＭ１４は、混合行列Ｍ_ＩＣＡ、及び１組の分離されたソース信号ｇ_ｉｃａ（ｔ）を取得するために、ＩＣＡを信号ｂ_ＨＯＡ（ｔ）のベクトルに適用する。

ステップ３．Ｃ．２．Ｂ．２で、ＳＰＭ１４は、ステップ２．２．Ａ．２に記載されているように、１組の平面波基準方向と関連したＨＯＡ方向ベクトル上に混合行列Ｍ_ＩＣＡを投影し、すなわち、投影は、

を計算することによって取得され、式中、

は、定義済み行列

の転置である。

ステップ３．Ｃ．２．Ｂ．３で、ＳＰＭ１４は、Ｖ_{ｓｏｕｒｃｅ}における優位な平面波方向を識別するために、閾値処理技術をＶ_{ｓｏｕｒｃｅ}に適用する。ステップ３．Ｃ．２．Ｂ．３は、ステップ２．２．Ａ．３のために上述した操作と同様に達成される。一旦Ｖ_{ｓｏｕｒｃｅ}における優位な平面波方向が識別されると、ＳＰＭ１４は、ｇ_ｉｃａ（ｔ）をクリーニングして、優位な平面波方向Ｖ_{ｓｏｕｒｃｅ}に対応する信号を保持し、他の信号をゼロに設定するｇ_{ｐｌｗ−ｉｃａ}（ｔ）を取得する。

上述したように、ステップ３．Ａ、３．Ｂ、及び３．Ｃに対するさらなるオプションは、ステップ３．Ｄである。図１５のフローチャートは、ステップ３．Ｄの概要を示す。

ステップ３．Ｄ．１で、ＳＰＭ１４は、ｂ_ＨＯＡ（ｔ）をｂ_ＨＯＡ

の通り計算する。次いでＳＰＭ１４は、時間が行列Ｂ_ＨＯＡの行に沿って並び、様々なＨＯＡ次数が行列Ｂ_ＨＯＡの列に沿って並ぶように、ｂ_ＨＯＡ（ｔ）における各信号をＢ_ＨＯＡの行に沿って並ぶように設定することによって、ＨＯＡ信号のベクトルｂ_ＨＯＡ（ｔ）から、行列Ｂ_ＨＯＡを計算する。より詳細には、ＳＰＭ１４は、所与の時間フレームＬにわたってｂ_ＨＯＡ（ｔ）をサンプリングして、時刻ｔ_１〜ｔ_Ｎにおいて時間サンプルの集まりを取得する。したがって、ＳＰＭ１４は、各時刻で１組のＨＯＡ領域ベクトルｂ_ＨＯＡ（ｔ_１），ｂ_ＨＯＡ（ｔ_２），・・・，ｂ_ＨＯＡ（ｔ_Ｎ）を取得する。ＳＰＭ１４は、以下によって行列Ｂ_ＨＯＡを形成する。
Ｂ_ＨＯＡ＝［ｂ_ＨＯＡ（ｔ_１），ｂ_ＨＯＡ（ｔ_２），・・・，ｂ_ＨＯＡ（ｔ_Ｎ）］

ステップ３．Ｄ．２で、ステップ３．Ｄ．２．Ａ及びステップ３．Ｄ．２．Ｂの２つのオプションがある。ステップ３．Ｄ．２．Ａで、ＳＰＭ１４は、Ｂ_ＨＯＡに直接適用される多重測定ベクトル技術を使用して、ｇ_{ｐｌｗ−ｃｓ}を計算する。代わりに、ステップ３．Ｄ．２．Ｂで、ＳＰＭ１４は、Ｂ_ＨＯＡの特異値分解に基づいて多重測定ベクトル技術を使用してｇ_{ｐｌｗ−ｃｓ}を計算する。

図１６のフローチャートは、ステップ３．Ｄ．２．Ａの詳細について説明する。ステップ３．Ｄ．２．Ａ．１で、ＳＰＭ１４は、Ｇ_ｐｌｗを決定するために、以下の凸計画問題を解決する。

ここでの凸計画問題とは、｜｜Ｙ_ｐｌｗＧ_ｐｌｗ−Ｂ_ＨＯＡ｜｜_Ｌ２≦ε_１
の条件で、｜｜Ｇ_ｐｌｗ｜｜_{Ｌ１−Ｌ２}を最小にする問題である。
Ｙ_ｐｌｗは、定義済み行列のうちの１つであり、
Ｂ_ＨＯＡは、上記で定義した通りであり、
ε_１は、負でない実数である。

ステップ３．Ｄ．２．Ａ．２で、２つのオプション、すなわちステップ３．Ｄ．２．Ａ．２．Ａ及びステップ３．Ｄ．２．Ａ．２．Ｂがある。ステップ３．Ｄ．２．Ａ．２．Ａで、ＳＰＭ１４は、重畳加算技術を使用して、Ｇ_ｐｌｗから直接ｇ_{ｐｌｗ−ｃｓ}（ｔ）を計算する。代わりに、ステップ３．Ｄ．２．Ａ．２．Ｂで、ＳＰＭ１４は、Ｇ_ｐｌｗの平滑化バージョン及び重畳加算技術を使用してｇ_{ｐｌｗ−ｃｓ}（ｔ）を計算する。

図１７のフローチャートは、ステップ３．Ｄ．２．Ａ．２．Ｂについてより詳細に説明する。

ステップ３．Ｄ．２．Ａ．２．Ｂ．１で、ＳＰＭ１４は、以下を計算することによって、Ｌ番目の時間フレームについて、非混合行列Π_Ｌを計算する。

Π_Ｌ＝（１−α）Π_Ｌ−１＋αＧ_ｐｌｗｐｉｎｖ（Ｂ_ＨＯＡ）
式中、Π_Ｌ−１は、Ｌ−１時間フレームについての非混合行列を指し、αは、０≦α≦１となるような忘却因子であり、Ｂ_ＨＯＡは、上記で定義された通りである。

ステップ３．Ｄ．２．Ａ．２．Ｂ．２で、ＳＰＭ１４は、Ｇ_{ｐｌｗ−ｓｍｏｏｔｈ}を以下の通り計算する。

Ｇ_{ｐｌｗ−ｓｍｏｏｔｈ}＝Π_ＬＢ_ＨＯＡ
式中、Π_Ｌ及びＢ_ＨＯＡは、上記で定義された通りである。

ステップ３．Ｄ．２．Ａ．２．Ｂ．３で、ＳＰＭ１４は、重畳加算技術を使用してＧ_{ｐｌｗ−ｓｍｏｏｔｈ}からｇ_{ｐｌｗ−ｃｓ}（ｔ）を計算する。

ステップ３．Ｄ．２．Ａの代替は、ステップ３．Ｄ．２．Ｂである。図１８のフローチャートは、ステップ３．Ｄ．２．Ｂの詳細について説明する。

ステップ３．Ｄ．２．Ｂ．１で、ＳＰＭ１４は、Ｂ_ＨＯＡの特異値分解を計算して、行列分解を取得する。
Ｂ_ＨＯＡ＝ＵＳＶ^Ｔ

ステップ３．Ｄ．２．Ｂ．２で、ＳＰＭ１４は、ｍがＢ_ＨＯＡの行の数である場合、Ｓの最初のｍ個の列のみを保持することによって行列Ｓ_{ｒｅｄｕｃｅｄ}を計算する。

ステップ３．Ｄ．２．Ｂ．３で、ＳＰＭ１４は、行列Ωを以下の通り計算する。
Ω＝ＵＳ_{ｒｅｄｕｃｅｄ}

ステップ３．Ｄ．２．Ｂ．４で、ＳＰＭ１４は、行列Γについて、以下の凸計画問題を解決する。

ここでの凸計画問題とは、｜｜Ｙ_ｐｌｗΓ−Ω｜｜_Ｌ２≦ε_１
の条件で、｜｜Γ｜｜_{Ｌ１−Ｌ２}を最小にする問題である。
Ｙ_ｐｌｗは、定義済み行列のうちの１つであり、
Ωは、上記で定義された通りであり、
ε_１は、負でない実数である。

ステップ３．Ｄ．２．Ｂ．５で、ステップ３．Ｄ．２．Ｂ．５．Ａ及びステップ３．Ｄ．２．Ｂ．５．Ｂの２つのオプションがある。ステップ３．Ｄ．２．Ｂ．５．Ａで、ＳＰＭ１４は、以下を使用して、ΓからＧ_ｐｌｗを計算する。

Ｇ_ｐｌｗ＝ΓＶ^Ｔ
式中、Ｖ^Ｔは、上述したように、Ｂ_ＨＯＡの行列分解から取得される。次いでＳＰＭ１４は、重畳加算技術を使用して、Ｇ_ｐｌｗから直接ｇ_{ｐｌｗ−ｃｓ}（ｔ）を計算する。

代わりに、ステップ３．Ｄ．２．Ｂ．５．Ｂで、ＳＰＭ１４は、Ｇ_ｐｌｗの平滑化バージョン及び重畳加算技術を使用してｇ_{ｐｌｗ−ｃｓ}（ｔ）を計算する。

図１９のフローチャートは、ステップ３．Ｄ．２．Ｂ．５．Ｂの詳細を示す。

ステップ３．Ｄ．２．Ｂ．５．Ｂ．１で、ＳＰＭ１４は、以下を計算することによって、Ｌ番目の時間フレームについて、非混合行列Π_Ｌを計算する。

Π_Ｌ＝（１−α）Π_Ｌ−１＋αΓｐｉｎｖ（Ω）
式中、Π_Ｌ−１は、Ｌ−１時間フレームについての非混合行列を指し、αは、０≦α≦１となるような忘却因子であり、Γ及びΩは、上記で定義された通りである。

ステップ３．Ｄ．２．Ｂ．５．Ｂ．２で、ＳＰＭ１４は、Ｇ_{ｐｌｗ−ｓｍｏｏｔｈ}を以下の通り計算する。

Ｇ_{ｐｌｗ−ｓｍｏｏｔｈ}＝Π_ＬＢ_ＨＯＡ
式中、Π_Ｌ及びＢ_ＨＯＡは、上記で定義した通りである。

ステップ３．Ｄ．２．Ｂ．２．Ｂ．３で、ＳＰＭ１４は、重畳加算技術を使用してＧ_{ｐｌｗ−ｓｍｏｏｔｈ}からｇ_{ｐｌｗ−ｃｓ}（ｔ）を計算する。

上述したように、不要なアーチファクトを低減するオプションのステップは、図６のフローチャートのステップ４に示される。ＳＰＭ１４は、信号ベクトルｇ_ｐｌｗ（ｔ）における信号のうちのいくつかの信号値を低減することによって、音場再構築に存在する残響の量を制御する。代わりに、又はさらに、ＳＰＭ１４は、信号ベクトルｇ_ｐｌｗ（ｔ）における信号のうちのいくつかをゼロに設定することによって、音場再構築で望ましくない音源を削除する。

図６のフローチャートのステップ５において、パラメータｇ_ｐｌｗ（ｔ）は、音場を再生するために使用される。図２０のフローチャートは、音場の再生のための３つのオプションのパス、ステップ５．Ａ、ステップ５．Ｂ、及びステップ５．Ｃを示す。図２１のフローチャートは、ステップ５．Ａの詳細について説明する。

ステップ５．Ａ．１で、ＳＰＭ１４は、スピーカアレイ２０を介して再構築された音場のスピーカの再生を可能にするために、スピーカパニング行列Ｐ_{ｐｌｗ／ｓｐｋ}を計算する、又はデータストレージから取り出す。パニング行列Ｐ_{ｐｌｗ／ｓｐｋ}は、例えばベクトルベースの振幅パニング（ＶＢＡＰ）など、様々なパニング技術のいずれかを使用して導出され得る。ステップ５．Ａ．２で、ＳＰＭ１４は、スピーカ信号ｇ_ｓｐｋ（ｔ）をｇ_ｓｐｋ（ｔ）＝Ｐ_{ｐｌｗ／ｓｐｋ}ｇ_ｐｌｗ（ｔ）の通り計算する。

ステップ５．Ｂの詳細について説明する図２２のフローチャートに別のオプションが示される。

ステップ５．Ｂ．１で、ＳＰＭ１４は、スピーカアレイ２０を介して再構築された音場のスピーカ再生を可能にするために、ｂ_{ＨＯＡ−ｈｉｇｈｒｅｓ}（ｔ）を計算する。ｂ_{ＨＯＡ−ｈｉｇｈｒｅｓ}（ｔ）は、任意のＨＯＡ領域次数に展開することができるｇ_ｐｌｗ（ｔ）の高分解能のＨＯＡ領域表現である。ＳＰＭ１４は、ｂ_{ＨＯＡ−ｈｉｇｈｒｅｓ}（ｔ）を以下の通り計算する。

式中、

は、定義済み行列のうちの１つであり、

ステップ５．Ｂ．２で、ＳＰＭ１４は、ＨＯＡデコード技術を使用して、ｂ_{ＨＯＡ−ｈｉｇｈｒｅｓ}（ｔ）をｇ_ｓｐｋ（ｔ）にデコードする。

スピーカの再生の代替は、ヘッドホンの再生である。ヘッドホンの再生の操作は、図２０のフローチャートのステップ５．Ｃに示される。図２３のフローチャートは、ステップ５．Ｃの詳細について説明する。

ステップ５．Ｃ．１で、ＳＰＭ１４は、ヘッドホン２２のうちの１つ又は複数を介して再構築された音場のヘッドホンの再生を可能にするために、解析平面波方向の組に対応するフィルタの頭部インパルス応答行列Ｐ_{ｐｌｗ／ｈｐｈ}（ｔ）を計算する、又はデータストレージから取り出す。フィルタの頭部インパルス応答（ＨＲＩＲ）行列Ｐ_{ｐｌｗ／ｈｐｈ}（ｔ）は、ＨＲＴＦ測定から導出される。

ステップ５．Ｃ．２で、ＳＰＭ１４は、フィルタ畳込み演算を使用して、ヘッドホン信号ｇ_ｈｐｈ（ｔ）を

により計算する。

スピーカのための基本的なＨＯＡデコーディングが以下によって（周波数領域において）得られることを当業者であれば理解されよう。

式中、Ｎ_ｓｐｋは、スピーカの数であり、

は、列が球面調和関数

の値である行列の転置であり、式中、（ｒ_ｋ，θ_ｋ，φ_ｋ）はｋ番目のスピーカについての極座標であり、

におけるハット演算子は、その行列が何らかの次数Ｍに切り捨てられたことを示し、
ｂ_ＨＯＡは、ＨＯＡ領域において表される再生信号である。

３次元の基本的なＨＯＡデコーディングは、様々な及び任意のスピーカ構成を使用して音場を容易に再構築する能力を含むいくつかの利点を有する球面調和ベースの方法である。しかし、球面調和ベースの方法は、符号化及び復号プロセスに関連した制限も被ることを当業者であれば理解されよう。第１に、音場を観察するために有限数のセンサが使用されるので、符号化は、高周波で空間エイリアシングを被る（Ｎ．Ｅｐａｉｎ及びＪ．Ｄａｎｉｅｌ「球状マイクロフォンアレイの改良（Ｉｍｐｒｏｖｉｎｇｓｐｈｅｒｉｃａｌｍｉｃｒｏｐｈｏｎｅａｒｒａｙｓ）」ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡＥＳ１２４ｔｈＣｏｎｖｅｎｔｉｏｎ、２００８年５月参照）。第２に、再生に使用されるスピーカの数が音場の説明において使用される球面調和成分の数より多いとき、一般に、構築された音場の忠実度の低下に気づく（Ａ．Ｓｏｌｖａｎｇ「２次元高次アンビソニックのスペクトル障害（Ｓｐｅｃｔｒａｌｉｍｐａｉｒｍｅｎｔｏｆｔｗｏｄｉｍｅｎｓｉｏｎａｌｈｉｇｈｅｒ−ｏｒｄｅｒａｍｂｉｓｏｎｉｃｓ）」音響学会誌、第５６巻、２００８年４月、ｐｐ．２６７〜２７９参照）。

いずれの場合でも、制限は、過小決定された課題が疑似逆行列方法を使用して解決されることに関連する。本開示の場合、これらの制限は、いくつかの例において、圧縮サンプリング又はＩＣＡの一般的な原理を使用して回避される。圧縮サンプリングに関して、出願人は、平面波基準を音場のスパース領域として使用し、次いで上記で定義されたいくつかの凸計画問題のうちの１つを解析することが記録された音場の驚くほど正確な再構築につながることを見出した。平面波の説明は、定義済みの行列Ｔ_{ｐｌｗ／ｍｉｃ}に含まれる。

標準ＨＯＡの解と圧縮サンプリングの解との間の距離は、例えば、制約

を使用して制御され得る。ε_２がゼロであるとき、圧縮サンプリングの解は、標準ＨＯＡの解と同じである。ＳＰＭ１４は、音場の計算されたスパース性に従って、ε_２の値を動的に設定することができる。

ＨＯＡ領域においてＩＣＡを適用することに関して、出願人は、ＨＯＡ領域が記録された信号の瞬間的な混合を提供することから、統計的独立の適用は、かなりの利点になることを見出した。さらに、統計的独立の適用は、スパース性を解に課すように見えるという点で、圧縮サンプリングと類似しているようである。

上述したように、圧縮サンプリングの技術又はＨＯＡ領域でのＩＣＡの技術を使用して音場のスパース性を推定することが可能である。

図２４Ａ〜図２４Ｃ及び図２５Ａ〜図２５Ｃに、本開示を使用して音場再構築の電力を示すシミュレーション結果が示されている。シミュレーションにおいて、マイクロフォンアレイ１２は、球体の表面上に均一に分散される３２の全指向性マイクロフォンを有する４ｃｍ半径の剛性の球体である。音場は、１ｍの半径を有する４８個のスピーカのリングを使用して再構築される。

ＨＯＡの場合、マイクロフォン利得は、最高次数４までＨＯＡ符号化される。スパース制約を含む周波数領域技術を使用し、水平面において均一に分散される３６０の平面波の基準を使用して、圧縮サンプリング平面波解析が実行される。ε_１及びε_２の値は、それぞれ１０^−３及び２に固定されている。あらゆる場合に、音場を定義する音源の方向は、水平面においてランダムに選択されている。

実施例１
図２４Ａ〜図２４Ｃを参照すると、このシミュレーションでは、２ｋＨｚの４つの音源が使用された。ＨＯＡの解が図２４Ａに示され、最初の音場が図２４Ｂに示され、本開示の技術を使用した解が図２４Ｃに示される。明確に、記載された方法は、標準のＨＯＡ方法よりよく機能する。

実施例２
図２５Ａ〜図２５Ｃを参照すると、このシミュレーションでは、１６ｋＨｚの１２の音源が使用された。上述したように、ＨＯＡの解が図２５Ａに示され、最初の音場が図２５Ｂに示され、本開示の技術を使用した解が図２５Ｃに示される。図２５Ａ〜図２５Ｃの結果は、マイクロフォンアレイのシャノン−ナイキスト空間エイリアシング制限外で取得され、しかし音場の正確な再構築を依然として提供することを、当業者であれば理解されたい。

スイートスポットがより大きくなるように、向上した及びより強い音場の再構築が提供されることは、記載された実施形態の利点である。システムを定義しているパラメータが過小制約されているとき、再構築の品質の劣化は、仮にあるとしてもわずかしかなく、スピーカの数が増加するにつれて、再構築の精度は向上する。

広義に記載される本開示の範囲を逸脱することなく、特定の実施形態に示されるように、多数の変形及び／又は変更が本開示に加えられてもよいことを当業者であれば理解されよう。したがって、本実施形態は、あらゆる点で、制限としてではなく、例示として考慮されるものとする。

Claims

記録された音場を再構築する方法であって、
時間領域技術及び周波数領域技術のうちの一方を使用して、スパース領域における記録されたデータを解析するステップと、
周波数領域技術を使用するとき、ＦＦＴを使用して１組の信号ｓ _ｍｉｃ（ｔ）を周波数領域に変換してｓ _ｍｉｃを取得して、以下の第１の凸計画問題を解決することによって、前記記録された音場の平面波解析を行い、周波数領域の平面波形振幅のベクトルｇ _{ｐｌｗ−ｃｓ} を生成し、
前記第１の凸計画問題は、

という条件で、｜｜ｇ _{ｐｌｗ−ｃｓ} ｜｜ _１を最小にする問題であり、
式中で、Ｔ _{ｐｌｗ／ｍｉｃ} が、前記平面波とマイクロフォンとの間の伝達行列であり、
ｓ _ｍｉｃが、マイクロフォンアレイによって記録される前記１組の信号であり、
ε _１が、負でない実数であり、
時間領域技術を使用するとき、信号ｓ _ｍｉｃ（ｔ）から行列Ｂ _ＨＯＡを取得し、以下の第２の凸計画問題を解決することによって、前記記録された音場の平面波解析を行い、時間領域の平面波形信号の行列Ｇ _ｐｌｗを生成し、
前記第２の凸計画問題は、
｜｜Ｙ _ｐｌｗＧ _ｐｌｗ −Ｂ _ＨＯＡ｜｜ _Ｌ２ ≦ε _１という条件で、
｜｜Ｇ _ｐｌｗ｜｜ _{Ｌ１−Ｌ２} を最小にする問題であり、
式中のＹ _ｐｌｗが、列が何らかの組の解析平面波に対応する１組の方向についての球面調和関数の値である行列であり、
ε _１が、負でない実数である、ステップと、
前記記録された音場を再構築することができるように、選択された技術から生成された平面波信号及びその関連のソース方向を取得するステップと、
を含む方法。
前記方法は、
周波数領域技術により、平面波振幅の前記ベクトルｇ_{ｐｌｗ−ｃｓ}について、以下の第３の凸計画問題を解決することによって、前記記録された音場の前記平面波解析を行うステップであって、
前記第３の凸計画問題とは、

及び、

という条件で、｜｜ｇ_{ｐｌｗ−ｃｓ}｜｜_１を最小にする問題であり、
式中で、Ｔ_{ｐｌｗ／ｍｉｃ}が、前記平面波と前記マイクロフォンとの間の伝達行列であり、
ｓ_ｍｉｃが、前記マイクロフォンアレイによって記録される前記１組の信号であり、
ε_１が、負でない実数であり、
Ｔ_{ｍｉｃ／ＨＯＡ}が、前記平面波とＨＯＡ領域フーリエ展開との間の伝達行列であり、
ｂ_ＨＯＡが、ｂ_ＨＯＡ＝Ｔ_{ｍｉｃ／ＨＯＡ}ｓ_ｍｉｃによって得られる１組のＨＯＡ領域フーリエ係数であり、式中、Ｔ_{ｍｉｃ／ＨＯＡ}が前記マイクロフォンと前記ＨＯＡ領域フーリエ展開との間の伝達行列であり、
ε_２が、負でない実数である、当該記録された音場の前記平面波解析を行うステップ、
をさらに含む、請求項１に記載の方法。
前記方法は、
前記１組の解析平面波に対応する１組の方向の空間分割の解に基づいて、ε_１を設定するステップと、
前記音場の計算されたスパース性に基づいてε_２の値を設定するステップと、
をさらに含む、請求項２に記載の方法。
前記方法は、
時間領域技術により、Π_Ｌ＝（１−α）Π_Ｌ−１＋αＧ_ｐｌｗｐｉｎｖ（Ｂ_ＨＯＡ）
を計算することによって、Ｌ番目の時間フレームについて、非混合行列Π_Ｌを取得するステップであって、
式中のΠ_Ｌ−１は、Ｌ−１時間フレームについての前記非混合行列を指し、αが、０≦α≦１となるような忘却因子である、当該非混合行列Π_Ｌを取得するステップと、
Ｇ_{ｐｌｗ−ｓｍｏｏｔｈ}＝Π_ＬＢ_ＨＯＡという式を使用してＧ_{ｐｌｗ−ｓｍｏｏｔｈ}を取得するステップと、
をさらに含む、請求項１〜３の何れか一項に記載の方法。
前記方法は、
特異値分解をＢ_ＨＯＡに適用して、行列分解
Ｂ_ＨＯＡ＝ＵＳＶ^Ｔを取得するステップと、
ｍがＢ_ＨＯＡの行の数であるとして、Ｓの最初のｍ個の列のみを保持することによって行列Ｓ_{ｒｅｄｕｃｅｄ}を形成し、Ω＝ＵＳ_{ｒｅｄｕｃｅｄ}という式で与えられる行列Ωを形成するステップと、
行列Γについて、以下の凸計画問題を解決するステップであって、
前記凸計画問題とは、｜｜Ｙ_ｐｌｗΓ−Ω｜｜_Ｌ２≦ε_１という条件で、
｜｜Γ｜｜_{Ｌ１−Ｌ２}を最小にする問題であり、
式中のε_１及びＹ_ｐｌｗが、前記のように定義された通りである、当該凸計画問題を解決するステップと、
をさらに含む、請求項４に記載の方法。
前記方法は、
Ｇ_ｐｌｗ＝ΓＶ^Ｔ
という式を使用して、ΓからＧ_ｐｌｗを取得するステップであって、
式中のＶ^ＴがＢ_ＨＯＡの前記行列分解から取得される、当該取得するステップ、
をさらに含む、請求項５に記載の方法。
前記方法は、
Π_Ｌ＝（１−α）Π_Ｌ−１＋αΓｐｉｎｖ（Ω）
を計算することによって、Ｌ番目の時間フレームについて、非混合行列Π_Ｌを取得するステップであって、
式中のΠ_Ｌ−１が、前記Ｌ−１時間フレームについての非混合行列であり、αが、０≦α≦１となるような忘却因子である、当該非混合行列Π_Ｌを取得するステップと、
Ｇ_{ｐｌｗ−ｓｍｏｏｔｈ}＝Π_ＬＢ_ＨＯＡという式を使用してＧ_{ｐｌｗ−ｓｍｏｏｔｈ}を取得するステップと、
をさらに含む、請求項６に記載の方法。
前記方法は、

によってｇ_{ｐｌｗ−ｃｓ}（ｔ）を前記ＨＯＡ領域に変換し直すステップであって、
式中のｂ_{ＨＯＡ−ｈｉｇｈｒｅｓ}（ｔ）が、任意のＨＯＡ領域次数に展開することができるｇ_{ｐｌｗ−ｃｓ}（ｔ）の高分解能のＨＯＡ領域表現であり、

が、平面波基準のＨＯＡ方向行列であり、

におけるハット演算子が、その行列が何らかのＨＯＡ次数Ｍに切り捨てられたことを示す、当該変換し直すステップ、
をさらに含む、請求項２に記載の方法。
請求項１〜８のいずれか一項に記載の方法を実行するように構成されたコンピュータ。
コンピュータに、請求項１〜８のいずれか一項に記載の方法に含まれたステップを実行させるためのプログラム、を記録したコンピュータ読み取り可能な記録媒体。