JP6047240B2 - 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整 - Google Patents

Description

本発明は、概して空間オーディオ信号処理に関し、特に、元のスピーカ設定のために意図された空間オーディオ信号を、元のスピーカ設定とは異なる再生スピーカ設定に適合させるための装置及び方法に関する。本発明の更なる実施形態は柔軟で高品質の多チャネル音声シーン変換に関する。

最新オーディオ再生システムの要件は、ここ数年の間に変化してきた。単一チャネル（モノラル）から二チャネル（ステレオ）、また５．１及び７．１サラウンドのような多チャネルのシステムへ、また更には波面合成まで、使用されるスピーカチャネルの数は増加してきた。高品位スピーカを有するシステムさえ最新の映画館には見られるようになってきた。その目的は、臨場感、埋没感及び包み込まれるような感覚について、現実のオーディオシーンに可能な限り近づくか、又は代替的に、音響技師の意図を最良に反映するように記録され又は人工的に作成されたオーディオシーンを聴取者にオーディオ体験させることである（例えば、非特許文献１、非特許文献２、非特許文献３を参照されたい）。しかしながら、少なくとも２つの欠点がある。即ち、利用可能な音響システムが複数あることによって、使用されるスピーカの数及びスピーカの推奨される位置決めに関連して、これら全てのシステムの間に一般的な互換性がないことである。さらに、推奨されるスピーカの位置決めから少しでも逸脱すると、オーディオシーンが損なわれることになり、その結果、聴取者の空間オーディオ体験及び空間的品質が低下することである。

実世界のアプリケーションにおいて、多チャネル再生システムは、スピーカの位置決めについて正確に構成されないことが多い。誤った位置決めからもたらされるオーディオシーンの元の空間像の歪みを与えないために、これら設定の不整合を補償することができる柔軟な高品質のシステムが必要とされている。現行技術水準の手法は、例えば周波数帯域及び時間あたり２つ以上の直接音源が現れるような、複雑で恐らく人工的に生成されている音声シーンを記述する能力を欠くものが多い。

米国特許出願公開第２００８／０２３２６１６（Ａ１）号 ドイツ特許出願公開第１０２０１００３０５３４（Ａ１）号 米国特許出願公開第２０１２／０１７０７５８（Ａ１）号 米国特許出願公開第２０１０／０２９６６７２（Ａ１）号

M. Morimoto, "The Role of Rear Loudspeakers in Spatial Impression", in 103rd Convention of the AES, 1997 D. Griesinger, "Spaciousness and Envelopment in Musical Acoustics", in 101st Convention of the AES, 1996 K. Hamasaki, K. Hiyama, and R. Okumura, "The 22.2 Multichannel Sound System and Its Application", in 118th Convention of the AES, 2005 V. Pulkki, "Spatial Sound Reproduction with Directional Audio Coding", J. Audio Eng. Soc, vol. 55, no. 6, pp. 503-516, 2007 M. Goodwin and J.-M. Jot, "Spatial Audio Scene Coding", in 125th Convention of the AES, 2008 J. Thompson, B. Smith, A. Warner, and J.-M .Jot, "Direct-Diffuse Decomposition of Multichannel Signals Using a System of Pairwise Correlations", in 133rd Convention of the AES 2012, October 2012 A. Ando, "Conversion of Multichannel Sound Signal Maintaining Physical Properties of Sound in Reproduced Sound Field", IEEE Transactions on Audio, Speech, and Language Processing, vol. 19, no. 6, pp. 1467-1475, 2011 A. Laborie, R. Bruno, and S. Montoya in "Reproducing Multichannel Sound on any Speaker Layout", 118th Convention of the AES, 2005 V. Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", J. Audio Eng. Soc, vol. 45, no. 6, pp. 456-466, 1997 J. Blauert, "Spatial hearing: The psychophysics of human sound localization", 3rd ed. Cambridge and Mass: MIT Press, 2001, section 2.2.2 J. S. Usher and J. Benesty, "Enhancement of Spatial Sound Quality: A New Reverberation-Extraction Audio Upmixer", IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, no. 7, pp. 2141-2150, 2007 C. Faller, "Multiple-Loudspeaker Playback of Stereo Signals", J. Audio Eng. Soc, vol. 54, no. 11, pp. 1051-1064, 2006 C. Avendano and J.-M. Jot, "Ambience extraction and synthesis from stereo signals for multi-channel audio up-mix", in Acoustics, Speech, and Signal Processing (ICASSP), 2002 IEEE International Conference on, vol. 2, 2002, pp. II-1957 - II-1960 R. Irwan and R. M. Aarts, "Two-to-Five Channel Sound Processing", J. Audio Eng. Soc, vol. 50, no. 11, pp. 914-926, 2002 Dressler in "Dolby Surround Pro Logic II Decoder Principles of Operation" M. Goodwin and J.-M. Jot, "Primary-Ambient Signal Decomposition and Vector-Based Localization for Spatial Audio Coding and Enhancement," IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), vol. 1, 2007, pp. I-9-I-12 "Spatial Audio Processing" by J. Breebart and C. Faller C. Avendano and J.-M. Jot in "Frequency Domain Techniques for Stereo to Multichannel Upmix," in 22nd International Conference of the AES on Virtual, Synthetic and Entertainment Audio, 2002

そこで、本発明の目的は、再生スピーカ設定が元のスピーカ設定から逸脱する場合、即ち空間オーディオ信号のオーディオコンテンツが元々そのために生成されていたスピーカ設定から逸脱する場合、オーディオシーンの空間的イメージが略同一に維持されるように、空間オーディオ信号を適合させるための改善された概念を提供することである。

この目的は、請求項１に記載の装置、請求項１４に記載の方法、又は請求項１５に記載のコンピュータプログラムによって達成される。

本発明の一実施形態によれば、元のスピーカ設定のために意図された空間オーディオ信号を、元のスピーカ設定とは異なる再生スピーカ設定に適合させるための装置が提供される。空間オーディオ信号は複数のチャネル信号を含む。この装置は、少なくとも２つのチャネル信号を１つのセグメントにグループ化するよう構成されたグルーパを備える。この装置はまた、そのセグメント内の少なくとも２つのチャネル信号を、少なくとも１つの直接音(direct sound)成分と少なくとも１つの環境(ambience)成分とに分解するよう構成された直接−環境分解部をも備える。直接−環境分解部はさらに、少なくとも１つの直接音成分の到来方向を決定するよう構成されてもよい。この装置は直接音レンダラーをさらに備え、その直接音レンダラーは、そのセグメントと関連する少なくとも１つの再生セグメントに関する再生スピーカ設定情報を受信し、再生スピーカ設定における少なくとも１つの直接音成分の知覚される到来方向が、そのセグメントの到来方向と同じであるように、又は、調整が行われていない状況と比較して、少なくとも１つの直接音成分の到来方向により近くなるように、そのセグメントに関する再生スピーカ設定情報を使用して、少なくとも１つの直接音成分を調整するよう構成されている。この装置は結合器をさらに備え、その結合器は、調整済み直接音成分と環境成分又は修正済み環境成分とを結合して、再生スピーカ設定の少なくとも２つのスピーカに関するスピーカ信号を得るよう構成されている。

本発明の根底にある基本概念は、隣接するスピーカチャネルをセグメント（例えば円形セクタ、円筒形セクタ、又は球形セクタ）へとグループ化し、各セグメント信号を対応する直接及び環境の信号部分へと分解することである。直接信号は、各セグメント内のファントム音源位置（又は複数のファントム音源位置）をもたらし、一方で、環境信号は拡散音に対応し、聴取者を包み込む役割を担う。レンダリング処理の期間中に、直接成分はファントム音源位置を用いて再マップ、重み付け及び調整されて、実際の再生スピーカ設定に適合し、かつ音源の元の位置関係を保持する。環境成分は再マップ及び重み付けされて、修正済みの聴取設定において同じ量の包み込みを生成する。処理の少なくとも幾つかは時間−周波数ｂｉｎベースで実行されてもよい。この方法によって、たとえ出力設定においてスピーカの数が増減しても対処することができる。

元のスピーカ設定のセグメントは、以下の説明において参照を容易にするために「元のセグメント」と呼ばれる場合もある。同様に、再生スピーカ設定におけるセグメントは、「再生セグメント」と呼ばれる場合もある。１つのセグメントは典型的に、２つ以上のスピーカ及び一人の聴取者位置によって形成されるか、又は区切られる。つまり、１つのセグメントは典型的に、２つ以上のスピーカ及び一人の聴取者によって区切られる空間に対応する。１つの所与のスピーカが、２つ以上のセグメントに割り当てられてもよい。二次元スピーカ設定においては、１つの特定のスピーカが、典型的に「左」セグメントと「右」セグメントとに割り当てられる。つまり、そのスピーカは原則的に左及び右のセグメント内に対して音声を放出する。グルーパ（又はグループ化要素）は、１つの所与のセグメントと関連するチャネル信号を集約するよう構成されている。各チャネル信号は２つ以上のチャネルに割り当てられ得るため、各チャネル信号は、一つ又は複数のグルーパによってこれら２つ以上のセグメントに分配され得る。

直接−環境分解部は、各チャネルについて直接音成分と環境成分とを決定するよう構成されてもよい。代替的に、直接−環境分解部は、セグメント毎に単一の直接音成分と単一の環境成分とを決定するよう構成されてもよい。到来方向（単数又は複数）は、少なくとも２つのチャネル信号を分析（例えば相互相関）することによって決定されてもよい。代替的に、到来方向（単数又は複数）は、装置の更なる構成要素から、又は外部エンティティから直接−環境分解部に提供される情報に基づいて、決定されてもよい。

直接音レンダラーは、典型的に、元のスピーカ設定と再生スピーカ設定との間の差が元のスピーカ設定の現在考慮されているセグメントにどのように影響を与えるか、及び、前記セグメント内の直接音成分の知覚を維持するためにいずれの手段をとるべきか、を考慮することができる。これらの手段は、（非包括的リストとして）以下のような手段を含んでもよい。
−前記セグメントの複数のスピーカ間で直接音成分の振幅重み付けを修正すること、
−前記セグメントの複数のスピーカに関するスピーカ特有の直接音成分同士の間の位相関係及び／又は遅延関係を修正すること、
−再生スピーカ設定内でより良好に適合するスピーカが利用可能であることに起因して、特定のスピーカから前記セグメントの直接音成分を除去すること、
−元のスピーカ設定における隣接するセグメントの直接音成分を、現在考慮されているセグメント内のあるスピーカに適用することであって、その理由は、前記スピーカが（例えば、元のスピーカ設定から再生スピーカ設定に移行するときに、あるファントム音源についての到来方向と交差しているセグメント境界に起因して）前記直接音成分を再生するのにより良好に適合しているためである、
−再生スピーカ設定において利用可能であるが、元のスピーカ設定にはない、追加されたスピーカ（追加的スピーカ）に直接音成分を適用すること、
−後述するような可能性のある更なる手段。

直接音レンダラーは複数のセグメントレンダラーを含み、各セグメントレンダラーが１つのセグメントのチャネル信号の処理を実行してもよい。

結合器は、現在考慮されているセグメントに隣接する１つ又は複数のセグメントのために直接音レンダラー（又は更なる直接音レンダラー）によって生成された調整済み直接音成分と、環境成分及び／又は修正済み環境成分とを結合してもよい。幾つかの実施形態によれば、環境成分は、直接−環境分解部によって決定された少なくとも１つの環境成分と実質的に同一であってもよい。代替的な実施形態によれば、修正済み環境成分は、元のセグメントと再生セグメントとの間の差を考慮に入れて、直接−環境分解部によって決定された環境成分に基づいて決定されてもよい。

更なる実施形態によれば、再生スピーカ設定は、セグメント内に追加のスピーカを含んでもよい。このとき、元のスピーカ設定のセグメントは、再生スピーカ設定の２つ以上のセグメントに対応する。即ち、元のスピーカ設定における元のセグメントは、再生スピーカ設定における２つ以上の再生セグメントに分割されている。直接音レンダラーは、再生スピーカ設定の少なくとも２つのスピーカ及び追加のスピーカに関する調整済み直接音成分を生成するよう構成されてもよい。

反対の事例も可能である。すなわち、更なる実施形態によれば、再生スピーカ設定は、元のスピーカ設定と比較してあるスピーカを欠いてもよく、その場合、元のスピーカ設定のセグメント及び隣接するセグメントが融合されて、再生スピーカ設定の１つの融合セグメントになる。直接音レンダラーは、この場合、再生スピーカ設定において欠けているスピーカに対応するチャネル信号の調整済み直接音成分を、再生スピーカ設定の融合セグメントの少なくとも２つの残りのスピーカに分配するよう構成されてもよい。元のスピーカ設定には存在するが再生スピーカ設定にはないスピーカは、「欠損スピーカ」と呼ばれてもよい。

更なる実施形態によれば、直接音レンダラーは、元のスピーカ設定から再生スピーカ設定に移行する場合に、あるセグメントと隣接するセグメントとの間の境界が決定された到来方向と交錯（trespass）又は交差するとき、決定された到来方向を有する直接音成分を、元のスピーカ設定におけるセグメントから再生スピーカ設定における隣接するセグメントへと再配分するよう構成されてもよい。

更なる実施形態において、直接音レンダラーは、決定された到来方向を有する直接音成分を少なくとも１つの第１スピーカから少なくとも１つの第２スピーカに再配分するようにさらに構成されてもよく、少なくとも１つの第１スピーカは、元のスピーカ設定においてあるセグメントに割り当てられているが、再生スピーカ設定における隣接セグメントには割り当てられておらず、少なくとも１つの第２スピーカは、再生スピーカ設定における隣接セグメントに割り当てられている。

更なる実施形態によれば、直接音レンダラーは、再生スピーカ設定の少なくとも２つの有効スピーカ−セグメントペアに関するスピーカ−セグメント特有の直接音成分を生成するよう構成されてもよく、少なくとも２つの有効スピーカ−セグメントペアは、再生スピーカ設定における一つの同じスピーカと２つの隣接するセグメントとに関係している。結合器は、同じスピーカに関係する少なくとも２つの有効スピーカ−セグメントペアについてスピーカ−セグメント特有の直接音成分を結合して、再生スピーカ設定の少なくとも２つのスピーカに関するスピーカ信号のうちの１つを取得するよう構成されてもよい。有効スピーカ−セグメントペアは、スピーカ、及び、このスピーカが割り当てられているセグメントの１つに関係している。スピーカが（典型的にはそうであるように）更なるセグメントに割り当てられる場合、そのスピーカは、更なる有効スピーカ−セグメントペアの一部であってもよい。同様に、セグメントは、更なる有効スピーカ−セグメントペアの一部であってもよい（また典型的にそうである）。直接音レンダラーは、各スピーカのこの両面性を考慮して、そのスピーカについてのセグメント特有の直接音成分を提供するよう構成されてもよい。結合器は、再生スピーカ設定の特定のスピーカが割り当てられた様々なセグメントから、その特定のスピーカ向けに意図された、セグメント特有の種々の直接音成分を（及び、場合によってはセグメント特有の環境成分をも）集約するよう構成されてもよい。再生スピーカ設定においてスピーカを追加又は除去することは、以下のように、有効スピーカ−セグメントペアに影響を与える場合があることに留意されたい。即ち、スピーカを追加することによって、典型的には元の１つのセグメントが少なくとも２つの再生セグメントに分割され、その結果、影響を受けたスピーカは再生スピーカ設定において新たなセグメントに割り当てられる。スピーカを除去する結果として、２つ以上の元のセグメントが１つの再生セグメントに融合され、それに応じて有効スピーカ−セグメントペアが影響を受け得る。

本発明の更なる実施形態は、元のスピーカ設定のために意図された空間オーディオ信号を、元のスピーカ設定とは異なる再生スピーカ設定に適合させるための方法を提供する。空間オーディオ信号は複数のチャネルを含む。この方法は、少なくとも２つのチャネル信号を１つのセグメントにグループ化するステップと、このセグメント内の少なくとも２つのチャネル信号を、少なくとも１つの直接音成分と少なくとも１つの環境成分とに分解するステップとを含む。その方法は、前記少なくとも１つの直接音成分の到来方向を決定するステップをさらに含む。その方法はまた、再生スピーカ設定における直接音成分の知覚される到来方向が、前記セグメントの到来方向と実質的に同一であるように、そのセグメントに関する再生スピーカ設定情報を使用して少なくとも１つの直接音成分を調整するステップをも含む。少なくとも１つの直接音成分の知覚される到来方向は、調整が行われていない状況と比較して、少なくともそのセグメントの到来方向により近い。その方法は、調整済み直接音成分と、環境成分又は修正済み環境成分とを結合して、再生スピーカ設定の少なくとも２つのスピーカのスピーカ信号を取得するステップをさらに含む。

以下において、本発明の実施形態を、添付の図面を参照して説明する。

可能な適用シナリオの概略ブロック図である。 空間オーディオ信号を調整するための装置及び方法のシステム概観の概略ブロック図である。 １つのスピーカが移動／変位されている修正済みスピーカ設定の一例の概略図である。 スピーカの数が増加している別の修正済みスピーカ設定の一例の概略図である。 スピーカの数が減少している別の修正済みスピーカ設定の一例の概略図である。 スピーカが変位されている更なる修正済みスピーカ設定の一例の概略図である。 スピーカが変位されている更なる修正済みスピーカ設定の他の例の概略図である。 空間オーディオ信号を調整するための装置の概略ブロック図である。 空間オーディオ信号を調整するための方法の概略フロー図である。

図面を使用して本発明をさらに詳細に説明する前に、図面において、同一の要素、同じ機能又は同じ効果を有する要素には同じ又は同様の参照符号が与えられており、従って、異なる実施形態において示されているこれらの要素の記述及びその機能は相互に交換可能であり、又は、異なる実施形態において互いに対して適用されてもよいことを指摘しておく。

空間オーディオ信号を調整するための幾つかの方法は、特に、大域的な物理的仮定に基づくもの（例えば非特許文献４及び特許文献１を参照）、又は、オーディオシーン全体の中で各周波数帯域あたり１つの位置特定可能な（直接）成分に制約されるもの（例えば、非特許文献５及び非特許文献６を参照）などのように、複雑な音声シーンを取り扱えるほどの十分な柔軟性を持っていない。幾つかの特別なシナリオにおいては、１つの平面波又は直接成分を仮定すれば十分であり得るが、一般的に、複数の活性音源を有する複雑なオーディオシーンを一度にキャプチャすることは可能ではない。その結果、再生中に空間歪み及び不安定がもたらされ、又は音源がジャンプすることさえ起こり得る。

出力設定と一致しない入力設定スピーカを仮想スピーカとしてモデル化するシステムがある（スピーカ信号全体が隣接するスピーカによってスピーカの意図された位置にパンニングされる）（非特許文献７を参照）。この結果として、それらのスピーカチャネルが寄与するファントム音源の空間歪みがもたらされる場合がある。非特許文献８によって示された手法は、ユーザが最初に自身のスピーカを較正し、その後、演算集約的な信号変換の中からその設定のために信号をレンダリングすることを必要とする。

さらに、高品質システムであれば波形保存であるべきである。入力設定と同じスピーカ設定に入力チャネルがレンダリングされるとき、波形は大幅に変化するべきではなく、そうでなければ情報が失われ、可聴のアーティファクトが発生し、空間及びオーディオ品質が劣化する可能性がある。ここで、オブジェクトベースの方法には、オブジェクト抽出中に導入される追加的なクロストークの問題があり得る（特許文献２を参照）。大域的な物理的仮定もまた、結果として、異なる波形をもたらす（例えば、非特許文献５、非特許文献４及び特許文献１を参照）。

多チャネルパンナーは、オーディオシーンのどこかにファントム音源を配置するために使用することができる。Ｅｐｐｏｌｉｔｏ、Ｐｕｌｋｋｉ、及びＢｌａｕｅｒｔによって言及されているアルゴリズムは比較的単純な仮定に基づくが、この仮定は、音源がパンニングされた空間位置及び音源が知覚される空間位置に深刻な不正確性を引き起こすおそれがある（特許文献３、非特許文献９及び非特許文献１０を参照）。

環境抽出アップミックス方法は、環境信号部分を抽出し、環境信号部分を追加のスピーカ間で分配してある量の包み込まれ感（envelopment）を生成するよう設計されている（非特許文献１１、非特許文献１２、非特許文献１３及び非特許文献１４を参照）。この抽出は１つ又は２つのみのチャネルに基づいており、このことが結果的にもたらされるオーディオシーンがもはや元のシーンの正確なイメージでなくなる理由であり、またこれらの方法が本発明の目的にとって有用な手法ではない理由である。これは、Ｄｒｅｓｓｌｅｒによって非特許文献１５（オンラインで利用可能、アドレスは下記に示す）に記載されているようなマトリクス化手法にも当てはまる。特許文献４においてＶｉｃｋｅｒｓにより言及されている２から３へのアップミックス手法は、第３のスピーカの位置、及び、他の２つのスピーカの間での結果としての信号分配に関する幾つかの予備知識を利用しており、そのため、任意の位置に挿入されたスピーカのついて正確な信号を生成する能力を欠いている。

本発明の実施形態は、適切なスピーカをセグメントにグループ化して、アップミックス、ダウンミックス及び／又は変位調整処理を適用することによって、スピーカ設定が元の設定から逸脱するような再生環境において、元のオーディオシーンを保存することが可能であるシステムを提供することを目的とする。通常のオーディオコーデックに対する後処理段階が、可能な適用シナリオであり得る。そのような事例は図１に示されており、

は、それぞれ、元の及び修正済み／変位済みスピーカ設定におけるスピーカの数及び極座標におけるスピーカの対応する位置である。しかしながら、一般的に、提案の方法は、後処理ツールとしていずれのオーディオ信号チェーンにも適用可能である。実施形態において、スピーカ設定（元の及び／又は再生スピーカ設定）のセグメントは各々、二次元（２Ｄ）平面内又は三次元（３Ｄ）空間内の方向の部分集合を表す。実施形態によれば、平面二次元（２Ｄ）スピーカ設定について、考慮対象の全体的な方位角範囲が小さい方位角範囲をカバーする複数のセグメント（セクタ）に分割され得る。同様に、３Ｄ事例においては、全体的な立体角範囲（方位角及び仰角）が小さい角度範囲をカバーするセグメントに分割され得る。

各セグメントは、対応するセグメントを指定又は参照するために使用可能な、関連する方向の尺度によって特徴付けることができる。この方向の尺度は、例えば、セグメントの中心を指すベクトル、２Ｄ事例における方位角、又は、３Ｄ事例における方位角及び仰角のセットとすることができる。セグメントは、２Ｄ平面内又は３Ｄ空間内の方向の部分セットの両方として参照され得る。単純に提示するために、以下の例は２Ｄ事例について例示的に説明されるが、３Ｄ構成への拡張は容易である。

図１は、空間オーディオ信号を調整するための装置及び／又は方法の上述した可能な適用シナリオの概略ブロック図を示す。符号器側の空間オーディオ信号１は、符号器１０によって符号化される。符号器側の空間オーディオ信号はＮ個のチャネルを有し、元のスピーカ設定、例えば、スピーカ位置が聴取者の向きに対して０度、+/-３０度、及び+/-１１０度にある５．０スピーカ設定又は５．１スピーカ設定のために生成されている。符号器１０は、送信又は記憶されてもよい符号化済みオーディオ信号を生成する。典型的には、符号化済みオーディオ信号は、記憶及び／又は送信に関する要件を緩和するために、符号器側の空間オーディオ信号１と比較して圧縮されている。符号化済み空間オーディオ信号を復号し、特に解凍するための復号器２０が設けられている。復号器２０は、符号器側の空間オーディオ信号１に非常に類似しているか、又はさらには同一である復号化済み空間オーディオ信号２を生成する。空間オーディオ信号の処理のこの時点において、空間オーディオ信号を調整するための方法又は装置１００が利用され得る。その方法又は装置１００の目的は、空間オーディオ信号２を、元のスピーカ設定とは異なる再生スピーカ設定に対して調整することである。その方法又は装置は、手元の再生スピーカ設定に対して特別に調整された（誂えられた）調整済み空間オーディオ信号３又は４を提供する。

提案方法のシステム概観を図２に示す。入力チャネルの短時間周波数ドメイン表現がグルーパ１１０（グループ化要素）によってグループ化されてＫ個のセグメントになり、直接−環境分解１３０及びＤＯＡ推定段階１４０に供給され、Ａはスピーカ及びセグメントあたりの環境であり、Ｄはスピーカ及びセグメントあたりの直接信号であり、θ、φはセグメントあたりの推定されたＤＯＡである。これらの信号はそれぞれ環境レンダラー１７０又は直接音レンダラー１５０に供給され、結果として出力設定のスピーカ及びセグメント毎の新たにレンダリングされた

がもたらされる。セグメント信号は結合器１８０によって結合されて、角度補正済みの出力信号になる。距離に関する出力設定におけるずれを補償するために、距離調整段階１９０においてチャネルがスケール及び遅延されて、最終的に、再生設定のスピーカチャネルがもたらされる。上記方法は、スピーカの数が増加及び減少した再生設定に対処するように拡大することもでき、これについては後述する。

第１ステップにおいて、前記方法又は装置は、適切な隣接するスピーカ信号をＫ個のセグメントにグループ化する一方で、各スピーカ信号は幾つかのセグメントに寄与することができ、各セグメントは少なくとも２つのスピーカ信号から構成される。図３に示すようなスピーカ設定において、入力設定セグメントは、例えばスピーカペアによって形成され、
Seg_in＝［｛Ｌ₁，Ｌ₂｝，｛Ｌ₂，Ｌ₃｝，｛Ｌ₃，Ｌ₄｝，｛Ｌ₄，Ｌ₅｝，｛Ｌ₅，Ｌ₁｝］
出力セグメントは
Seg_out＝［｛Ｌ₁，Ｌ'₂｝，｛Ｌ'₂，Ｌ₃｝，｛Ｌ₃，Ｌ₄｝，｛Ｌ₄，Ｌ₅｝，｛Ｌ₅，Ｌ₁｝］
になる。元のスピーカ設定におけるスピーカＬ₂（破線で示されているスピーカ）は、再生スピーカ設定においては移動又は変位されたスピーカＬ'₂に修正されている。

分析の中で、セグメント毎の正規化された相互相関ベースの直接−環境分解が実行され、結果として、考慮対象の各セグメントについて各スピーカに関する（各チャネルに関する）直接信号成分Ｄ及び環境信号成分Ａがもたらされる。これは、提案の方法／装置が、各セグメント内の異なる音源の直接及び環境信号を推定することが可能であることを意味する。直接−環境分解は、言及されている正規化された相互相関ベースの手法に制約されず、任意の適切な分解アルゴリズムによって実行することができる。セグメント毎に生成される直接及び環境信号の数は、少なくとも１つから、考慮対象のセグメントに寄与するスピーカの数にまで及ぶ。例えば、図３に与えられている入力設定について、セグメント当り少なくとも１つの直接信号及び１つの環境信号、又は最大で２つの直接信号及び２つの環境信号がある。

さらに、直接−環境分解の中で１つの特定のスピーカ信号が幾つかのセグメントに寄与しているため、信号は、直接−環境分解に入る前にスケールダウン又は分割され得る。これを行う最も容易な方法は、各セグメント内の全てのスピーカ信号を、その特定のスピーカが寄与するセグメントの数によってダウンスケールすることである。例えば、図３における事例について、全てのスピーカチャネルが２つのセグメントに寄与するため、全てのスピーカチャネルに関するダウンスケーリングファクタは１／２になる。しかし一般的には、より精巧で不平衡な分割も可能である。

到来方向推定段階（ＤＯＡ推定段階）１４０が、直接−環境分解１３０に付随し得る。方位角θ及び場合によって仰角φから構成されるＤＯＡは、セグメント及び周波数帯域ごとに、選択された直接−環境分解の方法に従って推定される。例えば正規化された相互相関分解方法が使用される場合、前記ＤＯＡ推定は、入力のエネルギー的考察及び抽出された直接音信号をその推定に利用する。しかしながら、一般的に、ＤＯＡ推定は幾つかの直接−環境分解及び位置検出アルゴリズムの間で選択され得る。

レンダリング段階１７０、１５０（環境及び直接音レンダラー）において、入力スピーカ設定と出力スピーカ設定との間の実際の変換が行われ、直接信号と環境信号とは別個かつ異なる様に処置される。入力設定に対するいかなる修正も、３つの基本的な事例、即ち、スピーカの挿入、除去、及び変位の組み合わせとして説明することができる。単純化のためにこれらの事例は個別に説明するが、実世界のシナリオにおいて、それらの事例は同時に発生し、そのため、同時に処置もされる。これは、基本事例を重ね合わせることによって実行される。スピーカの挿入及び除去は考慮対象のセグメントのみに影響を与え、セグメントベースのアップミックス及びダウンミックス技法と考えられるべきである。レンダリングの中で、直接信号は、出力設定においてファントム音源の正確な定位を保証する、再パンニング機能(repanning function)に供給され得る。それを行うため、信号は、入力設定に対して「逆パンニング」され、出力設定に対して再びパンニングされ得る。これは、セグメント内の直接信号に再パンニング係数を適用することによって達成することができる。例えば、変位事例についての再パンニング係数ｃ^s _D,kの可能な構成は次式（１）であり得る。

ここで、ｇ^s _kは（推定されたＤＯＡから導出される）入力設定におけるパンニング利得であり、ｈ^s _kは出力設定のパンニング利得である。ｋ＝１．．．Ｋは考慮対象のセグメントを示し、ｓ＝１．．．Ｓはセグメント内の考慮対象のスピーカを示す。蛩は小さい正則化定数である。これによって、次のような再パンニングされた直接信号がもたらされる。

寄与するスピーカが入力及び出力設定において一致する任意のセグメントにおいて、この結果は１を乗算したものとなり、抽出される直接成分は変化しないままになる。

ある補正係数もまた環境信号に適用され、この補正係数は一般的にセグメントサイズがどれだけ変化したかに依存する。その補正係数は以下のように構成され得る。

式中、

はそれぞれ、入力設定（元のスピーカ設定）又は出力設定（再生スピーカ設定）におけるセグメントｋ内のスピーカ位置同士の間の角度を示す。これによって、次のような補正済みの環境信号がもたらされる。

直接信号と同様に、寄与するスピーカが入力及び出力設定において一致する任意のセグメントにおいて、環境信号は１を乗算され、変化しないままになる。直接及び環境のレンダリングのこの挙動によって、スピーカチャネルが寄与するセグメントのいずれもが変化を被らない場合、特定のスピーカチャネルの波形保存処理が保証される。その上、セグメントのスピーカ位置が入力設定の位置に向けて漸次移動される場合、その処理は、波形保存解に円滑に収束する。

図４は、スピーカ（Ｌ₆）が標準的な５．１スピーカ構成に追加された、即ち、スピーカの数が増加したシナリオを視覚化している。スピーカが追加される結果として、以下の効果の１つ又は複数がもたらされ得る。オーディオシーンのオフスイートスポット安定性が改善され得る、即ち、聴取者が理想的な聴取位置（いわゆるスイートスポット）を出た場合に知覚される空間オーディオシーンの安定性が向上する。例えば、ファントム音源が実際のスピーカに置き換わる場合、聴取者の包み込まれ感が改善され、及び／又は、空間的な定位が改善され得る。図４において、Ｓは、スピーカＬ₂及びＬ ₆ によって形成されるセグメントにおける推定ファントム音源位置を示す。推定ファントム音源位置は、直接−環境分解部１３０によって実行された直接−環境分解と、セグメント内の１つ又は複数のファントム音源についての到来方向推定とに基づいて、決定されてもよい。追加されたスピーカのために、適切な直接及び環境信号が作成される必要があり、また隣接するスピーカの直接及び環境信号を調整する必要がある。この結果として事実上、以下のような信号処理によって現在のセグメントのアップミックスが行われることになる。

直接信号：追加のスピーカＬ₆を有する再生スピーカ設定（出力設定）において、ファントム音源Ｓは、再生スピーカ設定におけるセグメント｛Ｌ₂，Ｌ₆｝に割り当てられる。そのため、元のスピーカチャネルＬ₃におけるＳに対応する直接信号部分は、追加のスピーカＬ₆に割り当てし直し、再配分して、かつ再パンニング機能によって処理される必要があり、これにより、Ｓの知覚される位置が再生スピーカ設定において同じままとなることが保証される。再配分は、再配分された信号をＬ₃から除去することを含む。Ｌ₂内のＳの直接部分も、再パンニングによって処理される必要がある。

環境信号：Ｌ₆の環境信号は、Ｌ₂及びＬ₃内の環境信号部分から生成され、生成される信号の環境的な知覚を保証すべくデコリレータに送られる。Ｌ₂、Ｌ₆及びＬ₃（新たに形成される出力設定セグメント｛Ｌ₂，Ｌ₆｝及び｛Ｌ₆，Ｌ₃｝の全てのスピーカ）内の環境信号のエネルギーは、以下においてＡＥＲＳと称する選択可能な環境エネルギー再マッピング方式(Ambience Energy Remapping Scheme)に従って調整される。これらの方式の一部は、全体の環境エネルギーが一定に維持される一定環境エネルギー（ＣＡＥ:Constant Ambience Energy)方式、及び、セグメント内の環境エネルギー密度が一定に保持される（例えば、新たなセグメント｛Ｌ₂，Ｌ₆｝及び｛Ｌ₆，Ｌ₃｝内の環境エネルギー密度が元のセグメント｛Ｌ₂，Ｌ₃｝におけるものと同じであるべきである）一定環境密度（ＣＡＤ:Constant Ambience Density）方式である。これらの方式はそれぞれ以下において、ＣＡＥ及びＣＡＤと短縮表記される。

Ｓが再生セグメント｛Ｌ₆，Ｌ₃｝内で配置される場合、直接及び環境信号の処理は同じ規則に従い、同様に実行される。

図４に示すように、再生スピーカ設定は、元のセグメント｛Ｌ₂，Ｌ₃｝内の追加のスピーカＬ₆を含み、その結果、元のスピーカ設定の元のセグメントは、再生スピーカ設定の２つのセグメント｛Ｌ₂，Ｌ₆｝及び｛Ｌ₆，Ｌ₃｝に対応する。一般的に、元のセグメントは再生セグメントの２つ以上のセグメントに対応し得る。即ち、追加のスピーカが、元のセグメントを２つ以上のセグメントに細分化する。直接音レンダラー１５０は、このシナリオにおいて、再生スピーカ設定の少なくとも２つのスピーカＬ₂、Ｌ₃及び追加のスピーカＬ₆に関する調整済み直接音成分を生成するよう構成されている。

図５は、再生スピーカ設定におけるスピーカの数が、元のスピーカ設定と比較して減少している状況を概略的に示す。図５において、スピーカ（Ｌ₂）が標準的な５．１スピーカ設定から除去されたシナリオが示されている。Ｓ₁及びＳ₂はそれぞれ、入力設定セグメント｛Ｌ₁，Ｌ₂｝及び｛Ｌ₂，Ｌ₃｝内の周波数帯域ごとの推定ファントム音源位置を表す。後述する信号処理の結果、事実上、２つのセグメント｛Ｌ₁，Ｌ₂｝及び｛Ｌ₂，Ｌ₃｝の、新たなセグメント｛Ｌ₁，Ｌ₃｝へのダウンミックスが行われることになる。

直接信号：知覚されるファントム音源位置Ｓ₁及びＳ₂が変化しないように、Ｌ₂の直接信号部分はＬ₁及びＬ₃に再配分され、融合される必要がある。これは、Ｌ₂内のＳ₁の直接部分をＬ₃に、Ｌ₂内のＳ₂の直接部分をＬ₁に再配分することによって行われる。Ｌ₁及びＬ₃内のＳ₁及びＳ₂の対応する信号は、再パンニング機能によって処理され、これにより、再生スピーカ設定におけるファントム音源位置の正確な知覚が保証される。対応する信号を重ね合わせることによって、融合が実行される。

環境信号：セグメント｛Ｌ₁，Ｌ₂｝及び｛Ｌ₂，Ｌ₃｝に対応し、Ｌ₂に共に割り当てられている環境信号が、それぞれＬ₁及びＬ₃に再配分される。ここでも、再配分された信号は、導入される環境エネルギー再マッピング方式（ＡＥＲＳ）の一つに従ってスケールされて、Ｌ₁及びＬ₃内の元の環境信号と融合される。

図５に示すように、再生スピーカ設定は、元のスピーカ設定と比較してスピーカＬ₂を欠いており、その結果、セグメント｛Ｌ₁，Ｌ₂｝及び隣接するセグメント｛Ｌ₂，Ｌ₃｝が融合されて、再生スピーカ設定の１つの融合セグメントになる。一般的に、特に三次元スピーカ設定において、１つのスピーカが除去される結果として、幾つかの元のセグメントが１つの再生セグメントに融合される。

図６Ａ及び図６Ｂは、変位されたスピーカの２つの状況を概略的に示す。特に、元のスピーカ設定におけるスピーカＬ₂が新たな位置に移動されており、再生スピーカ設定においてはスピーカＬ'₂と称される。変位スピーカの事例の提案処理は、以下のとおりである。

可能性のあるスピーカ変位のシナリオの２つの例が図６Ａ及び図６Ｂに示されており、図６Ａにおいてはセグメントサイズの変更のみが行われ、ファントム音源の再配分は必要ではない。他方、図６Ｂにおいては、変位されたスピーカＬ'₂がファントム音源Ｓ₂の推定位置（方向）を越えて移動され、従って、音源は再配分されかつ出力セグメント｛Ｌ₁，Ｌ'₂｝に融合される必要がある。元のスピーカＬ₂及び聴取者から見たその方向が、図６Ａ及び図６Ｂにおいて破線で示されている。

図６Ａに概略的に示す事例において、直接信号は以下のように処理される。前述のように再配分は必要ない。従って、処理は、それぞれスピーカＬ₁、Ｌ₂及びＬ₃内のＳ１及びＳ２の直接信号成分を再パンニング機能に送るだけに限られ、再パンニング機能は、それらファントム音源が変位されたスピーカＬ'₂を用いてそれらの元の位置において知覚されるように、信号を調整する。

図６Ａに示す事例における環境信号は以下のように処理される。ここでも信号再配分の必要はないため、対応するセグメント及びスピーカ内の環境信号は単純にＡＥＲＳの１つに従って調整される。

図６Ｂに関連して、ここで直接信号の処理を説明する。１つのスピーカがあるファントム音源位置を越えて移動された場合、この音源を異なる出力セグメントに再配分することが必要になる。ここで、Ｓ₂の該当する音源信号は出力セグメント｛Ｌ₁，Ｌ'₂｝に再配分され、等しい音源位置知覚を保証するために再パンニング機能によって処理される必要がある。加えて、｛Ｌ₁，Ｌ₂｝内のＳ₂の対応する音源信号は、新たな出力セグメント｛Ｌ₁，Ｌ'₂｝に一致するように再パンニングされる必要があり、各スピーカＬ₁及びＬ'₂内の両方の新たな音源信号部分が融合されなければならない。

従って、直接音レンダラーは、元のスピーカ設定から再生スピーカ設定に移行するときに、あるセグメントと隣接するセグメントとの間の境界が決定された到来方向Ｓ₂と交錯する場合、決定された到来方向Ｓ₂を有する直接音成分を、元のスピーカ設定におけるセグメント｛Ｌ₂，Ｌ₃｝から再生スピーカ設定における隣接するセグメント｛Ｌ₁，Ｌ'₂｝に再配分するよう構成される。さらに、直接音レンダラーは、決定された到来方向を有する直接音成分を、元のセグメント｛Ｌ₂，Ｌ₃｝の少なくとも１つのスピーカから、出力設定における隣接するセグメント｛Ｌ₁，Ｌ'₂｝内の少なくとも１つのスピーカへ再配分するよう構成されてもよい。特に、直接レンダラーは、入力設定においてセグメント｛Ｌ₂，Ｌ₃｝に割り当てられているＬ₃内のＳ₂の直接成分を、再生設定においてセグメント｛Ｌ₁，Ｌ'₂｝に割り当てられている変位されたスピーカＬ'₂へ再配分し、さらに、入力設定においては｛Ｌ₂，Ｌ₃｝に割り当てられているＬ₂内のＳ₂の直接成分を、再生設定においてセグメント｛Ｌ₁，Ｌ'₂｝に割り当てられているＬ₁へ再配分するよう構成されてもよい。これら再配分の動作はまた、例えばスピーカ信号の相対振幅及び／又は相対遅延に関する再パンニングを実施することによって、直接音成分の調整も含んでもよいことに留意されたい。

図６Ｂにおける環境信号についても、同様の処理が実施され得る。セグメント｛Ｌ₂，Ｌ₃｝内の環境信号が、ＡＥＲＳの１つを使用することによって調整される。大規模な変位については、追加的にこれらの環境信号の一部がセグメント｛Ｌ₁，Ｌ'₂｝に加算されて、ＡＥＲＳによって調整され得る。

結合段階１８０（図２）において、再生スピーカ設定（出力設定）の実際のスピーカ信号が形成される。これは、左及び右のセグメントの間に位置するスピーカに関してそれぞれ左及び右のセグメントの対応する再マッピング及び再レンダリングされた直接及び環境信号を合計することによって行われる（「左」及び「右」のスピーカという用語は、二次元事例、即ち、全てのスピーカが同じ平面、典型的には水平面にある場合に有効である）。結合段階１８０の出力において、元のオーディオシーンに関するが、

にあるＭ個のスピーカを有する新たなスピーカ設定（再生スピーカ設定）のためにレンダリングされた信号が放出される。

この時点において、即ち結合器又は結合段階１８０の出力において、新規のシステムは、出力設定におけるスピーカの方位角及び仰角に関する全ての修正が完了しているスピーカ信号を提供する。聴取位置に対するスピーカの距離が新たな距離

に変更されるように、出力設定におけるスピーカが移動されていた場合、任意選択の距離調整段階１９０が距離の変更を補償するためにそのチャネルに補正ファクタ及び遅延を適用してもよい。この段階の出力４の結果として、実際の再生設定のスピーカチャネルがもたらされる。

別の実施形態は、再生スピーカ設定の移動するスイートスポットを実現するために、本発明を使用してもよい。このために、第１のステップにおいて、アルゴリズム又は装置は聴取者の位置を決定する必要がある。これは、聴取者の現在の位置を決定するための追跡技法／デバイスを使用することによって容易に行うことができる。その後、その装置は、聴取者の位置に対するスピーカの位置を再計算する。これは、聴取者を原点とする新たな座標系を意味する。これは、固定位置の聴取者と移動するスピーカとを持つことと等価である。アルゴリズムはその後、この新たな設定に最適な信号を計算する。

図７は、空間オーディオ信号２を再生スピーカ設定に調整するための、少なくとも１つの実施形態に係る装置１００の概略ブロック図を示す。装置１００は、少なくとも２つのチャネル信号７０２を１つのセグメントにグループ化するよう構成されたグルーパ１１０を備える。装置１００は、セグメント内の少なくとも２つのチャネル信号７０２を、少なくとも１つの直接音成分７３２と少なくとも１つの環境成分７３４とに分解するように構成された直接−環境分解部１３０をさらに備える。直接−環境分解部１３０は、任意選択的に、少なくとも１つの直接音成分７３２のＤＯＡ（単数又は複数）を推定するよう構成された到来方向推定器１４０を備えてもよい。代替的に、ＤＯＡ（単数又は複数）は、外部ＤＯＡ推定から、又は空間オーディオ信号２に付随するメタ情報／サイド情報として提供されてもよい。

直接音レンダラー１５０は、前記セグメントと関連する少なくとも１つの再生セグメントについての再生スピーカ設定情報を受信し、さらに、再生スピーカ設定における少なくとも１つの直接音成分の知覚される到来方向が、前記セグメントの到来方向と実質的に同一となるように、そのセグメントに関する再生スピーカ設定情報を使用して少なくとも１つの直接音成分７３２を調整するよう構成されている。少なくとも、直接音レンダラー１５０によって実行されるレンダリングの結果として、知覚される到来方向は、調整が行われていない状況と比較して、少なくとも１つの直接音成分の到来方向により近くなる。図７内の挿入図において、元のスピーカ設定の元のセグメント及び再生スピーカ設定の対応する再生セグメントが概略的に示されている。典型的には、元のスピーカ設定は既知であるか又は標準化されており、従って、元のスピーカ設定に関する情報は直接音レンダラー１５０に提供される必要はなく、直接音レンダラーには既にこの情報が利用可能となっている。それにも拘わらず、直接音レンダラーは元のスピーカ設定情報を受信するよう構成されてもよい。このように、直接音レンダラー１５０は、５．１、７．１、１０．２、又は更には２２．２設定のような種々の元のスピーカ設定向けに記録又は作成されている入力としての空間オーディオ信号をサポートするよう構成されてもよい。

装置１００は、再生スピーカ設定の少なくとも２つのスピーカに関するスピーカ信号を得るために、調整済み直接音成分７５２と、環境成分７３４又は修正済み環境成分とを結合するよう構成された結合器１８０をさらに備える。再生スピーカ設定の少なくとも２つのスピーカに関するスピーカ信号は、装置１００によって出力されてもよい調整済み空間オーディオ信号３の一部である。上述のように、ＤＯＡ及び距離調整済み空間オーディオ信号４（図２参照）を得るために、ＤＯＡ調整済み空間オーディオ信号に対して距離調整が実施されてもよい。結合器１８０はまた、調整済み直接音成分７５２及び環境成分７３４を、考慮されているセグメントとスピーカを共有する１つ又は複数の隣接するセグメントからの直接音及び／又は環境成分と結合するように構成されてもよい。

図８は、空間オーディオ信号を、その空間オーディオ信号によって伝えられるオーディオコンテンツを表現すように意図されている元のスピーカ設定とは異なる再生スピーカ設定に対して調整するための方法の概略フロー図を示す。この方法は、少なくとも２つのチャネル信号を１つのセグメントにグループ化するステップ８０２を含む。そのセグメントは、典型的には元のスピーカ設定のセグメントのうちの１つである。ステップ８０４の間に、前記セグメント内の少なくとも２つのチャネル信号が直接音成分と環境成分とに分解される。この方法は、直接音成分の到来方向を決定するステップ８０６をさらに含む。ステップ８０８において、再生スピーカ設定における直接音成分の知覚される到来方向が、前記セグメントの到来方向と同一となるように、又は、調整が行われていない状況と比較して、前記セグメントの到来方向により近くなるように、前記セグメントに関する再生スピーカ設定情報を使用して直接音成分が調整される。この方法はまた、再生スピーカ設定の少なくとも２つのスピーカのスピーカ信号を得るために、調整済み直接音成分と、環境成分又は修正済み環境成分とを結合するステップ８０９をも含む。

直面する再生スピーカ設定に対する空間オーディオ信号の提案された調整方法は、以下の態様のうちの１つ又は複数に関係し得る。
−元の設定の隣接するスピーカチャネルの、セグメントへのグループ化
−セグメントベースの直接−環境分解
−選択可能な幾つかの異なる直接−環境分解及び位置抽出アルゴリズム
−知覚される方向が実質的に同じままであるような直接成分の再マッピング
−知覚される包み込まれ感が実質的に同じままであるような環境成分の再マッピング
−スケーリングファクタ及び／又は遅延を適用することによるスピーカ距離補正
−選択可能な幾つかのパンニングアルゴリズム
−直接及び環境成分の独立した再マッピング
−時間及び周波数選択的処理
−出力設定が入力設定に一致する場合の全てのスピーカチャネルに対する全体的な波形保存処理
−スピーカが寄与するセグメントが入力及び出力設定に関して修正されていない各スピーカのチャネル毎の波形保存

・特殊な事例：
−異なるパンニングアルゴリズムを用いた所与の入力シーンの「逆パンニング」及びパンニング
−セグメント毎の、少なくとも１つの直接及び環境信号。
２つのスピーカから構成されるセグメントにおける、最大２つの直接及び２つの環境信号。使用される直接及び環境信号の数は互いに無関係であるが、レンダリングされた直接及び環境信号の意図される目標空間品質に依存する。
−セグメントベースのダウン／アップミックス
−環境再マッピングは、以下を含む環境エネルギー再マッピング方式（ＡＥＲＳ）に従って実施される。
一定環境エネルギー
一定環境（角度）密度

本発明の少なくとも幾つかの実施形態は、チャネルベースの柔軟な音声シーン変換を実施するよう構成されており、以前に構築された全てのセグメント内で、かつそれに従った、元のスピーカチャネルの（ファントム）音源の直接及び環境信号部分への分解を含む。全ての直接音源の到来方向（ＤＯＡ）が推定され、直接及び環境信号とともにレンダラー及び距離調整器に供給され、ここで、再生スピーカ設定及びＤＯＡに従って、元のスピーカ信号が実際のオーディオシーンを保持するように修正される。提案の方法及び装置は波形を保存して機能し、更には、入力設定において利用可能であるよりも増加又は減少した数のスピーカチャネルを有する出力設定に対処することが可能である。

本発明はこれまでブロック図の文脈で説明し、そこではブロックが実際又は論理的なハードウエア要素を示してきたが、本発明はまたコンピュータ構成された方法によって実現されてもよい。後者の場合には、ブロックは対応する方法ステップを示し、これらのステップは対応する論理的又は物理的なハードウエアブロックによって実行される機能を表す。

上述した実施形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。

これまで装置の文脈で幾つかの態様を説明してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロック、項目又は特徴を表している。方法ステップの全て又は幾つかは、例えばマイクロプロセッサ、プログラム可能なコンピュータ又は電子回路などのハードウエア装置によって（を使用して）実行されてもよい。幾つかの実施形態において、最も重要な方法ステップのうちのいずれか一つ又は複数が、そのような装置によって実行されてもよい。

所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、デジタル記憶媒体、例えばフレキシブルディスク，ＤＶＤ，ブルーレイ、ＣＤ，ＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ又はフラッシュメモリなどを使用して実行することができる。従って、デジタル記憶媒体はコンピュータ読み取り可能であり得る。

本発明に従う幾つかの実施形態は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有する、データキャリアを含んでいる。

一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されても良い。

本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。

換言すれば、本発明の方法の一実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有する、コンピュータプログラムである。

本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体）である。データキャリア、デジタル記憶媒体又は記録された媒体は、典型的に有形及び／又は非一時的である。

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるように構成されても良い。

他の実施形態は、上述した方法の１つを実行するように構成又は適用された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。

他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

本発明の更なる実施形態は、本明細書に記載した方法の一つを実行するためのコンピュータプログラムを（例えば電子的または光学的に）受信機へと伝送するよう構成された装置又はシステムを含む。受信機は、例えばコンピュータ、移動デバイス、メモリデバイス又はその他であってもよい。その装置又はシステムは、例えばコンピュータプログラムを受信機へと伝送するためのファイルサーバーを含んでもよい。

幾つかの実施形態において、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態において、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。

本発明の実施形態は、直接−環境分解のための技法に基づいてもよい。直接−環境分解は、信号モデル又は物理モデルのいずれかに基づいて実行することができる。

信号モデルに基づく直接−環境分解の背景にある概念は、直接的に知覚されかつ位置特定可能な音声が、単一の信号、又は複数のコヒーレント又は相関しあう信号から構成されているという仮定である。一方、環境的な、従って位置特定不可能な音声は、相関されない信号部分に対応する。直接と環境との間の遷移は継目のないものであり、信号間の相関関係に依存する。直接−環境分解に関する更なる情報は、非特許文献１２、非特許文献１１、非特許文献１６に見出すことができる。

指向性オーディオ符号化（Directional Audio Coding: ＤｉｒＡＣ）は、物理モデルに基づいて信号を直接及び拡散信号エネルギーに分解する１つの可能な方法である。ここで、聴取位置における音圧及び音声（粒子）速度の音場特性が、現実又は仮想のいずれかのＢフォーマット記録によってキャプチャされる。その後、音場は単一の平面波のみから構成され、残りは拡散エネルギーであるという仮定によって、信号を直接及び拡散信号部分に分解することができる。直接部分から、いわゆる到来方向（ＤＯＡ）を計算することができる。実際のスピーカ位置は既知であるため、専用のパンニング規則（例えば、非特許文献９を参照）を使用することによって、直接信号部分を再パンニングして、レンダリング段階においてそれらの大域的な位置を保持することができる。最後に、デコリレートされた環境信号部分及びパンニングされた直接信号部分が再び結合され、結果として、スピーカ信号が（例えば、非特許文献４又は特許文献１に記載されているように）もたらされる。

別の手法が非特許文献６に記載されており、ここでは、多チャネル信号の直接及び拡散エネルギーがペア毎の相関のシステムによって推定される。ここで使用される信号モデルは、チャネルにわたる直接信号の位相シフトを含む、各チャネル内の１つの直接及び拡散信号を検出することを可能にする。この手法の１つの仮定は、全てのチャネルにわたって直接信号が相関している、即ち、直接信号は全て同じ音源信号を表すということである。この処理は、周波数ドメインにおいて各周波数帯域について実行される。

ここで、直接−拡散分解（又は直接−環境分解）の可能な実施態様を、一例としてステレオ信号に関連して説明する。直接−拡散分解のための他の技法も可能であり、またステレオ信号以外の信号が直接−拡散分解の対象となってもよい。典型的にステレオ信号は、各音源について、信号が特定の方向キュー（レベル差、時間差）によって左及び右信号チャネルへとコヒーレントに進み、反射／反響された独立した信号が、聴覚オブジェクトの幅と聴取者の包み込まれ感のキューを決定するチャネルに進むように、記録又は混合される。単一音源のステレオ信号は、係数ａによって、及び、側方反射に対応する独立信号ｎ₁及びｎ₂によって決定される方向からの直接音を模倣する信号ｓによってモデル化され得る。ステレオ信号ペアｘ₁、ｘ₂は、以下の式によって、これらの信号ｓ、ｎ₁及びｎ₂に関係付けられる。

式中、ｋは時間インデックスである。従って、直接音声信号ｓは両方のステレオ信号ｘ₁及びｘ₂に現れるが、一般的に振幅は異なる。ここで説明している分解は、１つの聴覚オブジェクトのシナリオにおいて有効であるだけでなく、同時に活性状態にある多数の音源を有する非定常音声シーンにおいても有効であるような分解を得るために、幾つかの周波数帯域において及び時間において適応的に実行され得る。従って、上記の式は、特定の時間インデックスｋ及び特定の周波数サブバンドｍについて以下のように書き換えることができる。

式中、ｍはサブバンドインデックスであり、ｋは時間インデックスであり、Ａ_bは、サブバンド信号の１つ又は複数のサブバンドを含み得る所定のパラメータ帯域ｂについての信号ｓ_mの振幅係数である。インデックスｍ及びｋを有する各時間−周波数タイルにおいて、信号ｓ_m、ｎ_1,m、ｎ_2,m及び係数Ａ_bは独立して推定される。知覚的に駆動されるサブバンド分解が使用されてもよい。この分解は、高速フーリエ変換、直交ミラーフィルタバンク、又は他のフィルタバンクに基づいてもよい。各パラメータ帯域ｂについて、信号ｓ_m、ｎ_1,m、ｎ_2,m及びＡ_bは、所定の時間長（例えば約２０ｍｓ）を有するセグメントに基づいて推定される。ステレオサブバンド信号ペアｘ_1,m及びｘ_2,mが与えられるとき、目標は、各パラメータ帯域内のｓ_m、ｎ_1,m、ｎ_2,m及びＡ_bを推定することである。この目的のために、ステレオ信号ペアのパワー及び相互相関の分析が実施されてもよい。変数ｐ_x1,bは、パラメータ帯域ｂにおけるｘ_1,mのパワーの短時間推定値を示す。ｎ_1,m及びｎ_2,mのパワーは、同じであると仮定されてもよい、即ち、側方の独立した音声の量は、左及び右の信号について同じであると仮定される。

パラメータ帯域ｂのパワー（ｐ_x1,b，ｐ_x2,b）及び正規化された相互相関ｐ_x1x2,bが、ステレオ信号のサブバンド表現を使用して計算されてもよい。その後、変数Ａ_b、ｐ_s,b及びｐ_n,bが、推定されたｐ_x1,b、ｐ_x2,b及びｐ_{x1 x2,b}の関数として推定される。既知の及び未知の変数を関係付ける３つの式は、以下のとおりである。

これらの式をＡ_b、ｐ_s,b及びｐ_n,bについて解くと、以下がもたらされる。

ここで、

である。

次に、ｓ_m、ｎ_1,m及びｎ_2,mの最小二乗推定値が、Ａ_b、ｐ_s,b及びｐ_n,bの関数として計算される。各パラメータ帯域ｂ及び各独立信号フレームについて、信号ｓ_mは以下のように推定される。

式中、ｗ_1,b及びｗ_2,bは実数値の重みである。重みｗ_1,b及びｗ_2,bは、エラー信号Ｅがパラメータ帯域ｂにおけるｘ_1,m及びｘ_2,mに直交する場合に、最小二乗平均的に最適である。信号ｎ_1,m及びｎ_2,mが、同様にして推定されてもよい。例えば、ｎ_1,mは以下のように推定されてもよい。

その後、各パラメータ帯域における推定値のパワーをｐ_s,b及びｐ_n,bに一致させるために、初期の最小二乗推定値

に対してポストスケーリングが実施されてもよい。最小二乗平均法のより詳細な説明は、非特許文献１７の１０．３章に記載されており、ここで参照により本明細書に組み込まれる。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

本発明の実施形態は、１つ又は複数の多チャネルパンナーに関係するか、又はこれを利用し得る。多チャネルパンナーは、音響技師が、仮想又はファントム音源を人工オーディオシーン内に配置することを可能にするツールである。これは、幾つかの様式で達成することができる。専用の利得関数又はパンニング規則に従って、振幅重み付けもしくは遅延又はその両方を音源信号に適用することによって、ファントム音源をオーディオシーン内に配置することができる。多チャネルパンナーに関する更なる情報は、特許文献３、非特許文献９及び非特許文献１０に見出すことができる。例えば、任意の数の入力チャネル、及び、出力音声空間に対する構成の変更をサポート可能なパンナーを利用することができる。例えば、パンナーは、入力チャネル数の変更に継目なく対処することができる。また、パンナーは、出力空間内のスピーカの数及び位置に対する変更をサポートすることができる。パンナーは、減衰及び崩壊の連続的な制御を可能にすることができる。パンナーは、チャネル崩壊時に音源チャネルを音声空間の周縁において保持することができる。パンナーは、音源が崩壊する経路に亘る制御を可能にすることができる。これらの態様は、複数のスピーカを有する音声空間内の音源オーディオの複数のチャネルの再平衡を要求する入力を受信するステップを含む方法によって達成することができ、音源オーディオの複数のチャネルは最初、音声空間内の初期位置と初期振幅とによって記述され、チャネルの位置及び振幅が音声空間内のチャネルの平衡を定義する。この入力に基づいて、音声空間内の新たな位置が、音源チャネルの少なくとも１つについて決定される。この入力に基づいて、音源チャネルの少なくとも１つの振幅に対する修正が決定され、新たな位置及び振幅に対する修正が再平衡を達成する。複数のスピーカのうちの特定のスピーカが無効であると入力が示すという決定に応じて、その特定のスピーカに由来していた音声が、その特定のスピーカに隣接する他のスピーカに自動的に転送されてもよい。この方法は、１つ又は複数の計算デバイスによって実行される。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

本発明の幾つかの実施形態は、既存のオーディオシーンを変化させるための概念に関係するか、又はこれを利用し得る。既存のオーディオシーンを構成又は更には変更するためのシステムが、ＩＯＳＯＮＯ（特許文献３において説明されている）によって紹介されている。これは、オーディオシーン内に音源を位置決めするための方向関数と組み合わせて、オブジェクトベースの音源表現及び追加のメタデータを使用する。オーディオオブジェクト及びメタデータのない既存のオーディオシーンがこのシステムに供給される場合、最初に、オーディオオブジェクト、方向及び方向関数をオーディオシーンから決定する必要がある。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

本発明の幾つかの実施形態は、チャネル変換及び位置補正に関係するか、又はこれを利用し得る。誤ったスピーカの位置決め又は再生チャネルにおける逸脱を補正することを目的とする殆どのシステムは、音場の物理特性を保存するよう試行する。ダウンミックスシナリオについて、可能な手法は、省かれたスピーカをパンニングによって仮想スピーカとしてモデル化することであり、これによって、聴取位置における音圧及び粒子速度が保存される（非特許文献７に記載の通り）。別の方法は、目標設定におけるスピーカ信号を元の音場を復元するように計算することである。これは、元のスピーカ信号を音場表現に遷移させて、その表現から新たなスピーカ信号をレンダリングすることによって、実行される（非特許文献８に記載の通り）。

安藤（非特許文献７）によれば、多チャネル音声信号の変換は、元の多チャネル音声システムの信号を、再生される音場内の聴取位置における音声の物理特性を維持しながら、異なる数のチャンネルを有する代替的なシステムの信号に変換することによって可能である。そのような変換問題は、劣決定の線形方程式によって記述することができる。この方程式に対する分析解を得るために、その方法は、３つのスピーカの位置を元にして代替的なシステムの音場を分割し、各部分場において「局所解」を解く。結果として、代替的なシステムは、元の音声システムの各チャネル信号を、対応するスピーカ位置においてファントム音源として定位する。局所解を合成することによって「大域解」、即ち、変換問題に対する分析解がもたらされる。２つの低周波数効果チャネルのない２２．２多チャネル音声システムの２２チャネル信号を、本方法によって１０、８、及び６チャネル信号に変換する実験を実施した。主観的評価によれば、提案の方法は、８つのスピーカによって元の２２チャネル音声の空間的印象を再生できることが示された。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

空間オーディオシーン符号化（ＳＡＳＣ）は、非物理的に駆動されるシステムの一例である（非特許文献５）。その符号化は、多チャネル入力信号を、幾つかのチャネル間相関の制約下でそれらの主成分及び環境成分に分解するために、主成分分析（Principal Component Analysis:ＰＣＡ）を実施する（非特許文献１６）。ここでの主成分は、最大固有値を有する入力チャネル相関行列の固有ベクトルとして識別される。その後、主成分及び環境の定位分析が実施され、ここで、直接及び環境の定位ベクトルが決定される。出力チャネルの空間方向を指す単位ベクトルを含むフォーマット行列を生成することによって、出力信号のレンダリングが行われる。そのフォーマット行列に基づいて、重みベクトルがフォーマット行列のゼロ空間内にあるように、ゼロ重みの集合が導出される。これらベクトル同士間のペア毎のパンニングによって方向性成分が生成され、フォーマット行列内のベクトルの集合全体を使用することによって、非方向性成分が生成される。方向性及び非方向性のパンニング済み信号部分同士の間を補間することによって、最終的な出力信号が生成される。この空間オーディオシーン符号化（ＳＡＳＣ）の枠組み内において、中心概念は、いかなる仮定又は意図される再生フォーマットからも独立した様式で入力オーディオシーンを表現することである。このフォーマットに無関係なパラメータ化(format-agnostic parameterization)によって、任意の所与の再生システムにわたる最適な再生と柔軟なシーン修正とが可能になる。多チャネル主成分−環境分解のための新たな手法の提示を含め、ＳＡＳＣに必要とされる信号分析及び合成のツールが記述される。空間オーディオ符号化、アップミックス、位相−振幅行列復号、多チャネルフォーマット変換、及びバイノーラル再生に対するＳＡＳＣのアプリケーションが、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用され得る。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

本発明の幾つかの実施形態は、アップミックス技法に関係するか、又はこれを利用し得る。一般的に、アップミックス技法は、２つの主要なカテゴリに分類され得る。即ち、既存の入力チャネルから合成又は抽出された環境をサラウンドチャネルに供給する種類の方法（例えば非特許文献１１、非特許文献１２、非特許文献１３、及び非特許文献１４を参照）、及び、既存のチャネルをマトリクス化することによって追加のチャネルのための駆動信号を作成する方法（例えば非特許文献１５を参照）である。特別な事例が特許文献４において提案されている方法であり、ここでは、環境抽出の代わりに空間的分解が実行される。とりわけ、環境生成方法は、人工反響を適用すること、左及び右信号の差を計算すること、サラウンドチャネルのための小さい遅延を適用すること、及び、相関ベースの信号分析から構成され得る。マトリクス化技法の例は、線形行列変換器及び行列ステアリング方法である。これらの方法の概要は非特許文献１７によって、及び、非特許文献１３において同じ著者によって示されている。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

多チャネルオーディオアップミックスのためのステレオ信号からの環境抽出及び合成は、ステレオオーディオ信号内の環境情報を識別及び抽出する周波数ドメインの技法によって達成することができる。この方法は、主に２チャネル信号内の環境成分から構成される時間−周波数領域を決定することを可能にするような、チャネル間コヒーレンスインデックス及び非線形マッピング関数の計算に基づく。その後、環境信号は合成されて、多チャネル再生システムのサラウンドチャネルを供給するのに使用される。シミュレーション結果は、環境情報の抽出におけるこの技法の有効性を実証しており、現実のオーディオに対するアップミックス試験は、以前のアップミックス戦略と比較したこのシステムの様々な利点及び欠点を明らかにしている。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

多チャネルアップミックスのための、ステレオに対する周波数ドメインの技法はまた、空間オーディオ信号を再生スピーカ設定に対して調整することと関連して、又はその文脈において利用されてもよい。ステレオ録音から多チャネルオーディオを生成するための幾つかのアップミックス技法が利用可能である。それらの技法は、左及び右ステレオ信号の短時間フーリエ変換間の比較に基づく一般的な分析の枠組みを使用する。主に環境成分から構成される時間−周波数領域を識別するためにチャネル間コヒーレンスの尺度が使用され、環境成分はその後、非線形マッピング関数を介して重み付けされ、環境信号を合成するために抽出され得る。時間−周波数平面におけるミックス内の様々な音源のパンニング係数を識別するために類似性の尺度が使用され、１つ又は複数の音源を分離（抽出）し、及び／又は信号を任意の数のチャネルに再パンニングするために、複数の異なるマッピング関数が適用される。様々な技法の１つの可能なアプリケーションは、２から５チャネルへのアップミックスシステムの設計に関する。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

サラウンド復号器は、従来の音楽録音における隠れた空間的なキューを、自然に、確実な方法で引き出すのに長けたものであり得る。聴取者は、平坦な二次元の表現を聴くのではなく、三次元空間に引き込まれる。これは、より興味を引く音場を展開する一助となるだけでなく、従来のステレオ再生の狭い「スイートスポット」問題も解決する。幾つかの論理復号器において、制御回路が入力信号間の相対レベル及び位相を監視している。この情報は、逆位相信号のレベルを制御するＶＣＡを調整するために可変出力行列段階に送信される。逆位相信号は、望ましくないクロストーク信号を相殺し、結果としてチャネル分離を改善する。これは、フィードフォワード設計と呼ばれる。この概念は、同じ入力信号を見て、それらのレベルが一致するように閉ループ制御を実施することによって拡張され得る。これらの一致したオーディオ信号は、様々な出力チャネルを導出するために行列段階に直接送信される。出力行列を供給する同じオーディオ信号はそれら自体がサーボループを制御するのに使用されるため、これはフィードバック論理設計と呼ばれる。フィードバック制御の概念は、精度を改善し、動的特性を最適化することができる。論理ステアリング処理に大域的フィードバックを組み込むことによって、ステアリングの精度及び動的挙動に同様の利点がもたらされる。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

多数スピーカの再生に関連して、仮想サウンドステージに関する情報をキャプチャする、２チャネルステレオオーディオ信号のための知覚的に駆動される空間的分解が使用されてもよい。空間的分解によって、２チャネルステレオ以外の音声システムにわたる再生のためにオーディオ信号を再合成することが可能になる。より多くの正面スピーカを使用することによって、仮想サウンドステージの幅を+/-３０°を超えて増大させることができ、スイートスポット領域が拡大される。任意選択的に、聴取者の包み込まれ感を増大させるために、側方の独立音声成分を、聴取者の側面のスピーカにわたって別個に再生することができる。空間的分解は、サラウンド音響及び波面合成ベースのオーディオシステムとともに使用され得る。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

空間オーディオ符号化及び増強のための主−環境信号分解とベクトルベースの定位とは、多チャネルオーディオを記憶及び分配し、任意の再生システム上でコンテンツを最適にレンダリングすることへの、増大する商業的需要に対処する。空間的な分析−合成の方式は、元のオーディオのＳＴＦＴドメイン（短時間周波数変換ドメイン）表現に主成分分析を適用して、その表現を主成分及び環境成分に分離してもよく、これら成分はその後それぞれ、タイルごとのオーディオシーンの空間的知覚を記述するキューについて分析される。これらのキューは合成により使用されて、利用可能な再生システム上でオーディオが適切にレンダリングされてもよい。このような枠組みは、ロバストな空間オーディオ符号化のために誂えられることができ、又は、中間的な空間データ及びオーディオ表現に対するレート制約がない増強シナリオに対し、直接適用することができる。

音楽音響学における解放感及び包み込まれ感に関して、従来の見識では、解放感及び包み込まれ感は、室内における側方の音響エネルギーによって引き起こされ、最も寄与するのは主に早期に到来する側方エネルギーであるとされてきた。しかしながら、当然のこととして、小さい部屋は解放的ではなく、さらに早期の側方の反射という負荷を受ける可能性がある。従って、解放感及び包み込まれ感の知覚メカニズムは、空間オーディオ信号の調整に影響を与え得る。この知覚は、最も一般的には楽音の終わりにおけるホール内の側方（拡散）エネルギー（背景残響）に関連し、また、それほど頻繁ではないが、重要なことには、楽音が伸ばされているときの音場の特性に関連することが分かっている。側方早期減衰時間（lateral early dacay time:ＬＥＤＴ）と呼ばれる、解放感の尺度が示唆される。これらの態様の１つ又は複数が、空間オーディオ信号の提案の調整法に関連して、又はその文脈において利用されてもよい。

Claims (16)

1. 元のスピーカ設定向けの空間オーディオ信号（２）を、前記元のスピーカ設定とは異なる再生スピーカ設定に対して適合させるための装置（１００）であって、前記空間オーディオ信号（２）は複数のチャネル信号を含み、各チャネル信号は元のスピーカ設定の１つのスピーカに対応する１つのスピーカチャネルである、前記装置は、
   前記複数のチャネル信号を複数の元のセグメントにグループ化するよう構成されたグルーパ（１１０）であって、少なくとも２つの隣接するチャネル信号が１つの元のセグメントへとグループ化され、１つのスピーカが第１の元のセグメントと第２の元のセグメントとに割り当てられる、グルーパ（１１０）と、
   前記第１の元のセグメント内の前記少なくとも２つのチャネル信号を、少なくとも１つの直接音成分（Ｄ；７３２）と少なくとも１つの環境成分（Ａ；７３４）とに分解し、前記第１の元のセグメントについて前記少なくとも１つの直接音成分（Ｓ，Ｓ₁，Ｓ₂）の到来方向を決定し、前記第２の元のセグメント内の少なくとも２つのチャネル信号を、前記第２の元のセグメントについて少なくとも１つの直接音成分と少なくとも１つの環境成分とに分解し、かつ前記第２の元のセグメントについて前記少なくとも１つの直接音成分の到来方向を決定するよう構成された直接−環境分解部（１３０）と、
   前記第１の元のセグメントと関連する第１の再生セグメントに関する再生スピーカ設定情報を受信し、且つ、前記再生スピーカ設定における前記少なくとも１つの直接音成分（Ｓ，Ｓ₁，Ｓ₂）の知覚される到来方向が、前記第１の元のセグメントの前記到来方向と同一であるように、又は、前記少なくとも１つの直接音成分の調整が行われていない状況と比較して前記第１の元のセグメントの前記少なくとも１つの直接音成分の前記到来方向に近くなるように、前記第１の再生セグメントに関する前記再生スピーカ設定情報を使用して、前記第１の元のセグメントの前記少なくとも１つの直接音成分（Ｄ；７３２）を調整して、少なくとも１つの調整済み直接音成分を取得するよう構成され、前記第２の元のセグメントと関連する第２の再生セグメントに関する再生スピーカ設定情報を受信し、且つ、前記再生スピーカ設定における前記少なくとも１つの直接音成分の知覚される到来方向が、前記第２の元のセグメントの前記到来方向と同一であるように、又は、前記少なくとも１つの直接音成分の調整が行われていない状況と比較して前記第２の元のセグメントの前記少なくとも１つの直接音成分の前記到来方向に近くなるように、前記第２の再生セグメントに関する前記再生スピーカ設定情報を使用して、前記第２の元のセグメントの前記少なくとも１つの直接音成分を調整して、少なくとも１つの追加の調整済み直接音成分を取得するよう構成された、直接音レンダラー（１５０）と、
   前記第１の再生セグメントの前記少なくとも１つの調整済み直接音成分（７５２）と前記環境成分（７３４）又は修正済み環境成分とを結合し、前記第２の再生セグメントの前記少なくとも１つの追加の調整済み直接音成分と前記環境成分又は修正済み環境成分とを結合するよう構成された結合器（１８０）と、
   を備える装置（１００）。
2. 前記再生スピーカ設定は前記元のスピーカ設定の少なくとも２つの隣接するスピーカ（Ｌ ₂ ，Ｌ ₃ ）間に追加のスピーカ（Ｌ₆）を含み、前記第１又は第２の元のセグメント（｛Ｌ ₂ ，Ｌ ₃ ｝）は前記再生スピーカ設定の２つ以上の再生セグメント（｛Ｌ ₂ ，Ｌ ₆ ｝、｛Ｌ ₆ ，Ｌ ₃ ｝）に対応しており、
   前記直接音レンダラー（１５０）は、前記再生スピーカ設定の前記少なくとも２つのスピーカ（Ｌ ₂ ，Ｌ ₃ ）及び前記追加のスピーカ（Ｌ ₆ ）に関する前記調整済み直接音成分（７５２）を生成するよう構成されている、請求項１に記載の装置（１００）。
3. 前記再生スピーカ設定は、前記元のスピーカ設定と比較してあるスピーカ（Ｌ ₂ ）が欠けており、前記元のセグメント（｛Ｌ ₁ ，Ｌ ₂ ｝）及び隣接する元のセグメント（｛Ｌ ₂ ，Ｌ ₃ ｝）が融合されて、前記再生スピーカ設定の１つの融合セグメントになり、
   前記直接音レンダラー（１５０）は、前記再生スピーカ設定において欠けている前記スピーカ（Ｌ ₂ ）に対応するチャネルの調整済み直接音成分（７５２）を、前記再生スピーカ設定の前記融合セグメントの少なくとも２つの残りのスピーカ（Ｌ₁，Ｌ₃）に分配するよう構成されている、請求項１又は２に記載の装置（１００）。
4. 前記直接音レンダラー（１５０）は、前記元のスピーカ設定から前記再生スピーカ設定に移行する場合に、前記元のセグメント（｛Ｌ₂，Ｌ₃｝）と隣接する再生セグメント（｛Ｌ₁，Ｌ’₂｝）との間の境界が決定された到来方向と交錯するとき、前記決定された到来方向を有する直接音成分（Ｓ₂）を、前記元のセグメント（｛Ｌ₂，Ｌ₃｝）から前記隣接する再生セグメント｛Ｌ₁，Ｌ’₂｝に再配分するよう構成されている、請求項１乃至３のいずれか一項に記載の装置（１００）。
5. 前記直接音レンダラー（１５０）は、前記決定された到来方向を有する前記直接音成分（Ｓ₂）を、少なくとも１つの第１スピーカ（Ｌ₃）から少なくとも１つの第２スピーカ（Ｌ’₂）に再配分するようさらに構成されており、前記少なくとも１つの第１スピーカ（Ｌ₃）は、前記元のセグメント（｛Ｌ₂，Ｌ₃｝）に割り当てられているが、前記再生スピーカ設定における前記隣接する再生セグメント（｛Ｌ₁，Ｌ’₂｝）には割り当てられておらず、前記少なくとも１つの第２スピーカ（Ｌ’₂）は、前記再生スピーカ設定における前記隣接する再生セグメント（｛Ｌ₁，Ｌ’₂｝）に割り当てられている、請求項４に記載の装置（１００）。
6. 前記直接音レンダラー（１５０）は、前記再生スピーカ設定情報及び前記少なくとも１つの直接音成分の前記到来方向を使用して、前記少なくとも１つの直接音成分（Ｓ，Ｓ₁，Ｓ₂）の再パンニングを実施するよう構成されている、請求項１乃至５のいずれか一項に記載の装置（１００）。
7. 前記直接音レンダラー（１５０）は、前記元のセグメント（｛Ｌ₁，Ｌ₂｝）内の前記スピーカ（Ｌ₁，Ｌ₂）のうちの少なくとも１つが、前記決定された到来方向と交錯することなく前記再生スピーカ設定の対応する修正済みセグメント｛Ｌ₁，Ｌ’₂｝内で変位されている場合に、前記元のセグメント（｛Ｌ₁，Ｌ₂｝）内のスピーカ（Ｌ₁，Ｌ₂）のためのスピーカ信号を調整することによって、前記決定された到来方向を有する前記少なくとも１つの直接音成分（Ｓ₁）の前記再パンニングを実施して、前記再生スピーカ設定の前記対応する修正済みセグメント｛Ｌ₁，Ｌ’₂｝内のスピーカ（Ｌ₁，Ｌ’₂）のための調整済みスピーカ信号を得るようさらに構成されている、請求項６に記載の装置（１００）。
8. 前記直接音レンダラー（１５０）は、前記再生スピーカ設定の少なくとも２つの有効スピーカ−セグメントペアに関するスピーカ−セグメント特有の直接音成分を生成するよう構成されており、前記少なくとも２つの有効スピーカ−セグメントペアは、前記再生スピーカ設定における１つの同じスピーカ及び２つの隣接するセグメントに関係し、
   前記結合器（１８０）は、前記同じスピーカに関係する前記少なくとも２つの有効スピーカ−セグメントペアに関する前記スピーカ−セグメント特有の直接音成分を結合して、前記再生スピーカ設定の前記少なくとも２つのスピーカのためのスピーカ信号のうちの１つを得るよう構成されている、請求項１乃至７のいずれか一項に記載の装置（１００）。
9. 前記直接音レンダラー（１５０）は、前記再生スピーカ設定の所与のセグメントについて前記少なくとも１つの直接音成分（Ｄ；７３２）を処理し、それにより、前記所与のセグメントに割り当てられた各スピーカに関する調整済み直接音成分を生成するようさらに構成されている、請求項１乃至８のいずれか一項に記載の装置（１００）。
10. 前記再生セグメントに関する前記再生スピーカ設定情報を受信し、且つ、前記再生スピーカ設定における前記少なくとも１つの環境成分の知覚される包み込まれ感が、前記元のセグメントの少なくとも1つの環境成分の包み込まれ感と同一であるように、又は、前記少なくとも１つの環境成分の調整が行われていない状況と比較して前記元のセグメントの少なくとも１つの環境成分の包み込まれ感に近くなるように、前記再生セグメントに関する前記再生スピーカ設定情報を使用して、前記少なくとも１つの環境成分を調整するよう構成された環境レンダラー（１７０）をさらに備える、請求項１乃至９のいずれか一項に記載の装置（１００）。
11. 前記グルーパ（１１０）は、前記少なくとも２つのチャネルのうちの１つのチャネルが前記元のスピーカ設定の何個の元のセグメントに割り当てられるかの関数として、前記少なくとも２つのチャネルをスケールするようさらに構成されている、請求項１乃至１０のいずれか一項に記載の装置（１００）。
12. 前記再生スピーカ設定における聴取者と対象のスピーカとの間の距離に関する距離情報を使用して、前記再生スピーカ設定の前記少なくとも２つのスピーカのための前記スピーカ信号のうちの少なくとも１つについて、振幅及び遅延のうちの少なくとも１つを調整するよう構成された距離調整器（１９０）をさらに備える、請求項１乃至１１のいずれか一項に記載の装置（１００）。
13. 前記再生スピーカ設定に関する聴取者の現在位置を決定し、前記聴取者の前記現在位置を使用して前記再生スピーカ設定情報を決定するよう構成された聴取者追跡器をさらに備える、請求項１乃至１２のいずれか一項に記載の装置（１００）。
14. 前記装置は、前記空間オーディオ信号を、時間ドメイン表現から周波数ドメイン表現又は時間−周波数ドメイン表現に変換するよう構成された時間−周波数変換器をさらに備え、前記直接−環境分解部及び前記直接音レンダラーは、前記周波数ドメイン表現又は前記時間−周波数ドメイン表現を処理するよう構成されている、請求項１乃至１３に記載の装置（１００）。
15. 元のスピーカ設定向けの空間オーディオ信号（２）を、前記元のスピーカ設定とは異なる再生スピーカ設定に対して適合させるための方法であって、前記空間オーディオ信号（２）は複数のチャネル信号を含み、各チャネル信号は元のスピーカ設定の１つのスピーカに対応する１つのスピーカチャネルである、前記方法は、
    前記複数のチャネル信号を複数の元のセグメントにグループ化するステップ（８０２）であって、少なくとも２つの隣接するチャネル信号が１つの元のセグメントへとグループ化され、１つのスピーカが第１の元のセグメントと第２の元のセグメントとに割り当てられる、ステップ（８０２）と、
    前記第１の元のセグメント内の前記少なくとも２つのチャネル信号を、少なくとも１つの直接音成分（Ｄ；７３２）と少なくとも１つの環境成分（Ａ；７３４）とに分解し、前記第１の元のセグメントについて前記少なくとも１つの直接音成分（Ｓ，Ｓ₁，Ｓ₂）の到来方向を決定し、前記第２の元のセグメント内の少なくとも２つのチャネル信号を、前記第２の元のセグメントについて少なくとも１つの直接音成分と少なくとも１つの環境成分とに分解し、かつ前記第２の元のセグメントについて前記少なくとも１つの直接音成分の到来方向を決定するステップ（８０４；８０６）と、
    前記再生スピーカ設定における前記少なくとも１つの直接音成分（Ｓ，Ｓ₁，Ｓ₂）の知覚される到来方向が、前記第１の元のセグメントの前記到来方向と同一であるように、又は、前記少なくとも１つの直接音成分の調整が行われていない状況と比較して前記第１の元のセグメントの前記少なくとも１つの直接音成分の前記到来方向に近くなるように、前記第１の再生セグメントに関する前記再生スピーカ設定情報を使用して、前記第１の元のセグメントの前記少なくとも１つの直接音成分（Ｄ；７３２）を調整して、少なくとも１つの調整済み直接音成分（７５２）を取得し、前記再生スピーカ設定における前記少なくとも１つの直接音成分の知覚される到来方向が、前記第２の元のセグメントの前記到来方向と同一であるように、又は、前記少なくとも１つの直接音成分の調整が行われていない状況と比較して前記第２の元のセグメントの前記少なくとも１つの直接音成分の前記到来方向に近くなるように、前記第２の再生セグメントに関する前記再生スピーカ設定情報を使用して、前記第２の元のセグメントの前記少なくとも１つの直接音成分を調整して、少なくとも１つの追加の調整済み直接音成分を取得するステップ（８０８）と、
    前記第１の再生セグメントの前記少なくとも１つの調整済み直接音成分（７５２）と前記環境成分（７３４）又は修正済み環境成分とを結合し、前記第２の再生セグメントの前記少なくとも１つの追加の調整済み直接音成分と前記環境成分又は修正済み環境成分とを結合するステップ（８０９）と、
    を含む方法。
16. コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されるときに、請求項１５に記載の方法を実施するためのプログラムコードを有する、コンピュータプログラム。

Images