JP2024507945A - オーディオオブジェクトをレンダリングするための装置及び方法 - Google Patents

Abstract

３Ｄパンニングを可能にするオーディオオブジェクトのより効率的なレンダリングは、パンニングを２段階、すなわち、垂直方向にオフセットされた第１の仮想（スピーカ）位置及び第２の仮想又は実際（スピーカ）の位置に通じる少なくとも１つの水平層内パンニングと、２つの位置の間の垂直方向の別のパンニングとに実行することによって達成される。このように動作すると、計算の複雑さが増すように見えるが、この段階的な処理は、実際には、レンダリングの安定性及び意図された仮想位置のロケーションを高くする。さらに、段階的な処理は、一実施形態によれば、振幅パンニングゲインのみを使用してパンニングを実行することを可能にし、すなわち位相処理は必要ではなく、それによって計算の複雑さを低くレンダリングする。さらに、レンダリングは、様々なラウドスピーカセットアップへの適用性に関して柔軟である。

Description

本発明は、オーディオ再生の技術分野に関する。具体的には、本明細書では、上昇又は下降した高さのサウンドの再生を伴うマルチチャネルオーディオの再生について説明する。

サウンドの再生のために、それらの複雑さ及び再生品質に関して異なる様々な種類のシステムがある。映画のサウンドの基準は映画館である。映画館は、マルチチャネルのサラウンドサウンドを提供し、ラウドスピーカは、聴取者の前方（通常はスクリーンの背後）だけでなく、側部及び後部、さらに最近では天井にも設置されている。側部及び後部ラウドスピーカは、水平方向に包囲するサウンドの再生を可能にし、これは、高さ及び天井ラウドスピーカを使用してサウンドを垂直方向に包囲することによってさらに強化することができる。

最新のコーディング技術では、没入型、対話型、及びオブジェクトベースのオーディオコンテンツを専門的な環境で使用できるだけでなく、消費者の家に便利に送信して、例えば高さ再現などのさらなる特徴及び寸法を追加することもできる。

現実的なサウンドの再生のための強化された再生セットアップは、水平面（通常は聴取者の耳の高さ又はその近く）に取り付けられたラウドスピーカだけでなく、垂直方向に広がるラウドスピーカも使用する。これらのラウドスピーカは、例えば、上昇する（天井に、又は頭部の高さより上のある角度で取り付けられる）か、又は聴取者の耳の高さより下（例えば、床の上、又は何らかの中間又は特定の角度の上）に配置される。

多くの場合、ラウドスピーカを上方向又は下方向に設置することは不便又は不可能である。

家庭環境では、専門的な環境、研究室、又は映画館で使用されるラウドスピーカセットアップを再現するのに必要な数のラウドスピーカを設置するのは、おそらくファンのみである。ここで、ラウドスピーカセットアップという用語は、サウンドバー、ラウドスピーカ内蔵ＴＶ、ブームボックス、サウンドプレート、ラウドスピーカアレイ、スマートスピーカなどのデバイス及びトポロジも含む。

それにもかかわらず、没入型サウンド体験又は仮想現実のためにサウンドをレンダリングするとき、高さ（上及び下）方向（以下では「上方向及び下方向」と呼ばれる）でもサウンドをレンダリングすることがしばしば望ましい。当然ながら、常に両方向を処理する必要はないので、これは「（上又は下のいずれかの）方向」又は「上方向／下方向」）と等価である。

したがって、高さラウドスピーカ、例えば上部ラウドスピーカ及び／又は下部ラウドスピーカを有することなく、サウンドを上方向及び下方向にレンダリングする必要が生じる。

これらのかなり複雑なセットアップに対する便利な代替手段は、強化されたラウドスピーカセットアップと同等又は同様の空間聴覚を生成するために信号処理手段を使用するコンパクトな再生システムである。ここで、再生システムという用語は、多数の個別のラウドスピーカ、サウンドバー、内蔵ラウドスピーカを備えたＴＶ、ブームボックス、サウンドプレート、ラウドスピーカアレイ、スマートスピーカなどを含むセットアップのようなオーディオ再生のためのすべてのデバイス及びトポロジを含む。

これを達成するための実際的な方法及び装置を以下に提示する。

本発明の目的は、３Ｄパンニングを可能にするオーディオオブジェクトのより効率的なレンダリングを提供することであり、効率の向上は、例えば、レンダリング安定性、パンニング精度の改善、計算効率、及び／又はより多数のラウドスピーカセットアップ、ラウドスピーカの数の変更、ラウドスピーカ位置の変更、聴取者位置の変更、オブジェクト位置の変更の適合性などに関連する。

この目的は、独立請求項の主題によって達成される。

３Ｄパンニングを可能にするオーディオオブジェクトのより効率的なレンダリングは、パンニングを２段階、すなわち、垂直方向にオフセットされた第１の仮想（スピーカ）位置及び第２の仮想又は実際の（スピーカ）位置に通じる少なくとも１つの水平層内パンニングと、２つの位置の間の垂直方向の別のパンニングとで実行することによって達成される。このように動作すると、計算の複雑さが増すように見えるが、この段階的な処理は、実際には、レンダリングの安定性及び意図された仮想位置の位置特定の精度を高める。さらに、段階的な処理は、一実施形態によれば、振幅パンニングゲインのみを使用してパンニングを実行することを可能にし、すなわち位相処理は必要ではなく、それによって計算の複雑さを低くレンダリングする。さらに、レンダリングは、様々なラウドスピーカセットアップへの適用性に関して柔軟である。

本出願の実施形態は、複数のラウドスピーカにおけるラウドスピーカ信号の適用が少なくとも１つのオーディオオブジェクトを意図された仮想位置にレンダリングするように、複数のラウドスピーカのラウドスピーカ信号を生成するための装置に関する。この装置は、少なくとも１つのオーディオオブジェクトを表すオーディオ入力信号を受信するように構成されたインターフェースを備える。これは、チャネルベースのオーディオ信号、オブジェクトベースのオーディオ信号、及び／又はシーンベースのオーディオ信号のうちの１つであってもよい。第１のパンニングゲイン決定部は、意図された仮想位置に応じて、１つ又は複数の第１の水平層の第１の層セット内に配置された、複数のラウドスピーカのうちのラウドスピーカの第１のセットの第１のパンニングゲインを決定するように構成され、第１のパンニングゲインは、ラウドスピーカの第１のセットへの第１の部分ラウドスピーカ信号の適用時の第１の仮想位置における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられた、少なくとも１つのオーディオ入力信号からの第１の部分ラウドスピーカ信号の導出を定義する。これは、前述の層内パンニングである。垂直パンニングゲイン決定部は、意図された仮想位置に応じて、第１の部分ラウドスピーカ信号と、１つ又は複数のラウドスピーカの第２のセットに適用され、第１の仮想位置と第２の位置との間をパンニングするように、第１の位置に対して垂直方向にオフセットされた第２の位置における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられた１つ又は複数の第２の部分ラウドスピーカ信号との間のパンニング（又はフェード）のためのさらなるパンニングゲインを決定するように構成される。これが垂直パンニングである。１つ又は複数の第２の部分ラウドスピーカ信号は、別の層内パンニングの結果であってもよく、この場合、第２の位置は第２の仮想位置であり、又は第２の位置は、ラウドスピーカの第１のセットに対して垂直方向にオフセットして配置されたラウドスピーカのうちの別の１つの実際の位置であってもよい。装置は、第１のパンニングゲイン及びさらなるパンニングゲインを使用して、第１の部分ラウドスピーカ信号及び１つ又は複数の第２の部分ラウドスピーカ信号からラウドスピーカ信号を合成するように構成される。すなわち、合成では、第１のパンニングゲイン及びさらなるパンニングゲインが実際にオーディオ入力信号に適用され、それによってラウドスピーカ信号がもたらされる。１つ又は複数のラウドスピーカ信号が存在する可能性があり、その生成にはパンニングゲインの１つのみ、例えば、実際のラウドスピーカ位置に配置され、第２の部分ラウドスピーカ信号が供給される上述の第２のラウドスピーカなどが使用される。

いくつかの実施形態によれば、上記のように、１つ又は複数のラウドスピーカの第２のセットは複数のラウドスピーカを含み、１つ又は複数の第２の部分ラウドスピーカ信号は複数の第２の部分ラウドスピーカ信号を含み、装置は、意図された仮想位置に応じて、ラウドスピーカの第２のセットの第２のパンニングゲインを決定するように構成された第２のパンニングゲイン決定部をさらに含み、第２のパンニングゲインは、少なくとも１つのオーディオ入力信号からの第２の部分ラウドスピーカ信号の導出を定義し、装置は、第１のパンニングゲイン及び第２のパンニングゲイン並びにさらなるパンニングゲインを使用して第１の部分ラウドスピーカ信号及び第２の部分ラウドスピーカ信号からラウドスピーカ信号を合成するように構成される。ここで、一実施形態によれば、第２の部分ラウドスピーカ信号は、スペクトル整形によって少なくとも１つのオーディオ信号から導出されてもよく、その結果、第２の位置は、１つ又は複数の第１の水平層と、ラウドスピーカの第２のセットが配置されている１つ又は複数の第２の水平層との間ではなく、これらの水平層に対して垂直に一方の側にあるような、第２の層セットの上方又は下方の仮想位置である。対応する実施形態によれば、複数のラウドスピーカでのラウドスピーカ信号の適用が、少なくとも１つのオーディオオブジェクトを意図された仮想位置にレンダリングするように、複数のラウドスピーカのためのラウドスピーカ信号を生成するための装置が得られ、複数のラウドスピーカが１つ又は複数の水平層に分配され、装置は、少なくとも１つのオーディオオブジェクトを表すオーディオ入力信号を受信するように構成されたインターフェースと、意図された仮想位置に応じて、複数のラウドスピーカのうちのラウドスピーカの第１のセットについて、第１の仮想位置がラウドスピーカの第１のセットの位置の間にあるように、第１のパンニングゲイン、例えば純粋な振幅パンニングゲインを決定し、第１のパンニングゲインを使用して、ラウドスピーカの第１のセットへの第１の部分ラウドスピーカ信号の適用時の第１の仮想位置における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられた、少なくとも１つのオーディオ入力信号から第１の部分ラウドスピーカ信号を導出するように構成された第１のラウドスピーカ信号セット決定部と、第２のラウドスピーカ信号セット決定部であって、スペクトル整形により、少なくとも１つのオーディオ信号から第２の部分ラウドスピーカ信号を導出するように構成され、第２の部分ラウドスピーカ信号は、ラウドスピーカの第２のセットへの第２の部分ラウドスピーカ信号の適用時の第２の仮想位置における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられ、第２の仮想位置は、１つ又は複数の水平層の上方又は下方であり、例えば、１つ又は複数の水平層のいずれかの間ではなく、１つ又は複数の水平層に対して一方の側、垂直方向にある、第２のラウドスピーカ信号セット決定部と、意図された仮想位置に応じて、第１の仮想位置と第２の仮想位置との間でパンニングするように、第１の部分ラウドスピーカ信号及び第２の部分ラウドスピーカ信号の第２のパンニングゲインを決定するように構成された、垂直パンニングゲイン決定部と、第２のパンニングゲインを使用して第１の部分ラウドスピーカ信号及び第２の部分ラウドスピーカ信号からラウドスピーカ信号を合成するように構成された合成器と、を備える。

したがって、本明細書に記載の実施形態は、少なくとも１つのオーディオ入力信号から少なくとも１つのオーディオオブジェクトをラウドスピーカセットにレンダリングするための概念を明らかにする。要するに、オーディオ入力信号は、ラウドスピーカによって出力されるオーディオオブジェクトに関する情報を含んでもよい。例えば、そのようなオーディオオブジェクトは、映画の中を飛行するヘリコプターのサウンド、管弦楽団で演奏する楽器のサウンド、又は音声のサウンドであり得る。オーディオオブジェクトは、ラウドスピーカを使用してレンダリングされる。オーディオ入力信号は、オーディオオブジェクトが個別のラウドスピーカでどのように出力されるかを決定するために処理される。このために、各オーディオ入力信号は、少なくとも１つのオーディオオブジェクトの位置情報に関連付けられる。そのような位置情報は、静的であってもよく、例えば、バイオリンは管弦楽団の左側に位置し、スピーカは聴取者の前方に位置し、又は動的であってもよく、例えば、ヘリコプターは右から左に飛行する。オーディオオブジェクトをレンダリングするために使用されるラウドスピーカセットは、ラウドスピーカの１つ又は複数のグループを含んでもよく、各グループは１つの水平層に位置する。追加のラウドスピーカは、１つ又は複数のグループの上方又は下方に位置する物理又は仮想ラウドスピーカであってもよい。

これは、ラウドスピーカセットについて、層と、層の上方又は下方の層にオフセットされた位置との関連付けが定義され得ることを意味する。例えば、セットアップは、１つの層に４つのラウドスピーカ、例えばすべて同じ高さにある４つのラウドスピーカと、４つの他のラウドスピーカよりも高い、例えば上昇した１つの物理又は仮想ラウドスピーカとを含むことができる。このセットアップは、１つの層を有する。追加の１つ又は複数の層も可能である。

有利な実施形態は、従属請求項の主題である。

特に、本出願の好ましい実施形態は、図面に関して以下に説明される。

一実施形態によるオーディオレンダリングのための装置のブロック図を示す。 ここでは両方の部分ラウドスピーカ信号セットに対する水平パンニングの可能性、並びにそれらのうちの１つに対する等化を含むように説明されている、オーディオレンダリングのための装置の別の実施形態を示す。 例示的なラウドスピーカセットアップと、ラウドスピーカ間に配置された聴取者とを概略的に示し、オーディオレンダリングのための仮想上部ラウドスピーカの考慮事項をさらに示している。 第１の（水平）パンニングを示す、図３のシナリオの概略図を示す。 図３のシナリオを示しており、仮想上部ラウドスピーカを実現するためのモノラルキューを提供するための等化又はスペクトル整形の使用を示す。 図５ａ３の状況を示す図であり、仮想上部ラウドスピーカのレンダリングに関与するために採用されたラウドスピーカと、仮想上部ラウドスピーカの位置を特定するために使用されるゲインとの間のパンニングを示している。 上部／下部仮想ラウドスピーカのレンダリングのための水平パンニングと等化との間の異なる順序によって図２の実施形態と比較して変更されたオーディオレンダリングのための装置のブロック図を示す。 オーディオレンダリングのための装置の別の実施形態のブロック図、又は別の方法で示されている、２つの利用可能なラウドスピーカ層の間の意図された仮想位置のオーディオオブジェクトのレンダリングに関与する図１の装置の要素のブロック図を示す。 図７の要素に加えて、聴取者の位置を考慮する可能性を示すブロック図を示す。 可能なラウドスピーカセットアップ、ここでは５．０ラウドスピーカセットアップの概略上面図を示す。 ラウドスピーカセットアップの別の例、ここでは５．０＋２Ｈラウドスピーカセットアップの別の概略３次元図を示す。 ここでは５．０＋４Ｈラウドスピーカセットアップを使用する例について、２つの利用可能な層の間の意図された仮想位置でオブジェクトのオーディオレンダリングを実行する際の２段階プロセスを示すための概略図を示す。 ここでは５．０＋４Ｈラウドスピーカセットアップを使用する例について、２つの利用可能な層の間の意図された仮想位置でオブジェクトのオーディオレンダリングを実行する際の２段階プロセスを示すための概略図を示す。 利用可能な層に対して垂直方向にオフセットされた、ここではすべての層の最上部に対して例示的な、意図された仮想位置におけるオブジェクトの２段階レンダリングを示す。 利用可能な層に対して垂直方向にオフセットされた、ここではすべての層の最上部に対して例示的な、意図された仮想位置におけるオブジェクトの２段階レンダリングを示す。 仮想上部／下部ラウドスピーカ信号をレンダリングするためのモノラルキューを形成するために等化又はスペクトル整形で使用される整形関数の例を示す。

以下の説明は、複数のラウドスピーカのためのラウドスピーカ信号を生成するための装置の一実施形態の説明から始まる。より具体的な実施形態は、個別に又はグループで、図１の装置に適用され得る詳細の説明と共に本明細書の以下に概説される。

図１の装置は、一般に、参照符号１０を使用して示されており、複数のラウドスピーカ１４において又は複数のラウドスピーカ１４にラウドスピーカ信号１２を適用することにより、少なくとも１つのオーディオオブジェクトが意図された仮想位置にレンダリングされるように、複数のラウドスピーカ１４のラウドスピーカ信号１２を生成するためのものである。

装置１０は、ラウドスピーカ１４の特定の配置、すなわち、複数のラウドスピーカ１４が配置又は配置され配向される特定の位置に対して構成されてもよい。しかしながら、装置は、代替的に、ラウドスピーカ１４の異なるラウドスピーカ配置に対して構成可能であってもよい。同様に、ラウドスピーカ１４の数は、複数であってもよく、装置は、設定された数のラウドスピーカ１４のために設計されてもよく、又は任意の数のラウドスピーカ１４に対応するように構成可能であってもよい。

装置１０は、装置１０が少なくとも１つのオーディオオブジェクトを表すオーディオ信号１８を受信するインターフェース１６を備える。しばらくの間、オーディオ入力信号１８が、ヘリコプターのサウンドなどのオーディオオブジェクトを表すモノラルオーディオ信号であると仮定する。さらなる例及びさらなる詳細を以下に提供する。いずれの場合でも、オーディオ信号１８は、時間領域、周波数領域、又は任意の他の領域においてオーディオオブジェクトを表してもよく、圧縮された方法で、又は圧縮なしでオーディオオブジェクトを表してもよい。

図１に示すように、装置１０は、意図された仮想位置を受け取るための位置入力をさらに備える。すなわち、位置入力２０において、装置１０は、ラウドスピーカ１４におけるラウドスピーカ信号１２の適用によってオーディオオブジェクトが仮想的にレンダリングされることになる意図された仮想位置について通知される。すなわち、装置１０は、意図された仮想位置の情報を入力２０で受信し、この情報は、ラウドスピーカ１４の配置／位置に対して、聴取者の位置及び／又は頭部の向きに対して、及び／又は現実世界の座標に対して提供され得る。この情報は、例えば、デカルト座標系又は極座標系に基づくことができる。これは、例えば、デカルト座標系又は極座標系のいずれかとしてのルーム中心座標系又は聴取者中心座標系に基づくことができる。

図１に示すように、装置１０は、入力２０で受信された意図された仮想位置２１に応じて、複数のラウドスピーカ１４のうちのラウドスピーカの第１のセット２６の第１のパンニングゲイン２４を決定するように構成された第１のパンニングゲイン決定部２２を備える。ラウドスピーカのこのセット２６は、１つ又は複数の第１の水平層の第１の層セット内に配置される。すなわち、ラウドスピーカのこのセット２６は、擬似的に、同様の高さに配置される。第１のパンニングゲイン２４は、少なくとも１つのオーディオ入力信号１８からの第１の部分ラウドスピーカ信号２８の導出を定義するか、又は生成に関与し、第１の部分ラウドスピーカ信号２８は、第１の部分ラウドスピーカ信号がラウドスピーカの第１のセット２６に適用されると、第１の仮想位置における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられる。以下でより詳細に概説するように、一実施形態によれば、第１のパンニングゲイン決定部２２は、第１の部分ラウドスピーカ信号２８の各部分ラウドスピーカ信号に対して振幅ゲインを計算してもよく、その結果、第１の仮想位置がセット２６のラウドスピーカ間にパンニングされ、場合によっては、第１の仮想位置がラウドスピーカ位置のうちの１つと一致する可能性のある場合を含み、その場合、その位置にあるラウドスピーカのみが非ゼロパンニングゲインを受信し得る。さらに言い換えれば、第１のパンニングゲイン決定部２２は、セット２６内の水平パンニングの振幅ゲインを計算するためのものであり、その結果、この水平パンニングは、ラウドスピーカセット２６の第１の層セット内の仮想レンダリング位置になる。

図１の装置１０は、意図された仮想位置２１に応じて、一方では第１の部分ラウドスピーカ信号２８と他方では１つ又は複数の第２の部分ラウドスピーカ信号３４との間のパンニングのためのさらなるパンニングゲインを決定するように構成された垂直パンニングゲイン決定部３０をさらに備える。１つ又は複数の第２の部分ラウドスピーカ信号３４は、１つのラウドスピーカのみ又は複数のラウドスピーカを含むラウドスピーカ１４から１つ又は複数のラウドスピーカの第２のセット３６に適用される。

図１は、セット３６内の第２の部分ラウドスピーカ信号３４及びラウドスピーカの数が複数である場合を示しているが、セット３６内に１つのラウドスピーカしかなく、したがって１つの第２の部分ラウドスピーカ信号３４しかないこともまた真実であり得る。後者の場合、セット３６の単一のラウドスピーカは、第１の部分ラウドスピーカ信号２８が専用であるラウドスピーカセット２６の外部にあることになる。複数のラウドスピーカを含むセット３６の場合、セット２６及び３６は、互いに分離していてもよく、部分的に重なり合っていてもよく、一致していてもよく、又は完全に重なり合っていてもよく、すなわち、一方は他方の適切なサブセットであってもよい。例は、以下により詳細に記載される。いずれの場合も、第２の位置は、第１の位置に対して垂直方向にオフセットされている。第１のセット２６と第２のセット３６とが一致する場合であっても、第１の位置と第２の位置との間の垂直方向オフセットをどのようにして達成するかの様々な例が、本明細書において以下に記載される。図に関して概説した実施形態では、各セット２６及び３６は、各層のラウドスピーカから作られるか、又は一層に対応するため、セット２６及び３６が一致する場合、層セット、すなわちセット２６及び３２の層も一致することに留意されたい。しかしながら、セット２６及び３２のいずれかが複数の層のラウドスピーカから構成され得るように、セットと層との間のこの対応関係は変更されてもよい。

垂直パンニングゲイン決定部３０によって決定されたさらなるパンニングゲイン３２は、最終的に、第１の仮想位置と第２の位置との間のパンニングをもたらす。

図１に示すように、装置１０は、第１のパンニングゲイン２４及びさらなるパンニングゲイン３２を使用して入力オーディオ信号１８からラウドスピーカ信号１２を合成するようにさらに構成された合成器４０をさらに備える。前述したように、第１のパンニングゲインは単純な振幅ゲインであってもよく、したがって、合成器４０は、入力オーディオ信号１８と対応するパンニングゲイン２４との乗算のための各部分ラウドスピーカ信号２８の乗算器４２を備えてもよい。したがって、パンニングゲイン２４は、部分ラウドスピーカ信号２８に対して個別である。すなわち、部分入力信号２８ごとに１つのパンニングゲイン２４がある。同様に、以下でさらに概説されるように、垂直パンニングゲイン決定部３０によって出力されるパンニングゲイン３２は、単純な振幅ゲインであってもよい。ここでは、セット２８及び３４ごとにそれぞれ１つのパンニングゲイン３２がある。したがって、合成器４０は、セット２８及び３４の各々に対してそれぞれ１つの乗算器４４ａ、４４ｂを備えてもよく、乗算器４４ａは、セット２８の各ラウドスピーカ信号にそのセット２８に関連付けられたパンニングゲイン３２を乗算し、乗算器４４ｂは、セット３４からの各部分ラウドスピーカ信号にそのセット３４に関連付けられたパンニングゲイン３２を乗算する。

合成器４０のさらなるタスクは、上述したように、ラウドスピーカセット２６及び３６が重なり合っていても、いなくてもよいことである。合成器４０のタスクとして、合成器４０は、パンニングゲイン２４及び３２を使用してパンニングすることによって得られた部分ラウドスピーカ信号２８及び３４をラウドスピーカ１４上に正確に分配する。セット２８及び３４のうちの一方にのみ属するセット２８及び３４の部分ラウドスピーカ信号の場合、対応する部分ラウドスピーカ信号はラウドスピーカ信号１２のうちの一方になる。しかしながら、ラウドスピーカ１４のうちの同じラウドスピーカに関連付けられているそれらの１つ又は複数の部分ラウドスピーカ信号について、合成器４０は、加算器４６を使用してそれらを加算し、それにより、セット２８及び３４のうちの互いに対応する部分ラウドスピーカ信号の和がそれぞれラウドスピーカ信号１２のうちの一方になる。

乗算の結合特性及び交換特性のために、合成器４０は、図１に示す順序で各部分ラウドスピーカ信号の乗算を実行するように制限されないことに留意されたい。すなわち、図１の合成器４０は、設定されたグローバルパンニングゲイン３２との乗算の前に第１のパンニングゲイン２４との部分ラウドスピーカ信号個別乗算を実行するように示されているが、乗算は異なる順序で実行されてもよい。

図１はまた、以下でさらに説明される実施形態に従って使用される詳細を示す。特に、これらの詳細は、入力オーディオ信号１８からの部分ラウドスピーカ信号３４の導出又は生成に関する。オーディオ入力信号１８からの部分ラウドスピーカ信号３４の導出／生成には、さらに２つの処理ステップを関連付けてもよい。これらの２つの処理ステップ及び図１の対応する要素は任意選択であり、したがって、入力オーディオ信号は、対応するパンニングゲイン３２による垂直パンニングを受ける１つの部分ラウドスピーカ信号３４を直接表してもよい。存在する場合、一方又は両方の処理ステップのみが適用され、装置１０内で具現化されてもよい。

最初の処理ステップは、部分ラウドスピーカ信号３４に対して要素２２、２４及び４２によって実現される水平パンニングに実質的に対応する方法で、部分ラウドスピーカ信号２８に対する水平パンニングに対応する。すなわち、図１に示すように、装置１０は、意図された仮想位置２１に応じて、ラウドスピーカの第２のセット３６の第２のパンニングゲイン５４を決定するように構成された第２のパンニングゲイン決定部５２を備えてもよく、第２のパンニングゲイン５４は、少なくとも１つのオーディオ入力信号１８からの第２の部分ラウドスピーカ信号３４の導出を定義する。合成器４０は、対応する乗算器５６、すなわち部分ラウドスピーカ信号３４ごとに１つを備え、対応するパンニングゲイン５４をオーディオ入力信号に乗算する。言い換えれば、合成器４０は、セット３６内の各ラウドスピーカの部分ラウドスピーカ信号３４を、セット３６内の対応するラウドスピーカに関連付けられたパンニングゲイン５４との乗算にかける。これにより、水平パンニング及び部分ラウドスピーカ信号３４に関連付けられた仮想ラウドスピーカ位置がもたらされる。

要素５２～５６に加えて、又は代替的に、装置１０は、乗算器５６での水平パンニング及び乗算器４４ｂでの垂直パンニングの結果として入力オーディオ信号又は中間生成物若しくは最終生成物に対してスペクトル整形を実行するスペクトル整形器５８を備えてもよく、その結果、第２の部分ラウドスピーカ信号３４は、このスペクトル整形によって少なくとも１つのオーディオ入力信号から導出される。スペクトル整形は、例えば、部分ラウドスピーカ信号３４の各々に対して等しい、すなわち、同じスペクトル整形関数が使用されてもよい。以下により詳細に概説されるように、スペクトル整形器５８によって使用されるスペクトル整形関数６０は、第２の部分ラウドスピーカ信号３４に関連付けられた第２の仮想位置がラウドスピーカの第２のセット３６の上方又は下方に配置されるという、聴取者に対する心理音響キューを形成するように選択される。

スペクトル整形器５８によって実行されるスペクトル整形は、部分ラウドスピーカ信号のスペクトルと整形関数６０との乗算によってスペクトル領域で実行されてもよく、又はＩＩＲフィルタ又はＦＩＲフィルタなどの時間領域フィルタによってなどの時間領域で実行されてもよく、その場合、その時間領域フィルタは、スペクトル整形関数６０に対応する周波数応答を有する。セット２６及び３６に関してさらに注記する。装置は、現在のスピーカセットアップに応じて同じものを選択してもよい。言い換えれば、装置は、異なるセットアップに適応し得る。装置は、意図された仮想位置の水平成分に応じて、複数のラウドスピーカのうちのラウドスピーカの第１のセット２６を選択してもよく、例えば、意図された仮想位置の水平成分に応じて、例えば、意図された仮想位置に最も近いスピーカを一層から選択してもよく（一層へのその垂直投影に関する限り）、又は、意図された仮想位置の水平成分及び意図された仮想位置の垂直成分に応じて、例えば、意図された仮想位置に最も近い最外層を選択し、次いで、その一層内のスピーカを選択することによって選択してもよい。加えて、又は代替的に、ラウドスピーカの第２のセット３６は、意図された仮想位置に最も近い最外層を選択し、その層に属するすべてのスピーカをセット３６に使用するなど、意図された仮想位置の垂直成分に応じて、又は、意図された仮想位置に最も近い最外層を選択し、意図された仮想位置に最も近くなるように層のスピーカからセット３６を選択するなど、意図された仮想位置の水平成分及び意図された仮想位置の垂直成分に応じて、複数のラウドスピーカから選択されてもよい（一層へのその垂直投影に関する限り）。

第１の部分ラウドスピーカ信号２８に関して前述したように、合成器４０は、任意の順序で乗算５６及び４４ｂ並びにスペクトル整形５８を実行するように構成されてもよく、すなわち、対応する部分ラウドスピーカ信号３４をもたらすために、任意の順序で３つのタスクをオーディオ入力信号１８に適用してもよい。

最後に、一例によれば、スペクトル整形器５８を使用する場合であっても、セット３６内のラウドスピーカの数、したがって部分ラウドスピーカ信号３４の数はそれぞれ１つであってもよいことに留意されたい。

参照符号及び上記で提示された説明を再使用することによって以下に記載される本出願の特定の詳細及び実施形態の説明を進める前に、合成器４０に関して以下の注意がなされる。図１の場合、パンニングゲイン決定部２２、３０、及び５２は、パンニングゲインの実際の適用が合成器４０によって実行された間に、意図された仮想位置２１に基づいてパンニングゲインを計算するための一種の中間モジュールを形成する。さらに、スペクトル整形器５８は、そのサブモジュールとして合成器４０内に含まれることが示された。しかしながら、上記のように、図１の図示と比較して変更が可能である。例えば、スペクトル整形器５８は、最終的に合成器４０の外部の、特に上流のモジュールになるように、上流要素５２、５４、及び５６に配置することができる。次に、合成器４０は、第１のラウドスピーカセット３６に関する限り、オーディオ入力信号１８の予め整形されたバージョンに基づいてラウドスピーカ信号１２の合成を実行する。加えて、又は代替的に、後述する実施形態の大部分は合成を利用し、水平パンニングの後に垂直パンニングが適用され、水平パンニングは、乗算器４２及び／又は５６、並びに適用可能であればスペクトル整形５８によって実現され、その場合、合成器４０及びその合成は、要素４４ａ、４４ｂ、並びに適用可能であれば加算器４６のみを含んでもよく、要素２２、２４及び４２は第１のラウドスピーカ信号セット決定部７０を形成し、要素５２、５４、５６、５８及び６０（又は水平パンニング若しくはスペクトル整形が欠落している場合はその一部）は第２のラウドスピーカ信号決定部７２を形成する。

発表されたさらなる詳細及びさらなる詳細な実施形態を用いて説明を再開する前に、図１に示すオーディオレンダリングの概念から生じる達成された利点について簡単に述べる。特に、上述したように、図１の概念のオーディオレンダリングは、意図された仮想位置２１の正確な角度変化に基づいて、又はそれに従って正確に適応又は選択される異なるＨＲＴＦを適用する使用及び関連する計算的に複雑なタスクなしに、オーディオ再生を進めることを可能にする。すべての水平及び垂直パンニングは振幅パンニングのみによって行われ、スペクトル整形５８は、セット３６内のすべてのラウドスピーカのすべての部分ラウドスピーカ信号３４に対して、１つのスペクトル整形又は等しいスペクトル整形関数６０を使用してもよい。以下にさらに説明する実施形態では、装置１０は、意図された仮想位置２１（例えば、意図された仮想位置２１が、ラウドスピーカ１４の高さ、内部、間、又は上方の聴取者位置又は層の位置に制限されている場合、又はその逆の場合、ラウドスピーカ１４の高さ、内部、間、又は下方の聴取者位置又は層の位置に制限されている場合）に関係なく連続的に同じスペクトル整形関数６０を使用するか、又は２つのスペクトル整形関数６０を区別し得り、一方は、意図された仮想位置２１が、それぞれ聴取者の位置又は最も高いラウドスピーカ層よりも高い場合に使用され、他方は、それぞれ聴取者の位置又は最も低いラウドスピーカ層よりも低い場合に使用される。したがって、図１のレンダリングの計算の複雑さは低い。これは、任意選択のスペクトル整形５８を利用する場合にも当てはまる。

さらに、一方では水平パンニング及び他方では垂直パンニングへの３Ｄパンニングの分解は、より複雑なレンダリング手順をもたらすように見えるかもしれないが、結果として生じる計算の複雑さは依然として低いが、この計算の中程度の複雑さであっても、意図された仮想位置を位置決めする点でのレンダリング精度は依然として高い。

すなわち、本明細書に記載の実施形態は、本明細書の導入部分におけるかなり複雑なセットアップの代替を提供し、より複雑なラウドスピーカセットアップとして同等又は同様の空間聴覚を生成するために信号処理手段を使用するコンパクトな再生を形成する。上記及び以下に提示される概念は、以下のことが可能である。

（１）１つ又は複数の仮想ラウドスピーカを考慮することによって、欠けているラウドスピーカ／ラウドスピーカアレイを知覚的に置き換えること。これらの仮想ラウドスピーカの生成について本明細書で説明する。

（２）３Ｄラウドスピーカセットアップでサウンドを効率的にレンダリングすることであって、仮想ラウドスピーカ（１）が使用される場合だけでなく必要なラウドスピーカが物理的に利用可能なシナリオでもレンダリングを使用することができる、レンダリングすること。（２）の利点は、柔軟性及び効率性であり、これにより、聴取者の位置がリアルタイムで追跡され、レンダリングがリアルタイムで聴取者の現在位置に適応されるシナリオにも適用可能になる。

本明細書に記載の実施形態は、再生環境から独立しており、例えば、自動車環境で使用することもできることに留意されたい。さらに、実施形態は、再生に使用される特定のタイプのトランスデューサ又はトポロジとは無関係である。すなわち、実施形態は、例えば、ヘッドフォン再生、並びにラウドスピーカアレイ、サウンドバー、スマートスピーカなどの特定のラウドスピーカを使用する再生に適用することができる。

すなわち、なされたばかりの注記は、ラウドスピーカ１４がヘッドフォンラウドスピーカ又はステレオラウドスピーカであってもよいが、同様に、ラウドスピーカアレイ、サウンドバー、又はラウドスピーカセット、スマートスピーカ、又はスマートスピーカセットを、サラウンドサウンドセットアップから形成してもよいし、個別のラウドスピーカであってもよく、組合せも実現可能であり得ることを明らかにする。さらに、この説明は、ラウドスピーカ信号１２の合成を、時間的に変化し得る意図された仮想位置２１にリアルタイムで適応させるために、装置１０が適応的に動作することを明らかにした。

これに関連して、レンダリング装置の実施形態は、特定のラウドスピーカセットアップのために予め構成されてもよく、すなわち、予め定義されたラウドスピーカ１４のセットが所定の位置に配置されることを期待しているが、本明細書に記載の装置は、装置の初期化に関して及び／又は移動するラウドスピーカ位置への適応に関して、ラウドスピーカの数及び／又はスピーカ位置が異なる、異なるラウドスピーカセットアップに適応し得ることに簡単に留意されたい。前者の場合、装置は、初期化後、ラウドスピーカセットアップが一定であると仮定し得る。後者の場合、装置は、実行中のスピーカセットアップ変動にさえ適応し得る。スピーカの数さえも、実行中に変化し得る。したがって、装置は、この任意選択の状況でラウドスピーカ位置に関する情報を受信してもよいが、図には明示的に示されていない。したがって、聴取者位置情報のオプションの受信と同様に、図１の装置（及びその後に示される実施形態）は、スピーカ１４の数及びその位置を明らかにするラウドスピーカセットアップ情報を受信するためのさらなる位置入力を含んでもよい。この情報は、聴取者の位置及び／又は頭部の向きに対して、及び／又は現実世界の座標に対して提供され得る。この情報は、例えば、デカルト座標系又は極座標系に基づくことができる。これは、例えば、デカルト座標系又は極座標系のいずれかとしてのルーム中心座標系又は聴取者中心座標系に基づくことができる。

レンダリングに一般的に使用される方法は、振幅パンニング技術である。ラウドスピーカ（例えば、複数のラウドスピーカの間にない）によってカバーされない位置で聴覚オブジェクトの知覚を生成するために、クロストークキャンセルなどのレンダリング技術を利用することができる。クロストークキャンセル（ＸＴＣ）［１－７］は、ラウドスピーカによって聴取者の左右の耳信号を制御することを目的としている。これは、ラウドスピーカの信号が聴取者に到達するときに発生する「耳間のクロストークをキャンセルする」ことによって達成される。耳信号を直接制御することができると、バイノーラル技術［８、９］を適用して、サウンドを上方向及び下方向にレンダリングすることができる。前述の技術には２つの主要な制限がある。第１に、ＸＴＣは、サウンドの色調、極めて小さいスイートスポット、及び聴取者に対するラウドスピーカ位置への高い依存性に関する制限を有する。第２に、頭部追跡／聴取者追跡及び／又は個別化頭部伝達関数（ＨＲＴＦ）又はバイノーラルルームインパルスレスポンス（ＢＲＩＲ）がなければ、バイノーラル技術は達成可能な品質／性能が制限される。これらの両方は、システムに高い複雑さ、コスト、及びユーザの不便さを追加する。

ラウドスピーカセットアップによってカバーされない寸法の仮想ラウドスピーカを使用して、従来の振幅パンニングに対する強化が提案されている（例えば［１４、１５］を参照）。そのような技術を使用した高さパンニングは、音色が高さで真にレンダリングされた音源から逸脱するため、完全に現実的ではない。

垂直半球振幅パンニング（ＶＨＡＰ）［１０、１１］は、２つの横ラウドスピーカを使用して、聴取者の上部の高さのオブジェクトをレンダリングする。ラウドスピーカは±９０度の横方向になければならないため、ＶＨＡＰは聴取者の位置に関して柔軟性がない。

本明細書では、仮想ラウドスピーカという用語は、オブジェクトをパンニングするプロセス中に考慮される存在しないラウドスピーカに使用される。

図１の概念は、上部レンダリング及び／又は下部レンダリングの概念を利用しており、上述した最先端技術に対して以下の利点を有する。

・より忠実な上部／下部／高さ知覚のために、上部／下部仮想ラウドスピーカ信号に等化（スペクトル整形５８）が適用される。

・スピーカ１４には任意のラウドスピーカセットアップを使用することができるが、それにもかかわらず、（仮想）上部及び下部レンダリングの強化が達成可能である。例えば、ステレオセットアップ又は５．１セットアップが、スピーカ１４の基礎として使用されてもよい。高さラウドスピーカ、例えば５．１＋４Ｈを有するラウドスピーカセットアップであっても、図１の概念を使用して、上部レンダリング（例えば、「天の声」ラウドスピーカ）又は下位層レンダリングなどに関して強化することができる。これとは対照的に、ＶＨＡＰは、例えば、聴取者の両側（±９０度）にラウドスピーカを有する正確で特定のラウドスピーカセットアップを必要とする。

・さらに、図１の上部及び下部レンダリングは、聴取者に対する特定のラウドスピーカ位置に依存しない。言い換えれば、図１のスキームは、聴取者が移動するシナリオ、例えば追跡レンダリングにも適用できる。

本明細書に記載の実施形態は、仮想高さレンダリングの非常に簡単な実装を可能にする。

すなわち、図１によるオブジェクトパンニングは、図２によるレンダリング装置又はオブジェクトパンニングプロセッサにつながる方法で実装し得り、装置は合成器４０の出力においてラウドスピーカ信号１２を生成し、一方では部分ラウドスピーカ信号３４を、他方では合成器４０に部分ラウドスピーカ信号２８を提供する２つの経路、すなわち、一方の経路がオーディオ入力信号１８及び意図される仮想位置２１を受け取り、部分ラウドスピーカ信号２８を出力する部分ラウドスピーカセット決定部７０を備え、もう一方の経路が、２つの入力１８及び２１に基づいて部分ラウドスピーカ信号３４を生成し、装置などが任意のラウドスピーカセットアップにわたって３Ｄ空間内のオブジェクトを以下のことによってレンダリングするモジュール７２を備える。

・少なくとも１つの仮想ラウドスピーカ（上又は下）を垂直（上又は下）方向で考慮すること。これは、以下により詳細に概説されるように、第１の部分ラウドスピーカ信号３４によって再生されるサウンドが上又は下からそれぞれ到来するという聴取者のための心理音響キューをもたらすスペクトル整形５８によって行われ、又は達成される。

・ラウドスピーカセットアップと１つ又は複数の仮想ラウドスピーカとを考慮して、オブジェクトを振幅パンニングすること。振幅パンニングは、合成器４０内の垂直パンニング、及びモジュール７０内及びモジュール７２内の水平パンニングによって実行される。

・仮想及び／又は実際のラウドスピーカ信号に等化を適用すること。等化は、スペクトル整形器５８内のこのスペクトル整形によって行われる。

・図１に関して説明したように、セットアップのサブセット又はすべてのラウドスピーカにわたって各仮想ラウドスピーカ信号を再生することであって、第２のラウドスピーカセット３６はセット２６と一致してもよく、したがってすべてのラウドスピーカ１４を含んでもよく、又はラウドスピーカ１４のサブセットのみに関連してもよい、再生すること。

以下では、本出願の実施形態の概念を３次元的に視覚化する。図３を参照されたい。図３では、聴取者を参照符号１００で示している。個別のラウドスピーカ１４は、小さい文字によって互いに区別される。図３において、ラウドスピーカセットアップは、例示的に、４つのラウドスピーカを備える。図３は、聴取者１００の上又は上にある１つの仮想ラウドスピーカ１０２を示す。図３は、当然、単なる例である。代替的に、聴取者１００の下又は下方にある仮想ラウドスピーカ１０２が考えられる。さらに、聴取者１００が水平方向に移動することを可能にしても、すなわち聴取者の位置を追跡することによっても、仮想ラウドスピーカ１０２を聴取者１００の真上に配置し得り、又は聴取者１００が実際に仮想ラウドスピーカ１０２の真下／真上にあるかどうかに関係なく、聴取者１００の位置をデフォルトで固定し得る。

別の言い方をすれば、図３は、ラウドスピーカ１４の位置決めの一例、ここでは例示的な４つのラウドスピーカ１４ａ～１４ｄを示し、図１及び図２に示す実施形態が、第１の部分ラウドスピーカ信号３４に関連付けられたレンダリングの上述の仮想位置である仮想位置に配置された仮想ラウドスピーカを含んでもよいことを説明する。すなわち、図３は、スペクトル整形器５８を利用する限り、図２の実施形態及び図１の実施形態が、利用可能なラウドスピーカ１４に加えて仮想ラウドスピーカ１０２をさらに考慮することを示している。

図４、図５ａ及び図５ｂは、利用可能なラウドスピーカ１４ａ～１４ｄ及び仮想ラウドスピーカ１０２を使用して意図された仮想位置１０４におけるレンダリングがどのように行われるかについて、個別の下位概念又はステップに分解して示している。

図４は、意図された仮想位置１０４を示している。この位置１０４は、ラウドスピーカ１４ａ～１４ｄがある層又は平面の垂直上方にあるように示されている。図４はまた、ラウドスピーカ１４ａ～１４ｄの層又は平面内への意図された仮想位置１０４の投影、すなわち、ラウドスピーカ１４ａ～１４ｄの層又は平面内への垂直方向に沿った投影１０４を示す。結果として得られる投影された位置１０６、すなわち、ラウドスピーカ１４ａ～１４ｄの層への意図された仮想位置１０４の投影は、参照符号１０６を使用して示されている。モジュール７０は、この投影された仮想位置１０６におけるオーディオオブジェクトのレンダリングに関連付けられた部分ラウドスピーカ信号をもたらすように振幅パンニングを使用し得る。したがって、図４は、ここまで図１及び図２に関してまだ説明されていない別の状況を示す。特に、図１及び図２の装置はそれぞれ、利用可能なすべてのラウドスピーカ１４の中から２６を選択するように、又は図４のラウドスピーカ１４ａから１４ｄなどの特定の層に属するラウドスピーカのグループなどのラウドスピーカのグループの中からを選択するように構成されてもよい。特に、ハッチングの使用によって示されるように、２つのラウドスピーカ１４ｃ及び１４ｄのみが選択されてもよく、すなわち、聴取者１００の水平面に属するラウドスピーカのグループのものが、保護された仮想位置１０６に最も近い対応する部分ラウドスピーカ信号２８を受信するように選択される。別の観点によれば、水平パンニングは、対応するラウドスピーカ層セットのサブセットに関してのみ非ゼロの重みをもたらすが、対応する層セットのすべてのラウドスピーカに連続的に関連する。ここで、ラウドスピーカ１４ｃ及び１４ｄのみが水平パンニングの非ゼロ重みに関連付けられ、他の２つのスピーカ１４ａ及び１４ｂはゼロの重みに関連付けられ、それによって水平パンニングに関与しない。したがって、仮想ラウドスピーカ１０２に加えて、ラウドスピーカセットアップの２つのラウドスピーカ１４ｃ及び１４ｄが使用される。図４は、それぞれモジュール７０又は決定部２２によって達成される水平パンニングに集中しているが、以下の図は、モジュール７２及び最終レンダリングへのその寄与に注目している。すなわち、以下の図は、仮想上部ラウドスピーカ１０２と共にラウドスピーカセットアップの２つのラウドスピーカ１４ｃ及び１４ｄが、意図された仮想位置１０４においてオブジェクトを振幅パンニングするためにどのように使用されるかについて明らかにする。

意図された仮想位置１０４の距離は、本明細書の文脈において主要な役割を果たさず、したがって、位置１０４は、より簡単な視点表現のためだけに聴取者から遠くにあるように示されていることに留意されたい。レンダリングは、任意選択的に、位置１０４に向かう方向のみに依存して動作し得る。

図５ａは、等化又はスペクトル整形５８が仮想ラウドスピーカ１０２のラウドスピーカ信号に使用されるか、又は適用される下位概念又はステップを示す。再び、図３～図５ｂは、この仮想ラウドスピーカ１０２が仮想上部ラウドスピーカである例に注目しているが、これは一例に過ぎない。同様に、等化又はスペクトル整形５８は、仮想下部ラウドスピーカを形成するために使用されてもよい。

図５ｂは、仮想ラウドスピーカ１０２の位置におけるオーディオオブジェクトの再生に注目している。仮想ラウドスピーカ１０２に直接適用されるラウドスピーカ信号、すなわちオーディオ入力信号は、等化又はスペクトル整形５８、及びここでは対応する乗算器５６ａ～５６ｄによって示されている水平パンニングを受ける。後者の乗算器は任意である。それらは、仮想ラウドスピーカ位置１０２が静的ではなく、聴取者１００の聴取者位置に垂直に調整されるように、すなわち、ラウドスピーカ１４ａ～１４ｄの平面へのその垂直投影がラウドスピーカ１４ａ～１４ｄのこの平面又は層内の聴取者１００の位置と一致するように水平に位置するように配置される場合にのみ必要である。例示的な図５ｂは、セット３６が、１つの水平層内の対応するグループのすべてのラウドスピーカ１４ａ～１４ｄ又は少なくともすべてのラウドスピーカを包含し得ることを示している。すなわち、５ｂは、サブセット又は図５ｂに示すように、セットアップのすべてのラウドスピーカ１４ａから１４ｄにわたる各第２の部分ラウドスピーカ信号３４の再生を示す。仮想ラウドスピーカ１０２は物理的に利用可能ではないため、対応する等化信号３４は、上述のラウドスピーカのサブセットにわたって再生される。ゲインは、仮想方向のレベル及び結果として生じる方向ベクトルを調整するために、合計で、又は各ラウドスピーカに個別に適用される。計算コストが低減されているために有益である代替の実装形態は、既に上述されており、図６に示されている。すなわち、図６は、レンダリングのための装置の別の例、又はオブジェクトパンニングプロセッサの代替実施形態、すなわち、図２と比較して、等化又はスペクトル整形５８がモジュール７２内の要素５２、５４及び５６によって水平パンニングの上流で実行されるものを示す。すなわち、聴取者に心理音響キューをもたらし、上部ラウドスピーカ又は下部ラウドスピーカ１０２をもたらすような等化又はスペクトル整形は、各部分ラウドスピーカ信号３４に個別にではなく、オーディオ入力信号１８に直接適用される。すなわち、オーディオ入力信号１８は、等化又はスペクトル整形を受け、ここで、任意選択的に、仮想位置１０２の位置を水平に制御するための水平パンニング、及び垂直パンニング係数又は垂直パンニングゲイン決定部によって提供されるゲインを使用して達成される垂直パンニングなどのパンニングを受ける。ラウドスピーカセット３６間のオプションの水平パンニングの前に部分ラウドスピーカ信号３４の垂直パンニングゲインが適用される場合、さらに低い計算の複雑さが達成される。後者の場合、等化された、又は周波数整形され、レベル整合された信号は、仮想高さラウドスピーカ１０２の再生のために選択されたラウドスピーカ上にコピーされ分配されてもよい。

上記の概念によれば、仮想高さ再現の効率的な生成は、任意のラウドスピーカセットアップにおいて対応する仮想高さスピーカを使用することを可能にするパンニングアルゴリズムの一部である。さらなる詳細を以下に記載する。

図１、図２、及び図６のいずれかによる（オブジェクト）パンニングアルゴリズム／パンニングプロセッサ又は装置は、静的及び移動音源の両方について、３Ｄ再生空間内の聴覚オブジェクトの知覚されたロケーションを位置決めするために使用することができる。

基礎となる概念の効率性のために、静的及び移動する聴取者位置、すなわち、例えば、聴取者１００の位置が追跡され、装置によるレンダリングが聴取者位置に適応される用途にも使用することができる。適応例を以下に記載する。さらに、本明細書に記載の装置は、静的及び移動するラウドスピーカ１４を有するシナリオにも適用することができる。

典型的な再生シナリオでは、ラウドスピーカ位置は固定されているが、聴取者の１００位置は連続的に変化し得る。そのような場合、聴取者１００がラウドスピーカ１４を見る角度、並びにラウドスピーカ間のそれぞれの角度は、聴取者１００の位置に応じて変化する。

ＶＢＡＰなどの従来のパンニングアルゴリズムは、通常、考慮される不変のスイートスポット及びラウドスピーカ位置の初期化を必要とする。初期化位相では、ラウドスピーカをペア、トリプレット、又はクワドルプレットパンニンググループにマッピングするなど、いくつかの複雑な動作が使用される。

追跡シナリオでは、ラウドスピーカ１４と聴取者１００との相対的な位置は頻繁に変化するため、複雑な初期化位相及び固定マッピングを有することは望ましくない。図１、図２、及び図６による記載されたパンニングは、これらの問題に対処し、特にラウドスピーカによってカバーされる／囲まれるエリア内にない位置でのパンニングに関連するいくつかの他の新規性を含む。

特に、以下のステップは、図３～図５ｂに例示的に示されているように、効率的なレンダリングを達成し、スピーカ１４ａ～１４ｄの複数の層を有するスピーカセットアップに対応するのを支援し、本明細書に記載の装置の２つの機能として追加されてもよい。

・振幅パンニングゲインは、７０及び７２の水平パンニング段階のいずれかなど、水平ラウドスピーカ層について計算される。装置は、スピーカの層の数が１であるか否かに応じることができる。層が１つだけ存在する場合、要素５２、５４、５６は使用されないか、又は聴取者１００の真上／真下に上部／下部仮想スピーカ位置１０２を位置決めするためだけである。複数の層が存在する場合、以下が当てはまる。

・スピーカ１４の複数の層が存在する場合、
〇複数のラウドスピーカ層の振幅パンニングゲインは、それぞれモジュール７０及び７２を使用して、高さ層及び最下層などについて計算し得る。これは、例えば、意図された仮想位置が両方の層の間の垂直方向の位置を指す場合に行われ得る。３つ以上の層がそのように扱われてもよいことに留意されたい。

〇パンニングでは、図４の１０６のような、すなわち水平パンニングが実行される各層におけるオブジェクトの任意のレンダリングされた水平／方位角仮想位置が、レンダリング、すなわち垂直パンニングにおいて考慮される。２つの層、すなわち各々が異なる高さの別の水平層に関連付けられたスピーカ１４の２つのグループが、例えば、一方はセット２６を形成する、若しくはセット２６を選択する、又は他方はセット３６を形成する、若しくはセット３６を選択するために使用されてもよい。いくつかの（３つ以上の）利用可能な層からの選択は、以下に説明するように、すなわち意図された仮想位置に最も近い層を取得することによって行ってもよい。各層の上の、そこに示されている例示的な一層についての図４の１０６などの「レンダリングされたオブジェクト位置」は、次に、層間でオブジェクトを垂直方向にパンニングするための仮想ラウドスピーカとして使用されてもよい。詳細を以下に示す。

〇オブジェクト位置が最上層の上又は最下層の下にある場合、オブジェクトは１つの層（すなわち、それぞれ最上層又は最下層）上でのみ水平方向にパンニングされる。その場合、モジュール７２は、仮想上部／下部スピーカ１０２に対して動作し、水平パンニングは、このオプションが使用される場合にのみ、上部／下部スピーカ１０２の水平位置を聴取者位置１００に調整するためのものであり（この聴取者位置適応性が使用されない代替形態が以下に説明される）、モジュール７０は、使用される垂直方向最も外側のスピーカ層又は水平層を形成するスピーカ１４の最も外側のグループにおける水平パンニングに対して動作する。両方のモジュール７０及び７２は、スピーカ１４のそれらのセット２６及び３６が、言及された垂直方向最も外側のスピーカ層又はスピーカ１４の最も外側のグループに対応するか、又はその一部であるように選択される。

・したがって、オブジェクト位置１０４、２１が最も高い（最も低い）ラウドスピーカ層（又は、ラウドスピーカ層（例えば、おおよそ耳の高さで）が１つしか利用できない場合には、）の上方（下方）にある場合、仮想垂直上部（垂直下部）ラウドスピーカ１０２は、聴覚オブジェクトをラウドスピーカ層の上方（下方）に知覚的にレンダリングすると考えられる。

・上部イコライザ又は下部イコライザ、すなわち対応する関数６０を使用するスペクトル整形５８がオブジェクトオーディオ信号に適用され、上方向又は下方向再生のために選択されたラウドスピーカ、すなわちセット３６に分配される。

２つの層、又は２つの層のスピーカ間のレンダリングに関与するステップ／機能／ブロックが図７に示されている。より正確には、図７は、２つのスピーカ層間でレンダリングされるオーディオオブジェクトを３次元的にパンニングすることができる追加の実施形態による装置を示すか、又は、図７は、意図される仮想位置２１が２つのそのようなスピーカ層間にある場合にレンダリングに関与する図１の装置の部分の協働を示し、一方、スペクトル整形器／イコライザ５８などの図１に示される他の要素は、この場合（むしろ、意図される仮想位置がスピーカ１４のすべてのスピーカ層の上又はそれらの利用可能なスピーカ層の下にある場合）にレンダリングに関与しない。図示のように、入力はオーディオ入力信号１８である。水平パンニングは、一方の層に対してモジュール７０によって実行され、要素５２、５４、及び５６は、他方の層のモジュール７２の一部である。対応する部分ラウドスピーカ信号２８及び３４は、それぞれ合成器４０によってラウドスピーカ信号１２になるように合成され、さらに決定部３０によって提供されるパンニングゲインを使用して垂直パンニングを実行する。部分ラウドスピーカ信号３４及び２８がそれぞれ対応するスピーカセット３６及び２６は、異なる層に属するため、図７に示すように互いに分離していてもよい。しかしながら、スピーカ１４の「層」への関連付けは、あるスピーカ１４が異なる層に関連付けられるようなものであってもよいことに留意されたい。言い換えると、スピーカ１４をスピーカの層グループにグループ化することは、それらが重なり合うようにしてもよい。ただし、図７の図示は一例であり、変形してもよい。

図７の個別の要素の協働については、以下でより詳細に説明する。図示及び上述のように、パンニング、水平パンニング及び垂直パンニングの両方は、位置情報２１によって制御される。それは、別個のデータストリーム、すなわちオーディオ入力信号１８に対して別個の追加情報の形態などの追加情報として、例えば、オーディオ情報の少なくとも１つのチャネル及び意図された位置を定義する関連するメタデータを含むオーディオオブジェクトとして配信することができる。オーディオ入力信号１８がメタデータのないマルチチャネルファイルである場合、オーディオ信号に含まれる異なる要素の意図された位置２１は、信号が生成された既知のターゲットラウドスピーカレイアウトが与えられた信号分析に基づいて推定及び抽出することができる。例えば、オーディオ入力信号１８は、上部ラウドスピーカ及び／又は下部ラウドスピーカ位置に関連付けられたチャネルを含んでもよいが、利用可能なスピーカ１４はそのようなスピーカを有していない。その場合、意図された仮想位置２１は、そのチャネルのスピーカの位置である。他の例も当然利用可能である。これは、搬送されるすべてのチャネルに対して行われ得る。チャネルが関係する相互スピーカ位置は、レンダリング装置によって維持されてもよい。

一実施形態によれば、両方の水平パンニング、すなわち、部分ラウドスピーカ信号２８に関する１つ又は複数のモジュール７０と、要素５２から５６による他の部分ラウドスピーカ信号３４に関する一方とは、パンニングに同じ方位角を使用する。すなわち、両方の層で同じ方位角が使用される。言い換えれば、水平パンニングは、図４に示す投影された仮想位置１０６が互いに垂直投影で一致するように行われる。当然ながら、これは異なる方法で実施されてもよい。制限は必要なく、異なる層に対して異なる方位角を使用してもよい。

本明細書で論じる実施形態の有益な特徴は、それらが広範な初期化を必要としないという事実である。代わりに、パンニングパラメータは、与えられた、又は変化する聴取者及びラウドスピーカの座標又は位置から直接計算される。レンダリングの初期化は、ラウドスピーカの所定のペア、トリプレット、又はクワドルプレットに依存しない。

図８は、水平及び垂直パンニングの両方が、聴取者の位置に関する情報、すなわち情報１１０によって制御され得ることを示している。より正確には、意図された仮想位置２１が、聴取者１００がレンダリングされるオーディオオブジェクトを知覚する特定の方向を示す立体角によって表されると仮定する。聴取者の位置１１０に応じて、仮想上部／下部スピーカの位置を船尾位置に適応させること以外に、もしあれば、聴取者の位置に依存する水平パンニングを適用して、聴取者のこの知覚方向を達成することができる。聴取者位置情報１１０が水平位置だけでなく、聴取者の耳の位置の高さなどの高さで聴取者１００の位置を示す場合も同様である。

上記の説明から明らかなように、本出願の実施形態による装置は、利用可能なラウドスピーカ１４が１つの層にのみ配置されるラウドスピーカセットアップに対応することに限定されない。後者の例は、図３～図５ｂに示されている。むしろ、装置に利用可能なラウドスピーカ１４は、異なる層に関連付けられてもよい。上述した一方の部分ラウドスピーカ信号３４及び他方の部分ラウドスピーカ信号２８、又は異なる言い方をすれば、モジュール７０及び７２がそれぞれ直列に接続される２つの経路は、そのようなスピーカ層のうちの１つ又は複数に関連付けられてもよい。以下の説明では、各々が１つのスピーカ層に関連付けられているものとする。すなわち、各々が１つの層を形成するラウドスピーカの１つのグループに関連付けられる。いくつかのラウドスピーカは、以下の説明から明らかになるように、複数の層に関連付けられてもよく、既に上述した。個別の経路、すなわちモジュール７０の経路及びモジュール７２の経路に対する層の属性又は関連付けは、固定されてもよく、又は意図された仮想位置２１及び／又は聴取者位置１１０に適応されてもよい。これは既に上述されている：利用可能な３つ以上の層がある場合、意図された仮想位置がこれらの層のペアの間にあり、これらの層が２つの経路に関連付けられている場合には、２つの層を選択し得る。意図された仮想位置２１が利用可能なすべての層を超え、利用可能な実際の上部又は下部スピーカがない場合、意図された仮想位置に最も近い最外層が、両方の経路が使用されるラウドスピーカ層として選択される。

任意のラウドスピーカセットアップを考えると、初期化は、各ラウドスピーカ１４が以下のカテゴリのうちの１つ又は複数に属するものとして分類されることのみを含んでもよい。

層１：
通常、このラウドスピーカ層は、オブジェクトを水平（座った聴取者の耳の高さの略水平）にパンニングするために使用される。

層２～Ｎ：
任意選択で、高さ（上部又は下部）層のラウドスピーカなど、第２の層のラウドスピーカを定義することができる。これらは、層１の垂直上方又は下方の層である。したがって、ラウドスピーカ層は３つ以上であってもよい。耳の高さにある層１と、任意の他の層又は他の層との区別は任意である。

上部：
垂直上方向が再生されるラウドスピーカ。これは、専用ラウドスピーカ、又は他の層のラウドスピーカのサブセットであり得る。

下部：
垂直下方向が再生されるラウドスピーカ。これは、専用ラウドスピーカ、又は他の層のサブセットであり得る。

上記の説明は、規則的なセットアップに限定されず、規則的とは、例えば、すべての層に等しい数のラウドスピーカが存在し、それらの間の角度／距離が等しいこと、又はすべての層が聴取者を完全に取り囲むこと、又はすべての層が聴取者から見て正確に同じ垂直角度で配置されたラウドスピーカを有することを意味する。

実際には、前述したように、任意のセットアップを使用することができる。異なるラウドスピーカは、異なる／任意の方位角、及び異なる／任意の仰角（すなわち、異なる高さ）に配置することができる。１つの層の一部であると考えられるラウドスピーカは、必ずしも平面内にある必要はない。それらの垂直位置の変動が許容される。

図９及び図１０は、実現例／分類例を示す。これらの図は、異なる利用可能なラウドスピーカを異なる層に割り当てる手順を例示するものとする。これらは単なる例であり、同じ状況における異なるマッピングが可能であり、ユーザの好みに従う。

図９は、５．０ラウドスピーカセットアップを使用した分類を示す。ここでは、以下の図と同様に、利用可能なスピーカ１４を示すために簡単にするために以下の識別子が使用される。聴取者のほぼ耳の高さに設置されるセットアップを通常形成する水平に配置されたラウドスピーカは、「Ｍ＿Ｘ」の形式でラベル付けされ、ここでＭはＭＩＤＤＬＥのインジケータであり、この層が通常、上側ラウドスピーカ層と下側ラウドスピーカ層との間にあることを示唆している。したがって、これは上記の命名法における層１である。Ｘは、この層内の特定のラウドスピーカを識別し、例えば、Ｍ＿Ｌは「中間層の前方左ラウドスピーカ」になる。同様に、上位層ラウドスピーカを「Ｕ＿Ｘ」として識別するので、「Ｕ＿Ｒｓ」は「上位層の右サラウンドラウドスピーカ」になる。下位層のラウドスピーカは「Ｌ＿Ｘ」で識別される。したがって、Ｕ及びＬスピーカは、上記の命名法における層２～層Ｎのスピーカである。天井（すなわち、聴取者の真上、又はラウドスピーカアレイの中心の真上のいずれか）に取り付けられたラウドスピーカは、「上」と示されている。それぞれ、「下」という用語は、聴取者の真下、又はラウドスピーカアレイの中心の真下のラウドスピーカに使用される。図９では、スピーカの分類は次のようになる

モジュール７０による水平パンニングは、利用可能なすべてのラウドスピーカ（層１）を使用して行われる。上方向及び下方向は、中心（Ｃ）を除くすべてのラウドスピーカにわたってモジュール７２を使用してレンダリングされる。すなわち、セット３６は、中心を除くすべてのラウドスピーカを含み、セット２８は、すべてのスピーカを包含する。

これはこの例についての明示的な決定であることに留意されたい。当然ながら、中心ラウドスピーカを高さレンダリングに使用することもできる。

５．０＋２Ｈラウドスピーカセットアップを使用するさらなる分類を図１０に示す。ここで、利用可能なセットアップには２つの層が存在し、分類又は関連付けは次のようになる

この例では、中間層サラウンドラウドスピーカ（Ｍ＿Ｌｓ及びＭ＿Ｒｓ）が両方の層（層１及び層２）に使用されているが、これは、そうでなければ層２が聴取者を囲まないためである。すなわち、層１及び層２スピーカは、図７及び図８に示すように層内パンニングに使用され、例えば、セット２６の層１及びセット３６の層２のスピーカ、又はその逆であり、意図された仮想位置が両方の層の外側になるとすぐに、その上部又は下部に、分類「上」に属するスピーカは、アクティブな等化５８を有するセット３６に使用され、セット２６の層２スピーカを使用するか、又は分類「下」スピーカは、アクティブな等化５８を有するセット３６に使用され、セット２６の層１スピーカを使用する。

このセットアップにおける代替的な分類は、層２なしでレンダリングを決定することであり得る。上は、上昇したラウドスピーカＵ＿Ｌ及びＵ＿Ｒのみを使用してレンダリングすることができ、代替的に、上述したように、Ｕ＿Ｌ、Ｕ＿Ｒ、Ｍ＿Ｌｓ、及びＭ＿Ｒｓの組合せによってレンダリングすることもできる。

さらなる例は、例えば、最下層ラウドスピーカを用いて、又はより多くの又はより少ない上昇ラウドスピーカを用いて、又はより多くの又はより少ないラウドスピーカを中間層に用いて、又はより任意の又は不規則なラウドスピーカセットアップを用いて容易に導出することができる。

以下では、３Ｄでオブジェクトをレンダリングする場合について、オブジェクトが２つの物理的に存在するラウドスピーカ層（異なる高さにある）の間にある方向（聴取者から見て）にパンニングされる場合を例に説明する。これは、図７及び図８に関して既に論じたが、図１１及び図１２においてより明確に示されている。ここでは、５．０＋４Ｈラウドスピーカセットアップが例示的に示されている。聴取者１００の位置及びオーディオオブジェクト１０４の位置の例が示されている。スピーカは、異なるタイプの線を使用して区別された２つの別個の層に分類され、第２の層は破線であり、第１の層は実線である。

オブジェクトは、異なるゲイン２４を有するこの層内のラウドスピーカにオブジェクト信号を与えることによって、例えば、図１１の最下層グレードット位置１０６_１に振幅パンニングされるようにオブジェクト信号をＭ＿Ｌ及びＭ＿Ｌｓに与えることによって、第１の層内で振幅パンニングされる。同様に、オブジェクトは、図１１の高さ層グレードット位置１０６_２まで第２の層で振幅パンニングされる。図から分かるように、位置１０６_１及び１０６_２は、それらが互いに垂直に重なるように、及び／又は意図された位置１０４の垂直投影と位置１０６_１及び１０６_２も一致するように選択し得る。

図１２は、層間に振幅パンニングを適用することによって最終的なオブジェクト方向をレンダリングすることを示しており、すなわち垂直パンニングを示している。位置１０６_１及び１０６_２にある仮想オブジェクトを仮想ラウドスピーカと考えると、要素３０及び４０による振幅パンニングが適用され、オブジェクトの方向に現れる２つの層間の意図された位置１０４に仮想オブジェクトがレンダリングされる。層間のこの振幅パンニングの結果は、２つの層の信号３４及び２８が重み付けされる２つのゲイン係数３２である。

（実際の）ラウドスピーカ層間の水平パンニングに対するこの重み付けは、垂直パンニングにおいて異なる周波数範囲が異なる高さで知覚され得るという影響を補償するために、周波数にさらに依存し得る［１３］。

層又は最外層の上方又は下方にオブジェクトをレンダリングすることは、上記の説明に対する追加情報として、ここでさらに検査される。

オブジェクトは、図１１及び図１２に関して説明したように、２つの層間の方向の範囲内にない方向又は位置１０４を有し得る。この場合について、図１３及び図１４を参照して説明する。オブジェクトの意図された位置１０４は、（物理的に存在する）層の上方又は下方、ここでは任意の利用可能な層の上、特に破線で示された上側の層の上である。一例として、オブジェクトは、図１１及び図１２においても一例のセットアップとして使用されている５．０＋４Ｈセットアップの最上部ラウドスピーカ層の上方の方向／位置１０４を有する。

この場合、水平振幅パンニングは、モジュール７０によって高さ層に適用され、その層内のオブジェクトをレンダリングする。結果として得られるレンダリングされたオブジェクトの位置１０６_１は、図１３において高さ層グレードット位置１０６_１として示されている。

次に、図１４においてグレードット位置１０６_２として示される、高さ層の位置１０６_１と垂直方向／位置１０６_２との間にパンニングが適用される。結果として得られる３Ｄパンニングされた仮想オブジェクトは、グレードット位置１０４’として示される。

垂直上又は垂直下方向に実際のラウドスピーカは存在しないので、１０６_２における垂直信号は、それぞれ上又は下のサウンドの色調を模倣するようにモジュール５８によって等化される（等化の詳細については後述の説明を参照されたい）。次いで、垂直信号は、上方向／下方向に指定されたラウドスピーカ、すなわちセット３６に与えられる。

仮想上部ラウドスピーカ又は下部ラウドスピーカ１０２のレンダリングに関して、以下のことが言える。

一般に、仮想垂直上部ラウドスピーカ又は下部ラウドスピーカをレンダリングするために、異なるアプローチを選択することができる。

一般に、以下２つの異なるアプローチを選択することができる。

（１）１１０で示すように、仮想上部／下部は常に実際の聴取位置の上にレンダリングされる。

（２）仮想上部／下部スピーカは常に、（メイン）ラウドスピーカアレイの「スイートスポット」又は中心の上にレンダリングされる。

適用例として、（１）は、聴取者の位置を追跡できる場合に有利に選択することができ、（２）は、聴取者の追跡の可能性が利用できない場合に選択することができる。

単純な実装では、上部レンダリング又は下部レンダリングのために選択された各ラウドスピーカに同じゲインが使用され、すなわち、ゲイン５４は等しくなるように選択される。このスキームはうまく機能する（これは、例えば、最も単純な実装として使用することができ、聴取者の位置が追跡されず、そのように知られていない場合に特に有用である。）。

特に、聴取者がラウドスピーカセットアップ内の中央に位置していない場合、次の考慮事項により、上部レンダリング及び下部レンダリングを改善することができる。

・高さ層があり、その高さ層の上でパンニングしたい場合、（高さ層）ラウドスピーカ３６に適用されるゲイン係数５４を上方向に使用し得り、結果として得られるパン方向ベクトルは垂直に上を向く（又は代替的に仮想上部ラウドスピーカ位置１０２に向かう）、すなわち１０２が聴取者１００の真上になる。

・下部ラウドスピーカ層がある場合の下方向についても同様である。

・高さ層がなく、水平層の上でパンニングしたい場合、振幅パンニングベクトルが消える（水平方向バイアスなし）ように、ラウドスピーカにゲインが適用される。より単純には、聴取者における信号振幅又は電力が各上部／下部レンダリングラウドスピーカについて同じになるように、ラウドスピーカにゲイン５４を適用することができる。

・下部ラウドスピーカ層がない場合の下方向についても同様である。

以下では、さらなる詳細を使用してイコライザ（又はスペクトル整形器）５８をさらに例示する。聴取者１００が水平面内で音源を位置特定することを可能にする主なキューは、左右の耳入力信号の差（両耳間時間差（ＩＴＤ）及び両耳間レベル差（ＩＬＤ））である。音源の垂直位置を推定するための主なキューは、聴取者の頭部、胴体、及び耳介によって生成される反射によるスペクトル変動である。そのようなキューは、上記の説明では心理音響キューと呼ばれるモノラルキュー（ＭＣ）と呼ばれることが多い。

各個人の固有の身体特徴及び考慮される入射方向に起因して発生する特定のＩＬＤ、ＩＴＤ、及びＭＣは、一般に、頭部伝達関数（ＨＲＴＦ）という用語の下でまとめられる。特に、ＭＣは高度に個別的である。それでも、一般に高さ知覚に影響を及ぼすいくつかの共通の特徴がある。

１つの方向から受信される特定のソース信号の周波数コンテンツを整形することによって、このサウンドが実際に同じ錯乱円錐上の異なる仰角及び／又は前後方向から来るという錯覚をサポートすることができる。これは、ＭＣの変更に対応し、イコライザ（ＥＱ）５８の目的である。

仮想上部ラウドスピーカ／下部ラウドスピーカを使用し、これらの信号を等化するという概念の単純だがうまく機能する実装形態は、それぞれ上方向及び下方向に特定の静的ＥＱを使用する。

図１５は、そのようなヒューリスティックに決定された２つのイコライザを例として示しており、又は異なる言い方をすれば、仮想上部スピーカレンダリングのための整形関数６０ａ及び仮想下部スピーカレンダリングのための整形関数６０ｂを示している。これらは、聴取者の上方又は下方の音源を暗示するキューに対応する、測定されたＨＲＴＦデータの分析によって決定されている。多くの対象のＨＲＴＦを考慮し、対象間で過度に変動するスペクトル変化を無視することによってＥＱを決定した。

上方向用のイコライザ６０ａは、通常、１つ又は複数のノッチ及び／又はピークを有する。通常、１ｋＨｚ未満にノッチがあり、より高い周波数に１つ又は複数のピークがある。下方向用のイコライザ６０ｂは、「ボディシャドウイング」の効果があり、全体的に高周波が減衰される。言い換えれば、関数６０ａにより、第２の部分ラウドスピーカ信号３４は、オーディオ入力信号１８に対して、２００Ｈｚから１０００Ｈｚまでのノッチスペクトル範囲１２０で減衰され、ピークスペクトル範囲１２２_１及び１２２_２のうちの１つ又は複数の範囲内で増幅され、ここでは例示的に、１０００ｋＨｚから１０ｋＨｚまでの間にある２つが存在する。関数６０ｂにより、第２の部分ラウドスピーカ信号３４は、少なくとも１つのオーディオ信号に対して、１０００Ｈｚを超えるスペクトル範囲１２４において減衰され、スペクトル範囲１２４内のスペクトル部分範囲１２６内の減衰が低減され、この部分範囲は５ｋＨｚから１０ｋＨｚの間に位置する。さらに、図１５に示す関数６０ｂは、５００Ｈｚ～１ｋＨｚのスペクトル範囲１２８内の信号３４の増幅をもたらし得る。当然ながら、範囲及び例は変更されてもよい。

聴取者に到達する音響信号の有効な全体スペクトルは、部分的に非ＥＱ’ｅｄ信号（層内の振幅パンニング）２８によって、及び部分的にＥＱ’ｅｄ信号（仮想上部／下部からの信号）３４によって決定される。したがって、有効な全体的なＥＱは、単位及び上部／下部ＥＱ６０ａ／６０ｂの線形結合である。このようにして、聴取者のＥＱｉｎｇは、音源１０４が上部位置に向かって（又はそれに対応して下部位置に向かって）移動するにつれて徐々にフェードしていく。

ＥＱｉｎｇの量のこのような連続的なフェード／変化は、人間の聴覚システムが受信信号のスペクトルの変化を使用してそのロケーションを判断できるため、特に有益である。特に追跡されるシナリオでは、この変化を使用して、特定のスペクトル特徴が実際の信号の特性である天候、又は聴取者が移動している間の変化を区別することができ、ソースロケーションに関連する特徴として解釈することができる。

要約すると、上昇又は下降した高さのサウンド（上部及び下部）の再生を伴うオブジェクトベースのオーディオ又はマルチチャネルオーディオの再生が可能になる。任意のラウドスピーカセットアップでの入力オーディオ信号（上昇したラウドスピーカ層又は下のラウドスピーカ層での再生を目的としたサウンドを特徴とする）の再生が可能である。ここで、「ラウドスピーカセットアップ」には、サウンドバー、ラウドスピーカ内蔵ＴＶ、ブームボックス、サウンドプレート、ラウドスピーカアレイ、スマートスピーカなどのデバイス及びトポロジも含まれる。ラウドスピーカ層を高くしたり低くしたりする必要はない。したがって、ほぼすべての任意のラウドスピーカセットアップ（上昇又は下降したラウドスピーカがない場合であっても）における上又は下のサウンドの知覚効果が可能になる。

実施形態は、計算上効率的であり、その結果、（変化する）聴取者の位置が再生システムによって知られている、及び／又は（常に）追跡されるシナリオでも有益に使用することができる。

実施形態は、チャネルベースのオーディオ、オブジェクトベースのオーディオ、及びシーンベースのオーディオ（例えば、アンビソニックス）入力フォーマット信号に使用することができる。

ＨＲＴＦベースのレンダリング方法と比較して、実施形態は、すべての可能な方向の特定のオブジェクト位置に対して詳細な特定のバイノーラルキューをシミュレートすることを目的としていない（広範囲にわたって達成することは困難であり得る）ことを強調する。代わりに、１つの特定の位置／方向で聴取者の上方又は下方の音源（すなわち、上方又は下方に仮想ソースを生成する）の知覚を引き起こすキューの良好なシミュレーションが生成される。したがって、それらの２方向（上部／下部１０２）の知覚を非常に良好／説得力のある方法で模倣しようとする。選択されたこれら２つの特定の方向の利点は、スペクトルキューに加えて、他の２つの支配的な空間オーディオキュー（すなわち、ＩＴＤ及びＩＬＤ）が最小であることである。理論的には、聴取者の完全に上又は下の音源ではＩＴＤもＩＬＤも発生しない、すなわち、水平方向の粒子速度は音源からの直接のサウンドではゼロに近い。したがって、水平及び垂直のパンニングによる、潜在的に上部／下部スピーカ１０２を仮想的にレンダリングする２段階アプローチは、安定しており、高精度につながる。

以下では、仮想ラウドスピーカの再生のために複数のラウドスピーカのラウドスピーカをラウドスピーカセット又は層に自動的に割り当てることができるいくつかのさらなる選択基準例について説明する。

〇セット／層のラウドスピーカを選択するための基準：
・好ましくは聴取者の周りを３６０度パンニングできるように、すべての層を選択する。

〇仮想高さチャネルの再生のためのラウドスピーカの選択：
・複数のラウドスピーカを使用する。

１）好ましくは、既に上昇位置にあるラウドスピーカを選択する
２）１）を考慮して、聴取者を取り囲むアレイを達成するために（さらなる）ラウドスピーカを選択する
・選択されたラウドスピーカは、聴取者位置で生成された音場が水平方向にゼロ又は小さい粒子速度を有するように、仮想高さチャネルの信号を再生できることを可能な限り良好にする必要がある。

・複数の適切なラウドスピーカが利用可能である場合、それらのすべてを使用することができるか、又は選択手順は以下のとおりであり得る。

・可能であれば、聴取者の周りで対称的に（理想的には可能な限り（回転対称）に）ラウドスピーカを選択する。

・意図された仮想高さ源の所望の高さ位置に向かって既に上昇した位置（上又は下）に配置されているラウドスピーカが利用可能である場合
・ラウドスピーカの仰角は可能な限り大きくなければならず、すなわち、常に最大の仰角（可能な限り垂直）を有するラウドスピーカを選択する。

〇理想的には、上記の基準を満たすようにできる限り少ないラウドスピーカを選択する。

〇当然ながら、ラウドスピーカは、ユーザが「手動で」選択／割り当てることもできる。

（場合によっては適応的な）レンダリングのための可能な入力パラメータ：
〇聴取者位置からラウドスピーカまでの角度（方位角及び仰角）
・これは、すべてのラウドスピーカが等しく遠く離れており、聴取位置で同様のレベルを生成すると仮定している。

・それらが等しく遠く離れていない場合、レベル及び／又は遅延は、聴取者の位置に等しいレベル／到着時間を達成するようにバランスをとることができる。

〇聴取者が追跡されるシナリオでは、角度に加えて各ラウドスピーカまでの距離も必要であり、その結果、レベル及び／又は遅延を適応させることができる。

・追跡されるシナリオにおけるそのようなレベル及び遅延適応はまた、仮想高さ信号の再生のための上述の「水平方向の小粒子速度」基準を達成するために有益であり得る。

結論として、本明細書に記載の実施形態は、本明細書に記載の重要な点又は態様のいずれかによって任意に補足することができる。しかしながら、本明細書に記載された重要な点及び態様は、個別に又は組み合わせて使用することができ、個別に及び組み合わせて本明細書に記載された実施形態のいずれかに導入することができることに留意されたい。後者の結果として、上記の説明は、とりわけ、複数のラウドスピーカ１４におけるラウドスピーカ信号１２の適用が意図された仮想位置１０４に少なくとも１つのオーディオオブジェクトをレンダリングするように、複数のラウドスピーカ１４のラウドスピーカ信号１２を生成するための装置を含み、装置は、少なくとも１つのオーディオオブジェクトを表すオーディオ入力信号１８を受信するように構成されたインターフェース１６と、意図された仮想位置に応じて、第１の水平層内に配置されるか、又は第１の水平層を形成する複数のラウドスピーカのラウドスピーカの第１のセット２６の第１のパンニングゲイン２４を決定するように構成された第１のパンニングゲイン決定部２２とを備え、第１のパンニングゲイン２４は、少なくとも１つのオーディオ入力信号１８からの第１の部分ラウドスピーカ信号２８の導出を定義し、ラウドスピーカの第１のセット２６上への第１の部分ラウドスピーカ信号２８の適用時の第１の仮想位置１０６における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられた垂直パンニングゲイン決定部３０であって、意図された仮想位置に応じて、第２の水平層内に配置される、又は第２の水平層を形成するように第１の層セットに対して垂直方向にオフセットされているラウドスピーカ第２のセット３６に適用される第１の部分ラウドスピーカ信号２８と第２の部分ラウドスピーカ信号３４との間のパンニングのためのさらなるパンニングゲイン３２を決定するように構成されており、第１の仮想位置１０６と第２の位置１０２との間をパンニングするように第２の位置１０２における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられ、装置は、第１のパンニングゲイン２４及びさらなるパンニングゲイン３２を使用してオーディオ入力信号１８からラウドスピーカ信号１２を合成するように構成されている。意図された仮想位置に応じて、ラウドスピーカの第２のセットの第２のパンニングゲイン５４を決定するように構成された第２のパンニングゲイン決定部５２も備えられ、第２のパンニングゲイン５４は、少なくとも１つのオーディオ入力信号からの第２の部分ラウドスピーカ信号３４の導出を定義し、装置は、第１のパンニングゲイン及び第２のパンニングゲイン並びにさらなるパンニングゲインを使用してオーディオ入力信号１８からラウドスピーカ信号１２を合成するように構成される。第１のパンニングゲイン及び第２のパンニングゲイン決定部２２、５２は、第１の及び第２の層セットが、複数のラウドスピーカが分配されている水平層の中で、それらの間に垂直な意図された仮想位置１０４を有するように、複数のラウドスピーカのうちのラウドスピーカの第１の及び第２のセット２６、３６を選択するように構成されている。ラウドスピーカの第１のセット２６及びラウドスピーカの第２のセット３６は部分的に重なり合ってもよく、すなわち、一方のラウドスピーカが両方のセット２６及び３６に含まれてもよいことに留意されたい。より正確には、複数のラウドスピーカは、水平層ごとに、その水平層に属するラウドスピーカが聴取者位置を取り囲み、水平に（すなわち、水平投影である）、又は別の言い方をすれば、水平に、聴取者位置の周りを３６０度パンニングすることを可能にするように、水平層に分配されてもよく、この状況を達成するために、例えば、少なくとも１つのペアの水平層がそれらのラウドスピーカのうちの１つ又は複数を共有してもよい。すなわち、水平層の水平度及び垂直方向のオフセットは、少なくとも１つのペアの水平層などについて、１つ又は複数のラウドスピーカがそれぞれ複数の水平層に属する場合がある程度まで抽象化されてもよい。さらに言い換えれば、上記の説明は、とりわけ、複数のラウドスピーカ１４におけるラウドスピーカ信号１２の適用が意図された仮想位置１０４に少なくとも１つのオーディオオブジェクトをレンダリングするように、複数のラウドスピーカ１４のラウドスピーカ信号１２を生成するための装置を含み、複数のラウドスピーカは、１つ又は複数の水平層に分配され、装置は、少なくとも１つのオーディオオブジェクトを表すオーディオ入力信号１８を受信するように構成されたインターフェース１６と、意図された仮想位置に応じて、複数のラウドスピーカのうちのラウドスピーカの第１のセット２６の第１のパンニングゲイン２４を決定し、第１のパンニングゲイン２４を使用して少なくとも１つのオーディオ入力信号１８から第１の部分ラウドスピーカ信号２８を導出するように構成された第１のラウドスピーカ信号セット決定部７０とを備え、ラウドスピーカの第１のセット２６上への第１の部分ラウドスピーカ信号の適用時の第１の仮想位置１０６における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられた第２のラウドスピーカ信号セット決定部７２と、スペクトル整形により、少なくとも１つのオーディオ入力信号１８から第２の部分ラウドスピーカ信号３４を導出するように構成された第２のラウドスピーカ信号セット決定部７２であって、第２の部分ラウドスピーカ信号３４は、第２の部分ラウドスピーカ信号３４のラウドスピーカの第２のセット３６上への適用時の第２の仮想位置１０２における少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられ、第２の仮想位置は、１つ又は複数の水平層の上方又は下方にある、第２のラウドスピーカ信号セット決定部７２と、意図された仮想位置に応じて、第１の仮想位置と第２の仮想位置との間をパンニングするように第１の部分ラウドスピーカ信号のためのさらなるパンニングゲイン３２を決定するように構成された垂直パンニングゲイン決定部３０とを含み、さらなるパンニングゲイン３２を使用して第１の部分ラウドスピーカ信号及び第２の部分ラウドスピーカ信号からラウドスピーカ信号を合成するように構成された合成器４０とを含む。ここでも、ラウドスピーカの第１のセット２６及びラウドスピーカの第２のセット３６は部分的に重なり合ってもよく、すなわち、一方のラウドスピーカが両方のセット２６及び３６に含まれてもよいことに留意されたい。より正確には、複数のラウドスピーカは、各水平層について、その水平層に属するラウドスピーカが聴取者位置を取り囲み、水平に（すなわち、水平投影である）、又は別の言い方をすれば、水平に、聴取者位置の周りを３６０度パンニングすることを可能にするように、水平層上に分配されてもよく、この状況を達成するために、例えば、少なくとも１つのペアの水平層は、それらのラウドスピーカのうちの１つ又は複数を共有してもよい。すなわち、水平層の水平度及び垂直方向のオフセットは、少なくとも１つのペアの水平層などについて、１つ又は複数のラウドスピーカがそれぞれ水平層よりも多くに属する場合がある程度まで抽象化し得る。水平層のうちの最も高いものの上又は最も低いものの下の仮想位置１０２である第２の位置をもたらすために、少なくとも１つのオーディオ信号１８から第２の部分ラウドスピーカ信号３４を導出するためのスペクトル整形５８の使用など、上記及び後続の特許請求の範囲で述べられている他のすべての変更も実現可能である。

いくつかの態様を装置の文脈で説明してきたが、これらの態様が対応する方法の説明も表すことは明らかであり、デバイス又はその一部は方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明される態様はまた、対応する装置又は装置の一部、又は対応する装置のアイテム又は特徴の説明を表す。方法ステップの一部又はすべては、例えばマイクロプロセッサ、プログラマブルコンピュータ、又は電子回路などのハードウェア装置によって（又は使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの１つ又は複数は、そのような装置によって実行されてもよい。

特定の実装要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで実装することができる。実装は、電子的に読み取り可能な制御信号が格納されたデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリを使用して実行することができ、これらはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働することができる）。したがって、デジタル記憶媒体はコンピュータ可読なものであってもよい。

本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納し得る。

他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。

言い換えれば、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録して含むデータキャリア（又はデジタル記憶媒体、又はコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、又は記録された媒体は、通常、有形及び／又は非一時的である。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成し得る。

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成又は適応された処理手段、例えばコンピュータ又はプログラマブル論理デバイスを含む。

さらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

本発明によるさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信機に転送する（例えば、電子的又は光学的に）ように構成された装置又はシステムを備える。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてもよい。

いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部又はすべてを実行し得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。

本明細書に記載の装置は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組合せを使用して実装され得る。

本明細書に記載の装置、又は本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェア及び／又はソフトウェアで実装されてもよい。

本明細書に記載の方法は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組合せを使用して実行され得る。

本明細書に記載の方法、又は本明細書に記載の方法の任意の部分は、少なくとも部分的にハードウェア及び／又はソフトウェアによって実行されてもよい。

上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載の構成及び詳細の修正及び変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明及び説明として提示された特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図される。

参考文献
［１］ Ａ．Ｂ．Ｓ ａｎｄ Ｓ．Ｍ．Ｒ．Ａｐｐａｒｅｎｔ ｓｏｕｎｄ ｓｏｕｒｃｅ ｔｒａｎｓｌａｔｏｒ．Ｆｅｂｒｕａｒｙ １９６６．ＵＳ Ｐａｔｅｎｔ ３，２３６，９４９

［２］ Ｐｈｉｌｉｐ Ａ Ｎｅｌｓｏｎ，Ｈａｒｅｏ Ｈａｍａｄａ，ａｎｄ Ｓｔｅｐｈｅｎ Ｊ Ｅｌｌｉｏｔｔ．Ａｄａｐｔｉｖｅ ｉｎｖｅｒｓｅ ｆｉｌｔｅｒｓ ｆｏｒ ｓｔｅｒｅｏｐｈｏｎｉｃ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，４０（７）：１６２１－
１６３２，１９９２

［３］ Ｐ．Ａ．Ｎｅｌｓｏｎ ａｎｄ Ｊ．Ｆ．Ｗ．Ｒｏｓｅ．Ｅｒｒｏｒｓ ｉｎ ｔｗｏ－ｐｏｉｎｔ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ．Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ，１１８（１）：１９３，２００５

［４］ Ｔａｋａｓｈｉ Ｔａｋｅｕｃｈｉ ａｎｄ Ｐｈｉｌｉｐ Ａ．Ｎｅｌｓｏｎ．Ｏｐｔｉｍａｌ ｓｏｕｒｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｏｒ ｂｉｎａｕｒａｌ ｓｙｎ－
ｔｈｅｓｉｓ ｏｖｅｒ ｌｏｕｄｓｐｅａｋｅｒｓ．Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ，１１２（６）：２７８６，２００２

［５］ Ｈｉｒｏｎｏｒｉ Ｔｏｋｕｎｏ，Ｏｌｅ Ｋｉｒｋｅｂｙ，Ｐｈｉｌｉｐ Ａ Ｎｅｌｓｏｎ，ａｎｄ Ｈａｒｅｏ Ｈａｍａｄａ．Ｉｎｖｅｒｓｅ ｆｉｌｔｅｒ ｏｆ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｒｅｇｕｌａｒｉｚａｔｉｏｎ．ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｆｕｎｄａｍｅｎ－
ｔａｌｓ ｏｆ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ，８０（５）：８０９－８２０，１９９７

［６］ Ｏｌｅ Ｋｉｒｋｅｂｙ，Ｐｈｉｌｉｐ Ａ．Ｎｅｌｓｏｎ，Ｈａｒｅｏ Ｈａｍａｄａ，ａｎｄ Ｆｅｌｉｐｅ Ｏｒｄｕｎａ－Ｂｕｓｔａｍａｎｔｅ．Ｆａｓｔ ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｏｆ ｍｕｌｔｉｃｈａｎｎｅｌ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｒｅｇｕｌａｒｉｚａｔｉｏｎ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ，６（２）：１８９－１９４，１９９８

［７］ Ｅｄｇａｒ Ｙ Ｃｈｏｕｅｉｒｉ．Ｏｐｔｉｍａｌ ｃｒｏｓｓｔａｌｋ ｃａｎｃｅｌｌａｔｉｏｎ ｆｏｒ ｂｉｎａｕｒａｌ ａｕｄｉｏ ｗｉｔｈ ｔｗｏ ｌｏｕｄ－
ｓｐｅａｋｅｒｓ．Ｐｒｉｎｃｅｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ，ｐａｇｅ ２８，２００８

［８］ Ｂ．Ｂ．Ｂａｕｅｒ．Ｓｔｅｒｅｏｐｈｏｎｉｃ ｅａｒｐｈｏｎｅｓ ａｎｄ ｂｉｎａｕｒａｌ ｌｏｕｄｓｐｅａｋｅｒｓ．Ｊ．Ａｕｄｉｏ Ｅｎｇ．Ｓｏｃ．，９：１４８－１５１，１９６１

［９］ Ｊ．Ｈｕｏｐａｎｉｅｍｉ．Ｖｉｒｔｕａｌ Ａｃｏｕｓｔｉｃｓ ａｎｄ ３Ｄ Ｓｏｕｎｄ ｉｎ Ｍｕｌｔｉｍｅｄｉａ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．
ＰｈＤ ｔｈｅｓｉｓ，Ｌａｂｏｒａｔｏｒｙ ｏｆ Ａｃｏｕｓｔｉｃｓ ａｎｄ Ａｕｄｉｏ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｈｅｌｓｉｎｋｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｆｉｎｌａｎｄ，１９９９．Ｒｅｐ．５３

［１０］ Ｈｙｕｎｋｏｏｋ Ｌｅｅ．Ｓｏｕｎｄ ｓｏｕｒｃｅ ａｎｄ ｌｏｕｄｓｐｅａｋｅｒ ｂａｓｅ ａｎｇｌｅ ｄｅｐｅｎｄｅｎｃｙ ｏｆ ｐｈａｎｔｏｍ ｉｍａｇｅ ｅｌｅｖａｔｉｏｎ ｅｆｆｅｃｔ．Ｊ．Ａｕｄｉｏ Ｅｎｇ．Ｓｏｃ，６５（９）：７３３－７４８，２０１７

［１１］ Ｈｙｕｎｋｏｏｋ Ｌｅｅ，Ｄａｌｅ Ｊｏｈｎｓｏｎ，ａｎｄ Ｍａｋｓｉｍｓ Ｍｉｒｏｎｏｖｓ．Ｖｉｒｔｕａｌ ｈｅｍｉｓｐｈｅｒｉｃａｌ ａｍｐｌｉｔｕｄｅ ｐａｎｎｉｎｇ（ｖｈａｐ）：Ａ ｍｅｔｈｏｄ ｆｏｒ ３ｄ ｐａｎｎｉｎｇ ｗｉｔｈｏｕｔ ｅｌｅｖａｔｅｄ ｌｏｕｄｓｐｅａｋｅｒｓ．Ｉｎ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ １４４，Ｍａｙ ２０１８

［１２］ Ｙｏｕｎｇ Ｗｏｏ Ｌｅｅ ｅｔ ａｌ．，“Ｖｉｒｔｕａｌ Ｈｅｉｇｈｔ Ｓｐｅａｋｅｒ Ｒｅｎｄｅｒｉｎｇ ｆｏｒ Ｓａｍｓｕｎｇ １０．２－ｃｈａｎｎｅｌ Ｖｅｒｔｉｃａｌ Ｓｕｒｒｏｕｎｄ Ｓｙｓｔｅｍ”．Ｉｎ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ １３１，Ｏｃｔｏｂｅｒ ２０１１

［１３］ Ｒｅｉｎｈａｒｄ Ｇｒｅｔｚｋｉ ａｎｄ Ａｎｄｒｅａｓ Ｓｉｌｚｌｅ，“Ａ ｎｅｗ ｍｅｔｈｏｄ ｆｏｒ ｅｌｅｖａｔｉｏｎ ｐａｎｎｉｎｇ ｒｅｄｕｃｉｎｇ ｔｈｅ ｓｉｚｅ ｏｆ ｔｈｅ ｒｅｓｕｌｔｉｎｇ ａｕｄｉｔｏｒｙ ｅｖｅｎｔｓ”，ＴｅｃｎｉＡｃｕｓｔｉｃａ，Ｂｉｌｂａｏ，２００３

［１４］ Ｃｈｒｉｓｔｉａｎ Ｂｏｒｓｓ，“Ａ Ｐｏｌｙｇｏｎ－Ｂａｓｅｄ Ｐａｎｎｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ ３Ｄ Ｌｏｕｄｓｐｅａｋｅｒ Ｓｅｔｕｐｓ，” Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ １３７，Ｏｃｔ，２０１４

［１５］ ＭＰＥＧ－Ｈ Ｓｔａｎｄａｒｄ，ＩＳＯ／ＩＥＣ ２３００８－３：２０１５（Ｅ）．

Claims (46)

1. 複数のラウドスピーカ（１４）におけるラウドスピーカ信号（１２）の適用が少なくとも１つのオーディオオブジェクトを意図された仮想位置（１０４）にレンダリングするように、前記複数のラウドスピーカ（１４）のための前記ラウドスピーカ信号（１２）を生成するための装置であって、前記装置が、
   前記少なくとも１つのオーディオオブジェクトを表すオーディオ入力信号（１８）を受信するように構成されたインターフェース（１６）と、
   前記意図された仮想位置に応じて、１つ又は複数の第１の水平層の第１の層セット内に配置された前記複数のラウドスピーカのうちのラウドスピーカの第１のセット（２６）の第１のパンニングゲイン（２４）を決定するように構成された第１のパンニングゲイン決定部（２２）であって、前記第１のパンニングゲイン（２４）が、前記少なくとも１つのオーディオ入力信号（１８）からの第１の部分ラウドスピーカ信号（２８）の導出を定義し、前記ラウドスピーカの第１のセット（２６）上への前記第１の部分ラウドスピーカ信号（２８）の適用時の第１の仮想位置（１０６）における前記少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられている第１のパンニングゲイン決定部（２２）と、
   前記意図された仮想位置に応じて、前記第１の部分ラウドスピーカ信号（２８）と、前記第１の層セットに対して垂直方向にオフセットされた１つ又は複数のラウドスピーカの第２のセット（３６）に適用されることになる１つ又は複数の第２の部分ラウドスピーカ信号（３４）との間のパンニングのためのさらなるパンニングゲイン（３２）を決定するように構成され、前記第１の仮想位置（１０６）と前記第２の位置（１０２）との間をパンニングするように第２の位置（１０２）における前記少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられた垂直パンニングゲイン決定部（３０）と、を備え
   前記装置が、前記第１のパンニングゲイン（２４）及び前記さらなるパンニングゲイン（３２）を使用して前記オーディオ入力信号（１８）から前記ラウドスピーカ信号（１２）を合成するように構成されている、装置。
2. 前記１つ又は複数のラウドスピーカの第２のセット（３６）が、複数のラウドスピーカを備え、前記１つ又は複数の第２の部分ラウドスピーカ信号（３４）が、複数の第２の部分ラウドスピーカ信号を含み、前記装置が、
   前記意図された仮想位置に応じて、前記ラウドスピーカの第２のセットの第２のパンニングゲイン（５４）を決定するように構成された第２のパンニングゲイン決定部（５２）であって、前記第２のパンニングゲイン（５４）は、前記少なくとも１つのオーディオ入力信号からの前記第２の部分ラウドスピーカ信号（３４）の導出を定義する、第２のパンニングゲイン決定部（５２）と、
   前記装置は、前記第１のパンニングゲイン及び第２のパンニングゲイン並びに前記さらなるパンニングゲインを使用して前記オーディオ入力信号（１８）から前記ラウドスピーカ信号（１２）を合成するように構成されている、請求項１に記載の装置。
3. 前記ラウドスピーカの第２のセット（３６）が、１つ又は複数の水平層からなる第２の層セット内にあり、前記第１の層セット及び第２の層セットが、互いに垂直方向にオフセットされている、
   請求項２に記載の装置。
4. 前記ラウドスピーカの第２のセット（３６）が、１つ又は複数の水平層からなる第２の層セット内にあり、前記第１の層セット及び第２の層セットが、前記意図された仮想位置（１０４）を垂直に挟んで互いに垂直方向にオフセットされている、
   請求項２又は３に記載の装置。
5. 前記ラウドスピーカの第２のセット（３６）が、１つ又は複数の水平層からなる第２の層セット内にあり、前記第１のパンニングゲイン及び第２のパンニングゲイン決定部（２２、５２）が、前記第１の層セット及び第２の層セットが、前記複数のラウドスピーカが分配されている水平層のうち、前記意図された仮想位置（１０４）に垂直に最も近く、前記意図された仮想位置（１０４）を垂直に挟んで互いに垂直方向にオフセットされるように、前記複数のラウドスピーカの前記ラウドスピーカの第１のセット及び第２のセット（２６、３６）を選択するように構成されている、
   請求項２から４のいずれか一項に記載の装置。
6. 前記第１のパンニングゲイン及び第２のパンニングゲイン決定部（２２、５２）が、前記第１の仮想位置（１０６_１）と前記第２の位置（１０６_２）とが垂直投影において一致するように、前記第１のパンニングゲイン及び第２のパンニングゲイン（２４、５４）を導出するように構成されている、請求項２から５のいずれか一項に記載の装置。
7. 前記第２の位置が前記第２の層セットの上方又は下方の仮想位置（１０２）であるように、スペクトル整形（５８）によって前記少なくとも１つのオーディオ信号（１８）から前記第２の部分ラウドスピーカ信号（３４）を導出するようにさらに構成されている、
   請求項２又は３に記載の装置。
8. 前記スペクトル整形（５８）が、前記第２の位置（１０２）からの知覚方向に沿って頭部伝達関数ＨＲＴＦの特性を模倣する、
   請求項７に記載の装置。
9. 前記第２の位置が前記第２の層セットの垂直上方にあるように、かつ前記少なくとも１つのオーディオ入力信号に対して、前記第２の部分ラウドスピーカ信号（３４）が、２００Ｈｚから１０００Ｈｚまでのノッチスペクトル範囲（１２０）で減衰され、１０００ｋＨｚから１０ｋＨｚまでのピークスペクトル範囲（１２２_１、１２２_２）のうちの１つ又は複数の範囲内で増幅されるように、前記スペクトル整形（５８）を実行するように、又は、
   前記第２の位置が前記第２の層セットの垂直下方にあり、前記第２の部分ラウドスピーカ信号（３４）が、前記少なくとも１つのオーディオ信号に対して、１０００Ｈｚより上のスペクトル範囲で減衰するように、前記スペクトル整形を実行するように構成されている、
   請求項７又は８に記載の装置。
10. 前記第２の位置が前記第２の層セットの垂直上方にあるように、かつ前記少なくとも１つのオーディオ入力信号に対して、前記第２の部分ラウドスピーカ信号（３４）が、２００Ｈｚから１０００Ｈｚまでのノッチスペクトル範囲（１２０）で減衰され、１０００ｋＨｚから１０ｋＨｚまでのピークスペクトル範囲（１２２_１、１２２_２）のうちの１つ又は複数の範囲内で増幅されるように、前記スペクトル整形（５８）を実行するように、又は、
    前記第２の位置が前記第２の層セットの垂直下方にあり、前記第２の部分ラウドスピーカ信号（３４）が、前記少なくとも１つのオーディオ信号に対して、１０００Ｈｚより上のスペクトル範囲（１２４）で減衰され、前記スペクトル範囲内のスペクトル部分範囲（１２６）内の減衰が中間的に低減され、５ｋＨｚから１０ｋＨｚの間に位置し、５００Ｈｚから１ｋＨｚの間で増幅される（１２８）ように、前記スペクトル整形を実行するように構成されている、
    請求項７から９のいずれか一項に記載の装置。
11. 前記意図された仮想位置（１０４）が前記第２の層セットの垂直上方にある場合、前記第２の位置を前記第２の層セットの垂直上方になるように位置決めし、前記第２の部分ラウドスピーカ信号が、前記少なくとも１つのオーディオ信号に対して、２００から１０００Ｈｚのノッチスペクトル範囲で減衰され、１０００から１０ｋＨｚの間のピークスペクトル範囲のうちの１つ又は複数の範囲内で増幅されるように、前記スペクトル整形を実行し、
    前記意図された仮想位置が前記第２の層セットの垂直下方にある場合、前記第２の位置を前記第２の層セットの垂直下方に位置させ、前記第２の部分ラウドスピーカ信号が、前記少なくとも１つのオーディオ信号に対して、１０００Ｈｚを超えるスペクトル範囲で減衰されるように、前記スペクトル整形を実行するようにさらに構成されている、
    請求項７から１０のいずれか一項に記載の装置。
12. 前記複数のラウドスピーカ（１４）が、前記ラウドスピーカが水平層に関連付けられるセットアップを形成し、前記装置が、前記意図された仮想位置の変化に応じて、
    前記意図された仮想位置が２つの水平層の間にある場合、
    前記第１の層セットを前記２つの水平層のうちの第１の水平層とし、前記第２の層セットを前記２つの水平層のうちの第２の水平層とするように選択し、前記第１の水平層に関連付けられたラウドスピーカのうちの前記第１のセット（２６）と、前記第２の水平層に関連付けられたラウドスピーカのうちの前記第２のセット（３６）とを選択し、前記第１のパンニングゲイン及び第２のパンニングゲイン決定部（２２、５２）が、前記意図された仮想位置に応じて、前記第１のパンニングゲイン及び第２のパンニングゲインを決定するように構成されており、前記スペクトル整形（５８）が、前記第１の仮想位置が前記第１の水平層内にあり、前記第２の仮想位置が前記第２の水平層内にあるようにオフにされ、
    前記意図された仮想位置が水平層の上方又は下方に向かってすべての水平層に対して垂直方向にオフセットされている場合、
    前記第１の層セット及び前記第２の層セットを、前記意図された仮想位置に最も近い前記水平層の最外層であるように選択し、前記最外層に関連付けられたラウドスピーカのうちの前記第１のセット（２６）及び前記第２のセット（３６）を選択し、前記第１のパンニングゲイン決定部（２２）が、前記第２の位置が、前記意図された仮想位置（１０４）が存在する方向に向かって前記最外層に対して垂直方向にオフセットした仮想位置（１０２）であるように、前記意図された仮想位置に応じて、使用されている前記第１のパンニングゲイン及び前記スペクトル整形（５８）を決定するように構成されている、
    請求項７から１１のいずれか一項に記載の装置。
13. 装置であって、前記意図された仮想位置の変化に応じて、
    前記意図された仮想位置が２つの水平層の間にある場合、
    前記第１のパンニングゲイン及び第２のパンニングゲイン決定部（２２、５２）が、前記意図された仮想位置に応じて、前記第１の仮想位置（１０６_１）と前記第２の位置（１０６_２）とが垂直投影において一致し、前記スペクトル整形（５８）がオフに切り替えられるように前記第１のパンニングゲイン及び第２のパンニングゲインを決定するように構成され、かつ／又は、
    前記意図された仮想位置が水平層の上方又は下方に向かってすべての水平層に対して垂直方向にオフセットされている場合、
    前記第１のパンニングゲイン決定部（２２）が、前記意図された仮想位置に応じて、前記第１の仮想位置（１０６）が垂直投影において前記意図された仮想位置と一致するように前記第１のパンニングゲインを決定するように構成されている、
    請求項１２に記載の装置。
14. 前記複数のラウドスピーカ（１４）が、前記ラウドスピーカが１つ又は複数の水平層に関連付けられるセットアップを形成し、前記装置が、前記１つ又は複数の水平層の数及び前記意図された仮想位置の変化に応じて、
    １つ又は複数の水平層の数が１より大きい場合、
    前記意図された仮想位置が２つの水平層の間にある場合、
    前記第１の層セットを前記２つの水平層のうちの第１の水平層とし、前記第２の層セットを前記２つの水平層のうちの第２の水平層とするように選択し、前記第１の水平層に関連付けられたラウドスピーカのうちの前記第１のセット（２６）と、前記第２の水平層に関連付けられたラウドスピーカのうちの前記第２のセット（３６）とを選択し、前記第１のパンニングゲイン及び第２のパンニングゲイン決定部（２２、５２）が、前記意図された仮想位置に応じて、前記第１のパンニングゲイン及び第２のパンニングゲインを決定するように構成されており、前記スペクトル整形（５８）が、前記第１の仮想位置が前記第１の水平層内にあり、前記第２の仮想位置が前記第２の水平層内にあるようにオフにされ、
    前記意図された仮想位置が水平層の上方又は下方に向かってすべての水平層に対して垂直方向にオフセットされている場合、
    前記意図された仮想位置に最も近い前記水平層の最外層であるように前記第１の層セット及び前記第２の層セットを選択し、前記最外層に関連付けられたラウドスピーカのうちの前記第１のセット（２６）及び前記第２のセット（３６）を選択し、前記第１のパンニングゲイン決定部（２２）が、前記意図された仮想位置に応じて、前記第１のパンニングゲイン及び前記スペクトル整形（５８）が使用されることを決定するように構成され、その結果、前記第２の位置が、前記意図された仮想位置（１０４）がある方向に向かって前記最外層に対して垂直方向にオフセットした仮想位置（１０２）であり、
    １つ又は複数の水平層の数が１である場合、
    前記意図された仮想位置が前記１つの水平層内にある場合、
    純粋に前記第１の部分ラウドスピーカ信号から前記ラウドスピーカ信号（１２）を合成し、
    前記意図された仮想位置が前記１つの水平層に対して垂直方向にオフセットされている場合、
    前記第１の層セット及び前記第２の層セットを前記一方の水平層になるように選択し、前記一方の水平層に関連付けられたラウドスピーカから前記第１のセット（２６）及び前記第２のセット（３６）を選択し、前記第１のパンニングゲイン決定部（２２）が、前記意図された仮想位置に応じて、前記第１のパンニングゲイン及び前記スペクトル整形（５８）が使用されることを決定するように構成され、その結果、前記第２の位置が、前記意図された仮想位置（１０４）がある方向に向かって前記一方の水平層に対して垂直方向にオフセットされた仮想位置（１０２）である、
    請求項７から１３のいずれか一項に記載の装置。
15. 装置であって、前記１つ又は複数の水平層の数及び前記意図された仮想位置の変化に応じて、
    １つ又は複数の水平層の数が１より大きい場合、
    前記意図された仮想位置が２つの水平層の間にある場合、
    前記第１のパンニングゲイン及び第２のパンニングゲイン決定部（２２、５２）は、前記意図された仮想位置に応じて、前記第１の仮想位置（１０６_１）と前記第２の位置（１０６_２）とが垂直投影で一致するように前記第１のパンニングゲイン及び第２のパンニングゲインを決定するように構成されており、かつ／又は、
    前記意図された仮想位置が水平層の上方又は下方に向かってすべての水平層に対して垂直方向にオフセットされている場合、
    前記第１のパンニングゲイン決定部（２２）は、前記意図された仮想位置に応じて、前記第１の仮想位置（１０６）が垂直投影において前記意図された仮想位置と一致するように前記第１のパンニングゲインを決定するように構成されており、かつ／又は、
    １つ又は複数の水平層の数が１である場合、
    前記意図された仮想位置が前記１つの水平層に対して垂直方向にオフセットされている場合、
    前記第１のパンニングゲイン決定部（２２）は、前記意図された仮想位置に応じて、前記第１の仮想位置（１０６）が垂直投影において前記意図された仮想位置と一致するように前記第１のパンニングゲインを決定するように構成されている、請求項１４に記載の装置。
16. 前記ラウドスピーカの第１のセット（２６）は、前記１つ又は複数のラウドスピーカの第２のセット（３６）に含まれ、かつ／又は、
    前記１つ又は複数のラウドスピーカの第２のセット（３６）は前記ラウドスピーカの第１のセット（２６）に含まれ、かつ／又は、
    前記ラウドスピーカの第１のセット（２６）と前記１つ又は複数のラウドスピーカの第２のセット（３６）とは一致し、かつ／又は、
    前記ラウドスピーカの第１のセット（２６）及び前記１つ又は複数のラウドスピーカの第２のセット（３６）は部分的に重なり合い、かつ／又は、
    前記ラウドスピーカの第１のセット（２６）及び前記１つ又は複数のラウドスピーカの第２のセット（３６）は分離したセットである、
    請求項１から１５のいずれか一項に記載の装置。
17. 前記意図された仮想位置の水平成分に応じて、又は前記意図された仮想位置の水平成分及び前記意図された仮想位置の垂直成分に応じて、前記複数のラウドスピーカの中から前記ラウドスピーカの第１のセット（２６）を選択するように構成されており、かつ／又は、
    前記意図された仮想位置の垂直成分に応じて、又は前記意図された仮想位置の水平成分及び前記意図された仮想位置の垂直成分に応じて、前記複数のラウドスピーカのうちの前記１つ又は複数のラウドスピーカの第２のセット（３６）を選択するように構成されている、
    請求項１から１６のいずれか一項に記載の装置。
18. 前記１つ又は複数のラウドスピーカの第２のセットが、前記第２の位置又は前記第２の位置を水平に取り囲み、前記ラウドスピーカの第１のセット間に水平に配置された１つ又は複数のラウドスピーカを備える、請求項１から１７のいずれか一項に記載の装置。
19. 前記第１のパンニングゲイン決定部及び／又は第２のパンニングゲイン決定部（２２、５２）が、聴取者の位置にさらに応じて前記第１のパンニングゲイン及び／又は第２のパンニングゲイン（２４、５４）を決定するように構成されている、
    請求項１から１８のいずれか一項に記載の装置。
20. 前記複数のラウドスピーカが、１つ又は複数のラウドスピーカアレイ、１つ又は複数のサウンドバー、１つ又は複数のスマートスピーカ、１つ又は複数のステレオスピーカ、１つ又は複数のサラウンドサウンドセットアップ、又は個別のラウドスピーカの１つ又は複数のセットのうちのいずれか１つ、又はそれらの組合せを指す、
    請求項１から１９のいずれか一項に記載の装置。
21. 前記オーディオ入力信号が、チャネルベースのオーディオ信号、オブジェクトベースオーディオ信号、及び／又はシーンベースのオーディオ信号のうちの１つである、
    請求項１から２０のいずれか一項に記載の装置。
22. 前記オーディオ入力信号から前記意図された仮想位置を導出するように構成された、
    請求項１から２１のいずれか一項に記載の装置。
23. 前記パンニングゲインが振幅パンニングゲインである、
    請求項１から２２のいずれか一項に記載の装置。
24. 前記オーディオ入力信号が、信号固有ラウドスピーカ位置の各々についてオーディオ信号を定義するチャネルベースのオーディオ信号であり、
    前記装置が、前記信号固有ラウドスピーカ位置についての前記オーディオ信号のうちの１つ又は複数（又は全部）の選択の各々を、前記少なくとも１つのオーディオオブジェクトのうちの１つとして扱うように構成されている、
    請求項１から２３のいずれか一項に記載の装置。
25. それぞれのオーディオ信号のラウドスピーカ位置から１つのオーディオオブジェクトの意図された仮想位置を導出するようにさらに構成されている、
    請求項２４に記載の装置。
26. 前記１つのオーディオオブジェクトの前記意図された仮想位置が、前記信号固有ラウドスピーカ位置の間の相互の位置関係が維持されるように、前記それぞれのオーディオ信号の前記ラウドスピーカ位置から導出されるように構成されている、
    請求項２５に記載の装置。
27. 前記オーディオ入力信号が、１つ又は複数のレンダリング可能なオーディオオブジェクトを定義するオブジェクトベースオーディオ信号であり、
    前記装置が、前記少なくとも１つのオーディオオブジェクトのうちの１つとして、前記１つ又は複数のレンダリング可能なオーディオオブジェクトのうちの１つ又は複数（又は全部）の選択を使用するように構成されている、
    請求項１から２６のいずれか一項に記載の装置。
28. ラウドスピーカ位置に関する前記複数のラウドスピーカの変化に関する情報を受信し、前記ラウドスピーカ信号のその後の生成において前記変化を考慮に入れるように構成され、かつ／又は、
    ラウドスピーカの数に関する前記複数のラウドスピーカの変化に関する情報を受信し、前記ラウドスピーカ信号のその後の生成において前記変化を考慮に入れるように構成されている、
    請求項１から２７のいずれか一項に記載の装置。
29. 複数のラウドスピーカ（１４）におけるラウドスピーカ信号（１２）の適用が、少なくとも１つのオーディオオブジェクトを意図された仮想位置（１０４）にレンダリングするように、前記複数のラウドスピーカ（１４）のための前記ラウドスピーカ信号（１２）を生成するための装置であって、前記複数のラウドスピーカが、１つ又は複数の水平層に分配され、前記装置が、
    前記少なくとも１つのオーディオオブジェクトを表すオーディオ入力信号（１８）を受信するように構成されたインターフェース（１６）と、
    前記意図された仮想位置に応じて、前記複数のラウドスピーカのうちのラウドスピーカの第１のセット（２６）の第１のパンニングゲイン（２４）を決定し、前記第１のパンニングゲイン（２４）を使用して、前記少なくとも１つのオーディオ入力信号（１８）から第１の部分ラウドスピーカ信号（２８）を導出するように構成された第１のラウドスピーカ信号セット決定部（７０）であって、前記第１の部分ラウドスピーカ信号を前記ラウドスピーカの第１のセット（２６）に適用すると、第１の仮想位置（１０６）における前記少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられた第１の部分ラウドスピーカ信号を導出するように構成された第１のラウドスピーカ信号セット決定部（７０）と、
    スペクトル整形によって、前記少なくとも１つのオーディオ入力信号（１８）から第２の部分ラウドスピーカ信号（３４）を導出するように構成された第２のラウドスピーカ信号セット決定部（７２）であって、前記第２の部分ラウドスピーカ信号（３４）が、前記第２の部分ラウドスピーカ信号（３４）がラウドスピーカの第２のセット（３６）に適用されたときの第２の仮想位置（１０２）における前記少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられ、前記第２の仮想位置が前記１つ又は複数の水平層の上方又は下方にある、第２のラウドスピーカ信号セット決定部（７２）と、
    前記意図された仮想位置に応じて、前記第１の仮想位置と前記第２の仮想位置との間をパンニングするように前記第１の部分ラウドスピーカ信号及び前記第２の部分ラウドスピーカ信号のためのさらなるパンニングゲイン（３２）を決定するように構成された垂直パンニングゲイン決定部（３０）と、
    前記さらなるパンニングゲイン（３２）を使用して前記第１の部分ラウドスピーカ信号及び第２の部分ラウドスピーカ信号から前記ラウドスピーカ信号を合成するように構成された合成器（４０）と、を備える、装置。
30. 前記ラウドスピーカの第１のセットが、前記１つ又は複数の水平層のうち、前記意図された仮想位置に垂直方向に最も近い１つ又は複数の水平層内にある、
    請求項２９に記載の装置。
31. 前記第１のラウドスピーカ信号セット決定部（７０）が、前記ラウドスピーカの第１のセットが、前記１つ又は複数の水平層のうちの、前記意図された仮想位置に垂直方向に最も近い１つ又は複数の水平層内にあるように、前記複数のラウドスピーカのうちの前記ラウドスピーカの第１のセット（２６）を選択するように構成されている、
    請求項２９又は３０に記載の装置。
32. 前記第１のラウドスピーカ信号セット決定部（７０）が、前記ラウドスピーカの第１のセットが１つの水平層内にあり、前記１つの水平層内の前記ラウドスピーカの第１のセットの位置にさらに応じて前記第１のパンニングゲインを決定するように構成されている、
    請求項２９又は３０に記載の装置。
33. 前記第１のラウドスピーカ信号セット決定部（７０）が、前記第１の仮想位置が前記第１のラウドスピーカセットの位置の間にあるように、前記第１のパンニングゲインが純粋な振幅パンニングを実施するように構成されている、
    請求項２９から３２のいずれか一項に記載の装置。
34. 前記第１のラウドスピーカ信号セット決定部（７０）が、聴取者の位置にさらに応じて前記第１のパンニングゲインを決定するように構成されている、
    請求項２９から３３のいずれか一項に記載の装置。
35. 前記第２のラウドスピーカ信号セット決定部（７２）が、前記スペクトル整形が、前記第２の仮想位置からの知覚方向に沿って頭部伝達関数ＨＲＴＦの特性を模倣するように構成されている、
    請求項２９から３４のいずれか一項に記載の装置。
36. 前記第２のラウドスピーカ信号セット決定部（７２）が、前記少なくとも１つのオーディオ信号から前記第２の部分ラウドスピーカ信号を導出するように構成され、
    そのため、前記第２の部分ラウドスピーカ信号が、前記第２の部分ラウドスピーカ信号のすべてについて等しい振幅ゲイン係数を使用して前記少なくとも１つのオーディオ信号から、又は、
    前記ラウドスピーカの第２のセット間の水平中心位置又はスイートスポット位置に対応するパンニングゲインを使用してパンニングすることによって、又は、
    垂直投影に沿った聴取者位置と一致する水平位置に対応するパンニングゲインによって生成される、
    請求項２９から３５のいずれか一項に記載の装置。
37. 前記ラウドスピーカの第１のセットが前記ラウドスピーカの第２のセットに含まれ、かつ／又は、
    前記ラウドスピーカの第２のセット（３６）が前記ラウドスピーカの第１のセット（２６）に含まれ、かつ／又は、
    前記ラウドスピーカの第１のセットと前記ラウドスピーカの第２のセットとが一致し、かつ／又は、
    前記ラウドスピーカの第１のセット（２６）と前記ラウドスピーカの第２のセット（３６）とは部分的に重なり合い、かつ／又は、
    前記ラウドスピーカの第１のセットと前記ラウドスピーカの第２のセットとは互いに排他的である、
    請求項２９から３６のいずれか一項に記載の装置。
38. 前記意図された仮想位置の水平成分に応じて、又は前記意図された仮想位置の水平成分及び前記意図された仮想位置の垂直成分に応じて、前記複数のラウドスピーカの中から前記ラウドスピーカの第１のセット（２６）を選択するように構成されており、かつ／又は、
    前記意図された仮想位置の垂直成分に応じて、又は前記意図された仮想位置の前記水平成分及び前記意図された仮想位置の前記垂直成分に応じて、前記複数のラウドスピーカのうちの前記ラウドスピーカの第２のセット（３６）を選択するように構成されている、
    請求項２９から３７のいずれか一項に記載の装置。
39. 前記第２のラウドスピーカ信号セット決定部（７２）が、前記第２の仮想位置が前記１つ又は複数の水平層の垂直上方にあるように、かつ前記第２の部分ラウドスピーカ信号が、前記少なくとも１つのオーディオ信号に対して、２００から１０００Ｈｚのノッチスペクトル範囲で減衰し、１０００から１０ｋＨｚのピークスペクトル範囲のうちの１つ又は複数の範囲内で増幅されるように、前記スペクトル整形を実行するように構成され、又は、
    前記第２のラウドスピーカ信号セット決定部（７２）が、前記第２の仮想位置が前記１つ又は複数の水平層の垂直下方にあるように、かつ前記第２の部分ラウドスピーカ信号が、前記少なくとも１つのオーディオ信号に対して、１０００Ｈｚを超えるスペクトル範囲で減衰するように、前記スペクトル整形を実行するように構成されている、
    請求項２９から３８のいずれか一項に記載の装置。
40. 前記第２のラウドスピーカ信号セット決定部（７２）が、前記第２の仮想位置が前記１つ又は複数の水平層の垂直上方にあるように、かつ前記第２の部分ラウドスピーカ信号が、前記少なくとも１つのオーディオ信号に対して、２００から１０００Ｈｚのノッチスペクトル範囲で減衰し、１０００から１０ｋＨｚのピークスペクトル範囲のうちの１つ又は複数の範囲内で増幅されるように、前記スペクトル整形を実行するように構成され、又は、
    前記第２のラウドスピーカ信号セット決定部（７２）が、前記第２の仮想位置が前記１つ又は複数の水平層の垂直下方にあるように、かつ前記第２の部分ラウドスピーカ信号が、前記少なくとも１つのオーディオ信号に対して、１０００Ｈｚを超えるスペクトル範囲で減衰し、前記スペクトル範囲内のスペクトル部分範囲内の減衰が中間的に低減され、５ｋＨｚから１０ｋＨｚの間に位置し、５００Ｈｚから１ｋＨｚの間で増幅されるように、前記スペクトル整形を実行するように構成されている、
    請求項２９から３９のいずれか一項に記載の装置。
41. 前記第２のラウドスピーカ信号セット決定部（７２）が、
    前記意図された仮想位置が前記１つ又は複数の水平層の垂直上方にある場合、前記１つ又は複数の水平層の垂直上方になるように前記第２の仮想位置を位置決めし、前記第２の部分ラウドスピーカ信号が、前記少なくとも１つのオーディオ信号に対して、２００から１０００Ｈｚのノッチスペクトル範囲で減衰され、１０００から１０ｋＨｚの間のピークスペクトル範囲で１つ又は複数内で増幅されるように、前記スペクトル整形を実行し、
    前記意図された仮想位置が前記１つ又は複数の水平層の垂直下方にある場合、前記第２の仮想位置を前記１つ又は複数の水平層の垂直下方に位置させ、前記第２の部分ラウドスピーカ信号が、前記少なくとも１つのオーディオ信号に対して、１０００Ｈｚを超えるスペクトル範囲で減衰するように、前記スペクトル整形を実行するようにさらに構成されている、
    請求項２９から４０のいずれか一項に記載の装置。
42. 前記合成器が、前記１つ又は複数の層内又は前記１つ又は複数の層間の垂直方向の層内位置から、前記１つ又は複数の水平層から垂直方向にオフセットした位置への前記意図された仮想位置の変化に応じるように構成されており、
    前記さらなるパンニングゲインが前記第１の仮想位置から前記第２の仮想位置に向かってパンニングするように、純粋に前記第１の部分ラウドスピーカ信号から前記ラウドスピーカ信号を合成することからフェードして、前記第１の部分ラウドスピーカ信号及び第２の部分ラウドスピーカ信号から前記ラウドスピーカ信号を合成するように前記さらなるパンニングゲインを制御すること、を含む、
    請求項２９から４１のいずれか一項に記載の装置。
43. システムであって、
    複数のラウドスピーカと、
    請求項１から４２のいずれか一項に記載の装置と、
    を備える、システム。
44. 複数のラウドスピーカ（１４）におけるラウドスピーカ信号（１２）の適用が少なくとも１つのオーディオオブジェクトを意図された仮想位置（１０４）にレンダリングするように、前記複数のラウドスピーカ（１４）に対する前記ラウドスピーカ信号（１２）を生成するための方法であって、
    前記少なくとも１つのオーディオオブジェクトを表すオーディオ入力信号（１８）を受信することと、
    前記意図された仮想位置に応じて、１つ又は複数の第１の水平層の第１の層セット内に配置された前記複数のラウドスピーカのうちのラウドスピーカの第１のセット（２６）の第１のパンニングゲイン（２４）を決定することであって、前記第１のパンニングゲイン（２４）が、前記ラウドスピーカの第１のセット（２６）への前記第１の部分ラウドスピーカ信号（２８）の適用時の第１の仮想位置（１０６）における前記少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられ前記少なくとも１つのオーディオ入力信号（１８）からの第１の部分ラウドスピーカ信号（２８）の導出を定義する、前記第１のパンニングゲイン（２４）を決定することと、
    前記意図された仮想位置に応じて、前記第１の部分ラウドスピーカ信号（２８）と、１つ又は複数のラウドスピーカのうちの第２のセット（３６）に適用される１つ又は複数の第２の部分ラウドスピーカ信号（３４）との間のパンニングのためのさらなるパンニングゲイン（３２）を決定することであって、前記第２の部分ラウドスピーカ信号が、前記第１の層セットに対して垂直方向にオフセットされており、前記第１の仮想位置（１０６）と前記第２の位置（１０２）との間をパンニングするように、第２の位置（１０２）における前記少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられている、前記さらなるパンニングゲイン（３２）を決定することと、
    前記第１のパンニングゲイン（２４）及び前記さらなるパンニングゲイン（３２）を使用して前記オーディオ入力信号（１８）から前記ラウドスピーカ信号（１２）を合成することと、を含む、方法。
45. 複数のラウドスピーカ（１４）におけるラウドスピーカ信号（１２）の適用が、少なくとも１つのオーディオオブジェクトを意図された仮想位置（１０４）にレンダリングするように、前記複数のラウドスピーカ（１４）に対する前記ラウドスピーカ信号（１２）を生成するための方法であって、前記複数のラウドスピーカが、１つ又は複数の水平層に分配され、前記方法が、
    前記少なくとも１つのオーディオオブジェクトを表すオーディオ入力信号（１８）を受信することと、
    前記意図された仮想位置に応じて、前記複数のラウドスピーカのうちの第ラウドスピーカの第１のセット（２６）の第１のパンニングゲイン（２４）を決定することであって、前記第１のパンニングゲイン（２４）を使用して、前記少なくとも１つのオーディオ入力信号（１８）から第１の部分ラウドスピーカ信号（２８）を導出し、前記第１の部分ラウドスピーカ信号が、前記ラウドスピーカの第１のセット（２６）への前記第１の部分ラウドスピーカ信号の適用時の第１の仮想位置（１０６）における前記少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられる、前記第１のパンニングゲイン（２４）を決定することと、
    スペクトル整形によって、前記少なくとも１つのオーディオ入力信号（１８）から第２の部分ラウドスピーカ信号（３４）を導出することであって、前記第２の部分ラウドスピーカ信号（３４）が、前記第２の部分ラウドスピーカ信号（３４）をラウドスピーカの第２のセット（３６）に適用したときの第２の仮想位置（１０２）における前記少なくとも１つのオーディオオブジェクトのレンダリングに関連付けられ、前記第２の仮想位置が、前記１つ又は複数の水平層の上方又は下方にある、導出することと、
    前記意図された仮想位置に応じて、前記第１の仮想位置と前記第２の仮想位置との間をパンニングするように、前記第１の部分ラウドスピーカ信号及び前記第２の部分ラウドスピーカ信号のためのさらなるパンニングゲイン（３２）を決定することと、
    前記さらなるパンニングゲイン（３２）を使用して前記第１の部分ラウドスピーカ信号及び第２の部分ラウドスピーカ信号から前記ラウドスピーカ信号を合成することと、を含む、方法。
46. コンピュータ上で実行されると、請求項４４又は４５に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムが格納された、コンピュータ可読デジタル記憶媒体。
    
    

Images