JP5740531B2 - オブジェクトベースオーディオのアップミキシング - Google Patents

Description

［関連出願の相互参照］
本出願は、２０１１年７月１日に出願の米国仮出願第６１／５０４，００５号および２０１２年４月２０日に出願の米国仮出願第６１／６３５，９３０号の優先権を主張する。これらの全ては、全ての目的に対して全体にわたって、参照援用する。

本発明は、オブジェクトベースオーディオ（すなわち、オブジェクトベースのオーディオプログラムを表すオーディオデータ）をアップミックス（またはオブジェクトベースオーディオにより決定されるオーディオオブジェクト軌跡を修正）し、複数のスピーカーフィードを生成することができる修正済データ（すなわち、オーディオプログラムの修正バージョンを表すデータ）を生成するシステムおよび方法に関する。いくつかの実施形態では、本発明は、オブジェクトベースオーディオのアップミキシングを実行することを含む、オブジェクトベースオーディオのレンダリングをして、ラウドスピーカーのセットを駆動するためのスピーカーフィードを生成するシステムおよび方法である。。

従来のチャネルベースのオーディオエンコーダは、典型的には、各オーディオプログラム（すなわちエンコーダによる出力）がリスナーに対して所定の位置にあるラウドスピーカーのアレイによって再生される、という仮定の下で動作する。プログラムの各チャネルは、スピーカーチャネルである。このタイプのオーディオ符号化は、一般にチャネルベースのオーディオ符号化と呼ばれる。

別のタイプのオーディオエンコーダ（オブジェクトベースのオーディオエンコーダとして知られている）は、オーディオオブジェクト符号化（またはオブジェクトベースの符号化）として知られている代替的タイプのオーディオ符号化を実現し、各オーディオプログラム（すなわちエンコーダによる出力）が多数の異なるラウドスピーカーアレイのいずれかによって再生のためにレンダリングされ得るという仮定の下で動作する。このようなエンコーダによる各オーディオプログラム出力は、オブジェクトベースのオーディオプログラムであり、典型的には、このようなオブジェクトベースのオーディオプログラムの各チャネルはオブジェクトチャネルである。オーディオオブジェクト符号化においては、互いに異なる音源（オーディオオブジェクト）に関係するオーディオ信号が、分離したオーディオストリームとしてエンコーダに入力される。オーディオオブジェクトの例としては、（これらに限らないが）ダイアログトラック、単一の楽器、およびジェット機が挙げられる。各オーディオオブジェクトは、空間パラメータと関係しており、それらは（これらに限らないが）音源位置、音源幅、および音源速度および／または軌跡を含むことができる。オーディオオブジェクトおよび関係するパラメータは、配給および記憶のために符号化される。最終的なオーディオオブジェクトミキシングおよびレンダリングは、オーディオプログラム再生の一部として、オーディオ記憶および／または配給チェーンの受け取り側で、実行される。オーディオオブジェクトミキシングおよびレンダリングのステップは、典型的には、プログラムを再生するために使用されるラウドスピーカーの実際の位置についての知識に基づく。

典型的には、オブジェクトベースのオーディオプログラムを生成する間に、コンテンツ作成者は、ミックスの空間的意図（例えば、プログラムの各オブジェクトチャネルにより決定される各オーディオオブジェクトの軌跡）を、メタデータをプログラムに含むことによって埋め込む。メタデータは、プログラムの各オブジェクトチャネルおよび／または各オブジェクトのサイズ、速度、タイプ（例えば、ダイアログまたは音楽）および別の特性のうちの少なくとも１つにより決定される各オーディオオブジェクトの位置または軌跡を表すことができる。

オブジェクトベースのオーディオプログラムをレンダリングする間に、各オブジェクトチャネルは、チャネルのコンテンツを表すスピーカーフィードを生成することにより、そしてスピーカーフィードを１セットのラウドスピーカーに（ラウドスピーカーの各々の物理位置がいかなる時点においても所望の位置と一致する場合もあり、一致しない場合もあるが）印加することにより、（所望の軌跡を有し時間的に変化する位置「で」）レンダリングすることができる。１セットのラウドスピーカーについてのスピーカーフィードは、複数のオブジェクトチャネル（または単一のオブジェクトチャネル）のコンテンツを表すことができる。レンダリングシステムは、典型的には、特定の再生システム（例えば、ホームシアターシステムのスピーカー構成であって、この場合にはレンダリングシステムはホームシアターシステムの一要素でもある）の正確なハードウェア構成と適合するように、スピーカーフィードを生成する。

オブジェクトベースのオーディオプログラムがオーディオオブジェクトの軌跡を表す場合には、レンダリングシステムは、１セットのラウドスピーカーを、上記軌跡を有するオーディオオブジェクトから放射するように知覚されるべく意図された（典型的にはそのように知覚される）音を放射するように駆動するためのスピーカーフィードを典型的に生成する。例えば、プログラムは、楽器（オブジェクト）からの音が左から右に動くべきことを表すことができる。そして、レンダリングシステムは、アレイのＬ（左前）スピーカーからアレイのＣ（正面）スピーカーへ、それからアレイのＲ（右前）スピーカーへ動くように知覚される音を放射するように、ラウドスピーカーの５．１アレイを駆動するためのスピーカーフィードを生成することができる。本明細書では、オーディオオブジェクト（オブジェクトベースのオーディオプログラムによって表される）の「軌跡」は、広義には、プログラムをレンダリングする期間に放射される音がそこから放射すると知覚されるべく意図された、１つまたは複数の位置（例えば、時間の関数としての位置）を意味するために用いられる。このように、軌跡は単一の停留点（または他の位置）から構成されてもよいし、あるいは位置のシーケンスであってもよいし、あるいは時間の関数として変化する点（または他の位置）であってもよい。

しかし、本発明までは、プログラムで指示されたものと異なる軌跡を有する音源を伴う音源から放射すると知覚されるべく意図された音を放射するように、１セットのラウドスピーカーを駆動するためのスピーカーフィードを生成することによって、オブジェクトベースのオーディオプログラム（オーディオ音源の軌跡を表す）をどのようにレンダリングするべきかが、知られていなかった。本発明の典型的な実施形態は、オブジェクトベースのオーディオプログラム（オーディオ音源の軌跡を表す）をレンダリングするための方法およびシステムであり、それらは、プログラムで指示されたものと異なる軌跡を有する音源（例えば、垂直面内の軌跡または３次元的軌跡を有する音源であるが、プログラムは音源の軌跡が水平面内にあることを表す）を伴う音源から放射すると知覚されるべく意図された音を放射するように、１セットのラウドスピーカーを駆動するためのスピーカーフィードを効率的に生成することを含む。

チャネルベースのオーディオ符号化を用いるシステムでは、オーディオプログラムをレンダリングするための多くの従来の方法がある。例えば、従来のアップミキシング技術は、完全な３次元体積の部分空間内の軌跡（例えば、水平線に沿った軌跡）に沿って動く音源からの音を表すオーディオプログラム（スピーカーチャネルを含む）をレンダリングすることを通じて実行され、この部分空間の外側に配置されるスピーカーを駆動するためのスピーカーフィードを生成することができる。このようなアップミキシング技術は、レンダリングされるプログラムに含まれる位相および振幅の情報に基づくが、この情報が意図的に符号化されたのか（この場合、アップミキシングはステアリングを伴うマトリックス符号化／復号化により実現され得る）、あるいは当然にプログラムのスピーカーチャネルに含まれているのか（この場合、アップミキシングはブラインドアップミキシングである）ということには関係しない。

このように、スピーカーチャネルを含むオーディオプログラムに適用されてきた従来の位相／振幅に基づくアップミキシング技術は、以下に示すような多くの限界および不利な点を抱えている：
コンテンツがマトリックス符号化されているかどうかに関わらず、スピーカー間にかなりの量のクロストークが発生する；
ブラインドアップミキシングの場合には、映像に伴って非干渉性の方法で音を動かすリスクが非常に増加するが、このリスクを低下させる典型的方法は、プログラムの無指向性要素（典型的には非相関要素）に見えるものだけをアップミックスすることである；
そして、再生時にしばしば音がつぶれるが、ステアリングロジックを広帯域に制限することによって、あるいは、固有の音（時には「含嗽効果」と呼ばれる）の周波数帯の空間スミアリングを作成するマルチバンドステアリングロジックを適用することによって、アーチファクトがしばしば発生する。

スピーカーチャネルを含むオーディオプログラムを（入力プログラムより多くのスピーカーチャネルを有するアップミックスされたプログラムを生成するために）アップミックスするための従来の位相／振幅に基づく技術を、オブジェクトベースのオーディオプログラムに（アップミキシングなしに入力プログラムから生成し得るよりも多くのラウドスピーカーに対してスピーカーフィードを生成するために）なんとかして適用したとしても、（アップミックスされたプログラムによって表されるオーディオオブジェクトの）知覚される離散性が損失することになるであろうし、および／または上記のタイプのアーチファクトが発生するであろう。このように、上記の欠陥を是正するためのシステムおよび関連する方法が必要となる。

本発明の典型的な実施形態は、オブジェクトベースのオーディオプログラム（オーディオ音源の軌跡を表す）をレンダリングするための方法であって、プログラムで表されたものと異なる軌跡を有する音源（例えば、垂直面内の軌跡または３次元的軌跡を有する音源であるが、プログラムは音源の軌跡が水平面内にあることを表す）を伴う音源から放射すると知覚されるべく意図された音を放射するように、１セットのラウドスピーカーを駆動するためのスピーカーフィードを生成することを含む。オーディオオブジェクト（オブジェクトベースのオーディオプログラムによって表される）の「軌跡」という用語は、本明細書において、広義には、プログラムをレンダリングする期間に放射される音がそこから放射すると知覚されることを意図する、１つまたは複数の位置（例えば、時間の関数としての位置）を意味するために用いられる。このように、軌跡は単一の静止位置から構成されてもよいし、あるいは位置のシーケンスであってもよいし、あるいは時間の関数として変化する点（または他の位置）であってもよい。

いくつかの実施形態では、本発明は、１セットのラウドスピーカーによる再生のためのオブジェクトベースのオーディオプログラムをレンダリングするための方法であって、プログラムはオーディオオブジェクトの軌跡を示し、軌跡は完全な３次元体積の部分空間内にある（例えば、軌跡は体積内の水平面内に限定されるか、または体積内の水平線である）。本方法は、オブジェクトの修正済軌跡を表す修正済プログラムを決定するために（例えば、軌跡を表すプログラムの座標を修正することによって）プログラムを修正するステップであって、修正済軌跡の少なくとも一部は、部分空間の外側（例えば、軌跡が水平線である場合には、修正済軌跡は水平線を含む垂直面内にある経路である）にあるステップと、スピーカーフィードが、その位置が部分空間の外側の位置に対応するセットの少なくとも１つのスピーカーを駆動するための少なくとも１つのスピーカーフィードと、その位置が部分空間内の位置に対応するセットのスピーカーを駆動するためのフィードと、を含むように、スピーカーフィードを、修正済プログラムに応答して、生成するステップとを含む。

他の実施形態では、本発明の方法は、オーディオオブジェクトの軌跡を表すオブジェクトベースのオーディオプログラムを修正するステップを含み、オブジェクトの修正済軌跡を表す修正済プログラムを決定し、軌跡および修正済軌跡の両方が同一空間内で確定される（すなわち、修正済軌跡のいかなる部分も軌跡が延長する空間の外側には延長しない）。例えば、元のプログラムから決定されるスピーカーフィードに応答して放射される音と比較して、修正済プログラムから決定されるスピーカーフィードに応答して放射される音の音質を最適化する（または修正する）ために、軌跡を修正することができる（例えば、元の軌跡でなく、修正済軌跡がシングルエンドのスピーカー「へのスナップ」またはスピーカー「に向かうスナップ」を決定する場合）。

典型的には、オブジェクトベースのオーディオプログラムは（それが本発明に従って修正されなければ）、ラウドスピーカーセットのサブセット（例えば、その位置が完全な３次元体積の部分空間に対応するセットのそれらのスピーカーだけ）を駆動するためのスピーカーフィードだけを生成するようにレンダリングすることができる。例えば、オーディオプログラムは、リスナーの耳を含む水平面内に置かれたセットのスピーカーを駆動するためのスピーカーフィードだけを生成するようにレンダリングすることが可能であり、この場合、部分空間は上記水平面である。本発明のレンダリング方法は、その位置が部分空間の外側の位置に対応するセットのスピーカーを駆動するための少なくとも１つのスピーカーフィードを（修正済プログラムに応答して）生成すること、ならびにその位置が部分空間内の位置に対応するセットのスピーカーを駆動するためのスピーカーフィードを生成することによって、アップミキシングを実行することができる。例えば、本方法の一実施形態は、セットの全てのラウドスピーカーを駆動するための修正済プログラムに応答してスピーカーフィードを生成するステップを含む。このように、この実施形態は、再生システムに存在する全てのスピーカーに影響を及ぼすが、元の（修正されていない）プログラムのレンダリングは再生システムの全てのスピーカーを駆動するためのスピーカーフィードを生成しない。

典型的な実施形態では、本方法は、オブジェクトの修正済軌跡を決定するために、書かれたオブジェクトの軌跡を経時的に変形させるステップであって、オブジェクトの軌跡がオブジェクトベースのオーディオプログラムによって示され、３次元体積の部分空間内にあり、修正済軌跡の少なくとも一部は部分空間の外側にある、ステップと、その位置が部分空間の外側の位置に対応するスピーカーのための少なくとも１つのスピーカーフィード（例えば、部分空間がリスナーに対する仰角がゼロである水平面である場合に、リスナーに対する仰角がゼロでない位置にあるスピーカーのためのスピーカーフィード）を生成するステップと、を含む。例えば、リスナーに対する仰角がゼロである水平面内に軌跡がある場合には、リスナーに対する仰角がゼロでない位置にある（再生システムの）スピーカーのためのスピーカーフィードを生成するために、本方法は、オブジェクトベースのオーディオプログラムによって表されるオーディオオブジェクトの軌跡を変形させるステップを含むことができる。この場合には、元のオーサリングスピーカーシステムのスピーカーのいずれも、コンテンツ作成者に対する仰角がゼロでない位置にはなかった。

いくつかの実施形態では、本発明の方法は、オーディオオブジェクトの軌跡を表すオブジェクトベースのオーディオプログラムを修正する（アップミックスする）ステップを含み、軌跡は完全な３次元体積の部分空間内にあり、（例えば、軌跡を表すプログラムの座標はプログラムに含まれるメタデータで決定されるが、この座標を修正することによって）修正済軌跡の少なくとも一部が部分空間の外側になるように、オブジェクトの修正済軌跡を表す修正済プログラムを決定する。いくつかのこのような実施形態は、スタンドアロンシステムまたはデバイス（「アップミキサー」）によって実現される。アップミキサーの出力により決定される修正済プログラムは、典型的には、１セットのラウドスピーカーを駆動するためのスピーカーフィードを（修正済プログラムに応答して）生成するように構成されるレンダリングシステムに対して提供され、典型的には、その位置が部分空間の外側の位置に対応するセットの少なくとも１つのスピーカーを駆動するためのスピーカーフィードを含む。あるいは、本発明の方法のいくつかのこのような実施形態は、修正済プログラムを生成して、１セットのラウドスピーカーを駆動するためのスピーカーフィードを（修正済プログラムに応答して）生成するレンダリングシステムによって実行され、典型的には、その位置が部分空間の外側の位置に対応するセットの少なくとも１つのスピーカーを駆動するためのスピーカーフィードを含む。

本発明の方法のいくつかの実施形態は、オーディオオブジェクト軌跡の修正およびレンダリングを、単一のステップで実行する。例えば、レンダリングは、既知の位置の変形バージョンを有するスピーカーのためのスピーカーフィードを明示的に生成することによって（例えば、既知のラウドスピーカー位置の明示的な変形によって）、（オブジェクトに対する修正済軌跡を決定するために）オブジェクトベースのオーディオプログラムで決定された（オーディオオブジェクトの）軌跡を暗黙に変形する（修正する）ことができる。この変形は、スケールファクターを軸（例えば、高さ軸）に適用して、実行することができる。例えば、スピーカーフィードを生成する間に、軌跡の高さ軸に対する第１のスケールファクター（例えば、０．０に等しいスケールファクター）を適用することによって、修正済軌跡をオーバーヘッドスピーカーの位置を横切るようにすることができ（「１００％の変形」になる）、そのため、スピーカーフィードに応答して再生システムのスピーカーから放射される音は、（修正済）軌跡がオーバーヘッドスピーカーの位置を含む音源から放射するように知覚される。スピーカーフィードを生成する間に、軌跡の高さ軸に対する第２のスケールファクター（例えば、０．０より大きいが１．０より大きくないスケールファクター）を適用することによって、修正済軌跡を元の軌跡よりオーバーヘッドスピーカーの位置の近くに接近させる（しかしそれを横切らない）ことができ（Ｘの値はスケールファクターの値で決定され、「Ｘ％の変形」になる）、そのため、スピーカーフィードに応答して再生システムのスピーカーから放射される音は、（修正済）軌跡がオーバーヘッドスピーカーの位置に接近する（しかしそれを含まない）音源から放射するように知覚される。スピーカーフィードを生成する間に、軌跡の高さ軸に対する第３のスケールファクター（例えば、１．０より大きいスケールファクター）を適用することによって、修正済軌跡をオーバーヘッドスピーカーの位置から（元の軌跡より遠くに）離すことができる。変曲点を決定することも、ルックアヘッドを実行することも必要なく、組み合わせた軌跡修正およびスピーカーフィードの生成を実行することができる。

典型的には、再生システムは１セットのラウドスピーカーを含み、そのセットは、レンダリングされるオーディオプログラムによって表されるオブジェクト軌跡を含む部分空間の位置に対応する第１の空間の既知の位置にあるスピーカーの第１のサブセット（例えば、部分空間がリスナーの耳を含む水平面である場合に、名目上リスナーの耳を含む水平面内の位置にあるラウドスピーカー）と、第２のサブセットの各スピーカーが部分空間の外側の位置に対応する既知の位置にある場合に、少なくとも１つのスピーカーを含む第２のサブセットとを含む。修正済軌跡（典型的には曲線状の軌跡であるが、必ずしもそうではない）を決定するために、レンダリング方法は、候補軌跡を決定することができる。候補軌跡は、オブジェクト軌跡の開始点と一致する第１の空間にある開始点（第１のサブセットの１つまたは複数のスピーカーは、開始点で生じるように知覚される音を放射するように駆動することができる）と、オブジェクト軌跡の終了点と一致する第１の空間にある終了点（第１のサブセットの１つまたは複数のスピーカーは、終了点で生じるように知覚される音を放射するように駆動することができる）と、第２のサブセットのスピーカーの位置に対応する少なくとも１つの中間点（各中間点について、第２のサブセットのスピーカーは、中間点で生じるように知覚される音を放射するように駆動することができる）と、を含むことができる。場合によっては、候補軌跡が修正済軌跡として用いられる。

他の場合には、候補軌跡の変形バージョン（少なくとも１つの変形係数をそれに適用することによって候補軌跡を変形させることにより決定される）が、修正済軌跡として使われる。各変形係数の値は、候補軌跡に適用される変形の程度を決定する。例えば、一実施形態では、第１の空間上の（候補軌跡に沿う）各中間点の射影は、中間点に対応する（第１の空間内の）変曲点を確定する。中間点と対応する変曲点との間の（第１の空間に垂直な）線は、中間点に対する変形軸と呼ばれる。（各中間点の）変形係数は、その値が中間点に対する変形軸に沿った位置を示し、中間点の変形バージョンを決定する。各中間点のこのような変形係数を用いることにより、修正済軌跡は、候補軌跡の開始点から、各中間点の修正バージョンを通り、候補軌跡の終了点まで延長する軌跡である、と決定することができる。修正済軌跡が、（関連するオブジェクトのオーディオコンテンツと共に）関連するオブジェクトチャネルの各スピーカーフィードを決定するので、各変形係数は、レンダリングされたオブジェクトが修正済軌跡に沿って動くときに、レンダリングされたオブジェクトが対応する（第２のサブセットの）スピーカーにどの程度近付くように知覚されるかをコントロールする。

本発明のシステム（レンダリングシステム、またはレンダリングシステムによりレンダリングするための修正済プログラムを生成するためのアップミキサー）が、非リアルタイム方式でコンテンツを処理するように構成される場合には、レンダリングされるオブジェクトベースのオーディオプログラムにメタデータを含むことは、メタデータがプログラムによって表される各オブジェクト軌跡の開始点および終了点を表すので、有益であり、また、ルックアヘッド遅延の必要のないアップミキシングを（各軌跡に対する修正済軌跡を決定するために）実行するために、このようなメタデータを使用するようにシステムを構成することも有益である。あるいは、軌跡の傾向を生成するために、（レンダリングされるオブジェクトベースのオーディオプログラムにより表される）オブジェクト軌跡の座標を時間的に平均し、軌跡の経路を予測して軌跡の各変曲点を見いだすためにこのような平均を用いるように本発明のシステムを構成することによって、ルックアヘッド遅延の必要性を除去することができる。

付加的なメタデータを、オブジェクトベースのオーディオプログラムに含めることができ、これによって、本発明のシステム（プログラムをレンダリングするように構成されたシステム、またはレンダリングシステムによりレンダリングするためのプログラムの修正バージョンを生成するアップミキサー）に対して、システムが係数値を無視できるようにするか、またはシステムの動作に影響を及ぼす（例えば、プログラムによって表される特定のオブジェクトの軌跡をシステムが修正するのを防止するように）情報を提供することができる。例えば、メタデータは、オーディオオブジェクトの特性（例えば、タイプまたは属性）を表すことができ、このようなメタデータに応答して特定のモード（例えば、特定のタイプのオブジェクトの軌跡を修正することを防止するモード）で動作するように、システムを構成することができる。例えば、オブジェクトがダイアログであることを表すメタデータに対しては、オブジェクトのアップミキシングを無効にすることによって、応答するようにシステムを構成することができる（例えば、もしあれば、軌跡の修正バージョンよりは、むしろダイアログのためのプログラムにより表される軌跡、例えば意図されたリスナーの耳の水平面の上または下に延長する軌跡を用いて、スピーカーフィードが生成される）。

実施形態の一種類では、本発明のレンダリングシステムは、オブジェクトベースのオーディオプログラム（そしてプログラムを再生するために使用されるスピーカーの位置についての知識）から、プログラムによって表されるオーディオ音源の各位置とスピーカーの各々の位置との間の距離を決定するように、構成される。スピーカーの位置は、（プログラムの修正バージョンをレンダリングすることが望ましく、再生システムの全てのスピーカーがある位置、またはその近くの位置を含む位置から音が放射するように知覚される場合には）音源の所望の位置であるとみなすことができる。本システムは、本発明に従って、プログラムによって表される実際の音源位置（例えば音源軌跡に沿った各音源位置）ごとに、スピーカーのフルセットのうちの実際の音源位置に最も近いスピーカーから構成されるスピーカーのフルセットのサブセット（「プライマリ」サブセット）を決定するように構成される。この文脈において、「最も近く」は、いくらかの合理的に定義された意味で定義される（例えば、音源位置に「最も近い」フルセットのスピーカーは、再生システムにおけるその位置が、音源の軌跡が確定される３次元体積内で、音源位置からの距離が所定のしきい値の範囲内である位置か、または音源位置からの距離がいくつかの他の所定の基準を満たす位置に対応する各スピーカーであってもよい）。典型的には、スピーカーフィードが（音源位置ごとに）生成され、（音源位置に対する）プライマリサブセットのスピーカーからは比較的大きい振幅の音が放射され、再生システムの他のスピーカーからは比較的小さい振幅（またはゼロ振幅）の音が放射される。

プログラム（音源の軌跡を確定するために考慮され得る）によって表される音源位置のシーケンスは、スピーカーのフルセットのプライマリサブセット（シーケンスの各音源位置に対する１つのプライマリサブセット）のシーケンスを決定する。各プライマリサブセットのスピーカーの位置は、プライマリサブセットの各スピーカーおよび関連する実際の音源位置を含む（しかしフルセットの他のスピーカーは含まない）３次元（３Ｄ）空間を確定する。修正済軌跡を（プログラムによって表される音源軌跡に応答して）決定し、（再生システムの全てのスピーカーを駆動するために）修正済軌跡に応答してスピーカーフィードを生成するステップは、以下のように典型的なレンダリングシステムで実行することができる。プログラム（軌跡、例えば図３の「元の軌跡」を確定すると考えられ得る）によって表される音源位置のシーケンスの各々について、（音源位置の３Ｄ空間に含まれる）対応するプライマリサブセット（音源位置の３Ｄ空間に含まれる）のスピーカーおよびフルセットの他のスピーカーを駆動するために、スピーカーフィードが生成され、３Ｄ空間の特性点から音源によって放射されるように知覚されるべく意図された音（それは典型的には知覚される）を放射する（例えば、特性点は、プログラムで決定される音源位置を通る垂直線を有する３Ｄ空間の上面の交点であってもよい）。オブジェクトベースのオーディオプログラムから、そのように決定される３Ｄ空間のシーケンスを考慮し、シーケンスの３Ｄ空間の各々の特性点を識別して、修正済軌跡（プログラムによって表される元の軌跡に応答して決定される）を確定するために、特性点の全部または一部に一致する曲線を考慮することができる。

選択的に、３Ｄ空間に応じてスケールされる空間（時には本明細書では「ワープした」空間と呼ぶ）を生成するために、３Ｄ空間（上述した実施形態に従って決定される）の各々に対して、スケーリングパラメータが適用され、スピーカーフィードが（プログラムを再生するために使用されるフルセットの）スピーカーを駆動するために生成され、上述した３Ｄ空間の特性点よりもむしろワープした空間の特性点から音源によって放射されるように知覚されることを意図する音（それは典型的には知覚される）を放射する（例えば、ワープした空間の特性点はプログラムで決定される音源位置を通る垂直線を有するワープした空間の上面の交点であってもよい）。このワープは、スケールファクターを高さ軸に適用して実施することができ、各ワープした空間の高さは、対応する３Ｄ空間の高さのスケールされたバージョンである。

本発明の態様は、本発明の方法のいずれかの実施形態を実行するように構成される（例えばプログラムされる）システム（例えばアップミキサーまたはレンダリングシステム）と、本発明の方法のいずれかの実施形態を実行するためのコードを格納するコンピュータ可読媒体（例えばディスクまたは他の有形オブジェクト）とを含む。

いくつかの実施形態では、本発明のシステムは、ソフトウェア（またはファームウェア）によってプログラムされる、および／または、本発明の方法の実施形態を実行するように構成される、汎用または専用のプロセッサであるか、あるいはそれを含む。いくつかの実施形態では、本発明のシステムは、入力オーディオ（および選択的に入力ビデオも）を受け取るように結合され、入力オーディオに応答して出力データ（例えばスピーカーフィードを決定する出力データ）を（本発明の方法の実施形態を実行することによって）生成するようにプログラムされた汎用プロセッサであるか、あるいはそれを含む。他の実施形態では、本発明のシステムは、入力オーディオに応答して出力データ（例えばスピーカーフィードを決定する出力データ）を生成するように動作可能な、適切に構成された（例えば、プログラムされた、または構成された）オーディオデジタル信号プロセッサ（ＤＳＰ）として実装される。

記法および用語
請求項を含む本開示の全体にわたって、信号またはデータ「上の」操作（例えば、信号もしくはデータをフィルタするか、スケーリングするか、または変換する）を実行するという表現は、広義には、直接信号もしくはデータ上の操作、または信号もしくはデータの処理されたバージョン上の（例えば、操作の実行の前に予備フィルタリングされた信号のバージョン上の）操作を実行することを意味するために用いられる。

請求項を含む本開示の全体にわたって、「システム」という表現は、広義には、デバイス、システムまたはサブシステムを意味するために用いられる。例えば、デコーダを実装するサブシステムは、デコーダシステムと呼ぶことができ、またこのようなサブシステムを含むシステム（例えば、複数の入力に応答してＸ個の出力信号を生成するシステムであって、サブシステムがＭ個の入力を生成し、他のＸ−Ｍ個の入力が外部信号源から受け取られるシステム）も、デコーダシステムと呼ぶことができる。

請求項を含む本開示の全体にわたって、以下の表現は、以下の定義を有する：
スピーカーおよびラウドスピーカーは、いかなる音を放射する変換器も意味するように同義的に用いられる。この定義は、複数の変換器（例えば、ウーファーおよびツィーター）として実装されるラウドスピーカーを含む；
スピーカーフィード：ラウドスピーカーに直接印加されるオーディオ信号、または増幅器およびラウドスピーカーに直列に印加されるオーディオ信号；
チャネル（または「オーディオチャネル」）：モノラルオーディオ信号；
スピーカーチャネル（または「スピーカーフィードチャネル」）：指定されたラウドスピーカー（所望の位置または名目的位置で）と関連する、または、定義されたスピーカー構成内の指定されたスピーカーゾーンと関連するオーディオチャネル。スピーカーチャネルは、指定されたラウドスピーカー（所望の位置または名目的位置で）、または指定されたスピーカーゾーンのスピーカーに直接オーディオ信号を印加することと等価な方法で、レンダリングされる；
オブジェクトチャネル：オーディオ音源（時にはオーディオ「オブジェクト」と呼ばれる）によって放射される音を表すオーディオチャネル。典型的には、オブジェクトチャネルは、パラメトリックオーディオ音源記述を決定する。音源記述は、音源（時間の関数として）および時間の関数としての音源の見かけ上の位置（例えば３Ｄ空間座標）によって、さらに選択的には、音源を特徴付ける他の少なくとも１つの付加パラメータ（例えば見かけ上の音源の大きさまたは幅）によっても、放射される音を決定することができる；
オーディオプログラム：１セットの１つまたは複数のオーディオチャネル（少なくとも１つのスピーカーチャネルおよび／または少なくとも１つのオブジェクトチャネル）、さらに選択的には、所望の空間オーディオ表現を記載する関連するメタデータ；
オブジェクトベースのオーディオプログラム：１セットの１つまたは複数のオブジェクトチャネルを含み（そして、典型的にいかなるスピーカーチャネルも含まない）、さらに選択的には、所望の空間オーディオ表現を記載する関連するメタデータ（例えば、オブジェクトチャネルによって表される音を放射するオーディオオブジェクトの軌跡を表すメタデータ）も含むオーディオプログラム；
レンダリング：オーディオプログラムを１つまたは複数のスピーカーフィードに変換する処理、またはオーディオプログラムを１つまたは複数のスピーカーフィードに変換して、１つまたは複数のラウドスピーカーを用いてスピーカーフィードを音に変換する処理（後者の場合、本明細書では、そのレンダリングを時にはラウドスピーカー「による」レンダリングと呼ぶ）。チャネルのコンテンツを表すスピーカーフィードを所望の位置の物理的ラウドスピーカーに直接印加することによって、オーディオチャネルを（所望の位置「で」）自明にレンダリングすることができる。あるいは、このような自明なレンダリングに（リスナーのために）実質的に等価に設計された様々な仮想化技術の１つを用いて、１つまたは複数のオーディオチャネルをレンダリングすることができる。この後者の場合、各オーディオチャネルは、通常所望の位置とは異なる既知の位置のラウドスピーカーに印加される１つまたは複数のスピーカーフィードに変換することができる。そうすると、フィードに応答してラウドスピーカーによって放射される音は、所望の位置から放射するように知覚される。このような仮想化技術の例は、ヘッドホン（例えば、ヘッドホン着用者のためのサラウンドサウンドの最高７．１チャネルをシミュレートするドルビーヘッドホン処理を用いる）を介したバイノーラルレンダリングおよび波動場合成を含む。１セットの物理的ラウドスピーカー（ラウドスピーカーの各々の物理的位置がいかなる時点でも所望の位置と一致する場合もあり、一致しない場合もあるが）にチャネルのコンテンツを表すスピーカーフィードを印加することによって、オブジェクトチャネルを（所望の軌跡を有し、時間的に変化する位置「で」）レンダリングすることができる；
方位（または方位角）：リスナー／視聴者に対する音源の、水平面内における角度。典型的には、０度の方位角は音源が直接リスナー／視聴者の正面にあることを意味し、音源が反時計回り方向にリスナー／視聴者の周りを回るにつれて、方位角は増加する；
高さ（または仰角）：リスナー／視聴者に対する音源の、垂直面内における角度。典型的には、０度の仰角は音源がリスナー／視聴者（例えば、リスナー／視聴者の耳）と同じ水平面内にあることを意味し、音源がリスナー／視聴者に対して上方へ（０から９０度までの範囲で）移動するにつれて、仰角は増加する；
Ｌ：左前オーディオチャネル。典型的には、方位角約３０度、仰角０度に置かれたスピーカーによってレンダリングされるように意図されたスピーカーチャネル；
Ｃ：正面オーディオチャネル。典型的には、方位角約０度、仰角０度に置かれたスピーカーによってレンダリングされるように意図されたスピーカーチャネル；
Ｒ：右前オーディオチャネル。典型的には、方位角約−３０度、仰角０度に置かれたスピーカーによってレンダリングされるように意図されたスピーカーチャネル；
Ｌｓ：左サラウンドオーディオチャネル。典型的には、方位角約１１０度、仰角０度に置かれたスピーカーによってレンダリングされるように意図されたスピーカーチャネル；
Ｒｓ：右サラウンドオーディオチャネル。典型的には、方位角約−１１０度、仰角０度に置かれたスピーカーによってレンダリングされるように意図されたスピーカーチャネル；
フルレンジチャネル：プログラムの各低周波効果チャネル以外のオーディオプログラムの全てのオーディオチャネル。典型的なフルレンジチャネルは、ステレオプログラムのＬおよびＲチャネル、ならびに、サラウンドサウンドプログラムのＬ、Ｃ、Ｒ、ＬｓおよびＲｓチャネルである。低周波効果チャネル（例えば、サブウーファーチャネル）により決定される音は、カットオフ周波数までの可聴範囲の周波数成分を含むが、（典型的なフルレンジチャネルがそうであるように）カットオフ周波数を超える可聴範囲の周波数成分は含まない；
フロントチャネル：正面の音ステージと関連する（オーディオプログラムの）スピーカーチャネル。典型的なフロントチャネルは、ステレオプログラムのＬおよびＲチャネル、または、サラウンドサウンドプログラムのＬ、ＣおよびＲチャネルである；
ＡＶＲ：オーディオビデオレシーバ。例えばホームシアターのオーディオおよびビデオコンテンツの再生を制御するために用いる民生用電子機器の種類の受信装置。

本発明の実施形態による、（ｘ，ｙ，ｚ）単位ベクトルおよび方位角Ａｚ（仰角Ｅｌはゼロに等しい）を用いて、（リスナー１の耳における）音の到来方向の定義を示す図である。ｚ軸は図１の紙面に垂直である。 本発明の実施形態による、（ｘ，ｙ，ｚ）単位ベクトルと方位角Ａｚおよび仰角Ｅｌを用いて、位置Ｌにおける音（音源位置Ｓから放射される）の到来方向の定義を示す図である。 本発明の実施形態による、（少なくとも１つのオブジェクトチャネルを含むが、スピーカーチャネルは含まないオーディオプログラムから）生成されたスピーカーフィードによって駆動されるラウドスピーカーアレイのスピーカーの図であり、スピーカーフィードで決定されるオブジェクトの知覚される軌跡を示す。 図３の知覚される軌跡、および、本発明の実施形態による、（少なくとも１つのオブジェクトチャネルを含むが、スピーカーチャネルは含まないオーディオプログラムから）生成されたスピーカーフィードにより決定され得る２本の付加的な軌跡の図である。 本発明の方法の実施形態を実施するように構成されるレンダリングシステム３（プログラムされたプロセッサであるか、またはそれを含む）を含むシステムのブロック図である。 本発明の方法の実施形態を実施するように構成されるアップミキサー４（プログラムされたプロセッサとして実装される）を含むシステムのブロック図である。

例示的実施形態は、オーディオオブジェクト符号化（またはオブジェクトベースの符号化または「シーン記述」）と呼ばれるオーディオ符号化の１タイプを実行し、各オーディオプログラム（すなわちエンコーダによる出力）がラウドスピーカーの多数の異なるアレイのいずれかによって再生のためにレンダリングされ得るという仮定の下で動作する、システムおよび方法に関する。このようなエンコーダによる各オーディオプログラム出力はオブジェクトベースのオーディオプログラムであり、典型的には、このようなオブジェクトベースのオーディオプログラムの各チャネルはオブジェクトチャネルである。オーディオオブジェクト符号化においては、互いに異なる音源（オーディオオブジェクト）に関係するオーディオ信号が、分離したオーディオストリームとしてエンコーダに入力される。オーディオオブジェクトの例としては、（これらに限らないが）ダイアログトラック、単一の楽器、およびジェット機が挙げられる。各オーディオオブジェクトは、空間パラメータと関係しており、それらは（これらに限らないが）音源位置、音源幅、および音源速度および／または軌跡を含むことができる。オーディオオブジェクトおよび関係するパラメータは、配給および記憶のために符号化される。最終的なオーディオオブジェクトミキシングおよびレンダリングは、オーディオプログラム再生の一部として、オーディオ記憶および／または配給チェーンの受け取り側で、実行され得る。オーディオオブジェクトミキシングおよびレンダリングのステップは、典型的には、プログラムを再生するために使用されるラウドスピーカーの実際の位置についての知識に基づく。

典型的には、オブジェクトベースのオーディオプログラムを生成する間に、コンテンツ作成者は、ミキシングの空間的意図（例えば、プログラムの各オブジェクトチャネルにより決定される各オーディオオブジェクトの軌跡）を、メタデータをプログラムに含むことによって埋め込むことができる。メタデータは、プログラムの各オブジェクトチャネルおよび／または各オブジェクトのサイズ、速度、タイプ（例えば、ダイアログまたは音楽）および別の特性のうちの少なくとも１つにより決定される各オーディオオブジェクトの位置または軌跡を表すことができる。

オブジェクトベースのオーディオプログラムをレンダリングする間に、各オブジェクトチャネルは、チャネルのコンテンツを表すスピーカーフィードを生成することにより、そしてスピーカーフィードを１セットのラウドスピーカーに（ラウドスピーカーの各々の物理位置がいかなる時点においても所望の位置と一致する場合もあり、一致しない場合もあるが）印加することにより、（所望の軌跡を有し時間的に変化する位置「で」）レンダリングすることができる。１セットのラウドスピーカーについてのスピーカーフィードは、複数のオブジェクトチャネル（または単一のオブジェクトチャネル）のコンテンツを表すことができる。レンダリングシステムは、典型的には、特定の再生システム（例えば、ホームシアターシステムのスピーカー構成であって、この場合にはレンダリングシステムはホームシアターシステムの一要素でもある）の正確なハードウェア構成と適合するように、スピーカーフィードを生成する。

オブジェクトベースのオーディオプログラムがオーディオオブジェクトの軌跡を表す場合には、レンダリングシステムは、１セットのラウドスピーカーが、上記軌跡を有するオーディオオブジェクトから放射するように知覚されるべく意図された（典型的にはそのように知覚される）音を放射するように駆動するためのスピーカーフィードを典型的に生成する。例えば、プログラムは、楽器（オブジェクト）からの音が左から右に動くべきことを表すことができる。そして、レンダリングシステムは、アレイのＬ（左前）スピーカーからアレイのＣ（正面）スピーカーへ、それからアレイのＲ（右前）スピーカーへ動くように知覚される音を放射するように、ラウドスピーカーの５．１アレイを駆動するためのスピーカーフィードを生成することができる。

オーディオオブジェクト符号化は、オブジェクトベースのオーディオプログラム（時には、本明細書ではミックスと呼ぶ）がいかなるスピーカー構成においても再生されることを可能にする。オブジェクトベースのオーディオプログラムをレンダリングするためのいくつかの実施形態は、プログラムで決定される各オーディオオブジェクトは、プログラムを再生するために使用されるラウドスピーカーアレイのスピーカーが位置する空間と適合する空間（例えば、空間内の軌跡に沿って移動する）に置かれることを仮定する。例えば、オブジェクトベースのオーディオプログラムが、パニング軸（例えば、水平方向の前−後軸、水平方向の左−右軸、垂直方向の上−下軸、または近−遠軸）およびリスナーによって確定されるパニング平面内で移動するオブジェクトを示す場合には、レンダリングシステムは、従来通りに、パニング平面（すなわち、パニング平面が水平面である場合には、スピーカーは名目上水平面にある）と平行な平面に名目上置かれたスピーカーから構成されるラウドスピーカーアレイのためのスピーカーフィードを（プログラムに応答して）生成する。

本発明の多くの実施形態は、技術的に可能である。どのようにそれらを実施するべきか、当業者にとっては、本開示から明らかであろう。本発明のシステム、方法および媒体の実施形態を、図１〜図６を参照して記載する。いくつかの実施形態は、オーディオオブジェクト符号化だけを用いるエコシステムに関するが、他の実施形態は、従来のチャネルベースの符号化とオーディオオブジェクト符号化との混成であり、符号化システムの両方のタイプの特性を借りるオーディオ符号化エコシステムに関する。例えば、オブジェクトベースのオーディオプログラムは、１セットの１つまたは複数のオブジェクトチャネル（付随するメタデータと共に）および１セットの１つまたは複数のスピーカーチャネルを含むことができる。

本発明の典型的な実施形態は、オブジェクトベースのオーディオプログラム（オーディオ音源の軌跡を表す）をレンダリングするための方法であって、プログラムで表されたものと異なる軌跡を有する音源（例えば、垂直面内の軌跡または３次元的軌跡を有する音源であるが、プログラムは音源の軌跡が水平面内にあることを表す）を伴う音源から放射するように知覚されるべく意図された音を放射するように、１セットのラウドスピーカーを駆動するためのスピーカーフィードを生成することを含む。

いくつかの実施形態では、本発明は、１セットのラウドスピーカーによる再生のためのオブジェクトベースのオーディオプログラムをレンダリングするための方法であって、プログラムはオーディオオブジェクトの軌跡を示し、軌跡は完全な３次元体積の部分空間内にある（例えば、軌跡は体積内の水平面内に限定されるか、または体積内の水平線である）。本方法は、オブジェクトの修正済軌跡を表す修正済プログラムを決定するために（例えば、軌跡を表すプログラムの座標を修正することによって）プログラムを修正するステップであって、修正済軌跡の少なくとも一部は、部分空間の外側（例えば、軌跡が水平線である場合には、修正済軌跡は水平線を含む垂直面内にある経路である）にあるステップと、その位置が部分空間の外側の位置に対応するセットの少なくとも１つのスピーカーを駆動するための、およびその位置が部分空間内の位置に対応するセットのスピーカーを駆動するための、スピーカーフィードを（修正済プログラムに応答して）生成するステップと、を含む。

典型的には、オブジェクトベースのオーディオプログラムは（それが本発明に従って修正されなければ）、ラウドスピーカーセットのサブセット（例えば、その位置が完全な３次元体積の部分空間に対応するセットのスピーカーだけ）を駆動するためのスピーカーフィードだけを生成するようにレンダリングすることができる。例えば、オーディオプログラムは、リスナーの耳を含む水平面内に置かれたセットのスピーカーを駆動するためのスピーカーフィードだけを生成するようにレンダリングすることが可能であり、この場合、部分空間は上記水平面である。本発明のレンダリング方法は、その位置が部分空間の外側の位置に対応するセットのスピーカーを駆動するための少なくとも１つのスピーカーフィードを（修正済プログラムに応答して）生成すること、ならびにその位置が部分空間内の位置に対応するセットのスピーカーを駆動するためのスピーカーフィードを生成することによって、アップミキシングを実行する。例えば、本方法の好適な実施形態は、セットの全てのラウドスピーカーを駆動するための修正済プログラムに応答してスピーカーフィードを生成するステップを含む。このように、好適な実施形態は、再生システムに存在する全てのスピーカーに影響を及ぼすが、元の（修正されていない）プログラムのレンダリングは再生システムの全てのスピーカーを駆動するためのスピーカーフィードを生成しない。

他の実施形態では、本発明の方法は、オーディオオブジェクトの軌跡を表すオブジェクトベースのオーディオプログラムを修正するステップを含み、オブジェクトの修正済軌跡を表す修正済プログラムを決定し、軌跡および修正済軌跡の両方が同一空間内で確定される（すなわち、修正済軌跡のいかなる部分も軌跡が延長する空間の外側には延長しない）。例えば、元のプログラムから決定されるスピーカーフィードに応答して放射される音と比較して、修正済プログラムから決定されるスピーカーフィードに応答して放射される音の音質を最適化する（または修正する）ために、軌跡を修正することができる（例えば、元の軌跡でなく、修正済軌跡がシングルエンドのスピーカー「へのスナップ」またはスピーカー「に向かうスナップ」を決定する場合）。

典型的な実施形態では、本方法は、オブジェクトの修正済軌跡を決定するために、書かれたオブジェクトの軌跡を経時的に変形させるステップであって、オブジェクトの軌跡はオブジェクトベースのオーディオプログラムによって示され、３次元体積の部分空間内にあり、修正済軌跡の少なくとも一部は部分空間の外側にある、ステップと、その位置が部分空間の外側の位置に対応するスピーカーのための少なくとも１つのスピーカーフィードを生成するステップとを含む（例えば、部分空間が、予想されるリスナーに対して第１の仰角にある水平面である場合に、リスナーに対して第２の仰角に位置するスピーカーを駆動するためのスピーカーフィードが生成され、第２の仰角は第１の仰角とは異なる。例えば、第１の仰角はゼロでもよく、また第２の仰角はゼロ以外でもよい）。例えば、リスナーに対する仰角がゼロである水平面内に軌跡がある場合には、リスナーに対する仰角がゼロでない位置にある（再生システムの）スピーカーのためのスピーカーフィードを生成するために、本方法は、オブジェクトベースのオーディオプログラムによって表されるオーディオオブジェクトの軌跡を変形させるステップを含むことができる。この場合には、元のオーサリングスピーカーシステムのスピーカーのいずれもコンテンツ作成者に対する仰角がゼロでない位置にはなかった。

いくつかの実施形態では、本発明の方法は、オーディオオブジェクトの軌跡を表すオブジェクトベースのオーディオプログラムを修正する（アップミックスする）ステップを含み、軌跡は完全な３次元体積の部分空間内にあり、（例えば、軌跡を表すプログラムの座標はプログラムに含まれるメタデータで決定されるが、この座標を修正することによって）修正済軌跡の少なくとも一部が部分空間の外側になるように、オブジェクトの修正済軌跡を表す修正済プログラムを決定する。いくつかのこのような実施形態は、スタンドアロンシステムまたはデバイス（「アップミキサー」）によって実現される。アップミキサーの出力により決定される修正済プログラムは、典型的には、１セットのラウドスピーカーを駆動するためのスピーカーフィードを（修正済プログラムに応答して）生成するように構成されるレンダリングシステムに対して提供され、典型的には、その位置が部分空間の外側の位置に対応するセットの少なくとも１つのスピーカーを駆動するためのスピーカーフィードを含む。あるいは、本発明の方法のいくつかのこのような実施形態は、修正済プログラムを生成して、１セットのラウドスピーカーを駆動するためのスピーカーフィードを（修正済プログラムに応答して）生成するレンダリングシステムによって実行され、典型的には、その位置が部分空間の外側の位置に対応するセットの少なくとも１つのスピーカーを駆動するためのスピーカーフィードを含む。

本発明の方法の一例は、前から後へパニング（すなわち、音源の軌跡は水平線である）する音源を表すオブジェクトチャネルを含むオーディオプログラムのレンダリングである。このパンは伝統的な５．１スピーカー設定で作成されてきたが、コンテンツ作成者が５．１スピーカーアレイのセンタースピーカーと２台の（左後および右後）サラウンドスピーカーとの間の振幅パンをモニターしていた。本発明のレンダリング方法の例示的実施形態は、６．１スピーカーシステムの全てのスピーカーのプログラムを再生するためのスピーカーフィードを生成する。６．１スピーカーシステムは、５．１スピーカーアレイを含むスピーカーだけでなく、オーバーヘッド（高さ）チャネルスピーカーフィードを生成することによりオーバーヘッドスピーカー（例えば、図３のスピーカーＴｓ）も含む。６．１アレイの全てのスピーカーのためのスピーカーフィードに応答して、６．１アレイは、リスナーによって、音源から放射するように知覚される音を放射するが、その音源は当初作成された水平線軌跡の曲がったバージョンである修正済軌跡に沿ってパンする（すなわち、部屋を通る平行移動として知覚される）。修正済軌跡は、センタースピーカー（その未修正出発点）からオーバーヘッドスピーカーに向かって垂直に上方に（そして水平に後方へ）伸びて、それから、リスナーの後方のその未修正終了点（左後および右後のサラウンドスピーカーの間）へ向かって後方下向きに（そして水平に後方へ）伸びる。

典型的には、再生システムは１セットのラウドスピーカーを含み、そのセットは、レンダリングされるオーディオプログラムによって表されるオブジェクト軌跡を含む部分空間の位置に対応する第１の空間の位置にあるスピーカーの第１のサブセット（例えば、部分空間がリスナーを含む水平面である場合に、名目上リスナーを含む水平面内の位置にあるラウドスピーカー）と、第２のサブセットの各スピーカーが部分空間の外側の位置に対応する位置にある場合に、少なくとも１つのスピーカーを含む第２のサブセットとを含む。修正済軌跡（典型的には曲線状の軌跡であるが、必ずしもそうではない）を決定するために、レンダリング方法は、候補軌跡を決定することができる。候補軌跡は、オブジェクト軌跡の開始点と一致する第１の空間にある開始点（第１のサブセットの１つまたは複数のスピーカーは、開始点で生じるように知覚される音を放射するように駆動することができる）と、オブジェクト軌跡の終了点と一致する第１の空間にある終了点（第１のサブセットの１つまたは複数のスピーカーは、終了点で生じるように知覚される音を放射するように駆動することができる）と、第２のサブセットのスピーカーの位置に対応する少なくとも１つの中間点（各中間点について、第２のサブセットのスピーカーは、中間点で生じるように知覚される音を放射するように駆動することができる）と、を含む。場合によっては、候補軌跡が修正済軌跡として用いられる。

他の場合には、候補軌跡の変形バージョン（少なくとも１つの変形係数より決定される）が、修正済軌跡として使われる。各変形係数の値は、候補軌跡に適用される変形の程度を決定する。例えば、一実施形態では、第１の空間上の（候補軌跡に沿う）各中間点の射影は、中間点に対応する（第１の空間内の）変曲点を確定する。中間点と対応する変曲点との間の（第１の空間に垂直な）線は、中間点に対する変形軸と呼ばれる。（各中間点の）変形係数は、その値が中間点に対する変形軸に沿った位置を示し、中間点の変形バージョンを決定する。各中間点のこのような変形係数を用いることにより、修正済軌跡は、候補軌跡の開始点から、各中間点の修正バージョンを通り、候補軌跡の終了点まで延長する軌跡である、と決定することができる。修正済軌跡が、（関連するオブジェクトのオーディオコンテンツと共に）関連するオブジェクトチャネルの各スピーカーフィードを決定するので、各変形係数は、レンダリングされたオブジェクトが修正済軌跡に沿って動くときに、レンダリングされたオブジェクトが対応する（第２のサブセットの）スピーカーにどの程度近付くように知覚されるかをコントロールする。

方位角および仰角（Ａｚ、Ｅｌ）を用いて、または（ｘ，ｙ，ｚ）単位ベクトルを用いて、オーディオ音源からの音の到来方向を確定することができる。例えば、図１で、音源位置Ｓからの（リスナー１の耳における）音の到来方向は、（ｘ，ｙ，ｚ）単位ベクトルによって確定することができる。ここで、ｘ軸およびｙ軸は図示する通りであり、ｚ軸は図１の紙面に垂直である。また、音の到来方向は、示される方位角Ａｚにより確定することもできる（例えば、仰角Ｅｌはゼロに等しい）。

図２は、（ｘ，ｙ，ｚ）単位ベクトルと、方位角Ａｚおよび仰角Ｅｌとにより確定される、位置Ｌ（例えば、リスナーの耳の位置）における音（音源位置Ｓから放射される）の到来方向を示す。ここで、ｘ軸、ｙ軸およびｚ軸は図示する通りである。

例示的実施形態を、図３および図４を参照して記載する。本実施形態では、オブジェクトベースのオーディオプログラムは、６．１スピーカーアレイを含むシステム上で再生のためにレンダリングされる。スピーカーアレイは、左前スピーカーＬ、正面スピーカーＣ、右前スピーカーＲ、左サラウンド（後方）スピーカーＬｓ、右サラウンド（後方）スピーカーＲｓ、およびオーバーヘッドスピーカーＴｓを含む。左前および右前スピーカーは、明確にするため図３には示さない。オーディオプログラムは、予想されるリスナーの耳を含む水平面内の軌跡（図３に示す元の軌跡）に沿って、予想されるリスナーの前方に配置される正面スピーカーＣの位置から、予想されるリスナーの後方に配置されるサラウンドスピーカーＲｓおよびＬｓの中間の位置まで移動する音源（オーディオオブジェクト）を表す。例えば、オーディオプログラムは、オブジェクトチャネル（音源により放射されたオーディオコンテンツを表す）と、オブジェクトの軌跡（例えば、音源の座標であって、オーディオプログラム中で１フレームにつき１回更新される）を表すメタデータとを含むことができる。

レンダリングシステムは、リスナーの耳の水平面より上の位置から放射するように知覚されるオーディオコンテンツを特に表してはいないオブジェクトベースのオーディオプログラム（例えば、実施例のプログラム）に応答して、６．１のアレイ（オーバーヘッドスピーカーＴｓを含む）の全てのスピーカーを駆動するためのスピーカーフィードを生成するように構成される。本発明によれば、レンダリングシステムは、修正済軌跡（同じオーディオオブジェクトのための）を決定するために、プログラムによって表される元の（水平）軌跡を修正するように構成され、修正済軌跡は、センタースピーカーＣの位置（点Ａ）からオーバーヘッドスピーカーＴｓに向かって上方かつ後方に伸びて、それからサラウンドスピーカーＲｓおよびＬｓの中間の位置（点Ｂ）まで下方かつ後方に伸びる。このような修正済軌跡を、図３にも示す。また、レンダリングシステムは、６．１アレイの全てのスピーカー（オーバーヘッドスピーカーＴｓを含む）を駆動するためのスピーカーフィードを生成するように構成され、修正済軌跡に沿って並進するように、オブジェクトから放射するように知覚される音を放射する。

図４に示すように、プログラムで決定される元の軌跡は、点Ａ（センタースピーカーＣの位置）から点Ｂ（サラウンドスピーカーＲｓおよびＬｓの中間の位置）までの直線である。元の軌跡に応答して、典型的なレンダリング方法は、元の軌跡と同じ開始点および終了点を有するが、オーバーヘッドスピーカーＴｓの位置を通過する候補軌跡を決定する。それは図４の点Ｅとして示す中間点である。

レンダリングシステムは、（例えば、１００％の値を有する後述する変形係数のアサーションに応答して、または、いくつかの他のユーザーにより決定された制御値に応答して）修正済軌跡として、候補軌跡を用いることができる。

また、レンダリングシステムは、好ましくは、（例えば、後述する１００％以外のいくつかの値を有する変形係数に応答して、または、いくつかの他のユーザーにより決定された制御値に応答して）修正済軌跡として、候補軌跡の変形バージョンのセットのうちのいずれかを用いるように構成される。図４は、候補軌跡のこのような２つの変形バージョンを示す（一方の変形係数は７５％で、他方の変形係数は２５％）。候補軌跡の各変形バージョンは、元の軌跡と同じ開始点および終了点を有するが、オーバーヘッドスピーカーＴｓ（図４の点Ｅ）の位置に最も接近する異なる点を有する。

本実施例では、レンダリングシステムは、１００％（元の軌跡の最大の変形を達成し、これによりオーバーヘッドスピーカーの使用を最大にする）から０％（オーバーヘッドスピーカーの使用を増加させるための元の軌跡のいかなる変形も防止する）までの範囲の値を有するユーザー指定の変形係数に応答するように構成される。変形係数の指定された値に応答して、レンダリングシステムは、修正済軌跡として、候補軌跡の変形バージョンのうちの対応する１つを使用する。具体的には、１００％の値の変形係数に応答して、候補軌跡が修正済軌跡として用いられ、７５％の値の変形係数に応答して、点Ｆ（図４）を通過する変形された候補軌跡が修正済軌跡として用いられ（修正済軌跡は点Ｅの近くに接近する）、そして、２５％の値の変形係数に応答して、点Ｇ（図４）を通過する変形された候補軌跡が修正済軌跡として用いられる（修正済軌跡は点Ｅにはそれほど接近しない）。

本実施例では、レンダリングシステムは、変形係数の値で決定されるオーバーヘッドスピーカーの使用の所望程度を達成するように、修正済軌跡を効率的に決定するように構成される。図４の点Ｉと点Ｅとを通る変形軸を考慮することによって、これは理解されることができる。変形軸は、元の直線状軌跡（点Ａから点Ｂまで）に垂直である。元の軌跡が伸びる空間（点Ａと点Ｂと含む水平面）上の中間点Ｅ（候補軌跡に沿う）の射影は、中間点Ｅに対応する上記空間内（すなわち、点Ａと点Ｂと含む水平面内）の変曲点Ｉを確定する。点Ｉは、候補軌跡が元の軌跡と相違するのをやめて、元の軌跡に接近し始める点であるという意味で、「変曲」点である。中間点Ｅと対応する変曲点Ｉとの間の線は、中間点Ｅの変形軸である。変形係数の値（１００％から０％までの範囲）は、変曲点から中間点までの変形軸に沿った距離に対応し、したがって、オーバーヘッドスピーカーの位置に対する候補軌跡の変形バージョンのうちの１つ（例えば、点Ｆを通り延長するもの）の最近接距離を決定する。レンダリングシステムは、候補軌跡の開始点から（変形軸に沿う）点を通って候補軌跡の終了点まで伸びる候補軌跡の変形バージョンを（修正済軌跡として）選択することで、変形係数に応答するように構成され、その変曲点からの距離は、変形係数の値（例えば、変形係数の値が７５％のときは点Ｆ）で決定される。修正済軌跡が関連するオブジェクトチャネルの各スピーカーフィードを（関連するオブジェクトのオーディオコンテンツを用いて）決定するので、変形係数の値は、レンダリングされたオブジェクトが修正済軌跡に沿って動く際に、レンダリングされたオブジェクトがオーバーヘッドスピーカーにどの程度近付くように知覚されるかを制御する。

候補軌跡の各変形バージョンと変形軸との交点は、候補軌跡の上記変形バージョンの変曲点である。このように、図４の点Ｇ、すなわち変形係数の値２５％で決定される変形された候補軌跡と変形軸との交点は、上記変形された候補軌跡の変曲点である。

実施形態の一種類では、本発明のレンダリングシステムは、オブジェクトベースのオーディオプログラム（そして、プログラムを再生するために使用されるスピーカーの位置についての知識）から、プログラムによって表されるオーディオ音源の各位置とスピーカーの各々の位置との間の距離を決定するように、構成される。音源の所望の位置は、スピーカーの位置と関連して（例えば、スピーカーの１台、例えばオーバーヘッドスピーカーから音が放射するように知覚されるべく、音を再生するように要求することができる）確定することができる。そして、プログラムによって示される音源位置は、音源の実際の位置とみなすことができる。本システムは、プログラムによって示される各実際の音源位置（例えば、音源の軌跡に沿った各音源位置）について、音源位置に最も近い（いくらかの合理的に確定された意味で）フルセットの１つまたは複数のスピーカーから構成されるスピーカーのフルセットのサブセット（「プライマリ」サブセット）を決定するように、本発明に従って構成される。典型的には、スピーカーフィードが（音源位置ごとに）生成され、（音源位置に対する）プライマリサブセットのスピーカーからは比較的大きい振幅の音が放射され、再生システムの他のスピーカーからは比較的より小さい振幅（またはゼロ振幅）の音が放射される。音源位置に「最も近い」フルセットのスピーカーは、再生システムにおけるその位置が、（音源の軌跡が確定される３次元体積内で）音源位置からの距離が所定のしきい値の範囲内である位置か、または音源位置からの距離がいくつかの他の所定の基準を満たす位置に対応する各スピーカーであってもよい。

プログラム（音源の軌跡を確定するために考慮され得る）によって表される音源位置のシーケンスは、スピーカーのフルセットのプライマリサブセット（シーケンスの各音源位置に対する１つのプライマリサブセット）のシーケンスを決定する。

各プライマリサブセットのスピーカーの位置は、プライマリサブセットの各スピーカーおよび関連する音源位置に対応する位置を含むがフルセットの他のスピーカーは含まない３次元（３Ｄ）空間を確定する。実際の音源位置に「対応する」各位置は、実際の再生システムでは、再生システムのスピーカーから放射される音がリスナーによって上記音源位置から放射するように知覚されるべきであるとコンテンツ作成者が意図するという意味で、音源位置に「対応する」位置である。このように、便宜上、音源位置に「対応する」再生システムのこのような位置は、時には実際の音源位置と呼ばれるが、それが実際の再生システムの位置であることは、状況から明白である（例えば、１セットのスピーカーのプライマリサブセットを含む３Ｄ空間は、このパラグラフでは上述のタイプの再生システムの空間であるが、プライマリサブセットに対応する音源位置を含む３Ｄ空間と、時には呼ばれる）。例えば、図３の６．１スピーカーアレイを考える。このスピーカーアレイは、矩形の体積Ｖを有する部屋に配置され、図３に示す「元の軌跡」を表すプログラムをレンダリングするように使用される。この例では、元の軌跡の第１の点（スピーカーＣの位置）のプライマリサブセットは、６．１スピーカーアレイの前方スピーカー（Ｃ、ＲおよびＬ）を含むことができる。そして、このプライマリサブセットを含む３Ｄ空間は、幅がＲスピーカーからＬスピーカーまでの距離であって、長さはＲ、ＬおよびＳスピーカーのうちの最も深いものの深さ（前から後ろへ）であって、高さはリスナーの耳（Ｒ、ＬおよびＳスピーカーがこの高さより上に延長しないように配置されると仮定する）の予想される高さ（床より上に）である、矩形の体積であってもよい。図３に示す元の軌跡の中点（６．１アレイのオーバーヘッドスピーカーＴｓの中心の垂直に下にある軌跡に沿った点）のプライマリサブセットはオーバーヘッドスピーカーＴｓだけを含むことができる。そして、このプライマリサブセットを含む３Ｄ空間は、幅が部屋の幅（ＲｓスピーカーからＬｓスピーカーまでの距離）であって、長さがＴｓスピーカーの幅であって、高さが部屋の高さである、矩形の体積Ｖ’（図３）であってもよい。

修正済軌跡を（プログラムによって表される音源軌跡に応答して）決定し、（再生システムの全てのスピーカーを駆動するために）修正済軌跡に応答してスピーカーフィードを生成するステップは、以下のように典型的なレンダリングシステムで実行することができる。プログラム（軌跡、例えば図３の「元の軌跡」を確定すると考えられ得る）によって表される音源位置のシーケンスの各々について、対応するプライマリサブセット（音源位置の３Ｄ空間に含まれる）のスピーカーおよびフルセットの他のスピーカーを駆動するために、スピーカーフィードが生成され、３Ｄ空間の特性点から音源によって放射されるように知覚されるべく意図された音（それは典型的には知覚される）を放射する（例えば、特性点は、プログラムで決定される音源位置を通る垂直線を有する３Ｄ空間の上面の交点であってもよい）。オブジェクトベースのオーディオプログラムから、そのように決定される３Ｄ空間のシーケンスを考慮し、シーケンスの３Ｄ空間の各々の特性点を識別して、修正済軌跡（プログラムによって表される元の軌跡に応答して決定される）を確定するために、特性点の全部または一部に一致する曲線を考慮することができる。

選択的に、３Ｄ空間に応じてスケールされる空間（時には本明細書では「ワープした」空間と呼ぶ）を生成するために、３Ｄ空間（上述した実施形態に従って決定される）の各々に対して、スケーリングパラメータが適用され、スピーカーフィードが（プログラムを再生するために使用されるフルセットの）スピーカーを駆動するために生成され、上述した３Ｄ空間の特性点よりもむしろワープした空間の特性点から音源によって放射されるように知覚されることを意図する音（それは典型的には知覚される）を放射する（例えば、ワープした空間の特性点はプログラムで決定される音源位置を通る垂直線を有するワープした空間の上面の交点であってもよい）。３Ｄ空間のワープは、比較的単純な周知の数値演算である。図３を参照して記載する実施例では、スケールファクターを高さ軸に適用して、ワープを実行することができる。このように、各ワープした空間の高さは、対応する３Ｄ空間（そして、各ワープした空間の長さおよび幅は、対応する３Ｄ空間の長さおよび幅に適合する）の高さのスケールされたバージョンである。

例えば、「０．０」のスケーリングパラメータは、ワープされた空間の高さを最大にすることができる（例えば、０．０のこのようなスケーリングパラメータを図３の体積Ｖ’に適用することによって決定されるワープされた空間は体積Ｖ’と同一である）。これは、変曲点を決定するための、またはルックアヘッドを実行するためのレンダリングシステムを必要とせずに、結果として元の軌跡の「１００％の変形」になる。本実施例では、０．０から１．０までの範囲のスケーリングパラメータＸは、ワープされた空間の高さを、対応する３Ｄ空間の高さより小さくすることができる（例えば、Ｘ＝０．５のスケーリングパラメータを図３の体積Ｖ’に適用することで決定されるワープされた空間は、体積Ｖ’の下半分になり得て、部屋の高さの半分に等しい高さを有する）。このように、０．０から１．０までの範囲のこのようなスケーリングパラメータを適用することで、結果として（変曲点を決定するための、またはルックアヘッドを実行するためのレンダリングシステムを必要とせずに）元の軌跡のより少ない変形になる。選択的に、１．０より大きい値のスケーリングパラメータＸは、結果としてプログラムの位置的メタデータの対応する寸法を圧縮することになり得る（例えば、プログラムによって示される、部屋の最上部に近い音源位置については、Ｘ＝１．５のスケーリングパラメータを対応する３Ｄ空間に適用することによって決定されるワープされた空間の特性点は、対応する３Ｄ空間の特性点と比較して、部屋の最上部からより遠くになり得る）。

本発明の方法のいくつかの実施形態は、オーディオオブジェクト軌跡の修正およびレンダリングを、単一のステップで実行する。例えば、レンダリングは、既知の位置の変形バージョンを有するスピーカーのためのスピーカーフィードを明示的に生成することによって（例えば、既知のラウドスピーカー位置の明示的な変形によって）、（オブジェクトに対する修正済軌跡を決定するために）オブジェクトベースのオーディオプログラムで決定された（オーディオオブジェクトの）軌跡を暗黙に変形する（修正する）ことができる。この変形は、スケールファクターを軸（例えば、高さ軸）に適用して、実行することができる。例えば、スピーカーフィードを生成する間に、軌跡（例えば、図３に示す元の軌跡）の高さ軸に対する第１のスケールファクター（例えば、０．０に等しいスケールファクター）を適用することによって、オブジェクトの修正済軌跡をオーバーヘッドスピーカーの位置を横切るようにすることができ（「１００％の変形」になる）、そのため、スピーカーフィードに応答して再生システムのスピーカーから放射される音は、（修正済）軌跡がオーバーヘッドスピーカーの位置を含む音源から放射するように知覚される。スピーカーフィードを生成する間に、軌跡の高さ軸に対する第２のスケールファクター（例えば、０．０より大きいが１．０より大きくないスケールファクター）を適用することによって、修正済軌跡を元の軌跡よりオーバーヘッドスピーカーの位置の近くに接近させる（しかし横切らない）ことができ（Ｘの値はスケールファクターの値で決定され、「Ｘ％の変形」になる）、そのため、スピーカーフィードに応答して再生システムのスピーカーから放射される音は、（修正済）軌跡がオーバーヘッドスピーカーの位置に接近する（しかし含まない）音源から放射するように知覚される。スピーカーフィードを生成する間に、軌跡の高さ軸に対する第３のスケールファクター（例えば、１．０より大きいスケールファクター）を適用することによって、修正済軌跡をオーバーヘッドスピーカーの位置から（元の軌跡より遠くに）離すことができる。変曲点を決定することも、ルックアヘッドを実行することも必要なく、このような組み合わせた軌跡修正およびスピーカーフィードの生成を実行することができる。

いくつかの実施形態では、本発明のシステムは、ソフトウェア（またはファームウェア）によってプログラムされる、および／または、本発明の方法の実施形態を実行するように構成される、汎用または専用のプロセッサであるか、あるいはそれを含む。いくつかの実施形態では、本発明のシステムは、入力オーディオ（および選択的に入力ビデオも）を受け取るように結合され、入力オーディオに応答して出力データ（例えばスピーカーフィードを決定する出力データ）を（本発明の方法の実施形態を実行することによって）生成するようにプログラムされた汎用プロセッサであるか、あるいはそれを含む。例えば、システム（例えば、図５のシステム３、または図６の要素４および５）はＡＶＲとして実装することができ、それは出力データで決定されるスピーカーフィードも生成する。他の実施形態では、本発明のシステム（例えば、図５のシステム３、または図６の要素４および５）は、入力オーディオに応答して出力データ（例えばスピーカーフィードを決定する出力データ）を生成するように動作可能な、適切に構成された（例えば、プログラムされた、または構成された）オーディオデジタル信号プロセッサ（ＤＳＰ）であるか、あるいはそれを含む。

いくつかの実施形態では、本発明のシステムは、入力オーディオ（オブジェクトベースのオーディオプログラムを表す）を受け取るように結合され、ソフトウェア（またはファームウェア）によりプログラムされ、および／または、入力オーディオに応答して出力データ（例えばスピーカーフィードを決定する出力データプログラムで表された音源位置メタデータの修正バージョン、またはプログラムの修正バージョンをレンダリングするためのスピーカーフィードを決定するデータ）を、本発明の方法の実施形態を実行することにより生成するように構成された、汎用または専用のプロセッサ（例えば、オーディオデジタル信号プロセッサ（ＤＳＰ））であるか、あるいはそれを含む。プロセッサは、ソフトウェア（またはファームウェア）によりプログラムされ、および／または、本発明の方法の実施形態を含む入力オーディオデータ上の様々な操作のいずれかを（例えば、コントロールデータに応答して）実行するように構成することができる。

図５のシステムは、オーディオ配信サブシステム２を含み、それはオブジェクトベースのオーディオプログラムを表すオーディオデータを格納および／または配信するように構成される。図５のシステムは、またレンダリングシステム３（プログラムされたプロセッサであるか、またはそれを含む）を含み、それはサブシステム２からオーディオデータを受け取るように結合されて、オーディオデータ上で本発明のレンダリング方法の実施形態を実行するように構成される。レンダリングシステム３は、オーディオデータを（少なくとも１つの入力３Ａで）受け取るように結合され、本発明のレンダリング方法の実施形態を含むオーディオデータ上の様々な操作のいずれかを実行するようにプログラムされ、レンダリング方法により生成されたスピーカーフィードを表す出力データを生成する。出力データ（およびスピーカーフィード）は、レンダリング方法で決定される元のプログラムの変更バージョンを表す。出力データ（またはそこから決定されるスピーカーフィード）は、システム３からスピーカーアレイ６へアサートされ（少なくとも１つの出力３Ｂで）、スピーカーアレイ６は、システム３（またはシステム３からの出力データに応答して生成されるスピーカーフィード）から受け取るスピーカーフィードに応答して、元のプログラムの変更バージョンを再生する。システム３またはアレイ６に含まれる従来のデジタルアナログコンバータ（ＤＡＣ）は、アレイ６のスピーカーを駆動するためのアナログスピーカーフィードを生成するために、システム３により生成される出力データに対して動作することができる。

図６のシステムは、サブシステム２およびスピーカーアレイ６を含み、それは図５のシステムの同じ符号を付した要素と同一である。オブジェクトベースのオーディオプログラムで示すオーディオデータを格納および／または分配するように、オーディオ送信サブシステム２は、構成される。図６のシステムは、またアップミキサー４を含み、それはサブシステム２からオーディオデータを受け取るように結合され、オーディオデータ（例えば、オーディオデータに含まれる音源位置メタデータ）上で本発明の方法の実施形態を実行するように構成される。アップミキサー４は、オーディオデータを（少なくとも１つの入力４Ａで）受け取るように結合され、オーディオデータ（例えば、オーディオデータの音源位置メタデータ）上で本発明の方法の実施形態を実行するようにプログラムされ、プログラムの修正バージョン（例えば、プログラムにより表される音源位置メタデータが、アップミキサー４により生成される修正済音源位置データに置換されるプログラムの修正バージョン）を（サブシステム２からの元のオーディオデータを用いて）決定する出力データを生成する（そして、少なくとも１つの出力４Ｂでアサートする）。アップミキサー４は、レンダリングシステム５に出力データを（少なくとも１つの出力４Ｂで）アサートするように構成される。システム５は、プログラム（アップミキサー４からの出力データおよびサブシステム２からの元のオーディオデータによって決定される）の修正バージョンに応答してスピーカーフィードを生成し、スピーカーアレイ６にスピーカーフィードをアサートするように構成される。スピーカーアレイ６は、スピーカーフィードに応答して、元のプログラムの修正バージョンを再生するように構成される。

より具体的には、アップミキサー４の典型的な実装は、サブシステム２からのオーディオデータで決定されるオブジェクトベースのオーディオプログラム（オーディオオブジェクトの軌跡を表し、軌跡は完全な３次元体積の部分空間内にある）を修正する（アップミックスする）ようにプログラムされ、プログラムの音源位置メタデータに応答して、プログラムの修正バージョンを（サブシステム２からの元のオーディオデータを用いて）決定する出力データを生成する（そして、少なくとも１つの出力４Ｂでアサートする）。例えば、アップミキサー４は、プログラムの音源位置メタデータを修正するように構成され、修正済軌跡の少なくとも一部が部分空間の外側にあるように、オブジェクトの修正済軌跡を決定する修正済音源位置データを表す出力データを生成することができる。出力データ（サブシステム２からの元のオーディオデータに含まれるオブジェクトのオーディオコンテンツを有する）は、オブジェクトの修正済軌跡を表す修正済プログラムを決定する。修正済プログラムに応答して、レンダリングシステム５は、修正済軌跡に沿って並進するようにオブジェクトにより放射されるように知覚される音を放射するために、アレイ６のスピーカーを駆動するためのスピーカーフィードを生成する。

別の例では、アップミキサー４は、特性点のシーケンス（プログラムによって示される音源位置のシーケンスの各々に対して１つ）を表す出力データを（プログラムの音源位置メタデータから）生成するように構成することができる。特性点の各々は、３Ｄ空間（例えば、図３に関して上述したタイプのスケールされた３Ｄ空間）のシーケンスの１つにあって、３Ｄ空間の各々はプログラムによって示される音源位置のシーケンスの１つに対応する。この出力データ（およびサブシステム２から元のオーディオデータに含まれる音源のオーディオコンテンツ）に応答して、レンダリングシステム５は、３Ｄ空間のシーケンスの特性点の上記シーケンスからの音源により放射されるように知覚される音を放射するために、アレイ６のスピーカーを駆動するためのスピーカーフィードを生成する。

図５のシステムは、レンダリングシステム３に結合される記憶媒体８を選択的に含む。コンピュータ可読記憶媒体８（例えば、光ディスクまたは他の有形オブジェクト）は、プログラミングシステム３（プロセッサとして実装される）またはシステム３を含むプロセッサに好適であって、本発明の方法の実施形態を実行するための、コンピュータコードを格納する。動作時には、プロセッサは、本発明に従ってデータを処理するためにコンピュータコードを実行し、出力データを生成する。

同様に、図６のシステムは、アップミキサー４に結合される記憶媒体９を選択的に含む。コンピュータ可読記憶媒体９（例えば、光ディスクまたは他の有形オブジェクト）は、本発明の方法の実施形態を実行するための、アップミキサー４（プロセッサとして実装される）をプログラムするために好適な、コンピュータコードを格納する。動作時には、プロセッサは、本発明に従ってデータを処理するためにコンピュータコードを実行し、出力データを生成する。

本発明のシステム（レンダリングシステム、例えば図５のシステム３、またはレンダリングシステムによりレンダリングするための修正済プログラムを生成するためのアップミキサー、例えば図６のアップミキサー４）が、非リアルタイム方式でコンテンツを処理するように構成される場合には、レンダリングされるオブジェクトベースのオーディオプログラムにメタデータを含むことは、メタデータがプログラムによって表される各オブジェクト軌跡の開始点および終了点を表すので、有益である。好ましくは、システムは、ルックアヘッド遅延の必要のないアップミキシングを（各軌跡に対する修正済軌跡を決定するために）実行するために、このようなメタデータを使用するように構成される。あるいは、軌跡の傾向を生成するために、（レンダリングされるオブジェクトベースのオーディオプログラムにより表される）オブジェクト軌跡の座標を時間的に平均し、軌跡の経路を予測して軌跡の各変曲点を見いだすためにこのような平均を用いるように本発明のシステムを構成することによって、ルックアヘッド遅延の必要性を除去することができる。

付加的なメタデータを、オブジェクトベースのオーディオプログラムに含めることができ、これによって、本発明のシステム（プログラムをレンダリングするように構成されたシステム、例えば図５のシステム３、またはレンダリングシステムによりレンダリングするためのプログラムの修正バージョンを生成するアップミキサー、例えば図６のアップミキサー４）に対して、システムが係数値を無視できるようにするか、またはシステムの動作（例えば、プログラムによって表される特定のオブジェクトの軌跡をシステムが修正するのを防止するように）に影響を及ぼす情報を提供することができる。例えば、メタデータがオーディオオブジェクトの特性（例えば、タイプまたは属性）を表す場合には、システムは、好ましくはメタデータに応答して特定のモード（例えば、特定のタイプのオブジェクトの軌跡を修正することを防止するモード）で動作するように構成される。例えば、オブジェクトがダイアログであることを表すメタデータに対しては、オブジェクトのアップミキシングを無効にすることによって、応答するようにシステムを構成することができる（例えば、もしあれば、軌跡の修正バージョンよりは、むしろダイアログのためのプログラムにより表される軌跡、例えば意図されたリスナーの水平面の上または下に延長する軌跡を用いて、スピーカーフィードが生成される）。

本発明によるアップミキシングは、コンテンツが最初からオブジェクトオーディオであった（すなわち、元々オブジェクトベースのプログラムとして書かれた）オブジェクトベースのオーディオプログラムに直接適用することができる。このようなアップミキシングは、音源分離アップミキサーを用いて「オブジェクト化された」（すなわち、オブジェクトベースのオーディオプログラムに変換された）コンテンツにも適用することができる。典型的な音源分離アップミキサーは、コンテンツを生成するために互いにミックスされた個々のトラック（各々が個別のオーディオオブジェクトからのオーディオコンテンツに対応する）を分離するために、解析および信号処理をコンテンツ（例えば、オブジェクトチャネルではなく、スピーカーチャネルだけを含むオーディオプログラム）に適用して、それによって、各個別のオーディオオブジェクトのためのオブジェクトチャネルを決定する。

本発明の態様は、本発明の方法のいかなる実施形態も実行するように構成される（例えばプログラムされる）システム（例えばアップミキサーまたはレンダリングシステム）と、本発明の方法のいかなる実施形態も実行するためのコードを格納するコンピュータ可読媒体（例えばディスクまたは他の有形オブジェクト）とを含む。

本発明の方法のいくつかの実施形態では、本明細書に記載されたステップのいくつかまたは全ては、同時に実行されるか、または本明細書に記載された実施例で特定したものと異なる順序で実行される。本発明の方法のいくつかの実施形態では、ステップは特定の順序で実行されるが、他の実施形態では、いくつかのステップは同時に実行されるか、または異なる順序で実行され得る。

本発明の特定の実施形態および本発明の応用が本明細書に記載されているが、本明細書に記載され請求される本発明の範囲を逸脱することなく、本明細書に記載された実施形態および応用の多くの変形が可能であることは、当業者にとって明らかであろう。本発明の特定の形式が図示され記載されているが、本発明が、記載され図示された特定の実施形態、または記載された特定の方法に限定されないことを理解すべきである。

Claims (27)

1. スピーカーセットによる再生のためのオブジェクトベースのオーディオプログラムをレンダリングする方法であって、前記オブジェクトベースのオーディオプログラムは、オブジェクトチャネルを含み、前記オブジェクトベースのオーディオプログラムは、前記オブジェクトベースのオーディオプログラムの前記オブジェクトチャネルで決定されるオーディオオブジェクトの軌跡を表すメタデータを含み、前記軌跡は、前記オーディオオブジェクトの時間的に変化する音源位置のシーケンスによって確定され、時間的に変化する音源位置の前記シーケンスは、前記メタデータによって示され、前記軌跡は、３次元ボリュームの部分空間内にあり、前記オブジェクトベースのオーディオプログラムは、前記オーディオオブジェクトのオーディオデータを含み、前記スピーカーセットの各スピーカーは、再生システムにおける既知の位置を有し、前記スピーカーセットは、前記軌跡を含む前記部分空間内の位置に対応する前記再生システムの第１の空間内の位置にあるスピーカーの第１のサブセットを含み、前記スピーカーセットは、少なくとも１つのスピーカーを含む第２のサブセットをさらに含み、前記第２のサブセットの各スピーカーは、前記部分空間の外側の位置に対応する、前記再生システムにおける位置にあり、前記方法は、
   （ａ）アップミキサーを用いて、前記プログラムを修正し、前記オブジェクトの修正済軌跡を表す修正されたメタデータを含む修正済プログラムを決定するステップであって、前記修正済軌跡は、前記オーディオオブジェクトの時間的に変化する修正済音源位置のシーケンスによって確定され、前記修正済軌跡の少なくとも一部は前記部分空間の外側にあり、前記修正済軌跡は、前記軌跡の開始点と一致する前記第１の空間内の開始点と、前記軌跡の終了点と一致する前記第１の空間の終了点と、前記第２のサブセットのスピーカーの前記位置に対応する少なくとも１つの中間点と、を含むステップと、
   （ｂ）前記オーディオオブジェクトの前記修正されたメタデータおよび前記オーディオデータを含む前記修正済プログラムに応じて、スピーカーフィードを生成するステップであって、前記スピーカーフィードが、位置が前記部分空間の外側の位置に対応する前記スピーカーセットの少なくとも１つのスピーカーを駆動する少なくとも１つのフィードと、位置が前記部分空間内の位置に対応する前記スピーカーセットのスピーカーを駆動するフィードとを含むようにするステップと、を含み、
   ステップ（ａ）は、
   修正済音源位置の前記シーケンスの各修正済音源位置について、前記修正済音源位置と前記スピーカーセットの各スピーカーの前記位置との間の距離を決定するステップと、
   修正済音源位置の前記シーケンスの各修正済音源位置について、前記スピーカーセットのプライマリサブセットを決定する、前記プライマリサブセットは、前記修正済音源位置に最も近い前記スピーカーセットの各スピーカーから構成されるステップと、を含み、
   前記方法は、
   各前記プライマリサブセットについて、前記プライマリサブセットの各スピーカーおよび前記プライマリサブセットの前記修正済音源位置を含むが、前記スピーカーセットの他のスピーカーは含まない、３次元空間を決定するステップをさらに含み、ステップ（ｂ）は、修正済音源位置の前記シーケンスの各修正済音源位置について、前記修正済音源位置に対する前記プライマリサブセットの各スピーカーを駆動する少なくとも１つのスピーカーフィードと、前記スピーカーセットの他のスピーカーの各々を駆動する少なくとも１つの他のスピーカーフィードと、を生成するステップを含み、
   前記方法は、
   前記各修正済音源位置について生成される前記スピーカーフィードに応じて、前記修正済音源位置を含む前記３次元空間の特性点から前記オーディオオブジェクトによって放射されたように知覚されるべく意図された音を放射するように、前記スピーカーセットを駆動するステップをさらに含む方法。
2. ステップ（ｂ）で生成される前記スピーカーフィードは、前記スピーカーセットの全ての前記スピーカーを駆動するためのスピーカーフィードを含む、請求項１に記載の方法。
3. 前記プログラムに含まれる前記メタデータは、前記軌跡の座標を決定し、ステップ（ａ）は前記座標を修正するステップを含む、請求項１に記載の方法。
4. 各音源位置に対する前記プライマリサブセットは、前記再生システムにおける位置が、前記軌跡が確定される前記３次元ボリューム内であって、前記音源位置からの距離が所定のしきい値の範囲内である位置に対応する、前記スピーカーセットの各スピーカーから構成される、請求項１に記載の方法。
5. 修正済音源位置の前記シーケンスの各修正済音源位置について、前記修正済音源位置を含むスケールされた空間を生成するために、前記修正済音源位置を含む前記３次元空間にスケーリングパラメータを適用するステップをさらに含む、請求項１に記載の方法。
6. 各前記３次元空間に対する前記スケールパラメータの適用は、前記３次元空間の高さ軸に対する前記スケールパラメータの適用を含む、請求項５に記載の方法。
7. ステップ（ｂ）で生成された前記スピーカーフィードは、前記スピーカーセットの全ての前記スピーカーを駆動するためのスピーカーフィードを含む、請求項１に記載の方法。
8. 前記部分空間は、予想されるリスナーに対して第１の仰角にある水平面であり、ステップ（ｂ）は、前記予想されるリスナーに対して第２の仰角に位置する前記セットのスピーカーのためのスピーカーフィードを生成するステップを含み、前記第２の仰角は、前記第１の仰角とは異なる、請求項１に記載の方法。
9. 前記方法は、
   前記軌跡の前記開始点と一致する前記第１の空間内の開始点と、前記軌跡の前記終了点と一致する前記第１の空間の終了点と、前記第２のサブセットのスピーカーの前記位置に対応する少なくとも１つの中間点と、を含む候補軌跡を決定するステップと、
   少なくとも１つの変形係数を前記候補軌跡に適用することによって前記候補軌跡を変形し、それによって変形された候補軌跡を決定するステップと、を含み、前記変形された候補軌跡は前記修正済軌跡である、請求項１に記載の方法。
10. 前記第１の空間上の各前記中間点の射影は、前記中間点に対応する前記第１の空間内の変曲点を確定し、各前記中間点と前記対応する変曲点との間の、前記第１の空間に垂直な線は、前記中間点に対する変形軸であり、各前記変形係数は、１つの前記中間点に対する前記変形軸に沿った位置を示す値を有する、請求項９に記載の方法。
11. スピーカーセットによる再生のためにオブジェクトベースのオーディオプログラムをレンダリングするシステムであって、前記プログラムの各チャネルはオブジェクトチャネルであり、前記プログラムはオーディオオブジェクトの軌跡を表し、前記軌跡は３次元ボリュームの部分空間内にあり、前記システムは、
    前記プログラムを修正し、少なくとも一部が前記部分空間の外側にある前記オブジェクトの修正済軌跡を表す修正済プログラムを決定するように構成されたアップミキシングサブシステムと、
    前記修正済プログラムに応じてスピーカーフィードを生成し、前記スピーカーフィードは、位置が前記部分空間の外側の位置に対応する前記スピーカーセットの少なくとも１つのスピーカーを駆動するための少なくとも１つのフィードと、位置が前記部分空間内の位置に対応する前記スピーカーセットのスピーカーを駆動するためのフィードと、を含むように結合され、構成されたスピーカーフィードサブシステムと、を含む、システム。
12. 前記スピーカーフィードサブシステムは、前記修正済プログラムに応答して、前記スピーカーセットの全ての前記スピーカーを駆動するためのスピーカーフィードを生成するように構成される、請求項１１に記載のシステム。
13. 前記プログラムに含まれるメタデータは、前記軌跡の座標を決定し、前記アップミキシングサブシステムは、前記座標を修正するように構成される、請求項１１に記載のシステム。
14. 前記プログラムによって表される音源位置のシーケンスは、前記軌跡を確定し、前記アップミキシングサブシステムは、
    音源位置の前記シーケンスの各音源位置について、前記音源位置と前記スピーカーセットの各スピーカーの前記位置との間の距離を決定するように構成され、
    音源位置の前記シーケンスの各音源位置について、前記スピーカーセットのプライマリサブセットを決定するように構成され、前記プライマリサブセットは、前記音源位置に最も近い前記スピーカーセットの各スピーカーから構成される、請求項１１に記載のシステム。
15. 前記スピーカーセットの各スピーカーは、再生システムにおける既知の位置を有し、各音源位置に対する前記プライマリサブセットは、前記再生システムにおける位置が、前記軌跡が確定される前記３次元ボリューム内であって、前記音源位置からの距離が所定のしきい値の範囲内である位置に対応する、前記スピーカーセットの各スピーカーから構成される、請求項１４に記載のシステム。
16. 前記アップミキシングサブシステムは、各前記プライマリサブセットについて、前記プライマリサブセットの各スピーカーおよび前記プライマリサブセットの前記音源位置を含むが、前記スピーカーセットの他のいかなるスピーカーも含まない３次元空間を決定するように構成され、
    前記スピーカーフィードサブシステムは、前記各音源位置について生成される前記スピーカーフィードに応答して、前記スピーカーセットが、前記音源位置を含む前記３次元空間の特性点から前記音源によって放射されるように知覚されるべく意図された音を放射するように、前記スピーカーフィードを生成するように構成される、請求項１４に記載のシステム。
17. 前記アップミキシングサブシステムは、各前記プライマリサブセットについて、前記プライマリサブセットの各スピーカーおよび前記プライマリサブセットの前記音源位置を含むが、前記スピーカーセットの他のいかなるスピーカーも含まない３次元空間を決定し、音源位置の前記シーケンスの各音源位置について、前記音源位置を含むスケールされた空間を生成するために、前記音源位置を含む前記３次元空間にスケーリングパラメータを適用するように構成され、
    前記スピーカーフィードサブシステムは、各音源位置について生成される前記スピーカーフィードに応答して、前記スピーカーセットが、前記音源位置を含む前記スケールされた空間の特性点から前記音源によって放射されたように知覚されるべく意図された音を放射するように、前記スピーカーフィードを生成するように構成される、請求項１４に記載のシステム。
18. 前記アップミキシングシステムは、前記スケーリングパラメータを各前記３次元空間の高さ軸に適用するように構成される、請求項１７に記載のシステム。
19. 前記部分空間は、予想されるリスナーに対して第１の仰角にある水平面であり、前記スピーカーフィードサブシステムは、前記修正済プログラムに応答して、前記スピーカーフィードを生成するように構成され、前記スピーカーフィードは、前記予想されるリスナーに対して第２の仰角に位置する前記セットのスピーカーのためのスピーカーフィードを含み、前記第２の仰角は、前記第１の仰角とは異なる、請求項１１に記載のシステム。
20. 前記スピーカーセットの各スピーカーは、再生システムにおける既知の位置を有し、前記スピーカーセットは、前記軌跡を含む前記部分空間内の位置に対応する前記再生システムの第１の空間内の位置にあるスピーカーの第１のサブセットを含み、前記スピーカーセットは、少なくとも１つのスピーカーを含む第２のサブセットをさらに含み、前記第２のサブセットの各スピーカーは、前記部分空間の外側の位置に対応する、前記再生システムにおける位置にあり、前記修正済軌跡は、
    前記軌跡の開始点と一致する前記第１の空間内の開始点と、
    前記軌跡の終了点と一致する前記第１の空間の終了点と、
    前記第２のサブセットのスピーカーの前記位置に対応する少なくとも１つの中間点と、を含む、請求項１１に記載のシステム。
21. 前記スピーカーセットの各スピーカーは、再生システムにおける既知の位置を有し、前記スピーカーセットは、前記軌跡を含む前記部分空間内の位置に対応する前記再生システムの第１の空間内の位置にあるスピーカーの第１のサブセットを含み、前記スピーカーセットは、少なくとも１つのスピーカーを含む第２のサブセットをさらに含み、前記第２のサブセットの各スピーカーは、前記部分空間の外側の位置に対応する、前記再生システムにおける位置にあって、前記アップミキシングサブシステムは、
    前記軌跡の開始点と一致する前記第１の空間内の開始点と、前記軌跡の終了点と一致する前記第１の空間の終了点と、前記第２のサブセットのスピーカーの前記位置に対応する少なくとも１つの中間点と、を含む候補軌跡を決定し、
    少なくとも１つの変形係数を前記候補軌跡に適用することによって前記候補軌跡を変形し、それによって変形された候補軌跡を決定するように構成され、前記変形された候補軌跡は前記修正済軌跡である、請求項１１に記載のシステム。
22. 前記第１の空間上の各前記中間点の射影は、前記中間点に対応する前記第１の空間内の変曲点を確定し、各前記中間点と前記対応する変曲点との間の、前記第１の空間に垂直な線は、前記中間点に対する変形軸であり、各前記変形係数は、１つの前記中間点に対する前記変形軸に沿った位置を示す値を有する、請求項２１に記載のシステム。
23. 前記プログラムは、前記軌跡の開始点および終了点を表すメタデータを含み、前記アップミキシングサブシステムは、ルックアヘッド遅延を実行せずに、前記メタデータを用いて前記修正済軌跡を決定するように構成される、請求項１１に記載のシステム。
24. 前記プログラムは、前記オーディオオブジェクトの少なくとも１つの特性を表すメタデータを含み、前記アップミキシングサブシステムは、前記メタデータで決定されるモードで動作するように構成される、請求項１１に記載のシステム。
25. 前記プログラムは、前記オーディオオブジェクトの少なくとも１つの特性を表すメタデータを含み、前記アップミキシングサブシステムは、前記メタデータで決定されるモードで動作するように構成される、請求項２４に記載のシステム。
26. 前記アップミキシングサブシステムは、オーディオデジタル信号プロセッサである、請求項１１に記載のシステム。
27. 前記アップミキシングサブシステムは、前記プログラムを表す入力データに応答して、前記修正済プログラムを表す出力データを生成するようにプログラムされたプロセッサである、請求項１１に記載のシステム。

Images